PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC Chuyên ngành: Cơ sở toán học cho tin học Mã số: 62 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Nguyễn Quang Hoan Hà Nội - 2016 Lời cam đoan Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết nêu luận án trung thực chưa công bố cơng trình khác NGHIÊN CỨU SINH Lê Anh Tú Lời cảm ơn Luận án thực Học viện Khoa học Công nghệ - Viện Hàn lâm Khoa học Công nghệ Việt Nam, hướng dẫn PGS TS Nguyễn Quang Hoan Tơi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, người động viên, trao đổi nhiều kiến thức bảo vượt qua khó khăn để hồn thành luận án Tôi xin gửi lời cảm ơn chân thành tới PGS TS Lương Chi Mai, PGS TS Đặng Văn Đức, TS Nguyễn Đức Dũng nhà khoa học khác Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học Cơng nghệ Việt Nam có trao đổi, góp ý để tơi hồn thiện luận án giúp đỡ tơi q trình học tập, nghiên cứu Xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo điều kiện, quan tâm giúp đỡ để tơi hồn thành luận án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người ủng hộ, giúp đỡ hỗ trợ mặt để yên tâm học tập đạt kết tốt MỤC LỤC Lời cam đoan Lời cảm ơn MỤC LỤC Danh mục từ viết tắt Danh mục ký hiệu toán học Danh mục bảng 11 Danh mục hình vẽ, đồ thị 12 MỞ ĐẦU 14 CHƯƠNG 20 TỔNG QUAN VỀ CÁC MƠ HÌNH MẠNG NƠRON TỰ TỔ CHỨC 20 1.1 Tổng quan mạng nơron nhân tạo 20 1.1.1 Khái niệm mạng nơron nhân tạo 20 1.1.2 Các kiến trúc mạng nơron nhân tạo 21 1.1.3 Các phương pháp học 22 1.1.4 Lịch sử xu hướng phát triển mạng nơron nhân tạo 24 1.2 Mạng nơron tự tổ chức 26 1.2.1 Cấu trúc mạng nơron tự tổ chức 26 1.2.2 Thuật toán học mạng nơron tự tổ chức 27 1.2.3 Phương pháp đánh giá chất lượng đồ đặc trưng mạng nơron tự tổ chức 30 1.3 Hạn chế mạng nơron tự tổ chức biện pháp khắc phục 33 1.4 Kết nghiên cứu nước cải tiến cấu trúc, phương pháp mạng nơron tự tổ chức 36 1.4.1 Kết nghiên cứu nước 36 1.4.2 Kết nghiên cứu nước 36 1.5 Đặc điểm chung phương thức cải tiến mạng nơron tự tổ chức 42 1.6 Một số vấn đề cần tiếp tục nghiên cứu mạng nơron tự tổ chức biến thể 43 1.6.1 Nâng cao chất lượng đồ đặc trưng 43 1.6.2 Cải tiến cấu trúc thuật toán học mạng nơron tự tổ chức cho toán ứng dụng 44 1.7 Kết luận chương 44 CHƯƠNG 46 GIẢI PHÁP NÂNG CAO CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG CỦA MẠNG NƠRON TỰ TỔ CHỨC 46 2.1 Giới thiệu nghiên cứu nâng cao chất lượng đồ đặc trưng mạng nơron tự tổ chức 46 2.2 Điều chỉnh hàm lân cận để nâng cao chất lượng đồ đặc trưng 48 2.2.1 Một số dạng hàm lân cận mạng nơron tự tổ chức 48 2.2.2 Điều chỉnh tham số hàm lân cận đối xứng dạng mũ 49 2.3 Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử 53 2.3.1 Đặt vấn đề 53 2.3.2 Thuật toán điều chỉnh trọng số nơron 59 2.4 Các tập liệu sử dụng cho thực nghiệm 62 2.5 Thực nghiệm hàm lân cận mũ với tham số điều chỉnh 64 2.5.1 Mục tiêu thực nghiệm 64 2.5.2 Phương pháp thực nghiệm 64 2.5.3 Các tham số khởi tạo mạng 64 2.5.4 Kết thực nghiệm 64 2.5.5 So sánh hàm lân cận điều chỉnh với số dạng hàm lân cận khác 73 2.6 Thực nghiệm thuật toán Batch-IMQS 74 2.6.1 Mục tiêu thực nghiệm 74 2.6.2 Phương pháp thực nghiệm 75 2.6.3 Các tham số khởi tạo mạng 75 2.6.4 Kết thực nghiệm 75 2.7 Kết luận chương 76 CHƯƠNG 78 MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU 78 3.1 Giới thiệu mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát 78 3.2 Phát biểu toán phân lớp liệu 80 3.3 Một cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu 81 3.3.1 Các cấu trúc tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 81 3.3.2 Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 85 3.3.3 Thuật toán huấn luyện kiểm thử mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 89 3.4 Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 93 3.4.1 Mục tiêu thực nghiệm 94 3.4.2 Phương pháp thực nghiệm 94 3.4.3 Các tham số khởi tạo mạng 95 3.4.4 Kết thực nghiệm 95 3.4.5 So sánh mơ hình đề xuất với số phương thức khác 98 3.5 Kết luận chương 103 CHƯƠNG 104 MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU 104 4.1 Giới thiệu nghiên cứu sử dụng mạng nơron tự tổ chức cho phân cụm liệu 104 4.2 Phát biểu toán phân cụm liệu 107 4.3 Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm liệu 108 4.3.1 Ý tưởng thuật toán cải tiến 108 4.3.2 Thuật toán học cải tiến mạng nơron tự tổ chức cho phân cụm liệu 111 4.4 Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm liệu 113 4.4.1 Cấu trúc mạng nơron tự tổ chức mở rộng hai lớp 114 4.4.2 Thuật toán huấn luyện mạng nơron tự tổ chức mở rộng hai lớp 114 4.5 Thực nghiệm thuật toán học cải tiến mạng tự tổ chức mở rộng hai lớp 118 4.5.1 Mục tiêu thực nghiệm 118 4.5.2 Phương pháp thực nghiệm 119 4.5.3 Các tham số khởi tạo mạng 119 4.5.4 Kết thực nghiệm 119 4.5.5 So sánh phương thức đề xuất với số phương thức khác 120 4.6 Kết luận chương 124 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN 126 CÁC CƠNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 128 TÀI LIỆU THAM KHẢO 129 Danh mục từ viết tắt Từ viết tắt AHIGG ANN Diễn giải Adaptive Hierarchical Incremental Grid Growing Artificial Neural Network BDK Bi-Directional Kohonen BMU BoA Best Matching Unit Bubble of Activity BSOM CCS Bayesian Self-Organizing Map Cohn's CSS (Constrained Semi-Supervised) CPN CS2GS Counter Propagation Network Constrained SemiSupervised GSOM CSPA DCS Cluster-based Similarity Partitioning Algorithm Davidson's CSS (Constrained Semi-Supervised) DM Distortion Measure ET GCS GG Evolving Tree Growing Cell Structure Growing Grid GHSOM Growing Hierarchical SOM GHSSOM GHTSOM GMM GNG Growing Hierarchical Semi-Supervised SOM Growing Hierarchical Tree SOM Gaussian Mixture Model Growing Neural Gas GSOM GWCA HFM HGPA Growing SOM Generalized Weighted Cluster Aggregation Hierarchical Feature Map Hyper-Graph-Partitioning Algorithm HTS IGG IMQS KGSOM Hierarchical Tree Structure Incremental Grid Growing Improving Map Quality of SOM Kernel GSOM KNN NG NMFC QE k-Nearest Neighbor Neural Gas Nonnegative Matrix Factorization based Consensus Quantization Error RCS Ruiz's CSS (Constrained Semi-Supervised) RSOM Recurrent Self-Organizing Map SC Spectral Clustering SKN sNet-SOM SOM Supervised Kohonen Network Supervising Network Self-Organizing Map Self Organizing Map SOM-P SOMSR SOM-Partitional SOM with Selective Refractoriness SOTA SOTM Self-Organizing Tree Algorithm Self Organising Tree Map SSGSOM Semi-Supervised GSOM SVM Support Vector Machine TE TP TRN Topographic Error Topographic Product Topology Representing Network TSSOM TSVQ TTOCONROT TTOSOM Tree-Structured SOM Tree-Structured VQ TTOSOM with Conditional Rotations Tree-Based Topology-Oriented SOM WC Weighted Consensus XYF X–Y Fused Network 122 FN   x , x  :  y i j i   y j  and  yi^  y ^j  Do độ đo Precision xác định tỉ số cặp khẳng định tổng số cặp khẳng định số cặp khẳng định sai, Recall xác định tỉ số cặp khẳng định tổng số cặp khẳng định số cặp phủ định sai Do vậy, xét cách tương đối SOM-2 phân loại tập Zoo tốt so với phương thức lại tổng độ đo Precision Recall lớn (3) So sánh SOM-P, SOM-2 với số phương thức khác phân loại tập liệu Iris [50] Bảng So sánh SOM-P, SOM-2 với số phương thức khác Tên phương thức Số cụm đạt Tỉ lệ phân loại (%) K-means 82 Improved Y-means 85 FC means 81 Mountain 77.4 Subtractive 75 SOM-P 88.67 SOM-2 92.67 Ghi chú: Kết phân loại Iris K-means, Improved Y-means, FC means, Mountain Subtractive công bố [50] Bảng 4.5 trình bày kết phân loại tập liệu Iris, đánh giá theo tỉ số mẫu phân loại đúng/tổng số mẫu tập liệu SOM-P SOM-2 đạt tỉ lệ phân loại cao so với thuật tốn phân cụm lại (4) So sánh SOM-P, SOM-2 với số phương thức phân cụm WEKA Các thực nghiệm khác tiến hành số phương thức cài đặt hệ thống WEKA để so sánh với SOM-P SOM-2 Cấu hình phương thức thiết lập mặc định, thay đổi yêu cầu xác định số cụm cần hình thành tương ứng với tập liệu Việc kiểm thử WEKA sử dụng nhãn liệu giống cách kiểm thử SOM-P SOM-2 Bảng 4.6 trình bày tổng hợp kết thực nghiệm 123 Bảng So sánh tỉ lệ phân loại sai SOM-P, SOM-2 với số phương thức Tập liệu Hierarchical Cluster LVQ MTree EM Simple Kmeans Xmeans SOM- SOMP XOR NOT 40.15 47.15 49.70 49.70 49.70 49.58 49.50 Aggregation 17.51 33.38 35.66 7.49 21.70 20.18 22.84 19.92 Flame 35.42 29.58 18.75 34.17 15.83 15.42 17.92 16.25 Pathbased 63.00 40.67 47.67 29.67 25.67 25.67 27.33 29.67 Spiral 64.74 64.42 64.74 65.71 65.38 65.71 62.50 Jain 25.74 19.84 19.57 8.85 11.80 11.80 24.13 17.43 Compound 23.81 48.37 50.38 19.30 19.80 32.08 31.33 45.36 R15 27.67 12.67 44.00 9.83 9.33 19.67 29.33 30.50 Iris 34.00 56.00 44.00 9.33 11.33 12.00 11.33 7.33 Vowel 88.48 85.86 73.54 78.29 79.19 82.02 86.26 88.79 Zoo 12.87 19.80 49.51 20.79 18.81 13.86 24.75 19.80 Ghi chú: “NOT” khơng có kết máy tính sử dụng cho thực nghiệm khơng đủ nhớ để thực phương thức phân cụm “Hierarchical Cluster” Bảng 4.3 cho thấy tất phương thức (trừ phương thức phân cụm phân tầng “Hierarchical Cluster”) có tỉ lệ phân loại sai cao ba tập liệu XOR, Spiral Vowel Nguyên nhân hai tập liệu XOR Spiral có phân bố cụm đặc biệt, đó: hai cụm tập liệu XOR đan chéo nhau, ba cụm tập liệu Spiral có dạng chuỗi xoắn theo hình vỏ ốc; tập liệu Vowel có thuộc tính “Train or Test”, “Speaker Number” “Sex” (dòng 2, 3, phần mơ tả cấu trúc tập liệu) tổng số 13 thuộc tính mã hóa theo quy định người sử dụng (khơng phải giá trị thực đo từ đặc trưng liệu) Cấu trúc tập liệu Vowel sau: 10 11 12 @relation vowel @attribute 'Train or Test' { 0, 1} @attribute 'Speaker Number' { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14} @attribute 'Sex' { 0, 1} @attribute 'Feature 0' real @attribute 'Feature 1' real @attribute 'Feature 2' real @attribute 'Feature 3' real @attribute 'Feature 4' real @attribute 'Feature 5' real @attribute 'Feature 6' real @attribute 'Feature 7' real 124 13 14 15 15 17 18 19 20 21 22 23 @attribute 'Feature 8' real @attribute 'Feature 9' real @attribute 'Class' {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11} @data 0,0,0,-3.639,0.418,-0.67,1.779,-0.168,1.627,-0.388,0.529,-0.874,-0.814,11 0,0,0,-3.327,0.496,-0.694,1.365,-0.265,1.933,-0.363,0.51,-0.621,-0.488,1 0,0,0,-2.12,0.894,-1.576,0.147,-0.707,1.559,-0.579,0.676,-0.809,-0.049,2 0,0,0,-2.287,1.809,-1.498,1.012,-1.053,1.06,-0.567,0.235,-0.091,-0.795,3 0,0,0,-2.598,1.938,-0.846,1.062,-1.633,0.764,0.394,-0.15,0.277,-0.396,4 0,0,0,-2.852,1.914,-0.755,0.825,-1.588,0.855,0.217,-0.246,0.238,-0.365,5 So với số phương thức cài đặt WEKA, SOM-P SOM-2 có kết phân loại xác 4.6 Kết luận chương Chương trình bày hai phương thức cải tiến mạng nơron tự tổ chức cho phân cụm liệu Thứ nhất, đề xuất thuật tốn học cải tiến SOM-P cho mục đích phân cụm liệu SOM-P sử dụng phương pháp phân cụm phân hoạch Nó bước hình thành cụm hiệu chỉnh nơron thuộc cụm trình huấn luyện mạng Điều thực cách liên tục phân ly tranh chấp nơron cụm lần học mạng Thứ hai, đề xuất cấu trúc mở rộng SOM-2 gồm lớp đưa thuật toán học SOM-2 cho mục đích phân cụm liệu Lớp ma trận Kohonen chiều, nơron thuộc lớp đại diện cho cụm nơron thuộc lớp SOM2 sử dụng phương pháp phân cụm phân hoạch Trong lần học, bước hiệu chỉnh trọng số nơron đại diện cụm thuộc lớp 2, xác định cụm cho nơron thuộc lớp So với số phương thức phân cụm sử dụng phương pháp phân cụm phân hoạch công bố gần đặc biệt số phương thức phân cụm cải tiến từ SOM, SOM-P SOM-2 phân cụm tốt Tuy nhiên, SOM-P SOM-2 có hai hạn chế cần nghiên cứu khắc phục để kết phân cụm cao nữa, gồm: 125 Một là, SOM-P SOM-2 phải thực hai lần phép ánh xạ liệu để phân cụm Lần ánh xạ mẫu liệu tới nơron đại diện cho chúng Lần hai gom nơron có trọng số tương đồng vào cụm Hai lần ánh xạ tạo sai số cao so với thuật toán phân cụm trực tiếp Đây hạn chế chung tất phương thức phân cụm phát triển từ SOM Hai là, việc phân nhóm nơron sử dụng phương pháp phân cụm phân hoạch chưa phù hợp thực tế cụm liệu phân bố đồ đặc trưng khơng phải dạng hình cầu Hướng phát triển chương nghiên cứu phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phân cụm phân hoạch 126 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN Kết luận Với mục tiêu nghiên cứu cải tiến cấu trúc, thuật toán học mạng nơron tự tổ chức, luận án thực nội dung nghiên cứu: Nghiên cứu tổng quan mạng nơron tự tổ chức biến thể mạng nơron tự tổ chức, phân tích hạn chế giải pháp nhà nghiên cứu sử dụng để khắc phục hạn chế Ngoài ra, tổng hợp đặc điểm chung áp dụng để phát triển biến thể mạng nơron tự tổ chức Các nghiên cứu sở để phát triển hướng nghiên cứu luận án Các nội dung nghiên cứu chuyên sâu luận án tập trung vào hai mục tiêu: Mục tiêu thứ nhất, nâng cao chất lượng đồ đặc trưng mạng nơron tự tổ chức Kết có hai đóng góp: (1) Đề xuất tham số điều chỉnh cho hàm lân cận đối xứng dạng mũ (Gaussian) cho phép giảm đồng thời hai độ đo lỗi lượng tử lỗi hình trạng (2) Đề xuất thuật toán điều chỉnh trọng số nơron cho phép giảm lỗi lượng tử mạng Mục tiêu thứ hai, cải tiến cấu trúc thuật toán học mạng nơron tự tổ chức ứng dụng cho toán phân lớp phân cụm liệu Kết có hai đóng góp: (3) Đề xuất cải tiến SOM với cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát cho toán phân lớp liệu Mơ hình đề xuất hoạt động mơ hình phân lớp truyền thống phân lớp bán giám sát So với nhiều mơ hình phân lớp khác, mơ hình đề xuất phân lớp xác hơn, đặc biệt trường hợp số lượng mẫu liệu huấn luyện có nhãn nhỏ (4) Đưa hai đề xuất cải tiến SOM cho toán phân cụm liệu Một là, cải tiến thuật toán học SOM gốc Hai là, đề xuất cấu trúc SOM mở rộng gồm hai lớp thuật toán học tương ứng Hai đề xuất phân cụm xác 127 so với số phương thức phân cụm khác sử dụng phương pháp phân hoạch số phương thức phân cụm phát triển từ SOM Các nghiên cứu đóng góp luận án cài đặt thử nghiệm ngơn ngữ lập trình C# Các thực nghiệm sử dụng 12 tập liệu giả định thực tế cơng bố Ngồi ra, so sánh kết thực nghiệm với giải pháp công bố khác Hướng phát triển đề tài luận án Các nội dung nghiên cứu luận án tiếp tục hoàn thiện phát triển Một số hướng phát triển cụ thể luận án sau: - Cải tiến hai giải pháp nâng cao chất lượng đồ đặc trưng đề xuất để áp dụng cho số biến thể đặc biệt khác SOM - Cải tiến kỹ thuật lan truyền nhãn mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát GHSSOM nhằm cải thiện độ xác phân lớp - Nghiên cứu kỹ thuật phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phương pháp phân cụm phân hoạch để cải thiện độ xác phân cụm giải pháp đề xuất 128 CÁC CƠNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 1A Lê Anh Tú, Phạm Việt Bình, Lê Sơn Thái (2013), Một giải pháp trực quan mạng nơron SOM ứng dụng phân cụm liệu, Fair 06/2013-Huế, 270-276 2A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2013), Clustering Hierarchical Data Using SOM Neural Network, ICCASA 2012, LNICST of Springer 109, 282– 289 3A Lê Anh Tú, Lê Sơn Thái, Nguyễn Quang Hoan (2014), Một số giải pháp cải tiến nhằm tăng tốc độ thuật toán mạng nơron SOM, Tạp chí KH&CN-ĐHTN, 116(2), 79-84 4A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2014), Hierarchy Supervised SOM Neural Network Applied for Classification Problem, Journal of Computer Science and Cybernetics, 24(3), 278-290 5A Le Anh Tu (2015), Improving the Quality of Self-Organizing Map by Different Elements Competitive Strategy, Journal of Computer Science and Cybernetics, 31(3), 215-229 6A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), Improving Feature Map Quality of SOM Based on Adjusting the Neighborhood Function, International Journal of Computer Science and Information Security (ESCI index), 14(9), 746757 7A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), A Growing Hierarchical Semi-Supervised SOM for Classification Problem, International Journal of Computer Science and Information Security (ESCI index), 14(9), 671-679 8A Lê Anh Tú, Vũ Đức Thái, Ngô Phương Thùy (2016), Cải tiến mạng nơron tự tổ chức cho mục đích phân cụm liệu, Hội nghị tồn quốc lần thứ Cơ Điện tử - VCM-2016, Cần Thơ 11/2016, 726-734 129 TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Trung Hải (2008), Ứng dụng lý thuyết mờ mạng nơron để điều khiển hệ chuyển động, Luận án Tiến sĩ, Trường Đại học Bách khoa Hà Nội Nguyễn Trần Hiệp (2012), Nâng cao chất lượng điều khiển robot có tham số bất định phụ thuộc thời gian sở ứng dụng mạng nơron giải thuật di truyền, Luận án Tiến sĩ, Học viện Kỹ thuật Quân Nông Thị Hoa (2015), Cải tiến trình học số mạng nơron ghi nhớ, Luận án Tiến sĩ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội Nguyễn Duy Hưng (2009), Về phương pháp tổng hợp hệ điều khiển mờ dùng mạng nơron ứng dụng công nghiệp, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Nguyễn Thị Thanh Nga (2013), Về phương pháp cải tiến thuật toán học mạng nơ ron cho tốn có mặt lỗi đặc biệt nhận dạng, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Tiếng Anh G Abaei, A Selamat and H Fujita (2015), “An Empirical Study Based on SemiSupervised Hybrid Self-Organizing Map for Software Fault Prediction”, Knowledge-Based Systems, 74, 28–39 D Alahakoon, S Halgamuge, and B Srinivasan (2000), “Dynamic SelfOrganizing Maps with Controlled Growth for Knowledge Discovery,” IEEE Trans Neural Netw, 11(3), 601–614 A Allahyar, H S Yazdi, A Harati (2015), “Constrained Semi-Supervised Growing Self-Organizing Map,” Neurocomputing, 147, 456–471 T Aoki, T Aoyagi (2007), “Self-Organizing Maps with Asymmetric Neighborhood Function,” Neural Computation, 19, 2515-2535 10 C Astudillo and B Oommen (2009), “On Using Adaptive Binary Search Trees to Enhance Self Organizing Maps,” in 22nd Australasian Joint Conference On Artificial Intelligence (AI) 2009, A Nicholson and X Li, Eds., 199–209 11 C Astudillo and B Oommen (2011), “Imposing Tree-Based Topologies onto Self Organizing Maps,” Inf Sci, 181(18), 3798–3815 130 12 C Astudillo and B Oommen (2014), “Topology-Oriented Self-Organizing Maps: A Survey,” Pattern Analysis and Applications, 17(2), 223–248 13 H Bauer and K Pawelzik (1992), “Quantifying the Neighborhood Preservation of Self Organizing Feature Maps,” IEEE Transactions on Neural Networks, 3(4), 570–579 14 H Bauer, M Herrmann, and T Villmann (1999), “Neural Maps and Topographic Vector Quantization,” Neural Netw, 12(4-5), 659–676 15 Y Bengio (2013), “Knowledge Matters: Importance of Prior Information for Optimization,” in International Conference on Learning Representations, 1–37 16 E Berglund and J Sitte (2006), “The Parameterless Self-Organizing Map Algorithm,” Neural Netw IEEE Trans, 17(2), 305–316 17 J Blackmore and R Miikkulainen (1995), “Visualizing High-Dimensional Structure with the Incremental Grid Growing Neural Network,” in Proceedings of the Twelfth International Conference on Machine Learning, A Prieditis and S Russell, Eds San Francisco, CA, USA: Morgan Kaufmann Publishers, 55–63 18 D Brugger, M Bogdan, and W Rosenstiel (2008), “Automatic Cluster Detection in Kohonen’s SOM,” IEEE Transactions on Neural Networks, 19(3) 19 M Chattopadhyay, P K Dan, and S Mazumdar (2012), “Application of Visual Clustering Properties of Self Organizing Map in Machine-Part Cell Formation,” Applied Soft Computing, 12(2), 600–610 20 T Chow and M Rahman (2009), “Multilayer SOM with Tree Structured Data for Efficient Document Retrieval and Plagiarism Detection,” Neural Netw IEEE Trans, 20(9), 1385–1402 21 D L Davies and D W Bouldin (1979), “A cluster separation measure,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol PAMI-1(2), 224– 227 22 J Dopazo and J Carazo (1997), “Phylogenetic Reconstruction Using an Unsupervised Growing Neural Network that Adopts the Topology of a Phylogenetic Tree,” J Mol Evol, 44(2), 226–233 23 J A Flanagan (1996), “Self-Organization in Kohonen’s SOM,” Neural Networks, 9(7), 1185–1197 24 A Forti and G Foresti (2006), “Growing Hierarchical Tree SOM: an Unsupervised Neural Network with Dynamic Topology,” Neural Netw, 19(10), 1568–1580 25 B Fritzke (1992), “Growing Cell Structures-A Self-Organizing Network in k Dimensions,” in Artificial Neural Networks, I Aleksander and J Taylor, Eds North-Holland: Amsterdam, Netherlands, 2(2), 1051–1056 131 26 B Fritzke (1995), “Growing Grid - a Self-Organizing Network With Constant Neighborhood Range and Adaptation Strength,” Neural Process Lett, 2(5), 9–13 27 B Fritzke (1995), “A Growing Neural Gas Network Learns Topologies,” in Advances in Neural Information Processing Systems, G Tesauro, D Touretzky, and T Leen, Eds MIT Press, Cambridge, 7, 625–632 28 E Germen and S Bilgen (1997), “A Statistical Approach to Determine the Neighborhood Function and Learning Rate in Self-Organizing Maps,” in Proc ICONIP97 Springer, 334–337 29 E Germen (2002), “Increasing the Topological Quality of Kohonen’s Self Organizing Map by Using a Hit Term,” in Neural Information Processing, Proceedings of the 9th International Conference on (ICONIP ’02), 2, 930–934 30 E Germen (2005), “Improving the Resultant Quality of Kohonens Self Organizing Map Using Stiffness Factor,” in Advances in Natural Computation, Lecture Notes in Computer Science (First International Conference, ICNC 2005) Changsha, China: Springer Berlin Heidelberg, August 27-29 2005, 3610, 353–357 31 D Gil, J G Rodriguez, M Cazorla, M Johnsson (2015), “SARASOM: a Supervised Architecture Based on the Recurrent Associative SOM,” Neural Computing and Applications, 26(5), 1103-1115 32 R Groof and I Valova (2014), “Genetically Supervised Self-Organizing Map for the Classification of Glass Samples”, 13th International Conference on Machine Learning and Applications 33 L Guan (2006), “Self-Organizing Trees and Forests: A Powerful Tool in Pattern Clustering and Recognition,” in Proceedings of the 3rd International Conference Image Analysis and Recognition (ICIAR 2006), A Campilho and M Kamel, Eds., vol 4141 Berlin: Lecture notes in computer science of Springer, September-2006, 1–14 34 X Guo, H Wang, D H Glass (2013), “Bayesian Self-Organizing Map for Data Classification and Clustering,” International Journal of Wavelets, Multiresolution and Information Processing, 11 (5), 1-12, DOI: 10.1142/S0219691313500379 35 M Hagenbuchner, A Sperduti, and A Tsoi (2003), “A Self Organizing Map for Adaptive Processing of Structured Data,” IEEE Trans Neural Netw, 14(3), 491– 505 36 M Hagenbuchner, A Sperduti, A Tsoi (2009), “Graph Self-Organizing Maps for Cyclic and Unbounded Graphs,” Neurocomputing, 72(79), 1419–1430 132 37 J Han and M Kamber (2006), Data Mining: Concepts and Techniques, 2nd ed, Morgan Kaufmann 38 T Heskes (1999), “Energy Functions for Self-Organizing Maps,” in Kohonen Maps, Elsevier Science, S K E Oja, Ed Amsterdam, 303–316 39 L Herrmann and A Ultsch (2007), “Label Propagation for Semi-Supervised Learning in Self-Organizing Maps,” Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM 2007) 40 A K Jain, J Mao, K M Mohiuddin (1996), Artificial Neural Networks: A Tutorial, IEEE Computer, 29 (3), 31-44, DOI: 10.1109/2.485891 41 C E Kahraman (2012), Computational Intelligence Systems in Industrial Engineering, 1st ed., Ed Atlantis Press, vol 42 R Kamimura (2014), “Input Information Maximization for Improving SelfOrganizing Maps,” Applied Intelligence, 41(2), 421–438 43 K Kiviluoto (1996), “Topology Preservation in Self-Organizing Maps,” in Neural Networks, IEEE International Conference on (ICNN96), vol Washington, DC: IEEE, Jun 3-6 1996, 294–299 44 T Kohonen (2001), Self-Organizing Maps, 3rd ed Springer-Verlag 45 P Koikkalainen and E Oja (1990), “Self-Organizing Hierarchical Feature Maps,” in IJCNN Int Joint Conf Neural Netw, 2, 279–284 46 T Koskela, M Varsta, J Heikkonen, and K Kaski (1998), “Recurrent SOM with Local Linear Models in Time Series Prediction,” in 6th European Symposium on Artificial Neural Networks, D-facto Publications, 167–172 47 K Latif and R Mayer (2007), “Sky-Metaphor Visualisation for Self-Organising Maps,” in Proceedings of the 7th International Conference on Knowledge Management (IKNOW’07), Graz, Austria, September 5-7 2007 48 S Lawawirojwong, J Qi and T Suepa (2013), “Supervised Self-Organizing Map with Classification Uncertainty,” Second International Conference on, AgroGeoinformatics (Agro-Geoinformatics), 12-16 Aug 2013, 56-60 49 J A Lee, M Verleysen (2002), “Self-Organizing Maps with Recursive Neighborhood Adaptation,” Neural Networks, 15, 993–1003 50 V Leela, K Sakthi priya and R Manikandan (2014), “Comparative Study of Clustering Techniques in Iris Data Sets,” World Applied Sciences Journal, 29, 2429, DOI: 10.5829/idosi.wasj.2014.29.dmsct.5 51 W Li, S Zhang, and G He (2013), “Semisupervised Distance-Preserving SelfOrganizing Map for Machine-Defect Detection and Classification,” IEEE Transactions on Instrumentation and Measurement, 62(5), 869-879 133 52 E Lopez-Rubio (2013), “Improving the Quality of Self-Organizing Maps by SelfIntersection Avoidance,” Neural Networks and Learning Systems, IEEE Transactions on, 24(8), 1253–1265 53 S Lu, X Tu and Y Lu (2011), “A handwritten Bangla Numeral Recognition Scheme Based on Expanded Two-Layer SOM”, Int J Intelligent Systems Technologies and Applications, 10(2), 203-213 54 J MacQueen (1967), “Some Methods for Classification and Analysis of Multivariate Observations,” in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, L M Le Cam and J Neyman, Eds., vol I: Statistics Berkeley, California, USA: University of California Press, 1967, 281– 297 55 T Martinetz, S Berkovich, and K Schulten (1993), “Neural-Gas” Network for Vector Quantization and its Application to Time-Series Prediction,” IEEE Transactions on Neural Networks, 4(4), pp 558–569 56 T Martinetz and K Schulten (1994), “Topology Representing Networks,” Neural Netw, 7(3) 507–522 57 R Mayer, T Aziz, and A Rauber (2007), “Visualising Class Distribution on SelfOrganising Maps,” in Proceedings of the International Conference on Artificial Neural Networks (ICANN’07) Porto, Portugal: Springer Verlag, September 9-13 2007 58 W S McCulloch and W Pitts (1943), “A Logical Calculus of the Ideas Immanent in Nervous Activity,” Bulletin of Mathermatical Biophysics, 5, 115–133 59 W Melssen, R Wehrens, and L Buydens (2006), “Supervised Kohonen Networks for Classification Problems,” Chemometrics and Intelligent Laboratory Systems, 83, 99–113 60 D Merkl, S He, M Dittenbach, and A Rauber (2003), “Adaptive Hierarchical Incremental Grid Growing: An Architecture for High-Dimensional Data Visualization,” in Proceedings of the 4th Workshop on Self-Organizing Maps, Advances in Self-Organizing Maps, Kitakyushu, Japan, September 11-14 2003, 293–298 61 D Merkl and A Rauber (1997), “Alternative Ways for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Workshop on Self-Organizing Maps (WSOM97), Helsinki, Finland, June 4-6 1997 62 R Miikkulainen (1990), “Script Recognition with Hierarchical Feature Maps,” Connect Sci, 2(1,2), 83–101 134 63 F Mulier and V Cherkassky (1995), “Statistical Analyses Of Self-Organization,” Neural Networks, 8(5), 717–727 64 J I Mwasiagi, H XiuBao, W XinHou, and C Qing-dong (2007), “The Use of KMeans and Kohonen Self Organizing Maps to Classify Cotton Bales,” in Beltwide Cotton Conferences (BWCC’07), New Orleans, Louisiana, January 9-12 2007 65 A Neme, E Chavez, A Cervera, and V Mireles (2008), “Decreasing Neighborhood Revisited in Selforganizing Map,” in Artificial Neural Networks ICANN 2008, vol 5163 Prague, Czech Republic: Springer Berlin Heidelberg, September 3-6 2008, 671–679 66 A Neme and P Miramontes (2014), “Self-Organizing Map Formation with A Selectively Refractory Neighborhood,” Neural Processing Letters, 39(1) 1-24 67 R Neumayer, R Mayer, G Păolzlbauer, and A Rauber (2007), The Metro Visualisation of Component Planes for Self-Organising Maps,” in Proceedings of the International Joint Conference on Neural Networks (IJCNN’07) Orlando, FL, USA: IEEE Computer Society, August 12-17 2007 68 R Neumayer, R Mayer, and A Rauber (2007), “Component Selection for The Metro Visualisation of the SOM,” in Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM’07), Bielefeld, Germany, September 3-6 2007 69 K Ota, T Aoki, K Kurata, T Aoyagi (2011), “Asymmetric Neighborhood Functions Accelerate Ordering Process of Self-Organizing Maps,” Physical Review, 83(2-1), 1-9 70 J Pakkanen, J Iivarinen, and E Oja (2004), “The Evolving Tree-A Novel SelfOrganizing Network for Data Analysis,” Neural Process Lett, 20(3), 199–211 71 E Pampalk, A Rauber, and D Merkl (2002), “Using Smoothed Data Histograms for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Intl Conf on Artificial Neural Networks (ICANN 2002), Madrid, Spain, August 27-30 2002, 871–876 72 S Papadimitriou, S Mavroudi, L Vladutu, and A Bezerianos (2001), “Ischemia Detection with a Self-Organizing Map Supplemented by Supervised Learning,” IEEE Transactions on Neural Networks, vol 12(3), 503-515 73 D Polani (2002), “Measures for the Organization of Self-Organizing Maps,” Studies in Fuzziness and Soft Computing, 78, 13–44 74 G Polzlbauer (2004), “Survey and Comparison of Quality Measures for SelfOrganizing Maps,” in Proceedings of the Fifth Workshop on Data Analysis (WDA 135 - 04), J Paralic, G Polzlbauer, and A Rauber, Eds Sliezsky dom, Vysoke Tatry, Slovakia: Elfa Academic Press, June 24-27 2004, pp 67–82 75 G Polzlbauer, A Rauber, and M Dittenbach (2005), “Advanced Visualization Techniques for Self-Organizing Maps with Graph-Based Methods,” in Proceedings of the Second International Symposium on Neural Networks (ISNN’05) Chongqing, China: Springer-Verlag, May 30 - June 2005, 75–80 76 G Polzlbauer, M Dittenbach, and A Rauber (2006), “Advanced Visualization of Self-Organizing Maps with Vector Fields,” Neural Networks, 9(6-7), 911–922, July-August 2006 77 M F Porter (1980), “An Algorithm for Suffix Stripping,” Program 78 A Rauber, D Merkl, and M Dittenbach (2002), “The Growing Hierarchical SelfOrganizing Map: Exploratory Analysis of High-Dimensional Data,” IEEE Trans Neural Netw, 13(6), 1331–1341 79 H Schulz and S Behnke (2012), “Deep Learning,” Kunstl Intell, 26(4), 357–363 80 D Senanayake, L Muthugama, L Mendis, T Madushanka (2015), “Customer Churn Prediction: A Cognitive Approach,” International Scholarly and Scientific Research & Innovation, 9(3), 753-759 81 R K Srivastava, J Masci, S Kazerounian, F Gomez, and J Schmidhuber (2013), “Compete to Compute,” in Advances in Neural Information Processing Systems, 2013, 2310–2318 82 M Strickert and B Hammer (2005), “Merge SOM for Temporal Data,” Neurocomputing, vol 64(0), 39–71 83 Y Sun (2000), “On Quantization Error of Self-Organizing Map Network,” Neurocomputing, 34(1-4), 169–193 84 I Sutskever (2013), “Training Recurrent Neural Networks,” Ph.D dissertation, Toronto University 85 A Thammano and J Kiatwuthiamorn (2007), “Solving Classification Problems Using Supervised Self-Organizing Map,” IEEE International Symposium on Signal Processing and Information Technology 86 A Ultsch and H Siemon (1990), “Kohonen’s Self-Organizing Feature Maps for Exploratory Data Analysis,” in Proceedings of the International Neural Network Conference (INNC’90), Kluwer, 305–308 87 A Ultsch (2003), “Maps for the Visualization of High-Dimensional Data Spaces,” in Proceedings Workshop on Self-Organizing Maps (WSOM 2003), Kyushu, Japan, 2003, 225–230 136 88 A Ultsch (2003), “U*-matrix: A Tool to Visualize Clusters in High Dimensional Data,” Dept of Mathematics and Computer Science, University of Marburg, Germany, Tech Rep 89 A E Uriarte and D F Martín (2005), “Topology Preservation in SOM,” Int J Appl Math Comput Sci, 1(1), 19–22 90 J Vesanto and J Ahola (1999), “Hunting for Correlations in Data Using the SelfOrganizing Map,” in Proceeding of the International ICSC Congress on Computational Intelligence Methods and Applications (CIMA ’99) ICSC Academic Press, 79–285 91 J Vesanto (1999), “SOM-Based Data Visualization Methods,” Intelligent Data Analysis, vol 3(2), 111–126 92 T Villmann, R Der, and T Martinez (1994), “A New Quantitative Measure of Topology Preservation in Kohonen’s Feature Maps,” in Proceedings of the IEEE International Conference on Neural Networks 94, Orlando, Florida, USA: IEE, 645–648 93 S Wang and H Wang (2002), “Knowledge Discovery Through Self-Organizing Maps: Data Visualization and Query Processing,” Knowledge and Information Systems, 4(1), 31–45 94 F Wang, X Wang and T Li (2009), “Generalized Cluster Aggregation,” in Proceedings of the 21st International jont Conference on Artifical Intelligence (IJCAI'09), 1279-1284 95 J H Ward, Jr (1963), “Hierarchical Grouping to Optimize an Objective Function,” Journal of the American Statistical Association, 58(301), 236–244 96 B M Wilamowski, Auburn Univ., AL,.(2003), “Neural Network Architectures and Learning,” Industrial Technology 2003 IEEE International Conference on, 10-12, Dec 2003, 1(1-12), DOI: 10.1109/ICIT.2003.1290197 97 M J Zaki and W M Jr (2014), Data Mining and Analysis: Fundamental Concepts and Algorithms, 1st ed, Cambridge University Press 98 J Zupan, M Novic, and I Ruisánchez (1997), “Kohonen and Counter Propagation Artificial Neural Networks in Analytical Chemistry,” Chemometrics and Intelligent Laboratory Systems, 38, 1–23 99 A Rauber (1999), “LabelSOM: On the Labeling of Self-Organizing Maps,” in Proceedings of International Joint Conference on Neural Networks (IJCNN '99) ... thực nghiệm phân cụm SOM-P SOM-2 119 Bảng So sánh SOM-P, SOM-2 với GWCA số phương thức khác 120 Bảng 4 So sánh SOM-P, SOM-2 với GSOM KGSOM 121 Bảng So sánh SOM-P, SOM-2 với số phương thức... Semi-Supervised) RSOM Recurrent Self-Organizing Map SC Spectral Clustering SKN sNet-SOM SOM Supervised Kohonen Network Supervising Network Self-Organizing Map Self Organizing Map SOM-P SOMSR SOM-Partitional... Representing Network TSSOM TSVQ TTOCONROT TTOSOM Tree-Structured SOM Tree-Structured VQ TTOSOM with Conditional Rotations Tree-Based Topology-Oriented SOM WC Weighted Consensus XYF X–Y Fused Network