Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC Chuyên ngành: Cơ sở toán học cho tin học Mã số: 62 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Nguyễn Quang Hoan Hà Nội - 2016 Lời cam đoan Tôi xin cam đoan công trình nghiên cứu riêng Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết nêu luận án trung thực chưa công bố công trình khác NGHIÊN CỨU SINH Lê Anh Tú Lời cảm ơn Luận án thực Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam, hướng dẫn PGS TS Nguyễn Quang Hoan Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, người động viên, trao đổi nhiều kiến thức bảo vượt qua khó khăn để hoàn thành luận án Tôi xin gửi lời cảm ơn chân thành tới PGS TS Lương Chi Mai, PGS TS Đặng Văn Đức, TS Nguyễn Đức Dũng nhà khoa học khác Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam có trao đổi góp ý để hoàn thiện luận án, đã giúp đỡ trình học tập, nghiên cứu Xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo điều kiện, quan tâm giúp đỡ để hoàn thành luận án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người ủng hộ, giúp đỡ hỗ trợ mặt để yên tâm học tập đạt kết tốt MỤC LỤC Lời cam đoan Lời cảm ơn .2 MỤC LỤC .3 Danh mục từ viết tắt Danh mục ký hiệu toán học .9 Danh mục bảng 11 Danh mục hình vẽ, đồ thị 12 Danh mục định nghĩa, định lý, bổ đề 13 Danh mục thuật toán .13 MỞ ĐẦU .14 CHƯƠNG 19 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC 19 1.1 Tổng quan mạng nơron nhân tạo 19 1.1.1 Khái niệm mạng nơron nhân tạo 19 1.1.2 Các kiến trúc mạng nơron nhân tạo 20 1.1.3 Các phương pháp học 21 1.1.4 Lịch sử xu hướng phát triển mạng nơron nhân tạo 23 1.2 Mạng nơron tự tổ chức 25 1.2.1 Cấu trúc mạng nơron tự tổ chức 25 1.2.2 Thuật toán học mạng nơron tự tổ chức 26 1.2.3 Đánh giá chất lượng đồ đặc trưng mạng nơron tự tổ chức .29 1.3 Hạn chế mạng nơron tự tổ chức biện pháp khắc phục 32 1.4 Kết nghiên cứu nước cải tiến cấu trúc, phương pháp học mạng nơron tự tổ chức 35 1.4.1 Kết nghiên cứu nước 35 1.4.2 Kết nghiên cứu nước 35 1.5 Đặc điểm chung phương thức cải tiến mạng nơron tự tổ chức 41 1.6 Kết luận chương .43 CHƯƠNG 44 HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG CỦA MẠNG NƠRON TỰ TỔ CHỨC 44 2.1 Tổng quan cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức 44 2.2 Điều chỉnh hàm lân cận để cải thiện chất lượng đồ đặc trưng .46 2.2.1 Một số dạng hàm lân cận mạng nơron tự tổ chức 46 2.2.2 Điều chỉnh tham số hàm lân cận đối xứng dạng mũ .47 2.3 Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử .51 2.3.1 Đặt vấn đề 51 2.3.2 Thuật toán điều chỉnh trọng số nơron 57 2.4 Các tập liệu sử dụng cho thực nghiệm 60 2.5 Thực nghiệm hàm lân cận mũ với tham số điều chỉnh .62 2.5.1 Mục tiêu thực nghiệm 62 2.5.2 Phương pháp thực nghiệm 62 2.5.3 Các tham số khởi tạo mạng 62 2.5.4 Kết thực nghiệm 63 2.5.5 So sánh hàm lân cận điều chỉnh với số dạng hàm lân cận khác 72 2.6 Thực nghiệm thuật toán Batch-IMQS 73 2.6.1 Mục tiêu thực nghiệm 73 2.6.2 Phương pháp thực nghiệm 73 2.6.3 Các tham số khởi tạo mạng 73 2.6.4 Kết thực nghiệm 73 2.7 Kết luận chương .75 CHƯƠNG 76 MỘT MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU .76 3.1 Tổng quan mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho phân lớp liệu 76 3.2 Phát biểu toán phân lớp liệu 79 3.3 Một cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu 79 3.3.1 Các cấu trúc tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu .80 3.3.2 Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 83 3.3.3 Thuật toán huấn luyện kiểm thử mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu .87 3.4 Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 92 3.4.1 Mục tiêu thực nghiệm 92 3.4.2 Phương pháp thực nghiệm 92 3.4.3 Các tham số khởi tạo mạng 93 3.4.4 Kết thực nghiệm 93 3.4.5 So sánh mô hình đề xuất với số phương thức khác 96 3.5 Kết luận chương .101 CHƯƠNG 102 MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU .102 4.1 Tổng quan sử dụng mạng nơron tự tổ chức cho phân cụm liệu .102 4.2 Phát biểu toán phân cụm liệu 105 4.3 Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm liệu .106 4.3.1 Ý tưởng thuật toán cải tiến 106 4.3.2 Thuật toán học cải tiến mạng nơron tự tổ chức cho phân cụm liệu 109 4.4 Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm liệu .111 4.4.1 Cấu trúc mạng nơron tự tổ chức mở rộng hai lớp 112 4.4.2 Thuật toán huấn luyện mạng nơron tự tổ chức mở rộng hai lớp .112 4.5 Thực nghiệm thuật toán học cải tiến mạng tự tổ chức mở rộng hai lớp 116 4.5.1 Mục tiêu thực nghiệm 116 4.5.2 Phương pháp thực nghiệm 117 4.5.3 Các tham số khởi tạo mạng 117 4.5.4 Kết thực nghiệm 117 4.5.5 So sánh phương thức đề xuất với số phương thức khác .118 4.6 Kết luận chương .121 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN 123 CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH .125 TÀI LIỆU THAM KHẢO 126 PHỤ LỤC 134 Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm 134 Phụ lục 2: Độ xác phân loại (Accuracy) 136 Danh mục từ viết tắt Từ viết tắt AHIGG ANN BDK Diễn giải Adaptive Hierarchical Incremental Grid Growing Artificial Neural Network Bi-Directional Kohonen BMU BoA Best Matching Unit Bubble of Activity BSOM CCS Bayesian Self-Organizing Map Cohn's CSS (Constrained Semi-Supervised) CPN CS2GS CSPA DCS DM Counter Propagation Network Constrained SemiSupervised GSOM Cluster-based Similarity Partitioning Algorithm Davidson's CSS (Constrained Semi-Supervised) Distortion Measure ET GCS GG GHSOM GHSSOM GHTSOM GMM GNG Evolving Tree Growing Cell Structure Growing Grid Growing Hierarchical SOM Growing Hierarchical Semi-Supervised SOM Growing Hierarchical Tree SOM Gaussian Mixture Model Growing Neural Gas GSOM GWCA HFM HGPA HTS IGG IMQS KGSOM Growing SOM Generalized Weighted Cluster Aggregation Hierarchical Feature Map Hyper-Graph-Partitioning Algorithm Hierarchical Tree Structure Incremental Grid Growing Improving Map Quality of SOM Kernel GSOM KNN NG k-Nearest Neighbor Neural Gas NMFC Nonnegative Matrix Factorization based Consensus QE RCS Quantization Error Ruiz's CSS (Constrained Semi-Supervised) RSOM SC SKN Recurrent Self-Organizing Map Spectral Clustering Supervised Kohonen Network sNet-SOM Supervising Network Self-Organizing Map SOM SOM-P Self Organizing Map SOM-Partitional SOMSR SOTA SOM with Selective Refractoriness Self-Organizing Tree Algorithm SOTM SSGSOM SVM Self Organising Tree Map Semi-Supervised GSOM Support Vector Machine TE TP TRN Topographic Error Topographic Product Topology Representing Network TSSOM Tree-Structured SOM TSVQ TTOCONROT TTOSOM WC XYF Tree-Structured VQ TTOSOM with Conditional Rotations Tree-Based Topology-Oriented SOM Weighted Consensus X–Y Fused Network 122 thực cách liên tục phân ly tranh chấp nơron cụm lần học mạng Thứ hai, đề xuất cấu trúc mở rộng SOM-2 gồm lớp đưa thuật toán học SOM-2 cho mục đích phân cụm liệu Lớp ma trận Kohonen chiều, nơron thuộc lớp đại diện cho cụm nơron thuộc lớp SOM2 sử dụng phương pháp phân cụm phân hoạch Trong lần học, bước hiệu chỉnh trọng số nơron đại diện cụm thuộc lớp 2, xác định cụm cho nơron thuộc lớp So với số phương thức phân cụm sử dụng phương pháp phân cụm phân hoạch công bố gần đặc biệt số phương thức phân cụm cải tiến từ SOM, SOM-P SOM-2 phân cụm tốt Tuy nhiên, so với số phương thức phân cụm truyền thống kết chưa có bật Có hai nguyên nhân chính: Một là, SOM-P SOM-2 phải thực hai lần phép ánh xạ liệu để phân cụm Lần ánh xạ mẫu liệu tới nơron đại diện cho chúng Lần hai gom nơron có trọng số tương đồng vào cụm Hai lần ánh xạ tạo sai số cao so với thuật toán phân cụm trực tiếp Đây hạn chế chung tất phương thức phân cụm phát triển từ SOM Hai là, việc phân nhóm nơron sử dụng phương pháp phân cụm phân hoạch chưa phù hợp thực tế cụm liệu phân bố đồ đặc trưng dạng hình cầu Hướng phát triển chương nghiên cứu phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phân cụm phân hoạch 123 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN Kết luận Với mục tiêu nghiên cứu cải tiến cấu trúc, thuật toán học mạng nơron tự tổ chức, luận án thực nội dung nghiên cứu: Nghiên cứu tổng quan mạng nơron tự tổ chức biến thể mạng nơron tự tổ chức, phân tích hạn chế giải pháp nhà nghiên cứu sử dụng để khắc phục hạn chế Ngoài ra, tổng hợp đặc điểm chung áp dụng để phát triển biến thể mạng nơron tự tổ chức Các nghiên cứu sở để phát triển hướng nghiên cứu luận án Các nội dung nghiên cứu chuyên sâu luận án tập trung theo hai mục tiêu sau: Thứ nhất, cải tiến thuật toán học nhằm cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức Thứ hai, cải tiến cấu trúc thuật toán học mạng nơron tự tổ chức ứng dụng cho toán phân lớp phân cụm liệu Các kết cụ thể gồm: (1) Bổ sung tham số điều chỉnh cho hàm lân cận đối xứng dạng mũ (Gaussian) để đạt đồ đặc trưng có chất lượng tốt với hai độ đo lỗi lượng tử lỗi hình trạng giảm Tức cải thiện hai tiêu chí chất lượng học chất lượng chiếu (tính bảo tồn quan hệ lân cận liệu) (2) Đưa thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử mạng Mục tiêu nâng cao chất lượng học mạng hay cải thiện tính xác liệu đại diện Tuy nhiên, hạn chế thuật toán lỗi hình trạng tăng tỉ lệ nghịch với lỗi lượng tử (3) Đưa cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu Mô hình đề xuất hoạt động mô hình phân lớp truyền thống phân lớp bán giám sát So với nhiều mô hình phân lớp khác, mô hình đề xuất phân lớp xác 124 hơn, đặc biệt trường hợp số lượng mẫu liệu huấn luyện có nhãn nhỏ (4) Đưa hai đề xuất cải tiến mạng nơron tự tổ chức cho toán phân cụm liệu Một là, cải tiến thuật toán học mạng áp dụng cho toán phân cụm liệu Hai là, đưa cấu trúc mạng gồm hai lớp thuật toán học cấu trúc đề xuất áp dụng cho toán phân cụm liệu Các phương thức phân cụm xác so với số phương thức phân cụm khác sử dụng phương pháp phân hoạch số phương thức phân cụm phát triển từ SOM (5) Cài đặt thực nghiệm cấu trúc thuật toán cải tiến sử dụng 12 tập liệu giả định thực tế công bố Hướng phát triển đề tài luận án Các nội dung nghiên cứu luận án tiếp tục hoàn thiện phát triển Một số hướng phát triển cụ thể luận án sau: - Tiếp tục nghiên cứu phương thức để cải thiện chất lượng đồ đặc trưng mạng, nhằm đảm bảo giảm đồng thời hai độ đo lỗi lượng tử lỗi hình trạng Ngoài ra, nghiên cứu mở rộng thuật toán học biến thể mạng nơron tự tổ chức để cải thiện chất lượng đồ đặc trưng biến thể - Cải tiến kỹ thuật lan truyền nhãn mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát GHSSOM nhằm cải thiện độ xác phân lớp - Nghiên cứu kỹ thuật phân nhóm nơron SOM dựa tính chất khoảng cách nơron thay sử dụng tư tưởng phương pháp phân cụm phân hoạch để cải thiện độ xác phân cụm giải pháp đề xuất 125 CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 1A Lê Anh Tú, Phạm Việt Bình, Lê Sơn Thái (2013), Một giải pháp trực quan mạng nơron SOM ứng dụng phân cụm liệu, Fair 06/2013-Huế, 270-276 2A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2013), Clustering Hierarchical Data Using SOM Neural Network, ICCASA 2012, LNICST of Springer 109, 282– 289 3A Lê Anh Tú, Lê Sơn Thái, Nguyễn Quang Hoan (2014), Một số giải pháp cải tiến nhằm tăng tốc độ thuật toán mạng nơron SOM, Tạp chí KH&CN-ĐHTN, 116(2), 79-84 4A Le Anh Tu, Nguyen Quang Hoan, Le Son Thai (2014), Hierarchy Supervised SOM Neural Network Applied for Classification Problem, Journal of Computer Science and Cybernetics, 24(3), 278-290 5A Lê Anh Tú, Phạm Việt Bình, Đỗ Năng Toàn, Lê Sơn Thái (2014), Ứng dụng mạng nơron SOM việc xác định trạng thái nhắm, mở mắt người, Kỷ yếu Hội thảo Fair 6/2014 - Thái Nguyên, 729-735 6A Le Anh Tu (2015), Improving the Quality of Self-Organizing Map by Different Elements Competitive Strategy, Journal of Computer Science and Cybernetics, 31(3), 215-229 7A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), Improving Feature Map Quality of SOM Based on Adjusting the Neighborhood Function, International Journal of Computer Science and Information Security (ESCI index), 14(9), 746757 8A Le Anh Tu, Nguyen Quang Hoan, Vu Duc Thai (2016), A Growing Hierarchical Semi-Supervised SOM for Classification Problem, International Journal of Computer Science and Information Security (ESCI index), 14(9), 671-679 9A Lê Anh Tú, Vũ Đức Thái, Ngô Phương Thùy (2016), Cải tiến mạng nơron tự tổ chức cho mục đích phân cụm liệu, Hội nghị toàn quốc lần thứ Cơ Điện tử - VCM-2016, Cần Thơ 11/2016 126 TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Trung Hải (2008), Ứng dụng lý thuyết mờ mạng nơron để điều khiển hệ chuyển động, Luận án Tiến sĩ, Trường Đại học Bách khoa Hà Nội Nguyễn Trần Hiệp (2012), Nâng cao chất lượng điều khiển robot có tham số bất định phụ thuộc thời gian sở ứng dụng mạng nơron giải thuật di truyền, Luận án Tiến sĩ, Học viện Kỹ thuật Quân Nông Thị Hoa (2015), Cải tiến trình học số mạng nơron ghi nhớ, Luận án Tiến sĩ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội Nguyễn Duy Hưng (2009), Về phương pháp tổng hợp hệ điều khiển mờ dùng mạng nơron ứng dụng công nghiệp, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Nguyễn Thị Thanh Nga (2013), Về phương pháp cải tiến thuật toán học mạng nơ ron cho toán có mặt lỗi đặc biệt nhận dạng, Luận án Tiến sĩ, Viện nghiên cứu Điện tử-Tin học-Tự động hóa Đỗ Phúc (2008), Giáo trình khai thác liệu, NXB Đại học Quốc gia Tp Hồ Chí Minh Tiếng Anh G Abaei, A Selamat and H Fujita (2015), “An Empirical Study Based on SemiSupervised Hybrid Self-Organizing Map for Software Fault Prediction”, Knowledge-Based Systems, 74, 28–39 D Alahakoon, S Halgamuge, and B Srinivasan (2000), “Dynamic SelfOrganizing Maps with Controlled Growth for Knowledge Discovery,” IEEE Trans Neural Netw, 11(3), 601–614 A Allahyar, H S Yazdi, A Harati (2015), “Constrained Semi-Supervised Growing Self-Organizing Map,” Neurocomputing, 147, 456–471 10 T Aoki, T Aoyagi (2007), “Self-Organizing Maps with Asymmetric Neighborhood Function,” Neural Computation, 19, 2515-2535 127 11 C Astudillo and B Oommen (2009), “On Using Adaptive Binary Search Trees to Enhance Self Organizing Maps,” in 22nd Australasian Joint Conference On Artificial Intelligence (AI) 2009, A Nicholson and X Li, Eds., 199–209 12 C Astudillo and B Oommen (2011), “Imposing Tree-Based Topologies onto Self Organizing Maps,” Inf Sci, 181(18), 3798–3815 13 H Bauer, M Herrmann, and T Villmann (1999), “Neural Maps and Topographic Vector Quantization,” Neural Netw, 12(4-5), 659–676 14 H Bauer and K Pawelzik (1992), “Quantifying the Neighborhood Preservation of Self Organizing Feature Maps,” IEEE Transactions on Neural Networks, 3(4), 570–579 15 Y Bengio (2013), “Knowledge Matters: Importance of Prior Information for Optimization,” in International Conference on Learning Representations, 1–37 16 E Berglund and J Sitte (2006), “The Parameterless Self-Organizing Map Algorithm,” Neural Netw IEEE Trans, 17(2), 305–316 17 J Blackmore and R Miikkulainen (1995), “Visualizing High-Dimensional Structure with the Incremental Grid Growing Neural Network,” in Proceedings of the Twelfth International Conference on Machine Learning, A Prieditis and S Russell, Eds San Francisco, CA, USA: Morgan Kaufmann Publishers, 55–63 18 D Brugger, M Bogdan, and W Rosenstiel (2008), “Automatic Cluster Detection in Kohonen’s SOM,” IEEE Transactions on Neural Networks, 19(3) 19 A César Astudillo and B John Oommen (2014), “Topology-Oriented SelfOrganizing Maps: A Survey,” Pattern Analysis and Applications, 17(2), 223–248 20 M Chattopadhyay, P K Dan, and S Mazumdar (2012), “Application of Visual Clustering Properties of Self Organizing Map in Machine-Part Cell Formation,” Applied Soft Computing, 12(2), 600–610 21 T Chow and M Rahman (2009), “Multilayer SOM with Tree Structured Data for Efficient Document Retrieval and Plagiarism Detection,” Neural Netw IEEE Trans, 20(9), 1385–1402 22 D L Davies and D W Bouldin (1979), “A cluster separation measure,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol PAMI-1(2), 224– 227 23 J Dopazo and J Carazo (1997), “Phylogenetic Reconstruction Using an Unsupervised Growing Neural Network that Adopts the Topology of a Phylogenetic Tree,” J Mol Evol, 44(2), 226–233 24 J A Flanagan (1996), “Self-Organization in Kohonen’s SOM,” Neural Networks, 9(7), 1185–1197 128 25 A Forti and G Foresti (2006), “Growing Hierarchical Tree SOM: an Unsupervised Neural Network with Dynamic Topology,” Neural Netw, 19(10), 1568–1580 26 B Fritzke (1995), “Growing Grid - a Self-Organizing Network With Constant Neighborhood Range and Adaptation Strength,” Neural Process Lett, 2(5), 9–13 27 B Fritzke (1995), “A Growing Neural Gas Network Learns Topologies,” in Advances in Neural Information Processing Systems, G Tesauro, D Touretzky, and T Leen, Eds MIT Press, Cambridge, 7, 625–632 28 Fritzke (1992), “Growing Cell Structures-A Self-Organizing Network in k Dimensions,” in Artificial Neural Networks, I Aleksander and J Taylor, Eds North-Holland: Amsterdam, Netherlands, 2(2), 1051–1056 29 E Germen (2002), “Increasing the Topological Quality of Kohonen’s Self Organizing Map by Using a Hit Term,” in Neural Information Processing, Proceedings of the 9th International Conference on (ICONIP ’02), 2, 930–934 30 E Germen (2005), “Improving the Resultant Quality of Kohonens Self Organizing Map Using Stiffness Factor,” in Advances in Natural Computation, Lecture Notes in Computer Science (First International Conference, ICNC 2005) Changsha, China: Springer Berlin Heidelberg, August 27-29 2005, 3610, 353–357 31 E Germen and S Bilgen (1997), “A Statistical Approach to Determine the Neighborhood Function and Learning Rate in Self-Organizing Maps,” in Proc ICONIP97 Springer, 334–337 32 D Gil, J G Rodriguez, M Cazorla, M Johnsson (2015), “SARASOM: a Supervised Architecture Based on the Recurrent Associative SOM,” Neural Computing and Applications, 26(5), 1103-1115 33 R Groof and I Valova (2014), “Genetically Supervised Self-Organizing Map for the Classification of Glass Samples”, 13th International Conference on Machine Learning and Applications 34 L Guan (2006), “Self-Organizing Trees and Forests: A Powerful Tool in Pattern Clustering and Recognition,” in Proceedings of the 3rd International Conference Image Analysis and Recognition (ICIAR 2006), A Campilho and M Kamel, Eds., vol 4141 Berlin: Lecture notes in computer science of Springer, September-2006, 1–14 35 X Guo, H Wang, D H Glass (2013), “Bayesian Self-Organizing Map for Data Classification and Clustering,” International Journal of Wavelets, Multiresolution and Information Processing, 11 (5), 1-12, DOI: 10.1142/S0219691313500379 129 36 M Hagenbuchner, A Sperduti, and A Tsoi (2003), “A Self Organizing Map for Adaptive Processing of Structured Data,” IEEE Trans Neural Netw, 14(3), 491– 505 37 M Hagenbuchner, A Sperduti, A Tsoi (2009), “Graph Self-Organizing Maps for Cyclic and Unbounded Graphs,” Neurocomputing, 72(79), 1419–1430 38 T Heskes (1999), “Energy Functions for Self-Organizing Maps,” in Kohonen Maps, Elsevier Science, S K E Oja, Ed Amsterdam, 303–316 39 L Herrmann and A Ultsch (2007), “Label Propagation for Semi-Supervised Learning in Self-Organizing Maps,” Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM 2007) 40 A K Jain, J Mao, K M Mohiuddin (1996), Artificial Neural Networks: A Tutorial, IEEE Computer, 29 (3), 31-44, DOI: 10.1109/2.485891 41 C Uriarte (2012), Computational Intelligence Systems in Industrial Engineering, 1st ed., C E Kahraman, Ed Atlantis Press, vol 42 R Kamimura (2014), “Input Information Maximization for Improving SelfOrganizing Maps,” Applied Intelligence, 41(2), 421–438 43 K Kiviluoto (1996), “Topology Preservation in Self-Organizing Maps,” in Neural Networks, IEEE International Conference on (ICNN96), vol Washington, DC: IEEE, Jun 3-6 1996, 294–299 44 T Kohonen (2001), Self-Organizing Maps, 3rd ed Springer-Verlag 45 P Koikkalainen and E Oja (1990), “Self-Organizing Hierarchical Feature Maps,” in IJCNN Int Joint Conf Neural Netw, 2, 279–284 46 T Koskela, M Varsta, J Heikkonen, and K Kaski (1998), “Recurrent SOM with Local Linear Models in Time Series Prediction,” in 6th European Symposium on Artificial Neural Networks, D-facto Publications, 167–172 47 K Latif and R Mayer (2007), “Sky-Metaphor Visualisation for Self-Organising Maps,” in Proceedings of the 7th International Conference on Knowledge Management (IKNOW’07), Graz, Austria, September 5-7 2007 48 S Lawawirojwong, J Qi and T Suepa (2013), “Supervised Self-Organizing Map with Classification Uncertainty,” Second International Conference on, AgroGeoinformatics (Agro-Geoinformatics), 12-16 Aug 2013, 56-60 49 J A Lee, M Verleysen (2002), “Self-Organizing Maps with Recursive Neighborhood Adaptation,” Neural Networks, 15, 993–1003 50 V Leela, K Sakthi priya and R Manikandan (2014), “Comparative Study of Clustering Techniques in Iris Data Sets,” World Applied Sciences Journal, 29, 2429, DOI: 10.5829/idosi.wasj.2014.29.dmsct.5 130 51 W Li, S Zhang, and G He (2013), “Semisupervised Distance-Preserving Self- Organizing Map for Machine-Defect Detection and Classification,” IEEE Transactions on Instrumentation and Measurement, 62(5), 869-879 52 E Lopez-Rubio (2013), “Improving the Quality of Self-Organizing Maps by SelfIntersection Avoidance,” Neural Networks and Learning Systems, IEEE Transactions on, 24(8), 1253–1265 53 J MacQueen (1967), “Some Methods for Classification and Analysis of Multivariate Observations,” in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, L M Le Cam and J Neyman, Eds., vol I: Statistics Berkeley, California, USA: University of California Press, 1967, 281– 297 54 T Martinetz, S Berkovich, and K Schulten (1993), “Neural-Gas” Network for Vector Quantization and its Application to Time-Series Prediction,” IEEE Transactions on Neural Networks, 4(4), pp 558–569 55 T Martinetz and K Schulten (1994), “Topology Representing Networks,” Neural Netw, 7(3) 507–522 56 R Mayer, T Aziz, and A Rauber (2007), “Visualising Class Distribution on SelfOrganising Maps,” in Proceedings of the International Conference on Artificial Neural Networks (ICANN’07) Porto, Portugal: Springer Verlag, September 9-13 2007 57 W S McCulloch and W Pitts (1943), “A Logical Calculus of the Ideas Immanent in Nervous Activity,” Bulletin of Mathermatical Biophysics, 5, 115–133 58 W Melssen, R Wehrens, and L Buydens (2006), “Supervised Kohonen Networks for Classification Problems,” Chemometrics and Intelligent Laboratory Systems, 83, 99–113 59 D Merkl, S He, M Dittenbach, and A Rauber (2003), “Adaptive Hierarchical Incremental Grid Growing: An Architecture for High-Dimensional Data Visualization,” in Proceedings of the 4th Workshop on Self-Organizing Maps, Advances in Self-Organizing Maps, Kitakyushu, Japan, September 11-14 2003, 293–298 60 D Merkl and A Rauber (1997), “Alternative Ways for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Workshop on Self-Organizing Maps (WSOM97), Helsinki, Finland, June 4-6 1997 61 R Miikkulainen (1990), “Script Recognition with Hierarchical Feature Maps,” Connect Sci, 2(1,2), 83–101 131 62 F Mulier and V Cherkassky (1995), “Statistical Analyses Of Self-Organization,” Neural Networks, 8(5), 717–727 63 J I Mwasiagi, H XiuBao, W XinHou, and C Qing-dong (2007), “The Use of KMeans and Kohonen Self Organizing Maps to Classify Cotton Bales,” in Beltwide Cotton Conferences (BWCC’07), New Orleans, Louisiana, January 9-12 2007 64 A Neme, E Chavez, A Cervera, and V Mireles (2008), “Decreasing Neighborhood Revisited in Selforganizing Map,” in Artificial Neural Networks ICANN 2008, vol 5163 Prague, Czech Republic: Springer Berlin Heidelberg, September 3-6 2008, 671–679 65 A Neme and P Miramontes (2014), “Self-Organizing Map Formation with A Selectively Refractory Neighborhood,” Neural Processing Letters, 39(1) 1-24 66 R Neumayer, R Mayer, G P¨olzlbauer, and A Rauber (2007), “The Metro Visualisation of Component Planes for Self-Organising Maps,” in Proceedings of the International Joint Conference on Neural Networks (IJCNN’07) Orlando, FL, USA: IEEE Computer Society, August 12-17 2007 67 R Neumayer, R Mayer, and A Rauber (2007), “Component Selection for The Metro Visualisation of the SOM,” in Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM’07), Bielefeld, Germany, September 3-6 2007 68 K Ota, T Aoki, K Kurata, T Aoyagi (2011), “Asymmetric Neighborhood Functions Accelerate Ordering Process of Self-Organizing Maps,” Physical Review, 83(2-1), 1-9 69 J Pakkanen, J Iivarinen, and E Oja (2004), “The Evolving Tree-A Novel SelfOrganizing Network for Data Analysis,” Neural Process Lett, 20(3), 199–211 70 E Pampalk, A Rauber, and D Merkl (2002), “Using Smoothed Data Histograms for Cluster Visualization in Self-Organizing Maps,” in Proceedings of the Intl Conf on Artificial Neural Networks (ICANN 2002), Madrid, Spain, August 27-30 2002, 871–876 71 S Papadimitriou, S Mavroudi, L Vladutu, and A Bezerianos (2001), “Ischemia Detection with a Self-Organizing Map Supplemented by Supervised Learning,” IEEE Transactions on Neural Networks, vol 12(3), 503-515 72 D Polani (2002), “Measures for the Organization of Self-Organizing Maps,” Studies in Fuzziness and Soft Computing, 78, 13–44 73 G Polzlbauer, M Dittenbach, and A Rauber (2006), “Advanced Visualization of Self-Organizing Maps with Vector Fields,” Neural Networks, 9(6-7), 911–922, July-August 2006 132 74 G Polzlbauer, A Rauber, and M Dittenbach (2005), “Advanced Visualization Techniques for Self-Organizing Maps with Graph-Based Methods,” in Proceedings of the Second International Symposium on Neural Networks (ISNN’05) Chongqing, China: Springer-Verlag, May 30 - June 2005, 75–80 75 G Polzlbauer (2004), “Survey and Comparison of Quality Measures for SelfOrganizing Maps,” in Proceedings of the Fifth Workshop on Data Analysis (WDA - 04), J Paralic, G Polzlbauer, and A Rauber, Eds Sliezsky dom, Vysoke Tatry, Slovakia: Elfa Academic Press, June 24-27 2004, pp 67–82 76 M F Porter (1980), “An Algorithm for Suffix Stripping,” Program 77 A Rauber, D Merkl, and M Dittenbach (2002), “The Growing Hierarchical SelfOrganizing Map: Exploratory Analysis of High-Dimensional Data,” IEEE Trans Neural Netw, 13(6), 1331–1341 78 H Schulz and S Behnke (2012), “Deep Learning,” Kunstl Intell, 26(4), 357–363 79 D Senanayake, L Muthugama, L Mendis, T Madushanka (2015), “Customer Churn Prediction: A Cognitive Approach,” International Scholarly and Scientific Research & Innovation, 9(3), 753-759 80 R K Srivastava, J Masci, S Kazerounian, F Gomez, and J Schmidhuber (2013), “Compete to Compute,” in Advances in Neural Information Processing Systems, 2013, 2310–2318 81 M Strickert and B Hammer (2005), “Merge SOM for Temporal Data,” Neurocomputing, vol 64(0), 39–71 82 Y Sun (2000), “On Quantization Error of Self-Organizing Map Network,” Neurocomputing, 34(1-4), 169–193 83 I Sutskever (2013), “Training Recurrent Neural Networks,” Ph.D dissertation, Toronto University 84 A Thammano and J Kiatwuthiamorn (2007), “Solving Classification Problems Using Supervised Self-Organizing Map,” IEEE International Symposium on Signal Processing and Information Technology 85 A Ultsch (2003), “Maps for the Visualization of High-Dimensional Data Spaces,” in Proceedings Workshop on Self-Organizing Maps (WSOM 2003), Kyushu, Japan, 2003, 225–230 86 A Ultsch (2003), “U*-matrix: A Tool to Visualize Clusters in High Dimensional Data,” Dept of Mathematics and Computer Science, University of Marburg, Germany, Tech Rep 133 87 A Ultsch and H Siemon (1990), “Kohonen’s Self-Organizing Feature Maps for Exploratory Data Analysis,” in Proceedings of the International Neural Network Conference (INNC’90), Kluwer, 305–308 88 A E Uriarte and D F Martín (2005), “Topology Preservation in SOM,” Int J Appl Math Comput Sci, 1(1), 19–22 89 J Vesanto and J Ahola (1999), “Hunting for Correlations in Data Using the SelfOrganizing Map,” in Proceeding of the International ICSC Congress on Computational Intelligence Methods and Applications (CIMA ’99) ICSC Academic Press, 79–285 90 J Vesanto, “SOM-Based Data Visualization Methods,” Intelligent Data Analysis, vol 3(2), 111–126, 1999 91 T Villmann, R Der, and T Martinez (1994), “A New Quantitative Measure of Topology Preservation in Kohonen’s Feature Maps,” in Proceedings of the IEEE International Conference on Neural Networks 94, Orlando, Florida, USA: IEE, 645–648 92 S Wang and H Wang (2002), “Knowledge Discovery Through Self-Organizing Maps: Data Visualization and Query Processing,” Knowledge and Information Systems, 4(1), 31–45 93 F Wang, X Wang and T Li (2009), “Generalized Cluster Aggregation,” in Proceedings of the 21st International jont Conference on Artifical Intelligence (IJCAI'09), 1279-1284 94 J H Ward, Jr (1963), “Hierarchical Grouping to Optimize an Objective Function,” Journal of the American Statistical Association, 58(301), 236–244 95 B M Wilamowski, Auburn Univ., AL,.(2003), “Neural Network Architectures and Learning,” Industrial Technology 2003 IEEE International Conference on, 10-12, Dec 2003, 1(1-12), DOI: 10.1109/ICIT.2003.1290197 96 J Zupan, M Novic, and I Ruisánchez (1997), “Kohonen and Counter Propagation Artificial Neural Networks in Analytical Chemistry,” Chemometrics and Intelligent Laboratory Systems, 38,1–23 134 PHỤ LỤC Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm Cho kết gom cụm C cụm thực T, với ma trận tổng hợp kết gom cụm (Contingency Matrix) xác định sau: Clustering C Partition T T2 n12 n22 nr2 m2 T1 n11 n21 nr1 m1 C1 C2 Cr Tổng Tk n1k n2k nrk mk Tổng n1 n2 nr n đó: Partition T: Các cụm thực n đối tượng (mẫu liệu) Clustering C: Kết gom cụm n đối tượng nij=|CiTj|: Số đối tượng trọng Ci thuộc Tj Giả sử: xi xj mẫu liệu thuộc tập liệu (với ij); yi yj nhãn cụm thực sự, cụm thực tương ứng xi xj; yi^ y ^j nhãn cụm tương ứng xi xj theo kết gom cụm Nếu xi xj gom vào cụm (tức yi^  y ^j ) gọi kiện khẳng định, ngược lại, xi xj không thuộc cụm (tức yi^  y ^j ) gọi kiện phủ định Ta có bốn trường hợp sau: - Khẳng định (TP- True Positives): số lượng cặp khẳng định Một cặp xi xj thuộc cụm thực T chúng gom vào cụm C gọi cặp khẳng định TP  -  x , x  :  y i j i   y j  and  yi^  y ^j  Phủ định sai (FN- False Negatives): số lượng cặp phủ định sai Một cặp xi xj thuộc cụm thực T chúng không thuộc cụm C gọi cặp phủ định sai 135 FN  - i j   y j  and  yi^  y ^j  i Khẳng định sai (FP- False Positives): số lượng cặp khẳng định sai Một cặp xi xj không thuộc cụm thực T thuộc cụm C gọi cặp khẳng định sai FP  -  x , x  :  y  x , x  :  y i j i   y j  and  yi^  y ^j  Phủ định (TN- True Negatives): số lượng cặp phủ định Một cặp xi xj không thuộc cụm thực T không thuộc cụm C gọi cặp phủ định TN   x , x  :  y i j Gọi N tổng số cặp, ta có: N  i   y j  and  yi^  y ^j  n  n  1  TP  FN  FP  TN Các thành phần xác định sau:  r k   TP     nij   n    i 1 j 1   FN  1 k r k 2   m j  nij   j 1 i 1 j 1  FN  1 r r k 2   ni  nij   i 1 i 1 j 1  TN  N  TP  FN  FP   1 r k r k 2  n   ni   m j   nij  2 i 1 j 1 i 1 j 1  (1) Độ xác (Precision): tỉ số cặp khẳng định tổng số cặp khẳng định số cặp khẳng định sai (đánh giá độ xác) precsion  TP TP  FP (2) Khả nhớ (Recall): tỉ số cặp khẳng định tổng số cặp khẳng định số cặp phủ định sai (đánh giá khả thu hồi) recall  TP TP  FN 136 Phụ lục 2: Độ xác phân loại (Accuracy) Accuracy  True True  False đó, True tổng số mẫu nhận dạng (A nhận dạng A); False tổng số mẫu nhận dạng sai (A nhận dạng A) [...]... toán huấn luyện, phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục các hạn chế Thứ ba, tổng hợp các nghiên cứu trong và ngoài nước về cải tiến cấu trúc, thuật toán học của mạng nơron tự tổ chức Cuối cùng, phân tích đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức 1.1 Tổng quan về mạng nơron nhân tạo 1.1.1 Khái niệm mạng nơron nhân tạo Mạng nơron nhân tạo (ANN) là... nghiệm của các phương thức đề xuất và so sánh kết quả với một số phương thức phân cụm khác 19 CHƯƠNG 1 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC Chương này trình bày nghiên cứu tổng quan của luận án, gồm bốn nội dung chính: Thứ nhất, nghiên cứu tổng quan về mạng nơron nhân tạo: kiến trúc, thuật học và xu hướng phát triển Thứ hai, nghiên cứu tổng quan về mạng nơron tự tổ chức: cấu trúc, thuật toán... trong xu hướng phát triển các mạng nơron hiện nay 1.2 Mạng nơron tự tổ chức 1.2.1 Cấu trúc mạng nơron tự tổ chức Mạng nơron SOM có cấu trúc đơn lớp (Kohonen, 2001), gồm: các tín hiệu vào và lớp ra (được gọi là lớp Kohonen), trong đó, tất cả các đầu vào được kết nối đầy đủ với mọi nơron trên lớp ra Kohonen (Hình 1.6) Kiến trúc mạng của SOM thuộc đồng thời cả hai nhóm mạng truyền thẳng và mạng phản hồi,... nơron thứ i ứng với đầu vào thứ j 1.2.2 Thuật toán học của mạng nơron tự tổ chức Mạng được huấn luyện bằng thuật toán học cạnh tranh, không giám sát, hay còn được gọi là thuật toán tự tổ chức (thuật toán SOM hay thuật toán học của SOM) Thuật toán SOM (Kohonen, 2001) gồm 4 bước: Bước 1: Khởi tạo - Kích thước mạng (là kích thước lớp Kohonen) - Vector trọng số của các nơron: khởi tạo giá trị ngẫu nhiên -... và thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm Các nghiên cứu cải tiến mạng nơron SOM 15 được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán học của mạng Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm: Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang Các cấu trúc này có đặc điểm chung là ban đầu mạng. .. 2009, cùng với sự phát triển của phần cứng máy tính, các nghiên cứu về mạng nơron đã hồi sinh sau một giai đoạn chìm lắng, điển hình là sự phát triển mạng nơron tự tổ chức SOM, với các cấu trúc tăng trưởng nhiều tầng nhằm tối ưu tính toán (Astudillo, 2014) Giai đoạn này giống như sự chuẩn bị cho sự phát triển bùng nổ của công nghệ học sâu Học sâu được gọi là công nghệ vì bản chất của các mô hình tính... hợp này, mạng tự khám phá các đặc trưng, các mối tương quan, của dữ liệu vào một cách tự động, từ đó điều chỉnh các tham số của mạng Quá trình này được gọi là tự tổ chức Ví dụ điển hình của học không giám sát là dựa vào tiêu 23 chuẩn đánh giá độ tương tự giữa các mẫu để hình thành một số lượng chưa biết trước các lớp (nhóm) khác nhau - Học bán giám sát: phương pháp học này là sự kết hợp của cả hai... 2011) Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính chất phân cấp của dữ liệu Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật toán học cải tiến sử dụng phương pháp học không giám sát và các thuật toán học cải tiến sử dụng phương pháp học giám sát hoặc bán giám sát Nhóm thứ hai hình thành các biến thể với tên gọi chung là các mạng nơron SOM học giám... lần huấn luyện thứ t Tổng khoảng cách của các mẫu đầu vào đối với trọng số của nơron Các tham số điều chỉnh cho hàm lân cận Lỗi lượng tử của mạng Lỗi lượng tử của nơron i Tổng số cụm (nhóm) Sc t Khoảng cách trọng tâm của tập dữ liệu Lần huấn luyện (lần học thứ t) 10 T Tổng số lần huấn luyện mạng T0 V, I, J Tổng số lần huấn luyện nút gốc Tập dữ liệu wc wi wi(t) Vector trọng số của nơron chiến thắng (BMU)... trúc mạng nơron (Wilamowski, 2003) Tuy nhiên xét về mặt tổng quát, người ta chia ra làm hai loại kiến trúc mạng chính: - Tự kết hợp (Autoassociative): là mạng có các nơron đầu vào cũng là các nơron đầu ra Các mạng Hopfield, BAM là thuộc kiểu mạng tự kết hợp Hình 1 1 Minh họa kiến trúc mạng tự kết hợp - Kết hợp khác kiểu (Heteroassociative): là mạng có tập nơron đầu vào và đầu ra riêng biệt Các mạng