Mạng nơ ron kohonen và ứng dụng phân loại sản phẩm

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ TÂM MẠNG NƠ RON KOHONEN VÀ ỨNG DỤNG PHÂN LOẠI SẢN PHẨM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn Thái Nguyên, năm 2015 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG LỜI CẢM ƠN Đầu tiên cho tơi gửi lời cảm ơn chân thành sâu sắc đến thầy PGS.TS Lê Bá Dũng - Viện CNTT - Viện KH CN Việt nam tận tình NGUYỄN THỊ TÂM hướng dẫn, bảo cho suốt trình làm luận văn Tơi gửi lời cảm ơn đến thầy cô trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên, thầy cô Viện Công MẠNG NƠ RON KOHONEN VÀ nghệ thông tin truyền đạt kiến thức giúp đỡ tơi suốt q trình học ỨNG DỤNG PHÂN LOẠI SẢN PHẨM Tôi xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người động viên tạo điều kiện giúp đỡ suốt hai năm học Chuyên ngành : Khoa học máy tính Mã số chuyên ngành: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ BÁ DŨNG Thái Nguyên, tháng năm 2015 LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn tự nghiên cứu, đọc, dịch tài liệu, tổng hợp thực Trong luận văn tơi có sử dụng số tài liệu tham khảo trình bày phần tài liệu tham khảo Người viết luận văn Nguyễn Thị Tâm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn LỜI CẢM ƠN Đầu tiên cho gửi lời cảm ơn chân thành sâu sắc đến thầy PGS.TS Lê Bá Dũng - Viện CNTT - Viện KH CN Việt nam tận tình hướng dẫn, bảo cho tơi suốt q trình làm luận văn Tơi gửi lời cảm ơn đến thầy cô trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên, thầy cô Viện Công nghệ thông tin truyền đạt kiến thức giúp đỡ tơi suốt q trình học Tơi xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người động viên tạo điều kiện giúp đỡ suốt hai năm học Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn i MỤC LỤC MỤC LỤC .i DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT iv DANH MỤC CÁC HÌNH VẼ v MỞ ĐẦU Chương 1: TỔNG QUAN VỀ MẠNG NƠRON VÀ MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU 1.1 Mạng nơron sinh học 1.1.1 Cấu trúc nơron sinh học 1.1.2 Hoạt động nơron sinh học 1.2 Mạng nơron nhân tạo 1.2.1 Cấu trúc mô hình nơron nhân tạo 1.2.2 Mơ hình mạng nơron nhân tạo 1.2.3 Mạng nơron lớp 10 1.2.4 Mạng nơron truyền thẳng nhiều lớp .11 1.2.5 Mạng Hopfield .11 1.3 Các luật học 13 1.3.1 Quy tắc học mạng nơron nhân tạo 13 1.3.2 Học có giám sát 14 1.3.3 Học không giám sát 15 1.3.4 Học tăng cường 15 1.4 Một số phương pháp phân cụm liệu 16 1.4.1 Phân cụm thành phần phân cụm liệu 16 1.4.2 Phương pháp phân cụm phân cấp 17 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn ii 1.4.3 Phương pháp phân cụm phân hoạch 17 1.4.4 Phương pháp phân cụm dựa mật độ 17 1.4.5 Phân cụm liệu dựa lưới 18 1.4.6 Phân cụm liệu dựa ràng buộc 18 Chương 2: PHÂN CỤM DỮ LIỆU SỬ DỤNG MẠNG SOM .20 2.1 Thuật toán phân cụm liệu 20 2.2 Thuật toán phân cụm tuyến tính khơng giám sát 21 2.2.1 Thuật toán phân cụm K-mean 21 2.2.2 Thuật toán phân cụm Fuzzy C-means 23 2.2.3 Thuật toán phân cụm phân cấp .25 2.2.4 Thuật toán phân cụm chất lượng ngưỡng .26 2.3 Thuật tốn phân cụm phi tuyến tính khơng giám sát 27 2.3.1 Thuật toán phân cụm MST (Minimum spanning tree) 27 2.3.2 Thuật toán phân cụm liệu Kernel K-mean 28 2.3.3 Thuật toán phân cụm dựa mật độ DBSCAN 29 2.4 Mạng nơron Kohonen (SOM) .30 2.4.1 Giới thiệu mạng Kohonen (SOM) 30 2.4.2 Cấu trúc SOM 32 2.4.3 Khởi tạo SOM 32 2.4.4 Huấn luyện SOM 33 2.4.5 Tỉ lệ học 34 2.4.6 Hàm lân cận 35 2.4.7 Cập nhật trọng số 38 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn iii 2.4.8 Xác định nơron chiến thắng 39 2.4.9 Bảo toàn cấu trúc liên kết .40 2.5 SOM sử dụng phân cụm liệu 40 2.5.1 SOM phân cụm với đồ chiều 41 2.5.2 SOM phân cụm với đồ chiều 41 2.5.2.1 Phân cụm không gian đồ 41 2.5.2.2 Phân cụm không gian trọng số 42 2.5.3 Xác định ranh giới cụm 42 2.5.4 Trực quan mạng 43 Chương 3: ỨNG DỤNG MẠNG KOHONEN (SOM) TRONG PHÂN LOẠI SẢN PHẨM 46 3.1 Phát biểu toán 46 3.2 Mạng Kohonen cho phân loại sản phẩm .48 3.2.1 Cấu trúc mạng 48 3.2.2 Chuẩn bị liệu 49 3.2.3 Mơ hình mạng Kohonen 51 3.2.4 Chương trình thực thi trình phân loại sản phẩm 52 3.2.5 Kiểm tra q trình tính tốn 53 3.2.6 Đánh giá kết 54 3.3 Đề xuất phương án triển khai kỹ thuật cho phân loại sản phẩm hạt cà phê 55 TÀI LIỆU THAM KHẢO .64 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn iv DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT SOM (Self-Organizing Maps) Mạng nơron tự tổ chức PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống khoảng cách EM (Expectation maximization) Thuật tốn tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu mở rộng BMU (Best – Matching unit) Đơn vị phù hợp DBSCAN (Density Based Spatial Phân cụm liệu dựa Clustering of Applications with không gian mật độ ứng dụng với Noise) nhiễu DANH MỤC CÁC BẢNG BIỂU Bảng 3.1: Đầu vào, đầu độ lớn liệu hoa Iris 54 Bảng 3.2: Kết phân loại hoa Iris .55 Bảng 3.3: Kết hạt cà phê sau phân loại 58 Bảng 3.4: Dữ liệu độ dài, độ rộng, độ dày màu sắc cà phê 61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn v DANH MỤC CÁC HÌNH VẼ Hình 1.1: Mơ hình nơron sinh học Hình 1.2: Mơ hình nơron nhân tạo Hình 1.3: Đồ thị dạng hàm truyền Hình 1.4: Mạng nơron lớp Hình 1.5: Một số dạng mạng nơron 11 Hình 1.6: Cấu trúc mạng Hopfield 12 Hình 1.7: Học có giám sát .14 Hình 1.8: Học khơng giám sát 15 Hình 2.1: Sơ đồ khối thuật toán K-mean 22 Hình 2.2: Cấu trúc mạng SOM .32 Hình 2.3: Cập nhật BMU lân cận với mẫu đầu vào x 34 Hình 2.4: Hàm tỉ lệ học theo thời gian 35 Hình 2.5: Giá trị hàm lân cận Gausian(a) hàm Bubble(b) 38 Hình 2.6: Bảo tồn cấu trúc liên kết cụm 40 Hình 3.1 a: Thực phẩm trước phân loại 47 Hình 3.1.b Phân loại thực phẩm theo thuộc tính sử dụng mạng Kohonen 48 Hình 3.2: Sơ đồ khối thuật tốn q trình phân loại sản phẩm .49 Hình 3.3: Thuật toán phân cụm sản phẩm .52 Hình 3.4: Kết gom cụm sản phẩm hoa iris theo độ dài rộng đại hoa cánh hoa .53 Hình 3.5: Hình ảnh cà phê sau thu hoạch 57 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn ii Hình 3.6: Kết gom cụm sản phẩm hạt cà phê theo độ dài, độ rộng, bề dày, mà sắc nhân hạt cà phê 62 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 53 SOM 23-Feb-2015 Hình 3.4 b Hình 3.4: Kết gom cụm sản phẩm hoa iris theo độ dài rộng đại hoa cánh hoa Trên hình 3.4 a thể hoa iris phân làm loại iris Setosa gom lại phần bên hình loại iris Versicolor gom lại phần bên trái hình, bên phải hình iris Virginica Trên hình 3.4b biến đầu vào chiều dài chiều rộng đài hoa, cánh hoa liên quan đến cụm phân 3.2.5 Kiểm tra trình tính tốn Việc tính tốn kiểm tra chất lượng SOM chia bước - Các sản phẩm có phân loại tốt khơng Các nơ ron đầu thể trật tự việc tính khoảng cách từ nơ ron chiến thắng Cho sai số lượng tử trung bình để xác định tính hội tụ ta thực theo E=1∑ Trong : N : Tổng số mẫu =1|| − || Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 54 Xi : Vec tơ liệu đầu vào thứ i Wc : Vec tơ trọng số nơ ron chiến thắng 3.2.6 Đánh giá kết Ví dụ có tạo từ loại hoa iris Đây liệu sử dụng rộng rãi để phân loại mơ hình với chiều chiều dài đài hoa (Sepail length), chiều rộng đài hoa (Sepail width) chiều dài chiều rộng cảu cánh hoa (pental length) (pental width) phân làm lớp 50 iris Setosa, iris Versicolor 50 iris Virginica kết quả: Đầu vào Đầu Độ lớn liệu Bảng 3.1: Đầu vào, đầu độ lớn liệu hoa Iris Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 55 Kết quả: Bảng 3.2: Kết phân loại hoa Iris 3.3 Đề xuất phương án triển khai kỹ thuật cho phân loại sản phẩm hạt cà phê Trên giới, cà phê có nhiều loại, loại có khả thích nghi với môi trường Hiện nay, nước giới nước ta trồng ba loại cà phê là: Arabica (cà phê chè), Robusta (cà phê vối), Chira (cà phê mít) [3] a Cà phê chè (Arabica): Là loại cà phê trồng tiêu thụ nhiều giới, chiếm 9/10 tổng sản lượng cà phê Cây cao ÷ m, có ÷ 10 m, độc thân nhiều thân, vỏ mốc trắng, gỗ vàng ngà, hoa mọc thành chùm gồm cánh màu trắng, thời gian hoa nước ta từ tháng đến tháng Quả hình trứng hay hình trịn, chín có màu đỏ tươi, kích thước quả: dài 17 ÷ 18 mm, đường kính tiết diện 10 ÷ 15 mm, 500 ÷ 700 quả/kg, thời gian từ lúc có đến lúc chín ÷ tháng, thời vụ thu hoạch từ tháng đến tháng Hạt có vỏ lụa màu bạc, bám vào nhân, kích thước: dài ÷ 10 mm, rộng ÷ mm, dày ÷ mm, kích thước thay đổi theo loại theo điều kiện mơi trường Khối lượng 500 ÷ 700 hạt/100g, hàm lượng cafein 1,3 %, hạt có màu xám xanh, xanh lục tùy theo chủng cách chế biến, suất 400 ÷ 500kg cà phê nhân/ha Tỉ lệ thành phẩm (cà phê nhân) so với nguyên liệu (cà phê tươi) 14 ÷ 20 % Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 56 b Cà phê vối (Robusta): Cây cao từ ÷ m, vỏ mốc trắng, gỗ vàng trắng ngà, hoa màu trắng mọc thành cụm có ÷ cánh, mùa hoa từ tháng đến tháng Quả hình trịn hình trứng, chín có màu đỏ hồng, thường có đường gân dọc, vỏ mỏng so với cà phê chè, thời gian từ có đến lúc chín 10 ÷ 12 tháng, thời vụ thu hoạch từ tháng đến tháng Hạt hình bầu dục hay trịn, vỏ lụa trắng dễ bong, khoảng 600 ÷ 900 hạt/100g, hạt dài ÷ mm, hạt có màu xanh bạc, xanh lục xanh nâu tùy theo chủng cách chế biến, hàm lượng cafein ÷ %, loại cà phê có nhiều cafein c Cà phê mít (Chira): Cây cao từ ÷ 15 m, đất tốt cao đến 20m Hoa màu trắng có cánh, hình trứng ép ngang, chín có màu đỏ, to dày Khối lượng 500 ÷ 700 quả/kg Hình dạng hạt cà phê mít giống hạt cà phê chè, màu vàng xanh hay màu vàng rạ, vỏ lụa dính sát vào nhân, khó bong, khoảng 700 ÷ 1000 hạt/100g, hàm lượng cafein ÷ 1,2 % Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 57 Hình 3.5: Hình ảnh cà phê sau thu hoạch Căn vào tiêu chí phân loại cà phê, ta xây dựng liệu thực nghiệm cho mô phân loại cà phê sau:  Bộ liệu để phân loại với mơ hình chiều chiều dài hạt cà phê (Coffee length), chiều rộng hạt cà phê (Coffe width) , độ dày hạt cà phê (Coffee thickness) màu sắc hạt cà phê ( Color) phân làm lớp 50 hạt Arabica, 50 hạt Robusta 50 hạt Chira  Bộ liệu xây dựng dựa tham khảo số liệu Kỹ thuật thu hoạch cà phê xuất khẩu; Dự thảo tiêu chuẩn quốc gia cà phê nhân Kết quả: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên 58 Loại 3: Chira Bảng 3.3: Kết hạt cà phê sau phân loại  Màu sắc hạt cà phê thường thấy có màu : xanh xám, xanh lục, xanh nâu, xanh bạc, vàng xanh, vàng rạ Để tiện cho việc phân loại, ta tạm thời quy ước màu thành số tương ứng: xanh xám (0) , xanh lục (1), xanh nâu (2), xanh bạc(3), vàng xanh (4), vàng rạ (5) STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên 59 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Số hóa Trung tâm Học liệu – Đại học Thái Nguyên 60 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Số hóa Trung tâm Học liệu – Đại học Thái Nguyên 61 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Bảng 3.4: Dữ liệu độ dài, độ rộng, độ dày màu sắc cà phê Sau tổng hợp liệu trên, ta dùng công cụ SOMTOOLBOX Matlab 5.3.0.10183(R11), viết chương trình code som_coffee.m liệu coffee.data, ta có kết gom cụm hạt cà phê theo độ dài, độ rộng, bề dày, màu sắc hạt cà phê sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 62 Hình 3.6: Kết gom cụm sản phẩm hạt cà phê theo độ dài, độ rộng, bề dày, mà sắc nhân hạt cà phê KẾT LUẬN Mạng nơron phương pháp thích hợp khai phá liệu với mơ hình học máy, đặc biệt học không giám sát Với 5000 ứng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 63 dụng nhiều lĩnh vực, thuật toán học mạng nơron theo SOM hữu dụng nhiều tốn Nhiều cơng trình nghiên cứu khẳng định thuật toán SOM phù hợp với ứng dụng phân loại sản phẩm Luận văn thực kết sau: - Trình bày cách tổng qt mơ hình mạng nơron ứng dụng mạng nơron khai phá liệu Trình bày cách hệ thống giải pháp học mạng nơron khơng giám sát có giám sát - Nghiên cứu, phân tích việc sử dụng thuật tốn SOM giải tốn phân cụm theo mơ hình mạng nơron - Nghiên cứu cấu trúc hoạt động công cụ SOM Toolbox phương pháp sử dụng công cụ để giải toán phân cụm liệu - Xây dựng toán phân phân loại sản phẩm sử dụng công cụ SOM Toolbox để giải toán đề xuất Các kết thử nghiệm phù hợp với phân tích Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn 64 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Bá Dũng, Bài giảng mạng nơron nhân tạo ứng dụng, Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên, 2011 [2] Nguyễn Trung Sơn, Phương pháp phân cụm ứng dụng, Luận văn thạc sĩ khoa học,Khoa công nghệ thông tin đại học Thái Nguyên 2013 [3] Lê Quang Hưng, Kỹ thuật thu hoạch cà phê xuất khẩu, Nhà xuất Giáo Dục, 1999 [4] Dự thảo tiêu chuẩn quốc gia cà phê nhân, TCVN 4193 : 2012 Tiếng Anh [5] A.K Jain, R.C Dubes, “Algorithms for clustering data”, PtenticeHall, Englewood Cliffs, NJ, 1988 [6]W.Pedrycz, “Algorithms of fuzzy clustering with partialsupervision”, Pattern Recognition, vol 23, pp.121-146, 1990 [7] Flynn.P.J, Murty M.N, Jain.A.K,Data Clustering:A Review, ACM Computing Surveys, Vol 31, No 3, 1999 [8] Juha Vesanto, Johan Himberg, Esa Alhoniemi, and Juh Parhankangas, SOM Toolbox for Matlab 5, Helsinki University of Technology, 2000 [9] Juha Vesanto,Using SOMs in Data Mining, Licentiate’s thesis, [10] Tom Germano, Self Organizing Maps, 1999 [11] Teuvo Kohonen, Self-Organizing Maps, Third Edition, Springer, Heidelberg, 2001 [12] 1995 Kohonen T Self-Organizing Maps Springer, Berlin, Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www lrc.tnu.edu.vn ... động mạng n? ?ron lớp với phần tử n? ?ron Mạng có ba đầu vào x1, x2, x3 hai đầu y1, y2 Các tín hiệu đầu vào đưa đến n? ?ron đầu vào, n? ?ron làm thành lớp đầu vào mạng Các n? ?ron lớp gọi n? ?ron đầu vào... đầu vào/ra nhiều n? ?ron với nhau, ta thu mạng n? ?ron, việc ghép nối n? ?ron mạng với theo nguyên tắc Vì mạng n? ?ron hệ truyền đạt xử lý tín hiệu, nên phân biệt loại n? ?ron khác nhau, n? ?ron có đầu vào... thành phần sản phẩm nhằm nhận biết thuộc tính sản phẩm, học viên đề xuất đề tài ? ?Mạng N? ?ron Kohonen ứng dụng phân loại sản phẩm? ?? Luận văn tập trung vào tìm hiểu mạng SOM sử dụng SOM phân cụm liệu