Mạng nơ ron kohonen và ứng dụng phân loại sản phẩm

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ TÂM MẠNG NƠ RON KOHONEN VÀ ỨNG DỤNG PHÂN LOẠI SẢN PHẨM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, năm 2015 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LỜI CẢM ƠN Đầu tiên cho gửi lời cảm ơn chân thành sâu sắc đến thầy PGS.TS Lê Bá Dũng - Viện CNTT - Viện KH CN Việt nam tận NGUYỄN THỊ TÂM tình hướng dẫn, bảo cho suốt trình làm luận văn Tôi gửi lời cảm ơn đến thầy cô trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên, thầy cô Viện MẠNG NƠ đạt RON KOHONEN VÀđỡ Công nghệ thông tin truyền kiến thức giúp suốt trình học ỨNG DỤNG PHÂN LOẠI SẢN PHẨM Tôi xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người động viên tạo điều kiện giúp đỡ suốt hai năm học Chuyên ngành : Khoa học máy tính Mã số chuyên ngành: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS LÊ BÁ DŨNG Thái Nguyên, tháng năm 2015 LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn tự nghiên cứu, đọc, dịch tài liệu, tổng hợp thực Trong luận văn có sử dụng số tài liệu tham khảo trình bày phần tài liệu tham khảo Người viết luận văn Nguyễn Thị Tâm LỜI CẢM ƠN Đầu tiên cho gửi lời cảm ơn chân thành sâu sắc đến thầy PGS.TS Lê Bá Dũng - Viện CNTT - Viện KH CN Việt nam tận tình hướng dẫn, bảo cho suốt trình làm luận văn Tôi gửi lời cảm ơn đến thầy cô trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên, thầy cô Viện Công nghệ thông tin truyền đạt kiến thức giúp đỡ suốt trình học Tôi xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người động viên tạo điều kiện giúp đỡ suốt hai năm học i MỤC LỤC MỤC LỤC i DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT iv DANH MỤC CÁC HÌNH VẼ v MỞ ĐẦU Chương 1: TỔNG QUAN VỀ MẠNG NƠRON VÀ MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU 1.1 Mạng nơron sinh học 1.1.1 Cấu trúc nơron sinh học 1.1.2 Hoạt động nơron sinh học 1.2 Mạng nơron nhân tạo 1.2.1 Cấu trúc mô hình nơron nhân tạo 1.2.2 Mô hình mạng nơron nhân tạo 1.2.3 Mạng nơron lớp 10 1.2.4 Mạng nơron truyền thẳng nhiều lớp 11 1.2.5 Mạng Hopfield 11 1.3 Các luật học 13 1.3.1 Quy tắc học mạng nơron nhân tạo 13 1.3.2 Học có giám sát 14 1.3.3 Học không giám sát 15 1.3.4 Học tăng cường 15 1.4 Một số phương pháp phân cụm liệu 16 1.4.1 Phân cụm thành phần phân cụm liệu 16 1.4.2 Phương pháp phân cụm phân cấp 17 ii 1.4.3 Phương pháp phân cụm phân hoạch 17 1.4.4 Phương pháp phân cụm dựa mật độ 17 1.4.5 Phân cụm liệu dựa lưới 18 1.4.6 Phân cụm liệu dựa ràng buộc 18 Chương 2: PHÂN CỤM DỮ LIỆU SỬ DỤNG MẠNG SOM 19 2.1 Thuật toán phân cụm liệu 19 2.2 Thuật toán phân cụm tuyến tính không giám sát 20 2.2.1 Thuật toán phân cụm K-mean 20 2.2.2 Thuật toán phân cụm Fuzzy C-means 22 2.2.3 Thuật toán phân cụm phân cấp 23 2.2.4 Thuật toán phân cụm chất lượng ngưỡng 25 2.3 Thuật toán phân cụm phi tuyến tính không giám sát 26 2.3.1 Thuật toán phân cụm MST (Minimum spanning tree) 26 2.3.2 Thuật toán phân cụm liệu Kernel K-mean 27 2.3.3 Thuật toán phân cụm dựa mật độ DBSCAN 28 2.4 Mạng nơron Kohonen (SOM) 29 2.4.1 Giới thiệu mạng Kohonen (SOM) 29 2.4.2 Cấu trúc SOM 30 2.4.3 Khởi tạo SOM 31 2.4.4 Huấn luyện SOM 32 2.4.5 Tỉ lệ học 33 2.4.6 Hàm lân cận 34 2.4.7 Cập nhật trọng số 36 2.4.8 Xác định nơron chiến thắng 37 iii 2.4.9 Bảo toàn cấu trúc liên kết 38 2.5 SOM sử dụng phân cụm liệu 39 2.5.1 SOM phân cụm với đồ chiều 39 2.5.2 SOM phân cụm với đồ chiều 40 2.5.2.1 Phân cụm không gian đồ 40 2.5.2.2 Phân cụm không gian trọng số 40 2.5.3 Xác định ranh giới cụm 41 2.5.4 Trực quan mạng 42 Chương 3: ỨNG DỤNG MẠNG KOHONEN (SOM) TRONG PHÂN LOẠI SẢN PHẨM 44 3.1 Phát biểu toán 44 3.2 Mạng Kohonen cho phân loại sản phẩm 46 3.2.1 Cấu trúc mạng 46 3.2.2 Chuẩn bị liệu 47 3.2.3 Mô hình mạng Kohonen 48 3.2.4 Chương trình thực thi trình phân loại sản phẩm 50 3.2.5 Kiểm tra trình tính toán 51 3.2.6 Đánh giá kết 51 3.3 Đề xuất phương án triển khai kỹ thuật cho phân loại sản phẩm hạt cà phê 52 TÀI LIỆU THAM KHẢO 60 iv DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT SOM (Self-Organizing Maps) Mạng nơron tự tổ chức PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống khoảng cách EM (Expectation maximization) Thuật toán tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu mở rộng BMU (Best – Matching unit) Đơn vị phù hợp DBSCAN (Density Based Spatial Phân cụm liệu dựa không Clustering of Applications with gian mật độ ứng dụng với nhiễu Noise) DANH MỤC CÁC BẢNG BIỂU Bảng 3.1: Đầu vào, đầu độ lớn liệu hoa Iris 51 Bảng 3.2: Kết phân loại hoa Iris 52 Bảng 3.3: Kết hạt cà phê sau phân loại 54 Bảng 3.4: Dữ liệu độ dài, độ rộng, độ dày màu sắc cà phê 57 v DANH MỤC CÁC HÌNH VẼ Hình 1.1: Mô hình nơron sinh học Hình 1.2: Mô hình nơron nhân tạo Hình 1.3: Đồ thị dạng hàm truyền Hình 1.4: Mạng nơron lớp Hình 1.5: Một số dạng mạng nơron 11 Hình 1.6: Cấu trúc mạng Hopfield 12 Hình 1.7: Học có giám sát 14 Hình 1.8: Học không giám sát 15 Hình 2.1: Sơ đồ khối thuật toán K-mean 21 Hình 2.2: Cấu trúc mạng SOM 31 Hình 2.3: Cập nhật BMU lân cận với mẫu đầu vào x 33 Hình 2.4: Hàm tỉ lệ học theo thời gian 34 Hình 2.5: Giá trị hàm lân cận Gausian(a) hàm Bubble(b) 36 Hình 2.6: Bảo toàn cấu trúc liên kết cụm 39 Hình 3.1 a: Thực phẩm trước phân loại 45 Hình 3.1.b.Phân loại thực phẩm theo thuộc tính sử dụng mạng Kohonen 45 Hình 3.2: Sơ đồ khối thuật toán trình phân loại sản phẩm 47 Hình 3.3: Thuật toán phân cụm sản phẩm 49 Hình 3.4: Kết gom cụm sản phẩm hoa iris theo độ dài rộng đại hoa cánh hoa 50 Hình 3.5: Hình ảnh cà phê sau thu hoạch 53 Hình 3.6: Kết gom cụm sản phẩm hạt cà phê theo độ dài, độ rộng, bề dày, mà sắc nhân hạt cà phê 58 MỞ ĐẦU Trong sống hàng ngày người tiếp nhận nhiều thông tin Với khối lượng thông tin khổng lồ đòi hỏi người phải phân tích chúng phân chia chúng thành dạng thông tin khác Cùng với phát triển công nghệ thông tin phương pháp, thuật toán phân cụm liệu đời giúp cho người có khả phân chia loại thông tin khác để phục vụ cho công việc sống hàng ngày Mạng nơron SOM giáo sư Teuvo Kohonen trường đại học Helsinki Phần Lan phát triển vào năm 80 kỷ 20 [7] Đây mạng truyền thẳng sử dụng thuật học cạnh tranh, không giám sát có khả phân cụm liệu với lượng lớn liệu đầu vào Quá trình phân cụm liệu hay phân loại sản phẩm phát triển [7] áp dụng nhiều lĩnh vực khác nhau, bao gồm: nhận dạng, phân tích liệu, nghiên cứu thị trường, phân loại, đó, việc áp dụng kỹ thuật phân cụm liệu để phân loại sản phẩm hướng nghiên cứu quan trọng Bởi vì, Sản phẩm kết thu trình thực áp dụng nhiều lĩnh vực khác như: y học, vật lý, hóa học, tìm kiếm tội phạm,…[1] Mục đích chung việc phân loại sản phẩm là: xử lý liệu đầu vào để có sản phẩm theo yêu cầu cụ thể; phân tích thuộc tính để thu thông tin đặc trưng sản phẩm nhằm hỗ trợ cho việc phân loại nhận biết sản phẩm; phân tích thuộc tính để nhận diện thành phần sản phẩm nhằm nhận biết thuộc tính sản phẩm,học viên đề xuất đề tài “Mạng Nơron Kohonen ứng dụng phân loại sản phẩm” Luận văn tập trung vào tìm hiểu mạng SOM sử dụng SOM phân cụm liệu 46 Mạng Kohonen (SOM) cho phép gom cụm sản phẩm Vấn đề đặt cần phải kết hợp với trình phát triển với kỹ thuật xử lý thuật toán cách hoàn hảo Căn vào quy trình thực tế việc phân loại sản phẩm muốn đề xuất áp dụng SOM việc đánh giá, phân loại sản phẩm nông nghiệp 3.2 Mạng Kohonen cho phân loại sản phẩm 3.2.1 Cấu trúc mạng Mạng Kohonen xây dựng cho phân loại sản phẩm bao gồm lớp: - Lớp vào Kohonen Lớp vào Kohonen có cấu trúc bao gồm vector đầu vào thể qua X = { x1 … x2 } Với i = 1, n bao gồm thuộc tính sản phẩm Ví dụ : Trong trường hợp liệu - Độ lớn ( Kích thước hạt sản phẩm ); - Màu sắc hạt sản phẩm; Khi thực toán SOM phải thực theo: - Xây dựng tập hợp liệu - Tiền xử lý liệu - Khởi tạo SOM - Huấn luyện SOM - Phân tích kết SOM Để cho đơn giản biểu diễn mô hình phân loại sản phẩm sau theo thuật toán : 47 Bắt đầu Chuẩn bị liệu - Thu thập liệu; - Tiền xử lý liệu Phát triển mạng Kohonen - Lớp vào; - Lớp chiều hình chữ nhật - Xác định thông số mạng Số nơ ron đầu vào Số nơ ron đầu Độ lớn vào / Hệ số học ban đầu Độ lớn ban đầu nơ ron lân cận Số liên kết Huấn luyện mạngSai Kiểm tra mạng Đánh giá kết Kết thúc Hình 3.2: Sơ đồ khối thuật toán trình phân loại sản phẩm 3.2.2 Chuẩn bị liệu Trong giai đoạn chuẩn bị liệu có việc cần thực : Thu thập liệu xử lý liệu - Thu thập liệu Việc thu thập liệu đối tượng thuộc tính cho phân loại sản phẩm thực theo nhiều cách khác Dữ liệu biết ghi , ví du , thực thể hay cá biệt Thuộc tính , đặc trưng đối tượng 48 liệu cần phải thu thập cho việc phân loại thuộc tính Có thể coi biểu tượng , đặc trưng hay tính chất gán giá trị thuộc tính không gian nhiều chiều Tập liệu ta thấy tế bào ung thư, ris, rượu vang … Tập liệu coi mẫu đầu vào cho huấn luyện mạng Kohonen Ví dụ : - Tiền xử lý liệu Các liệu thu nhận chưa thể sử dụng thô, cần phải xử lý trước bước gọi Tiền xử lý liệu Các công đoạn cho tiền xử lý liệu sau : - Làm liệu gồm: Thêm liệu thiếu, loại bỏ dư thừa - Tách hợp liệu - Chuyển liệu qua chuẩn hóa - Giảm bớt kích cỡ liệu - Rời rạc hóa liệu Ví dụ : Việc chuẩn hóa thực theo : Xnor = Trong : Xnor : Giá trị liệu Xin : Giá trị hành liệu Xmin: Giá trị thấp thu thập Xmax: Giá trị cao thu thập 3.2.3 Mô hình mạng Kohonen Như trình bày đầu mục mô hình mạng Kohonen bao gồm lớp: lớp vào Kohonen lớp Kohonen Trong lớp Kohonen có nhiều nơ ron thể cho biến vào từ liệu Mỗi nơ ron kết nối với không gian đầu chiều 49 xếp theo hình chữ nhật Mỗi nơ ron huấn luyện theo gom cụm( Phân loại sản phẩm )  Xác định thông số cho mạng Kohonen Các thông số cho việc huấn luyện mạng cần có - Thông số Tỷ lệ học ( Tốc độ ) Tốc độ ghi Nơ ron lân cận Số lần huấn luyện Số Nơ ron đầu Kính có mạng Kohonen Số nhóm sản phẩm Mô tả - Là tốc độ học thuật toán - Là tốc độ cho cập nhật nơ ron thân cận - Số lần sử dụng huấn luyện mạng - Xác định số nơ ron đầu - Out put = map-x*map-y * Huấn luyện mạng Việc huấn luyện mạng thực theo mục chương theo thuật toán sau: Bắt đầu Gán trọng số ban đầu Nhận thông số Xác định thông số thuộc lớp Tính toán lại khoảng cách Chọn nơ ron chiến thắng Cập nhật trọng số NoĐún Đã hết Yes Kết thúc Hình 3.3: Thuật toán phân cụm sản phẩm 50  Tính hội tụ thuật toán Tính hội tụ thuật toán xác định theo sai số lượng tử hình qua lần lặp 3.2.4Chương trình thực thi trình phân loại sản phẩm Chương trình thí nghiệm sử dụng phân loại sản phẩm cho iris: U-matrix Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa SetosaSetosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa SetosaSetosa Setosa SetosaSetosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Setosa Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Virginica Versicolor Versicolor Versicolor Versicolor Versicolor Virginica Virginica Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Versicolor Virginica Versicolor Virginica Versicolor VirginicaVirginica Versicolor Virginica Versicolor Versicolor Versicolor Versicolor Versicolor Virginica Versicolor Virginica Virginica Virginica Virginica Versicolor Versicolor VirginicaVirginica Virginica Versicolor Virginica Virginica Versicolor Virginica Virginica Virginica Virginica Versicolor Versicolor Virginica Virginica Virginica Versicolor Virginica Versicolor Virginica Virginica Virginica Virginica Virginica Virginica Versicolor VirginicaVirginica Virginica Virginica Virginica Virginica Virginica Virginica Virginica Versicolor VirginicaVirginica Virginica Virginica Virginica VirginicaVirginicaVirginica Virginica 1.83 0.981 0.136 1.83 0.981 0.136 1.83 0.981 0.136 SOM 23-Feb-2015 Hình 3.4.a SepalL SepalW 7.22 3.97 5.43 2.94 4.46 2.26 d d PetalL PetalW 6.04 2.24 2.83 0.929 1.33 d 0.165 d SOM 23-Feb-2015 Hình 3.4 b Hình 3.4: Kết gom cụm sản phẩm hoa iris theo độ dài rộng đại hoa cánh hoa 51 Trên hình 3.4 a thể hoa iris phân làm loại iris Setosa gom lại phần bên hình loại iris Versicolor gom lại phần bên trái hình, bên phải hình iris Virginica Trên hình 3.4b biến đầu vào chiều dài chiều rộng đài hoa, cánh hoa liên quan đến cụm phân 3.2.5 Kiểm tra trình tính toán Việc tính toán kiểm tra chất lượng SOM chia bước - Các sản phẩm có phân loại tốt không - Các nơ ron đầu thể trật tự việc tính khoảng cách từ nơ ron chiến thắng Cho sai số lượng tử trung bình để xác định tính hội tụ ta thực theo E= ∑ || || Trong : N : Tổng số mẫu Xi : Vec tơ liệu đầu vào thứ i Wc : Vec tơ trọng số nơ ron chiến thắng 3.2.6 Đánh giá kết Ví dụ có tạo từ loại hoa iris Đây liệu sử dụng rộng rãi để phân loại mô hình với chiều chiều dài đài hoa (Sepail length), chiều rộng đài hoa (Sepail width) chiều dài chiều rộng cảu cánh hoa (pental length) (pental width) phân làm lớp 50 iris Setosa, iris Versicolor 50 iris Virginica kết quả: Đầu vào Đầu Độ lớn liệu 150 Bảng 3.1: Đầu vào, đầu độ lớn liệu hoa Iris 52 Kết quả: Dữ liệu Số loại Iris Các loại Loại 1: iris Setosa Loại 2: iris Versicolor Loại 3: iris Virginica Bảng 3.2: Kết phân loại hoa Iris 3.3 Đề xuất phương án triển khai kỹ thuật cho phân loại sản phẩm hạt cà phê Trên giới, cà phê có nhiều loại, loại có khả thích nghi với môi trường Hiện nay, nước giới nước ta trồng ba loại cà phê là: Arabica (cà phê chè), Robusta (cà phê vối), Chira (cà phê mít) [3] a Cà phê chè (Arabica): Là loại cà phê trồng tiêu thụ nhiều giới, chiếm 9/10 tổng sản lượng cà phê Cây cao ÷ m, có ÷ 10 m, độc thân nhiều thân, vỏ mốc trắng, gỗ vàng ngà, hoa mọc thành chùm gồm cánh màu trắng, thời gian hoa nước ta từ tháng đến tháng Quả hình trứng hay hình tròn, chín có màu đỏ tươi, kích thước quả: dài 17 ÷ 18 mm, đường kính tiết diện 10 ÷ 15 mm, 500 ÷ 700 quả/kg, thời gian từ lúc có đến lúc chín ÷ tháng, thời vụ thu hoạch từ tháng đến tháng Hạt có vỏ lụa màu bạc, bám vào nhân, kích thước: dài ÷ 10 mm, rộng ÷ mm, dày ÷ mm, kích thước thay đổi theo loại theo điều kiện môi trường Khối lượng 500 ÷ 700 hạt/100g, hàm lượng cafein 1,3 %, hạt có màu xám xanh, xanh lục tùy theo chủng cách chế biến, suất 400 ÷ 500kg cà phê nhân/ha Tỉ lệ thành phẩm (cà phê nhân) so với nguyên liệu (cà phê tươi) 14 ÷ 20 % b Cà phê vối (Robusta): Cây cao từ ÷ m, vỏ mốc trắng, gỗ vàng trắng ngà, hoa màu trắng mọc thành cụm có ÷ cánh, mùa 53 hoa từ tháng đến tháng Quả hình tròn hình trứng, chín có màu đỏ hồng, thường có đường gân dọc, vỏ mỏng so với cà phê chè, thời gian từ có đến lúc chín 10 ÷ 12 tháng, thời vụ thu hoạch từ tháng đến tháng Hạt hình bầu dục hay tròn, vỏ lụa trắng dễ bong, khoảng 600 ÷ 900 hạt/100g, hạt dài ÷ mm, hạt có màu xanh bạc, xanh lục xanh nâu tùy theo chủng cách chế biến, hàm lượng cafein ÷ %, loại cà phê có nhiều cafein c Cà phê mít (Chira): Cây cao từ ÷ 15 m, đất tốt cao đến 20m Hoa màu trắng có cánh, hình trứng ép ngang, chín có màu đỏ, to dày Khối lượng 500 ÷ 700 quả/kg Hình dạng hạt cà phê mít giống hạt cà phê chè, màu vàng xanh hay màu vàng rạ, vỏ lụa dính sát vào nhân, khó bong, khoảng 700 ÷ 1000 hạt/100g, hàm lượng cafein ÷ 1,2 % Hình 3.5: Hình ảnh cà phê sau thu hoạch 54 Căn vào tiêu chí phân loại cà phê, ta xây dựng liệu thực nghiệm cho mô phân loại cà phê sau:  Bộ liệu để phân loại với mô hình chiều chiều dài hạt cà phê (Coffee length), chiều rộng hạt cà phê (Coffe width) , độ dày hạt cà phê (Coffee thickness) màu sắc hạt cà phê ( Color) phân làm lớp 50 hạt Arabica, 50 hạt Robusta 50 hạt Chira  Bộ liệu xây dựng dựa tham khảo số liệu Kỹ thuật thu hoạch cà phê xuất khẩu; Dự thảo tiêu chuẩn quốc gia cà phê nhân Kết quả: Dữ liệu Số loại Coffee Các loại Loại 1: Arabica Loại 2: Robusta Loại 3: Chira Bảng 3.3: Kết hạt cà phê sau phân loại  Màu sắc hạt cà phê thường thấy có màu : xanh xám, xanh lục, xanh nâu, xanh bạc, vàng xanh, vàng rạ Để tiện cho việc phân loại, ta tạm thời quy ước màu thành số tương ứng: xanh xám (0) , xanh lục (1), xanh nâu (2), xanh bạc(3), vàng xanh (4), vàng rạ (5) STT 10 11 12 13 14 15 Tên loại cà phê Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica CoffeeL (Độ dài hạt cà phê) CoffeeW (Độ rộng hạt cà phê) CoffeT (Độ dày hạt cà phê) Color ( Màu sắc hạt cà phê) 5.1 4.9 4.7 4.6 5.0 5.4 4.6 5.0 4.4 5.4 5.4 4.8 4.8 4.3 5.8 3.5 3.0 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.7 3.7 3.4 3.0 3.0 4.0 1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 1.5 1.6 1.4 1.1 1.2 0 1 0 1 0 0 55 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Arabica Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta 5.7 5.4 5.1 5.7 5.1 5.4 5.1 4.6 5.1 4.8 5.0 5.0 5.2 5.2 4.7 4.8 5.4 5.2 5.5 4.9 5.0 5.5 4.9 4.4 5.1 5.0 4.5 4.4 5.0 5.1 4.8 5.1 4.6 5.3 5.0 7.0 6.4 6.9 5.5 6.5 5.7 6.3 4.9 6.6 5.2 5.0 4.4 3.9 3.5 3.8 3.8 3.4 3.7 3.6 3.3 3.4 3.0 3.4 3.5 3.4 3.2 3.1 3.4 4.1 4.2 3.1 3.2 3.5 3.1 3.0 3.4 3.5 2.3 3.2 3.5 3.8 3.0 3.8 3.2 3.7 3.3 3.2 3.2 3.1 2.3 2.8 2.8 3.3 2.4 2.9 2.7 2.0 1.5 1.3 1.4 1.7 1.5 1.7 1.5 1.0 1.7 1.9 1.6 1.6 1.5 1.4 1.6 1.6 1.5 1.5 1.4 1.5 1.2 1.3 1.5 1.3 1.5 1.3 1.3 1.3 1.6 1.9 1.4 1.6 1.4 1.5 1.4 4.7 4.5 4.9 4.0 4.6 4.5 4.7 3.3 4.6 3.9 3.5 0 0 1 1 0 0 1 0 0 0 0 1 1 0 4 5 5 4 56 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Robusta Chira Chira Chira Chira Chira Chira Chira 5.9 6.0 6.1 5.6 6.7 5.6 5.8 6.2 5.6 5.9 6.1 6.3 6.1 6.4 6.6 6.8 6.7 6.0 5.7 5.5 5.5 5.8 6.0 5.4 6.0 6.7 6.3 5.6 5.5 5.5 6.1 5.8 5.0 5.6 5.7 5.7 6.2 5.1 5.7 6.3 5.8 7.1 6.3 6.5 7.6 4.9 3.0 2.2 2.9 2.9 3.1 3.0 2.7 2.2 2.5 3.2 2.8 2.5 2.8 2.9 3.0 2.8 3.0 2.9 2.6 2.4 2.4 2.7 2.7 3.0 3.4 3.1 2.3 3.0 2.5 2.6 3.0 2.6 2.3 2.7 3.0 2.9 2.9 2.5 2.8 3.3 2.7 3.0 2.9 3.0 3.0 2.5 4.2 4.0 4.7 3.6 4.4 4.5 4.1 4.5 3.9 4.8 4.0 4.9 4.7 4.3 4.4 4.8 5.0 4.5 3.5 3.8 3.7 3.9 5.1 4.5 4.5 4.7 4.4 4.1 4.0 4.4 4.6 4.0 3.3 4.2 4.2 4.2 4.3 3.0 4.1 6.0 5.1 5.9 5.6 5.8 6.6 4.5 4 5 4 4 5 4 5 4 4 5 3 5 4 57 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira Chira 7.3 6.7 7.2 6.5 6.4 6.8 5.7 5.8 6.4 6.5 7.7 7.7 6.0 6.9 5.6 7.7 6.3 6.7 7.2 6.2 6.1 6.4 7.2 7.4 7.9 6.4 6.3 6.1 6.7 6.3 6.4 6.0 6.9 6.7 6.9 5.8 6.8 6.7 6.7 6.3 6.5 6.2 5.9 2.9 2.5 3.6 3.2 2.7 3.0 2.5 2.8 3.2 3.0 3.8 2.6 2.2 3.2 2.8 2.8 2.7 3.3 3.2 2.8 3.0 2.8 3.0 2.8 3.8 2.8 2.8 2.6 3.0 3.4 3.1 3.0 3.1 3.1 3.1 2.7 3.2 3.3 3.0 2.5 3.0 3.4 3.0 6.3 5.8 6.1 5.1 5.3 5.5 5.0 5.1 5.3 5.5 6.7 6.9 5.0 5.7 4.9 6.7 4.9 5.7 6.0 4.8 4.9 5.6 5.8 6.1 6.4 5.6 5.1 5.6 6.1 5.6 5.5 4.8 5.4 5.6 5.1 5.1 5.9 5.7 5.2 5.0 5.2 5.4 5.1 5 4 5 5 5 4 4 4 5 5 5 4 5 5 4 5 Bảng 3.4: Dữ liệu độ dài, độ rộng, độ dày màu sắc cà phê 58 Sau tổng hợp liệu trên, ta dùng công cụ SOMTOOLBOX Matlab 5.3.0.10183(R11), viết chương trình code som_coffee.m liệu coffee.data, ta có kết gom cụm hạt cà phê theo độ dài, độ rộng, bề dày, màu sắc hạt cà phê sau: Hình 3.6: Kết gom cụm sản phẩm hạt cà phê theo độ dài, độ rộng, bề dày, mà sắc nhân hạt cà phê 59 KẾT LUẬN Mạng nơron phương pháp thích hợp khai phá liệu với mô hình học máy, đặc biệt học không giám sát Với 5000 ứng dụng nhiều lĩnh vực, thuật toán học mạng nơron theo SOM hữu dụng nhiều toán Nhiều công trình nghiên cứu khẳng định thuật toán SOM phù hợp với ứng dụng phân loại sản phẩm Luận văn thực kết sau: - Trình bày cách tổng quát mô hình mạng nơron ứng dụng mạng nơron khai phá liệu Trình bày cách hệ thống giải pháp học mạng nơron không giám sát có giám sát - Nghiên cứu, phân tích việc sử dụng thuật toán SOM giải toán phân cụm theo mô hình mạng nơron - Nghiên cứu cấu trúc hoạt động công cụ SOM Toolbox phương pháp sử dụng công cụ để giải toán phân cụm liệu - Xây dựng toán phân phân loại sản phẩm sử dụng công cụ SOM Toolbox để giải toán đề xuất Các kết thử nghiệm phù hợp với phân tích 60 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Bá Dũng, Bài giảng mạng nơron nhân tạo ứng dụng, Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên, 2011 [2] Nguyễn Trung Sơn, Phương pháp phân cụm ứng dụng, Luận văn thạc sĩ khoa học,Khoa công nghệ thông tin đại học Thái Nguyên 2013 [3] Lê Quang Hưng, Kỹ thuật thu hoạch cà phê xuất khẩu, Nhà xuất Giáo Dục, 1999 [4] Dự thảo tiêu chuẩn quốc gia cà phê nhân, TCVN 4193 : 2012 Tiếng Anh [5] A.K Jain, R.C Dubes, “Algorithms for clustering data”, PtenticeHall, Englewood Cliffs, NJ, 1988 [6]W.Pedrycz, “Algorithms of fuzzy clustering with partialsupervision”, Pattern Recognition, vol 23, pp.121-146, 1990 [7] Flynn.P.J, Murty M.N, Jain.A.K,Data Clustering:A Review, ACM Computing Surveys, Vol 31, No 3, 1999 [8] Juha Vesanto, Johan Himberg, Esa Alhoniemi, and Juh Parhankangas, SOM Toolbox for Matlab 5, Helsinki University of Technology, 2000 [9] Juha Vesanto,Using SOMs in Data Mining, Licentiate’s thesis, Helsinki University of Technology, 2000 [10] Tom Germano, Self Organizing Maps, 1999 [11] Teuvo Kohonen, Self-Organizing Maps, Third Edition, Springer, Heidelberg, 2001 [12] Kohonen T Self-Organizing Maps Springer, Berlin, 1995 [...]... đầu vào của mạng Các n ron trong lớp này được gọi là n ron đầu vào Đầu ra của các n ron này được đưa đến đầu vào của 3 n ron tiếp theo, 3 n ron này không trực tiếp tiếp xúc với môi trường bên ngoài mà làm thành lớp ẩn, hay còn gọi là lớp trung gian Các n ron trong lớp này có tên là n ron nội hay n ron ẩn Đầu ra của các n ron này được đưa đến 2 n ron đưa tín hiệu ra môi trường bên ngoài Các n ron trong... nối với các n ron khác trong mạng, chúng được phân biệt với nhau qua vector trọng số ở đầu vào w Nguyên lý cấu tạo của mạng n ron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều n ron có cùng chức năng trong mạng Hình 1.4 là mô hình hoạt động của một mạng n ron 3 lớp với 8 phần tử n ron Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2 Các tín hiệu đầu vào được đưa đến 3 n ron đầu vào, 3 n ron này làm... là n ron đầu ra Hình 1.4: Mạng n ron 3 lớp 9 Mạng n ron được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từ đầu vào đến đầu ra Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào Một mạng n ron có cấu trúc như vậy gọi là mạng một hướng hay mạng truyền thẳng một hướng và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một n ron nào trong mạng cũng được nối với một hoặc vài n ron khác) Mạng. .. của n ron phần lớn là đặc tính truyền đạt tĩnh 8 Khi liên kết các đầu vào/ra của nhiều n ron với nhau, ta thu được một mạng n ron, việc ghép nối các n ron trong mạng với nhau có thể là theo một nguyên tắc bất kỳ Vì mạng n ron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệt các loại n ron khác nhau, các n ron có đầu vào nhận thông tin từ môi trường bên ngoài khác với các n ron có đầu vào... VÀ MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU Chương 1 của luận văn giới thiệu về mạng n ron sinh học bao gồm cấu trúc của mạng n ron sinh học và nguyên lý hoạt động của n ron sinh học Về n ron nhân tạo giới thiệu cấu trúc của một n ron nhân tạo, mô hình của mạng n ron nhân tạo, trình bày một số mạng n ron nhân tạo Quy tắc học của mạng n ron, trình bày 3 luật học cơ bản của mạng n ron bao gồm: Học có giám... vector đầu vào x = [x1, x2, , xn] có thể là một nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng (a) Mạng truyền thẳng một lớp (b) Mạng hồi tiếp một lớp 11 (c) Mạng truyền thẳng nhiều lớp (d) Mạng n ron hồi quy Hình 1.5: Một số dạng mạng n ron 1.2.4 Mạng n ron truyền thẳng nhiều lớp Mạng n ron nhiều lớp Hình 1.5.c có các lớp được phân chia thành 3 loại sau đây: Lớp vào là lớp n ron đầu... năng này, mạng n ron đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp Như vậy, một nhóm bao gồm một loại thông tin 10 đầu vào và một đáp ứng đầu ra Các nhóm có thể được hình thành trong quá trình học, và cũng có thể không hình thành trong quá trình học 1.2.3 Mạng n ron một lớp Mỗi một n ron có thể phối hợp với các n ron khác tạo... viết về mạng SOM và sử dụng công cụ SOM Toolbox để huấn luyện mạng SOM phân cụm dữ liệu Nội dung luận văn gồm có 3 chương: Chương 1: Giới thiệu về mạng n ron nhân tạo, một số loại mạng n ron nhân tạo, các luật học của mạng n ron nhân tạo và một số phương pháp phân cụm Chương 2: Giới thiệu một số thuật toán phân cụm phổ biến, ưu nhược điểm của từng thuật toán phân cụm Trong chương này trình bày về mạng. .. vài n ron khác) Mạng n ron bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer Perceptrons (MLP-Network) Mạng n ron khi mới được hình thành thì chưa có tri thức, tri thức của mạng sẽ được hình thành dần dần sau một quá trình học Mạng n ron được học bằng cách đưa vào những kích thích, và mạng hình thành những đáp ứng tương ứng, những đáp ứng tương ứng phù hợp với từng loại kích thích sẽ được... Giới thiệu về mạng SOM, cấu trúc của SOM, các phương pháp khởi tạo, huấn luyện SOM, tỉ lệ học, các hàm lân cận, phương pháp xác định n ron chiến thắng và sử dụng SOM trong phân cụm dữ liệu Chương 3: Trình bày về sử dụng công cụm SOM Toolbox phân cụm dữ liệu và ứng dụng trong phân cụm dữ liệu Thái Nguyên, tháng 04 năm 2015 Người viết luận văn Nguyễn Thị Tâm 3 Chương 1: TỔNG QUAN VỀ MẠNG N RON VÀ MỘT SỐ ... động mạng n ron lớp với phần tử n ron Mạng có ba đầu vào x1, x2, x3 hai đầu y1, y2 Các tín hiệu đầu vào đưa đến n ron đầu vào, n ron làm thành lớp đầu vào mạng Các n ron lớp gọi n ron đầu vào... đầu vào/ra nhiều n ron với nhau, ta thu mạng n ron, việc ghép nối n ron mạng với theo nguyên tắc Vì mạng n ron hệ truyền đạt xử lý tín hiệu, nên phân biệt loại n ron khác nhau, n ron có đầu vào... n ron đưa đến n ron đưa tín hiệu môi trường bên Các n ron lớp đầu gọi n ron đầu Hình 1.4: Mạng n ron lớp Mạng n ron xây dựng mạng gồm lớp mắc nối tiếp từ đầu vào đến đầu Trong mạng không tồn