Mạng nowrron kohonen som ứng dụng trọng phân nhóm sinh viên dựa trên kết quả học tập

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÂM VIỆT THẮNG MẠNG NƠRON KOHONEN – SOM ỨNG DỤNG TRONG PHÂN NHÓM SINH VIÊN DỰA TRÊN KẾT QUẢ HỌC TẬP LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên 2014 LỜI CẢM ƠN Để hồn thành chương trình học viết luận văn tốt nghiệp này, em nhận hướng dẫn, giúp đỡ góp ý nhiệt tình thầy trường Đại học Công nghệ thông tin Truyền thông Trước hết, em xin chân thành cảm ơn đến quý thầy cô trường Đại học Công nghệ thông tin Truyền thơng, đặc biệt thầy tận tình dạy bảo cho em suốt thời gian học tập trường Em xin gửi lời biết ơn sâu sắc đến thầy giáo Tiến sĩ Nguyễn Văn Tảo Thầy dành nhiều thời gian, tâm huyết tận tình giúp đỡ, hướng dẫn cho em suốt trình nghiên cứu giúp em hoàn thành luận văn Mặc dù có nhiều cố gắng hồn thiện luận văn tất nhiệt tình lực mình, nhiên khơng thể tránh khỏi thiếu sót, mong nhận đóng góp quý báu quý thầy cô bạn Thái Nguyên, ngày 28 tháng năm 2014 Học viên Lâm Việt Thắng Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Sự bùng nổ phát triển mạnh mẽ công nghệ đưa máy tính đến với hoạt động sinh hoạt lao động người Kèm theo khối lượng liệu thơng tin, tri thức khổng lồ mà để quản lý nắm bắt, phân loại chúng toán nan giải tốn nhiều thời gian công sức nhà quản lý, phát triển Ngày liệu số trở lên thông dụng trở thành loại thông tin trao đổi phổ biến tất phương tiện thông tin, liên lạc…Nhưng việc nắm bắt nội dung loại thơng tin điều tương đối khó cho hệ thống giám sát phân loại tự động Những thơng tin mang tính chất phức tạp mà để hiểu phương pháp phân loại bình thường chưa đủ mạnh Thực tế chứng minh cách tốt để phân loại liệu dùng óc người Tất nhiên điều vô quý giá ứng dụng chúng để giải vấn đề tin học đem lại thành cơng ngồi mong đợi Một máy tính, dù có mạnh đến đâu nữa, phải làm việc theo chương trình xác hoạch định trước chuyên gia Bài toán phức tạp việc lập trình cơng phu Từ lâu nhà khoa học nhận thấy ưu điểm óc người tìm cách phát triển để máy tính có khả học tập, nhận dạng phân loại Các mạng nơron nhân tạo (Artificial Neural Network, ANN) đời từ nỗ lực ANN lĩnh vực nghiên cứu rộng lớn phát triển mạnh khoảng 15 năm gần Tuy có nhiều kết khích lệ, ANN xa đạt hồn chỉnh óc người Và ứng dụng công nghệ thơng tin nhiều hạn chế Trong khn khổ luận văn xin trình bày nghiên cứu tổng quan ANN, lỗ lực cải tiến thuật toán, cài đặt ứng dụng mạng nơron việc phân cụm liệu số Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ NHIỆM VỤ LUẬN VĂN Trong luận văn tập trung nghiên cứu tảng lý thuyết ứng dụng mạng nơron nhân tạo Cụ thể giải tốn phân cụm liệu số máy tính với trợ giúp mạng Kohonen-SOM Vì khn khổ luận văn hướng tới hai mục đích chính: Nghiên cứu mạng nơron cụ thể mạng SOM, từ ý tưởng tự nhiên tới phương cách cài đặt máy tính đồng thời đưa phương pháp cải tiến mặt giải thuật nhằm đưa mạng nơron ứng dụng giải toán phân cụm liệu số Ứng dụng mạng nơron giải toán phân cụm thực tế biến nghiên cứu, cải tiến trở lên hữu dụng Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC MỤC LỤC CHƯƠNG 1: TỔNG QUAN MẠNG NƠRON 1.1 Giới thiệu chung 1.2 Ý tưởng sinh học 1.3 Mơ hình nơron nhân tạo 1.4 Sử dụng mạng nơron nhân tạo 11 1.5 Thu thập liệu cho mạng nơron nhân tạo 12 1.6 Perceptron nhiều lớp 14 1.6.1 Huấn luyện Perceptron nhiều lớp 14 1.6.2 Thuật toán backpropagation 15 1.6.3 Học mức tổng quát hóa 16 1.6.4 Chọn lựa liệu 18 1.7 Mơ hình mạng nơron 18 1.7.1 Mô hình nơron cấu trúc mạng 19 1.7.2 Cấu trúc liệu 23 1.7.3 Kiểu huấn luyện 23 1.8 Tóm tắt 23 CHƯƠNG 2: KOHONEN-SOM VÀ PHÂN CỤM DỮ LIỆU 26 2.1 Tìm hiểu mạng Kohonen 26 2.2 Mạng Kohonen gì? 26 2.2.1 Cấu trúc mơ hình mạng Kohonen 28 2.2.2 Thuật toán phân cụm mạng Kohonen 28 - – SOM 32 2.3.1 Tổng quan SOM 32 2.3.2 SOM 33 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 2.3.3 Khởi tạo mạng Kohonen (SOM) 33 2.3.4 Huấn luyện mạng Kohonen - Som 34 2.3.5 Tỉ lệ học 34 2.3.6 Cập nhật lại trọng số 35 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 2.3.7 Xác định nơron chiến thắng 36 2.4 Kohonen (SOM) phân cụm liệu 37 2.4.1 SOM phân cụm với đồ chiều 37 2.4.2 SOM phân cụm với đồ chiều 37 2.4.3 Xác định ranh giới cụm 38 2.4.4 Trực quan mạng 39 2.4.5 Số lượng nhóm phân cụm 40 2.5 SOM –Thách thức trình phân cụm liệu 41 2.5.1 SOM –Bài toán phân cụm màu 41 2.5.2 SOM –Thách thức phân nhóm 45 2.5.3 SOM –Vấn đề số lượng nhóm 47 2.6 SOM –Giải vấn đề tồn phân cụm 48 2.6.1 Giải pháp phân cụm tự nhiên trình học 48 2.6.2 Giới hạn điều chỉnh số lượng nhóm mạng SOM 51 CHƯƠNG 3: ỨNG DỤNG PHÂN CỤM ĐIỂM 54 3.1 Phát biểu toán ứng dụng 54 3.1.1 Nội dung 54 3.1.2 Mục đính- Yêu cầu 55 3.2 Phân tích thiết kế hệ thống cho ứng dụng 56 3.2.1 Xác định tác nhân Use case 56 3.2.2 Biểu đồ Use Case 57 3.2.3 Biểu đồ trình tự cho Use Case 57 3.3 Chương trình ứng dụng 61 3.3.1 Giao diện tổng quan cho ứng dụng 61 3.3.2 Một số tính cho ứng dụng 62 3.3.3 Hướng dẫn sử dụng, chạy thử nghiệm 68 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 73 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ CHƯƠNG 1: TỔNG QUAN MẠNG NƠRON 1.1 Giới thiệu chung Mạng nơron nhân tạo (Artificial Neural Networks) vài năm trở lại nhiều người quan tâm áp dụng thành công nhiều lĩnh vực khác nhau, tài chính, y tế, địa chất vật lý Thật vậy, đâu có vấn đề dự báo, phân loại điều khiển, mạng nơron nhân tạo ứng dụng Sự thành cơng nhanh chóng mạng mạng nơron nhân tạo số nhân tố sau: Năng lực: mạng nơron nhân tạo kỹ thuật mô tinh vi, có khả mơ hàm phức tạp Đặc biệt, mạng nơron nhân tạo hoạt động phi tuyến Trong nhiều năm, mơ hình tuyến tính kỹ thuật sử dụng rộng rãi hầu hết lĩnh vực, mơ hình tuyến tính có tính chiến lược tối ưu hóa biết nhiều Dễ sử dụng: mạng nơron nhân tạo có tính học theo ví dụ Người sử dụng mạng nơron nhân tạo thu thập liệu đặc trưng, sau gọi thuật tốn huấn luyện để tự học cấu trúc liệu Mặc dù người sử dụng làm tất điều cần thiết để chọn chuẩn bị liệu, sử dụng loại mạng phù hợp hiểu kết quả, mức độ người sử dụng biết cách áp dụng thành công mạng nơron nhân tạo thấp nhiều người sử dụng phương pháp thống kê truyền thống… Mạng nơron nhân tạo dựa việc mô cấp thấp hệ thống nơron sinh học Trong tương lai với phát triển mô nơron sinh học, có loại máy tính thông minh thật 1.2 Ý tưởng sinh học Mạng nơron nhân tạo phát triển từ nghiên cứu trí tuệ nhân tạo; đặc biệt cố gắng bắt chước não có cấu trúc cấp thấp khả học chấp nhận sai hệ thống nơron sinh học Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Suốt năm 1960 – 1980 nhà nghiên cứu trí tuệ nhân tạo tìm hệ chun gia dựa mơ hình cấp cao xử lý lý luận não Mặc dù mơ Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ hình thành công vài lĩnh vực, chưa bắt chước trí tuệ người Điều cấu trúc mơ hình chưa não Do đó, để tái tạo trí thơng minh, cần phải xây dựng hệ thống có cấu trúc giống não người Bộ não người gồm số lớn nơron (khoảng 10.000.000.000 nơron) kết nối với (trung bình nơron kết nối với hàng chục ngàn nơron khác) Mỗi nơron tế bào đặc biệt, truyền tín hiệu điện Nơron có cấu trúc rễ ngõ vào, thân tế bào cấu trúc rễ ngõ (sợi thần kinh) Các sợi thần kinh tế bào kết nối với tế bào khác thơng qua synapse Khi nơron kích hoạt, tạo xung điện hóa học dọc theo sợi thần kinh Tín hiệu qua synapse đến nơron khác, tiếp tục bị kích hoạt Nơron hoạt động tất tín hiệu nhận thân tế bào thông qua rễ ngõ vào vượt q mức (ngưỡng hoạt động) Hình 1.2 : Cấu tạo tế bào nơron Cường độ tín hiệu thu nơron phụ thuộc vào độ nhạy synapse Chỉ có việc học làm thay đổi cường độ kết nối synapse Ví dụ theo thí nghiệm có điều kiện Pavlovian cổ điển, gõ chuông trước cho chó ăn tối, chó nhanh chóng học rung chuông gắn liền với ăn Kết nối synapse phần vỏ não thính giác tuyến nước bọt nhạy hơn, rung chng vỏ não thính giác bị kích thích, chó bắt đầu tiết nước bọt Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.2.3.6: Biểu đồ trình tự chọn loại biểu đồ 3.2.3.7 Chọn hiển thị biểu đồ Hình 3.2.3.7: Biểu đồ trình tự chọn hiển thị biểu đồ 3.3 Chương trình ứng dụng 3.3.1 Giao diện tổng quan cho ứng dụng Qua q trình phân tích, thiết kế kết hợp với thành tựu đạt mạng nơron ứng dụng ngơn ngữ lập trình Visual C# Microsot luận văn xây dựng chương trình tương đối hồn thiện giải tốn phân cụm liệu điểm cho học sinh-sinh viên thỏa mãn yêu cầu đề ban đầu Sau hình ảnh cho ứng dụng sau trình cài đặt chạy thử nghiệm 65 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.1: Giao diện chương trình 3.3.2 Một số tính cho ứng dụng Khả đọc chọn liệu: tính bắt buộc, để vận dụng thuật tốn từ mạng nơron trước hết chương trình phải có khả chọn,đọc liệu excel thị liệu giao diện Tiếp khả chọn mơn học cho trình phân cụm, phân cụm kết cuối hiển thị chi tiết Để hỗ trợ cho trình chọn phân cụm liệu ứng dụng xây dựng số thành phần hỗ trợ nhiệm vụ 66 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(a): Tab hỗ trợ nhập chọn liệu Trên tab hỗ trợ khả chọn lựa tập liệu đầu vào đồng thời hỗ trợ khả chọn mơn mốn phân cụm Trong file excel có trường khơng phải liệu điềm mà lable thể tên, ID số báo danh tab hỗ trợ việc phân biệt trường hợp tránh cho việc phân cụm không cần thiết Khả kết xuất biểu đồ cho nhóm: tính đặc biệt hỗ trợ khả thị kết cách trực quan giúp người quản lý dễ dàng quan sát đánh giá nhóm tốt Tính thường thấy toán thống kê việc phân cụm điểm tốn đặc biệt cần có biểu đồ hỗ trợ so sánh đánh giá Ứng dụng hỗ trợ người dùng nhiều loại biểu đồ khác tùy theo phương pháp quan sát khác gồm biểu đồ 3D 2D hỗ trợ 20 loại biểu đồ khác 67 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(b): Một số biểu đồ trợ giúp dạng 3D 64 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(c): Một số biểu đồ trợ giúp dạng 2D 65 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Khả phân cụm kết xuất chi tiết: tính cho việc giải toán phân cụm điểm Chương trình có khả phân cụm cấu học sinh –sinh viên có kết tương đồng nhóm Dựa vào SOM từ tập liệu ban đầu mạng tự học trình huấn luyện tiến hành phân chia tập liệu đầu vào thành nhóm theo quan hệ (quan hệ khơng định trước mạng tự động đưa sau trình học) Từ liệu đầu vào file excel tập hợp điểm tất học sinh, sinh viên lớp, chương trình phân làm nhóm sinh viên khác người quản lý dễ dàng đưa phương pháp tác động tới nhóm nhằm đạt hiệu định 66 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(d):Bảng liệu đầu vào chương trình 67 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(e): Nhóm cấu hình nhóm 68 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 3.3.2(f): Các đơn vị nhóm chi tiết nhóm Hình 3.3.2(g) Một phần liệu khả phân nhóm 3.3.3 Hướng dẫn sử dụng, chạy thử nghiệm Chương trình cài đặt ngơn ngữ lập trình Visual C# Microsoft, chạy net framework 3.5, để chạy chương trình cần tiến hành cài đặt net framework 3.5 trở lên Bên cạnh ứng dụng dành cho phân cụm liệu file excel cần tiến hành cài đặt phần mềm Microsoft Office Excel để hỗ trợ khả truy suất liệu Các công cụ mơ tả sau: 69 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Khởi tạo Khởi Phân Hiển thị Hiển Hiển thị Danh sách mạng tạo biểu cụm dữ liệu thị biểu cấu hình phân nhóm nơron đồ liệu đầu vào đồ nhóm Tab chọn Tab chọn Tab chọn môn để Tab chọn Tab chọn file chứa biểu đồ phân cụm nhóm sau loại biểu đồ liệu hiển thị nhãn phân cụm tưng ứng Hình 3.3.3: Các phần ứng dụng Như kết thực nghiệm thấy ứng dụng có khả phân cụm liệu tập sinh viên đầu vào hiển thị chi tiết đặc tính danh sách sinh viên thuộc nhóm Vậy thao tác để có kết phần mềm ứng dụng, sau bước trình sử dụng Bước 1: Chọn sở liệu 69 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Để chọn sở liệu dùng tab Group hỗ trợ giao diện chọn tab home\Open Với tab Group hỗ trợ chọn file định dạng excel Bước 2: Chọn môn cần phân cụm nhãn cho đối tượng phân cụm Trong tab Properties giúp việc chọn môn để phân cụm phía bên trái nhãn để phân cụm phía bên phải Bước 3: Khởi tạo mạng nơron tiến hành phân cụm Click vào button Create có giao diện thực q trình khởi tạo huấn luyện, phân nhóm mạng nơron Bước 4: Khởi tạo biểu đồ cho nhóm Click vào button Chart giao diện khởi tạo luồng vẽ biểu đồ cho nhóm phân cụm sau bước 3, có biểu đồ tổng qt Có thể cấu hình loại biểu đồ tab Control phía bên phải ẩn Bước 5: Phân chia liệu thành nhóm quan sát kết Click vào button Split giao diện thực q trình phân nhóm cho liệu chọn ban đầu Có thể quan sát cấu hình, danh sách đặc trưng khác nhóm giao diện Chương trình ứng dụng thành cơng mạng SOM vào q trình phân nhóm học sinh- sinh viên, dựa vào kết phân nhóm ứng dụng mang lại người quản lý có định hướng để cải thiện chất lượng học cho nhóm học sinh-sinh viên đánh giá lực học tập dựa tập sở liệu đưa vào KẾT LUẬN Mạng nơron lĩnh vực nghiên cứu tương đối rộng đòi hỏi nhiều cơng sức lỗ lực q tình nghiên cứu Bên cạnh việc cài đặt ứng dụng mạng nơron gặp nhiều khó khăn độ phức tạp tương đối cao giải thuật Vì lí khn khổ luận văn hướng tới mạng nơron dùng để phân cụm liệu mạng SOM để nghiên cứu phát triển.Thực tế chứng minh mạng SOM có nhiều ứng dụng việc nghiên cứu khai thác mạng đem lại nhiều kết thực tiễn Việc nghiên cứu mạng SOM trình phát triển lý thuyết mạng nơron đem lại hiểu biết mạng nơron nhân tạo Trong nội dung luận văn trình bày hiểu biết chung mạng, đồng thời cho người đọc có quan niệm chung lĩnh vực khoa học nhiều mẻ Bên cạnh q trình phát triển mặt tảng lý thuyết đem lại thành công định Cụ thể nội dung báo cáo đề xuất số phương pháp cải tiến mạng SOM, phương pháp phân nhóm hiệu hơn, phương pháp khởi tạo mạng thu gọn… Và cải tiến đem lại hiệu định cho trình xử lý mạng nơron ứng dụng thực tế chúng Ứng dụng phân biệt màu phân cụm điểm ví dụ sử dụng minh họa cho khả ứng dụng mạng nơron Bên cạnh làm thiếu sót, chưa hồn hảo q trình phát triển Tốc độ phương pháp ứng dụng cần cải tiến, lý khiến mạng nơron nói chung mạng SOM nói riêng nhiều hạn chế phương pháp cài đặt máy tính chưa chinh phục toán nan giải Vì cần có nghiên cứu phát triển nhiều mạng nơron thời gian tới Những đạt nhiều hạn chế phải định hướng, hoạch định phương pháp phát triển cho mạng nơron Đây hướng đắn giúp cho người nghiên cứu, phát triển đuổi kịp tiến mạng nơron giới ứng dụng chúng cách hiệu Do điều kiện khách quan nên việc thử nghiệm chương trình thực tế hạn chế Vì cần tiếp tục nghiên cứu thử nghiệm để hồn thiện ứng dụng chương trình Trong trình thực luận văn mong đóng góp bảo thầy, giáo Em xin trân thành cảm ơn ủng hộ góp ý thầy cô, đặc biệt thầy Nguyễn Văn Tảo có hướng dẫn chiến lươc cho trình nghiên cứu thực luận văn TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Công Cường Nguyễn Doãn Phước, “Hệ mờ, mạng nơron ứng dụng”, NXB Khoa học Kỹ thuật, 2006 [2] Lê Bá Dũng, ”Bài giảng mạng nơron nhân tạo ứng dụng”, ĐH Công nghệ thông tin Truyền thông - Đại học Thái Nguyên, 2012 [3] Lê Minh Trung, “Giáo trình mạng Nơron nhân tạo”, NXB Thống kê, 1999 [4] Nguyễn Đình Thúc, “Trí tuệ nhân tạo - Mạng Nơron – Phương pháp ứng dụng”, NXB Giáo dục, 2000 Tiếng Anh [5] A Arning, R Agrawal, and P Raghavan Alinear method for deviation detection in larger databases, In Proc 1996 Int Conf Data mining and knowledge discovery (KDD-96) , Portland, Oregon, August 1996 [6] Daniel T.Larose, “Discovering knowledge in data : An introduction to data mining”, ISBN 0-471-66657-2 CopyrightC John Wiley & Sons, Inc, 2005 [7] J.Han, M Kamber, “Data Minning Concepts and Techniques”, Morgan Kaufmann Pubishers, 2001 [8] Juha Vesanto, “Using SOMs in Data Mining”, Licentiate’s thesis, Helsinki University of Technology, 2000 [9] Tom Germano, “Self Organizing Maps”, 1999 [10] Teuvo Kohonen(2001), ”Self-Organizing Maps, Third Edition, Springer”, Heidelberg, 2001 ... KOHONEN- SOM VÀ PHÂN CỤM DỮ LIỆU 26 2.1 Tìm hiểu mạng Kohonen 26 2.2 Mạng Kohonen gì? 26 2.2.1 Cấu trúc mơ hình mạng Kohonen 28 2.2.2 Thuật toán phân cụm mạng Kohonen. .. lượng nhóm phân cụm 40 2.5 SOM –Thách thức trình phân cụm liệu 41 2.5.1 SOM –Bài toán phân cụm màu 41 2.5.2 SOM –Thách thức phân nhóm 45 2.5.3 SOM –Vấn đề số lượng nhóm. .. giải thuật nhằm đưa mạng nơron ứng dụng giải toán phân cụm liệu số Ứng dụng mạng nơron giải toán phân cụm thực tế biến nghiên cứu, cải tiến trở lên hữu dụng Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/