Mạng nơron kohonen – som ứng dụng trong phân nhóm sinh viên dựa trên kết quả học tập

LỜI CẢM ƠN Để hoàn thành chương trình học viết luận văn tốt nghiệp này, em nhận hướng dẫn, giúp đỡ góp ý nhiệt tình thầy cô trường Đại học Công nghệ thông tin Truyền thông Trước hết, em xin chân thành cảm ơn đến quý thầy cô trường Đại học Công nghệ thông tin Truyền thông, đặc biệt thầy cô tận tình dạy bảo cho em suốt thời gian học tập trường Em xin gửi lời biết ơn sâu sắc đến thầy giáo Tiến sĩ Nguyễn Văn Tảo Thầy dành nhiều thời gian, tâm huyết tận tình giúp đỡ, hướng dẫn cho em suốt trình nghiên cứu giúp em hoàn thành luận văn Mặc dù có nhiều cố gắng hoàn thiện luận văn tất nhiệt tình lực mình, nhiên tránh khỏi thiếu sót, mong nhận đóng góp quý báu quý thầy cô bạn Thái Nguyên, ngày 28 tháng năm 2014 Học viên Lâm Việt Thắng MỞ ĐẦU Sự bùng nổ phát triển mạnh mẽ công nghệ đưa máy tính đến với hoạt động sinh hoạt lao động người Kèm theo khối lượng liệu thông tin, tri thức khổng lồ mà để quản lý nắm bắt, phân loại chúng toán nan giải tốn nhiều thời gian công sức nhà quản lý, phát triển Ngày liệu số trở lên thông dụng trở thành loại thông tin trao đổi phổ biến tất phương tiện thông tin, liên lạc…Nhưng việc nắm bắt nội dung loại thông tin điều tương đối khó cho hệ thống giám sát phân loại tự động Những thông tin mang tính chất phức tạp mà để hiểu phương pháp phân loại bình thường chưa đủ mạnh Thực tế chứng minh cách tốt để phân loại liệu dùng óc người Tất nhiên điều vô quý giá ứng dụng chúng để giải vấn đề tin học đem lại thành công mong đợi Một máy tính, dù có mạnh đến đâu nữa, phải làm việc theo chương trình xác hoạch định trước chuyên gia Bài toán phức tạp việc lập trình công phu Từ lâu nhà khoa học nhận thấy ưu điểm óc người tìm cách phát triển để máy tính có khả học tập, nhận dạng phân loại Các mạng nơron nhân tạo (Artificial Neural Network, ANN) đời từ nỗ lực ANN lĩnh vực nghiên cứu rộng lớn phát triển mạnh khoảng 15 năm gần Tuy có nhiều kết khích lệ, ANN xa đạt hoàn chỉnh óc người Và ứng dụng công nghệ thông tin nhiều hạn chế Trong khuôn khổ luận văn xin trình bày nghiên cứu tổng quan ANN, lỗ lực cải tiến thuật toán, cài đặt ứng dụng mạng nơron việc phân cụm liệu số NHIỆM VỤ LUẬN VĂN Trong luận văn tập trung nghiên cứu tảng lý thuyết ứng dụng mạng nơron nhân tạo Cụ thể giải toán phân cụm liệu số máy tính với trợ giúp mạng Kohonen-SOM Vì khuôn khổ luận văn hướng tới hai mục đích chính: Nghiên cứu mạng nơron cụ thể mạng SOM, từ ý tưởng tự nhiên tới phương cách cài đặt máy tính đồng thời đưa phương pháp cải tiến mặt giải thuật nhằm đưa mạng nơron ứng dụng giải toán phân cụm liệu số Ứng dụng mạng nơron giải toán phân cụm thực tế biến nghiên cứu, cải tiến trở lên hữu dụng MỤC LỤC MỤC LỤC CHƯƠNG 1: TỔNG QUAN MẠNG NƠRON 1.1 Giới thiệu chung 1.2 Ý tưởng sinh học 1.3 Mô hình nơron nhân tạo 1.4 Sử dụng mạng nơron nhân tạo 10 1.5 Thu thập liệu cho mạng nơron nhân tạo 11 1.6 Perceptron nhiều lớp 12 1.6.1 Huấn luyện Perceptron nhiều lớp 13 1.6.2 Thuật toán backpropagation 14 1.6.3 Học mức tổng quát hóa 14 1.6.4 Chọn lựa liệu 17 1.7 Mô hình mạng nơron 17 1.7.1 Mô hình nơron cấu trúc mạng 18 1.7.2 Cấu trúc liệu 21 1.7.3 Kiểu huấn luyện 21 1.8 Tóm tắt 22 CHƯƠNG 2: KOHONEN-SOM VÀ PHÂN CỤM DỮ LIỆU 24 2.1 Tìm hiểu mạng Kohonen 24 2.2 Mạng Kohonen gì? 24 2.2.1 Cấu trúc mô hình mạng Kohonen 26 2.2.2 Thuật toán phân cụm mạng Kohonen 26 2.3 Phân cụm với mạng Kohonen - Mạng nơron tự tổ chức – SOM 30 2.3.1 Tổng quan SOM 30 2.3.2 SOM 31 2.3.3 Khởi tạo mạng Kohonen (SOM) 31 2.3.4 Huấn luyện mạng Kohonen - Som 32 2.3.5 Tỉ lệ học 32 2.3.6 Cập nhật lại trọng số 33 2.3.7 Xác định nơron chiến thắng 34 2.4 Kohonen (SOM) phân cụm liệu 35 2.4.1 SOM phân cụm với đồ chiều 35 2.4.2 SOM phân cụm với đồ chiều 35 2.4.3 Xác định ranh giới cụm 36 2.4.4 Trực quan mạng 37 2.4.5 Số lượng nhóm phân cụm 38 2.5 SOM –Thách thức trình phân cụm liệu 39 2.5.1 SOM –Bài toán phân cụm màu 39 2.5.2 SOM –Thách thức phân nhóm 42 2.5.3 SOM –Vấn đề số lượng nhóm 44 2.6 SOM –Giải vấn đề tồn phân cụm 45 2.6.1 Giải pháp phân cụm tự nhiên trình học 45 2.6.2 Giới hạn điều chỉnh số lượng nhóm mạng SOM 48 CHƯƠNG 3: ỨNG DỤNG PHÂN CỤM ĐIỂM 51 3.1 Phát biểu toán ứng dụng 51 3.1.1 Nội dung 51 3.1.2 Mục đính- Yêu cầu 52 3.2 Phân tích thiết kế hệ thống cho ứng dụng 53 3.2.1 Xác định tác nhân Use case 53 3.2.2 Biểu đồ Use Case 54 3.2.3 Biểu đồ trình tự cho Use Case 54 3.3 Chương trình ứng dụng 58 3.3.1 Giao diện tổng quan cho ứng dụng 58 3.3.2 Một số tính cho ứng dụng 58 3.3.3 Hướng dẫn sử dụng, chạy thử nghiệm 64 KẾT LUẬN 67 TÀI LIỆU THAM KHẢO 69 CHƯƠNG 1: TỔNG QUAN MẠNG NƠRON 1.1 Giới thiệu chung Mạng nơron nhân tạo (Artificial Neural Networks) vài năm trở lại nhiều người quan tâm áp dụng thành công nhiều lĩnh vực khác nhau, tài chính, y tế, địa chất vật lý Thật vậy, đâu có vấn đề dự báo, phân loại điều khiển, mạng nơron nhân tạo ứng dụng Sự thành công nhanh chóng mạng mạng nơron nhân tạo số nhân tố sau:  Năng lực: mạng nơron nhân tạo kỹ thuật mô tinh vi, có khả mô hàm phức tạp Đặc biệt, mạng nơron nhân tạo hoạt động phi tuyến Trong nhiều năm, mô hình tuyến tính kỹ thuật sử dụng rộng rãi hầu hết lĩnh vực, mô hình tuyến tính có tính chiến lược tối ưu hóa biết nhiều  Dễ sử dụng: mạng nơron nhân tạo có tính học theo ví dụ Người sử dụng mạng nơron nhân tạo thu thập liệu đặc trưng, sau gọi thuật toán huấn luyện để tự học cấu trúc liệu Mặc dù người sử dụng làm tất điều cần thiết để chọn chuẩn bị liệu, sử dụng loại mạng phù hợp hiểu kết quả, mức độ người sử dụng biết cách áp dụng thành công mạng nơron nhân tạo thấp nhiều người sử dụng phương pháp thống kê truyền thống… Mạng nơron nhân tạo dựa việc mô cấp thấp hệ thống nơron sinh học Trong tương lai với phát triển mô nơron sinh học, có loại máy tính thông minh thật 1.2 Ý tưởng sinh học Mạng nơron nhân tạo phát triển từ nghiên cứu trí tuệ nhân tạo; đặc biệt cố gắng bắt chước não có cấu trúc cấp thấp khả học chấp nhận sai hệ thống nơron sinh học Suốt năm 1960 – 1980 nhà nghiên cứu trí tuệ nhân tạo tìm hệ chuyên gia dựa mô hình cấp cao xử lý lý luận não Mặc dù mô hình thành công vài lĩnh vực, chưa bắt chước trí tuệ người Điều cấu trúc mô hình chưa não Do đó, để tái tạo trí thông minh, cần phải xây dựng hệ thống có cấu trúc giống não người Bộ não người gồm số lớn nơron (khoảng 10.000.000.000 nơron) kết nối với (trung bình nơron kết nối với hàng chục ngàn nơron khác) Mỗi nơron tế bào đặc biệt, truyền tín hiệu điện Nơron có cấu trúc rễ ngõ vào, thân tế bào cấu trúc rễ ngõ (sợi thần kinh) Các sợi thần kinh tế bào kết nối với tế bào khác thông qua synapse Khi nơron kích hoạt, tạo xung điện hóa học dọc theo sợi thần kinh Tín hiệu qua synapse đến nơron khác, tiếp tục bị kích hoạt Nơron hoạt động tất tín hiệu nhận thân tế bào thông qua rễ ngõ vào vượt mức (ngưỡng hoạt động) Hình 1.2 : Cấu tạo tế bào nơron Cường độ tín hiệu thu nơron phụ thuộc vào độ nhạy synapse Chỉ có việc học làm thay đổi cường độ kết nối synapse Ví dụ theo thí nghiệm có điều kiện Pavlovian cổ điển, gõ chuông trước cho chó ăn tối, chó nhanh chóng học rung chuông gắn liền với ăn Kết nối synapse phần vỏ não thính giác tuyến nước bọt nhạy hơn, rung chuông vỏ não thính giác bị kích thích, chó bắt đầu tiết nước bọt Do đó, từ số lớn đơn vị xử lý đơn giản (mỗi đơn vị thực tổng trọng số ngõ vào sau kích hoạt tín hiệu nhị phân tổng ngõ vào vượt ngưỡng), não điều khiển để hoạt động công việc phức tạp Dĩ nhiên, phức tạp hoạt động não trình bày hết, dù mạng trí tuệ nhân tạo đạt vài kết đáng ý với mô hình không phức tạp não 1.3 Mô hình nơron nhân tạo Nơron nhân tạo định nghĩa sau:  Nơron nhân tạo nhận số ngõ vào (từ liệu gốc, hay từ ngõ nơron khác mạng) Mỗi kết nối đến ngõ vào có cường độ (hay trọng số), trọng số tương ứng với tác dụng synapse nơron sinh học Mỗi nơron có giá trị ngưỡng  Tín hiệu truyền qua hàm kích hoạt (hay gọi hàm truyền) tạo giá trị ngõ nơron Hình 1.3(a): Mô hình nơron nhân tạo Nếu sử dụng hàm truyền nấc (nghĩa ngõ nơron ngõ vào nhỏ 0, ngõ vào lớn hay 0) nơron hoạt động giống nơron sinh học Thực tế, hàm nấc sử dụng mạng trí tuệ nhân tạo Lưu ý trọng số âm, nghĩa synapse có tác dụng kiềm chế kích hoạt nơron, nơron kiềm chế tìm thấy não Trên mô tả nơron đơn lẻ Trong thực tế nơron kết nối với Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị biến giới thực) ngõ (dùng để dự báo điều khiển) Ngõ vào ngõ tương ứng với nơron giác quan vận động, tín hiệu đưa vào mắt điều khiển cánh tay Tuy nhiên chúng có nơron ẩn đóng vai trò ẩn mạng Ngõ vào, nơron ẩn ngõ cần kết nối với Hình 1.3(b): Mô hình mạng nơron nhân tạo Vấn đề hồi tiếp Một mạng đơn giản có cấu trúc tiến: tín hiệu vào ngõ vào, qua nơron ẩn cuối đến nơron ngõ Cấu trúc chạy ổn định Tuy nhiên, mạng có hồi tiếp (chứa kết nối ngược trở nơron trước đó) mạng chạy không ổn định dao động phức tạp Mạng hồi tiếp nhà nghiên cứu quan tâm, cấu trúc tiến chứng minh hiệu việc giải vấn đề thực tế Mạng nơron nhân tạo tiến cho hình Các nơron xếp theo cấu trúc liên kết lớp riêng biệt Lớp ngõ vào nơron thực: nơron hoạt động đơn giản giới thiệu giá trị biến vào Các nơron lớp ẩn lớp ngõ kết nối với tất nơron lớp trước Cũng định nghĩa mạng có kết nối phần với vài nơron lớp trước đó, nhiên hầu hết ứng dụng mạng có kết nối đầy đủ tốt Hình 1.3 ( c):Cấu trúc mạng nơron nhân tạo Khi mạng hoạt động, giá trị biến ngõ vào đặt vào nơron ngõ vào, sau nơron lớp ẩn lớp ngõ kích hoạt Mỗi nơron tính giá trị kích hoạt chúng cách lấy tổng trọng số ngõ nơron lớp trước đó, trừ cho ngưỡng Giá trị kích hoạt truyền qua hàm kích hoạt tạo giá trị ngõ nơron Khi toàn mạng hoạt động, ngõ lớp ngõ hoạt động ngõ toàn mạng 1.4 Sử dụng mạng nơron nhân tạo Một loạt vấn đề dẫn tới việc giải mạng nơron định nghĩa cách làm việc huấn luyện Mạng nơron nhân tạo làm việc từ ngõ vào khác nhau, đưa ngõ khác Do sử dụng biết vài thông tin dự đoán thông tin chưa biết Ví dụ:  Dự đoán thị trường chứng khoán: biết giá chứng khoán tuần trước số FTSE, ta dự đoán giá chứng khoán ngày mai  Điều khiển: ta muốn biết có hay không robot biết quẹo phải, trái hay chuyển động phía để đạt mục tiêu, ta biết robot quan sát Điều kiện quan trọng việc sử dụng mạng nơron nhân tạo phải biết mối liên hệ ngõ vào ngõ biết trước Mối quan hệ kéo theo nhiều thứ định phải tồn Tổng quát, ta sử dụng mạng mạng nơron nhân tạo ta xác trạng thái tự nhiên mối liên hệ ngõ vào ngõ ra, ta biết mối liên hệ ta làm mô hình trực tiếp Một tính khác mạng nơron nhân tạo học mối liên hệ ngõ vào ngõ thông qua việc huấn luyện Có hai loại huấn luyện sử dụng mạng nơron nhân tạo huấn luyện có giám sát không giám sát Với loại mạng khác sử dụng loại huấn luyện khác Huấn luyện có giám sát sử dụng thông dụng Trong việc học có giám sát, người sử dụng mạng phải có tập hợp liệu cần huấn luyện Tập hợp chứa ngõ vào mẫu với ngõ tương ứng mạng huấn luyện để đưa mối liên hệ ngõ ngõ vào Tập hợp liệu thường lấy từ ghi chép trước 10 3.2.3.2 Tạo huấn luyện mạng nơron Hình 3.2.3.2: Biểu đồ trình tự tạo huấn luyện mạng nơron 3.2.3.3 Tạo biểu đồ theo nhóm Hình 3.2.3.3: Biểu đồ trình tự tạo biểu đồ theo nhóm 55 3.2.3.4 Phân cụm sinh viên theo nhóm Hình 3.2.3.4: Biểu đồ trình tự phân cụm sinh viên theo nhóm 3.2.3.5 Cấu hình mạng nơron Hình 3.2.3.5: Biểu đồ trình tự cấu hình mạng nơron 56 3.2.3.6 Chọn loại biểu đồ Hình 3.2.3.6: Biểu đồ trình tự chọn loại biểu đồ 3.2.3.7 Chọn hiển thị biểu đồ Hình 3.2.3.7: Biểu đồ trình tự chọn hiển thị biểu đồ 57 3.3 Chương trình ứng dụng 3.3.1 Giao diện tổng quan cho ứng dụng Qua trình phân tích, thiết kế kết hợp với thành tựu đạt mạng nơron ứng dụng ngôn ngữ lập trình Visual C# Microsotf luận văn xây dựng chương trình tương đối hoàn thiện giải toán phân cụm liệu điểm cho học sinh-sinh viên thỏa mãn yêu cầu đề ban đầu Sau hình ảnh cho ứng dụng sau trình cài đặt chạy thử nghiệm Hình 3.3.1: Giao diện chương trình 3.3.2 Một số tính cho ứng dụng Khả đọc chọn liệu: tính bắt buộc, để vận dụng thuật toán từ mạng nơron trước hết chương trình phải có khả chọn,đọc liệu excel thị liệu giao diện Tiếp khả chọn môn học cho trình phân cụm, phân cụm kết cuối hiển thị chi tiết Để hỗ trợ cho trình chọn phân cụm liệu ứng dụng xây dựng số thành phần hỗ trợ nhiệm vụ 58 Hình 3.3.2(a): Tab hỗ trợ nhập chọn liệu Trên tab hỗ trợ khả chọn lựa tập liệu đầu vào đồng thời hỗ trợ khả chọn môn mốn phân cụm Trong file excel có trường liệu điềm mà lable thể tên, ID số báo danh tab hỗ trợ việc phân biệt trường hợp tránh cho việc phân cụm không cần thiết Khả kết xuất biểu đồ cho nhóm: tính đặc biệt hỗ trợ khả thị kết cách trực quan giúp người quản lý dễ dàng quan sát đánh giá nhóm tốt Tính thường thấy toán thống kê việc phân cụm điểm toán đặc biệt cần có biểu đồ hỗ trợ so sánh đánh giá Ứng dụng hỗ trợ người dùng nhiều loại biểu đồ khác tùy theo phương pháp quan sát khác gồm biểu đồ 3D 2D hỗ trợ 20 loại biểu đồ khác 59 Hình 3.3.2(b): Một số biểu đồ trợ giúp dạng 3D 60 Hình 3.3.2(c): Một số biểu đồ trợ giúp dạng 2D 61 Khả phân cụm kết xuất chi tiết: tính cho việc giải toán phân cụm điểm Chương trình có khả phân cụm cấu học sinh –sinh viên có kết tương đồng nhóm Dựa vào SOM từ tập liệu ban đầu mạng tự học trình huấn luyện tiến hành phân chia tập liệu đầu vào thành nhóm theo quan hệ (quan hệ không định trước mạng tự động đưa sau trình học) Từ liệu đầu vào file excel tập hợp điểm tất học sinh, sinh viên lớp, chương trình phân làm nhóm sinh viên khác người quản lý dễ dàng đưa phương pháp tác động tới nhóm nhằm đạt hiệu định Hình 3.3.2(d):Bảng liệu đầu vào chương trình 62 Hình 3.3.2(e): Nhóm cấu hình nhóm Hình 3.3.2(f): Các đơn vị nhóm chi tiết nhóm 63 Hình 3.3.2(g) Một phần liệu khả phân nhóm 3.3.3 Hướng dẫn sử dụng, chạy thử nghiệm Chương trình cài đặt ngôn ngữ lập trình Visual C# Microsoft, chạy net framework 3.5, để chạy chương trình cần tiến hành cài đặt net framework 3.5 trở lên Bên cạnh ứng dụng dành cho phân cụm liệu file excel cần tiến hành cài đặt phần mềm Microsoft Office Excel để hỗ trợ khả truy suất liệu Các công cụ mô tả sau: 64 Khởi tạo Khởi Phân Hiển thị Hiển Hiển thị Danh sách mạng tạo biểu cụm dữ liệu thị biểu cấu hình phân nhóm nơron đồ liệu đầu vào đồ nhóm Tab chọn Tab chọn Tab chọn môn để Tab chọn Tab chọn file chứa biểu đồ phân cụm nhãn nhóm sau loại biểu đồ liệu hiển thị tưng ứng phân cụm Hình 3.3.3: Các phần ứng dụng Như kết thực nghiệm thấy ứng dụng có khả phân cụm liệu tập sinh viên đầu vào hiển thị chi tiết đặc tính danh sách sinh viên thuộc nhóm Vậy thao tác để có kết phần mềm ứng dụng, sau bước trình sử dụng Bước 1: Chọn sở liệu Để chọn sở liệu dùng tab Group hỗ trợ giao diện chọn tab home\Open Với tab Group hỗ trợ chọn file định dạng excel 65 Bước 2: Chọn môn cần phân cụm nhãn cho đối tượng phân cụm Trong tab Properties giúp việc chọn môn để phân cụm phía bên trái nhãn để phân cụm phía bên phải Bước 3: Khởi tạo mạng nơron tiến hành phân cụm Click vào button Create có giao diện thực trình khởi tạo huấn luyện, phân nhóm mạng nơron Bước 4: Khởi tạo biểu đồ cho nhóm Click vào button Chart giao diện khởi tạo luồng vẽ biểu đồ cho nhóm phân cụm sau bước 3, có biểu đồ tổng quát Có thể cấu hình loại biểu đồ tab Control phía bên phải ẩn Bước 5: Phân chia liệu thành nhóm quan sát kết Click vào button Split giao diện thực trình phân nhóm cho liệu chọn ban đầu Có thể quan sát cấu hình, danh sách đặc trưng khác nhóm giao diện Chương trình ứng dụng thành công mạng SOM vào trình phân nhóm học sinh- sinh viên, dựa vào kết phân nhóm ứng dụng mang lại người quản lý có định hướng để cải thiện chất lượng học cho nhóm học sinh-sinh viên đánh giá lực học tập dựa tập sở liệu đưa vào 66 KẾT LUẬN Mạng nơron lĩnh vực nghiên cứu tương đối rộng đòi hỏi nhiều công sức lỗ lực tình nghiên cứu Bên cạnh việc cài đặt ứng dụng mạng nơron gặp nhiều khó khăn độ phức tạp tương đối cao giải thuật Vì lí khuôn khổ luận văn hướng tới mạng nơron dùng để phân cụm liệu mạng SOM để nghiên cứu phát triển.Thực tế chứng minh mạng SOM có nhiều ứng dụng việc nghiên cứu khai thác mạng đem lại nhiều kết thực tiễn Việc nghiên cứu mạng SOM trình phát triển lý thuyết mạng nơron đem lại hiểu biết mạng nơron nhân tạo Trong nội dung luận văn trình bày hiểu biết chung mạng, đồng thời cho người đọc có quan niệm chung lĩnh vực khoa học nhiều mẻ Bên cạnh trình phát triển mặt tảng lý thuyết đem lại thành công định Cụ thể nội dung báo cáo đề xuất số phương pháp cải tiến mạng SOM, phương pháp phân nhóm hiệu hơn, phương pháp khởi tạo mạng thu gọn… Và cải tiến đem lại hiệu định cho trình xử lý mạng nơron ứng dụng thực tế chúng Ứng dụng phân biệt màu phân cụm điểm ví dụ sử dụng minh họa cho khả ứng dụng mạng nơron Bên cạnh làm thiếu sót, chưa hoàn hảo trình phát triển Tốc độ phương pháp ứng dụng cần cải tiến, lý khiến mạng nơron nói chung mạng SOM nói riêng nhiều hạn chế phương pháp cài đặt máy tính chưa chinh phục toán nan giải Vì cần có nghiên cứu phát triển nhiều mạng nơron thời gian tới Những đạt nhiều hạn chế phải định hướng, hoạch định phương pháp phát triển cho mạng nơron Đây hướng đắn giúp cho người nghiên cứu, phát triển đuổi kịp tiến mạng nơron giới ứng dụng chúng cách hiệu 67 Do điều kiện khách quan nên việc thử nghiệm chương trình thực tế hạn chế Vì cần tiếp tục nghiên cứu thử nghiệm để hoàn thiện ứng dụng chương trình Trong trình thực luận văn mong đóng góp bảo thầy, cô giáo Em xin trân thành cảm ơn ủng hộ góp ý thầy cô, đặc biệt thầy Nguyễn Văn Tảo có hướng dẫn chiến lươc cho trình nghiên cứu thực luận văn 68 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Công Cường Nguyễn Doãn Phước, “Hệ mờ, mạng nơron ứng dụng”, NXB Khoa học Kỹ thuật, 2006 [2] Lê Bá Dũng, ”Bài giảng mạng nơron nhân tạo ứng dụng”, ĐH Công nghệ thông tin Truyền thông - Đại học Thái Nguyên, 2012 [3] Lê Minh Trung, “Giáo trình mạng Nơron nhân tạo”, NXB Thống kê, 1999 [4] Nguyễn Đình Thúc, “Trí tuệ nhân tạo - Mạng Nơron – Phương pháp ứng dụng”, NXB Giáo dục, 2000 Tiếng Anh [5] A Arning, R Agrawal, and P Raghavan Alinear method for deviation detection in larger databases, In Proc 1996 Int Conf Data mining and knowledge discovery (KDD-96) , Portland, Oregon, August 1996 [6] Daniel T.Larose, “Discovering knowledge in data : An introduction to data mining”, ISBN 0-471-66657-2 CopyrightC John Wiley & Sons, Inc, 2005 [7] J.Han, M Kamber, “Data Minning Concepts and Techniques”, Morgan Kaufmann Pubishers, 2001 [8] Juha Vesanto, “Using SOMs in Data Mining”, Licentiate’s thesis, Helsinki University of Technology, 2000 [9] Tom Germano, “Self Organizing Maps”, 1999 [10] Teuvo Kohonen(2001), ”Self-Organizing Maps, Third Edition, Springer”, Heidelberg, 2001 69 [...]... dễ dàng hơn mạng không có ngưỡng b Ví dụ một nơron không có ngưỡng sẽ luôn tạo ra ngõ vào zero cho hàm truyền (khi tất cả ngõ vào nơron là zero) Tuy nhiên một nơron với ngưỡng có thể học để tạo ra một ngõ nhập cho bất kỳ hàm truyền 23 CHƯƠNG 2: KOHONEN- SOM VÀ PHÂN CỤM DỮ LIỆU 2.1 Tìm hiểu mạng Kohonen Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen giống với mạng nơron sinh học hơn cả về... lớp ra Kohonen Lớp vào (Input layer): dùng để đưa dữ liệu huấn luyện vào mạng Kohonen Kích thước của lớp vào tương ứng với kích thước của mỗi mẫu học Trong mạng Kohonen hai chiều, các nơron của lớp ra được sắp xếp trên một mảng 2 chiều, mảng này được gọi là lớp ra Kohonen Tất cả các nơron của lớp vào đều được nối với các nơron trên lớp ra Kohonen Mỗi liên kết giữa đầu vào và đầu ra của mạng Kohonen. .. tính toán, điều này dễ dàng phân biệt được với các thuật toán phân cụm khác mà điển hình là cây phân cấp thậm chí với một lượng nhỏ các ví dụ bao lớp cũng trở lên nặng nề Chính vì vậy cách tiếp cận này là hoàn toàn phù hợp cho việc phân cụm một tập các mẫu hơn là làm trực tiếp trên tập dữ liệu 2.3 Phân cụm với mạng Kohonen - Mạng nơron tự tổ chức – SOM SOM là một mô hình mạng nơron có khả năng ánh xạ... đem lại một mạng đặc trưng” hai chiều có thể được sử dụng trong việc phát hiện và phân tích những đặc trưng trong không gian đầu vào Kỹ thuật SOM đã được áp dụng thành công trong một số lĩnh vực như nhận dạng tiếng nói, phân lớp ảnh và gom cụm văn bản 2.3.1 Tổng quan về SOM SOM (Self-Organizing Maps – Mạng nơron tự tổ chức) là một trong nhiều loại mạng AI do cố giáo sư, tiến sĩ Teuvo Kohonen đề xướng... xử lý thông tin các mạng nơron khác thường chỉ quan tâm đến giá trị và dấu hiệu của thông tin đầu vào, chưa quan tâm khai thác các mối liên hệ có tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu, hay toàn thể không gian Nhưng trong mạng nơron Kohonen đã quan tâm đến các yếu tố này Tự tổ chức trong mạng nơron là một trong những chủ đề cuốn hút trong mạng nơron Một mạng nơron như vậy có thể... nơron sinh học hơn cả về cấu tạo lẫn cơ chế học Mạng nơron nhân tạo này lần đầu tiên được giới thiệu bởi Kohonen vào năm 1982, nó được biết đến như là ánh xạ đặc trưng tự tổ chức (SOM) Ánh xạ tự tổ chức của Kohonen còn được biết đến là một trong những mô hình khá đơn giản của mạng nơron, và người ta thường gọi đó là mạng nơron Kohonen Mạng nơron Kohonen (hay nơron tự tổ chức) mô hình hóa cách hoạt động... đời và phát triển, mạng nơron đã được ứng dụng trong nhiều lĩnh vưc khác nhau Không thể liệt kê được hết ứng dụng của mạng nơron, tuy nhiên ta có thể thấy một số ứng dụng điển hình như sau: - Tài chính - ngân hàng: định giá bất động sản, cho vay, kiểm tra tài sản cầm cố giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mại thông qua giấy tờ, cấp phát thẻ tín dụng, phân tích tài chính... Do đó mạng nơron nhân tạo không thể có một quyết định đúng khi nơron chưa được huấn luyện  Mạng chỉ có thể học theo cách dễ nhất mà nó có thể Backpropagation có tính chất tốt như nhau nếu dữ liệu rất ít 1.7 Mô hình mạng nơron Mô hình mạng nơron tổng quát có dạng như sau: Hình 1.7: Mô hình mạng nơron nhân tạo Ngày nay mạng Nơron có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng trong. .. giá trị nhập vào và dự đoán các kết quả tiếp theo Các nơron của mạng thông qua quá trình luyện cạnh tranh để nhận ra một nhóm các đối tượng đầu vào tương đương nhau Mục đích chính của việc luyện trong mạng nơron Kohonen là nhận dạng một nhóm các vector đầu vào cùng loại 2.2 Mạng Kohonen là gì? Mạng Kohonen là một kỹ thuật trực quan dữ liệu được phát minh bởi giáo sư Teuvo Kohonen, nó giúp giảm số chiều... phân cụm theo cách tiếp cận mạng nơron Véc tơ trọng số 29 của ma trận SOM chính là trọng tâm cụm, việc phân cụm có thể cho ra kết quả tốt hơn bằng cách kết hợp các đơn vị trong ma trận để tạo thành các cụm lớn hơn [7] Dùng SOM như một bước trung gian để phân cụm, đó là cách tiếp cận gồm hai mức: lớp đầu tiên phân cụm dữ liệu và sau đó phân cụm SOM Với mỗi véctơ dữ liệu của tập dữ liệu bao lớp thuộc cùng ... CỤM DỮ LIỆU 2.1 Tìm hiểu mạng Kohonen Trong kiểu khác mạng nơron, mạng nơron Kohonen giống với mạng nơron sinh học cấu tạo lẫn chế học Mạng nơron nhân tạo lần giới thiệu Kohonen vào năm 1982, biết... 2.5.1 SOM –Bài toán phân cụm màu 39 2.5.2 SOM –Thách thức phân nhóm 42 2.5.3 SOM –Vấn đề số lượng nhóm 44 2.6 SOM –Giải vấn đề tồn phân cụm 45 2.6.1 Giải pháp phân cụm... 2.3 Phân cụm với mạng Kohonen - Mạng nơron tự tổ chức – SOM 30 2.3.1 Tổng quan SOM 30 2.3.2 SOM 31 2.3.3 Khởi tạo mạng Kohonen (SOM) 31 2.3.4 Huấn luyện mạng Kohonen