Mạng kohonen và ứng dụng cho việc đánh giá trình độ học vấn của các dân tộc tỉnh yên bái

LỜI CAM ĐOAN Tôi xin cam đoan luận văn công trình nghiên cứu riêng cá nhân tôi, không chép tự nghiên cứu, đọc, dịch tài liệu, tổng hợp thực Nội dung lý thuyết luận văn có sử dụng số tài liệu tham khảo trình bày phần tài liệu tham khảo Các số liệu, chương trình phần mềm kết luận văn trung thực chưa công bố công trình khác Thái Nguyên, tháng năm 2016 Học viên thực Đặng Trung Kiên LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS.TS Lê Bá Dũng người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy cô giáo trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên, thầy cô Viện Công nghệ thông tin truyền đạt kiến thức giúp đỡ em suốt trình học Tôi xin gửi lời cảm ơn tới Ban Giám đốc Sở Giáo dục Yên Bái tạo điều kiện thuận lợi cho tham gia khóa học suốt trình hoàn thành luận văn Và cuối xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người ủng hộ, động viên tạo điều kiện giúp đỡ để có kết ngày hôm Thái Nguyên, tháng năm 2016 Học viên Đặng Trung Kiên i MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC i THUẬT NGỮ TIẾNG ANH iii MỞ ĐẦU Chương 1: MẠNG NƠRON VÀ BÀI TOÁN PHÂN CỤM DỮ LIỆU 1.1 Cấu trúc mô hình mạng Nơron 1.1.1 Mô hình nơron sinh học 1.1.2 Cấu trúc mô hình nơron nhân tạo 1.2 Mạng Nơron Kohonen toán phân cụm liệu 1.2.1 Giới thiệu mạng Kohonen (SOM - Self Organizing Maps) 1.2.2 Bài toán phân cụm liệu 10 Chương 2: PHÂN CỤM DỮ LIỆU BẰNG MẠNG KOHONEN 16 2.1 Thuật toán phân cụm liệu 16 2.2 Một số thuật toán phân cụm liệu 17 2.2.1 Thuật toán phân cụm phân cấp 17 2.2.2 Thuật toán phân cụm phân hoạch (Thuật toán K-means) 18 2.2.3 Thuật toán phân cụm dựa mật độ (Thuật toán DBSCAN) 22 2.2.4 Thuật toán phân cụm dựa lưới (Thuật toán STING) 24 2.2.5 Các thuật toán phân cụm dựa mô hình (Thuật toán EM) 25 2.3 Thuật toán phân cụm mạng Kohonen 26 2.3.1 Cấu trúc mạng nơron Kohonen 26 2.3.2 Thuật toán phân cụm mạng Kohonen 27 2.4 Phân cụm mạng Kohonen 31 2.4.1 Khởi tạo mạng Kohonen (SOM) 31 2.4.2 Huấn luyện mạng Kohonen 32 2.4.3 Tỉ lệ học 32 2.4.4 Cập nhật lại trọng số 33 ii 2.4.5 Xác định nơron chiến thắng 34 Chương 3: ỨNG DỤNG MẠNG KOHONEN (SOM) TRONG PHÂN TÍCH ĐÁNH GIÁ TRÌNH ĐỘ HỌC VẤN CÁC DÂN TỘC Ở TỈNH YÊN BÁI 35 3.1 Mô tả toán 35 3.1.1 Khái quát điều kiện tự nhiên, tình hình kinh tế-xã hội giáo dục tỉnh Yên Bái 35 3.1.2 Trình độ học vấn 36 3.2 Thu thập liệu 37 3.3 Mạng Kohonen cho phân tích đánh giá trình độ học vấn dân tộc tỉnh Yên Bái 42 3.3.1 Cấu trúc mạng 42 3.3.2 Giới thiệu công cụ SOM Toolbox 42 3.3.3 Chuẩn bị liệu 48 3.3.4 Mô hình mạng Kohonen 49 3.3.5 Chương trình ứng dụng mô hình mạng Kohonen 51 3.3.6 Kết sau huấn luyện mô hình mạng Kohonen 52 3.3.7 Đánh giá kết 57 Tài liệu tham khảo 64 iii THUẬT NGỮ TIẾNG ANH SOM (Self-Organizing Maps) Mạng nơron tự tổ chức PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống khoảng cách EM (Expectation maximization) Thuật toán tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu mở rộng BMU (Best - Matching unit) Đơn vị phù hợp DBSCAN (Density Based Spatial Phân cụm liệu dựa không gian mật độ ứng dụng với nhiễu Clustering of Applications with Noise) iv CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN Hình 1.1 Một nơron sinh học Hình 1.2 Sự liên kết nơron Hình 1.3 Mô hình nơron nhân tạo Hình 1.4 Đồ thị dạng hàm truyền Hình 1.5 Ví dụ phân cụm liệu 11 Hình 1.6 Ví dụ phân cụm nhà dựa khoảng cách 12 Hình 1.7 Ví dụ phân cụm nhà dựa kích cỡ 13 Hình 2.1 Các chiến lược phân cụm phân cấp 17 Hình 2.2 Các thiết lập để xác định ranh giới cụm ban đầu 129 Hình 2.3 Tính toán trọng tâm cụm 20 Hình 2.4 Hình dạng cụm khám phá thuật toán DBSCAN 23 Hình 2.5 Một dạng mạng nơron Kohonen 27 Hình 2.6 Phần tử nơron chiến thắng BMU 28 Hình 2.7 Các vùng lân cận 28 Hình 3.1 Thuật toán phân cụm trình độ học vấn dân tộc tỉnh Yên Bái 51 Hình 3.2 Giao diện chương trình 52 Hình 3.3 Hình ảnh phân cụm trình độ học vấn dân tộc 53 Hình 3.4 Hình ảnh cụm theo lớp dân tộc 54 Hình 3.5 Hình ảnh phân cụm trình độ học vấn nữ dân tộc 55 Hình 3.6 Hình ảnh cụm theo lớp nữ dân tộc 56 Bảng 3.1 Trình độ học vấn dân tộc 38 Bảng 3.2 Trình độ học vấn nữ dân tộc 40 MỞ ĐẦU Mạng nơron nhân tạo nói chung, mạng KOHONEN nói riêng nghiên cứu, ứng dụng mạnh mẽ thành công nhiều lĩnh vực năm gần đây, công cụ tốt việc giải toán như: hợp phân lớp đối tượng, phân cụm liệu, Nó thay hiệu công cụ tính toán truyền thống để giải toán Mạng nơron SOM giáo sư Teuvo Kohonen trường đại học Helsinki Phần Lan phát triển vào năm 80 kỷ 20 [9] Đây mạng truyền thẳng sử dụng thuật học cạnh tranh, không giám sát có khả phân cụm liệu với lượng lớn liệu đầu vào Phân cụm có ý nghĩa quan trọng hoạt động người sử dụng rộng rãi nhiều ứng dụng, bao gồm nhận dạng mẫu, phân tích liệu, xử lý ảnh, nghiên cứu thị trường [1] phân cụm liệu sử dụng bước tiền xử lí cho thuật toán khai phá liệu khác phân loại mô tả đặc điểm, có tác dụng việc phát cụm Với tư cách chức khai phá liệu, phân tích phân cụm sử dụng công cụ độc lập chuẩn để quan sát đặc trưng cụm thu bên phân bố liệu tập trung vào tập riêng biệt cụm để giúp cho việc phân tích đạt kết Hiện có nhiều thuật toán đưa để áp dụng cho toán phân cụm, nhiên giải thuật có ưu, nhược điểm riêng Dựa đặc tính mạng nơron Kohonen việc lựa chọn giải thuật cho toán phân cụm dựa tập liệu trình độ học vấn phổ thông dân tộc tỉnh Yên Bái hướng mới, có nhiều hứa hẹn Qua phân tích cho thấy phân cụm dựa tập liệu trình độ học vấn phổ thông dân tộc tỉnh Yên Bái Điều có ý nghĩa quan trọng công tác quản lý, giúp cho ngành giáo dục đào tạo thấy toàn cảnh trình độ học vấn dân tộc vùng miền tỉnh, qua có đánh giá xác trình độ học vấn dân tộc, khu vực tỉnh để từ đưa định hướng phát triển giáo dục dân tộc vùng miền tỉnh cho phù hợp Ngoài ra, việc phân cụm giúp định hướng công tác xoá mù chữ, phổ cập giáo dục tiểu học, phổ cập giáo dục trung học sở đạt kết bền vững Như vậy, nội dung nghiên cứu đề tài giải bước đầu vấn đề khai phá liệu, có vai trò đóng góp quan trọng việc nâng cao hiệu cho bước phân tích liệu phía sau Được gợi ý thầy hướng dẫn nhận thấy tính thiết thực vấn đề em chọn đề tài: “Mạng Kohonen ứng dụng cho việc đánh giá trình độ học vấn dân tộc tỉnh Yên Bái” Phương pháp nghiên cứu tìm hiểu mạng Nơron Kohonen qua tài liệu, báo viết mạng SOM sử dụng công cụ SOM Toolbox để huấn luyện mạng SOM phân cụm liệu Nội dung luận văn gồm có chương: Chương 1: Tìm hiểu cấu trúc, mô hình mạng Nơron, mạng Nơron Kohonen, toán phân cụm liệu Chương 2: Giới thiệu số thuật toán phân cụm phổ biến Trong chương trình bày mạng SOM: Giới thiệu cấu trúc SOM, thuật toán SOM, sử dụng SOM phân cụm liệu Chương 3: Ứng dụng mạng Nơron Kohonen đánh giá trình độ học vấn dân tộc tỉnh Yên Bái Chương : MẠNG NƠRON VÀ BÀI TOÁN PHÂN CỤM DỮ LIỆU 1.1 Cấu trúc mô hình mạng Nơron 1.1.1 Mô hình nơron sinh học Phần tử xử lý mạng nơron sinh học nơron, phần tử chia làm bốn thành phần sau: dendrites, soma, axon, synapses - Dendrites: phần nhận tín hiệu đầu vào - Soma: hạt nhân - Axon: phần dẫn tín hiệu xử lý - Synapses: đường tín hiệu điện hóa giao tiếp nơron Kiến trúc sở não người có vài đặc tính chung Một cách tổng quát, nơron sinh học nhận đầu vào từ nguồn khác nhau, kết hợp chúng với nhau, thực thi tổ hợp phi tuyến chúng kết cuối đầu Hình 1.1 mối quan hệ bốn phần tử nơron sinh học Hình 1.1 Một nơron sinh học Một nơron sinh học có số chức vậy, ta nhận thấy khả xử lý thông tin yếu Để có khả xử lý thông tin hoàn hảo não người, nơron phải kết hợp trao đổi thông tin với Ta hình dung sơ đồ liên kết, trao đổi thông tin hai nơron hình 1.2 Hình 1.2 Sự liên kết nơron 1.1.2 Cấu trúc mô hình nơron nhân tạo Mô hình toán học mạng nơron sinh học đề xuất McCulloch Pitts [1], [2], thường gọi nơron M-P, gọi phần tử xử lý ký hiệu PE (Processing Element) Mô hình nơron có m đầu vào x1, x2, , xm, đầu yi sau: 50 Như trình bày mục 3.3.1 mô hình mạng Kohonen bao gồm lớp: lớp vào Kohonen lớp Kohonen Trong lớp Kohonen có nhiều nơron thể cho biến vào từ liệu Mỗi nơron kết nối với không gian đầu chiều Mỗi nơron huấn luyện cho gom cụm (trình độ học vấn dân tộc) Xác định thông số cho mạng Kohonen: Các thông số cho việc huấn luyện mạng cần có: Thông số - Tỷ lệ học (tốc độ) - Tốc độ thích nghi Nơron lân cận - Số lần huấn luyện - Số nơron đầu vào - Số nơron đầu - Tính có mạng Kohonen - Số cụm dân tộc Mô tả - Là tốc độ học thuật toán - Là tốc độ cho cập nhật nơron lân cận - Số lần sử dụng huấn luyện mạng - Số nơron đầu vào dùng huấn luyện kiểm tra - Xác định số nơron đầu - Output = map-x * map-y * Huấn luyện mạng Việc huấn luyện mạng thực theo mục chương theo thuật toán sau: 51 Bắt đầu Gán trọng số ban đầu Nhận màu Xác định màu thuộc lớp Tính toán khoảng cách đến nút Chọn nơron chiến thắng Cập nhật trọng số No Đã hết Yes Kết thúc Hình 3.1 Thuật toán phân cụm trình độ học vấn dân tộc tỉnh Yên Bái Tính hội tụ thuật toán xác định theo sai số lượng tử trung bình qua lần lặp 3.3.5 Chương trình ứng dụng mô hình mạng Kohonen 3.3.5.1 Các chức chương trình Trong luận văn sử dụng phần mềm lập trình Matlab công cụ SOM Toolbox xây dựng chương trình ứng dụng mô hình mạng Kohonen để đánh giá, thống kê trình độ học vấn dân tộc tỉnh Yên Bái phương pháp trực quan phân cụm liệu từ tập liệu đầu vào bảng trình độ học vấn (từ lớp đến lớp 12) dân tộc tỉnh Yên Bái Phân cụm theo tiêu chí: dân tộc trình độ học vấn Công cụ Matlab thực qua bước sau: 52 - Đọc liệu - Xây dựng cấu trúc liệu - Xử lý tập liệu trước huấn luyện - Khởi tạo mẫu huấn luyện theo thuật toán SOM - Mô kết - Phân tích kết để đưa nhận xét, đánh giá 3.3.5.2 Giao diện chương trình Từ việc khảo sát, thống kê tập hợp liệu trình độ học vấn dân tộc tỉnh Yên Bái, kết hợp với việc phân tích, thiết kế mô hình mạng Kohonen để phân cụm liệu phần mềm lập trình Matlab, luận văn xây dựng chương trình tương đối hoàn chỉnh để giải toán khảo sát, đánh giá, thống kê đảm bảo yêu cầu đề ban đầu Sau giao diện chương trình ứng dụng mô hình mạng Kohonen cài đặt chạy chương trình: Hình 3.2 Giao diện chương trình 3.3.6 Kết sau chạy chương trình Sau chạy chương trình ta thu kết phân cụm trình độ học vấn dân tộc trình độ học vấn dân tộc nữ sau: 53 Hình 3.3 Hình ảnh phân cụm trình độ học vấn dân tộc 54 Hình 3.4 Hình ảnh cụm theo lớp dân tộc 55 Hình 3.5 Hình ảnh phân cụm trình độ học vấn nữ dân tộc 56 Hình 3.6 Hình ảnh cụm theo lớp nữ dân tộc 57 3.3.7 Đánh giá kết 3.3.7.1 Kết phân cụm trình độ học vấn dân tộc * Phân tích, đánh giá kết phân cụm trình độ học vấn dân tộc sử dụng mô hình mạng Kohonen phương pháp trực quan U-Matrix thu sau: Cụm Tên dân tộc Cụm Khơ me, Gia Rai, Hà Nhì, Ngái Cụm Cơ Lao, Thổ, Bố Y Cụm Mường, Hoa, Nùng, Tày, Kinh Cụm Ba Na, Sán Dìu Cụm Mnông, Phù Lá, Dao, Sán Chay, Thái, HMông, Giáy, Khơ mú Cụm Pu Péo, Tà ôi, Ê đê, Pà Thẻn Cụm Kháng Cụm La Chí Cụm Xơ đăng Cụm 1: Gồm dân tộc Khơ me, Gia Rai, Hà Nhì, Ngái: Trong cụm này, trình độ học vấn dân tộc tập trung vào lớp 5, lớp lớp 12, khối lớp khác không có; dân số cụm dân tộc nhỏ nên tỷ lệ dân tộc có trình độ lớp 12 cao so với cụm khác; dân tộc tỉ lệ dân số có trình độ văn hóa đạt từ 80% trở lên Cụm 2: Gồm dân tộc Cơ Lao, Thổ, Bố Y: Trong cụm trình độ văn hóa lớp 1, 3, 11 không có, dân số cụm đạt trình độ văn hóa lớp lớp 12 cao nhiên cụm dân số Cơ Lao tỷ lệ biết chữ thấp so với dân tộc lại; tương tự cụm 1, cụm có dân số nhỏ nên tỷ lệ dân số có trình độ 12 tương đối cao Cụm 3: Gồm dân tộc Mường, Hoa, Nùng, Tày, Kinh: Cụm cụm có số lượng dân số cao so với cụm khác, trình độ học vấn dân tộc 58 rải tất lớp; tỷ lệ dân số đạt trình độ lớp 5, lớp 9, lớp 12 cao trình độ lớp lại; trình độ văn hóa lớp 12 dân tộc Kinh cao nhất, trình độ văn hóa lớp 12 dân tộc Mường thấp cụm dân tộc Mường dân tộc có tỷ lệ người chưa biết chữ nhiều cụm Cụm 4: Gồm dân tộc Ba Na, Sán Dìu: Cụm cụm có số lượng dân số thấp so với cụm khác, trình độ văn hóa tập trung vào lớp 1, 5, 9, 10, 12; dân số có trình độ lớp Cụm 5: Gồm dân tộc Mnông, Phù Lá, Dao, Sán Chay, Thái, HMông, Giáy, Khơ mú: Cụm cụm có số dân số cao thứ sau cụm 3, trình độ văn hóa dân tộc cụm rải tất lớp; trình độ văn hóa lớp 5, lớp cao trình độ lại; trình độ văn hóa lớp 12 cụm so với cụm 3; tỷ lệ dân số biết chữ cụm đạt từ 50% đến 80% cần có biện pháp nâng cao trình độ văn hóa cho cụm dân tộc thông qua việc mở lớp xóa mù chữ, bổ túc văn hóa cho dân tộc cụm Cụm 6: Gồm dân tộc Pu Péo, Tà ôi, Ê đê, Pà Thẻn: Cụm có số lượng dân số thấp, trình độ văn hóa tập trung lớp Cụm 7: Gồm dân tộc Kháng: Cụm có số lượng dân số thấp, trình độ văn hóa cao lớp Cụm 8: Gồm dân tộc La Chí: Cụm có số lượng dân số thấp, trình độ văn hóa cao lớp Cụm 9: Gồm dân tộc Xơ đăng: Cụm có số lượng dân số thấp, trình độ văn hóa cao lớp Nhận xét: qua phân tích cụm cho thấy phân cụm trình độ văn hóa dân tộc số dân số tập trung vào cụm cụm cụm cụm lại dân số nhỏ việc đánh giá cụm tập trung vào đánh giá cụm cụm 5, cụm trình độ văn hóa lớp 12 dân tộc cụm cao dân tộc cụm * Phân tích, đánh giá đồ thành phần trình độ văn hóa cụm: 59 Đối với lớp 1: Trình độ văn hóa lớp tập trung vào cụm 3, 4, 5, thể màu xanh nhạt, màu vàng màu đỏ sẫm, riêng cụm có tỷ lệ dân số có trình độ lớp cao hiển thị màu đỏ sẫm, cụm 1, 2, 6, 8, dân số có trình độ lớp thể màu xanh đậm Đối với lớp 2: Các cụm 6, 7, 8, dân số có trình độ lớp thể màu xanh đậm đồ, cụm 1, 2, 3, 4, có tỷ lệ dân số có trình độ lớp đồ có mầu xanh nhạt chuyển dần sang mầu đỏ (thể tỷ lệ trình độ lớp tăng dần), so với đồ trình độ lớp lớp trình độ học vấn dân tộc tăng lên Tương tự ta xem đồ từ lớp đến lớp 12 ta thấy: + Bản đồ từ lớp đến lớp 5: tỷ lệ dân số có trình độ từ lớp đến lớp tăng dần lên (vùng màu xanh nhạt đến màu đỏ mở rộng) tỷ lệ cao lớp + Bản đồ từ lớp đến lớp 9: tỷ lệ dân số có trình độ từ lớp đến lớp tăng dần (vùng màu xanh nhạt đến màu đỏ mở rộng) cao lớp + Bản đồ từ lớp 10 đến lớp 12: tỷ lệ dân số có trình độ lớp 12 cao 3.3.7.2 Kết phân cụm trình độ học vấn dân tộc nữ * Phân tích, đánh giá kết phân cụm trình độ học vấn dân tộc nữ sử dụng mô hình mạng Kohonen phương pháp trực quan U-Matrix thu sau: Cụm Tên dân tộc Cụm La Chi, Mnông, Xơ đăng Cụm Pà Thẻn, Kháng Cụm Hmông, Giáy, Khơ mú, Mường, Thái, Nùng, Sán Chay, Dao Cụm Tày, Hoa, Kinh Cụm Gia Rai, Bố Y, Hà Nhì Cụm Tà Ôi, Ê đê, Khơ me, Pu Péo Cụm Phù Lá, Cơ Lao 60 Cụm Tên dân tộc Cụm Sán Dìu, Ngái, Ba Na Cụm Thổ Cụm 1: Gồm dân tộc La Chi, Mnông, Xơ đăng: Trong cụm trình độ học vấn cao lớp 9, lớp khác Cụm 2: Gồm dân tộc Pà Thẻn, Kháng: Số lượng dân số nữ nên trình độ học vấn có lớp 3, dân tộc nữ Pà Thẻn có trình độ lớp lớp 12 Cụm 3: Gồm dân tộc Hmông, Giáy, Khơ mú, Mường, Thái, Nùng, Sán Chay, Dao: Cụm có số lượng dân số lớn thứ sau cụm 4, dân số có trình độ văn hóa rải từ lớp đến lớp 12, trình độ lớp 5, lớp cao nhất, cụm tỷ lệ nữ dân tộc Hmông biết chữ thấp Cụm 4: Gồm dân tộc Tày, Hoa, Kinh: Cụm có số lượng dân số cao nhất, trình độ văn hóa rải từ lớp đến lớp 12, trình độ lớp 5, lớp 9, lớp 12 cao nhất; trình độ văn hóa lớp 12 cụm cao trình độ văn hóa lớp 12 cụm 3; tỷ lệ người biết chữ cụm cao từ 75% dân số trở lên Cụm 5: Gồm dân tộc Gia Rai, Bố Y, Hà Nhì: Số lượng dân số cụm thấp, trình độ văn hóa tập trung vào lớp 12 Cụm 6: Gồm dân tộc Tà Ôi, Ê đê, Khơ me, Pu Péo: Số lượng dân số cụm thấp, trình độ văn hóa tập trung vào lớp 5, lớp 7, lớp 12 Cụm 7: Phù Lá, Cơ Lao: Số lượng dân số cụm thấp, trình độ văn hóa tập trung vào lớp 5, lớp 9, lớp 12; tỷ lệ người biết chữ cụm 70% Cụm 8: Gồm dân tộc Sán Dìu, Ngái, Ba Na: Số lượng dân số cụm thấp, trình độ văn hóa tập trung vào lớp 5, lớp 9, lớp 12 Cụm 9: Gồm dân tộc Thổ: Số lượng dân số thấp nhiên tỷ lệ người biết chữ cao 90%; trình độ văn hóa lớp lớp 12 cao 61 Nhận xét: qua phân tích cụm cho thấy phân cụm trình độ văn hóa nữ dân tộc số dân số tập trung vào cụm cụm cụm cụm lại dân số nhỏ việc đánh giá cụm tập trung vào đánh giá cụm cụm 4, cụm trình độ văn hóa lớp 12 dân tộc cụm cao dân tộc cụm 3; tỷ lệ người biết chữ cụm cao cụm * Phân tích, đánh giá đồ thành phần trình độ văn hóa lớp: Từ đồ thành phần trình độ văn hóa lớp ta nhận thấy: + Bản đồ từ lớp đến lớp ta thấy vùng màu xanh nhạt đến vùng màu đỏ mở rộng dần cho thấy tỷ lệ trình độ học vấn dân tộc nữ tăng dần tỷ lệ cao lớp + Bản đồ từ lớp đến lớp 9: tương tự tỷ lệ trình độ học vấn các dân tộc nữ cao lớp + Bản đồ từ lớp 10 đến lớp 12: tương tự tỷ lệ trình độ học vấn các dân tộc nữ cao lớp 12 62 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận: Mạng nơron lĩnh vực nghiên cứu tương đối rộng đòi hỏi nhiều công sức lỗ lực trình nghiên cứu Bên cạnh việc cài đặt ứng dụng mạng nơron gặp nhiều khó khăn độ phức tạp tương đối cao giải thuật Vì lí luận văn hướng tới mạng nơron dùng để phân cụm liệu mạng SOM để nghiên cứu phát triển Những kết mà luận văn thực hiện: + Về lý thuyết, luận văn tập trung tìm hiểu mạng nơron cụ thể mạng Kohonen-SOM để phân cụm liệu + Về thực tiễn, luận văn đưa kết cài đặt thử nghiệm liệu bao gồm kết phân cụm trình độ học vấn dân tộc tỉnh Yên Bái Qua trình nghiên cứu thực đề tài luận văn, có số kết luận sau: - Mô hình mạng Kohonen (hay gọi SOM) thực công cụ hữu ích việc thực toán khảo sát, đánh giá, thống kê thông qua kỹ thuật phân cụm phương pháp trực quan mạng U-Matrix mà thực tế luận văn đưa kết cài đặt thử nghiệm tập liệu để phân cụm liệu trình độ học vấn dân tộc tỉnh Yên Bái để từ đưa nhận xét, đánh giá cần thiết nhằm nâng trình độ học vấn dân tộc tỉnh Yên Bái - Mỗi giải thuật phân cụm áp dụng số mục tiêu kiểu liệu định - Khai phá liệu hiệu bước tiền xử lý, lựa chọn thuộc tính, mô hình giải tốt - Việc thu thập liệu xác, thuật toán cài đặt phương pháp tính toán độ tương đồng đối tượng yếu tố định đến độ xác cho kết tốc độ phân cụm mạng 63 - Mạng Kohonen phương pháp khai phá liệu mạnh nhiên để đạt kết khai phá tốt, hoàn chỉnh cần kết hợp với phương pháp khai phá liệu khác cần có ý kiến chuyên gia lĩnh vực giáo dục để đưa kết luận xác nhằm nâng cao chất lượng giáo dục Hướng phát triển Qua kết luận văn đạt thời gian tới thu thập tổng hợp liệu trình độ văn hóa từ lớp đến lớp 12 dân tộc tỉnh Yên Bái theo độ tuổi (từ đến 60 tuổi), sau thực phân cụm liệu để đưa đánh giá trình độ học vấn độ tuổi dân tộc, phục vụ cho công tác phổ cập giáo dục tiểu học độ tuổi, phổ cập giáo dục trung học sở tiến tới phổ cập giáo dục trung học 64 Tài liệu tham khảo Tài liệu tiếng Việt [1] Lê Bá Dũng, Bài giảng mạng Nơron ứng dụng lớp Cao học Thái Nguyên, 2006 đến [2] Nguyễn Trung Sơn, khoa công nghệ thông tin đại học Thái Nguyên (luận văn thạc sĩ khoa học), Phương pháp phân cụm ứng dụng, 2009 [3] Lê Anh Tú, Nghiên cứu mô hình mạng nơron Kohonen ứng dụng toán phân cụm liệu, http://qlkh.tnu.edu.vn/theme/details/1464/nghiencuu-mo-hinh-mang-noron-kohonen-va-ung-dung-trong-bai-toan-phan-cum-du-lieu Tài liệu tiếng Anh [4] S Nascimento, B Mirkin and F Moura-Pires, “A Fuzzy Clustering Model of Data and Fuzzy c-Means”, 2000 [5] A.K Jain, R.C Dubes, “Algorithms for clustering data”, Ptentice Hall, Englewood Cliffs, NJ, 1988 [6] W.Pedrycz, “Algorithms of fuzzy clustering with partial supervision”, Pattern Recognition, vol 23, pp.121-146, 1990 [7] Kohonen T., Hynninen J., Kangas J., Laaksonen J SOM_PAK: The SelfOrganizing Map Program Package, Technical Report A31, Helsinki University of Technology, 1996 [8] Vesanto J., Alhoniemi E., Himberg J., Kiviluoto K., Parviainen J SelfOrganizing Map for Data Mining in MATLAB: the SOM Toolbox Simulation News Europe 1999; 25:54 [9] Teuvo Kohonen(2001), Self-Organizing Maps, Third Edition, Springer, Heidelberg [...]... và bước 3 cho đến khi đạt được kết quả 2.3 Thuật toán phân cụm bằng mạng Kohonen 2.3.1 Cấu trúc của mạng nơron Kohonen Mạng nơron Kohonen chỉ bao gồm một lớp dữ liệu đầu vào và một lớp dữ liệu đầu ra của các nơron và nó không chứa lớp ẩn 27 Lớp dữ liệu đầu vào đối với mạng nơron Kohonen là các nơron đầu vào Các nơron đầu vào này tạo thành mẫu dữ liệu đầu vào của mạng Đối với mạng nơron Kohonen, ta... vào và dự đoán các kết quả tiếp theo Các nơron 8 của mạng thông qua quá trình luyện cạnh tranh để nhận ra một nhóm các đối tượng đầu vào tương đương nhau Mục đích chính của việc luyện trong mạng nơron Kohonen là nhận dạng một nhóm các vector đầu vào cùng loại Việc thi hành mạng nơron Kohonen có thể được thay thế bởi một thuật toán tương ứng mà dễ dàng thi hành, và luôn luôn được sử dụng trong các ứng. .. trên độ đo khoảng cách của các đối tượng dữ liệu đến phần tử là trung tâm của cụm chứa nó Hình 2.2 Các thiết lập để xác định ranh giới các cụm ban đầu Thuật toán k-means lấy tham số đầu vào là k và phân chia một tập n đối tượng vào trong k cụm để cho kết quả độ tương đồng trong cụm là cao trong khi độ tương đồng ngoài cụm là thấp Độ tương đồng cụm được đo khi đánh giá giá trị 20 trung bình của các đối... xạ tự tổ chức của Kohonen còn được biết đến là một trong những mô hình khá đơn giản của mạng nơron, và người ta thường gọi đó là mạng nơron Kohonen Mạng nơron Kohonen (hay nơron tự tổ chức) mô hình hóa cách hoạt động bộ não của con người, mặc dù nó khá đơn giản Chúng ta có thể nhận được một số ý tưởng cách bộ não lưu trữ hình ảnh và cách nó nhận dạng các hình ảnh Cách xử lý thông tin các mạng nơron khác... liệu đầu vào chuẩn hóa trong khoảng giữa -1 và 1 Khi thực thi mẫu dữ liệu đầu vào, mạng sẽ tạo ra các nơron đầu ra Lớp đầu ra của mạng nơron Kohonen rất khác với lớp đầu ra của mạng nơron truyền thẳng Đối với mạng truyền thẳng, nếu chúng ta có một mạng nơron với 5 nơron đầu ra, chúng sẽ có thể cho kết quả bao gồm 5 giá trị Còn trong mạng nơron Kohonen chỉ có một nơron đầu ra cho ra một giá trị Giá trị... đến giá trị và dấu hiệu của thông tin đầu vào, chưa quan tâm khai thác các mối liên hệ có tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu, hay toàn thể không gian Nhưng trong mạng nơron Kohonen đã quan tâm đến các yếu tố này Tự tổ chức trong mạng nơron là một trong những chủ đề cuốn hút trong mạng nơron Một mạng nơron như vậy có thể được luyện để tìm ra các quy luật và các tương quan, các giá. .. xử lí các cụm có hình dạng kỳ quặc hoặc các cụm có mật độ các điểm dầy đặc Các thuật toán phân hoạch dữ liệu có độ phức tạp rất lớn khi xác định nghiệm tối ưu toàn cục cho vấn đề phân cụm dữ liệu, do nó phải tìm kiếm tất cả các cách phân hoạch có thể được Chính vì vậy, trên thực tế thường đi tìm giải pháp tối ưu cục bộ cho vấn đề này bằng cách sử dụng một hàm tiêu chuẩn để đánh giá chất lượng của cụm... được biểu diễn như sau: 7 Hình 1.4 Đồ thị các dạng hàm truyền 1.2 Mạng Nơron Kohonen và bài toán phân cụm dữ liệu 1.2.1 Giới thiệu mạng Kohonen (SOM - Self Organizing Maps) Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen giống với mạng nơron sinh học hơn cả về cấu tạo lẫn cơ chế học Mạng nơron nhân tạo này lần đầu tiên được giới thiệu bởi Kohonen vào năm 1982, nó được biết đến như là ánh... khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng - Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó - Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm truyền - Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi nơron... liệu đầu ra từ mạng Kohonen Thông thường, các nơron thắng này tương ứng với các nhóm trong dữ liệu đưa vào mạng Kohonen Mạng Kohonen được huấn luyện trong một chế độ không có giám sát Sử dụng mạng Kohonen này, dữ liệu có thể được phân loại thành từng cụm 1.2.2 Bài toán phân cụm dữ liệu 1.2.2.1 Khái niệm Phân cụm dữ liệu là một kỹ thuật trong Data mining nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu ... giúp cho ngành giáo dục đào tạo thấy toàn cảnh trình độ học vấn dân tộc vùng miền tỉnh, qua có đánh giá xác trình độ học vấn dân tộc, khu vực tỉnh để từ đưa định hướng phát triển giáo dục dân tộc. .. dựa tập liệu trình độ học vấn phổ thông dân tộc tỉnh Yên Bái hướng mới, có nhiều hứa hẹn Qua phân tích cho thấy phân cụm dựa tập liệu trình độ học vấn phổ thông dân tộc tỉnh Yên Bái Điều có ý... nữ dân tộc 56 Bảng 3.1 Trình độ học vấn dân tộc 38 Bảng 3.2 Trình độ học vấn nữ dân tộc 40 MỞ ĐẦU Mạng nơron nhân tạo nói chung, mạng KOHONEN nói riêng nghiên cứu, ứng dụng