Tóm tắt Luận án Tiến sĩ Toán học: Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

Luận án Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức thực hiện nghiên cứu nhằm hướng đến các mục tiêu: đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM; cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm dữ liệu. Mời các bạn cùng tham khảo.

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Lê Anh Tú PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG NƠRON TỰ TỔ CHỨC Chuyên ngành: Cơ sở toán học cho tin học Mã số: 62 46 01 10 TĨM TẮT LUẬN ÁN TIẾN SĨ TỐN HỌC Hà Nội - 2016 Cơng trình hồn thành tại: Học viện Khoa học Công nghệ - Viện Hàn lâm Khoa học Công nghệ Việt Nam Người hướng dẫn khoa học: PGS.TS NGUYỄN QUANG HOAN Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng chấm luận án cấp Học viện họp tại: Vào hồi ngày tháng năm Có thể tìm hiểu luận án thư viện: MỞ ĐẦU Mạng nơron đồ tự tổ chức (SOM - Self Organizing Map) đề xuất giáo sư Teuvo Kohonen vào năm 1980 Nó cịn biết đến với tên gọi khác là: Bản đồ đặc trưng tự tổ chức (SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ chức, hay đơn giản mạng nơron Kohonen Điểm mạnh SOM khả khai thác mối liên hệ có tính cấu trúc không gian liệu thông qua đồ đặc trưng, nên phát triển để giải nhiều toán thực tiễn Tuy nhiên, thân mạng nơron SOM tồn nhiều nhược điểm dẫn tới khó khăn khả ứng dụng thực tiễn bị hạn chế Do vậy, nghiên cứu cải tiến cấu trúc thuật toán học mạng nơron SOM nhiều nhà nghiên cứu quan tâm Các nghiên cứu cải tiến mạng nơron SOM chia làm hai hướng chính, gồm: cải tiến cấu trúc cải tiến thuật toán học mạng Các nghiên cứu cải tiến cấu trúc mạng chia làm hai nhóm: Nhóm thứ gồm cấu trúc cải tiến tăng trưởng theo chiều ngang Các cấu trúc có đặc điểm chung ban đầu mạng có kích thước nhỏ, sau mở rộng trình huấn luyện tùy thuộc vào đặc tính tập liệu huấn luyện Nhóm thứ hai gồm cấu trúc cải tiến tăng trưởng theo chiều dọc, gọi cấu trúc (với nút nơron) cấu trúc phân tầng (với nút mạng nơron SOM biến thể SOM) Các cấu trúc cố định trước kích thước, tăng trưởng kích thước q trình huấn luyện, đó, cịn gọi cấu trúc tăng trưởng Các cấu trúc đưa chủ yếu nhằm mục đích biểu diễn tính chất phân cấp liệu Các cải tiến thuật toán học mạng chia làm hai nhóm chính: thuật toán học cải tiến sử dụng phương pháp học khơng giám sát thuật tốn học cải tiến sử dụng phương pháp học giám sát bán giám sát Nhóm thứ hai hình thành biến thể với tên gọi chung mạng nơron SOM giám sát bán giám sát Trên sở nghiên cứu mạng nơron SOM gốc biến thể SOM cấu trúc phương pháp học, có số vấn đề tồn cần tiếp tục nghiên cứu phát triển sau: Thứ nhất, đề xuất phương thức cải thiện chất lượng đồ đặc trưng khác so với phương thức có trước đây; nghiên cứu cải thiện chất lượng biểu diễn liệu mạng nơron SOM cải tiến Đây hướng nghiên cứu mở nghiên cứu cải thiện chất lượng mạng nơron SOM cải tiến chưa có nhiều Thứ hai, SOM gốc hầu hết biến thể SOM chủ yếu thiết kế cho mục tiêu biểu diễn liệu (biểu diễn phân bố phân cấp liệu) nên ứng dụng SOM cho mục đích khác cần nghiên cứu phương án cải tiến phù hợp Ví dụ, mạng nơron SOM chưa có phương án phân loại liệu xác, khả ứng dụng SOM để giải vấn đề khai phá liệu (ví dụ phân lớp phân cụm) hạn chế Thứ ba: sử dụng phương pháp học khơng giám sát nên q trình học SOM thiếu thông tin hướng dẫn để nâng cao hiệu ứng dụng số tốn thực tế, ví dụ toán phân lớp liệu Các tồn lý lựa chọn đưa mục tiêu nghiên cứu đề tài luận án Mục tiêu nghiên cứu đề tài luận án gồm: Đề xuất số giải pháp cải thiện chất lượng đồ đặc trưng mạng nơron SOM Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho toán phân lớp, phân cụm liệu Các nội dung nghiên cứu thực nghiệm phạm vi liệu dạng vector thuộc tính số thực; không áp dụng với loại liệu khác Chương trình thực nghiệm cài đặt ngơn ngữ lập trình C# tiến hành thực nghiệm tập liệu công bố sử dụng máy tính máy tính cá nhân (Chipset Core i5 - 1.7GHz, RAM 6GB) Nội dung luận án bao gồm chương Chương đầu trình bày nghiên cứu tổng quan nội dung đề tài Các chương cịn lại trình bày đóng góp luận án Nội dung chương tóm tắt sau: Chương trình bày nghiên cứu tổng quan mạng nơron nhân tạo, mạng nơron SOM; tập trung phân tích hạn chế biện pháp khắc phục hạn chế SOM sở nghiên cứu biến thể cải tiến từ SOM Chương trình bày nghiên cứu liên quan đến vấn đề đánh giá cải thiện chất lượng đồ đặc trưng mạng nơron SOM từ đưa hai đề xuất, gồm: Thứ nhất, đưa tham số điều chỉnh hàm lân cận đối xứng dạng mũ Tham số điều chỉnh xác định riêng cho tập liệu, cho phép giảm đồng thời lỗi lượng tử lỗi hình trạng mạng Thứ hai, đưa thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử mạng, cho phép giảm lỗi lượng tử đồ mà không quan tâm đến tham số cấu hình mạng, khơng gia tăng thêm tham số khác Nội dung đề xuất gồm định nghĩa, định lý, hệ thuật tốn Chương trình bày nghiên cứu liên quan đến cải tiến SOM giám sát bán giám sát nói chung áp dụng cho tốn phân lớp nói riêng, từ đề xuất cấu trúc SOM phân tầng tăng trưởng thuật toán học bán giám sát cho mục đích phân lớp liệu Mơ hình đề xuất hoạt động mơ hình phân lớp truyền thống (100% liệu huấn luyện có gán nhãn) mơ hình phân lớp bán giám sát Chương trình bày nghiên cứu liên quan đến việc cải tiến SOM áp dụng cho toán phân cụm liệu, từ đưa hai đề xuất cải tiến cấu trúc thuật toán học SOM, gồm: Thứ nhất, cải tiến thuật toán học SOM cho phép bước hình thành cụm hiệu chỉnh nơron thuộc cụm trình học mạng Thứ hai, đưa cấu trúc SOM mở rộng hai lớp thuật toán huấn luyện tương ứng cho mục đích phân cụm liệu Tiếp theo trình bày kết thực nghiệm phương thức đề xuất so sánh kết với số phương thức phân cụm khác CHƯƠNG 1: TỔNG QUAN VỀ CÁC MƠ HÌNH MẠNG NƠRON TỰ TỔ CHỨC 1.1 Tổng quan mạng nơron nhân tạo Mục cung cấp kiến thức tổng quan mạng nơron nhân tạo gồm: khái niệm, dạng kiến trúc bản, phương pháp học, xu hướng phát triển mạng nơron 1.2 Mạng nơron tự tổ chức b 1.2.1 Cấu trúc mạng nơron tự tổ chức Mạng nơron SOM có cấu trúc đơn lớp (Kohonen, 2001), gồm: tín hiệu vào lớp (được gọi lớp Kohonen), đó, tất đầu vào kết nối đầy đủ với nơron lớp Kohonen a 1.2.2 Thuật toán học mạng nơron tự tổ chức Thuật toán học mạng nơron tự tổ chức hay thuật toán SOM (Kohonen, 2001), gồm bước: Bước 1- Khởi tạo: Kích thước mạng (là kích thước lớp Kohonen), vector trọng số nơron: khởi tạo giá trị ngẫu nhiên, bán kính lân cận, tỉ lệ học khởi tạo Hình 1 Minh họa cấu trúc SOM với lớp Kohonen chiều Bước 2- Cạnh tranh: Với mẫu đầu vào x(t)Rn lần huấn luyện thứ t, tìm nơron khớp với mẫu x(t) Nơron c gọi nơron khớp (BMU) thỏa mãn công thức:  dist  x  t   wc  x t   wi i  (1.1) Bước 3- Hợp tác: Cơ sở cho hợp tác nơron phạm vi ảnh hưởng BMU hay cịn gọi bán kính lân cận BMU (ký hiệu Nc(t)) Nc(t) xác định theo công thức:  t N c  t   N exp      (1.2) đó: t lân huấn luyện (hay lần học); N bán kính lân cận khởi tạo; Nc  t  bán kính lân cận BMU lần học thứ t;   T số thời gian, với T tổng số lần học log  N  Bước 4- Thích nghi: Điều chỉnh trọng số BMU nơron bán kính lân cận BMU theo công thức: wi  t  1  wi t   L t  hci t  v  wi t  (1.3) đó: - hci(t) hàm nội suy theo khoảng cách (hay hàm lân cận), xác định theo công thức:  r r  c i  hci  t   exp    N c  t   - (1.4) với rc ri vị trí tương ứng nơron c nơron i lớp Kohonen L  t  tỉ lệ học lần lặp thứ t, với  L  t   ) L  t  hàm tuyến tính, hàm mũ Cơng thức (1.5) ví dụ hàm xác định tỉ lệ học t   L  t   L0    T  (1.5) đó: L0 tỉ lệ học khởi tạo (01, lỗi hình trạng TE khơng tin cậy phụ thuộc vào việc khởi trọng số nơron Do đó, việc điều chỉnh tham số p có tác động không đáng kể tới việc cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức Nhận xét: Tham số q có ý nghĩa tích cực việc cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức Tham số q lớn QE nhỏ, nhiên q đạt giá trị phù hợp TE nhỏ Do vậy, nghiên cứu sinh đề xuất cải tiến hàm lân cận với tham số điều chỉnh sau:  rc  ri   hci  t   exp   q Nc2 t     (2.3) 2.3 Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử 2.3.1 Đặt vấn đề Giả sử I tập liệu huấn luyện, sau huấn luyện ta có: I  I1 , I , , I s  (2.4) đó: Ii tập mẫu đại diện nơron thứ i, với i=1 s; s=ab tổng số nơron; ab kích thước lớp Kohonen Như vậy, tập Ii thực chất cụm liệu trong tập liệu đầu vào, theo k-means cụm liệu tốt hàm mục tiêu E tối thiểu: s E   x  centeri (2.5) i 1 xI i đó, centeri tâm cụm thứ i, xác định theo công thức: centeri  Ii x (2.6) xI i với, |.| số phần tử tập hợp Ta thấy, để tối thiểu hóa hàm mực tiêu E phải điều chỉnh phần tử tập Ii tâm cụm centeri Gọi Qi giá trị lỗi nơron thứ i, xác định tổng khoảng cách mẫu liệu thuộc cụm Ii vector trọng số wi, ta có: Qi   d  x, wi  (2.7) xI i đó: wi trọng số nơron i; d(x,wi) khoảng cách vector x vector wi, với: d  x, wi   x  wi (2.8) Về nguyên tắc, số lần huấn luyện mạng lớn chất lượng đồ đặc trưng cải thiện Tuy nhiên, tỉ lệ học mạng hàm giảm dần theo thời gian huấn luyện, nên tỉ lệ học L(t)0 tổng số lần huấn luyện T Tức là, việc tăng số lần huấn luyện mạng lớn làm tăng tổng thời gian tính tốn, cịn hiệu cải thiện chất lượng đồ đặc trưng không cao Nếu giả thiết L(t)0 (giả thiết T q trình huấn luyện kết thúc), ta có công thức (1.8) tương đương với: QE  hay: QE  N N s Q i i 1 s  i 1 xI i x  wi (2.9) (2.10) đó: N tổng số mẫu liệu Nhận thấy, cơng thức (2.10) có tương đồng với cơng thức (2.5) Do vậy, để giảm QE wi nên xem xét giống centeri Điều có nghĩa rằng, thay cố gắng tăng số lần huấn luyện mạng lên lớn để giảm QE ta nên điều chỉnh wi theo tâm cụm centeri Việc điều chỉnh cần thực trình huấn luyện mạng kết thúc Ta có bổ đề sau: Bổ đề Một đồ tự tổ chức có lỗi lượng tử nhỏ wi  centeri , đó: wi vector trọng số nơron thứ i; centeri tâm cụm tập Ii, với i=1 s Tập Ii bao gồm mẫu liệu đại diện nơron thứ i trình huấn luyện kết thúc [6A] Việc điều chỉnh wi trùng với centeri làm tăng độ xác liệu đại diện, dẫn tới hệ có số mẫu liệu cần phải chuyển đổi nơron đại diện cho nó, khớp với nơron khác (so với nơron mà thuộc về) Các mẫu liệu cần thay đổi nơron đại diện gọi “phần tử khác biệt” theo định nghĩa đây: Định nghĩa Một mẫu liệu x gọi “phần tử khác biệt” nơron i nơron j (với j  i) xIi d  x, w j   d  x, wi  [6A] Hình 2.4 minh họa x1 “phần tử khác biệt” nơron i nơron j, với x1  I i : d x1 , w j  d  x1 , wi  ; x2 “phần tử khác biệt” nơron i nơron k, với   x2  I i : d  x2 , wk   d  x2 , wi  ; x3Ii không “phần tử khác biệt” nơron i nơron g khơng thỏa mãn điều kiện d  x3 , wg   d  x3 , wi  Định lý Cho Ii Ij hai tập liệu đại diện tương ứng hai nơron i nơron j; mẫu liệu x “phần tử khác biệt” nơron i nơron j (với xIi, ij); QE lỗi lượng tử mạng Ta có, QE giảm Ii  I i \  x I j  I j   x [6A] Hệ Cho Ii, Ij Ik tập liệu đại diện tương ứng nơron i, j k; mẫu liệu x “phần tử khác biệt” nơron i đồng thời hai nơron j k (với xIi, i≠j, i≠k, j≠k) Giả sử, QE(*j ) lỗi lượng tử mạng Ii  I i \  x I j  I j   x ; QE(*k ) lỗi lượng tử mạng Hình Minh họa “phần tử khác biệt” nơron i 10 Ghi chú: Các kết bảng giá trị trung bình 10 lần thực nghiệm Kết tập liệu trình bày hai dịng: dịng thứ biểu diễn độ đo QE dòng thứ hai biểu diễn độ đo TE Dữ liệu in đậm kết tốt nhất, đó: TE nhỏ nhất, QE nhỏ so với trường hợp sử dụng hàm lân cận gốc (q=0.5) Trường hợp 2: Tham số q cố định, tham số p thay đổi Bảng 2.2 kết thực nghiệm cố định tham số q tương ứng với giá trị độ đo đạt tốt Bảng 2.1 thay đổi giá trị tham số p=1, 2, 3, 4, 5, Khi p=1, QE TE tăng cao Khi p2, TE có xu hướng ổn định tăng nhẹ p tăng Điều cho thấy tham số p có ý nghĩa không đáng kể việc cải thiện chất lượng hình trạng xác định tham số q phù hợp; QE có xu hướng tăng với đa số tập liệu tăng p (trừ tập liệu XOR, Compound Iris, QE có xu hướng giảm, TE lại có xu hướng tăng) Điều cho thấy, p=2 tốt số giá trị thử nghiệm p Bảng 2 Kết thực nghiệm thay đổi tham số p, cố định tham số q p 0.1754 0.1587 0.1546 0.1518 0.1525 0.1513 XOR (q=1) 0.0534 0.0203 0.0225 0.0244 0.0238 0.0255 2.7895 3.0003 3.2722 3.6436 3.6100 3.8718 Aggregation (q=4) 0.0850 0.0300 0.0277 0.0273 0.0316 0.0282 1.1858 1.2105 1.2306 1.3158 1.4010 1.4209 Flame (q=4) 0.1438 0.0405 0.0284 0.0304 0.0331 0.0330 2.5458 2.4759 2.7586 2.8462 2.9400 2.9928 Pathbased (q=4) 0.1300 0.0313 0.0363 0.0351 0.0349 0.0304 3.5976 3.4319 3.4334 3.4603 3.4926 3.5797 Spiral (q=2) 0.0690 0.0290 0.0265 0.0290 0.0261 0.0264 2.3664 2.3519 2.7136 2.9018 3.1494 3.3035 Jain (q=4) 0.0896 0.0263 0.0270 0.0306 0.0402 0.0403 4.2063 3.7575 3.6224 3.4969 3.5082 3.4913 Compound (q=1) 0.0666 0.0291 0.0337 0.0340 0.0373 0.0398 1.3161 1.4406 1.5544 1.6498 1.6972 1.7376 R15 (q=4) 0.1055 0.0294 0.0367 0.0390 0.0454 0.0548 2.3832 2.4769 2.8137 2.9886 3.0686 3.1960 D31 (q=4) 0.0803 0.0199 0.0227 0.0238 0.0259 0.0284 0.7140 0.6382 0.6166 0.6002 0.5880 0.5849 Iris (q=1) 0.0665 0.0518 0.0555 0.0560 0.0572 0.0598 2.3938 2.3715 2.4186 2.4310 2.4529 2.4627 Vowel (q=2) 0.0635 0.0410 0.0416 0.0414 0.0429 0.0455 1.1817 1.0912 1.1780 1.1954 1.2015 1.2131 Zoo (q=4) 0.0366 0.0104 0.0182 0.0188 0.0176 0.0180 Ghi chú: Các kết bảng giá trị trung bình 10 lần thực nghiệm Kết tập liệu trình bày hai dịng: dịng thứ biểu diễn độ đo QE dòng thứ hai biểu diễn độ đo TE Kết luận: Với tham số p=2 (giá trị mặc định), việc điều chỉnh tham số q có ảnh hưởng đáng kể tới chất lượng đồ Nếu q lớn lỗi lượng tử nhỏ, nhiên q phù giá trị lỗi hình trạng đạt giá trị nhỏ Ngược lại, xác định giá trị phù hợp tham số q, tham số p có ảnh hưởng không đáng kể tới việc cải thiện chất lượng đồ 11 Bảng 2.3 so sánh độ đo QE, TE đạt sử dụng hàm lân cận với tham số điều chỉnh (p=2 q xác định riêng cho tập liệu Bảng 2.2) số dạng hàm lân cận khác Bảng So sánh độ đo QE, TE số dạng hàm lân cận hci(t) với tham Hàm Hàm lân cận Tập liệu hci(t) gốc số điều chỉnh “nổi bọt” bất đối xứng 0.1890 0.1585 0.2572 0.1808 XOR 0.0318 0.0223 0.2708 0.4635 5.9702 2.9340 7.3092 4.9466 Aggregation 0.0549 0.0245 0.1794 0.4476 2.1839 1.1822 2.6352 2.1916 Flame 0.0700 0.0393 0.1642 0.6828 4.5859 2.4779 5.524 5.3888 Pathbased 0.0561 0.0315 0.1981 0.2715 4.7595 3.4675 5.6515 4.3775 Spiral 0.0543 0.0284 0.1502 0.6306 5.2745 2.3559 6.3026 5.4962 Jain 0.0513 0.0269 0.2024 0.3172 4.4205 3.7595 5.5663 3.5529 Compound 0.0624 0.0299 0.2199 0.4349 2.2226 1.4606 2.5017 1.8911 R15 0.0722 0.0274 0.1384 0.6337 4.7676 2.4569 5.6095 5.958 D31 0.0479 0.0207 0.2054 0.3506 0.7709 0.6430 1.001 0.9284 Iris 0.0739 0.0548 0.2312 0.2610 2.7459 2.3755 3.1022 2.8808 Vowel 0.0537 0.0412 0.1872 0.3965 1.5841 1.0912 1.7182 1.7179 Zoo 0.0343 0.0104 0.2182 0.2210 Ghi chú: Các kết bảng giá trị trung bình 10 lần thực nghiệm Kết tập liệu trình bày hai dòng: dòng thứ biểu diễn độ đo QE dòng thứ hai biểu diễn độ đo TE 2.6 Thực nghiệm thuật toán Batch-IMQS Bảng 2.4 cho thấy Batch-IMQS cải thiện đáng kể QE đồ đặc trưng mà không quan tâm đến tham số cấu hình mạng, khơng gia tăng thêm tham số khác Tuy nhiên, lỗi TE tăng tỉ lệ nghịch với QE Bảng Kết thực nghiệm thuật toán Batch-IMQS 55 1010 1515 Tập liệu BatchBatchBatchSOM SOM SOM IMQS IMQS IMQS 0.1938 0.0716 0.1344 0.040 0.115 0.0293 XOR 0.0735 0.1270 0.1801 6.5617 1.8581 4.0004 1.1341 3.7515 0.9058 Aggregation 0.0774 0.0952 0.0114 0.2513 2.2242 0.8802 1.8174 0.4820 1.4581 0.3800 Flame 0.0292 0.2333 0.0083 0.3125 4.7585 1.6497 3.6075 0.8606 3.1839 0.5932 Pathbased 0.0133 0.1667 0.0067 0.24 0.0133 0.3067 12 Spiral Jain Compound R15 D31 Iris Vowel Zoo 4.9053 5.2967 4.4481 2.2694 5.1947 0.7622 0.0200 2.6522 0.003 1.6328 1.8792 0.1667 1.6913 0.0483 1.4561 0.0526 0.9755 0.0033 1.2570 0.1639 0.3926 0.1867 1.5399 0.1222 0.9977 0.099 3.6889 3.7646 0.0054 3.0018 0.0050 1.8055 3.3776 0.5526 0.0133 2.2776 0.0172 1.3044 0.8728 0.3397 1.0424 0.1609 0.8799 0.2030 0.8900 0.0183 0.7306 0.0816 0.2398 0.2400 1.1500 0.4212 0.7192 0.1188 3.2971 0.0032 3.1354 0.0107 2.5214 0.015 1.5845 2.9099 0.001 0.4995 0.0133 2.1422 0.0121 1.2268 0.6095 0.3429 0.7534 0.1796 0.694 0.1955 0.5435 0.0117 0.6021 0.2094 0.1793 0.3067 0.9997 0.4485 0.6645 0.2574 Ghi chú: Các giá trị đạt có sai số 0.02 lần thực nghiệm khác Kết tập liệu trình bày hai dịng Dịng thứ biểu diễn độ đo QE dòng thứ hai biểu diễn độ đo TE 2.7 Kết luận chương Chương trình bày hai đề xuất để cải thiện chất lượng đồ đặc trưng mạng nơron tự tổ chức Đề xuất thứ nhất, bổ sung tham số điều chỉnh cho hàm lân cận đối xứng Gaussian Kết giảm đồng thời lỗi lượng tử lỗi hình trạng mạng Tuy nhiên, giá trị tham số điều chỉnh phải xác định riêng tập liệu cụ thể Đề xuất thứ hai, đưa thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử mạng Thuật tốn giảm lỗi lượng tử mạng mà không quan tâm đến tham số cấu hình, khơng gia tăng thêm tham số khác Tuy nhiên, nhược điểm lỗi hình trạng tăng tỉ lệ nghịch với lỗi lượng tử CHƯƠNG 3: MỘT MẠNG NƠRON TỰ TỔ CHỨC CĨ CẤU TRÚC PHÂN TẦNG TĂNG TRƯỞNG VÀ THUẬT TỐN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU 3.1 Tổng quan mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho phân lớp liệu 3.2 Phát biểu toán phân lớp liệu 3.3 Một cấu trúc phân tầng tăng trưởng thuật toán học bán giám sát mạng nơron tự tổ chức cho toán phân lớp liệu Mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho toán phân lớp liệu, gọi GHSSOM (Growing Hierarchical Semi-Supervised SOM) [4A], [5A], [8A] Cấu trúc GHSSOM lai ghép từ cấu trúc GHSOM (Growing Hierarchical SOM) (Rauber, 2002), HTS (Hierarchical Tree Structure) [2A] cấu trúc giả giám sát CPN (Zupan, 1997) 13 3.3.1 Các cấu trúc tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu 3.3.2 Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp liệu Mỗi nút GHSSOM mạng SOM mở rộng, gồm có hai lớp tương tự mạng CPN Lớp thứ gọi Xmap (hay lớp Kohonen) Xmap đồ tự tổ chức biểu diễn đặc trưng mẫu đầu vào huấn luyện thuật toán SOM gốc Lớp thứ hai gọi Ymap Ymap đồ phân bố đầu (nhãn) liệu Ymap có kích thước Xmap Tuy nhiên, đơn vị Ymap không cập nhật đồng thời Xmap giống mạng CPN, mà cập nhật sau Xmap huấn luyện xong Việc cập nhật nhãn cho Ymap thực theo hai bước: Bước Cập nhật nhãn: duyệt tất mẫu liệu gán nhãn (x, y) thuộc tập liệu huấn luyện, với x mẫu đầu vào y giá trị nhãn (đầu tương ứng x), với y>0 Quy ước y=0 cho biết mẫu đầu vào x chưa gán nhãn (trong trường hợp học bán giám sát, tập liệu huấn luyện tồn mẫu liệu chưa có nhãn) - Ymap y 2 1 1 Xmap -1 2 x Ymap Ymap -1 Xmap Xmap Hình Minh họa cấu trúc mạng GHSSOM Xác định nơron chiến thắng (BMU) x Xmap Giả sử nơron thứ i Xmap xác định nơron chiến thắng Kết nạp mẫu liệu (x, y) vào tập liệu đại diện nơron thứ i Cập nhật nhãn y cho Ymap theo nguyên tắc: Nếu nơron thứ i chưa gán nhãn gán nhãn y (với y>0) Ngược lại, nơron thứ i gán nhãn, giá trị nhãn khác y gán cho nơron i nhãn đặc biệt e=-1 (e nhãn lỗi dùng để đánh dấu vị trí nơron phân lớp sai nhãn lỗi khơng có tập liệu) Bước Lan truyền nhãn: với đơn vị thứ i thuộc Ymap chưa xác định nhãn (giá trị nhãn 0), thực hiện: - Tìm Xmap nơron thứ j có vị trí tương ứng Ymap gán nhãn (là nhãn có tập liệu nhãn lỗi e) thỏa mãn: ij trọng số nơron thứ i khớp với trọng số nơron thứ j Gán nhãn nơron thứ i nhãn nơron thứ j: Ymap[i]= Ymap[j] Gán tập liệu đại diện nơron thứ i tập liệu đại diện nơron thứ j Cách thức cập nhật nhãn Ymap cho phép GHSSOM giải toán phân lớp mà tập liệu huấn luyện đầy đủ nhãn (phân lớp truyền thống) có số lượng định mẫu liệu có nhãn (phân lớp bán giám sát) Khi bắt đầu, GHSSOM khởi tạo với nút gốc có kích thước ab Xmap nút gốc huấn luyện tất mẫu liệu tập huấn luyện (ký hiệu I) Sau xác định nhãn cho Ymap nút gốc nơron thứ i Xmap đại diện cho tập liệu Ii  I, (với i=1 s, s=ab) 14 Nguyên tắc tăng trưởng GHSSOM: Giả sử m nút GHSSOM; k nơron thuộc nút m có giá trị nhãn e; subnet nút tăng trưởng từ nơron k; Iparent tập liệu huấn luyện nút m, I child  I parent tập liệu huấn luyện nút subnet (tập liệu đại diện nơron k) Xét theo hai trường hợp sau: Trường hợp 1: |Ichild|  |Iparent| phát sinh nút subnet liên kết với nơron k Kích thước nút subnet xác định theo cơng thức: nchild   | I   | child   ceil   n    | I parent |  parent     (3.1) đó: nchild kích thước nút con; nparent kích thước nút cha;  tham số điều chỉnh mức độ giảm kích thước nút so với nút cha; ceil(): hàm làm tròn lên; |.| số phần tử tập hợp Trường hợp 2: |Ichild|=|Iparent| điều chỉnh lại nút xét m Xét điều kiện sau: qek    QE0 (3.2) đó:  tham số xác định ngưỡng tăng trưởng, có vai trị quan trọng, đảm bảo cho mạng khơng rơi vào trạng thái “quá khớp” với liệu huấn luyện (overfitting1), với 0