CHƯƠNG 2: KOHONEN-SOM VÀ PHÂN CỤM DỮ LIỆU
2.6. SOM –Giải quyết những vấn đề tồn tại khi phân cụm
2.6.1. Giải pháp phân cụm tự nhiên trong quá trình học
Những vấn đề đặt ra trong quá trình phân cụm dữ liệu đòi hỏi phải có những phương pháp giải quyết đưa giải thuật về mức thi hành được và tạo ra một hiệu quả thực sự cho quá trình phân cụm dữ liệu. Trước tiên là vấn đề phân nhóm cho các nơron trong mạng SOM đã được huấn luyện. Vấn đề này mang tính quyết định cho các bước tiếp sau đó của giải thuật vì nếu không phân cụm được các nơron thì mục tiêu phân nhóm dữ sẽ thất bại.
Giải pháp:
Qua quá trình khi nghiên cứu các phương pháp phân chia nhóm trên các mạng SOM đã được huấn luyện có thể chỉ ra một số đặc điểm của mạng SOM sau khi huấn luyện như sau:
Các nơron trong lớp Kohonen biến đổi liên tục và ranh giới giữa các cụm biến thiên liên tục. Vì vậy mà giữa các nhóm hình thành những ranh giới không rõ ràng rất khó khăn cho quá trình phân nhóm các nơron.
Việc xác định đâu là một nhóm mới và ranh giới giữa 2 nhóm không có một chuẩn nào cả dẫn đến tình trạng hỗn tạp giữa các nhóm.
46
Không thể xác định đâu là trung tâm một nhóm hay đặc trưng riêng có của nhóm đấy khi chưa phân cụm.
Vì những nguyên nhân trên mà một giải pháp phân cụm các nhóm là điều vô cùng khó khăn mà nguyên nhân trực tiếp là ranh giới giữa các nhóm là rất mờ nhạt. Vì vậy đòi hỏi một giải pháp mới.
Sau khi nghiên cứu tiến hành cài đặt huấn luyện mạng SOM có thể thấy trong quá trình huấn luyện mạng về bản chất chính là quá trình hình thành lên các nhóm. Chính vì vậy một phương pháp phân chia nhóm ngay từ trong quá trình huấn luyện là một giải pháp hợp lý. Vậy phương pháp nào sẽ được đề ra giải quyết vấn đề này?
Phương pháp
Mạng được hình thành và huấn luyện từ những Nơron chiến thắng và các nhóm sẽ được phân chia trong quá trình này. Như vậy các nhóm sẽ được hình thành và mang đặc điểm của các nơron chiến thắng.
Dựa vào tính chất này ta có thể phân chia các nhóm theo một giải thuật được đề ra theo 3 nguyên tắc cơ bản đối với những nơron bị tác động bởi nơron chiến thắng tại một bước trong quá trình huấn luyện như sau:
1.Với các nơron bị tắc động khi chúng chưa thuộc một nhóm nào sẽ hình thành một nhóm mới mang đặc tính của nơron chiến thắng.
2.Với những nơron bị tắc động đã thuộc một nhóm nhất định khi nhóm đó không đồng nhất với nơron chiến thắng sẽ xảy ra quá trình tranh chấp nơron giữa các nhóm.
3.Với những độ phân ly quá lớn giữa nơron chiến thắng và nhóm cũ vượt qua một ngưỡng nào đó sẽ xảy ra quá trình sinh một nhóm mới.
Như vậy phương pháp đề ra thực chất chính là quá trình hình thành nhóm, phân li nhóm và tranh chấp nơron giữa các nhóm. Với một phát biểu tổng quát hơn ta có thể hình dung quá trình này một cách dễ hiểu hơn như sau:
Nguyên tắc hình thành và củng cố nhóm
Khi một nơron chiến thắng được xác định nếu nó không thuộc một nhóm nào sẽ hình thành một nhóm mới và thực hiên quá trình tranh chấp nơron cho nhóm đó. Nếu nó thuộc một nhóm đã tồn tại sẽ có sự phân ly hoặc củng cố nhóm.
47 Nguyên tắc phân li nhóm
Khi một nơron chiến thắng xác định thỏa điều kiện phân li (khoảng cách của nơron chiến thắng với đặc trưng nhóm là quá lớn vượt quá ngưỡng phân ly) sẽ hình thành một nhóm mới mang đặc tính nơron này và tranh chấp nơron với nhóm cũ.
Nguyên tắc củng cố nhóm
Khi một nơron chiến thắng không thỏa điều kiện phân ly sẽ củng cố đặc trưng nhóm theo nơron đó. Đồng thời tranh chấp nơron với các nhóm gần đó theo nguyên tắc tranh chấp.
Nguyên tắc tranh chấp Nơron giữa các nhóm
Khi một nơron nằm trong vùng giao giữa các nhóm và xảy ra quá trình tranh chấp nơron giữa các nhóm. Khi đó sẽ tính khoảng cách từ nowrron đó tới các nhóm theo đặc trưng nhóm. Khoảng cách nào ngắn nhất nơron sẽ thuộc về nhóm đó.
Hình 2.8(a): Huấn luyện ngẫu nhiêu,thuật toán chưa phân ly
Hình 2.8(b) Huấn luyện với ảnh định sẵn, thuật toán chưa phân ly.
48 Hình 2.8(c): Huấn luyện ngẫu nhiên, thuật toán có phân ly