Nhƣợc điểm của mạng Adaline là nó chỉ giải đƣợc các bài toán tách đƣợc tuyến tính (có đƣờng biên phân tách giữa các tập mẫu là đƣờng thẳng). Đƣờng biên tách các tập mẫu tìm đƣợc bởi mạng Adaline nằm chính giữa hai tập mẫu. Điều này hơn hẳn mạng Perceptron vì thuật toán huấn luyện mạng Perceptron dừng ngay khi đã phân loại đƣợc các vec tơ vào, mặc dù có một số vec tơ vào nằm ngay gần đƣờng biên. Thuật toán LMS tối thiểu hoá sai số bình phƣơng trung bình, do đó nó cố gắng đƣa biên quyết định ra xa tối đa các vec tơ mẫu.
Mạng Adaline khắc phục đƣợc nhƣợc điểm của mạng bộ nhớ kết hợp: tập huấn luyện có thể có kích thƣớc lớn, số ký tự nhận dạng đƣợc lớn. Việc huấn luyện là thích ứng (không cần có đủ tất cả các mẫu) và tối thiểu hoá sai số.
Mặc dù mạng Adaline chỉ giải đƣợc các bài toán tách đƣợc tuyến tính, nó vẫn là một trong những mạng đƣợc dùng rộng rãi nhất trong các ứng dụng thực
2.4. Mạng SOM
Mạng Self-Organizing Map (SOM) là một loại mạng nơ ron rất quan trọng. Nhiệm vụ chính của nó là biến đổi một tập dữ liệu từ không gian có kích thƣớc lớn sang không gian có kích thƣớc nhỏ một cách trung thành để bảo tồn các đặc tính quan trọng của dữ liệu, nhƣ mật độ xác suất, thành phần chủ yếu, phân bố không gian, hoặc quan hệ topo.
a. Kiến trúc
Hình 2.7. Mạng Self-Organizing Feature Map
Hình trên thể hiện một mạng có 25 nơ ron, vec tơ đầu vào có kích thƣớc 3. Các nơ ron cạnh tranh với nhau để tìm kẻ chiến thắng. Bản đồ đặc trƣng thể hiện mối quan hệ giữa các nơ ron. Nơ ron chiến thắng sẽ cập nhật trọng số của nó và của các nơ ron láng giềng với nó.
b. Hoạt động
Mạng SOM thuộc loại mạng Unsupervised Learning, đầu vào chỉ có vec tơ p, không có target t. Mạng thƣờng đƣợc sử dụng để phân cụm, tìm ra những
cấu hình sẵn có trong không gian đầu vào. Huấn luyện:
Khởi tạo ngẫu nhiên ma trận trọng số W
Trọng số của các nơ ron nằm trong bán kính láng giềng của nơ ron thắng đƣợc điều chỉnh theo luật Kohonen:
iw(q) = iw(q-1) + α (p (q) – iw(q-1) ) (i Є Ni* (d) )
= (1- α) iw(q-1) + α p(q) (2.4.1)
Trong đó các láng giềng Ni* (d) là chỉ số của các nơ ron nằm trong bán kính d của nơ ron thắng i*.
Ni* (d) = {j, dij ≤ d}
Công thức trên cho thấy, khi vec tơ p đƣợc đƣa vào, trọng số của nơ ron thắng và láng giềng của nó sẽ di chuyển về phía p. Kết quả là, sau nhiều lần đƣa p vào, các nơ ron láng giềng sẽ học đƣợc các vec tơ tƣơng tự nhau.
c. Ứng dụng
c1. Làm mảnh ký tự
Trong [10], các vec tơ đầu vào nằm trong không gian hai chiều thể hiện tọa độ (x, y) của điểm ảnh. Mỗi nơ ron cũng có hai trọng số wx và wy tƣơng ứng. Đầu tiên các trọng số đƣợc khởi gán các giá trị ngẫu nhiên. Sau khi mạng hội tụ, giá trị các trọng số của mạng thể hiện toạ độ điểm xƣơng của ảnh. Để minh hoạ việc tìm xƣơng của đoạn thẳng hay đƣờng cong nhƣ hình 2.9, ta có mạng 10 nơ ron sau:
Các vec tơ vào pi = [xi, yi]T thể hiện các điểm ảnh đen, trong đó xi là toạ độ cột, yi là toạ độ hàng.
Trọng số của nơ ron j: wj = [wx, wy].
Hình 2.9. (a) các điểm ảnh đầu vào và các nút ngẫu nhiên ban đầu (đen) (b) trong giai đoạn sắp xếp
(c) kết thúc sắp xếp/bắt đầu hội tụ (d) kết thúc giai đoạn hội tụ
(b) trong giai đoạn sắp xếp (c) kết thúc sắp xếp/bắt đầu hội tụ
(d) kết thúc giai đoạn hội tụ
c2. Tách ký tự dính
Trong [37], các ký tự dính đƣợc chia làm ba loại:
(1) Các ký tự dính đơn giản. Chúng chạm vào nhau, nhƣng các điểm đen của chúng không chồng lên nhau theo chiều dọc.
(2) Các ký tự dính giao nhau (intercross merging). Các điểm đen không chạm vào nhau nhƣng chồng lên nhau theo chiều dọc. Loại ký tự dính này không thể tách bằng một đƣờng thẳng dọc.
(3) Các ký tự dính phức tạp (complex merging). Chúng có các đặc điểm của cả hai loại kể trên.
Hình 2. 11. Đặc trƣng của các ký tự dính
Gọi Ω R2 là một vùng hình vuông chứa các ký tự dính. Ý tƣởng nhƣ sau:
Trƣớc tiên sắp xếp đều đặn 9 điểm trong Ω thành 3 cột. Sau đó sử dụng SOM để sắp xếp lại 9 điểm sao cho mỗi điểm đại diện cho một vùng của Ω và chúng càng cách xa nhau càng tốt. Cuối cùng chọn một số nơ ron trong cột giữa để sinh ra một đƣờng cắt các ký tự dính.
Hình 2.12. Cấu trúc của SOM: 2 nơ ron ở tầng vào và 9 nơ ron ở tầng ra
Hình 2.13. 9 nơ ron phân bố đều đặn trên các ký tự dính
+ Gọi các điểm ảnh của các cặp ký tự dính là không gian tín hiệu S (S Ω). + Gọi x là vec tơ đầu vào chứa 2 toạ độ của các điểm ảnh của S.
+ Gọi wi là vec tơ trọng số (i=1,2,…9), wi thay đổi trong khi huấn luyện nhƣng vẫn nằm trong Ω.
Thuật toán SOM cải tiến (M-SOM):
(t)) w (x(t) . t) i*, Λ(i*, . η(t) (t) Δwi* i* * i k (t), w . m (t) Δwk i*k i* Trong đó:
+ ∆wi*(t): thay đổi trọng số ở nơ ron i* ở thời điểm t. + η(t): tốc độ học, giảm theo thời gian t.
+ Λ(i*, i, t): hàm láng giềng giữa i* và i, thay đổi theo thời gian. + mi*k (0, 1) là hệ số ảnh hƣởng giữa nơ ron thắng i* và nơ ron k. Thuật toán này nhằm làm cho các cột nơ ron xấp xỉ song song nhau (tách rời khỏi nhau). Nhờ vậy mỗi nơ ron đại diện cho một vùng rộng hơn.
Hình 2.14. Qui tắc cập nhật trọng số của SOM cổ điển (x: input, : nơ ron)
Hình 2.15. Qui tắc cập nhật trọng số của SOM cải tiến (L: ảnh hƣởng của nơ ron i* lên nơ ron k)
Hình 2.16. (a) Kết quả của SOM cải tiến: các cột tách khỏi nhau (b) Kết quả của SOM cổ điển: các cột nơ ron bị lẫn vào nhau
c3. Nhận dạng
Mặc dù là loại mạng học không giám sát nhƣng mạng SOM cũng đƣợc dùng trực tiếp để nhận dạng. Kohonen đã đƣa ra một ví dụ sử dụng các vectơ đặc trƣng 5 chiều [2]. Tập huấn luyện gồm có 32 mẫu đƣợc gán nhãn từ “A” đến “Z” và từ “1” đến “6” (hình 2.17.a). Có 70 nơ ron trong một bản đồ hình chữ nhật. Các vec tơ vào đƣợc đƣa vào theo một thứ tự ngẫu nhiên từ xA đến xZ và từ x1 đến x6. Tốc độ học giảm dần từ 0.5 đến 0.04. Sau 10000 vòng huấn luyện, các trọng số ổn định. Lúc này ta lại đƣa các vectơ mẫu vào mạng một lần nữa để xác định các nơ ron tƣơng ứng với vec tơ mẫu. Ví dụ khi đƣa vec tơ xZ vào, nơ ron ở trên cùng bên phải sẽ thắng và đƣợc gán nhãn tƣơng ứng với ký tự “Z” (hình 2.17.b). Khi vec tơ xA đƣợc đƣa vào, nơ ron bên trái nhất của hàng thứ 2 đáp ứng và đƣợc gán nhãn tƣơng ứng với ký tự “A”. Tƣơng tự nhƣ vậy, các nơ ron khác sẽ đƣợc gán nhãn tƣơng ứng với ký tự mà nó đại diện trong một hình chữ nhật 7x10.
Hình 2.17. Nhận dạng bằng mạng bản đồ đặc trƣng (a) Danh sách các vectơ mẫu huấn luyện 5 chiều
Ngoài các ứng dụng trên, khi giải quyết vấn đề không chắc chắn khi phân lớp, mạng SOM còn đƣợc dùng để phát hiện ra các lớp “mới” mà không đƣợc xem xét trong quá trình huấn luyện [38].