3. Đối tượng và phạm vi nghiên cứu
2.5. Mạng LVQ (Learning Vector Quantization)
2.5.1. Kiến trúc mạng
Mạng cuối cùng được giới thiệu trong phần này là mạng lượng tử hoá véc tơ với kiến trúc được chỉ ra trong Hình 2.16. Mạng LVQ là một mạng lai. Nó dùng huấn luyện có giám sát và không giám sát để tạo ra sự phân lớp.
Như mạng cạnh tranh, mỗi nơ-ron trong tầng 1 của mạng LVQ học một véc tơ mẫu gốc cho phép nó phân lớp các vùng không gian vào. Tuy nhiên thay vì tính gần đúng đầu vào các véc tơ trọng số sử dụng tích trong. Chúng ta sẽ mô phỏng mạng LVQ bằng cách tính khoảng cách trực tiếp. Một thuận lợi của việc tính khoảng cách trực tiếp là các véc tơ không cần chuẩn hóa. Khi gặp véc tơ được chuẩn hóa đáp ứng của mạng sẽ như nhau khi tích trong được dùng hoặc khoảng cách được tính trực tiếp.
Hình 2.16. Mạng LVQ
Đầu vào mạng của tầng thứ nhất của mạng LVQ là: in1= -||iW1- P||
‖1 1− ‖‖2 1− ‖ ‖2 1− ‖ Hoặc dạng véc tơ: 1 = . . . [‖ 1 1− ‖]
gần nhất với véc tơ đầu vào nhất sẽ có đầu ra bằng một và các nơ-ron khác có đầu ra bằng 0.
Trong mạng cạnh tranh, nơ-ron có đầu ra khác 0 chỉ ra lớp chứa véc tơ đầu vào tương ứng. Đối với mạng LVQ, nơ-ron thắng cuộc chỉ ra lớp con trong khi một lớp được tạo bởi một số lớp con.
Lớp thứ 2 của mạng LVQ được dùng để kết hợp các lớp con thành một lớp. Điều này đươc thực hiện với ma trận W2. Các cột của W2 biểu diển các lớp con và các hàng biểu diễn lớp. Trong mỗi cột chỉ có duy nhất một phần tử bằng 1 còn các phần tử khác có giá trị bằng 0. Hàng tương ứng có phần tử bằng 1 chỉ ra lớp tương ứng với lớp con.
(Wki2 = 1) => lớp con i là thành phần của lớp k.
Quá trình kết hợp lớp con tạo thành một lớp cho phép mạng LVQ tạo thành các biên lớp phức tạp. Tầng cạnh tranh chuẩn có giới hạn là chỉ có thể tạo ra các vùng vùng quyết định là vùng lồi. Mạng LVQ đã vượt qua giới hạn này.
2.5.2. Luật học cho mạng
Luật học trong mạng LVQ kết hợp luật hợp luật học cạnh tranh với học có giám sát do đó cũng đòi hỏi tập mẫu học {p1,t1},{p2,t2},{p3,t3},…{pQ,tQ}.
Mỗi véc tơ mục tiêu chỉ chứa duy nhất một phần tử bằng 1, còn các phần tử khác bằng 0. Hàng tương ứng có phần tử bằng 1 chỉ ra lớp chứa véc tơ đầu vào.
Trước khi luật học thực hiện mỗi nơ-ron trong tầng 2 được gán một nơ- ron đầu ra tạo nên ma trận trọng số liên kết W2. Điển hình mỗi nơ-ron đầu ra liên kết với một nơ-ron ẩn sao cho mỗi lớp có thể hình thành số miền lồi bằng nhau. Mỗi phần tử của W2 được đặt bằng 0 trừ nơ-ron ẩn thứ i được gán vào lớp k thì Wki2 = 1. Mỗi lần W2 được định nghĩa, nó sẽ không bao giờ thay đổi. Các trọng số W1 được huấn luyện theo biến thể của luật Kohonen.
Tóm lại luật học LVQ tiến hành như sau: Ở mỗi bước lặp véc tơ đầu vào p được đưa vào mạng và khoảng cách giữa p với các mẫu gốc được xác định.
Nếu nơ-ron thứ i* thắng cuộc thì phần tử thứ i* của véc tơ a1 được đặt là 1. Sau đó a1 được nhân với ma trận trọng số liên kết W2 để xác định đầu ra của lớp thứ 2 và a2 cũng chỉ có phần tử thứ k* # 0 chỉ ra rằng p nằm trong lớp k*.
Luật Kohonen được sử dụng để cải tiến lớp ẩn của mạng LVQ theo hai cách: + Nếu p được phân lớp chính xác thì véc tơ trọng số liên kết i*W1 của nơ- ron thắng cuộc dịch chuyển về phía p.
i*W1(q) = i*W1(q - 1) + α(p(q) - i*W1(q - 1)) nếu ak*2 = tk* = 1 + Nếu p không phân lớp chính xác thì nơ-ron ẩn thắng cuộc cũng không chính xác nên véc tơ trọng số liên kết i*W1 dịch chuyển ra xa p.
CHƯƠNG 3. THIẾT KẾ HỆ THỐNG NHẬN DẠNG CHỮ SỐ VIẾT TAY