D IV: Lă sự thay đổi trọng số liín kết từ nơ-ron j đến nơ-ron i.
h: Lă tốc độ học, nằm trong khoảng (0,1).
1.4.2. Cấu trúc của mạng nơron Kohonen
Thông thường, mạng потоп Kohonen gồm một lớp đầu văo vă một lớp đầu ra. Đầu tiín chúng ta xĩt về đầu văo vă đầu ra của mạng.
Câc nơron đầu văo chỉ đon giản cung cấp dữ liệu văo cho mạng chứ không có chức năng xử lý gì trín đấy. Đối với mạng nơron Kohonen yíu cầu đầu văo được chuẩn hóa có giâ trị trong phạm vi từ -1 đến +1.
Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron. Đối với mạng nơron truyền thẳng, nếu có năm nơron đầu văo thì một đầu ra bao gồm năm giâ trị. Còn mạng nơron Kohonen khi có một mẫu được đưa văo mạng thì chỉ có một потоп đầu ra được lựa chọn gọi lă nơron chiến thắng. Nơron chiến thắng năy chính lă đầu ra của mạng потоп Kohonen. Đầu ra của mạng nơron Kohonen thường lă chỉ số của nơron chiến thắng, ví dụ Nơron #5. Thông thường thì câc потоп chiến thắng năy đại diện cho câc nhóm dữ liệu đưa văo mạng Kohonen. cấu trúc của một mạng потоп Kohonen được cho như hình 1.7:
Hình 1.8 dưới đđy lă một mạng Kohonen điển hình.
Input Layer
Output Layer
Hình 1.8: Mạng nơron Kohonen điển hình 1.4.3. Thực hiện mạng nơron Kohonen.
1.4.3.1. Chuẩn hóa đầu văo.
Mạng Kohonen yíu cầu đầu văo được chuẩn hóa. Dữ liệu đầu văo nín có giâ trị nằm trong khoảng -1 đến 1. Neu một hoặc nhiều hơn nơron đầu văo sử dụng câc giâ trị chỉ năm trong khoảng từ 0 đín 1 thì mạng nơron hoạt động không đảm bảo chất lượng, để chuẩn hóa đầu văo, việc đầu tiín chúng ta phải tính chiều dăi vĩctơ của dữ liệu đầu văo.
Chúng ta sẽ xĩm xĩt một mạng nơron Kohonen đơn giản. Mạng năy sẽ chỉ có 2 nơron đầu văo, vă 2 nơron đầu ra. Dữ liệu đầu văo được cho lă 2 nơron được chỉ ra trong hình 1.9 vă câc trọng số kết nối giữa câc потоп trong hình 1.10
Nơron văo iniìio. 5 °
Input from txternal ment
Winning Neuron
I l - > 0 2 0 . 3
Đe chuẩn hóa dữ liệu đầu văo, chúng ta sẽ tính toân độ dăi vector (vector length) của câc dữ liệu đầu văo, hoặc vector đầu văo. Trong trường hợp năy độ dăi vector sẽ lă: (0.5 1 0.5) + (0.75 * 0.75) = 0.8125.
Vậy trường hợp trín sẽ có độ dăi vector lă 0.8125. Sử dụng độ dăi năy, chúng ta có thế xâc định được hệ số chuẩn hóa. Hệ số chuẩn hóa lă số nghịch đảo của căn bậc hai độ dăi vector đầu văo. Trong trường hợp trín thì hệ số chuẩn hóa lă:
1
-\/0.8125
1.4.3.2. Tính toân đầu ra cho mỗi nơron.
Đe tính toân đầu ra cho mỗi vĩctơ đầu văo thì phải cùng xem xĩt vĩctơ đầu văo vă trọng số. Đầu tiín phải tính tích vô hướng của câc nơron đầu văo vă câc trọng số kết nối. Tích vô hướng được tính bằng câch nhđn mỗi phần tử trong hai vĩctơ với nhau. Ta tính tổng của tích câc phần tò của vĩctơ trọng số vă vĩctơ đầu văo. Giả sử đầu văo lă: x=
{xi, x2, ... ,XN}, trọng số lă W={Wji, Wj2, , WjN} thi tích vô
hướng của X vă w lă: (1.13)
Xĩt đầu ra của nơron thứ j bđy giờ được chuấn hóa bằng câch nhđn giâ trị vừa tính được với hệ số chuẩn hóa
1 _________4 '1
I2->01__0.2
Nơronvảo 2 (12) ,0.75
Hình 1.9. Dữ liệu đầu văo nơron Hình 1.10. Trọng
số kết nối
giữa câc nơron
1
được xâc định ở trín.
(1.14)
Giâ trị vừa được tính toân phải được ânh xạ thănh số lưỡng cực. Đe ânh xạ, chúng ta thím 1 va chia cho 2, ta được:
1.4.3.3. Chọn потоп chiến thắng.
Khi tính toân được đầu ra với từng nơron, tiến hănh so sânh chúng để tìm xem потоп năo có đầu ra lớn nhất (khoảng câch nhỏ nhất) thì потоп đó được quyết định lă потоп chiến thắng. Như vậy ta đê tìm ra đầu ra của mạng nơron Kohonen. Ta thấy giâ trị năy được quyết định bởi giâ trị trọng số giữa đầu văo vă đầu ra. Như vậy ta điều chỉnh trọng số năy để điều chỉnh giâ trị đầu ra theo như nhiệm vụ yíu cầu.
1.4.3.4. Quâ trình học của mạng потоп Kohonen. Quâ trình học lă quâ trình hiệu chỉnh trọng số. Toăn bộ quâ trình huấn luyện cho mạng потоп Kohonen bao gồm câc chu kỳ lặp lại cho đến khi mức lỗi của mạng dưới một mức chấp nhận được. Quâ trình huấn luyện cho mạng lă cạnh tranh. Với mỗi tập đầu văo sẽ tìm được một nơron chiến thắng. Trọng số của nơron chiến thắng sẽ được hiệu chỉnh, nó sẽ tâc động trở lại mạnh mẽ hơn đối với đầu văo ở lần tiếp theo. Câc потоп chiến thắng lă khâc nhau đối với câc mẫu khâc nhau. Khả năng nhận dạng câc mẫu riíng biệt của chúng sẽ được tăng lín. Đầu tiín chúng ta xĩt tổng quan quâ trình huấn luyện cho mạng Ĩĩỡrõn Kỡhônẽn.
Hình 1.9: Huấn luyện mạng Kohonen (SOM)
Đầu tiín, ma trận trọng số được khởi tạo với câc giâ trị ngẫu nhiín, đưa tập mẫu văo vă tính toân tỷ lệ lỗi, hiệu chỉnh trọng số của потоп chiến thắng:
- Neu tỷ lệ lỗi được cải thiện đâng kể thì quay trở lại tiếp tục đưa mẫu huấn luyện văo vă điều chỉnh trọng số của потоп chiến thắng rồi tính toân lại tỷ lệ lỗi xem mức cải thiện của nó như thế năo.
- Neu tỷ lệ lỗi chỉ cải thiện rất nhỏ thì chu kỳ năy sẽ được bỏ qua. Nếu điều năy xảy ra thì xĩt xem ma trận trọng số năy có tốt hơn ma trận trọng số tốt nhất từ trước đến giờ không?
+ Nếu tốt hơn thì lưu lại ma trận trọng số tốt nhất. + Neu không, ma trận trọng số tốt nhất được giữ nguyín từ chu kỳ
trước.
- Sau đó ma trận trọng số được khởi tạo lại với giâ trị ngẫu nhiín vă chu kỳ huấn luyện mới được bắt đầu. Chu kỳ huấn luyện mới năy lại tiếp tục giống như chu kỳ trước vă sẽ phđn tích câc thời kỳ để quyết định bỏ qua hay tạo ra tập trọng số mă tạo ra mức lỗi chấp nhận được.
Neu chúng ta tính toân lỗi nhỏ hơn mức chấp nhận được hoặc nếu số chu kỳ lặp lớn hơn số chu kỳ lặp lớn nhất cho phĩp thì quâ trình huấn luyện hoăn thănh.
1.4.3.4.1. Tốc độ học.
Tốc độ học lă một hằng số mă sẽ được sử dụng trong thuật toân học. Nó phải lă một số dương nhỏ hơn 1. Tốc độ học điến hình lă 0.4, 0.5. Ký hiệu nó lă а . Thông thường thiết lập giâ trị học lớn thì quâ trình huấn luyện sẽ nhanh hơn, nhưng nếu thiết lập giâ trị năy quâ lớn có thể lăm cho mạng không bao giờ hội tụ. Bởi vì dao động của vĩctơ trọng số quâ lớn để phđn lớp mẫu. Một kỹ thuật khâc như lă huấn luyện tiến bộ, quâ trình huấn luyện bắt đầu với tốc độ học cao vă giảm dần tốc độ năy. Phương phâp năy cho phĩp tăng tốc độ huấn luyện ban đầu.
Tổc độ học chỉ lă một biín được sử dụng như một phđn của thuật tỡâĩĩ dùng đế điều chỉnh trọng số của nơron. Trong quâ trình thực nghiệm tiến hănh điều chỉnh tốc độ
học năy sao cho phù họp đế đạt được hiệu quả huấn luyện cao.
Toăn bộ bộ nhớ của mạng потоп Kohonen được lun trong trọng số kết nối giữa đầu văo vă lớp đầu ra. Trọng số được hiệu chỉnh ở mỗi thời kỳ. Một thời kỳ xảy ra khi dữ liệu huấn luyện được đưa văo mạng vă trọng số được hiệu chỉnh dựa trín kết quả của dữ liệu huấn luyện năy tạo ra. Sự điều chỉnh trọng số lăm cho mạng có được kết quả phù họp hơn trong lần tiếp theo cũng thực hiện trín cùng dữ liệu huấn luyện đó. Nếu sau mỗi lần đưa mẫu huấn luyện văo, tính mức lỗi thấy có cải thiện đâng kể thì còn quay lại điều chỉnhtrọng số. Còn nếu không thì bắt đầu một chu kỳ mới. Khi điều năy xảy ra thì toăn bộ ma trận trọng số được điều chỉnh đến câc giâ trị ngẫu nhiín mới. Cuối cùng ma trận trọng số sẽ được sử dụng lă ma trận trọng số tốt nhất xâc định từ mỗi chu kỳ. Bđy giờ chúng ta xĩt lăm thế năo trọng số được hiệu chỉnh.
Phương phâp ban đầu để tính toân sự thay đổi của trọng số, được đề xuất bởi Kohonen, thường được gọi lă phương phâp cộng văo. Phương phâp sử dụng phương trình sau:
и Л ' = „ w + a x
Biến X lă vĩctơ huấn luyện để đưa văo mạng. Biến wl lă trọng số của
nơron chiến thắng, vă wt+1 lă trọng số mới. thể hiện chiều dăi vĩctơ.
Phương phâp năy hoạt động rất tốt đối với mạng nơron Kohonen. Trong trường hợp phương phâp năy cho thấy sự bất ổn quâ mức, mạng không hội tụ. Một phương phâp khâc
được sử dụng, phương phâp năy gọi lă phương phâp trừ, sử dụng câc công thức sau:
e = X - и/ и/+1 = и/+ а е
Hai phương trình năy sẽ chỉ ra sự biến đối cơ bản trín trọng số của
mạng.
1.4.3.4.3. Tỉnh toân lỗi.
(1.17) (1.18)
Trước khi chúng ta hiểu lăm thế năo để tính toân lỗi cho mạng thì đầu tiín chúng ta phải hiểu “lỗi” có nghĩa lă gì. Mạng được huấn luyện theo phương phâp học không giâm sât, do vậy câch định nghĩa về “lỗi” hơi khâc nhau so với câch nghĩ thông thường về lỗi. Như câc phần khâc đê nghiín cứu, huấn luyện có giâm sât bao gồm tính toân lỗi, đó lă sự khâc biệt giữa đầu ratính được vă đầu ra mong muốn. Còn phương phâp học không giâm sât thì không có đầu ra mong muốn. Mục đích của mạng nơron Kohonen lă để phđn câc mẫu đầu văo văo câc tập. Do đó lỗi ở đđy phải có khả năng đo lường mức độ mạng phđn lớp tốt như thế năo. Chúng ta sẽ xem xĩt hai phương phâp đế tính toân lỗi. Không có câch chính thức năo đế tính toân lỗi cho mạng nơron Kohonen. Có thể tính lỗi theo tỷ lệ phần trăm, đó lă ý tưởng cho biết mạng phđn loại tốt như thế năo đối với đầu văo vă câc nhóm đầu ra. Bản thđn lỗi không được sử dụng để hiệu chỉnh trọng số như đối với thuật toân lan truyền ngược. Ở đđy lỗi được xâc định bởi công tlức:
(1.19)
1.4.4. Kết luận.
Mô hình mạng Kohonen năy tương đối đơn giản, chỉ gồm hai lóp: lớp nơron đầu văo vă lóp nơron đầu ra. Trong đó, lóp đầu văo thực ra chỉ dùng để phđn bố dữ liệu đến lóp nơron đầu ra mă không có chức năng xử lý dữ liệu trín đó. Câc bước thực hiện mạng nơron Kohonen tương đối rõ
răng, chi tiết, đon giản, dễ hiểu. Quâ trình huấn luyện mạng với tốc độ hội tụ nhanh, xử lý được khối lượng dữ liệu lớn.
Việc xâc lập câc tham số đầu văo cho mạng rất dễ dăng, ta có thể hiệu chỉnh câc tham số năy bằng thực nghiệm trong quâ trình thực hiện băi toân cụ thể để đạt được kết quả hoạt động tốt.
Qua việc nghiín cún về mạng nơron Kohonen vă nghiín cún về mạng nơron tổng quan ở phần trước, chúng ta đê thấy được câc đặc điểm giống vă khâc nhau cơ bản của: Học có giâm sât, mạng dẫn tiến đa lóp, thuật toân lan truyền ngược vốn rất phổ biến. Khi nghiín cứu về mạng nơron, so với đặc điểm của học có giâm sât, học cạnh tranh, mạng nơron Kohonen cấu trúc đơn giản mă hiệu quả cao.
Mạng nơron Kohonen được sử dụng trong rất nhiều ứng dụng, thông thường trong việc gom cụm hoặc mô hình hóa dữ liệu đa chiều thănh câc lưới có hai hoặc ba chiều. Có thể kể đến lă nhận dạng tiếng nói (Kohonen, 1989), robotics (Ritter et al., 1989), phđn lóp (Kohonen,1984)....
CHƯƠNG 2
MỘT SỐ VẤN ĐỀ NHẬN DẠNG KÝ Tự sứ DỤNG MẠNG NƠRON