Sử dụng mạng noron cho nhận dạng ký tự Tiếng Việ

Sự sắp xêp của các nơ-ron và mứcđộ mạnh yêu của các khóp thân kinh được quyêt định bởi quá trình hóahọc phức tạp, sẽ thiết lập chức năng của mạng nơ-ron, các nơ-ron cóthể sửa đổi tín hiệ

LỜI CẢM ƠN

Xin chân thành cảm ơn Thầy giáo, PGS.TS Lê Bá Dũng đã tận tình chỉ dạy,

hướng dẫn tôi trong suốt thời gian nghiên cứu và thực hiện luận văn

Tôi cũng xin chân thành cảm ơn các Thầy giáo Viện Công nghệ Thông tin và cácThầy giáo Trường Đại học sư phạm Hà Nội 2 đã giảng dạy, giúp đỡ trong suốt thời gianhọc tập

Xin cảm ơn tất cả các anh chị học viên Cao học khóa 15 - Khoa học máy tính,cảm ơn các cán bộ công chức, giảng viên Trường Đại học sư phạm Hà Nội 2 đã tạo điềukiện tốt cho tôi trong suốt trong hai năm học qua

Xin cảm ơn các bạn bè, đồng nghiệp, gia đình đã tạo mọi điều kiện thuận lọi cũngnhư đã chỉ bảo tôi rất nhiều trong thời gian thực hiện luận văn này để tôi có được kết quảnhư ngày hôm nay

Hà Nội, tháng 11/2013

Người viết luận văn

Nguyễn Đức ThịnhLỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận văn “Sử dụng mạng noron cho nhận dạng ký tự

tiếng Việt” là công trình nghiên cứu của bản thân tôi Các số liệu, kết quả nghiên cứu

nêu trong luận văn này là trung thực và không sao chép y nguyên từ một công trình nàokhác Tôi xin chịu trách nhiệm về luận văn của mình

1

Hà Nội, tháng 11/2013

Người viết luận văn

Nguyễn Đửc ThịnhMỤC LỤC

Trang

DANH MỤC CÁC TỪ TIÉNG ANH VIÉT TẮT

ST

T Từ viết tắt Từ viết tường minh

1 HMM Hiden Markov Model

2 LVQ Learning Vector Quantization

3 MLP Multi Layer Perception

4 OCR Optical Character Recognation

5 PDA Personal Digital Assistant

6 RFID Radio Frequency Identification

7 SOM Self Organizing Maps

8 SVM Support Vector Machine

2

Hình 1.6 Mạng nhiều lóp có nối ngược

Hình 1.7 Cấu trúc của mạng Kohonen

Hình 1.8 Mạng Kohonen điển hình

Hình 1.9 Huấn luyện mạng Kohonen

Hình 2.1 Mô hình tổng quát của một hệ nhận dạng ký tụ'

Hình 3.1 Quá trình tìm giới hạn ký tự Hình 3.2 Quá trình lấy mẫu xuống

Hình 3.3 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trịHình 3.4 Quá trình huấn luyện mạng потоп kohonen

Hình 3.5 Giao diện chương trình mô phỏng

Hình 3.6 Nhận dạng ký tự N

Hình 3.7 Nhận dạng ký tự Ô

Hình 3.8 Nhận dạng ký tự Á

3

PHÀN MỞ ĐẦU

Công nghệ thông tin ngày nay càng ngày càng trở lên quantrọng trong cuộc sống hàng ngày của chúng ta Trong công nghệ thôngtin, trí tuệ nhân tạo hiện nay đang được quan tâm rất nhiều của xã hội

Nó như là một giải pháp mang đến hy vọng mới mô phỏng được bộnão con người Nghiên cứu và mô phỏng trí não, cụ thể là tế bào thầnkinh (Neural) là một ước muốn từ lâu của nhân loại Với khoảng 15 tỷNeural ở não người, mỗi Neural có thế nhận hàng vạn tín hiệu từ khớpthần kinh và được coi là một cơ chế sinh vật phức tạp nhất Bộ não conngười có khả năng giải quyết rất nhiều vấn đề như: nghe, nhìn, nói, hồi

ức thông tin, phân biệt, phân tích các mẫu dựa trên một số thông tin đã

có Neural thần kinh chính là yếu tố chính giúp chúng ta có thể làmnhũng công việc như vậy Bộ não phân công công việc xủ lí cho hàng

tỉ Neural có liên quan, điều khiển các mối liên hệ giữa các Neural đó.Neural không ngừng nhận và truyền thông tin lẫn nhau Cơ chế hoạtđộng của Neural [1] bao gồm: liên kết (association), tổng quát hóa(generation), và tự tổ chức (Self Orgazation) Các Nơron tự liên kết vớinhau thành mạng trong xử lý Mỗi mạng gồm hàng vạn các phần tửNơron khác nhau Mỗi phần tử Nơron có khả năng liên kết với hàngnghìn các Nơron khác

4

Hiện nay, mạng Nơron được đưa vào ứng dụng rộng rãi trongrất nhiều lĩnh vực Và bài toán nhận dạng là bài toán sử dụng các tínhnăng của mạng Nơron nhiều nhất Bài toán nhận dạng với sự trợ giúpcủa mạng Nơron ngày nay đã không còn dừng ở mức độ nghiên cứunữa mà nó trở thành một lĩnh vực để áp dụng vào thực tế Các bài toánnhận dạng được nghiên cứu nhiều nhất hiện nay tập trung vào nhậndạng mẫu hình học (vân tay, mặt người, hình khối ), nhận dạng tiếngnói và nhận dạng chữ viết Chúng được ứng dụng trong rất nhiều lĩnhvực như y học, dự báo thời tiết, dự báo cháy rừng, , các lĩnh vực tựđộng hóa như điều khiển rô-bốt, điều khiển các thiết bị bằng giọngnói, Trong số các bài toán nhận dạng này, nhận dạng chữ viết đangđược ứng dụng rất phổ biến Nhận dạng chữ viết được ứng dụng trongquá trình tự động hóa các công việc văn phòng như nhập liệu, lưu trữvăn bản, sách báo, phân loại thư tín, , những công việc rất nhàm chán

và đòi hỏi nhiều thời gian của con người Nhận dạng bằng mạng Nơronđang được úng dụng trong hàng loạt lĩnh vực quan trọng của cuộcsống, phục vụ lợi ích trực tiếp và thiết thực cho công việc của conngười

Mục đích của luận văn là: Trình bày các kết quả nghiên cứu lýthuyết phục vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử

5

dụng mạng Nơron” Tuy nhiên, do hạn chế về mặt thời gian cũng như

độ phức tạp của bài toán mà trong khuôn khổ, thời lượng của luận văn,tôi chỉ đi sâu nghiên cứu và đưa ra một chương trình mô phỏng nhậndạng ký tự viết tay Tiếng Việt rời rạc trực tuyến sử dụng mạng NơronKohonen

CHƯƠNG 1 MỘT SỐ VẤN ĐỀ VỀ MẠNG NƠRON

1.1 Mạng Nơron sinh học

Bộ não con người có khoảng 1010 tế bào thần kinh liên kết chặtchẽ với nhau được gọi là các nơ-ron Mỗi nơ-ron gồm có ba phần:Thân nơ-ron với nhân ở bên trong (soma), một đầu sợi trục thần kinh ra(axon) và một hệ thống tế bào hình cây (dendrite) Te bào hình cây cónhiệm vụ mang các tín hiệu điện tới các tế bào thân, tế bào thân sẽ thựchiện gộp (Sum) và phân ngưỡng (Thresholds) các tín hiệu đến Sợi trụcthần kinh làm nhiệm vụ đưa các tín hiệu thân ra ngoài

Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủmột diện tích rất lớn (0.25 mm2) để nhận các tín hiệu từ các nơ-ronkhác Đầu thần kinh ra được rẽ nhánh nhằm chuyến giao tín hiệu từthân nơ-ron tới nơ-ron khác Các nhánh của đầu thần kinh được nối vớicác khớp thần kinh (synapse) Các khớp thần kinh này được nối với

6

thần kinh vào của các nơ-ron khác Sự sắp xêp của các nơ-ron và mức

độ mạnh yêu của các khóp thân kinh được quyêt định bởi quá trình hóahọc phức tạp, sẽ thiết lập chức năng của mạng nơ-ron, các nơ-ron cóthể sửa đổi tín hiệu tại các khớp, trong các nơ-ron nhân tạo được gọi làtrọng số

Có thể nói, mạng nơ-ron sinh học hoạt động chậm hon rất nhiều

so với các linh kiện điện tử (10‘3 giây so với 10‘9 giây), nhưng bộ não

có thể thực hiện nhiều công việc nhanh hon rất nhiều so với máy tínhthông thường Do cấu trúc song song của mạng nơ-ron sinh học thểhiện toàn bộ các nơ-ron thực hiện đồng thời tại một thời điểm Mạngnơ-ron nhân tạo cũng có được đặc điếm này Các mạng nơ-ron nhântạo chủ yếu thực nghiệm trên các máy tính mạnh có vi mạch tích hợprất lớn, các thiết bị quang, bộ xử lý song song Điều này cũng giải thíchtại sao những nghiên cứu khoa học về mạng nơ-ron nhân tạo có điềukiện phát triển cùng với sự phát triến về kỹ thuật công nghệ phần cứngmáy tính

Có nhiều loại nơ-ron khác nhau về kích thước và khả năng thuphát tín hiệu Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt độngchung

Hình vẽ (1.1) là một hình ảnh đon giản hoá của một loại nơ-ron

7

như vậy [3]

Hình 1.1 Mô hình nơ-ron sinh học

Hoạt động của nơ-ron sinh học có thể mô tả tóm tắt như sau:Mỗi nơ-ron nhận tín hiệu vào từ các tế bào thần kinh khác.Chúng tích họp các tín hiệu vào, khi tổng tín hiệu vượt quá mộtngưỡng nào đó chúng tạo tín hiệu ra và gửi tín hiệu này tới các nơ-ronkhác thông qua dây thần kinh Các nơ-ron liên kết với nhau thànhmạng Mức độ bền vững của các liên kết này xác định một hệ số gọi làtrọng số liên kết

1.2 Mạng Nơ-ron nhân tạo

1.2.1 Nơ-ron nhân tạo

8

Đe mô phỏng các tế bào thần kinh và các khóp nối thần kinh của

bộ não con người, mạng nơ-ron nhân tạo có các thành phần có vai trò

tương tự làcác nơ-ron nhân tạo và kết nối giữa chúng (kết nối này gọi

là weights) Nơ-ron là một đơn vị tính toán có nhiều đầu vào và một

đầu ra, mỗi đầu vào đến từ một khớp nối thần kinh (synapse) Đặc

trưng của nơ-ron là một hàm kích hoạt phi tuyến chuyển đối một tổ

hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra

Một nơ-ron nhân tạo là một đon vị tính toán hay đon vị xử lý

thông tin cơ sở cho hoạt động của một mạng nơ-ron

Các thành phần cơ bản của một mô hình nơ-ron.[ 1]

- Trọng số và tổng tín hiệu đầu vào:

Mỗi nơ-ron có rất nhiều dây thần kinh vào, nghĩa là mỗi nơ-ron

có thể tiếp nhận đồng thời nhiều tín hiệu Giả sử tại nơ-ron i có N tín

hiệu vào, mỗi tín hiệu vào s được gán một trọng so W tương ứng Ta

ước lượng tổng tín

hiệu đi vào nơ-ron neí.theo một số dạng sau:

(i) Dạng tuyến tính:

N netị= Ị\\)j.Sj

7=1

(ii) Dạng toàn phương:

9

(1.1)

N net i = ị w ij s j

(iii) Dạng mặt cầu:

(1.3)

Trong đó: p và w j = \,N lần lượt là tâm và bán kính mặt cầu

10

(1.2)

- Hàm kích hoạt (hàm chuyển):

Hầu hết các đơn vị trong mạng nơ-ron chuyển net input bằngcách sử dụng một hàm vô hướng (scalar - to - scalar function) gọi làhàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kíchhoạt của đơn vị Trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạtđược đưa vào một hay nhiều đơn vị khác Các hàm kích hoạt thường bị

ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàmnén (squashing)

Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu ra out đượcgọi là hàm kích hoạt Hàm này có đặc điếm là không âm và bị chặn,dùng đế giới hạn biên độ đầu ra của nơ-ron Có nhiều dạng hàm kíchhoạt, người ta thường sử dụng một hàm kích hoạt chung cho toànmạng

Một số hàm kích hoạt thường được sử dụng:

1) Hàm đồng nhất (Linear function, Identity function)

g(x) = xNeu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàmnày Có khi một hằng số được nhân với net-input tạo thành một hàmđồng nhất

11

Đồ thị hàm đồng nhất (Identity function)

2) Hàm bước nhị phân (Binary step function, Hard limit function)Hàm này còn gọi là hàm ngưỡng (Threshold function hayHeaviside function) Đầu ra của hàm này giới hạn một trong hai giá trị:

12

ví dụ của hàm này là

hàm logistics, xác

định như sau:

( 1 6 )

số góc tại x= 0 là ^ /4.Khi tham số hệ số góctiến tới không xácđịnh, hàm sigma trởthành một hàmngưỡng đơn giản.Trong khi một hàmngưỡng chỉ có giá trị

là 0 hoặc 1, thì mộthàm sigma nhận cácgiá trị từ 0 tới 1 Cũngphải ghi nhận rằnghàm sigma là hàmphân biệt, trong khihàm ngưỡng thì không(Tính phân biệt củahàm là một đặc tínhquan trọng trong lýthuyết mạng neuron).Hàm này thường được

dùng cho các mạng

được huấn luyện

(trained)bởi thuật toán

lan truyền ngược

(back -propagation),

bởi nó dễ lấy đạo hàm,

làm giảm đáng kế tính

toán trong quá trình

huấn luyện Hàm được

tính tương tự hàm

sigmoid Hàm làm

việc tốt đối với cácúng dụng có đầu rayêu cầu trong khoảng[-1,1].

Đồ thị hàm sigmoid lưỡng cực

chuyển của các đơn vị

ẩn (hidden units) làcần thiết để biểu diễn

sự phi tuyến vào trongmạng

- Nút bias:

Là một nútthêm vào nhằm tăngkhả năng thích nghicủa mạng nơ-ron trongquá trình học Trongcác mạng nơ-ron có sửdụng bias, mỗi nơ-ron

có thể có một trọng số

tương ứng với bias.

Mô

hình no- ron

toán được xây dựng

dựa trên các mạng

nơ-ron sinh học Nó gồm

Các liên kết ra

có một nhóm các ron nhân tạo (nút) nốivới nhau và xử lýthông tin bằng cáchtruyền theo các kết nối

nơ-và tính giá trị mới tạicác nút (cách tiếp cậnconnectionism đối vớitính toán) Phần lớnmạng nơ-ron nhân tạo

là một hệ thống thíchứng (<adaptive

system) tự thay đổi cấu

trúc của mình dựa trêncác thông tin bênngoài hay bên trongchảy qua mạng trongquá trình học

Vói việc giảlập các hệ thống sinhhọc, các cấu trúc tínhtoán, mạng nơ- ron cóthể giải quyết đượccác lớp bài toán nhấtđịnh, như: Bài toánngười du lịch, bài toán

tô màu bản đồ, bài

toán nhận dạng mẫu Các bài toán phức tạpcao, không xác định.Tuy nhiên, sự liên kếtgiữa một bài toán bất

kỳ trong thực tế vớimột giải pháp mạngnơ-ron lại là một việckhông dễ dàng

Xét một cáchtổng quát, mạng nơ-ron là một cấu trúc xử

lý song song thông tinphân tán mang các đặctính nôi bật sau :

- Là mô hìnhtoán học dựatrên bản châtcủa nơ-ron

- Bao gồm một

số lượng rấtlớn các nơ-ronliên kết vớinhau

- Mạng nơ-ron

có khả nănghọc, khái quáthóa tập dữ liệuhọc thông quaviệc gán và

hiệu chỉnh cáctrọng số liênkết.

- Tổ chức theokiểu tập họpmang lại chomạng nơ-ronkhả năng tínhtoán rất lớn,trong đó không

có nơ-ron nàomang thông tinriêng biệt

Ví dụ: Hình 1.2

là một mô hình mạngthông dụng

■ Các hình trạng của mạng

Hình trạngmạng được định nghĩabởi: số lớp (layers), sốđơn vị trên mỗi lóp, và

sự liên kết giữa cáclóp đó Các mạngthường được chia làmhai loại dựa trên cáchthức liên kết các đon

vị:

1.2.2.1 Mạngtruyền thẳng.

- Mạng truyền thắng một lóp

Mạng

perceptron một lớp doF.Rosenblatt đề xuấtnăm 1960 là mạngtruyền thắng chỉ mộtlớp vào và một lớp rakhông có lóp ấn Trênmỗi lóp này có thể cómột hoặc nhiều nơ-ron Mô hình mạng

F.Rosenblatt sử dụnghàm ngưỡng đóng vaitrò là hàm chuyển Do

đó, tống của tín hiệuvào lớn hơn giá trịngưỡng thì giá trị đầu

ra của nơ-ron sẽ là 1,còn trái lại sẽ là 0

(1.8)

Mô hình mạngnơ-ron truyền thắng

một lóp là mô hìnhliên kết cơ bản và đơngiản nhất Các nơ-ron

tổ chức lại với nhautạo thành một lóp,đường truyền tín hiệuđược truyền theo mộthướng nhất định nào

đó Các đầu vào đượcnối với các nơ-rontheo các trọng số khácnhau, sau quá trình xử

lý cho ra một chuỗicác tín hiệu ra

Hì

nh 1.3 M ạn

g tru yề

n thẳ

ng mộ

t lóp

Với mỗi giá trịđầu vào: x= Ệ<1 X 2 X

vị Qua quá trình xử lýcủa mạng ta sẽ thuđược một bộ tươngúng các giá trị đầu ralà:

y= ^,,y2l-.y

được xác định như sau:

Trong đó:

m: Sốtínhiệuvào n: Sốtínhiệur

WT = 8/v ,

w w.ể: là véc

tơ trong

số của nơ-ron thứ i

i 0i1’

’Ị

&:

Là

hàm

kích

nơ-ron

thứ

i

9 ị

:

L

ngưỡng

của

nơ-ron

thứ

i.Ngay từ khimạng Perceptron được

đề xuất nó được sửdụng để giải quyết bàitoán phân lóp Một đốitượng sẽ được nơ-ron iphân vào lớp A nếu:Tổng thông tinđầu vào X w/yx > ^

Trong trườnghợp trái lại nơ-ron sẽđược phân vào lóp B

- Mạng truyền thẳng nhiều lóp (Multilayer

Perceptron-MLP)

Với mạng ron truyền thẳng mộtlớp ở trên, khi phântích một bài toán phứctạp sẽ gặp rất nhiềukhó khăn, để khắcphục vấn đề này người

nơ-ta đưa ra mô hìnhmạng nơ-ron truyềnthẳng nhiều lớp bằngviệc kết hợp một sốlóp nơ-ron lại vớinhau Lớp nhận tínhiệu vào gọi là lớpvào, lớp đưa tín hiệu

ra của mạng được gọi

là lớp ra Các lóp ởgiữa lóp vào và lớp rađược gọi là lóp ẩn vàcác nơ-ron trong cáclớp ẩn có hàm chuyển(hàm kích hoạt) dạngphi tuyến Mạng nơ-ron nhiều lớp có thếgiải quyết các bài toánphi tuyến nhờ vào cáclớp ẩn Càng nhiều lớp

ẩn thì khả năng mởrộng thông tin càngcao và xử lý tốt mạng

có nhiều lớp vào vàlóp ra

y n

YM

Y,

Y2

-Y2

YM

Hình 1.6 Mạng nhiều lớp có nối ngược

1.3 Đặc trưng của mạng nơron.

Tiến trình học là tiến trình quan trọng của con người, nhờ học mà bộ não ngàycàng tích lũy các kinh nghiệm đế thích nghi với môi trường và xử lý tình huống tốthơn Mạng nơ-ron xây dựng lại cấu trúc bộ não thì phải cần có khả năng nhận biết dữliệu thông qua tiến trình học, YỚi các thông số tự do của mạng có thế thay đối liêntục bởi nhũng thay đối của môi trường và mạng nơ-ron ghi nhớ giá trị đó

Trong quá trình học, giá trị đầu vào được đưa vào mạng và theo dòng chảytrong mạng tạo thành giá trị đầu ra

Tiếp đến là quá trình so sánh giá trị tạo ra bởi mạng nơ-ron với giá trị mongmuốn Neu hai giá trị này giống nhau thì không thay đổi gì cả Tuy nhiên, nếu có mộtsai lệch giữa hai giá trị này vượt quá giá trị sai số mong muốn thì đi ngược mạng từđầu ra về đầu vào đế thay đối một số kết nối

Đây là quá trình lặp lại liên tục và có thể không dừng khi không tìm được giátrị w sao cho đầu ra tạo bởi mạng nơ-ron bằng đúng đầu ra mong muốn Do đótrong thực tế người ta phải thiết lập một số tiêu chuẩn dựa trên một giá trị sai sô nàờ

đó của hai giá trị này, hay dựa trên một sô lân lặp nhât định

Đe tiện cho việc trình bày, ta kí hiệu y là giá trị kết xuất của mạng nơ-ron, t làgiá trị ra mong muốn, e là sai lệch giữa hai giá trị này:

Mạng nơ-ron có một số ưu điểm so với máy tính truyền thống, cấu trúc songsong của mạng nơ-ron rất thích hợp cho những ứng dụng đòi hởi tốc độ nhanh theothời gian thực Khả năng huấn luyện của mạng nơ-ron có thể khai thác để phát triển

hệ thống thích nghi Mặt khác, với khả năng tổng quát hóa của mạng nơ-ron, nó cóthế áp dụng đế điều khiến nhiều tham số phức tạp đồng thời từ đó giải quyết dễ dàngmột số bài toán thuộc lớp bài toán NP- đầy đủ (NP-Complete )

Các luật học đóng vai trò quan trọng trong việc xác định một mạng nơ-ronnhân tạo Một cách đơn giản về khái niệm học của mạng nơ-ron là cập nhật trọng số

trên cơ sở các mẫu Theo nghĩa rộng thì học có thể được chia ra làm hai loại: Họctham số và học cấu trúc.

- Học tham số: Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao chomạng có khả năng đưa ra dự báo sát với thực tế Dạng chung của luật họctham số có thể được mô tả như sau:

D H / = h r x , / = U / , y = Î M (1.11)Trong đó:

AWy : Là sự thay đổi trọng số liên kết từ nơron j đến nơron i

+ Học có tín hiệu chỉ đạo: Là quá trình mạng học dựa vào sai số giữa đầu ra

thực và đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số Sai số nàychính là hằng số học r Luật học điến hình của nhóm này là luật học Delta củaWidrow (1962) nêu ra đầu tiên dùng để xấp xỉ trọng của Adaline dựa trên nguyên tắcgiảm gradient

Trong nhóm luật học này cũng cần phải kể đến luật học Perceptron củaRosenblatt (1958) về cơ bản luật học này thay đổi các giá trị trọng trong thời gianhọc, còn luật Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số dương hay âm

Một loạt các luật học khác cũng được dựa trên tư tưởng này Luật Oja là cảitiến và nâng cấp của luật Delta Luật truyền ngược là luật mở rộng của luật Delta chomạng nhiều lớp Đối với mạng truyền thẳng thường sử dụng luật truyền ngược để

chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài và người ta gọi mạng này là mạng lantruyền ngược.

+ Học không có tín hiệu chỉ đạo' Luật học này sử dụng đầu ra của mạng làm

cơ sở đế hiệu chỉnh các trọng số liên kết Hay trong luật này chính là tín hiệu ra củamạng Điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên kết, luậtLVQ (Learning Vector Quantization) dùng cho mạng tự tố chức một lóp thuộc lópmạng ánh xạ đặc trung của Kohonen

Luật học Hebb là luật sinh học xuất phát tù’ tiên đề của Hebb cho rằng: Giữahai nơ-ron có quan hệ và có thay đổi thế năng thì giữa chúng có sự thay đôi trộrĩg sôliên kêt Nói cách khác, trọng so được điêu chỉnh thẽõ môi tương quan trước và sau,nghĩa là:

Trong đó:

D IV: Là sự thay đổi trọng số liên kết từ nơ-ron j đến nơ-ron i.

X,: Là tín hiệu vào nơ-ron j i J y.: Là tín hiệu ra của nơ-ron i.

h : Là tốc độ học, nằm trong khoảng (0,1).

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng màkhông cần tín hiệu chỉ đạo từ bên ngoài Hopíĩeld cũng cải tiến luật Hebb cho cácmạng tự liên kết thành 16 dạng khác nhau theo kiếu luật Hebb, luật đối Hebb, luậtHopíĩeld

Như vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất định.Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong mạng nơ-ron

có thể tăng lên rất nhiều lần

Đối với mạng phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó

đế chỉnh trọng mà không cần tín hiệu chỉ đạo từ bên ngoài

+ Học tăng cườỉĩg: Trong một số trường họp, thông tin phản hồi chỉ là tín

hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đúng hay sai Quátrình học dựa trên các thông tin hướng dẫn như vậy được gọi là học có củng cố (họctăng cường) và tín hiệu mang thông tin phản hồi được gọi là tín hiệu củng cố choquá trình học Ta có thể thấy rằng quá trình học này là một dạng của quá trình học cótín hiệu chỉ đạo bởi vì mạng nhận được một số thông tin phản hồi tù' bên ngoài

+ Học cấu trúc: Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu

trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là tìm ra số lóp ẩn vàtìm ra số nơ-ron trên mỗi lớp đó Giải thuật di truyền thường được sử dụng trong cáccấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối với mạng có kích thướctrung bình Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần cũng được áp dụngtrong việc học cấu trúc của mạng có kích thước tương đối nhỏ

1.4 Mạng KOHONEN.

1.4.1 Giói thiệu về mạng Nơron Kohonen.[l]

Trong phần trước chúng ta đã nghiên cứu mạng nơron dẫn tiến sử dụngphương pháp lan truyền ngược Trong khi mạng nơron dẫn tiến rất phổ biến thì mộtcấu trúc mạng khác cũng rất phố biến là mạng Kohonen

Mạng NoTon Kohonen (hay còn gọi là SOM (Self-Organizing Maps) - Bản

đồ tự tổ chức) là một trong nhiều loại mạng thông minh nhân tạo (AI) do cố giáo sư,tiến sĩ Teuvo Kohonen đề xướng vào những năm 70 của thế kỷ trước Ông là mộttrong những nhà nghiên cún nổi tiếng và có nhiều công trình trong lĩnh vực tính toánnơron

Thông thường, mạng nơron Kohonen gồm một lóp đầu vào và lớp đầu ra.Mạng này được đặt tên bởi tên người lập ra nó, cố giáo sư, tiến sĩ T Kohonen MạngKohonen khác biệt so với mạng потоп lan truyền ngược dẫn tiến ở cách huấn luyện

và cách nó nhớ lại một mô hình Mạng Kohonen không sử dụng một loại hàm kíchhoạt nào Xa hơn là nó không sử dụng loại trọng so bias nào

Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron Khi cómột mẫu được đưa vào mạng thì chỉ có một потоп đầu ra được lựa chọn gọi là nơronchiến thắng Nơron chiến thắng này chính là đầu ra của mạng Kohonen Thôngthường thì các nơron chiến thắng này đại diện cho các nhóm dữ liệu đưa vào mạngKohonen.

Điêm khác biệt quan trộíig nhât giữa mạng Kõhõnẽtt va mạng потоп truyềnthẳng lan truyền ngược là mạng потоп Kohonen học theo phương pháp học khônggiám sát, có nghĩa là mạng потоп Kohonen thao tác với dữ liệu nhưng đầu ra chínhxác tương ứng với dữ liệu vào không được chi định trước Sử dụng mạng потопKohonen, dữ liệu có thể được phân thành các nhóm

Mạng nơron Kohonen được sử dụng bởi vì nó là một mạng tương đối đơngiản về cấu trúc, và có thể huấn luyện rất nhanh

1.4.2. Cấu trúc của mạng nơron Kohonen

Thông thường, mạng потоп Kohonen gồm một lớp đầu vào và một lớp đầu ra.Đầu tiên chúng ta xét về đầu vào và đầu ra của mạng

Các nơron đầu vào chỉ đon giản cung cấp dữ liệu vào cho mạng chứ không cóchức năng xử lý gì trên đấy Đối với mạng nơron Kohonen yêu cầu đầu vào đượcchuẩn hóa có giá trị trong phạm vi từ -1 đến +1.

Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron Đối vớimạng nơron truyền thẳng, nếu có năm nơron đầu vào thì một đầu ra bao gồm nămgiá trị Còn mạng nơron Kohonen khi có một mẫu được đưa vào mạng thì chỉ có mộtпотоп đầu ra được lựa chọn gọi là nơron chiến thắng Nơron chiến thắng này chính

là đầu ra của mạng потоп Kohonen Đầu ra của mạng nơron Kohonen thường là chỉ

số của nơron chiến thắng, ví dụ Nơron #5 Thông thường thì các потоп chiến thắngnày đại diện cho các nhóm dữ liệu đưa vào mạng Kohonen cấu trúc của một mạngпотоп Kohonen được cho như hình 1.7:

Hình 1.7: Cấu trúc của mạng Kohonen