7.1 Cơ sở về mạng nơ-ron 208
7.1.4 Ph−ơng thức làm việc của mạng nơ-ron
Ph−ơng thức lμm việc của một mạng nơ-ron nhân tạo có thể phân chia lμm hai giai đoạn:
− tự tái tạo lại (reproduction)
− vμ giai đoạn học (learning phase).
ở một mạng nơ-ron có cấu trúc bền vững có nghĩa lμ vectơ hμm trọng l−ợng đầu vμo, khâu tạo đáp ứng vμ khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi về mặt cấu trúc cũng nh− tham số thì mạng có một quá trình truyền đạt xác định chắc chắn, tĩnh hoặc động phụ thuộc vμo cấu tạo của các nơ-ron trong mạng. ở đầu vμo của mạng xuất hiện thông tin thì tại đầu ra cũng xuất hiện một đáp ứng tương ứng.
Đối với mạng nơ-ron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi đầu vμo nhận đ−ợc thông tin, còn đối với mạng nơ-ron có quá trình truyền
đạt động thì phải sau một thời gian quá độ ở đầu ra của mạng nơ-ron mới xuất hiện
đáp ứng. Xuất phát từ quan điểm mọi đáp ứng của nơ-ron đều tiền định tự nhiên, có nghĩa lμ khi xuất hiện các kích thích ở đầu vμo của mạng ở các thời điểm khác nhau các giá trị như nhau thì đáp ứng ở đầu ra ở các thời điểm tương ứng cũng hoμn toμn giống nhau. Quá trình lμm việc nh− vậy của một mạng nơ-ron đ−ợc gọi lμ quá trình tái diễn lại (reproduction phase). Khi có thông tin ở đầu vμo mạng lưu giữ thông tin
đó vμ dựa trên các tri thức của mình đ−a ra đáp ứng ở đầu ra phù hợp với l−ợng thông tin thu đ−ợc từ đầu vμo.
Mạng nơ-ron khi mới hình thμnh còn ch−a có tri thức, tri thức của mạng hình thμnh dần sau một quá trình học. Mạng nơ-ron đ−ợc dạy bằng cách đ−a vμo đầu vμo những kích thích vμ mạng hình thμnh những đáp ứng tương ứng, những đáp ứng phù hợp với từng loại kích thích sẽ được lưu giữ, giai đoạn nμy được gọi lμ giai đoạn học của mạng. Khi đã hình tri thức mạng có thể giải quyết các vấn đề cụ thể một cách đúng đắn. Đó có thể lμ những vấn đề ứng dụng rất khác nhau, đ−ợc giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vμo của mạng vμ các
đáp ứng đầu ra:
1) Nhiệm vụ của một mạng liên kết lμ hoμn chỉnh hoặc hiệu chỉnh các thông tin thu thập đ−ợc không đầy đủ hoặc bị tác động của nhiễu. Mạng nơ-ron kiểu nμy
đ−ợc ứng dụng trong lĩnh vực hoμn thiện mẫu, mμ một trong những lĩnh vực cụ thể đó lμ nhận dạng chữ viết.
2) Nhiệm vụ tổng quát của một mạng nơ-ron lμ lưu giữ động các thông tin. Dạng thông tin lưu giữ đó chính lμ quan hệ giữa các thông tin đầu vμo của mạng vμ các đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vμo mạng, mạng có khả năng suy diễn vμ đ−a ra một đáp ứng phù hợp. Đó chính lμ chức năng nhận dạng theo mẫu của mạng nơ-ron. Để thực hiện chức năng nμy, mạng nơ-ron đóng vai trò nh− một bộ phận tổ chức các nhóm thông tin đầu vμo vμ tương ứng với mỗi nhóm lμ một đáp ứng đầu ra phù hợp. Như vậy một nhóm bao gồm một loại thông tin đầu vμo vμ một đáp ứng ra. Các nhóm có thể đ−ợc hình thμnh trong quá trình học vμ cũng có thể hình thμnh không trong quá
trình học.
Trong lĩnh vực ứng dụng, mạng nơ-ron có khả năng tạo ra các đáp ứng đầu ra dựa trên thông tin thu thập vμo mạng, điều đó có nghĩa lμ ứng với một thông tin xác
định ở đầu vμo mạng cung cấp một đáp ứng tương ứng xác định ỏ đầu ra. Nhìn trên quan điểm lý thuyết hệ thống, mạng nơ-ron đ−ợc coi nh− một bộ xấp xỉ thông tin, thiết bị nμy có khả năng cung cấp một quá trình xử lý mong muốn một cách chính xác. Mục đích của quá trình học lμ tạo ra một tri thức cho mạng thông qua rèn luyện. Nguyên tắc học đ−ợc thực hiện cho một mạng mμ cấu trúc của mạng cũng nh− các phần tử nơ-ron cố định, chính lμ thay đổi giá trị của các phần tử trong vector hμm trọng l−ợng, vector ghép nối giữa các phần tử nơ-ron trong mạng. Các phần tử nμy đ−ợc chọn sao cho quá trình truyền đạt mong muốn đ−ợc xấp xỉ một cách đủ chính xác như bμi toán yêu cầu. Để đạt được mục đích đó, người ta cho tác
động vμo đầu vμo của mạng hμng loạt các tác động x(k), k=1, 2, … có khả năng lặp
Các đáp ứng ~(k)
y của tác động mẫu được so sánh với đáp ứng mẫu y(k)chọn trước vμ các phần tử của vector hμm trọng l−ợng w đ−ợc hiệu chỉnh sao cho sai lệch so với mẫu mong muốn lμ nhỏ nhất. Quá trình chỉnh định nμy sẽ đ−ợc thực hiện cho đến khi đạt đ−ợc sai số mong muốn nμo đó. Mạng lúc nμy đã có đ−ợc một đáp ứng đầu ra hoμn toμn phù hợp với tác động mẫu đầu vμo vμ kết quả nμy sẽ đ−ợc cất giữ.
Nh− vậy, học chính lμ quá trình giải bμi toán tối −u tham số. Để thực hiện đ−ợc bμi toán tối −u tham số nμy phải xây dựng đ−ợc phiếm hμm mục đích mô tả sai lệch gi÷a y(k) vμ ~y(k).
Cùng quan sát một mạng nơ-ron MLP ba lớp: lớp vμo có n đầu vμo x1, x2, , xn lớp bị che gồm l nơ-ron vμ lớp ra với p đầu ra y1, y2, , yp nh− trong hình 7.6 mô tả. Các nơ-ron đầu vμo chỉ đóng vai trò thuần túy thu thập thông tin tác động vμo mạng vμ không tham gia vμo quá trình học. Quá trình học chỉ thực hiện thông qua các nơ-ron ở lớp trung gian vμ ở lớp ra. Vector hμm trọng l−ợng wi của nơ-ron thứ i của lớp trung gian bao gồm n phần tử wi1, wi2, , wi n vμ vector hμm trọng l−ợng wj của nơ-ron ở lớp đầu ra bao gồm l phần tử wj1, wj2, , wj l. Đầu ra của các nơ-ron lớp trung gian có ký hiệu lμ z1, z2, , zl.
Giả sử, bắt đầu một quá trình học với m cặp vec tơ vμo/ra {x(k), y(k)}, ứng với mỗi vec tơ đầu vμo x(k) nhận đ−ợc một vector đáp ứng đầu ra ~y(k). Sai lệch Ek ứng với mẫu học thứ k được biểu diễn dưới dạng hμm mục đích bằng bình phương sai lệch giữa mẫu y(k)vμ đáp ứng ra thực của mạng ~y(k)có dạng :
( ) ( )
[ ] ∑ [ ]
= −
=
−
= p
j
k j k j k
k
k y y y y
E
1
) 2 ( )
2 ( ~
2
~ 1 2
1
Mặc dù quá trình học được thực hiện theo từng bước, nhưng hμm mục đích vẫn phải đ−ợc xây dựng cho toμn bộ chu trình học:
E =∑ ∑ ∑ [ ( ) ( )]
= −
=
)
( 1
2 )
(
~ 2
1
k p j
k j k k j
k y y
E .
Quá trình học lμ thực hiện nhiệm vụ tìm giá trị cực tiểu Emin cho hμm mục đích E bằng cách thay đổi giá trị của các phần tử trong vector hμm trọng l−ợng sao cho sau mỗi lần thay đổi nh− vậy giá trị của E chẳng hạn đang lμ k1 sẽ đ−ợc giảm đi một ít thμnh k2< k1 (hình 7.7). Thông th−ờng việc giải bμi toán tối −u nμy đ−ợc thực hiện theo ph−ơng pháp truy hồi qua nhiều b−ớc.
Một trong những cách thay đổi vector hμm trọng l−ợng nhằm lμm giảm giá trị của E lμ thay đổi theo hướng ngược gradient vì vector gradient E lμ
T
w E⎟⎟⎠
⎜⎜ ⎞
⎝
⎛
∂
∂ luôn có
hướng chỉ chiều tăng giá trị của E. Nguyên tắc học nμy có thể diễn đạt dưới dạng
qr
pr w
s E w =− ∂∂
Δ ; q =1, 2, … , l r =1, 2, … , n
cho lớp nơ-ron trung gian vμ
qr
pr w
s E v =− ∂∂
Δ ; q =1, 2, … , p r =1, 2, … , l
cho lớp nơ-ron đầu ra vμ wqr mới đ−ợc xác định từ giá trị wqr cũ vμ một l−ợng gia t¨ng
( )cò qr míi qr
qr w w
w( ) = +Δ
vμ ( )
cò qr míi qr
qr v v
v( )= +Δ
Đây thực sự lμ một bμi toán tối −u số vμ có thể giải quyết dễ dμng với sự trợ giúp của các thuật toán tìm kiếm ng−ợc gradient. Tham số s đ−ợc gọi lμ b−ớc học vμ thường có thể được chọn trước trong khoảng từ 0,1 đến 0,9.
gradient E Emin
quỹ đạo tìm kiếm
E=k1 E=k2 Hình 7.7: Minh họa ph−ơng pháp tìm kiếm
Emin theo h−ớng ng−ợc gradient của E.
k2<k1
Bên cạnh ph−ơng thức học có h−ớng dẫn theo hμm mục tiêu E (supervised learning) mô tả ở trên mạng nơ-ron còn có thể đ−ợc học một cách hoμn toμn tự do không cần phiếm hμm mục tiêu (unsupervised learning). Mẫu cho trước lμ đáp ứng ở đầu ra của mạng ứng với mẫu đầu vμo. Hay nói một cách khác ứng với một mẫu
đầu vμo có một mẫu đầu ra. Quá trình học lμ quá trình sắp xếp các nhóm tín hiệu
đầu vμo vμ đầu ra phù hợp với nhau. Đây lμ một quá trình học không đ−ợc theo dõi vμ điều khiển mờ ít quan tâm đến các mạng nơ-ron xây dựng theo nguyên lý học kiÓu nh− vËy.