2. Cho điểm của cỏn bộ phản biện
3.2.2.2Hai chức năng của mạng noron
Mạng nơron nhƣ một cụng cụ tớnh toỏn:
Giả sử mạng nơron Neural network cú m nơron vào và n nơron ra, khi đú với mỗi vecto cỏc tớn hiệu vào X=(x1,…,xn), sau quỏ trỡnh tớnh toỏn tại cỏc nơron ẩn, ta nhận được kết quả ra Y=(y1,…,yn). Theo nghĩa nào đú mạng nơron làm việc với tư cỏch một bảng tra, mà khụng cần biết dạng phụ thuộc hàm tường minh giữa Y và X. khi đú ta viết:
NN X tinh
Y ,
Cần lưu cỏc nơron trờn cựng một lớp cú thể tớnh toỏn đồng thời, do vậy độ phức tạp tớnh toỏn núi chung sẽ phụ thuộc vào số lớp mạng.
Cỏc thụng số cấu trỳc mạng nơron bao gồm:
+ Số tớn hiệu vào, số tớn hiệu ra + Số lớp nơron
+ Số nơron trờn mỗi lớp ẩn
+ Số lượng liờn kết của mỗi nơron (liờn kết đầy đủ, liờn kết bộ phận và liờn kết ngẫu nhiờn)
+ Cỏc trọng số liờn kết nơron.
Mạng nơron nhƣ một hệ thống thớch nghi cú khả năng học:
Để chỉnh cỏc trọng số liờn kết cũng như cấu truc của mỡnh sao cho phự hợp
với cỏc mẫu học (samples). Người ta phõn biệt ba loại kỹ thuật học: (a)Học cú quan sỏt (supervised learning)
(b)Học khụng quan sỏt (unsupervised learning) (c)Học tăng cường.
Trong học giỏm sỏt, mạng được cung cấp một tập mẫu học {(Xs,Ys)} theo nghĩa Xs là cỏc tớn hiệu vào, thỡ kết quả ra đỳng của hệ phải là Ys. Ở mỗi lần học, vecto tớn hiệu vào Xs được đưa vào mạng, sau đú so sỏnh sự sai khỏc giữa cỏc kết quả ra đỳng Ys với kết quả tớnh toỏn outs. Sai số này sẽ được dựng để hiệu chỉnh lại cỏc trọng số liờn kết trong mạng. Quỏ trỡnh cứ tiếp tục cho đến khi thỏa món một tiờu chuẩn nào đú. Cú hai cỏch sử dụng tập mẫu học: hoặc dựng
cỏc mẫu lần lượt, hết mẫu này đến mẫu khỏc, hoặc sử dụng đồng thời tất cả cỏc mẫu một lỳc. Cỏc mạng với cơ chế học khụng giỏm sỏt được gọi là cỏc mạng tự tổ chức. Cỏc kỹ thuật học trong mạng nơron cú thể nhằm vào hiệu chỉnh cỏc trọng số liờn kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trỳc của mạng bao gồm số lớp, số nơron, kiểu và trọng số cỏc liờn kết (gọi là học cấu trỳc).
*)Học tham số:
Giả sử cú k nơron trong mạng và mỗi nơron cú đỳng một liờn kết vào với cỏc nơron khỏc. Khi đú, ma trận trọng số liờn kết W sẽ cú kớch thước kx1. Cỏc thủ tục học tham số nhằm mục đớch tỡm kiếm ma trận W sao cho
W X Tinh
Ys s, đối với mọi mẫu học S Xs,Ys (1)
*)Học cấu trỳc:
Với học tham số ta giả định rằng mạng cú một cấu trỳc cố định. việc học cấu trỳc của mạng truyền thẳng gắn với yờu cầu tỡm ra số lớp của mạng L và số nơron trờn mỗi lớp nj. Tuy nhiờn, với cỏc mạng hồi quy cũn phải xỏc định thờm cỏc tham số ngưỡng của cỏc nơron trong mạng. Một cỏch tổng quỏt phải xỏc định bộ tham số P L,n1,....,nk, 1,...., k ở đõy k nj sao cho Ys Tinh Xs,P
đối với mọi mẫu học s Xs,Ys (2).
Về thực chất, việc điều chỉnh cỏc vecto tham sụ W trong (1) hay P trong (2)
đều qui về bài toỏn tỡm kiếm tối ưu trong khụng gian tham số. Do vậy, cú thể ỏp dụng cỏc cơ chế tỡm kiếm kinh điểm theo gradient.
Mạng nơron N Xs Sai số Hiệu chỉnh W Ys Hỡnh 3.5: Học tham số cú giỏm sỏt