Chương 5:Phõn lớp và mụ hỡnh học mỏy Bựi Thế Hõn
5.2.4.1 Kiến trỳc mạng
Hỡnh 5.3 Mạng neuron hai lớp
Cỏc nơ ron lớp thứ t được nối đầy đủ với cỏc nơ ron lớp thứ t+1. Trong nhiều ứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng cú một lớp ẩn, số nơ ron trong lớp ẩn được xỏc định dựa trờn kinh nghiệm, hoặc dựa trờn cỏc kỹ thuật tỡm kiếm khỏc nhau
5.2.4.2 Huấn luyện mạng
Quỏ trỡnh huấn luyện mạng được trỡnh bày ở đõy là quỏ trỡnh học cú giỏm sỏt với tập mẫu {(Xs, Ys)}. Thủ tục học cú thể túm lược như sau:
Mỗi khi đưa một mẫu Xs = (x1 , ..., xn) vào mạng, ta thực hiện cỏc cụng việc sau:
- Lan truyền mẫu Xs qua mạng để cú outs = Tinh (Xs, NN) - Tớnh sai số Errs của mạng dựa trờn sai lệch outs - Ys
- Hiệu chỉnh cỏc trọng số liờn kết nơ ron dẫn tới lớp ra Wij từ nơ ron j tại lớp ẩn cuối cựng tới nơ ron i tại lớp ra:
wij = wij + . aj . i, (15)
ở đõy: là hệ số học, aj là đầu ra của nơ ron j,
i là sai số mà nơ ron i ở lớp ra phải chịu trỏch nhiệm, được xỏc định theo cụng thức:
i = erri g'(Neti) (16)
với erri là sai số thành phần thứ i trong Errs , Neti là tổng thụng tin vào cú trong số của nơ ron thứ i (Neti=wij.aj) và g'(.) là đạo hàm của hàm kớch hoạt g được dựng trong cỏc nơ ron.
- Hiệu chỉnh cỏc trọng số liờn kết nơ ron Wjk dẫn tới tất cả lớp ẩn từ nơ ron thứ k sang nơ ron j (cỏc lớp ẩn được xột từ dưới lờn) :
Tớnh tổng sai số tại nơ ron j phải chịu trỏch nhiệm
Hiệu chỉnh trọng số wjk
wjk = wjk + ak j (18)
(trường hợp xột liờn kết từ nơ ron vào thứ k sang nơ ron j trờn lớp ẩn thứ nhất, ta cú ak = Ik, chớnh là tớn hiệu vào).
Chỳ ý :
a) Trường hợp xột hàm kớch hoạt tại cỏc nơ ron ta cú hệ thức g'(x)=g(x)(1-g(x)).
b) Từ cỏc cụng thức (15), (18) ta cú thể viết lại:
wij = wij + wij , wjk = wjk + wjk , với wij = aj i và wjk = ak j
Trong cỏc ứng dụng thực tế, người ta thường hiệu chỉnh wij theo nguyờn tắc cú chỳ ý đến thao tỏc trước đú. Do vậy:
wij (mới)
= aj i + wij (cũ)
, ở đõy là hệ số quỏn tớnh. Quỏ trỡnh huấn luyện mạng cần chỳ ý tới cỏc yếu tố sau:
Cỏc trọng số ban đầu wij được gỏn cỏc giỏ trị ngẫu nhiờn, nhỏ
Lựa chọn cỏc hệ số học và hệ số quỏn tớnh sao cho + 1, với
khụng lớn hơn quỏ nhiều.
i wij i ) j (Net g' j (17) x e x g 1 1 ) (
Chương 5:Phõn lớp và mụ hỡnh học mỏy Bựi Thế Hõn
Cỏc tớn hiệu vào, ra nờn được định cỡ chỉ nằm trong khoảng [0,1]. Cỏc nghiờn cứu thực nghiệm chỉ ra rằng nờn ở trong khoảng [0.2,0.8].
5.2.4.3 SỬ DỤNG MẠNG
Giả sử đó huấn luyện mạng như trờn hỡnh 7.23 với tập mẫu {(Xs,Ys)} để được ma trận trọng số W. Quỏ trỡnh lan truyền trong mạng một vectơ tớn hiệu vào X=(x1,x2,x3) được cho bởi:
out = g(w64 a4 + w 65 a5) = g(w 64 g(w 41 x1 + w 42 x2 + w 43 x3) + w 65 g(w 51 x1 + w 52 x2 + w 53 x3))
= F ( X , W)
Khả năng tính toán của mạng nhiều lớp
Với một lớp ẩn, mạng có thể tính toán xấp xỉ một hàm liên tục bất kỳ đối với các biến tương ứng là các tín hiệu đầu vào.
Với hai lớp ẩn, mạng có thể tính toán xấp xỉ một hàm bất kỳ. Tuy vậy, số nơ ron trong các lớp ẩn có thể tăng theo hàm mũ đối với số đầu vào và cho đến nay vẫn chưa có những cơ sở lý luận đầy đủ để khảo sát họ các hàm có thể xấp xỉ nhờ các mạng nhiều lớp.