BACKPROPAGATION
4.1 Kiến trúc mạng
Các neurons lớp thứ t được nối đầy đủ với các neurons lớp thứ t+1. Trong nhiều ứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng có một lớp ẩn, số neuron trong lớp ẩn được xác định dựa trên kinh nghiệm hoặc dựa trên các kĩ thuật tìm kiếm khác nhau.
l1 l2 l3 H4 H5 O6 Outi wjk aj Mạng Neural hai lớp 4.2 Huấn luyện mạng
Thủ tục để mạng học có giám sát với tập mẫu {(Xs,Ys)} có thể tóm tắt như sau:
Mỗi khi đưa một mẫu Xs = (X1, X2, … , Xn) vào mạng, ta thực hiện các công việc sau:
1. Lan truyền mẫu Xs qua mạng để có output Outs 2. Tính sai số Errs của mạng dựa trên sai lệch Outs - Ys
3. Hiệu chỉnh các trọng số liên kết neuron dẫn tới lớp ra từ neuron j tại lớp ẩn cuối cùng tới neuron i tại lớp ra:
wij = wij + aj i (4.1) Ở đây là hệ số học
aj là đầu ra của neuron j
i là sai số mà neuron i ở lớp ra phải chịu trách nhiệm, được xác định theo:
i = erri f'(Neti) (4.2)
Với erri là sai số thành phần thứ i trong Errs
f' là đạo hàm của hàm kích hoạt f được dùng trong các neurons.
4. Hiệu chỉnh các trọng số liên kết neuron dẫn tới tất cả lớp ẩn từ neuron thứ k sang neuron thứ j:
Tính tổng sai số tại neuron j phải chịu trách nhiệm
j = f'(Netj) wiji (4.3) Hiệu chỉnh trọng số wjk
wjk = wjk + ak j (4.4)
(Trường hợp xét liên kết từ neuron vào thứ k sang neuron j trên lớp ẩn ta có ak = lk chính là tín hiệu vào)
Từ các công thức (4.1), (4.4) ta có thể viết lại:
wij = wij + wij wjk = wjk + wjk Với wij = aj i và wjk = ak j
Trong các ứng dụng thực tế, người ta thường hiệu chỉnh wij theo nguyên tắc có chú ý đến thao tác trước đó. Do vậy:
wij(mới) = aj i + wij(cũ)
được gọi là hệ số quán tính
Quá trình huấn luyện mạng cần chú ý tới các yếu tố sau:
Các trọng số ban đầu wij được gán các giá trị ngẫu nhiên, nhỏ.
Lựa chọn các hệ số học và hệ số quán tính sao cho + 1, với không lớn hơn quá nhiều
Các tín hiệu vào, ra nên được định cỡ chỉ nằm trong khoảng [0, 1]. Các nghiên cứu thực nghiệm chỉ ra rằng nên ở trong khoảng [0.2,0.8]
Giả sử huấn luyện mạng 2 lớp với tập mẫu {(Xs, Ys)} để được ma trận trọng số W. Quá trình lan truyền trong mạng vectơ tín hiệu X = (X1, X2, X3) được cho bởi:
out = f(w64a4 + w65a5) = f(w64 g(w41x1 + w42x2 + w43x3) + w65 g(w51x1 + w52x2 + w53x3)) = F(X,W)
Chương 3:
CÀI ĐẶT MINH HOẠ MỘT SỐ MẠNG NƠRON
Ở chương này tôi đi vào giới thiệu và giải quyết hai bài toán: Bài toán nhận dạng kí tự và bài toán y học. Đây là hai bài toán đang được nhiều nhà khoa học quan tâm hiện nay. Đồng thời qua hai bài toán này tôi sẽ làm sáng tỏ ảnh hưởng của số lớp mạng, số nơron trong một lớp mạng, và của các hàm chuyển khác nhau, hệ số tập huấn và hệ số lặp tới hiệu quả hoạt động của mạng.