[W](1) = [W0(1) W1(1) W2(1)] = [ -0,147 0,753 0,553] ; Giá trị đầu ra sau bứớc học thứ nhất là :
Y(1) = f(w0(1)x0+ w1(1)x1+ w2(1)x2) = f(1,159) =0,761 ; Sai số E sau bước thứ nhất là :
E= (1/2)(y(1)-d)2 = (1/2)(0,761-1)2 = 0,0286 < 0,0362 = E(0) ; (10)
Cứ tiếp tục tính toán cho các bước học tiếp theo , ta được quan hệ giữa E và số bước như Hình 10 (Để vẽ được Hình 10 , cần dùng máy tính để tính toán biểu thức
10, tuy vậy chưa biết thuật toán này ở đâu) , ta thấy sau 100 bước học thì E(100) = = 0,00947 . Ta cũng có thể vẽ quan hệ các trọng số W0 ,W1 ,W2 với số bước học như Hình11 (Chưa biết thuật toán cho Máy tính để vẽ các quan hệ này ) .
Trên đây là xét với học một mẫu ,thực tế phải học nhiều mẫu hơn , chẳng hạn học với 3 mẫu :p=3 , nghĩa là : (x1x2 = 00,d=0) ,(x1x2 = 01,d=1) (x1x2 = 11,d=1) và giữ x0 =1 .
Các đầu ra của Nơron cho 3 mẫu trước khi học là :
y1 =0,45 ; y2 =0,574 ; y3 =0,731 ; Và sai số tính theo (5) là : E= (1/2)∑13
(yi- di)2 =(1/2)[(0,45-0)2 +(0,574-1)2 +(0,731-1)2] = 0,228 ;
Sau 100 bước học với 3 mẫu ta có : y1 =0,456 ; y2 =0,604 ; y3 =0,76 và E bằng : E= (1/2)∑13(yi- di)2 =(1/2)[(0,456-0)2 +(0,604-1)2 +(0,76-1)2] = 0,211.
Ta thấy lúc này sai số còn lớn , do vậy phải học nhiều nữa ! &4- Thuật toán học Levenberg-Marquad (L-M) :
Đây là thuật toán dựa trên khai triển Taylor bậc 2 , độ chính xác cao hơn nhưng cũng tính toán phức tạp hơn . Học viên có thể xem tài liệu thao khảo .
&5- Nâng cao chất lượng quá trình học .
5.1- Học với hệ số học thích nghi .
Hệ số học η liên quan trực tiếp đến gia số ∆ của hàm , do vậy nếu ở bước học mà E đang giảm thì ta có thể tăng hệ số học η , ngược lại nếu ở bước học mà E tăng thì cần giảm η . Do vậy ta có thể tính sai lệch E giữa 2 bước học để tăng/giảm η , theo kinh nghiệm hệ số tăng nên khoảng 1,02-1,05 , còn hệ số giảm nên là 0,5-0,7 . Học với sự điều chỉnh η như vậy gọi là học thích nghi . Xem thêm tài liệu.
5.2- Học với hệ số quán tính .
Trong học với hệ số quán tính các trọng số liên kết được hiệu chỉnh theo gia số : ∆W(t)
= -η▼E(t) +α(t)∆W(t-1)
Trong đó :∆W(t) = W(t+1) - W(t) và α(t) là hệ số quán tính có giá trị (0,1) . Ta thấy thành phần đầu tiên ở vế phải của (8) chính là Gradient của E(t)
tính theo phương pháp bước giảm cực đại, thành phần thứ hai phụ thuộc vào độ cập nhật bước trước (ảnh hưởng của bứớc trước) và không phụ thuộc vào gradient của bước hiện tại . Hệ số α(t)
càng lớn thì ảnh hưởng quán tính càng lớn. Quán tính này có ảnh hưởng càng rõ rệt ở các khoảng hàm có dạng bằng phẳng (gradient nhỏ và không đổi) hoặc tại các điểm gần cực tiểu .
Tại các vùng hàm bằng phẳng , gradient có giá trị hầu như không đổi , nghĩa là : ∆W(t) ≈ ∆W(t-1) , do vậy :
∆W(t)
≈ (η/1-α(t)) ▼E(t) ; Với α(t)
= (0,1) thì (1/(1-α(t) ) > 1 , thì việc sử dụng hệ số quán tính tương đương với hệ số học lớn hơn , quá trình học sẽ nhanh hơn .Nếu α(t)
= 0,9 thì tốc độ học tăng 10 lần . Việc chọn giá trị quán tính α(t)
cần phải thử nghiệm nhiều lần với các giá trị khác nhau mới cho kết quả tốt .
Ví dụ khi học hàm OR với 3 mẫu như trên và sử dụng α(t)
thì kết quả như Bảng 3. Bảng 3
Hệ số quán tính α(t)
Các giá trị đầu ra Các giá trị đích Sai số
α(t)
=0 (thuật toán bước giảm cực đại) y1 = 0,456 y2 = 0,604 y3 = 0,760 d1 = 0 d2 = 1 d3 = 1 E = 0,211 α(t) = 0,5 y1 = 0,185 y2 = 0,863 y3 = 0,956 d1 = 0 d2 = 1 d3 = 1 E = 0,0275 α(t) =0,9 y1 = 0,17 y2 = 0,873 y3 = 0,863 d1 = 0 d2 = 1 d3 = 1 E=0,0319
&6- Qúa trình kiểm tra mạng Nơron và Khả năng tổng quát hóa .
Ứng dụng của mạng Nơron phụ thuộc quan trọng vào khả năng tổng quát hóa , nghĩa là ứng dụng được vào môi trường thực tế mà các thông tin đầu vào và ra là hoàn toàn mới , không giống như các cặp mẫu (xi ,di) đã luyện mạng . Mạng có khả năng tổng quát hóa cao nếu như đưa ra đáp ứng với sai lệch cho phép khi có các đầu vào mới . Giả sử có hàm logic N biến f(xi) với i=1-N , như vậy có 2N
bộ giá trị và có d=f(x) với 2N giá trị . Nếu ta sử dụng K <2N cặp (x,d) để học , còn (2N
- K) để kiểm tra và mạng đạt kết quả yêu cầu thì ta nói :Mạng đã học tốt bài toán hàm logic N biến này .
Ví dụ : xét hàm OR với 2 biến x1,x2 ,cho học mẫu 4 với x=[x1 ,x2] =[1,1] và d4 =1. Khi kiểm tra với 3 mẫu còn lại ta có kết quả như Bảng 4
Bảng 4
0 0 0 3,627 0,974 0,974
0 1 1 7,954 1,000 0
1 0 1 8,154 1,000 0
Ta thấy mẫu 1 có kết quả hoàn toàn sai , như vậy mạng đã nhầm ! Cần tăng số mẫu học ! ---