Học trong mạng nơ-ron đƣợc hiểu theo hai mặt: học về cấu trúc và học về tham số. Học cấu trúc là luật học qua đĩ cĩ sự biến đổi về số lớp trong mạng cũng nhƣ sự thay đổi số nơ-ron trong mỗi lớp. Học tham số là luật học thay đổi, cập nhậtcác trọng số liên kết.
2.1.3.5 Học tham số:
Học tham số phù hợp với tín hiệu đầu vào cĩ nhiễu hoặc dữ liệu đầu vào phức tạp. Quá trình học trong mạng ANN thực chất là một quá trình huấn luyện mạng sao cho từ một tập dữ liệu đầu vào ta thu đƣợc tập dữ liệu đầu ra mong muốn. Nếu dữ liệu ra vƣợt quá sai số cho phép thì mạng sẽ tự điều chỉnh (cĩ thể thay đổi trọng số liên kết giữa các thành phần hoặc thay đổi cấu trúc mạng) để thu đƣợc tín hiệu đầu ra mong muốn. Học tham số là quá trình huấn luyện làm thay đổi các trọng số liên kết của mạng để đạt đƣợc kết quả yêu cầu. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra vector đầu ra y nhƣ mong muốn.
33
2.1.3.6 Học giám sát với thuật tốn lan truyền ngƣợc
Thuật tốn tổng quát cho học cĩ giám sát trong các mạng nơ-ron cĩ nhiều cài đặt khác nhau, sự khác nhau chủ yếu là cách các trọng số liên kết đƣợc thay đổi trong suốt thời gian học. Trong đĩ tiêu biểu nhất là thuật tốn lan truyền ngƣợc.
Về cơ bản, thuật tốn lan truyền ngƣợc là dạng tổng quát của thuật tốn trung bình bình phƣơng tối thiểu (Least Means Square-LMS). Thuật tốn này thuộc dạng thuật tốn xấp xỉ để tìm các điểm mà tại đĩ hiệu năng của mạng là tối ƣu. Chỉ số tối ƣu thƣờng đƣợc xác định bởi một hàm số của ma trận trọng số và các đầu vào nào đĩ mà trong quá trình tìm hiểu bài tốn đặt ra.
Giải thuật học lan truyền ngƣợc tìm kiếm một vectơ các trọng số (weight vector) giúp cực tiểu hĩa lỗi tổng thể của hệ thống đối với tập học.
Giải thuật lan truyền ngƣợc gồm hai giai đoạn:
+ Giai đoạn lan truyền tiến (Signal forword). Các tín hiệu đầu vào (vectơ các giá trị đầu vào) đƣợc lan truyền tiến từ tầng đầu vào đến tầng đầu ra (đi qua các tầng ẩn).
Truyền tuyến tính (tính output của các nơ-ron): dữ liệu từ lớp đầu vào qua lớp ẩn và đến lớp đầu ra để thay đổi giá trị của trọng số liên kết w của các nơ ron trong mạng biểu diễn dữ liệu học. Sự khác nhau giữa giá trị mong muốn và giá trị mà mạng tính đƣợc gọi là lỗi.
+ Giai đoạn lan truyền ngƣợc lỗi (Error backward):
Truyền ngƣợc (thay đổi trọng số của các cung, dùng thơng tin gradient của hàm lỗi): giá trị lỗi sẽ đƣợc truyền ngƣợc lại sao cho quá trình huấn luyện sẽ tìm ra trọng số để lỗi nhỏ nhất.
Căn cứ vào giá trị đầu ra mong muốn của vectơ đầu vào, hệ thống tính tốn giá trị lỗi.
Bắt đầu từ tầng đầu ra, giá trị lỗi đƣợc lan truyền ngƣợc qua mạng, từ tầng này qua tầng khác (phía trƣớc), cho đến tầng đầu vào.
Việc lan truyền ngƣợc lỗi (Error back-propagation) đƣợc thực hiện thơng qua việc tính tốn (một cách truy hồi) giá trị gradient cục bộ của mỗi nơ ron.
34
Xét một mạng nơ-rơn 3 lớp: lớp đầu vào (input), lớp ẩn (hidden), lớp đầu ra
(output).
Hàm kích hoạt của các nơ-ron: logistic sigmoid
Hàm lỗi :
Với t: đầu ra mong muốn z: đầu ra thực tế.
Hình 2.3: Mạng nơ ron 3 lớp
+ Đạo hàm riêng của hàm lỗi theo trọng số b:
E b
Ta cĩ :
download by : skknchat@gmail.com Đặt Khi đĩ ta đƣợc: Nơ ron tầng ẩn : y = g(u) d u a 0 xiai i 1
Đạo hàm riêng của hàm lỗi theo trọng số a:
E Ta cĩ : y E zi vi y y u u aj Đặt q E ypi bi y u Ta được : E q i 0 0 a qx i i i 36
(2-10) (2-11) (2-12) (2-13) (2-14) (2-15) (2-16) (2-17) (2-18) (2-19) (2-20) (2-21) (2-22) download by : skknchat@gmail.com
Sau khi tính đƣợc đạo hàm riêng của hàm lỗi theo từng trọng số.Trọng số sẽ đƣợc điều chỉnh bằng cách trừ bớt 1 lƣợng bằng tích của đạo hàm riêng và tốc độ học:
wi wi