Trong đó:
: là số dương còn được gọi là hằng số học, xác định tốc độ học.
r: là tín hiệu học, r fr(wi,x,di). (3.8)
Hình 3.16 mô tả cấu trúc chung quá trình học của ba phương pháp học đã nêu trên. Trong đó tín hiệu vàoXjvới j1,2,3,...,m, có thể được lấy từ đầu ra của các
nơron khác hoặc được lấy từ bên ngoàị Thông số ngưỡng icó thể được bao trong
việc học như là một trọng số thứ m: Wimcủa tín hiệu vào có giá trị Xm 1, tín hiệu mong muốndichỉ có sẵn trong phương pháp học có giám sát hoặc học củng cố.
Dạng tổng quát của luật học trọng số của mạng nơron cho biết gia số của véctơ wilà
i w
tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t).
wi(t).r.x(t) (3.9)
Từ (3.9) là biểu thức để tính số gia của trọng số, ta thấy véctơ trọng số
T im i
i
i w w w
w ( 1, 2,..., ) có gia số với tỷ lệ của tín hiệu vào x và tín hiệu học r. Từ các
biểu thức trên ta có véctơ trọng số ở thời điểm (t+1) được tính là.
)) ( ) ( ), ( ), ( ( . ) ( ) 1 (t w t f w t x t d t x t wi i r i i (3.10)
Với chỉ số trên là thời điểm tính toán. Phương trình liên quan đến sự thay đổi trọng số trong mạng nơron rời rạc và tương ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức.
( ) .r.x(t)
dt t
dwi (3.11)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng số có trọng số mạng nơron.
3.3.3. Mô hình toán học mạng nơron truyền thẳng và mạng nơron hồi quy quy
3.3.3.1. Mạng nơron truyền thẳng
a, Mạng truyền thẳng một lớp
Là mô hình liên kết cơ bản và đơn giản nhất. Các nơron tổ chức lại với nhau tạo thành một lớp, tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào được nối với các nơron theo trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi các tín hiệu đầu rạ