wi(t+1)=wi(t)+ηfr(wi(t),x(t),di(t))x(t) (a)
Công thức tập trung vào việc sửa đổi trọng số có miền giá trị rời rạc, và bản sao của nó cho việc sửa đổi các trọng số có miền giá trị liên tục được xác định như sau:
dwi(t)/d(t) = η r x(t) (b)
Với hai công thức (a) và (b), các trọng số sẽ được khởi tạo (ví dụ: khởi tạo ngẫu nhiêns) trước khi thực hiện quá trình học.
Trên cơ sở luật học tổng quát trong công thức, nhiều luật huấn luyện và học các trọng số có giám sát và không giám sát đã được xây dựng.
A.6.2.4 Hàm truyền:
Có nhiều loại hàm truyền khác nhau, nhưng chúng ta thường sử dụng loại hàm truyền dạng S , chúng có điểm chung là đồ thị hàm truyền có dạng chữ S. Một hàm S(u) là một hàm truyền dạng S nếu nó thoả:
• S (u) là hàm bị chặn .Nghĩa là các giá trị của S (u) không bao giờ được vượt quá chặn trên cũng như không bao giời thấp hơn chặn dưới, với mọi giá trị của u.
• S (u) là hàm đơn điệu tăng. Giá trị của S (u) luôn tăng khi giá trị của u tăng: nghĩa là nó phải tăng đều đặn. Do tính chất thứ nhất – S (u) bị chặn -nên ta thấy khi u tăng, S (u) cũng lớn dần nhưng không bao giờ vượt quá cận trên; vì vậy nó tiệm cận đường giới hạn là chặn trên .Tương tự khi u nhỏ dần, S (u) tiệm cận giới hạn là chặn dưới của hàm.
• S (u) là hàm liên tục và trơn.Vì hàm S (u) liên tục nên nó không có khe và góc cạnh. Do tính liên tục trơn, hàm có đạo hàm và độ dốc của nó rõ ràng và phân biệt tại từng điểm.
Mọi hàm thoả mãn 3 tính chất trên đều có thể được sử dụng là hàm truyền trong mạng.Trong thực tế hàm logistic f(x) thường được sử dụng rộng rãi. Nó có miền giá trị nằm trong khoảng [0, 1]. Nó có công thức:
1 ( ) 1 x f x e− = +
trong đó e là cơ số của logarit tự nhiên. Hằng số e có giá trị khoảng 2.71828 .Tuy nhiên hằng số e trong mẫu số không phải bắt buộc; bất cứ hằng số nào lớn hơn 1 cũng đều có thể được. Hằng càng lớn hàm số f(x) càng mau tiếp cận các cận của nó; ngược lại, hằng số càng nhỏ, hàm số càng chậm tiếp cận các cận.
Hình A.6.2.4 - 1: Một số dạng hàm dùng trong ánh xạ từ đầu vào -> đầu ra