Mạng nơron sử dụng hai nhóm luật học: thông số (parameter learning rules) và cấu trúc (structure learning rules).
+ Học cấu trúc: Có nhiệm vụ đưa ra cấu trúc hợp lý của mạng như thay đổi số lượng nơron hoặc thay đổi số lượng liên kết của các nơron trong mạng.
+ Học thông số: có nhiệm vụ tính toán cập nhật giá trị của trọng số liên kết wij, các tham số kích hoạt ặ).
Hai cách học trên có thể kết hợp được áp dụng đồng thời với nhau gọi là các luật học lai (hybrid learning rules) học cả thông số và cấu trúc, hoặc được áp dụng riêng rẽ.
Giả thiết mạng nơron có: Cấu trúc của mạng nơron gồm số lượng lớp nơron, số lượng nơron và cách thức liên kết của các trọng số có trong mạng đã hợp lý; Ma trận trọng số đã bao gồm tất cả các phần tử thích hợp.
Nhiệm vụ của học thông số là đưa ra phương pháp nào đó để tìm ma trận trọng số điều chỉnh từ ma trận trọng số tùy chọn ban đầu với cấu trúc của mạng nơron đã được xác định từ trước, thỏa mãn điều kiện sai lệch trong phạm vi cho phép.
Để làm điều đó, mạng nơron phải có phương pháp thích ứng để tính toán được các ma trận trọng số điều chỉnh w đặc trưng cho mạng. Phương pháp đó gọi là quá trình học, được thực hiện có hoặc không có tín hiệu để so sánh:
1.3.4.1. Học có giám sát
Cho trước p cặp tập mẫu tín hiệu vào – ra: (x(1), d(1)), ..., (x(k), d(k)), ..., (x(p), d(p)), với x là vector tín hiệu mẫu đầu vào x = (x(1), x(2), ..., x(p))T; và d là vector tín hiệu đầu ra mong muốn d = (d(1), d(2), ..., d(p))T.
Khi đưa một mẫu tín hiệu vào là x(k) vào đầu vào của mạng nơron, ở đầu ra có tín hiệu ra y(k) tương ứng. Sai lệch giữa hai vector tín hiệu d và y có nhiệm vụ điều chỉnh vector trọng số W của mạng nơron sao cho vector tín hiệu ra y của mạng bám theo được vector tín hiệu mong muốn d (giảm thiểu sai lệch giữa chúng). Kiểu học có giám sát được minh họa như Hình 1.12.
Hình 1.12. Sơ đồ mạng nơron học có giám sát
1.3.4.2. Học củng cố
Trong quá trình học giám sát, ở một mẫu vào ra nào đó cho rằng kết quả không tin cậy, vì vậy cần phải tiến hành kiểm tra lại mẫu nói trên. Kiểu học này được gọi là kiểu học củng cố được thể hiện qua hình 1.13.
Hình 1.13. Sơ đồ mạng nơ ron học củng cố
1.3.4.3. Học không giám sát
Kiểu học này có đặc điểm là không có tín hiệu lấy từ bên ngoàị Mạng phải tự tìm ra các mẫu, nét đặc trương, sự tương thích, phân loại trong dữ liệu đầu vào và mã hóa thành các mẫu ở đầu rạ
Trong quá trình học không giám sát hình 1.14 nếu mạng không thay đổi thông số của nó thì được gọi là tự tổ chức.
Hình 1.14. Sơ đồ mạng nơ ron học không giám sát
1.3.4.4. Dạng chung của học thông số
Hình 1.15 trình bày luật học thông số dạng cơ bản nhất cho nơron thứ ị Trong đó thành phân thông số ngưỡng có thể thay thế bằng phần tử thứ m của vector đầu vào thứ m, xm = -1 được kết nối bởi trọng số wim = bi.
Hình 1.15. Luật học thông số dạng cơ bản
Yêu cầu đối với hai kiểu học có giám sát và học củng cố: Cần phải có
tín hiệu mong muốn di, các trọng số của nơron thứ i được điều chỉnh theo các giá trị của tín hiệu vào, tín hiệu đầu ra và tín hiệu đầu ra mong muốn của nó.
Yêu cầu đối với kiểu học không giám sát: Trọng số của nơron thứ i chỉ
phụ thuộc vào giá trị của sự kết hợp cảu tín hiệu đầu vào and/or với tín hiệu đầu rạ
Nói chung các luật học có thông số (trọng số) đều có sự thay đổi giá trị của vector trọng số liên kết của nơ ron thứ i là wi tại thời điểm t tỷ lệ với tín hiệu học r và tín hiệu vào x(t).
Wi(t) = .r.x(t) (1.32)
Trong đó: Wi(t) chênh lệch trong cần cập nhật
là một số dương gọi là hằng số học, thể hiện tốc độ học của mạng, thông thường 0<<1.
r tín hiệu học thông thường phụ thuộc vào wi, x và di , thường là sai lệch giữa đích và đầu ra
r = fr(Wi, x, di) (1.33) x(t) tín hiệu vào
Biểu thức tính vector trọng số của nơ ron thứ i tại (t+1) là: Wi(t+1) = Wi(t) + . fr((Wi(t), x(t), di(t)). x(t)