Mạng này có thế dùng để nhận dạng mẫu và tổng quát hơn là xấp xỉ hàm nhiều biến.
b) Thuật toán huấn luyện lan truyền ngược (Back-Propagation)
Huấn luyện mạng nơron là xác định các trọng số kết nối cho các liên kết của mỗi nơron. Quá trình xác định các trọng số này gọi là quá trình huấn luyện. Mục này trình bày phương pháp truyền ngược sai số để xác định các trọng số kết nối nhờ thuật tốn Gradient cực tiểu hố sai số trung bình phương (Least-Mean Square).
Ta xét một mạng 2 tầng như hình 1.13. Mạng này có các tín hiệu vào vơ hướng {x0,x1...,xn} trong đó x0 = -1. Tầng ẩn có j nơron với tín hiệu ra của chúng là
{z1...,zn} và tín hiệu z0 = -1 chuyển đến các nơron tầng ra. Tầng ra có M nơron với
đầu ra tương ứng là {y1,...,yM}. Mạng này dùng để xấp xỉ hàm có giá trị véc tơ M chiều y = (y1,...,yM) của n biến.
Giả sử ta có các giá trị của y tại các điểm x thuộc tập X với y(xk)=dk xkX.
Ta chia ngẫu nhiên tập X thành 2 tập: tập huấn luyện Xh và tập kiểm tra Xt. Thường tập huấn luyện có số lượng gấp đơi tập kiểm tra. Q trình huấn luyện có thể thực hiện theo mớ hoặc theo từng dữ liệu, để đơn giản ta xét thuật toán huấn luyện theo từng dữ liệu.
Ta xét nơron m của tầng ra có trọng số liên kết hiện thời với nơron j của
tầng ẩn là c m j
w , và đầu ra ym. Nơron j của tầng ẩn có trọng số kết nối hiện thời với nút vào i là c
j i
w, . Ký hiệu 0 là hàm chuyển của nơron tầng ra và h là hàm chuyển của nơron tầng ẩn, ta có các quy tắc học cho tầng ra và tầng ẩn như sau.