Mạng này có thế dùng để nhận dạng mẫu và tổng quát hơn là xấp xỉ hàm nhiều biến.
b) Thuật toán huấn luyện lan truyền ngược (Back-Propagation)
Huấn luyện mạng nơron là xác định các trọng số kết nối cho các liên kết của mỗi nơron. Quá trình xác định các trọng số này gọi là quá trình huấn luyện. Mục này trình bày phương pháp truyền ngược sai số để xác định các trọng số kết nối nhờ thuật toán Gradient cực tiểu hoá sai số trung bình phương (Least-Mean Square).
Ta xét một mạng 2 tầng như hình 1.13. Mạng này có các tín hiệu vào vô hướng {x0,x1...,xn} trong đó x0 = -1. Tầng ẩn có j nơron với tín hiệu ra của chúng là
{z1...,zn} và tín hiệu z0 = -1 chuyển đến các nơron tầng ra. Tầng ra có M nơron với đầu ra tương ứng là {y1,...,yM}. Mạng này dùng để xấp xỉ hàm có giá trị véc tơ M
chiều y = (y1,...,yM) của n biến.
Giả sử ta có các giá trị của y tại các điểm x thuộc tập X với y(xk)=dkxkX. Ta chia ngẫu nhiên tập X thành 2 tập: tập huấn luyện Xhvà tập kiểm tra Xt. Thường tập huấn luyện có số lượng gấp đôi tập kiểm tra. Quá trình huấn luyện có thể thực hiện theo mớ hoặc theo từng dữ liệu, để đơn giản ta xét thuật toán huấn luyện theo từng dữ liệu.
Ta xét nơron m của tầng ra có trọng số liên kết hiện thời với nơron j của tầng ẩn là c m j w , và đầu ra ym. Nơron j của tầng ẩn có trọng số kết nối hiện thời với nút vào i là c j i
w, . Ký hiệu 0 là hàm chuyển của nơron tầng ra và h là hàm chuyển của nơron tầng ẩn, ta có các quy tắc học cho tầng ra và tầng ẩn như sau.