Cho không gian các mẫu học (x, t) là giá trị cần huấn luyện; t là giá trị kết quả đích (đầu ra mong muốn) của quá trình huấn luyện. Hệ số học η. Qui định chỉ số lớp là
tăng dần từ lớp đầu vào đến lớp đầu ra. Thuật giải lan truyền ngược được tóm tắt như sau:
(1). Tạo mạng truyền thẳng có nin Nơron đầu vào, nhiden Nơron trên mỗi lớp ẩn và h lớp ẩn trong mạng, với nout đầu ra.
(2). Khởi tạo bộ trọng cho mạng với giá trị nhỏ (3). Trong khi <điều kiện kết thúc chưa thoả> làm :
Với mỗi cặp (x, t) trong không gian mẫu huấn luyện thực hiện:
• Xét lớp nhập (*): truyền x qua mạng, tại mỗi lớp xác định đầu ra của mỗi Nơron. Quá trình này được thực hiện đến lớp xuất dựa theo cấu trúc mạng cụ thể.
• Xét lớp xuất: đối với đầu ra ok của Nơron k trong lớp xuất K, xác định sai số σ =k ok(1−o tk)(k −ok).
Chuyển sang lớp ẩn L kế nó, đặt L=K-1
• Xét các lớp ẩn (**): với mỗi Nơron l trên lớp ẩn thứ L, xác định sai số 1 (1 ) l l l il i i L o o w σ σ ∈ + = − ∑ • Cập nhật lại trọng số có trong mạng, wji wji = wji + Δwji với wji = ησjoji
• Nếu (L>1) thì: chuyển sang lớp ẩn trên nó : L=L-1 và quay lại bước (**)
Ngược lại: chọn cặp (x, t) mới trong không gian mẫu học, quay lại bước
Tóm lại, giá trị sai số được tính đầu tiên cho các nơron ở lớp xuất, kết quả này được dùng để tính sai số của các nơron ở lớp ẩn cao nhất, và lớp ẩn kết tiếp thì tính theo kết quả của lớp ẩn cao hơn nó.Cứ thế lan truyền cho đến lớp nhập.
Sau đây là một số chú ý trong việc huấn luyện mạng lan truyền thẳng 3 lớp: Việc khởi tạo trọng số: Bởi vì quá trình huấn luyện cho mạng là một quá trình lặp lại nhiều lần việc học trên tập mẫu. Mỗi lần học, ta cho mạng thực hiện việc ánh xạ các mẫu đầu vào qua một hàm truyền, sau đó tính toán sai số và cập nhật lại trọng số với mục đích là làm sao cho sai số ngày một giảm, tức mạng thực hiện ngày một tốt hơn.Tuy nhiên bởi vì lúc đầu tiên trọng số chưa có nên ta phải tiến hành khởi tạo bộ trọng.
Hệ số học: Về nguyên tắc, hệ số học chỉ cần đủ nhỏ để đảm bảo sự hội tụ của mạng, giá trị của nó chỉ để xác định tốc độ mà mạng đạt được một cực tiểu của hàm đánh giá. Tuy nhiên, trong thực tế, bởi vì mạng hiếm khi được huấn luyện đầy đủ để đạt tới cực tiểu lỗi huấn luyện, nên hệ số học có thể ảnh hưởng khả năng của mạng. Thông thường ta chọn hệ số học là một số dương nhỏ hơn 1.
B.Một số thuật toán chính, cài đặt và hướng dẫn sử dụng
B.1 Một số thuật toán chính: