Mạng nơron BP (back propagation) là một loại mạng chuyển tiếp điển hình bao gồm lớp đầu vào, lớp ẩn và lớp đầu ra. Nĩ cĩ thể được sử dụng để mơ hình hĩa mối quan hệ phức tạp giữa đầu vào và đầu ra hoặc để tìm các mẫu trong dữ liệu. Trong mơ hình được giám sát, thuật tốn lan truyền ngược lỗi được sử dụng để huấn luyện MLP (nhận thức nhiều lớp) là mạng chuyển tiếp dữ liệu đa lớp đơn giản nhất của mạng nơ-ron. Dựa trên phương pháp này, mạng nơ-ron BP được thiết lập. Hình 6.1 cho thấy kiến trúc của mạng nơ-ron BP ba lớp.
Hình 6.1 Mạng nơ ron BP 3 lớp [15]
Khi một mẫu được nhập vào, các đơn vị trên mỗi lớp sẽ thực hiện phép tính từ trước đến sau (thuật tốn chuyển tiếp):
𝑛𝑒𝑡𝑗 = ∑ 𝑤𝑗 𝑖𝑗. 𝑂𝑖, 𝑂𝑗 = 𝑓(𝑛𝑒𝑡𝑗) (1)
Bản chất của thuật tốn BP là thu được vấn đề nhỏ nhất của hàm lỗi. Thuật tốn này sử dụng phương pháp suy giảm nhanh trong lập trình phi tuyến và điều chỉnh hệ số trọng số theo hướng gradient âm của hàm lỗi. Để minh họa thuật tốn BP, Ep được ước lượng bởi hàm lỗi là bình phương của sự khác biệt giữa đầu ra mong muốn và đầu ra thực tế. tpk đại diện cho giá trị đầu ra lý tưởng, Oo
pk là giá trị đầu ra thực tế:
𝐸𝑝 = 1
2∑ (𝑡𝑘 𝑝𝑘− 𝑂𝑝𝑘𝑜 )2 (2)
Trong số đĩ, k biểu thị đơn vị của đầu ra, p biểu thị mẫu đầu vào thứ p.
Để tránh các giá trị cực tiểu cục bộ, phương pháp xung lượng bổ sung được đưa vào mạng nơron BP. Phương pháp xung lượng bổ sung dựa trên phương pháp BP, bản chất của nĩ là chuyển ảnh hưởng của sự thay đổi trọng lượng cuối cùng qua một hệ số xung lượng. Nĩ sửa đổi từng biến thể trọng lượng bằng cách thêm một giá trị phụ tỷ lệ với giá trị cũ để tạo ra biến thể trọng lượng mới theo phương pháp BP.