6. Bố cục luận văn
2.3.3. Thuật toán lan truyền ngược
Trong phần này luận văn sẽ trình bày một cách tiếp cận học rất hiệu quả, đó là suy rộng của thuật toán LMS. Sự mở rộng này chính là thuật toán lan truyền ngược, thường được dùng để huấn luyện mạng nhiều lớp. Theo luật học LMS, lan truyền ngược là một thuật toán xấp xỉ xuống dốc từng bước, trong đó đặc trưng thực hiện là sai số bình phương trung bình (MSE). Sự khác nhau giữa thuật toán LMS và lan truyền ngược chỉ là cách tính đạo hàm. Với mạng tuyến tính một lớp, sai số là một hàm hiện tuyến tính của các trọng số mạng, đạo hàm của nó với các trọng số được tính dễ dàng. Trong mạng nhiều lớp với hàm kích hoạt phi tuyến, quan hệ giữa các trọng số mạng và sai số là rất phức tạp. Để tính các đạo hàm, ta cần sử dụng các luật chuỗi của các phép tính. Thực tế đây là một phần rất lớn được trình bày trong phần này.
Luật học perceptron của Frank Rosenblatt và thuật toán LMS của Bernard Widrow và Marcian Hoff được thiết kế để huấn luyện các mạng một lớp kiểu perceptron. Như đã trình bày ở phần trước, các mạng một lớp này chịu một bất lợi đó là chúng chỉ có khả năng giải quyết các vấn đề phân lớp tuyến tính. Cả Rosenbatt và Widrow đã nhận thấy những hạn chế này và đề xuất mạng nhiều lớp có thể khắc phục chúng, nhưng họ không đề xuất được thuật toán để huấn luyện các mạng quá mạnh này.
Nhìn bên ngoài thoạt đầu mô tả về một thuật toán huấn luyện mạng nhiều lớp chứa đựng luận điểm của Paul Werbos năm 1974. Luận điểm này biểu diễn thuật toán trong ngữ cảnh của mạng tổng quát, với các mạng nơron như một trường hợp đặc biệt, và không được phổ biến trong mạng nơron. Đến giữa những năm 1980 thuật toán lan truyền ngược được khám phá và công bố rộng rãi. Nó được David Parker, Geoffrey Hinton và Ronald Williams khai phá lại một cách độc lập. Thuật toán này nổi tiếng bởi kết luận của nhà tâm lý học David Rumelhart và James Mc Clelland trong quyển sách Parallel Distributed Processing [13]. Mạng perceptron nhiều lớp và thuật toán lan truyền ngược hiện nay được dùng rất rộng rãi trong mạng nơron.