b. Mạng perceptron nhiều lớp
Mạng perceptron nhiều lớp (Multilayer Perceptron –MLP)[3] còn đƣợc gọi là mạng truyền thẳng nhiều lớp là sự mở rộng của mô hình mạng perceptron với sự bổ sung thêm những lớp ẩn và các nơ-ron trong các lớp ẩn này có hàm chuyển (hàm kích hoạt) dạng phi tuyến. Mạng MLP có một lớp ẩn là mạng nơ-ron nhân tạo đƣợc sử dụng phổ biến nhất, nó có thể xấp xỉ các hàm liên tục đƣợc định nghĩa trên một miền có giới hạn cũng nhƣ những hàm là tập hợp hữu hạn của các điểm rời rạc.
c. Giải thuật lan truyền ngƣợc[3]
Giải thuật học theo phƣơng pháp lan truyền ngƣợc sai số do Rumelhart và các cộng sự đề xuất là một trong số những kết quả nghiên cứu quan trọng nhất đối với sự phát triển của mạng nơ-ron nhân tạo. Thuật toán này đƣợc áp dụng cho mạng truyền thẳng nhiều lớp trong đó các nơ-ron có thể sử dụng các hàm chuyển là các hàm liên tục có các dạng khác nhau.
Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào - đầu ra để luyện mạng. Với mỗi cặp đầu vào - đầu ra (x(k)
,d(k)) thuật toán lan truyền ngƣợc sai số thực hiện hai giai đoạn sau:
• Giai đoạn thứ nhất, mẫu đầu vào x(k)
đƣợc truyền từ lớp vào tới lớp ra, và ta có kết quả đầu ra tính toán đƣợc là y(k)
• Giai đoạn tiếp theo, tín hiệu lỗi đƣợc tính toán từ sự khác nhau giữa đầu ra quan sát đƣợc d(k)
với đầu ra tính toán y(k) sẽ đƣợc lan truyền ngƣợc lại từ lớp ra đến các lớp trƣớc để điều chỉnh các trọng số của mạng. Để làm ví dụ ta xét mạng truyền thẳng có một lớp ẩn dƣới đây, đối với các mạng có kích thƣớc lớn hơn thì thao tác cũng tƣơng tự.
Mạng nơ-ron đƣợc xét có m nơ-ron ở lớp vào, l nơ-ron trong lớp ẩn và n nơ- ron ở lớp ra. Đƣờng kẻ liền thể hiện luồng tín hiệu đƣợc truyền từ đầu vào tới đầu ra còn các đƣờng kẻ nét đứt thể hiện luồng tín hiệu lỗi đƣợc truyền ngƣợc trở lại từ đầu ra.
Hình 2.7: Lan truyền tín hiệu trong quá trình học theo phƣơng pháp lan truyền ngƣợc sai số
Chúng ta xét một cặp đầu vào - đầu ra để luyện mạng (x,d), để đơn giản chúng ta bỏ ký hiệu mũ k thể hiện số thứ tự của cặp mẫu này trong bộ mẫu dùng để luyện mạng. Khi đƣa vào đầu vào x, nơ-ron thứ q trong lớp ẩn sẽ nhận tín hiệu vào của mạng là:
𝑛𝑒𝑡𝑞 = 𝑣𝑞𝑗𝑥𝑗 𝑚
𝑗 =1
(2.8)
Nơ ron q ở lớp ẩn sẽ tính toán và tạo kết quả ở đầu ra của nó là:
𝑧𝑞 = 𝑔 𝑛𝑒𝑡𝑞 = 𝑔 𝑣𝑞𝑗𝑥𝑗 𝑚
𝑗 =1
(2.9)
Do đó tín hiệu vào của nơ-ron thứ i trên lớp ra sẽ là:
𝑛𝑒𝑡𝑖 = 𝑤𝑖𝑞𝑧𝑞 𝑙 𝑞=1 = 𝑤𝑖𝑞 𝑙 𝑞=1 𝑔 𝑣𝑞𝑗𝑥𝑗 𝑚 𝑗 =1 (2.10)
Tín hiệu đầu ra của nơ-ron i trên lớp ra sẽ là:
𝑦𝑖 = 𝑔 𝑛𝑒𝑡𝑖 = 𝑔 𝑤𝑖𝑞𝑧𝑞 𝑙 𝑞=1 = 𝑔 𝑤𝑖𝑞 𝑙 𝑞=1 𝑔 𝑣𝑞𝑗𝑥𝑗 𝑚 𝑗 =1 (2.11)
Công thức trên cho biết quá trình lan truyền tín hiệu từ đầu vào qua lớp ẩn tới đầu ra. Tiếp theo chúng ta xét tín hiệu lỗi đƣợc lan truyền ngƣợc lại từ lớp ra. Trƣớc hết, đối với mỗi cặp giá trị vào – ra chúng ta xây dựng một hàm chi phí nhƣ sau:
𝐸 𝑤 = 1 2 𝑑𝑖 − 𝑦𝑖 2 𝑛 𝑖=1 = 1 2 𝑑𝑖 − 𝑔(𝑛𝑒𝑡𝑖) 2 𝑛 𝑖=1 =1 2 𝑑𝑖 − 𝑔 𝑤𝑖𝑞𝑧𝑞 𝑙 𝑞=1 2 𝑛 𝑖=1 (2.12)
Nhƣ vậy với một tập gồm p mẫu học, chúng ta lần lƣợt xây dựng đƣợc p hàm chi phí nhƣ vậy. Việc học của mạng hay nhiệm vụ của giải thuật thực chất là tìm kiếm tập trọng số W trong không gian RM
(M là số trọng số có trong mạng) để lần lƣợt tối thiểu hoá các hàm chi phí nhƣ vậy. Điều đáng chú ý là việc tối thiểu hoá đƣợc tiến hành liên tiếp nhau và theo chu kỳ đối với các hàm chi phí.
Để tối thiểu hoá các hàm chi phí nhƣ vậy, giải thuật lan truyền ngƣợc sai số sử dụng phƣơng pháp giảm gradient để điều chỉnh các trọng số liên kết giữa các nơ-ron. Bản chất của phƣơng pháp này là khi sai số E đƣợc vẽ nhƣ hàm của tham số gây ra sai số sẽ phải có một cực tiểu tại bộ giá trị nào đó của tham số. Khi quan sát độ dốc của đƣờng cong, chúng ta quyết định phải thay đổi tham số thế nào để có thể tiến gần đến cực tiểu cần tìm kiếm hơn. Trong hình vẽ dƣới đây, giá trị của trọng số phải giảm nếu đạo hàm dE/dW là dƣơng