Để minh họa, tỏc giả đề xuất cấu trỳc mạng nơ ron để nhận dạng cỏc chữ số: 0, 1, 2,...,9. Trong đú hàm sigmoid đƣợc sử dụng làm hàm kớch hoạt. Vớ dụ này sẽ theo chỳng ta qua cỏc chƣơng của luận ỏn. Cũng xin đƣợc núi, nhận dạng chữ số cú thể khụng sinh ra hàm mục tiờu cú dạng lũng khe. Nhƣng ở đõy, để thuận lợi cho quỏ trỡnh minh họa, tỏc giả chọn vớ dụ này và chọn hàm kớch hoạt là hàm sigmoid với mục đớch để sinh ra mặt sai số cú dạng lũng khe [4].
Để biểu diễn cỏc chữ số, chỳng ta sử dụng một ma trận 57 =35 để mó húa cho mỗi ký tự. Tƣơng ứng với mỗi vectơ đầu vào x là một vectơ cú kớch thƣớc 351, với cỏc thành phần nhận cỏc giỏ trị hoặc 0 hoặc 1.Nhƣ vậy, ta cú thể lựa chọn lớp nơron đầu vào cú 35 nơron. Để phõn biệt đƣợc mƣời ký tự, chỳng ta cho lớp đầu ra của mạng là 10 nơron. Đối với lớp ẩn ta chọn 5 nơ ron, ta đƣợc cấu trỳc mạng nhƣ
hỡnh 1.5, trong đú:
- Vộc tơ đầu vào x, kớch thƣớc 351 - Vộc tơ đầu ra lớp ẩn y, kớch thƣớc 51 - Vộc tơ đầu ra lớp ra z, kớch thƣớc 101
- Ma trận trọng số lớp ẩn: W1,1, kớch thƣớc 355 - Ma trận trọng số lớp ra: W2,1, kớch thƣớc 510
26 Hàm f đƣợc chọn là hàm sigmoid vỡ thực tế hàm này cũng hay đƣợc dựng cho mạng nơron nhiều lớp và hơn nữa do đặc điểm của hàm sigmoid rất dễ sinh ra mặt sai số cú dạng lũng khe hẹp. Phƣơng trỡnh của hàm sigmoid là: f 1 / (1 exp(-x))
Hàm sai số sử dụng cho luyện mạng: 2
0.5* z t
J với z là đầu ra của nơron lớp ra và t là giỏ trị đớch mong muốn.
Hỡnh 1.6 trỡnh bày kết quả của quỏ trỡnh luyện mạng cho bài toỏn nhận dạng chữ với cỏc kỹ thuật lan truyền ngƣợc sai số theo phƣơng phỏp Batch Gradient Descent (traingd), Batch Gradient Descent with Momentum (traingdm), Variable Learning Rate (traingda, traingdx). Cỏc phƣơng phỏp này đều đƣợc tớch hợp trờn Neural Network Toolbox của Matlab. Nhỡn chung cỏc phƣơng phỏp đều cho kết quả khỏ tốt, tuy nhiờn để đạt đƣợc độ chớnh xỏc nhƣ mong muốn thỡ thời gian cần thiết cho luyện mạng là khỏ lớn. Thậm chớ cú trƣờng hợp tớn hiệu lỗi hầu nhƣ thay đổi rất ớt qua cỏc chu kỳ luyện mạng.