Trong chƣơng 1, từ việc phõn tớch cỏc nhõn tố trong quỏ trỡnh học của mạng nơron, tỏc giả nhận thấy rằng, kết quả luyện mạng nơron phụ thuộc rất lớn vào giỏ trị ban đầu của vec-tơ trọng số và bƣớc học. Việc mạng sẽ hội tụ đến điểm tối ƣu toàn cục hay khụng nhiều khi cũn phụ thuộc vào sự may mắn do việc chọn giỏ trị khởi tạo là ngẫu nhiờn. Thờm nữa, việc lựa chọn bƣớc học sẽ bằng bao nhiờu để cú thể hội tụ hay ớt nhất là tăng tốc độ hội tụ là một cõu hỏi cũng đƣợc đặt ra, đặc biệt khi mặt lỗi cú dạng đặc biệt. Để minh chứng cho điều đú tỏc giả đó đƣa ra 2 vớ dụ: Ở vớ dụ 1, khi mặt lỗi dạng bỡnh thƣờng, sử dụng bộ cụng cụ trong Toolbox của Matlab để luyện mạng, mạng đó luyện thành cụng chỉ sau 65 bƣớc tớnh. Nhƣng đến vớ dụ thứ 2 về nhận dạng chữ viết tay thỡ thời gian luyện mạng lõu hơn rất nhiều, thậm chớ tớn hiệu lỗi cũn thay đổi rất ớt qua cỏc chu kỳ luyện mạng.
Để giải quyết vấn đề này, cần thiết phải tỡm ra một thuật toỏn hiệu chỉnh cỏc bƣớc học nhằm rỳt ngắn thời gian hội tụ của mạng đồng thời cũng trỏnh đƣợc vấn đề cực trị địa phƣơng.
39 Trong chƣơng 2, dựa vào những nhận xột đỏnh giỏ của chƣơng 1, tỏc giả sẽ giới thiệu về thuật toỏn vƣợt khe và đề xuất việc ỏp dụng thuật toỏn vƣợt khe trong quỏ trỡnh luyện mạng nơron.
40
CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRèNH LUYỆN MẠNG NƠRON
Túm tắt: Kỹ thuật lan truyền ngược là một phỏt minh chớnh trong nghiờn cứu về mạng nơron. Tuy nhiờn, thuật toỏn nguyờn thủy thỡ quỏ chậm đối với hầu hết cỏc ứng dụng thực tế; đặc biệt với cỏc bài toỏn cú mặt sai số dạng khe thỡ ngay cả với cỏc biến thể như gradient liờn hợp hay qui tắc mụ-men cũng tỏ ra yếu. Trong chương này sẽ trỡnh bày một thuật toỏn để tớnh bước học theo nguyờn lý vượt khe, thuật toỏn vượt khe, nhằm cải tiến tốc độ hội tụ của quỏ trỡnh tỡm kiếm nghiệm tối ưu và vấn đề cài đặt thuật toỏn này kết hợp với kỹ thuật lan truyền ngược trong bài toỏn luyện mạng nơron.