L ời mở đầu
5.4.4. Phương pháp tăng khả năng tổng quát của mạng
Một trong những vấn đề xuất hiện trong việc huấn luyện mạng neural được gọi là quá khớp. Lỗi trong tập huấn luyện cĩ giá trị rất nhỏ nhưng khi đưa dữ liệu mới vào mạng thì lỗi lại quá lớn. Nghĩa là mạng cĩ khả năng nhớ những tập huấn luyện rất tốt nhưng chưa cĩ khả năng tổng quát đối với dữ liệu mới.
Hình sau thể hiện đáp ứng của mạng neural 1-20-1 được huấn luyện để xấp xỉ 1 hàm sin. Mạng như vậy sẽ quá khớp với dữ liệu và khơng cĩ khả năng tổng quát.
Hình 5.13: Trường hợp quá khớp
Cĩ rất nhiều phương pháp để giải quyết vấn đề này, trong đĩ phương pháp ngừng học sớm được xem là phương pháp hiệu quả nhất.
¾ Phương pháp ngừng học sớm
Phương pháp này dùng 3 tập mẫu, một tập dùng để huấn luyện, một tập dùng để kiểm tra và một tập dùng để thử lại. Trong quá trình học tập mẫu huấn luyện thì lỗi của tập mẫu kiểm tra cũng được giám sát. Trong quá trình học tập thì lỗi của tập huấn luyện và kiểm tra đều giảm nhưng đến một lúc nào đĩ thì lỗi của tập huấn luyện bắt đầu tăng lên, lúc này xảy ra việc mạng neural bắt đầu quá khớp với tập huấn luyện. Chính vì vậy ta cho dừng quá trình huấn luyện, thì tại thời điểm này, ta cĩ mạng neural cĩ khả năng tổng quát nhất, lúc này lỗi của tập thử lại ( khơng cĩ trong tập huấn luyện và tập kiểm tra) là lỗi của một dữ liệu mới.
Hình 5.14: Hàm xấp xỉ khi mạng ngừng học sớm.
5.4.5. Huấn luyện mạng lan truyền ngược:
Việc huấn luyện cĩ ý nghĩa quyết định đến độ chính xác cũng như sự thành cơng của chương trình. Kích thước của tập mẫu, số neural của lớp ẩn, khả năng tổng quát hĩa để tránh trường hợp quá khớp của mạng cũng cần được cân nhắc và tính tốn kỹ lưỡng để tăng độ chính xác của quá trình nhận dạng ký tự.
Để tăng khả năng tổng quát của neural, ta sẽ cĩ 3 tập mẫu: một tập để huấn luyện, một tập để kiểm tra, một tập để thử lại. Trong quá trình học, khi hàm lỗi của tập kiểm tra bắt đầu tăng thì cho dừng học, thời điểm này, neural cĩ khả năng tổng quát, và lỗi của tập mẫu thử lại cũng chính là lỗi của 1 đối tượng bất kì nào đưa vào mạng.
Số lượng mẫu của các tập mẫu như sau:
¾ Tập mẫu huấn luyện gồm 30 mẫu cho mỗi ký tự số từ 0 đến 9. ¾ Tập mẫu dùng để kiểm tra gồm 5 mẫu cho mỗi ký tự.
¾ Tập mẫu dùng để thử lại gồm 5 mẫu cho mỗi ký tự.
Chương 6: MẠCH ĐIỀU KHIỂN