Huấn luyện mạng là quá trình mạng học từ tập dữ liệu mẫu. Qua mỗi lần lặp, các trong số trong mạng đƣợc thay đổi sao cho lỗi thu đƣợc là ít nhất. Kết thức huấn luyện ta thu đƣợc tập các trọng số cho mạng. Tập trọng số này thể hiện tính khái quát của mạng. Thuật toán lan truyền ngƣợc là thuật toán phổ biến nhất đƣợc sử dụng trong huấn luyện mạng. Thuật toán không đảm bảo để mạng đạt tới điểm cực tiểu toàn cục, thuật toán có thể mắc kẹt ở điểm cực tiểu cục bộ.
Trong quá trình huấn luyện mạng, chúng ta cần chú ý tới điều kiện dừng huấn luyện và hằng số học.
3.9.1. Điều kiện dừng huấn luyện
Từ thuật toán lan truyền ngƣợc cho ta thấy có 2 điều kiện dừng huấn luyện. Một là số lần lặp huấn luyện trên bộ dữ liệu và sai số lỗi tối đa cho phép. Vậy số lần lặp bao nhiêu là đủ, sai số tối đa cho phép bao nhiêu là tốt nhất cho mạng. Nelson và Illingworth[16] trong kết quả nghiên cứu về vấn đề huấn luyện mạng đã nhận định rằng cần phải xác định điểm dừng huấn luyện phù hợp để tránh việc học quá mức của mạng.
Sử dụng điều kiện chỉ dừng học khi mạng đạt đƣợc sai số lỗi tối đa cho phép. Điều này khó thực hiện vì nhiều lúc mạng chỉ dừng lại ở điểm cực bộ địa phƣơng và sai số của mạng không có sự thay đổi sau mỗi lần lặp.
Rất Mạnh 1 0 0.2 0.4 0.6 0.8 Mạnh Yếu Bình thƣờng Rất yếu
39 Sử dụng điều kiện số lần lặp trên bộ dữ liệu học thì khó để xác định mạng đã đạt tới khả năng gần cao nhất hay chƣa. Nếu số vòng lặp nhỏ, mạng sẽ học chƣa đủ, dẫn đến khả năng tổng quát của mạng bị giảm sút. Nếu số lần lặp lớn gây ảnh hƣớng tới thời gian huấn luyện của mạng.
Có một số phƣơng pháp khác nhƣ kiểm tra khả năng của mạng trên tập dữ liệu đánh giá trong quá trình huấn luyện. Hay xây dựng module giám sát sai số E của mạng. Để đánh giá mạng sau mỗi lần lặp trên bộ dữ liệu sẽ kéo dài thời gian huấn luyện và kết quả đánh giá ở những bƣớc đầu là không cần thiết. Một cách khác là xây dựng module gián sát sai số của mạng trong quá trình học. Mạng sẽ dừng khi sai số không thay đổi sau lần huấn luận. Với cách này khi mạng rơi vào điểm cự bộ địa phƣơng thì mạng thu đƣợc sau quá trình huấn luyện chƣa phải là mạng tối ƣu nhất. Trong ứng dụng của luận văn, điều kiện dừng huấn luyện đƣợc xác định qua số lỗi của mạng đạt đƣợc và số lần lặp tối đa trên bộ dữ liệu. Bằng việc kiểm tra mạng trên các kết quả thực nghiệm để xác định đƣợc các thông số trên.
3.9.2. Tốc độ học
Tốc độ học trong mạng nhận giá trị trong khoảng [0-1]. Tốc độ học thƣờng đƣợc gán nhƣ nhau cho tất cả các nơ ron trong mạng. Trong quá trình huấn luyện tốc độ học càng cao thì các trọng số trong mạng thay đổi lớn dần, điều này làm mạng không ổn định. Ngƣợc lại tốc độ học quá thấp, thì sự thay đổi trọng số chậm. Điều này làm cho thời gian đào tạo mạng bị chậm lại.
Hầu hết các chƣơng trình mô hình mạng đều để mạc định giá trị này. Tốc độ học đƣợc xét thƣờng nằm trong khoảng [0.1 – 0.9].