Bước tiếp theo cần thực hiện để tìm ra hệ thống nhận dạng tốt nhất là chọn một thuật toán huấn luyện mạng phù hợp nhất với hệ thống. Áp dụng những lý thuyết về thuật toán lan truyền ngược và các cải tiến đã trình bày ở trên, trong chương trình cũng đã thử nghiệm với hệ thống sử dụng các thuật toán: lan truyền ngược cơ sở (gd), lan truyền ngược có biến đổi hệ số quán tính (gdm), lan truyền ngược có biến đổi hệ số học (gda), lan truyền ngược kết hợp với biến đổi hệ số học và hệ số quán tính (gdx) và thuật toán lan truyền ngược kết hợp gradient liên hợp (rprop). Dưới đây là biểu đồ tổng kết độ chính xác trung bình hệ thống đạt được khi huấn luyện mỗi thuật toán huấn luyện mạng với các giá trị tham số trong bảng dưới đây .
Tham số Giá trị
Tập dữ liệu Các ảnh mặt kích thước 30x27 điểm ảnh Phương pháp chuẩn hóa đầu vào Phương pháp 2 (cố định)
Khởi tạo trọng số Lớp ẩn = 0, lớp ra = ngẫu nhiên (cố định)
Thuật toán huấn luyện Gd, gdm, gda, gdx, rprop
Hàm kích hoạt Dùng hàm log-sigmoid (cố định)
Số nơron trong lớp ẩn {1, 2, 3, 4, 5, 7, 10, 14, 21, 25, 30}
Hệ số học 0.9
Hệ số quán tính 0.6
MSE huấn luyện nhỏ nhất 0 Số chu kỳ lớn nhất 1500
Hình 4.4 - So sánh các thuật toán huấn luyện mạng
Nhìn vào hình 4.4, chúng ta có thể thấy rằng sử dụng thuật toán lan truyền ngược kết hợp với gradient liên hợp không cung cấp được độ chính xác mong muốn (<50%). Với các thuật toán còn lại, các kết quả đạt được là khá xấp xỉ nhau (độ chính xác trung bình cao nhất đạt được là xấp xỉ 57%), tuy nhiên qua các đồ thị trên ta thấy rằng thuật toán lan truyền ngược kết hợp biến đổi hệ số quán tính (gdm) có hoạt động ổn định nhất, vì vậy thuật toán này được lựa chọn để huấn luyện trong hệ thống tốt nhất sau này.