Hình 4.5 - Độ chính xác trung bình tương ứng với số nơron trong lớp ẩn
Các đồ thị về độ chính xác, độ sai số trung bình và độ thiên vị trung bình thu được đều có dạng hình chữ U. Với số nơron nhỏ trong lớp ẩn (từ 1 – 5 nơron), hệ thống có giá trị MSE lớn, độ chính xác thấp và độ thiên vị lớn vì mạng chưa đủ phức tạp để loại bỏ ảnh hưởng của nền ảnh nên hướng chưa xác định rõ ràng. Kết quả này cũng xuất hiện khi sử dụng quá nhiều nơron ở lớp ẩn. Từ 100 nơron trở đi, MSE quay trở lại mức khi hệ thống chỉ có 3 nơron ở 1 lớp ẩn. Điều này cho thấy khi thêm các thành phần vào trong lớp ẩn, sai số huấn luyện giảm đi nhưng ảnh hưởng của mỗi nơron tới khả năng xử lý càng ngày càng ít hiệu quả. Khi có quá nhiều nơron thì khả năng xử lý kém là kết quả của việc mạng bị quá khớp.
Hình 4.6 - MSE tương ứng với số nơron trong lớp ẩn
Hình 4.7 - Độ thiên vị trung bình tương ứng với số nơron trong lớp ẩn
Từ hình 4.5, 4.6, 4.7, có thể nhận xét rằng, mô hình 21 nơron là sự lựa chọn hợp lý nhất. Đó là mạng có sai số bình phương trung bình nằm trong 2 mạng có sai số nhỏ nhất, có độ chính xác tốt nhất, độ thiên vị xấp xỉ 2, thời gian huấn luyện là
chấp nhận được. Do đó tôi chọn phương án 21 nơron trong lớp ẩn cho các huấn
Hình 4.8 - Thời gian huấn luyện đạt được
4.2.5. Hệ số học và hệ số quán tính
Với việc lựa chọn thuật toán lan truyền ngược kết hợp với biến đổi hệ số học và hệ số quán tính, trong phần này tôi sẽ đề cập đến cách xác định một cặp giá trị thích hợp nhất cho hệ thống. Các tham số được liệt kê trong bảng 4.4 dưới đây:
Tham số Giá trị
Tập dữ liệu Các ảnh mặt kích thước 30x27 điểm ảnh Phương pháp chuẩn hóa đầu vào Phương pháp 2 (cố định)
Phương pháp khởi tạo trọng số Khởi tạo lớp ẩn=0, lớp ra là ngẫu nhiên (cố định)
Thuật toán huấn luyện Gdx (cố định)
Hàm kích hoạt Cả 2 lớp đều dùng hàm log-sigmoid (cố định)
Số nơron dùng trong lớp ẩn 21 (cố định)
Hệ số học {0.1, 0.5, 0.9, 1.5, 3, 6, 10, 20, 30, 50, 60 } Hệ số quán tính {0, 0.6, 0.99}
MSE huấn luyện tối thiểu 0 Số chu kỳ tối đa 2000