Trong phần này tôi cố gắng tìm số nơron trong lớp ẩn tối ưu cho hệ thống. Hệ thống chỉ dùng một hệ số học khá nhỏ và một hệ số quán tính chấp nhận được để loại trừ việc học quá nhanh hoặc quá chậm, và khả năng huấn luyện quá trơn tru của hệ thống. Hình 4.5, 4.6, 4.7 có được sau khi huấn luyện 17 mạng nơron, mỗi mạng được lặp lại 10 lần với các tham số trình bày trong bảng dưới đây.
Tham số Giá trị
Tập dữ liệu Các ảnh mặt kích thước 30x27 điểm ảnh Phương pháp chuẩn hóa đầu vào Phương pháp 2 (cố định)
Phương pháp khởi tạo trọng số Khởi tạo lớp ẩn=0, lớp ra là ngẫu nhiên (cố
định)
Thuật toán huấn luyện Gdx (cố định)
Các hàm kích hoạt Cả 2 lớp đều dùng hàm log-sigmoid (cố định)
Số nơron trong lớp ẩn {1, 2, 3, 5, 7,10,14, 21, 28, 35, 56, 70,100, 200, 300}
Hệ số học 0.9
Hệ số quán tính 0.6
Số lần lặp 1500
Bảng 4.3 - Các tham số trong chọn số nơron trong lớp ẩn
Hình 4.5 - Độ chính xác trung bình tương ứng với số nơron trong lớp ẩn
Các đồ thị về độ chính xác, độ sai số trung bình và độ thiên vị trung bình thu được đều có dạng hình chữ U. Với số nơron nhỏ trong lớp ẩn (từ 1 – 5 nơron), hệ thống có giá trị MSE lớn, độ chính xác thấp và độ thiên vị lớn vì mạng chưa đủ phức tạp để loại bỏ ảnh hưởng của nền ảnh nên hướng chưa xác định rõ ràng. Kết quả này cũng xuất hiện khi sử dụng quá nhiều nơron ở lớp ẩn. Từ 100 nơron trở đi, MSE quay trở lại mức khi hệ thống chỉ có 3 nơron ở 1 lớp ẩn. Điều này cho thấy khi thêm các thành phần vào trong lớp ẩn, sai số huấn luyện giảm đi nhưng ảnh hưởng của mỗi nơron tới khả năng xử lý càng ngày càng ít hiệu quả. Khi có quá nhiều nơron thì khả năng xử lý kém là kết quả của việc mạng bị quá khớp.
Hình 4.6 - MSE tương ứng với số nơron trong lớp ẩn
Hình 4.7 - Độ thiên vị trung bình tương ứng với số nơron trong lớp ẩn
Từ hình 4.5, 4.6, 4.7, có thể nhận xét rằng, mô hình 21 nơron là sự lựa chọn hợp lý nhất. Đó là mạng có sai số bình phương trung bình nằm trong 2 mạng có sai số nhỏ nhất, có độ chính xác tốt nhất, độ thiên vị xấp xỉ 2, thời gian huấn luyện là
chấp nhận được. Do đó tôi chọn phương án 21 nơron trong lớp ẩn cho các huấn
Hình 4.8 - Thời gian huấn luyện đạt được