4.1 Kiến trúc mơ hình
Trong giới hạn luận văn tốt nghiệp, em xem bài toán nhận dạng biển báo nguy hiểm là tác vụ gán nhãn cho các đối tượng. Dựa trên các cơng trình nghiên cứu đã được trình bày ở chương 3, em đề xuất 2 mơ hình học sâu để giải quyết bài tốn này.
4.1.1 Mơ hình học sâu sử dụng Fine-tuning với Efficient-Net Net
4.1. Kiến trúc mơ hình
4.1.2 Tập dữ liệu
Đối với mơ hình học sâu sử dụng Fine-tuning với pre-trained model là EfficientNet, ta sử dụng tập dữ liệu 5.000, 10.000, 50.000, 100.000, 200.000 ảnh đã cắt và phân loại theo từng nhãn.
Augmented dataset Train (60%) Validation (20%) Test (20%)
5000 3000 1000 1000
10000 6000 2000 2000
50000 30000 10000 10000
100000 60000 20000 20000
200000 120000 40000 40000
Bảng 4.1: Chia tập dữ liệu cho mơ hình fine-tuning với EfficientNet
Hình 4.2: Tập dữ liệu cho mơ hình fine-tuning với EfficientNetB2
4.1.3 Tiến hành thực nghiệm
Mơ hình Fine-tuning với EfficientNet
Để huấn luyện mơ hình, ở giai đoạn 1 của fine-tuning, em sử dụng RMSprop Optimizer với learning rate cố định là 0.001. Ở giai đoạn 2 sử dụng Admin Optimazer với learning rate cố định là 0.001, ở mỗi lớp thêm Dropout bằng 0.2, hàm kích hoạt (acitvation function) là ReLU, kết hợp thêm Batch normalization để giảm đi sự phụ thuộc vào các giá trị khởi tạo của các tham số.
Mã nguồn cho mơ hình Fine-tuning với EfficientNet:
4.1. Kiến trúc mơ hình
4.1.4 Kết quả thực nghiệm
Kết quả thực nghiệm dùng thước đo là độ chính xác (Accuracy) trên tập dữ liệu Test ứng với từng tập dữ liệu đầu vào. Đối với mơ hình EfficientNet-B5 và tập dữ liệu 50.000, 100.000 khơng thể thực nghiệm vì tràn bộ nhớ..
Accuracy Augmented dataset
Model 5000 10000 50000 100000 EfficientNet-B0 0.94375 0.92338 0.12550 1 EfficientNet-B1 0.99910 1 0.37459 0.12755 EfficientNet-B2 0.99285 0.99949 0.12489 0.99900 EfficientNet-B3 0.99553 0.99899 0.99789 1 EfficientNet-B4 1 1 1 EfficientNet-B5 0.98750 1
Bảng 4.2: Kết quả thực nghiệm giữa các mơ hìnhh
Dựa vào bảng kết quả thực nghiệm trên, ta thấy rằng 2 mơ hình EfficientNet-B3 và EfficientNet-B4 cho kết quả ổn định và độ chính xác cao.