CHƯƠNG 4 THỰC NGHIỆM VÀ KẾT QUẢ
4.5. Quy trình thực nghiệm lần 2
4.5.6. Kết quả huấn luyện
Khi huấn luyện các mơ hình thường xun xảy ra những vấn đề lỗi phát sinh nên các thống kê bên dưới chỉ đề cập đế những kết quả huấn luyện đạt kết quả tốt nhất.
4.5.6.1. Các mơ hình SOTAs
Các đặt điểm khi thực hiện huấn luyện các mơ hình SOTAs:
• Khi thực hiện đọc dữ liệu và tạo mơ hình hồn chính bao gồm đã đính kèm các FC layer với mơ hình ban đầu (model base – những SOTAs) thì tiến hành tìm chỉ số tốc độ học tập, các đồ thì của các mơ hình hầu hết có dạng gần với chữ U hoặc V với độ mịn khơng cao và có xu hướng cao hơn khi chỉ số tốc độ học tập càng nhỏ hoặc càng lớn, khi ta chọn vị trí có chỉ số mất mát (loss) thấp nhất cũng chính là chọn vị trí gần trung tâm của biểu đồ, thực sự ta đã có hàm tính tốn cung cấp cho việc đó.
• Sau khi tìm chỉ số tốc độ học tập, thì việc lập lịch cho nó “giảm” đi một cách hợp lý cũng là một phép hợp lý để huấn luyện mơ hình tốt hơn, nhóm đã chọn cách giảm nhanh chỉ số tốc độ học tập chỉ sau 1 chỉ nguyên không thực sự cải thiện hiệu suất, bởi vì mơ hình ban đầu có thể học rất tốt các đặc điểm của hình ảnh (cụ thể là đã được huấn luyện bộ dữ liệu ImageNet) nên ta chỉ ứng dụng huấn luyện lại nên thời gian huấn cho mỗi mơ hình này khá nhanh và số kỷ ngun khơng q lớn.
• Hiệu quả mà các mơ hình đạt được rất tốt. Cụ thể ta xem kết quả huấn luyện bên dưới:
Trang | 122
Mơ hình InceptionV3:
Hình 4.58: Tìm tốc độ học theo cấp số nhân mơ hình InceptionV3.
Hình 4.59: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình InceptionV3.
Trang | 123 Mơ hình DenseNet201:
Hình 4.61: Tìm tốc độ học theo cấp số nhân mơ hình DenseNet201.
Hình 4.62: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình DenseNet201.
Trang | 124
Mơ hình Xception:
Hình 4.64: Tìm tốc độ học theo cấp số nhân mơ hình Xception.
Hình 4.65: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình Xception.
Trang | 125
4.5.6.2. Các mơ hình tự tạo
Ở mơ những mơ hình này nhóm đã thực hiện 2 lần huấn luyện, lần thứ nhất nhất là huấn luyện trên tập dữ liệu ban đầu khi chưa thêm mới và lần sau dùng kỹ thuận học tập chuyển giao để sử dụng lại mơ hình đã huấn luyện trước đó.
Các đặc điểm ở các bước huấn luyện:
• Các bước thực hiện khá giống với SOTAs nhưng thời gian huấn luyện cũng như các chỉ số huấn luyện gần như khác với quy trình huấn luyện SOTAs bởi mơ hình tự tạo mới này. Cụ thể như số kỷ nguyên (epochs ~ 100) gần như rất lớn, và đặt kỳ vọng dừng sớm cũng lớn hơn rất nhiều (patience ~ 25) và chỉ số tốc độ học nhóm cũng cho hệ số nhỏ hơn một chút so với SOTAs (factor ~ 0.5), điều này được khảo sát bởi vì quảng đường hội tụ của mơ hình mới sẽ dài hơn so với các mơ hình đã đào tạo trước.
• Sau khi huấn luyện được mơ hình tự tạo ta được mơ hình F1 trên bộ dữ liệu ban đầu và sau đó chúng ta tiếp tục sử dụng lại để huấn luyện trên bộ dữ liệu mới, điều này giúp nhóm cải thiện được thời gian huấn luyện xuống và cũng đạt kết quả tốt hơn so với việc phải chờ đợi huấn luyện lại từ đầu. Ở lần huấn luyện lần 2 thì ta sử dụng lại phương pháp tương tự như huấn luyện với các mơ hình SOTAs.
• Ở quy trình huấn luyện lần 2 thời gian huấn luyện sẽ nhanh hơn rất nhiều bởi mơ hình đào tạo trước đó đã tiến gần đến miền hội tụ trên tập dữ liệu ban đầu.
Trang | 126
Mơ hình thứ nhất:
Hình 4.67: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình tự tạo thứ nhất (lần 1).
Hình 4.68: Chỉ số chính xác trên tập huấn luyện và tập thẩm định mơ hình tự tạo thứ nhất (lần 1).
Sau khi đào tạo lần thứ nhất nhóm đã ghi nhận được độ chính xác của mơ hình trên tập thẩm định là 86% và ta tiếp tục huấn luyện trên tập dữ liệu mới và kết quả lần 2 huấn luyện được ghi nhận như sau:
Trang | 127
Hình 4.69: Tìm tốc độ học theo cấp số nhân mơ hình thứ nhất (lần 2).
Hình 4.70: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình thứ nhất (lần 2).
Trang | 128
Mơ hình thứ hai:
Sau khi đào tạo lần thứ nhất trên bộ dữ liệu ban đầu ta được kết quả như sau:
Hình 4.72: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình tự tạo thứ hai (lần 1).
Hình 4.73: Chỉ số chính xác trên tập huấn luyện và tập thẩm định mơ hình tự tạo thứ hai (lần 1).
Sau khi đào tạo lần thứ nhất ta sử dụng lại và tiếp tục đào tạo trên bộ dữ liệu mới đã được tiền xử lý, trong bộ dữ liệu này ta có được dữ liệu mới và có sử dụng kỹ thuật tăng cường dữ liệu. Bên dưới là kết quả huấn luyện mơ hình hai sau khi:
Trang | 129
Hình 4.74: Tìm tốc độ học theo cấp số nhân mơ hình thứ hai (lần 2).
Hình 4.75: Chỉ số mất mát trên tập huấn luyện và tập thẩm định mơ hình thứ hai (lần 2).
Trang | 130
4.5.7. Đánh giá mơ hình
Việc đánh giá mơ hình rất quan trọng trước khi ứng dụng mơ hình đó được ứng dụng mơ hình cho các sản phẩm thực tế khác, chính vì vậy quy trình đánh giá mơ hình nhóm đã thực hiện như sau:
• Sau khi đào tạo mơ hình xong nhóm cần thử đánh giá trên tập thử nghiệm, tập thử nghiệm này cần phải hoàn tồn có có dữ liệu giống với tập huấn lun.
• Sau khi đánh giá nhóm đánh giá các giá trị tốc độ tải mơ hình lên và tốc độ dự đốn của mỗi mơ hình.
• Tổng quát hóa lên các biểu đồ để so sánh hiệu suất.
Trang | 131
4.5.7.1. Các mơ hình SOTAs
Mơ hình InceptionV3:
• Số epochs đã huấn luyện: 21
• Tốc độ huấn luyện trung bình 1 epochs: ≅ 137.88𝑠
• Độ chính xác trên tập thẩm đinh: 96.63%
• Độ chính xác trên tập thử nghiệm: 98.00%
Trang | 132
Mơ hình DenseNet201:
• Số epochs đã huấn luyện: 14
• Tốc độ huấn luyện trung bình 1 epochs: ≅ 144.07𝑠
• Độ chính xác trên tập thẩm đinh: 98.86%
• Độ chính xác trên tập thử nghiệm: 98.84%
Trang | 133
Mơ hình Xception:
• Số epochs đã huấn luyện: 21
• Tốc độ huấn luyện trung bình 1 epochs: ≅ 160.72𝑠
• Độ chính xác trên tập thẩm đinh: 97.62%
• Độ chính xác trên tập thử nghiệm: 98.56%
Trang | 134
4.5.7.2. Các mơ hình tự tạo
Mơ hình thứ nhất (ghi nhận kết quả lần 2):
• Số epochs đã huấn luyện: 10
• Tốc độ huấn luyện trung bình 1 epochs: ≅ 1276.66𝑠
• Độ chính xác trên tập thẩm đinh: 87.51%
• Độ chính xác trên tập thử nghiệm: 93.64%
Trang | 135
Mơ hình thứ hai (ghi nhận kết quả lần 2):
• Số epochs đã huấn luyện: 14
• Tốc độ huấn luyện trung bình 1 epochs: ≅ 138.74𝑠
• Độ chính xác trên tập thẩm đinh: 86. 68%
• Độ chính xác trên tập thử nghiệm: 94.48%
Trang | 136
4.5.7.3. Áp dụng phương pháp biểu quyết tổng hợp.
Soft Voting:
Bảng 4.11: Classification report Soft Voting.
CLASSIFICATION REPORT SOFT VOTING
precision recall f1-score support
ArtDecor 0.99 0.98 0.98 500 Hitech 0.99 1.00 1.00 500 Indochina 0.99 1.00 0.99 500 Industrial 0.99 0.98 0.99 500 Scandinavian 0.98 0.98 0.98 500 accuracy 0.99 2500 macro avg 0.99 0.99 0.99 2500 weighted avg 0.99 0.99 0.99 2500
Trang | 137
Hard Voting:
Bảng 4.12: Classification report Hard Voting.
CLASSIFICATION REPORT HARD VOTING
precision recall f1-score support
ArtDecor 0.99 0.98 0.99 500 Hitech 0.99 0.98 0.99 500 Indochina 0.99 1.00 0.99 500 Industrial 0.99 0.98 0.98 500 Scandinavian 0.99 0.98 0.98 500 accuracy 0.99 2500 macro avg 0.99 0.99 0.99 2500 weighted avg 0.99 0.99 0.99 2500
Trang | 138
4.5.7.4. So sánh hiệu suất của các mơ hình.
Trang | 139