4. KẾT QUẢ VÀ ĐÁNH GIÁ
4.1. Kết quả thuật toán nhận diện chuyển động
4.2.2. Mơ hình Classification
4.2.2.1.! Phương pháp đánh giá
- Đối với mơ hình Classification được huấn luyện để phân biệt người có đội mũ bảo hộ hay khơng, ta sử dụng mơ hình ResNet-50 [9] như đã trình bày ở các phần trên. Sau khi huấn luyện và đánh giá với tập dữ liệu Validation gồm 817 ảnh và cho độ chính xác 95%.
- Tuy nhiên, như đã nêu ở phần 2 thì độ đo Accuracy chỉ thể hiện một các chung chung về tổng số kết quả dự đốn đúng trong tồn bộ tập dữ liệu và không cho chúng ta cái nhìn cụ thể về độ chính xác của từng lớp dữ liệu. Cộng với việc ta chỉ đánh giá mơ hình ResNet-50 vừa huấn luyện trên tập dữ liệu khá nhỏ (817 ảnh) thì khơng thể nào vội vàng kết luận về độ chính xác của mơ hình được.
- Chính vì vậy, ta sẽ tiến hành đánh giá độ chính xác của mơ hình trên các độ đo Precision và Recal, cũng như sử dùng phương pháp AUC đã đề cập ở phần 2 để đánh giá mơ hình.
- Để kết quả có độ tin cậy cao nhất, ta sẽ đánh giá mơ hình với tập dữ liệu Test gồm 5533 ảnh trong đó có 2654 ảnh người không đội mũ bảo hộ và 2879 ảnh người có đội mũ bảo hộ.
4.2.2.2.! Kết quả
- Sau khi thực thi suy luận để nhận diện người và phân loại người có đội mũ bảo hộ hay khơng. Đây là một số hình ảnh kết quả ta thu được.
Hình 4.5. Kết quả phân loại của mơ hình ResNet-50
- Tiếp theo ta thực hiện tính các độ đo Precision và Recall của mơ hình ResNet- 50 trên tập dữ liệu Test.
- Ở đây, mơ hình ResNet-50 vừa huấn luyện có 2 lớp dữ liệu cần phân biệt:
class_id=0: mơ hình dự đốn ảnh đầu vào là ảnh người không đội mũ bảo hộ. class_id=1: mơ hình dự đốn ảnh đầu vào là ảnh người có đội mũ bảo hộ.
- Với mục tiêu là báo động khi phát hiện người không đội mũ bảo hộ, ta xem class_id = 0 là lớp Positive và class_id = 1 là lớp Negative. Kết quả của quá trình đánh giá mơ hình ResNet-50 được thể hiện ở Hình 4.6 cụ thể như sau:
+ Mơ hình dự đốn chính xác 2621 ảnh là người khơng đội mũ bảo hộ. + Mơ hình dự đốn sai 33 ảnh người có đội mũ tuy nhiên thực tế là khơng đội mũ.
+ Mơ hình dự đốn sai 224 ảnh người không đội mũ bảo hộ tuy nhiên thực tế là có đội mũ bảo hộ
Hình 4.6. Thống kê kết quả phân loại của mơ hình ResNet-50 trên tập dữ liệu Test
- Ta tính giá trị Precision và Recall của mơ hình
��������� = �� + �� =�� 2621 + 244 = �. ���2621
������ = �� + �� =�� 2621 + 33 = �. ���2621
- Hình 4.7 cho thấy đường cong ROC của mơ hình khi đánh giá độ chính xác trên tập dữ liệu Test.
- Ta thực hiện tính thơng số AUC của mơ hình với kết quả ROC AUC = 0.987. - Đúng với nhận định ban đầu rằng đặt trưng của các nón bảo hộ trong trạm biến áp là màu vàng nên sẽ rất nổi bật do đó q hình huấn luyện mơ hình sẽ rất dễ học được đặc tính màu là đặc trưng quan trọng nhất để phân biệt hai lớp dữ liệu. Do đó ta thu được mơ hình phân loại có độ chính xác rất cao. Tuy nhiên đây cũng là điểm yếu, vì với các điều kiện thiếu sáng như ban đêm hay ngược sáng màu của nón bảo hộ khơng cịn nổi bật sẽ rất dễ gây lầm lẫn cho mơ hình.