Đánh giá hiệu quả của Faster R-CNN cho bài toán phát hiện và phân loại hư hỏng đường bộ

Bài viết Đánh giá hiệu quả của Faster R-CNN cho bài toán phát hiện và phân loại hư hỏng đường bộ trình bày đánh giá hiệu quả của Faster R-CNN cho bài toán phát hiện và phân loại hư hỏng đường bộ dựa vào ảnh.

Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 ĐÁNH GIÁ HIỆU QUẢ CỦA FASTER R-CNN CHO BÀI TOÁN PHÁT HIỆN VÀ PHÂN LOẠI HƯ HỎNG ĐƯỜNG BỘ Phạm Trí Cơng Bộ mơn HTTT, Khoa CNTT, Trường Đại học Thủy lợi, email: phtcong@tlu.edu.vn phát phân loại hư hỏng đường dựa vào ảnh GIỚI THIỆU Hư hỏng đường hư hỏng đường giao thơng vết nứt dọc, nứt hình da cá sấu, ổ gà Những hư hỏng gây cản trở việc lưu thông phương tiện giao thông, nguy hiểm gây tai nạn giao thông đặc biệt với hư hỏng nghiêm trọng ổ gà Do cần bảo trì đường có hư hỏng xảy ra, nhiệm vụ quan trọng quyền địa phương, quốc gia Việc sửa chữa sớm hư hỏng xảy giúp giảm cản trở tai nạn giao thơng Để làm việc này, cần có hệ thống tự động phát hiện, đánh giá tình trạng đường xác định hư hỏng mặt đường với giá thành thấp thời gian ngắn Cuộc thi IEEE BigData Cup, đề xuất Maeda cộng [1] năm 2018 nhằm tìm kiếm thuật tốn phát hư hỏng đường tự động, xác nhanh giới thực, đề xuất liệu lớn ảnh hư hỏng đường Dữ liệu giúp nhà nghiên cứu đề xuất giải thuật sử dụng trí tuệ nhân tạo để phát phân loại hư hỏng đường Với xuất mạng tích chập sâu (CNN), nhiều thuật toán phát đối tượng dựa CNN ngày áp dụng nhiều lĩnh vực với kết xác cao Do đó, việc nghiên cứu áp dụng CNN vào phát đối tượng toán thực tế vấn đề thiết thực Trong mơ hình Faster R-CNN giải pháp phát đối tượng ảnh có hiệu tốt Mơ hình thích hợp áp dụng cho toán phát phân loại hư hỏng đường [1], [2] Trong nghiên cứu này, tác giả đánh giá hiệu Faster R-CNN [3] cho toán PHƯƠNG PHÁP NGHIÊN CỨU Phương pháp phát đối tượng dựa tảng CNN ban đầu đề xuất Girshick cộng [4] năm 2014 với tên gọi R-CNN (Region-based Convolutional Neural Network), sau tác cải tiến năm 2015 với giải pháp Fast R-CNN [5] Cả hai thuật toán (R-CNN & Fast RCNN) sử dụng tìm kiếm chọn lọc để tìm vùng đề xuất Tìm kiếm chọn lọc trình chậm tốn thời gian ảnh hưởng đến hiệu suất mạng Do đó, Shaoqing Ren cộng [3] đưa thuật toán phát đối tượng loại bỏ thuật tốn tìm kiếm chọn lọc cho phép mạng học vùng đề xuất Hình mơ tả kiến trúc Faster R-CNN Hình Kiến trúc Faster R-CNN Tương tự Fast R-CNN, hình ảnh cung cấp làm đầu vào cho mạng CNN để trích chọn đặc trưng Sau đó, thay sử dụng thuật tốn tìm kiếm chọn lọc dựa đặc trưng để xác định vùng đề xuất, mạng riêng sử dụng để dự đoán vùng đề xuất Các vùng đề xuất sau định hình lại cách sử dụng RoI, sau sử dụng để phân loại dự đốn thơng số đối tượng 90 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 Sau xác định thông số chi tiết xây dụng kiến trúc mạng này, tác giả huấn luyện mạng tảng colab google tài khoản miễn phí CHI TIẾT THỰC NGHIỆM 3.1 Bộ liệu Tập liệu hư hỏng đường [1] sử dụng nghiên cứu ảnh chụp đường bảy khu vực thuộc Nhật Bản điện thoại thông minh Bộ liệu có tám loại hư hỏng gồm: Nứt dọc (D00), Nứt dọc cấu trúc xây dựng (D01), Nứt ngang (D10), Nứt ngang cấu trúc xây dựng (D11), Nứt cá sấu phần đường phần đường (D20), Ổ gà (D40), Mờ vạch kẻ đường trắng (D43), Mờ vạch qua đường người (D44) Thông tin chi tiết mô tả bảng Bảng Dữ liệu tám loại hư hỏng đường KẾT QUẢ THỰC NGHIỆM Dữ liệu lấy 20% (1.810 ảnh) cho việc test, lại 80% (7.243 ảnh) chia thành hai phần, 90% tập train gồm 6.518 hình ảnh, cịn lại 10% gồm 725 hình ảnh dùng để validation mạng sau lần huấn luyện lựa chọn model tốt 4.1 Thông số đánh giá Công thức (1) (2) mô tả số Precision Recall với TP số dự đoán hư hỏng, TN dự đốn khơng hư hỏng, FP dự đoán hư hỏng sai, FN dự đốn khơng hư hỏng sai TP (1) Precision  TP  FP TP (2) Recall  TP  TN AP (Average Precision) hay (Area under curve AUC) diện tích đường cong Precision x Recall ứng với loại hư hỏng mAP trung bình AP loại hư hỏng Bộ liệu bao gồm 9.053 ảnh gán nhãn hư hỏng ứng với ảnh Một ảnh có nhiều hư hỏng nhiều loại Tổng số hư hỏng 15.435 xác định vị trí nhãn đầy đủ cho ảnh Dữ liệu có phân bố khơng lớp, ví dụ lớp D40 có số lượng nhất, cịn D01 D44 nhiều gấp chín lần D04 Điều phản ánh chất lượng đường Nhật tương đối tốt hư hỏng nặng D04 ít, họ khắc phục nhanh hư hỏng để đảm bảo an tồn giao thơng 4.2 Kết Với kiến trúc đề xuất, mAP lớp 69.29% với chi tiết AP lớp mô tả hình thơng tin chi tiết số lượng phát hư hỏng đúng, sai hình Và số hình ảnh kết hình 3.2 Thiết lập thông số thực nghiệm Mạng Faster R-CNN sử dụng với tảng mạng CNN trích chọn đặc trưng ResNet-50 [6] Kiến trúc mạng tổng thể xây dựng tảng Keras với tảng TensorFlow với thông số chi tiết mô tả bảng Bảng Thông số thực nghiệm STT Thơng số Kích thước ảnh đầu vào Số lần huấn luyện Số ảnh / bước huấn luyện Tỉ lệ học (Learning rate) Giá trị 600600 px 100 1e-4 Hình Hiệu AP tám loại hư hỏng đường 91 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 Về số AP, nhận thấy số lượng ảnh nhiều AP lớn Có thể phân thành ba nhóm liệu nhiều (gồm D01 D44), vừa (gồm D00 D20) (gồm D43, D10, D11, D40) Ứng với ba nhóm nhóm liệu nhiều có AP cao 80%, nhóm liệu vừa có AP khoảng 70% cịn lại nhóm liệu có AP 60% Điều phù hợp với hệ thống sử dụng Faster R-CNN suy luận tự nhiên nhiều liệu huấn luyện độ xác cao [6] Tuy nhiên, trường hợp D43 thuộc nhóm liệu có 817 ảnh lại có AP cao 86% khác biệt bất thường Điều đặc trưng mờ vạch kẻ đường tương đối dễ nhận biết khác biệt rõ ràng với loại hư hỏng khác Bên cạnh đó, nhóm liệu D40 liệu lại có AP cao D10 D11 Ổ gà dễ nhận biết Nứt ngang KẾT LUẬN Trong nghiên cứu này, ứng dụng Faster R-CNN [3] với backbone ResNet-50 [6] cho toán phát hư hỏng đường Giải pháp đề xuất đánh giá liệu [1] gồm tám lớp thu thập bảy tỉnh Nhật Kết số mAP đạt 69.29% Càng nhiều liệu dễ phát hư hỏng Trong hư hỏng mờ vạch kẻ đường phát tốt nhất, hư hỏng Nứt ngang phát khó Do thời gian có hạn giới hạn tài nguyên colab miễn phí nên nghiên cứu đánh giá với backbone ResNet-50 Trong tương lai, tác giả thực đánh giá nhiều backbone kiến trúc hơn, với liệu đa dạng TÀI LIỆU THAM KHẢO [1] H Maeda, Y Sekimoto, T Seto, T Kashiyama, and H Omata, “Road Damage Detection and Classification Using Deep Neural Networks with Smartphone Images,” Comput Civ Infrastruct Eng., vol 33, no 12, pp 1127–1141, Dec 2018, doi: 10.1111/mice.12387 [2] A Alfarrarjeh, D Trivedi, S H Kim, and C Shahabi, “A Deep Learning Approach for Road Damage Detection from Smartphone Images,” in 2018 IEEE International Conference on Big Data (Big Data), Dec 2018, pp 5201–5204, doi: 10.1109/BigData.2018.8621899 [3] S Ren, K He, R Girshick, and J Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” Jun 2015 [4] R Girshick, J Donahue, T Darrell, and J Malik, “Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation,” in 2014 IEEE Conference on Computer Vision and Pattern Recognition, Jun 2014, vol 38, no 1, pp 580–587, doi: 10.1109/CVPR.2014.81 [5] R Girshick, “Fast R-CNN,” in 2015 IEEE International Conference on Computer Vision (ICCV), Dec 2015, pp 1440–1448, doi: 10.1109/ICCV.2015.169 Hình Chi tiết số lượng phát sai tám loại hư hỏng đường Hình Kết phát hư hỏng Đúng (hai hình trên), Sai khơng phát (hình bên trái), Phát nhiều lần hư hỏng (hình bên phải) 92 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 93 ... tích đường cong Precision x Recall ứng với loại hư hỏng mAP trung bình AP loại hư hỏng Bộ liệu bao gồm 9.053 ảnh gán nhãn hư hỏng ứng với ảnh Một ảnh có nhiều hư hỏng nhiều loại Tổng số hư hỏng. .. phát hư hỏng đường Giải pháp đề xuất đánh giá liệu [1] gồm tám lớp thu thập bảy tỉnh Nhật Kết số mAP đạt 69.29% Càng nhiều liệu dễ phát hư hỏng Trong hư hỏng mờ vạch kẻ đường phát tốt nhất, hư. .. model tốt 4.1 Thông số đánh giá Công thức (1) (2) mô tả số Precision Recall với TP số dự đoán hư hỏng, TN dự đốn khơng hư hỏng, FP dự đoán hư hỏng sai, FN dự đốn khơng hư hỏng sai TP (1) Precision