Nghiên cứu và đánh giá phương pháp phát hiện phương tiện giao thông trong không ảnh (khóa luận tốt nghiệp)

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM PHAN THỊ HỒNG CÚC KHÓA LUẬN TỐT NGHIỆP NGHIÊN CỨU VÀ ĐÁNH GIÁ PHƯƠNG PHÁP PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Studying And Evaluating Vehicle Detection Methods In Aerial Images KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM TP HỒ CHÍ MINH, 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA CÔNG NGHỆ PHẦN MỀM PHAN THỊ HỒNG CÚC – 18520260 KHÓA LUẬN TỐT NGHIỆP NGHIÊN CỨU VÀ ĐÁNH GIÁ PHƯƠNG PHÁP PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Studying And Evaluating Vehicle Detection Methods In Aerial Images KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS NGUYỄN TẤN TRẦN MINH KHANG TP HỒ CHÍ MINH, 2022 THƠNG TIN HỘI ĐỒNG CHẤM KHĨA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số …………………… ngày ………………… Hiệu trưởng Trường Đại học Công nghệ Thông tin LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn chân thành đến thầy TS Nguyễn Tấn Trần Minh Khang – giảng viên hướng dẫn tơi khóa luận tốt nghiệp Thầy quan tâm, nhắc nhở, hỗ trợ tơi suốt q trình thực khóa luận Thầy người truyền cảm hứng cho tơi q trình tơi tham gia nghiên cứu khoa học Ngồi ra, tơi xin cảm ơn thầy ThS Võ Duy Nguyên bạn nhóm nghiên cứu ln giúp đỡ, hướng dẫn, sửa chữa đóng góp nhiều ý tưởng q trình tơi thực khóa luận, giúp tơi hồn thành tốt báo cáo khóa luận Bên cạnh đó, tơi xin gửi lời cảm ơn sâu sắc đến tập thể quý thầy cô trường Đại học Cơng Nghệ Thơng Tin nói chung q thầy khoa Cơng Nghệ Phần Mềm, phịng thí nghiệm Truyền thơng Đa phương tiện MMLab nói riêng truyền đạt kiến thức, hỗ trợ cho suốt q trình học tập trường Cuối cùng, tơi muốn gửi lời cảm ơn chân thành đến bố mẹ người thân gia đình tơi tạo điều kiện nguồn động lực tơi suốt q trình học tập làm việc Trong q trình thực khơng tránh khỏi sai sót Tơi mong nhận góp ý q thầy bạn để hồn thiện Một lần nữa, tơi xin chân thành cảm ơn! Sinh viên thực Phan Thị Hồng Cúc TP.Hồ Chí Minh, ngày 15 tháng 06 năm 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: NGHIÊN CỨU VÀ ĐÁNH GIÁ PHƯƠNG PHÁP PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Cán hướng dẫn: TS Nguyễn Tấn Trần Minh Khang Thời gian thực hiện: Từ ngày 28/02/2022 đến tháng 20/06/2022 Sinh viên thực hiện: Phan Thị Hồng Cúc – 18520260 Nội dung đề tài: Giới thiệu toán Ngày nay, để xây dựng hệ thống quản lý giao thông thông minh, việc phát phương tiện giao thông ảnh phần thiếu Tuy nhiên, hệ thống camera giám sát bị hạn chế địa điểm lắp đặt nên việc sử dụng khơng ảnh – hình ảnh thu từ thiết bị bay không người lái (UAV) ngày trọng Bởi với vài thiết bị bay, ta cho camera bay qua nhiều địa điểm, thu thập lượng lớn hình ảnh từ độ cao, góc quay, điều kiện thời tiết, ánh sáng khác Khơng ảnh có nhiều ứng dụng hệ thống giám sát an ninh, nông nghiệp, vận chuyển hàng hóa… Trong giới nghiên cứu khoa học, tốn phát phương tiện giao thông không ảnh ngày phổ biến Nhiều liệu công bố UAVDT, VisDrone… thi ODAI, VisDrone Challenge tổ chức để khuyến khích nhà nghiên cứu tìm phương pháp xử lý nhằm nâng cao xác, độ hiệu cho tốn Bài tốn phát phương tiện giao thơng không ảnh nhận đầu vào ảnh chụp giao thông trích xuất từ camera thiết bị bay khơng người lái cho thông tin vị trí, tên tương ứng với phương tiện giao thơng có ảnh đầu vào a) Đầu vào b) Đầu Hình Ảnh minh họa đầu vào đầu tốn Mục tiêu Khóa luận tìm hiểu liệu khơng ảnh phương tiện giao thông UAVDT, nghiên cứu thực nghiệm phương pháp phát đối tượng liệu UAVDT Sau đó, chúng tơi đưa đánh giá, so sánh phương pháp tìm hiểu Cuối cùng, dựa nghiên cứu, xây dựng ứng dụng minh họa cho toán phát phương tiện giao thông không ảnh Phạm vi Đánh giá độ hiệu phương pháp học sâu (D2Det, DetectoRS, TOOD, VarifocalNet, YOLOX…) liệu không ảnh UAVDT Đối tượng Ảnh chụp giao thông đường trích xuất từ camera thiết bị bay không người lái liệu UAVDT – cụ thể UAVDT-Benchmark-M dành cho toán phát đối tượng với lớp đối tượng: car, truck, bus Phương pháp thực − Tìm hiểu tổng quan toán phát đối tượng tập trung vào phát phương tiện giao thơng − Tìm hiểu liệu không ảnh phương tiện giao thông UAVDT − Tìm hiểu phương pháp học sâu để ứng dụng cho toán phát phương tiện giao thông không ảnh − Nghiên cứu thực nghiệm phương pháp học sâu liệu UAVDT-Benchmark-M − Phân tích đánh giá độ hiệu phương pháp tìm hiểu − Xây dựng ứng dụng minh họa phát phương tiện giao thông không ảnh Kết mong đợi − Tài liệu tổng hợp toán, liệu UAVDT − Tài liệu tổng hợp thực nghiệm: cách cài đặt môi trường kết − Tài liệu phân tích, so sánh đánh giá phương pháp tìm hiểu − Ứng dụng minh họa phát phương tiện giao thông không ảnh − Bài báo khoa học nộp hội nghị quốc gia Tài liệu tham khảo [1] Du, D., Qi, Y., Yu, H., Yang, Y., Duan, K., Li, G., & Tian, Q (2018) The unmanned aerial vehicle benchmark: Object detection and tracking In Proceedings of the European conference on computer vision (ECCV) (pp 370-386) [2] Cao, J., Cholakkal, H., Anwer, R M., Khan, F S., Pang, Y., & Shao, L (2020) D2det: Towards high quality object detection and instance segmentation In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp 11485-11494) [3] Qiao, S., Chen, L C., & Yuille, A (2021) Detectors: Detecting objects with recursive feature pyramid and switchable atrous convolution In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp 10213-10224) [4] Feng, C., Zhong, Y., Gao, Y., Scott, M R., & Huang, W (2021) Tood: Task-aligned one-stage object detection In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp 3510-3519) [5] Zhang, H., Wang, Y., Dayoub, F., & Sunderhauf, N (2021) Varifocalnet: An iou-aware dense object detector In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp 8514-8523) [6] Ge, Z., Liu, S., Wang, F., Li, Z., & Sun, J (2021) Yolox: Exceeding yolo series in 2021 arXiv preprint arXiv:2107.08430 Kế hoạch thực hiện: Công việc STT Giai đoạn 1: Tìm hiểu tổng quan – Từ 28/02/2022 đến 27/03/2022 Tìm hiểu liệu UAVDT Tìm hiểu tổng quan toán phát đối tượng phát phương tiện giao thơng khơng ảnh Tìm hiểu phương pháp học sâu (phát đối tượng) cho tốn phát phương tiện giao thơng không ảnh Giai đoạn 2: Chạy thực nghiệm – Từ 28/03/2022 đến 08/05/2022 Nghiên cứu huấn luyện mơ hình phát đối tượng liệu UAVDT-Benchmark-M Phân tích, đánh giá kết thực nghiệm mơ hình sử dụng Giai đoạn 3: Xây dựng ứng dụng minh họa – Từ 09/05/2022 đến 05/06/2022 Xây dựng ứng dụng minh họa phát phương tiện giao thông không ảnh Giai đoạn 4: Hoàn thiện báo cáo – Từ 06/06/2022 đến 20/06/2022 Hồn thiện báo cáo khóa luận Xác nhận CBHD TP HCM, ngày 24 tháng 02 năm 2022 (Ký tên ghi rõ họ tên) Sinh viên (Ký tên ghi rõ họ tên) TS Nguyễn Tấn Trần Minh Khang Phan Thị Hồng Cúc MỤC LỤC Chương TỔNG QUAN ĐỀ TÀI 1.1 Động lực nghiên cứu .2 1.2 Phát biểu toán 1.3 Các thách thức .4 1.4 Mục tiêu phạm vi nghiên cứu 1.5 Đóng góp khóa luận .5 1.6 Cấu trúc báo cáo Chương CÁC NGHIÊN CỨU LIÊN QUAN .8 2.1 Thị giác máy tính 2.1.1 Giới thiệu .8 2.1.2 Một số toán bật 2.2 Phát đối tượng 2.2.1 Giới thiệu .9 2.2.2 Phân loại 10 2.3 Phương pháp rút trích đặc trưng dựa học sâu .11 2.3.1 Deep Neural Network 11 2.3.2 Convolutional Neural Network 13 2.3.2.1 Giới thiệu .13 2.3.2.2 Convolution layer 13 2.3.2.3 Pooling layer 14 2.3.2.4 Fully connected layer .15 2.3.3 Residual Network 15 2.3.3.1 Giới thiệu .15 đường nét đối tượng, đồng thời, sương mù dày đặc, che khuất đối tượng, khiến việc dự đoán trở nên khó khăn Theo thơng thường, ảnh với thời điểm ban ngày dễ dàng dự đoán so với ban đêm ánh sáng đèn đường mờ vào ban đêm khiến thông tin kết cấu vật thể trở nên khó nắm bắt Tuy nhiên, kết thực nghiệm tập night lại cao tập daylight ảnh test có thuộc tính night lại khơng có ảnh chịu ảnh hưởng thuộc tính high-alt lượng ảnh test có thuộc tính daylight nhiều chịu ảnh hưởng nhiều thuộc tính Về nhóm thuộc tính độ cao thiết bị bay (low-alt, medium-alt, high-alt), việc kết dự đoán tập low-alt cao high-alt thấp số 10 thuộc tính liệu UAVDT-Benchmark-M cho thấy kích thước đối tượng tác động nhiều tới độ xác dự đoán Như đề cập chương liệu, thiết bị bay lên cao, camera thu khung cảnh rộng hơn, nhiều đối tượng đồng thời đối tượng ngày nhỏ dần, độ cao thấp, camera thu đối tượng có kích thước lớn hơn, nhiều chi tiết Về nhóm thuộc tính góc quay camera (front-view, side-view, bird-view), việc kết dự đốn khơng q chênh lệch cho thấy nhóm thuộc tính khơng tác động lớn đến độ xác Song, nhóm thuộc tính tác động đến thơng tin đối tượng nhiều góc độ khác nên việc nâng cao độ xác cho thuộc tính giúp mơ hình phát đối tượng linh hoạt 4.6 Ứng dụng Phát phương tiện giao thông không ảnh 4.6.1 Giới thiệu VEDAI (Vehicle Detection in Aerial Images) ứng dụng cho phép người dùng load ảnh từ thiết bị để phát đối tượng phương tiện giao thông đường gồm: car, truck, bus Công nghệ sử dụng: • Model: TOOD • Server: Flask (Python) 68 • Client: HTML, CSS, JavaScript 4.6.2 Thiết kế 4.6.2.1 Thiết kế Use case Hình 4.17 Mơ tả use case tổng quát cho ứng dụng VEDAI 4.6.2.2 Thiết kế user flow Hình 4.18 User flow tổng quát ứng dụng VEDAI 4.6.2.3 Thiết kế kiến trúc Hình 4.19 Kiến trúc ứng dụng VEDAI 69 4.6.2.4 Thiết kế giao diện Hình 4.20 Màn hình trang chủ Hình 4.21 Màn hình detect 70 Hình 4.22 Màn hình detect – sau upload ảnh Hình 4.23 Màn hình detect – Sau detect thành cơng 71 Hình 4.24 Màn hình history Hình 4.25 Màn hình History detail Github: https://github.com/hongcuc2000/VEDAI-App 72 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận 5.1.1 Kết đạt Trong đề tài này, hồn thành mục tiêu đặt ra: • Tìm hiểu tổng quan Thị giác máy tính, số tốn bật tập trung vào tốn Phát đối tượng • Tìm hiểu liệu không ảnh phương tiện giao thơng UAVDT • Tìm hiểu phương pháp học sâu để ứng dụng cho toán phát phương tiện giao thơng khơng ảnh • Thực nghiệm phương pháp học sâu Faster R-CNN, D2Det, DetectoRS, TOOD, VFNet liệu UAVDT-Benchmark-M • Phân tích đánh giá phương pháp học sâu Faster R-CNN, D2Det, DetectoRS, TOOD, VFNet dựa kết thực nghiệm • Xây dựng ứng dụng minh họa phát phương tiện giao thơng khơng ảnh 5.1.2 Hạn chế • Kết thực nghiệm chưa cao • Q trình nghiên cứu gặp nhiều khó khăn chưa có đủ kiến thức tảng • Việc thực nghiệm phương pháp tốn nhiều thời gian thực nghiệm nhiều cấu hình chưa có đủ kinh nghiệm để giải hết lỗi gặp phải 5.2 Hướng phát triển • Tìm hiểu phương pháp tăng cường liệu • Tìm hiểu kỹ thuật sử dụng detector để cải thiện mơ hình độ xác thời gian tính tốn 73 TÀI LIỆU THAM KHẢO [1] Ren, S., He, K., Girshick, R., & Sun, J (2016) Faster R-CNN: towards realtime object detection with region proposal networks IEEE transactions on pattern analysis and machine intelligence, 39(6), 1137-1149 [2] Cao, J., Cholakkal, H., Anwer, R M., Khan, F S., Pang, Y., & Shao, L (2020) D2det: Towards high quality object detection and instance segmentation In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp 11485-11494) [3] Qiao, S., Chen, L C., & Yuille, A (2021) Detectors: Detecting objects with recursive feature pyramid and switchable atrous convolution In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp 10213-10224) [4] Feng, C., Zhong, Y., Gao, Y., Scott, M R., & Huang, W (2021, October) Tood: Task-aligned one-stage object detection In 2021 IEEE/CVF International Conference on Computer Vision (ICCV) (pp 3490-3499) IEEE Computer Society [5] Zhang, H., Wang, Y., Dayoub, F., & Sunderhauf, N (2021) Varifocalnet: An iou-aware dense object detector In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp 8514-8523) [6] Du, D., Qi, Y., Yu, H., Yang, Y., Duan, K., Li, G., & Tian, Q (2018) The unmanned aerial vehicle benchmark: Object detection and tracking In Proceedings of the European conference on computer vision (ECCV) (pp 370386) [7] Razakarivony, S., & Jurie, F (2016) Vehicle detection in aerial imagery: A small target detection benchmark Journal of Visual Communication and Image 74 Representation, 34, 187-203 [8] Zhu, P., Wen, L., Du, D., Bian, X., Hu, Q., & Ling, H (2020) Vision meets drones: Past, present and future arXiv preprint arXiv:2001.06303 [9] Ding, J., Zhu, Z., Xia, G S., Bai, X., Belongie, S., Luo, J., & Zhang, L (2018, August) Icpr2018 contest on object detection in aerial images (odai18) In 2018 24th International Conference on Pattern Recognition (ICPR) (pp 1-6) IEEE [10] He, K., Zhang, X., Ren, S., & Sun, J (2016) Deep residual learning for image recognition In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 770-778) [11] Girshick, R., Donahue, J., Darrell, T., & Malik, J (2014) Rich feature hierarchies for accurate object detection and semantic segmentation In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 580-587) [12] Girshick, R (2015) Fast r-cnn In Proceedings of the IEEE international conference on computer vision (pp 1440-1448) [13] Lin, T Y., Dollár, P., Girshick, R., He, K., Hariharan, B., & Belongie, S (2017) Feature pyramid networks for object detection In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 2117-2125) [14] Dai, J., Qi, H., Xiong, Y., Li, Y., Zhang, G., Hu, H., & Wei, Y (2017) Deformable convolutional networks In Proceedings of the IEEE international conference on computer vision (pp 764-773) [15] Cai, Z., & Vasconcelos, N (2018) Cascade r-cnn: Delving into high quality object detection In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 6154-6162) 75 [16] Lin, T Y., Goyal, P., Girshick, R., He, K., & Dollár, P (2017) Focal loss for dense object detection In Proceedings of the IEEE international conference on computer vision (pp 2980-2988) 76 PHỤ LỤC A – BÀI BÁO Bài báo khoa học “Phát phương tiện giao thơng khơng ảnh với nhiều tình khác nhau” đăng Hội thảo Quốc gia lần thứ XXIV Điện tử, Truyền thông Công nghệ Thông tin – REV-ECIT 2021 77 78 79 80 81 82 ... đẩy nghiên cứu thực đề tài ? ?Nghiên cứu đánh giá phương pháp phát phương tiện giao thông không ảnh? ?? 1.2 Phát biểu toán a) Đầu vào b) Đầu Hình 1.1 Đầu vào đầu tốn [6] Bài tốn phát phương tiện giao. .. HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM PHAN THỊ HỒNG CÚC – 18520260 KHÓA LUẬN TỐT NGHIỆP NGHIÊN CỨU VÀ ĐÁNH GIÁ PHƯƠNG PHÁP PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Studying And... NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: NGHIÊN CỨU VÀ ĐÁNH GIÁ PHƯƠNG PHÁP PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Cán hướng dẫn: TS Nguyễn Tấn Trần Minh Khang Thời gian thực hiện: