Tìm hiểu phương pháp d2det cho bài toán phát hiện phương tiện giao thông trong không ảnh

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ SINH VIÊN NĂM 2021 Tên đề tài tiếng Việt: TÌM HIỂU PHƯƠNG PHÁP D2DET CHO BÀI TOÁN PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Tên đề tài tiếng Anh: LEARNING TO USE D2DET FOR VEHICLE DETECTION IN AERIAL IMAGES Khoa/ Bộ môn: Công nghệ phần mềm Thời gian thực hiện: 06 tháng Cán hướng dẫn: Ths Võ Duy Nguyên Tham gia thực TT Họ tên, MSSV Phan Thị Hồng Cúc, 18520260 Chịu trách nhiệm Chủ nhiệm Điện thoại Email 0868775576 18520260@gm.uit.edu.vn Thành phố Hồ Chí Minh – Tháng 03/2022 ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Ngày nhận hồ sơ Mã số đề tài (Do CQ quản lý ghi) BÁO CÁO TỔNG KẾT Tên đề tài tiếng Việt: TÌM HIỂU PHƯƠNG PHÁP D2DET CHO BÀI TOÁN PHÁT HIỆN PHƯƠNG TIỆN GIAO THÔNG TRONG KHÔNG ẢNH Tên đề tài tiếng Anh: LEARNING TO USE D2DET FOR VEHICLE DETECTION IN AERIAL IMAGES Ngày tháng năm Cán hướng dẫn (Họ tên chữ ký) Ngày tháng năm Sinh viên chủ nhiệm đề tài (Họ tên chữ ký) Võ Duy Nguyên Phan Thị Hồng Cúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Tìm hiểu phương pháp D2Det cho toán phát phương tiện giao thông không ảnh - Chủ nhiệm: Phan Thị Hồng Cúc - Thành viên tham gia: Không - Cơ quan chủ trì: Trường Đại học Cơng nghệ Thơng tin - Thời gian thực hiện: 06 tháng Mục tiêu: Trong phạm vi đề tài, tập trung giải vấn đề sau: - Tìm hiểu tổng quan tốn phát đối tượng - Tìm hiểu tổng quan liệu UAVDT tập trung vào liệu dành cho toán phát đối tượng UAVDT-benchmark-M - Tìm hiểu phương pháp phát đối tượng D2Det để ứng dụng vào toán phát phương tiện giao thông không ảnh - Huấn luyện mơ hình D2Det liệu UAVDT-benchmark-M - Đánh giá mơ hình tập test ảnh thuộc trường hợp cụ thể: daylight, low-alt, bird-view liệu UAVDT-benchmark-M Tính sáng tạo: Dựa khảo sát ban đầu, chúng tơi lựa chọn tìm hiểu phương pháp D2Det cho toán phát phương tiện giao thơng khơng ảnh phương pháp phát đối tượng cho kết tốt liệu UAVDT – liệu chứa ảnh chụp phương tiện giao thông từ không Trong báo công bố D2Det, tác giả sử dụng mơ hình D2Det huấn luyện liệu COCO để đánh giá liệu UAVDT Vì vậy, đề tài này, chúng tơi huấn luyện mơ hình tập train đánh giá tập test ảnh thuộc trường hợp daylight, low-alt, bird-view liệu UAVDT-benchmark-M Đây điểm đề tài Tóm tắt kết nghiên cứu: - Báo cáo tổng quan toán phát đối tượng - Báo cáo liệu UAVDT UAVDT-benchmark-M - Báo cáo tổng hợp phương pháp D2Det lý thuyết liên quan - Mơ hình D2Det huấn luyện liệu UAVDT-benchmark-M - Báo cáo kết chạy thực nghiệm mơ hình tập test ảnh thuộc trường hợp cụ thể: daylight, low-alt, bird-view liệu UAVDTMỤC LỤC benchmark-M Tên sản phẩm: Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Độ xác mơ hình huấn luyện chưa cao Tuy nhiên, trường hợp low-alt trường hợp có thuộc tính daylight, low-alt, birdview mơ hình cho kết tương đối tốt Do đó, mơ hình triển khai thơng qua API để dự đốn ảnh thuộc trường hợp Hình ảnh, sơ đồ minh họa DANH MỤC HÌNH Hình 1-1: Tổng quan Đầu (a) – Đầu vào (b) toán Đầu vào toán tài liệu dạng ảnh, đầu vị trí bảng có ảnh - hộp giới hạn Chủ trì nhiệm đềnot tài defined màu xanh Cơ cây.quan Error!Chủ Bookmark (ký, họ tên, đóng dấu) (ký, họ tên) Hình 1-2: Một số ví dụ đa dạng hình dạng kích thước bảng Error! Bookmark not defined Hình 1-3: Một số ví dụ minh họa giao thoa vị trí bảngError! Bookmark not defined Hình 2-1: Minh họa phương pháp biến đổi hình ảnh tài liệu a) ảnh gốc, b) ảnh giãn nở biến đổi c) ảnh bị nhòe biến đổiError! Bookmark not defined Hình 2-2: Ví dụ phân biệt kỹ thuật Computer VisionError! Bookmark not defined Hình 2-3: Tổng quan trích xuất đặc trưng HOG báo gốc [5] Error! Bookmark not defined Hình 2-4: Kiến trúc mạng nơ ron sâu.[6] Error! Bookmark not defined MỤC LỤC Chương TỔNG QUAN ĐỀ TÀI .14 1.1 Động lực nghiên cứu 14 1.1.1 Giới thiệu chung 14 1.1.2 Tính khoa học 15 1.1.3 Tính ứng dụng 15 1.2 Phát biểu toán 16 1.3 Các thách thức .16 1.4 Mục tiêu phạm vi đề tài 17 1.5 Đóng góp đề tài .17 1.6 Cấu trúc báo cáo 18 Chương CÁC NGHIÊN CỨU LIÊN QUAN 19 2.1 Computer Vision 19 2.1.1 Giới thiệu 19 2.1.2 Một số toán bật 19 2.2 Object Detection 20 2.2.1 Giới thiệu 20 2.2.2 Phân loại 21 2.3 Neural Network 22 2.4 Convolutional Neural Network 24 2.4.1 Giới thiệu 24 2.4.2 Convolution Layer .24 2.4.3 Pooling Layer 28 2.4.4 Fully connected layer 28 2.5 ResNet 29 2.5.1 Giới thiệu 29 2.5.2 Vanishing Gradient 30 2.5.3 Kiến trúc mạng ResNet .30 2.6 RoI pooling 31 2.7 RoIAlign 34 2.8 Deformable RoI Pooling 36 2.9 Feature Pyramid Network 37 Chương PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG DỰA TRÊN HỌC SÂU 39 3.1 Phương pháp phát đối tượng họ R-CNN .39 3.1.1 R-CNN (Region with CNN feature) 39 3.1.2 Fast R-CNN .40 3.1.3 Faster R-CNN 41 3.1.3.1 Tổng quan 42 3.1.3.2 RPN 43 3.1.3.3 Fast R-CNN 46 3.2 D2Det 47 3.2.1 Tổng quan 47 3.2.2 Dense local regression .48 3.2.3 Discriminative RoI pooling .49 3.2.4 Kết thực nghiệm 51 Chương BỘ DỮ LIỆU UAVDT-BENCHMARK-M .53 4.1 Bộ liệu UAVDT .53 4.2 Bộ liệu UAVDT-Benchmark-M .54 4.2.1 Tổng quan 54 4.2.2 Annotation 55 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 58 5.1 Quá trình thực nghiệm 58 5.1.1 Dữ liệu thực nghiệm 58 5.1.1.1 Thay đổi cách tổ chức liệu 58 5.1.1.2 Thay đổi định dạng annotation liệu 59 5.1.2 Quá trình thực nghiệm .61 5.1.2.1 Cấu hình thực nghiệm 61 5.1.2.2 Mơ tả q trình thực nghiệm 61 5.2 Phương pháp đánh giá 62 5.2.1 Intersection over Union .62 5.2.2 Confusion matrix .63 5.2.3 Precision Recall 64 5.2.4 AP 65 5.3 Kết 66 5.3.1 Kết thực nghiệm 66 5.3.1.1 Mô hình D2Det sử dụng backbone ResNet50 kết hợp với FPN 66 5.3.1.2 Mơ hình D2Det sử dụng backbone ResNet101 kết hợp với FPN 67 5.3.2 Hình ảnh minh họa 67 5.3.2.1 Mơ hình D2Det sử dụng backbone ResNet50 kết hợp với FPN 67 5.3.2.2 Mơ hình D2Det sử dụng backbone ResNet101 kết hợp với FPN 68 5.3.3 Đánh giá kết 69 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 71 6.1 Kết luận 71 6.2 Hạn chế 71 6.3 Hướng phát triển 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC HÌNH Hình 1.1 Input – output toán 16 Hình 1.2 Thách thức tốn .17 Hình 2.1 Ví dụ phân biệt tốn Computer Vision 21 Hình 2.2 Nơ-ron sinh học 22 Hình 2.3 Kiến trúc Neural Network 23 Hình 2.4 Nơ-ron Neural Network 23 Hình 2.5 Convolutional Neural Network .24 Hình 2.6 Cấu trúc tổng quát Convolution layer 25 Hình 2.7 Ví dụ đầu vào Convolution layer .25 Hình 2.8 Ví dụ minh họa q trình hoạt động Convolution layer 26 Hình 2.9 Ví dụ minh họa Max Pooling .28 Hình 2.10 Fully connected layer 29 Hình 2.11 Residual block .30 Hình 2.12 Mạng CNN truyền thống mạng ResNet 31 Hình 2.13 Feature map ví dụ 32 Hình 2.14 Ví dụ minh họa sau ánh xạ proposal lên feature map 33 Hình 2.15 Ví dụ minh họa chia proposal thành vùng tương ứng với kích thước output cho trước 33 Hình 2.16 Kết thu ví dụ 34 Hình 2.17 Minh họa chia vùng RoIAlign 34 Hình 2.18 Ví dụ minh họa chia vùng RoIAlign 35 Hình 2.19 Ví dụ minh họa trình xác định điểm mẫu RoIAlign 35 Hình 2.20 Ví dụ minh họa kết sau max pooling RoIAlign 36 Hình 2.21 Deformable RoI Pooling .36 Hình 2.22 Feature Pyramid Network 37 Hình 2.23 Minh họa đường theo bottom-up top-down .38 Hình 3.1 Kiến trúc R-CNN 39 Hình 3.2 Kiến trúc Fast R-CNN 40 Hình 3.3 Kiến trúc Faster R-CNN 42 Hình 3.4 Kiến trúc RPN .43 Hình 3.5 RPN báo gốc 44 Hình 3.6 Ví dụ minh họa anchor ứng với cửa sổ trượt 44 Hình 3.7 Score anchor classification layer dự đoán 45 Hình 3.8 Anchor điều chỉnh bounding-box regression layer 45 Hình 3.9 Sự khác biệt Fast R-CNN Faster R-CNN .46 Hình 3.10 Kiến trúc D2Det .47 Hình 3.11 Dense local regression 48 Hình 3.12 Discriminative RoI Pooling 50 Hình 3.13 Adaptive Weighted Pooling 50 Hình 4.1 Một số ảnh liệu UAVDT .53 Hình 5.1 Minh họa định dạng annotation 59 Hình 5.2 Quy trình thực nghiệm 62 Hình 5.3 Minh hoạ cách tính IoU 63 Hình 5.4 Mẫu confusion matrix với tốn phân loại có lớp 63 Hình 5.5 Cách tính Precision Recall .64 Hình 5.6 Bảng quan sát giá trị Precision Recall 65 Hình 5.7 Minh họa vùng mà cơng thức tính AP tính tốn 65 Hình 5.8 Kết dự đốn mơ hình D2Det sử dụng ResNet50 kết hợp FPN 68 Hình 5.9 Kết dự đốn mơ hình D2Det sử dụng ResNet101 kết hợp FPN 69 ... lựa chọn tìm hiểu phương pháp D2Det cho toán phát phương tiện giao thơng khơng ảnh phương pháp phát đối tượng cho kết tốt liệu UAVDT – liệu chứa ảnh chụp phương tiện giao thông từ không Trong báo... cứu tìm phương pháp nâng cao độ hiệu cho tốn 1.1.3 Tính ứng dụng Phát phương tiện giao thông không ảnh áp dụng vào nhiều lĩnh vực sống: − Giám sát giao thông: o Phát theo dõi phương tiện giao. .. UAVDT-benchmark-M - Tìm hiểu phương pháp phát đối tượng D2Det để ứng dụng vào toán phát phương tiện giao thông không ảnh - Huấn luyện mơ hình D2Det liệu UAVDT-benchmark-M - Đánh giá mơ hình tập test ảnh thuộc