Tìm hiểu phương pháp phát hiện đối tượng trong không ảnh chứ a sương mờ

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ SINH VIÊN NĂM 2021 Tên đề tài tiếng Việt: TÌM HIỂU PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ Tên đề tài tiếng Anh: UNDERSTANDING OBJECT DETECTION METHOD FOR AERIAL HAZY IMAGES Khoa/ Bộ môn: Công nghệ phần mềm Thời gian thực hiện: 06 tháng Cán hướng dẫn: Ts Nguyễn Tấn Trần Minh Khang Tham gia thực TT Họ tên, MSSV Trần Tuấn Minh Trần Văn Bảo Chịu trách Điện thoại Email Chủ nhiệm 0935723862 18520314@gm.uit.edu.vn Tham gia 0327954919 18520499@gm.uit.edu.vn nhiệm Thành phố Hồ Chí Minh – Tháng 03 /2022 ĐẠI HỌC QUỐC GIA TP HCM Ngày nhận hồ sơ TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Mã số đề tài (Do CQ quản lý ghi) BÁO CÁO TỔNG KẾT Tên đề tài tiếng Việt: TÌM HIỂU PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ Tên đề tài tiếng Anh: UNDERSTANDING OBJECT DETECTION METHOD FOR AERIAL HAZY IMAGES Ngày tháng năm Ngày tháng năm Cán hướng dẫn Sinh viên chủ nhiệm đề tài (Họ tên chữ ký) (Họ tên chữ ký) Nguyễn Tấn Trần Minh Khang Trần Tuấn Minh THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: − Tên đề tài: Tìm hiểu phương pháp phát đối tượng không ảnh chứa sương mờ − Chủ nhiệm: Trần Tuấn Minh − Thành viên tham gia: Trần Văn Bảo − Cơ quan chủ trì: Trường Đại học Cơng nghệ Thơng tin − Thời gian thực hiện: 06 tháng Mục tiêu: Trong phạm vi đề tài, tập trung giải vấn đề sau: − Tìm hiểu tổng quan mạng học sâu ứng dụng tốn dựa nghiên cứu có sẵn − Tìm hiểu liệu RESIDE UAVDT-Benchmark-M − Tìm hiểu phương pháp FFA-Net để ứng dụng khử sương không ảnh phương pháp PAA để thực phát đối tượng − Tiến hành thực nghiệm dựa phương pháp nghiên cứu liệu UAVDT-Benchmark-M − Đánh giá kết thực nghiệm thu Tính sáng tạo: Nhóm nghiên cứu tiếp cận đề tài dựa nhu cầu liệu ngày cao thời kỳ số hóa, phát triển mạnh mẽ trí thơng minh nhân tạo đòi hỏi đa dạng phong phú đề cập khơng ảnh thu từ thiết bị bay không người lái Tuy nhiên, việc phát đối tượng khơng ảnh gặp nhiều khó khăn hạn chế phát sinh từ sương mờ, khói bụi khí Đó thách thức nhiều nghiên cứu liệu chứa sương mờ Tóm tắt kết nghiên cứu: − Trình bày tổng quan toán phát đối tượng khơng ảnh chứa sương mờ − Trình bày tổng quan phương pháp khử sương FFA-Net, phương pháp phát đối tượng PAA lý thuyết sở liên quan − Trình bày tổng quan liệu thực nghiệm UAVDT-Benchmark-M Tên sản phẩm: Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Kết thu trường hợp cụ thể tương đối khả quan hướng đến việc chuyển giao sang mơ hình thực tế với cải tiến nâng cao khả áp dụng vào nhiều khía cạnh đời sống Hình ảnh, sơ đồ minh họa Cơ quan Chủ trì Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) MỤC LỤC DANH MỤC HÌNH i DANH MỤC BẢNG iii DANH MỤC TỪ VIẾT TẮT iv TÓM TẮT Chương TỔNG QUAN ĐỀ TÀI 1.1 Động lực nghiên cứu 1.2 Phát biểu toán .2 1.3 Các thách thức 1.4 Mục tiêu phạm vi nghiên cứu 1.5 Đóng góp đồ án 1.6 Cấu trúc báo cáo đồ án .6 Chương CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Giới thiệu tổng quan .7 2.2 Computer Vision 2.3 Phát đối tượng 10 2.3.1 Tổng quan 10 2.3.2 Phân loại 12 2.3.3 Ứng dụng 13 2.4 Phương pháp rút trích đặc trưng ảnh dựa học sâu 13 2.4.1 Mạng nơ-ron 13 2.4.1.1 Nơ-ron nhân tạo (perceptron) .13 2.4.1.2 Hàm kích hoạt (Activation function) 15 2.4.2 Mạng nơ-ron tích chập (Convolutional Neural Network) 16 2.4.2.1 Tầng tích chập (Convolution layer) 18 2.4.2.2 Tầng tổng hợp (Pooling layer) 19 2.5 Probabilistic Anchor Assignment with IoU Prediction for Object Detection (PAA) 20 2.6 Khử sương mờ đơn ảnh 22 2.7 Feature Fusion Attentoin Network (FFA-Net) 23 2.7.1.1 Khối kiến trúc (Basic Block Structure) 25 2.7.1.2 Attention-based different levels Feature Fusion (FAA) .26 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 27 3.1 Dữ liệu thực nghiệm .27 3.1.1 Mô tả 27 3.2 Mô tả thực nghiệm 29 3.2.1 Mô tả quy trình thực nghiệm .29 3.2.2 Cấu hình thực nghiệm 31 3.2.2.1 Cấu hình phần cứng 31 3.2.2.2 Cấu hình mơ hình .31 3.3 Phương pháp đánh giá 32 3.3.1 Intersection over Union .32 3.3.2 Average Precision (AP) .33 3.3.3 Mean Average Precision (mAP) 34 3.4 Kết thực nghiệm đánh giá 35 3.4.1 Kết thực nghiệm 35 3.4.1.1 Kết khử sương mờ .35 3.4.1.2 Kết phát đối tượng .36 3.4.2 Đánh giá kết 37 Chương ĐỀ XUẤT CẢI TIẾN VÀ ĐÁNH GIÁ KÉT QUẢ 39 4.1 Đề xuất cải tiến 39 4.2 Đánh giá kết đề xuất 39 4.2.1 Kết đề xuất 39 4.2.2 Trực quan hóa kết .40 4.3 Đánh giá kết 41 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .43 5.1 Kết luận 43 5.2 Thuận lợi 43 5.3 Khó khăn 44 5.4 Hướng phát triển 44 TÀI LIỆU THAM KHẢO 45 PHỤ LỤC A – BÀI BÁO 47 DANH MỤC HÌNH Hình 1-2: Bài tốn phát đối tượng không ảnh chứa sương mờ Đầu vào ảnh chụp từ không, đầu vị trí nhãn phương tiện giao thơng Hình 2-1: Mối quan hệ AI, Machine Learning Deep Learning Hình 2-2: Sơ đồ mối liên hệ kĩ thuật Computer Vision Hình 2-3: Các kỹ thuật Phát đối tượng 11 Hình 2-4: So sánh mơ hình two-stage (a) one-stage (b) [8] .12 Hình 2-5: Cấu tạo nơ ron thần kinh .14 Hình 2-6: Kiến trúc mạng nơ-ron nhân tạo .15 Hình 2-7: Cơng thức đồ thị số hàm kích hoạt 15 Hình 2-8: Minh họa Convolution Layer 18 Hình 2-9: Minh họa Pooling Layer 19 Hình 2-10: Minh họa Fully-connected layer 20 Hình 2-11: Một trường hợp anchor tính tốn mơ hình detect phân bố chúng [7] 21 Hình 2-12: Bảng so sánh thực nghiệm phương pháp PAA số phương pháp khác tác giả [7] 22 Hình 2-13: Kiến trúc mạng FFA-Net ttrong báo gốc [5] .24 Hình 2-14 Ảnh thể mức độ hiệu FFA-Net so với phương pháp khử mờ khác liệu RESIDE [5] 24 Hình 2-15: Feature Attention module 25 Hình 2-16: Ảnh minh họa Khối kiến trúc 26 Hình 3-1 Một số hình ảnh liệu RESIDE Outdoor Training Set (OTS) [14] 27 Hình 3-2: Biểu đồ phân chia liệu UAVDT-Benchmark-M 28 Hình 3-3: Một số ảnh liệu UAVDT-Benchmark-M [6] 28 Hình 3-4: Biểu đồ thống kế số lớp đối tượng liệu UAVDTBenchmark-M 29 Hình 3-5: Kiến trúc thực nghiệm Ảnh chứa sương mờ thông qua FFA-Net để khử sương mờ sau trở thành đầu vào mơ hình phát đối tượng 30 Hình 3-6: Cơng thức minh họa để tính IoU 32 Hình 3-7: Precision and recall 34 Hình 3-8: Ảnh kết khử sương mờ tốt sử dụng FFA-Net (a) Ảnh nguyên bản, (b) Ảnh khử sương mờ 35 Hình 3-9: Ảnh kết khử sương mờ xấu sử dụng FFA-Net (a) Ảnh nguyên bản, (b) Ảnh khử sương mờ 36 Hình 3-10: Ảnh kết phát đối tượng trường hợp sử dụng tập liệu huấn luyện gốc 36 Hình 3-11: Ảnh kết phát đối tượng trường hợp sử dụng tập liệu huấn luyện khử sương mờ .37 Hình 4-1: Ảnh kết khử sương loại trừ đối tượng truck 40 Hình 4-2 Ảnh kết phát đối tượng liệu khử sương mờ loại trừ truck (a) Ground truth, (b) Khử sương toàn ảnh, (c) Khử sương loài trừ truck .41 DANH MỤC BẢNG Bảng 3.1: Bảng kết thực nghiệm phương pháp phát đối tượng PAA Kết tốt in đậm .35 Bảng 4.1: Bảng kết thực nghiệm với liệu huấn luyện khử sương mờ loại trừ đối tượng truck phương pháp phát đối tượng PAA Kết tốt in đậm 39 ... có sẵn − Tìm hiểu liệu RESIDE UAVDT-Benchmark-M − Tìm hiểu phương pháp FFA-Net để ứng dụng khử sương không ảnh phương pháp PAA để thực phát đối tượng − Tiến hành thực nghiệm d? ?a phương pháp nghiên... ch? ?a sương mờ Tóm tắt kết nghiên cứu: − Trình bày tổng quan tốn phát đối tượng khơng ảnh ch? ?a sương mờ − Trình bày tổng quan phương pháp khử sương FFA-Net, phương pháp phát đối tượng PAA lý thuyết... sương mờ tốn phát phương tiện giao thơng từ khơng ảnh Nhóm đánh giá liệu ch? ?a sương mờ chọn từ UAVDT-BenchmarkM [6] giả thuyết coi sương mờ phần đối tượng không thực khử sương vùng ảnh ch? ?a đối