Đồ án một PHƯƠNG PHÁP PHÁT HIỆN đối TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG mờ

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TRẦN TUẤN MINH- 18520314 TRẦN VĂN BẢO - 18520499 BÁO CÁO ĐỒ ÁN MỘT PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ TP HỒ CHÍ MINH, 2021 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THÔNG TIN TRẦN TUẤN MINH- 18520314 TRẦN VĂN BẢO - 18520499 BÁO CÁO ĐỒ ÁN MỘT PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ TP HỒ CHÍ MINH, 2021 LỜI CẢM ƠN Lời đầu tiên, nhóm tác giả xin chân thành cảm ơn q đến thầy TS Nguyễn Tấn Trần Minh Khang – giảng viên hướng dẫn đồ án Thầy người tạo hội cho nhóm tác giả thực đề tài nghiên cứu khoa học Đồng thời, nhóm xin gửi lời cảm ơn đến thầy ThS.Võ Duy Nguyên ln giúp đỡ, hướng dẫn, sửa chữa đóng góp nhiều ý kiến q báu xun suốt q trình nhóm thực đồ án Tơi xin chân thành cảm ơn tập thể quý thầy cô trường Đại học Công nghệ Thông tin,đặc biệt quý thầy cô khoa Cơng nghệ Phần mềm, phịng thí nghiệm Truyền thơng Đa phương tiện MMLab truyền đạt kiến thức, hỗ trợ tạo điều kiện cho nhóm thực đề tài cách suôn sẻ Tuy nhiên trình thực hiện, kiến thức kinh nghiệm cịn nhiều hạn chế, khó tránh khỏi thiếu sót Chính vậy, nhóm tác giả mong nhận góp ý từ q thầy để nhóm hồn thiện thêm kiến thức mà nhóm học tập, làm hành trang q báu cho nhóm cơng việc sau Xin chân thành cảm ơn q thầy ! Nhóm tác giả Trần Văn Bảo Trần Tuấn Minh MỤC LỤC TÓM TẮT Chương TỔNG QUAN ĐỀ TÀI 1.1 Động lực nghiên cứu 1.2 Phát biểu toán .2 1.3 Các thách thức 1.4 Mục tiêu phạm vi nghiên cứu 1.5 Đóng góp đồ án 1.6 Cấu trúc báo cáo đồ án .6 Chương CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Giới thiệu tổng quan .7 2.2 Computer Vision 2.3 Một số sở lý thuyết 10 2.3.1 Mạng nơ-ron 10 2.3.1.1 Nơ-ron nhân tạo (perceptron) .10 2.3.1.2 Hàm kích hoạt (Activation function) 12 2.3.2 Mạng nơ-ron tích chập (Convolutional Nơ-ron Network) 13 2.3.2.1 Fully Connected Layer - FC Layer (Classification) 15 2.3.2.2 Convolutional Layer 16 2.3.2.3 Pooling Layer .17 2.4 Các phương pháp sở 17 2.4.1 Khử sương mờ đơn ảnh .17 2.4.2 Feature Fusion Attentoin Network (FFA-Net) 19 2.4.2.1 Feature Attention (FA) .21 2.4.2.2 Khối kiến trúc (Basic Block Structure) 22 2.4.2.3 Attention-based different levels Feature Fusion (FAA) .22 2.4.3 Phát đối tượng 23 2.4.3.1 Tổng quan 23 2.4.3.2 Phân loại .24 2.4.3.3 Ứng dụng 25 2.4.4 Probabilistic Anchor Assignment with IoU Prediction for Object Detection (PAA) 25 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 29 3.1 Dữ liệu thực nghiệm .29 3.1.1 Mô tả 29 3.1.2 Mô tả chi tiết 31 3.2 Mô tả thực nghiệm 32 3.2.1 Mơ tả quy trình thực nghiệm .32 3.2.2 Cấu hình thực nghiệm 33 3.2.2.1 Cấu hình phần cứng 33 3.2.2.2 Config mơ hình 33 3.3 Phương pháp đánh giá 33 3.3.1 Intersection over Union (IoU) 33 3.3.2 Average Precision (AP) .34 3.3.3 Mean Average Precision (mAP) 36 3.4 Kết thực nghiệm đánh giá 37 3.4.1 Kết thực nghiệm 37 3.4.2 Trực quan kết 37 3.4.2.1 Kết khử sương mờ .37 3.4.2.2 Kết phát đối tượng .38 3.4.3 Đánh giá kết 39 Chương ĐỀ XUẤT CẢI TIẾN VÀ ĐÁNH GIÁ KÉT QUẢ 41 4.1 Đề xuất cải tiến 41 4.2 Đánh giá kết đề xuất 41 4.2.1 Kết đề xuất 41 4.2.2 Trực quan hóa kết .42 4.3 Đánh giá kết 44 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .45 5.1 Kết luận 45 5.2 Thuận lợi 45 5.3 Khó khăn 46 5.4 Hướng phát triển 46 TÀI LIỆU THAM KHẢO 47 PHỤ LỤC A – BÀI BÁO 48 DANH MỤC HÌNH Hình 1-1 Bài tốn phát đối tượng không ảnh chứa sương mờ Đầu vào ảnh chụp từ không, đầu vị trí nhãn phương tiện giao thơng Hình 2-1 Mối quan hệ AI, Machine Learning Deep Learning Hình 2-2 Sơ đồ mối liên hệ kĩ thuật Computer Vision Hình 2-3 Cấu tạo nơ ron thần kinh 10 Hình 2-4 Kiến trúc mạng nơ-ron nhân tạo .11 Hình 2-5 Cơng thức đồ thị số hàm kích hoạt 12 Hình 2-6 Một quy trình CNN phân loại chữ số viết tay 13 Hình 2-7 Minh họa local receptive field 14 Hình 2-8 Minh họa FC Layer 15 Hình 2-9 Minh họa Convolutional Layer 16 Hình 2-10 Minh họa Pooling Layer 17 Hình 2-11 Kiến trúc mạng FFA-Net 19 Hình 2-12 Ảnh thể mức độ hiệu FFA-Net so với phương pháp khử mờ khác liệu RESIDE 20 Hình 2-13 Feature Attention module 21 Hình 2-14 Ảnh minh họa Khối kiến trúc .22 Hình 2-15 Các kỹ thuật Phát đối tượng .23 Hình 2-16 Phân loại phương pháp phát đối tượng 24 Hình 2-17 Một trường hợp anchor tính tốn mơ hình detect phân bố chúng 26 Hình 2-18 Bảng so sánh thực nghiệm phương pháp PAA số phương pháp khác tác giả 27 Hình 3-1 Một số hình ảnh liệu RESIDE Outdoor Training Set (OTS) 29 Hình 3-2 Biểu đồ phân chia liệu UAVDT-Benchmark-M .30 Hình 3-3 Một số ảnh liệu UAVDT-Benchmark-M .30 Hình 3-4 Biểu đồ thống kế số lớp đối tượng liệu UAVDTBenchmark-M 31 Hình 3-5 Kiến trúc thực nghiệm Ảnh chứa sương mờ thông qua FFA-Net để khử sương mờ sau trở thành đầu vào mơ hình phát đối tượng 32 Hình 3-6 Cơng thức minh họa IoU 34 Hình 3-7 Cách tính Precision Recall 36 Hình 3-8 Ảnh kết khử sương mờ tốt sử dụng FFA-Net (a) Ảnh nguyên bản, (b) Ảnh khử sương mờ .37 Hình 3-9 Ảnh kết khử sương mờ xấu sử dụng FFA-Net (a) Ảnh nguyên bản, (b) Ảnh khử sương mờ .38 Hình 3-10 Ảnh kết phát đối tượng trường hợp sử dụng tập liệu huấn luyện gốc 38 Hình 3-11 Ảnh kết phát đối tượng trường hợp sử dụng tập liệu huấn luyện khử sương mờ 39 Hình 4-1 Ảnh kết khử sương loại trừ đối tượng truck .42 Hình 4-2 Ảnh kết phát đối tượng liệu khử sương mờ loại trừ truck (a) Ground truth, (b) Khử sương toàn ảnh, (c) Khử sương loài trừ truck 43 DANH MỤC BẢNG Bảng 4-1 Bảng kết thực nghiệm phương pháp phát đối tượng PAA Kết tốt in đậm .37 Bảng 5-1 Bảng kết thực nghiệm với liệu huấn luyện khử sương mờ loại trừ đối tượng truck phương pháp phát đối tượng PAA Kết tốt in đậm 41 DANH MỤC TỪ VIẾT TẮT AP Average Precision mAP Mean Average Precision IoU Intersection over Union UAVDT Unmanned Aerial Vehicle Benchmark Object Detection and Tracking UAV Unmanned Aerial Vehicle CNN Convolutional Nơ-ron Networks PAA FFA-Net Probabilistic Anchor Assignment with IoU Prediction for Object Detection Feature Fusion Attention Network hai cách huấn luyện Vì vậy, nhóm đề xuất giải pháp Chương nhằm cải thiện kết phát đối tượng 40 Chương ĐỀ XUẤT CẢI TIẾN VÀ ĐÁNH GIÁ KÉT QUẢ 4.1 Đề xuất cải tiến Bảng 4-1 cho thấy kết lớp truck giảm sút đến 5.9 (lớn nhiều so với độ giảm 0.9 lớp car) Mặt khác, thông qua trực quan hóa kết quả, nhóm nhận thấy số đối tượng lớp truck bị phát sai thành lớp car nên nhóm đặt giả thuyết giữ nguyên vùng ảnh bên bounding box lớp truck thực khử sương tồn vùng ảnh cịn lại phát sai đối tượng giảm xuống từ cải thiện kết phát đối tượng toán (giả thuyết truck_ex) Cách thức để thực giả thuyết nhóm thêm bước tiền xử lý ảnh trước huấn luyện mơ hình PAA Trong bước tiền xử lý ảnh này, nhóm sử dụng cắt vùng ảnh bên bounding box đối tượng ảnh liệu gốc dựa annotation chúng Sau đó, dán vùng ảnh vào tọa độ tương ứng chúng ảnh tương ứng khử sương mờ 4.2 Đánh giá kết đề xuất 4.2.1 Kết đề xuất Mơ hình (PAA) AP mAP mAP50 mAP75 Tập Train Tập Test Car Truck Bus Raw Raw 19.6 17.1 0.7 12.5 26.7 9.7 Dehazing Raw 18.7 11.2 1.5 10.4 21.4 9.1 Dehazing (truck_ex) Raw 21.9 11.3 4.4 12.5 26.5 9.8 Bảng 4-1 Bảng kết thực nghiệm với liệu huấn luyện khử sương mờ loại trừ đối tượng truck phương pháp phát đối tượng PAA Kết tốt in đậm 41 4.2.2 Trực quan hóa kết • Kết khử sương loại trừ truck (a)Ảnh gốc (b)Khử sương toàn (c)Khử sương loại trừ truck (a)Ảnh gốc (b)Khử sương tồn (c)Khử sương loại trừ truck Hình 4-1 Ảnh kết khử sương loại trừ đối tượng truck Nhận xét: Kết khử sương loại trừ đối tượng truck cho ta thấy khu vực bên bounding boxes lớp đối tượng truck giữ nguyên vùng ảnh lại thực khử sương mờ 42 • Kết phát đối tượng liệu khử sương mờ loại trừ truck (a)Ground truth (b)Khử sương toàn ảnh (c)Khử sương loại trừ truck (a)Ground truth (b)Khử sương toàn ảnh (c)Khử sương loại trừ truck Hình 4-2 Ảnh kết phát đối tượng liệu khử sương mờ loại trừ truck (a) Ground truth, (b) Khử sương toàn ảnh, (c) Khử sương lồi trừ truck Nhận xét: Nhìn vào hình ảnh trực quan hóa kết quả, ta thấy so với Ground truth, mơ hình sử dụng liệu khử sương loại trừ lớp đối tượng truck có kết dự đốn sai lệch với nhãn Ground truth đối tượng có điểm IoU cao so với mơ hình cịn lại Tuy nhiên, cịn số đối tượng car khơng phát điều kiện trời tối 43 4.3 Đánh giá kết Dựa vào bảng kết hình ảnh trực quan, nhóm có hai đánh sau: • Đối với lớp truck, việc khử sương làm kết phát đối tượng giảm sút nhiều so với việc giữ nguyên lớp sương coi lớp sương phần đối tượng • Ngược lại, lớp car, việc khử sương giúp cho mơ hình giảm tỉ lệ phát sai lớp car thành lớp truck Từ đó, kết phát đối tượng củalớp tăng lên đến 21.9% độ đo mAP Hơn nữa, điểm IoU đối tượng car riêng lẻ điẻm liệu tăng lên khoảng 0.01% - 0.35% 44 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Nội dung đề tài tập trung tìm hiểu tốn Phát đối tượng không ảnh chứa sương mờ, nghiên cứu chạy thực nghiệm phương pháp khử sương mờ phát đối tượng dựa học sâu Dựa mục tiêu đặt ra, đề tài đạt số kết sau: • Đề xuất việc kết hợp hai phương pháp tiên tiến FFANet (AAAI-2021) PPA (ECCV-2020) cho việc pháp phương tiện không ảnh chứa sương mờ liệu UAV DT Benchmark-M • Dựa kết phát đối tượng mơ hình huấn luyện liệu khử sương mờ, nhóm nhận thấy việc khử sương liệu gốc làm ảnh hưởng đến đặc trưng hai lớp (car truck) dẫn đến kết kiểm tra bị giảm sút • Thơng qua q trình thực nghiệm mở rộng, nhóm nhận thấy sương mờ làm giảm kết phát lớp car lại cho kết tốt xem sương mờ phần lớp truck • Dựa vào kết nghiên cứu được, nhóm có báo khoa học đăng Hội nghị Khoa học Trẻ nghiên cứu sinh năm 2021 tổ chức trường Đại học Công nghệ thông tin: “MỘT PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ”4 5.2 Thuận lợi Trong suốt trình tìm hiểu, nhóm nhận giúp đỡ thầy, anh chị bạn nhóm nghiên cứu https://khoahoctre.uit.edu.vn/trien-lam-khoa-hoc-cong-nghe-hoi-nghi-khoa-hoc-tre-va-nghien-cuusinh-nam-2021 45 Nhóm sử dụng GPU cung cấp bới phịng MMLab, giúp thời gian huấn luyện mơ hình giảm tối đa 5.3 Khó khăn Nhóm gặp phải số khó khăn tìm hiểu tốn khử sương mờ phát đối tượng kiến thực tảng chưa đủ Nhóm cịn phải sử dụng mơ hình pre-trained FFA-Net khơng đủ thời gian thu thập liệu Việc huấn luyện mơ hình dựa phương pháp PAA tốn nhiều thời gian gặp số khó khăn thiết lập cấu hình chạy thực nghiệm 5.4 Hướng phát triển Trong tương lai, nhóm thu thập liệu khơng ảnh chứa sương mờ để huấn luyện mơ hình FFA-Net để tạo phân phối liệu phù hợp với góc nhìn từ không Thực hiên tinh chỉnh tham số mô hình phương pháp PAA cho phù hợp với liệu không ảnh 46 TÀI LIỆU THAM KHẢO [1] Dongdong Chen et al “Gated context aggregation network for image de-hazing and deraining” In:2019 IEEE winter conference on applications ofcomputer vision (WACV) IEEE 2019, pp 1375–1383 [2] Dawei Du et al “The Unmanned Aerial Vehicle Benchmark: Object Detec-tion and Tracking” In:Proceedings of the European Conference on Com-puter Vision (ECCV) Sept 2018 [3] Kaiming He, Jian Sun, and Xiaoou Tang “Single Image Haze RemovalUsing Dark Channel Prior” In:IEEE Transactions on Pattern Analysis andMachine Intelligence33.12 (2011), pp 2341–2353.doi:10.1109/TPAMI.2010.168 [4] Kang Kim and Hee Seok Lee.Probabilistic Anchor Assignment with IoUPrediction for Object Detection 2020 arXiv:2007.08103 [cs.CV] [5] Boyi Li et al “AOD-Net: All-in-One Dehazing Network” In:2017 IEEE International Conference on Computer Vision (ICCV) 2017, pp 4780– 4788.doi:10.1109/ICCV.2017.511 [6] Xu Qin et al “Ffa-net: Feature fusion attention network for single imagedehazing” In:Proceedings of the AAAI Conference on Artificial Intelligence.Vol 34 07 2020, pp 11908–11915 [7] Dong Yang and Jian Sun “Proximal Dehaze-Net: A Prior Learning-BasedDeep Network for Single Image Dehazing” In:Proceedings of the EuropeanConference on Computer Vision (ECCV) Sept 2018 [8] He, Kaiming, Jian Sun, and Xiaoou Tang "Single image haze removal using dark channel prior." IEEE transactions on pattern analysis and machine intelligence 33.12 (2010): 2341-2353 47 PHỤ LỤC A – BÀI BÁO 48 49 50 51 52 53 54 ... sương mờ tốn phát phương tiện giao thơng từ khơng ảnh Nhóm đánh giá liệu chứa sương mờ chọn từ UAVDT-BenchmarkM [2] giả thuyết coi sương mờ phần đối tượng không thực khử sương vùng ảnh chứa đối. .. việc phát đối tượng không ảnh chứa sương mờ Đóng góp báo Hội nghị Khoa học Trẻ nghiên cứu sinh năm 2021 tổ chức trường Đại học Công nghệ thông tin: “MỘT PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG... nghiệm tốn ? ?Một phương pháp phát đối tượng không ảnh chứa sương mờ? ??, nhóm tiến hành thực hai luồng thực nghiệm sau: • Huấn luyện mơ hình phát đối tượng liệu nguyên không qua xử lý khử sương mờ • Huấn