Phát hiện đối tượng trong không ảnh chứa sương mờ dựa trên học sâu (khóa luận tốt nghiệp)

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM TRẦN TUẤN MINH KHÓA LUẬN TỐT NGHIỆP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU Object detection in foggy aerial images based on deep learning KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM TP HỒ CHÍ MINH, 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM TRẦN TUẤN MINH - 18520314 KHÓA LUẬN TỐT NGHIỆP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU Object detection in foggy aerial images based on deep learning KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS NGUYỄN TẤN TRẦN MINH KHANG TP HỒ CHÍ MINH, 2022 THƠNG TIN HỘI ĐỒNG CHẤM KHÓA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số …………………… ngày ………………… Hiệu trưởng Trường Đại học Công nghệ Thơng tin LỜI CẢM ƠN Để hồn thành khóa luận này, lời đầu tiên, tơi xin chân thành gửi lời cảm ơn sâu sắc đến thầy TS Nguyễn Tấn Trần Minh Khang – giảng viên hướng dẫn tơi khóa luận Thầy ln quan tâm, lo lắng, nhắc nhở hỗ trợ suốt q trình thực khóa luận Thầy người tạo hội động lực cho đường học tập nghiên cứu khoa học Đồng thời, xin gửi lời cảm ơn đến thầy ThS Võ Duy Nguyên giúp đỡ, hướng dẫn, sửa chữa đóng góp nhiều ý kiến quý báu giúp tơi hồn thành báo cáo khóa luận Tơi xin chân thành cảm ơn tập thể quý thầy cô trường Đại học Công nghệ Thông tin, quý thầy khoa Cơng nghệ Phần mềm phịng thí nghiệm Truyền thông Đa phương tiện MMLab truyền đạt kiến thức, hỗ trợ nhiệt tình tạo điều kiện cho tơi suốt q trình tơi học tập trường Bên cạnh đó, tơi xin gửi lời cảm ơn chân thành đến anh chị, bạn thành viên nhóm nghiên cứu ln đồng hành, giúp đỡ động viên tơi suốt q trình tơi thực khóa luận Cuối cùng, tơi muốn gửi lời cảm ơn chân thành đến gia đình tơi – người động viên, giúp đỡ niềm cảm hứng chặng đường Trong trình thực khóa luận, tơi cố gắng hoàn thành cách chỉnh chu khơng tránh khỏi sai sót, hạn chế đề tài Chính vậy, tơi mong nhận góp ý q thầy bạn để hồn thiện kiến thức, lấy làm hành trang quý báu công việc sau Một lần nữa, xin chân thành cảm ơn! Sinh viên thực Trần Tuấn Minh TP Hồ Chí Minh, ngày 09 tháng 06 năm 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU TÊN ĐỀ TÀI (tiếng Anh): OBJECT DETECTION IN FOGGY AERIAL IMAGES BASED ON DEEP LEARNING Cán hướng dẫn: TS Nguyễn Tấn Trần Minh Khang Thời gian thực hiện: Từ ngày 01/03/2022 đến ngày 20/06/2022 Sinh viên thực hiện: Trần Tuấn Minh - 18520314 Nội dung đề tài:(Mô tả chi tiết mục tiêu, phạm vi, đối tượng, phương pháp thực hiện, kết mong đợi đề tài) Động lực nghiên cứu • Những năm gần đây, với phát triển nhanh chóng học sâu lĩnh vực phát đối tượng, người có ứng dụng xây dựng dựa phương pháp học sâu không ảnh chụp từ phương tiện bay không người lái (Unmanned aerial vehicle – UAV) Những ứng dụng mang lại nhiều lợi ích cho sống, số ví dụ bật đề cập đến giám sát, cứu hộ, theo dõi giao thơng, tự động hóa phương tiện giao thơng… • Hiện nay, đa phần nghiên cứu phát đối tượng thực không ảnh với điều kiện thời tiết tốt Tuy nhiên, thực tế, ứng dụng phải đối mặt với thời tiết không lý tưởng, cụ thể đề cập đề tài xuất sương mờ (sương mù, khói, bụi…) • Sương mờ ảnh hưởng trực tiếp đến chất lượng hình ảnh đầu vào, độ nét, độ tương phản, màu sắc… ảnh hưởng nhiều Điều làm cho khơng ảnh đầu vào có chất lượng thấp vài trường hợp sương mờ che khuất đối tượng ảnh dẫn đến kết phát thấp Đó là động lực giúp tơi nhóm nghiên cứu thực đề tài "Phát đối tượng không ảnh chứa sương mờ dựa học sâu" Phát biểu toán Đầu vào Đầu Hình 1: Ảnh minh họa đầu vào - đầu tốn • Đầu vào: Khơng ảnh chứa sương mờ • Đầu ra: Vị trí loại đối tượng (nếu có) ảnh đầu vào Mục tiêu đề tài • Tìm hiểu tổng quan tốn Phát đối tượng khơng ảnh nói chung khơng ảnh chứa sương mờ nói riêng • Khảo sát liệu cho tốn tương tự cơng bố giới Đồng thời, tìm hiểu kỹ thuật, phương pháp học sâu tiên tiến, có kết khả quan liệu • Xây dựng liệu khơng ảnh chứa sương mờ • Nghiên cứu phương pháp khử sương mờ khơng ảnh • Nghiên cứu tiến hành thực nghiệm phương pháp phát đối tượng học sâu liệu xây dựng • Phân tích kết thực nghiệm, nghiên cứu đề xuất phương pháp học sâu phát đối tượng không ảnh chứa sương mờ giúp cải thiện kết • Xây dựng ứng dụng demo • Tổng hợp kết viết báo cáo Đối tượng phạm vi nghiên cứu • Miền liệu: Khơng ảnh chứa sương mờ • Dữ liệu thực nghiệm: Bộ liệu gồm nhãn đối tượng: bus (xe buýt), car (xe con), motor (xe máy), pedestrian (người bộ) • Phương pháp thực nghiệm: Nghiên cứu phương pháp học sâu “state-of-the-art” cho toán phát đối tượng (Guided Anchoring, Double-Head, Cascade R-CNN) phương pháp khử sương mờ (FFANet) Phương pháp thực • Tìm hiểu, nghiên cứu tổng quan toán Phát đối tượng từ nghiên cứu công bố giới • Tiến hành tìm hiểu liệu khơng ảnh phương pháp tạo sương mờ để xây dựng liệu khơng ảnh chứa sương mờ • Nghiên cứu tiến hành thực nghiệm phương pháp khử sương mờ liệu xây dựng • Nghiên cứu tiến hành thực nghiệm phương pháp phát đối tượng học sâu liệu xây dựng • Nghiệm thu, so sánh phân tích kết thực nghiệm, từ nghiên cứu đề xuất phương pháp học sâu phát đối tượng không ảnh chứa sương mờ giúp cải thiện kết • Xây dựng ứng dụng demo • Tổng hợp kết viết báo cáo Kết mong đợi • Xây dựng thành công liệu không ảnh chứa sương mờ dựa liệu UIT-Drone21, RESIDE, UAVDT-Benchmark • Tài liệu tóm tắt kết khảo sát, phân tích tốn cơng trình liệu cơng bố • Tài liệu tổng hợp tốn, phương pháp học sâu nghiên cứu • Tài liệu chi tiết cách cài đặt môi trường thực nghiệm • Xây dựng mơ hình đề xuất đưa cải tiến, đồng thời báo cáo đánh giá phân tích thực nghiệm phương pháp chọn liệu xây dựng Kế hoạch thực hiện:(Mô tả kế hoạch làm việc phân công công việc cho sinh viên tham gia) Giai đoạn 1: 28/02/2022 – 31/03/2022 • Khảo sát tổng quan tốn Phát đối tượng khơng ảnh từ nghiên cứu cơng bố giới • Tiến hành tìm hiểu phương pháp tạo sương mờ, phương pháp khử sương mờ liệu khơng ảnh RESIDE, UAVDTBenchmark-M… • Tổng hợp kết khảo sát hoàn thành xây dựng liệu không ảnh chứa sương mờ Giai đoạn 2: 01/04/2022 – 30/04/2022 • Nghiên cứu phương pháp học sâu cho tốn Phát đối tượng khơng ảnh • Tiến hành cài đặt, chạy thực nghiệm phương pháp dựa liệu xây dựng Giai đoạn • Phân tích kết đánh giá kết thực nghiệm • Nghiên cứu đề xuất phương pháp học sâu có khả cải thiện kết so với phương pháp thực nghiệm Giai đoạn 3: 01/05/2022 – 17/06/2022 • Phân tích kết quả, đưa nhận xét báo cáo kết đạt • Xây dựng ứng dụng demo viết báo cáo Xác nhận CBHD (Ký tên ghi rõ họ tên) TP HCM, ngày 18 tháng 02 năm 2022 Sinh viên (Ký tên ghi rõ họ tên) TS Nguyễn Tấn Trần Minh Khang Trần Tuấn Minh 73 74 75 76 77 Bài báo khoa học nộp đăng Can Tho University Journal of Science 78 79 80 81 82 83 84 85 PHỤ LỤC B – HƯỚNG DẪN CÀI ĐẶT Các yêu cầu hướng dẫn cài đặt ứng dụng Aerial Object Detection Yêu cầu hệ thống a Yêu cầu phía máy chủ Ubuntu 20.04.1 LTS, NVIDIA GeForce RTX 2080 Ti 11019 MiB (được đề xuất) b Yêu cầu phía thiết bị đầu cuối Ứng dụng web: Windows 10 64-bit Pro, Enterprise, or Education (Build 16299 phiên hơn), 64-bit processor (được đề xuất), 8GB RAM trở lên (được đề xuất) Ứng dụng di động: hệ điều hành Android 10 trở lên, nhớ trống tối thiểu 200MB (được đề xuất), RAM > 4GB (được đề xuất) Cài đặt môi trường sử dụng dành cho nhà phát triển a Cài đặt tiên • NodeJS (v12 hơn) (https://nodejs.org/en/) • Java SE Development Kit (JDK) (https://openjdk.java.net/projects/jdk8/) • Android Studio: Android SDK, Android SDK Platform, Android Virtual Device (Android 10 trở lên) (https://developer.android.com/studio) • Flutter SDK (v2.10.0 hơn) (https://docs.flutter.dev/) b Hướng dẫn cài đặt bước • Tải mã nguồn từ trang web https://github.com/MinhTran0311/Aerial ObjectDetection • Giải nén làm theo dẫn cài đặt tập tin README.md • Mở terminal thư mục mmdetection chạy lệnh sau để bắt đầu server: CUDA_VISIBLE_DEVICES=0 python3 src.py 86 • Mở thêm terminal thư mục Web chạy lệnh sau để chạy ứng dụng web: npm start • Mở terminal thư mục Mobile chạy lệnh để chạy ứng dụng thiết bị di động: flutter run • Có thể sử dụng thiết bị Android (physical device) máy ảo (virtual device) Mở terminal sử dụng lệnh sau để kiểm tra thiết bị có sẵn adb devices Cài đặt mơi trường sử dụng dành cho người dùng a Yêu cầu hệ thống • Hệ điều hành: Android 10 trở lên • Yêu cầu phần cứng: o Bộ nhớ trống tối thiểu 200MB (được đề xuất) o RAM > 4GB (được đề xuất) b Hướng dẫn cài đặt bước • Tải tập tin cài đặt trang web https://github.com/MinhTran0311/Aerial ObjectDetection • Mở terminal thư mục mmdetection chạy lệnh sau để bắt đầu server: CUDA_VISIBLE_DEVICES=0 python3 src.py • Trên thiết bị Android (Physical device), tải file apk theo đường link https://github.com/MinhTran0311/AerialObjectDetection/blob/main/Mobile/ AOD-release.apk • Sau tải xong, nhấn chọn “cài đặt” (install) để cài đặt phần mềm máy • Sau cài đặt thành cơng, chọn mở phần mềm cấp quyền sử dụng để bắt đầu sử dụng 87 ... tài ? ?Phát đối tượng không ảnh chứa sương mờ dựa học sâu? ?? 1.2 Phát biểu toán Đầu vào Đầu Hình 1.1: Bài tốn phát đối tượng khơng ảnh chứa sương mờ Đầu vào không ảnh chứa sương mờ Đầu vị trí đối tượng. .. phương pháp phát đối tượng ảnh dựa học sâu Ngồi ra, chúng tơi trình bày số phương pháp khử sương mờ nhằm cải thiện kết phát đối tượng 2.1 Phát đối tượng 2.1.1 Giới thiệu Phát đối tượng (Object... tượng không ảnh chứa sương mờ Thông qua q trình nghiên cứu, chúng tơi nhận thấy phương pháp Phát đối tượng ảnh dựa học sâu có khả áp dụng cho tốn ? ?Phát đối tượng khơng ảnh chứa sương mờ? ?? Vì vậy,