Nghiên Cứu Giải Pháp Kết Hợp Ảnh Nhiệt Và Ảnh Màu Trong Bài Toán Phát Hiện Và Theo Vết Đối Tượng Người.docx

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊNCỨUGIẢIPHÁPKẾTHỢPẢNHNHIỆT VÀẢNHMÀUTRONGBÀITOÁNPHÁTHIỆN VÀTHEOVẾTĐỐITƯỢNGNGƯỜI LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU Hà Nội – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊNCỨUGIẢIPHÁPKẾTHỢPẢNHNHIỆT VÀẢNHMÀUTRONGBÀITỐNPHÁTHIỆN VÀTHEOVẾTĐỐITƯỢNGNGƯỜI Ngành: Mạng máy tính truyền thơng liệu Mã số: 9480102 LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Trần Quang Đức Hà Nội - 2023 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu thân thời gian học tập nghiên cứu hướng dẫn người hướng dẫn khoa học Các số liệu, kết trình bày luận án trung thực chưa tác giả khác công bố HàNội,ngày tháng năm2023Nghiên Giáo viên hướng dẫn cứusinh PGS TS TrầnQuangĐức Đào VũHiệp i LỜI CẢM ƠN Trong trình học tập nghiên cứu, nghiên cứu sinh nhận nhiều giúp đỡ ý kiến đóng góp quý báu thầy, Đặc biệt, tơi xin bàytỏlịngbiếtơnchânthànhvàsâusắcđếnPGS.TS.TrầnQuangĐức-người hướng dẫn khoa học tận tình bảo, hướng dẫn để nghiên cứu sinh hồn thành luận án Nghiên cứu sinh xin gửi lời cảm ơn chân thành tới PGS.TS Nguyễn Linh Giang, TS Trần Nguyên Ngọc, ThS Mạc Đình Hiếu bạn sinh viên Trung tâm an tồn an ninh thơng tin/Trường Cơng nghệ thơng tin Truyền thông/Đại học Bách Khoa Hà Nội nhiệt tình hướng dẫn, giúp đỡ tạo điều kiện thuận lợi cho tơi suốt q trình thực Luận án Tôi xin cảm ơn quan công tác, gia đình người thân ln bên tơi, ủng hộ động viên tơi suốt q trình nghiênc ứ u Tôi xin chân thành cảm ơn! HàNội,ngày tháng năm2023 Nghiên cứu sinh Đào Vũ Hiệp ii MỤC LỤC LỜI CAMĐOAN i LỜI CẢMƠN ii DANH MỤC CÁC TỪVIẾT TẮT vi DANH MỤC CÁCHÌNH VẼ ix DANH MỤCCÁCBẢNG xii MỞ ĐẦU .1 Bối cảnhnghiên cứu Những thách thức mục tiêunghiên cứu Đối tượng phạm vinghiêncứu Ý nghĩa khoa học thực tiễn đề tàing hi ên cứu .6 Điểm củaluậnán Cấu trúc củaluận án Chương TỔNG QUAN VỀ CÁC VẤN ĐỀNGHIÊNCỨU 1.1 Vai trò ảnh nhiệt toán phát theo vếtđ ố i tượng 1.1.1 Kháiquátvềtínhiệuhồngngoại 1.1.2 Khảnăngmơtảđốitượngcủacáctínhiệuhồngngoại 11 1.2 Kỹthuậthọcsâuápdụngtrongbàitoán pháthiệnvàtheovếtđốitượng .13 1.2.1 Cơbản mạngnơrontíchchập 14 1.2.2 Mộtsố phương pháp pháthiệnđốitượng sử dụng kỹthuậthọcsâu 15 1.2.3 Mộtsố phương pháptheo vết đốitượngsửdụngkỹthuậthọcsâu .17 1.3 Bài toán phát đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu vàảnhnhiệt .19 1.3.1 Phân tíchbàitốn 19 1.3.2 Bộdữliệuthửnghiệm 20 1.3.3 Độ đohiệunăng 22 1.3.4 Cácnghiêncứucóliênquan 23 1.4 Bài toán theo vết đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu vàảnhnhiệt .34 1.4.1 Phân tíchbàitốn 34 1.4.2 Bộdữliệuthửnghiệm 35 1.4.3 Độ đohiệunăng 36 1.4.4 Cácnghiêncứucóliênquan 37 1.5 Kết luậnchương1 .43 Chương PHƯƠNG PHÁP XÁC ĐỊNH TRỌNG SỐ TRONG KẾT HỢP ẢNH MÀU VÀẢ N H NHIỆT .44 2.1 Ảnh hưởng độ chiếu sáng cường độ nhiệt đến hiệu phát theo vết đốit ợ n g người 44 2.1.1 Khảo sát ảnhhưởng củađộchiếu sáng đếnhiệunăngphát hiệnvàtheovếtđốitượngngười 44 2.1.2 Khảo sát ảnhhưởng cườngđộnhiệtđến hiệunăngphát hiệnvàtheovếtđốitượngngười 47 2.2 Các phương pháp để xác định độchiếusáng 47 2.2.1 Cácphươngphápđểướclượngđộchiếusángphổbiến .47 2.2.2 Phươngpháp sử dụngđộnhiễuđểxác địnhđộchiếusáng 51 2.3 Đánh giá chất lượng phát theo vết đối tượng trênả n h nhiệt .56 2.4 Phương pháp xác định trọng số kết hợp ảnh màu ảnh nhiệt phát theovếtngười 58 2.5 Kết luậnchương2 .64 Chương PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI VỚI ĐỘ NHIỄU VÀ CƯỜNGĐ Ộ NHIỆT 65 3.1 Các kỹ thuậtnền tảng 65 3.1.1 CácthuậttoánYOLO 65 3.1.2 ThuậttoánSiamDW_ST 72 3.2 Thuật toán kết hợp ảnh màu ảnh nhiệt mức điểm ảnh để phát đối tượngngười 74 3.2.1 Mơ tảthuậttốn 74 3.2.2 Đánh giákếtquả 74 3.3 Thuậttốnkếthợpthờigianthựcởmứckếtquảđểpháthiệnđốitượngngười 78 3.3.1 Mơ tảthuậttốn 78 3.3.2 Đánh giákếtquả 79 3.4 Thuật toán phát đối tượng người giai đoạn sử dụng độ nhiễu cườngđộnhiệt 80 3.4.1 Mơ tảthuậttốn 80 3.4.2 Điều kiệnthửnghiệm 82 3.4.3 Kếtquả thửnghiệmsosánhvớicác phươngphápxácđịnh trọngsốkhác .82 3.4.4 Kếtquả thửnghiệmsosánhcácmứckếthợp .83 3.4.5 Kếtquảthửnghiệmsosánhvớicácthuậttoánphổbiến .84 3.5 Thuật toán theo vết đối tượng người sử dụng độ nhiễu cường độ nhiệt 883.5.1.Mơ tảthuậttốn 88 3.5.2 Điều kiệnthửnghiệm 89 3.5.3 Kếtquả thửnghiệmsosánhvớicác thuậttốnphổbiến trêntồnbộcácchuỗi đốitượngngười 90 3.5.4 Kếtquả thửnghiệmsosánhvớicác thuậttoánphổbiến riêng trêncácchuỗidữ liệubanngày 90 3.5.5 Kếtquả thửnghiệmsosánhvớicác thuậttoánphổbiến riêng trêncácchuỗidữ liệubanđêm .91 3.5.6 Kếtquả thửnghiệmsosánhvớicác thuậttoánphổbiến riêng trêncácchuỗidữ liệucónhiềuđối tượng bịchekhuất 91 3.5.7 Kếtquả thửnghiệmsosánhvớicác thuậttoánphổbiến riêng trêncácchuỗidữ liệucónhiềuđối tượngkíchthướcthayđổi 92 3.5.8 Kếtquả thửnghiệmsosánhvớicác thuậttốnphổbiến riêng trêncácchuỗidữ liệucónhiềukhung hìnhcamerachuyểnđộng .92 3.5.9 Kếtquả thửnghiệmsosánhvớicác thuậttốnphổbiến riêng trêncácchuỗidữ liệucócác đốitượngchuyểnđộngliêntục 92 KẾT LUẬN VÀ PHƯƠNG HƯỚNGPHÁTTRIỂN 102 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CƠNG BỐ CỦAL U Ậ N ÁN 104 TÀI LIỆUTHAM KHẢO 105 DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt DL Deep Learning CNN Convolutional Network GPU Graphic Processing Unit Đơn vị xử lý đồ họa ILSVRC ImageNet Large Scale Visual Recognition Challenge Bộ liệu ảnh lớn thi nhận dạng trực quan VOT Visual Object Tracking Theo vết đối tượng trực quan Bộ liệu đối tượngthông dụng nhiều ngữ cảnh Microsoft Nhận dạng ký tự Tiếng Anh Ý nghĩa Tiếng Việt Học sâu Neural Mạng nơ ron tích chập COCO Microsoft Common Objects in COntext (MS COCO) OCR Optical Character Recognition HOG Histogram Gradients ROI Region of Interest Vùng quan tâm Intersection over Union Tỷ lệ diện tích vùng giao vùng hợp khung dự đoán khung chuẩn of Oriented Lược đồ hướng gradient 10 IoU 11 VGG Very Deep Networks 12 FCN Fully Convolutional Network Mạng tích chập đầy đủ 13 RPN Region Proposal Network Mạng đề xuất vùng 14 CSPNet 15 FPN Feature Pyramid Network 16 PAN Path Aggregation Network Convolutional Tên mạng nơ ron: Mạng tích chập sâu Cross Stage Partial Network Mạng kết nối chéo tầng Mạng kim tự tháp đặc trưng kiến trúc phát đối tượng nhiều tỷ lệ Mạng tổng hợp đường cho phép kết hợp đặc trưng từ nhiều tầng nơ ron tích chập 17 ACF Aggregated Channel Features Đặc trưng kết hợp từ nhiều kênh 18 SSD Single Shot Multibox Detector Tên thuật toán phát đối tượng giai đoạn 19 Siamese Sililarity Learning Huấn luyện để xác định ảnh tương tự 20 DCF Discriminative Filters 21 NCC Normalized Cross-Correlation Tương quan chéo chuẩn hóa SiamFC Fully-Convolutional Siamese Thuật tốn theo vết đối tượng sử dụng lớp tích chập đầy đủ để xác định vị trí đối tượng MOSSE Tên thuật toán theo vết Minimum Output Sum of đối tượng sử dụng huấn luyện SquaredError DCF ATOM Accurate Tracking by Overlap Maximization 22 23 24 Correlation Bộ lọc tương quan phân biệt Tên thuật toán theo vết đối tượng sử dụng phương pháp tối đa độ chồng lấn Tên thuật toán phát 25 CIAN Cross-Modality interactive attentionn e t w o r k đối tượng người sử dụng kết hợp ảnh màu ảnh nhiệt sử dụng ngữ nghĩa ảnh đểlàm trọngsố 26 27 SNR mAP Signal to Noise Ratio Tỷ lệ tín hiệu nhiễu mean Average Precision Độ xác trung bình, sử dụng để đánh giá thuật toán phát đối tượng 28 LAMR Log Average Miss Rate Tỷ lệ lỗi trung bình miền logarit sử dụng để đánh giácác thuậttốnpháthiệnđốit ợ n g 29 FPPI False Positive Per Image Tỷ lệ phát sai số lượng ảnh thử nghiệm vii 30 31 32 33 fps NMS NAMPD MCFF frame per second Khung hình giây Non-Maximum Suppression Tên thuật toán loại bỏ ước lượng trùng toán phát đốit ợ n g Noise - Aware Multispectral Perdestrian Detector Tên thuật toán phát đối tượng kết hợp ảnh màu ảnh nhiệt sử dụng độ nhiễu cường độ nhiệt Multispectral channel feature fusion Tênmột lớp để kết hợp cácđặc trưng ảnh màu ảnhnhiệt.Trong huấn luyệnđểtạoratrọngsốkếthợp tốiưu