Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người

Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊN CỨU GIẢI PHÁP KẾT HỢP ẢNH NHIỆT VÀ ẢNH MÀU TRONG BÀI TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU Hà Nội – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊN CỨU GIẢI PHÁP KẾT HỢP ẢNH NHIỆT VÀ ẢNH MÀU TRONG BÀI TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI Ngành: Mạng máy tính truyền thơng liệu Mã số: 9480102 LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG DỮ LIỆU NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Trần Quang Đức Hà Nội - 2023 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân thời gian học tập nghiên cứu hướng dẫn người hướng dẫn khoa học Các số liệu, kết trình bày Luận án trung thực chưa tác giả khác công bố Hà Nội, ngày tháng năm 2023 Giáo viên hướng dẫn Nghiên cứu sinh PGS TS Trần Quang Đức Đào Vũ Hiệp i LỜI CẢM ƠN Trong trình học tập nghiên cứu, nghiên cứu sinh nhận nhiều giúp đỡ ý kiến đóng góp q báu thầy, Đặc biệt, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc đến PGS.TS Trần Quang Đức - người hướng dẫn khoa học tận tình bảo, hướng dẫn để nghiên cứu sinh hồn thành Luận án Nghiên cứu sinh xin gửi lời cảm ơn chân thành tới PGS.TS Nguyễn Linh Giang, TS Trần Nguyên Ngọc, ThS Mạc Đình Hiếu bạn sinh viên Trung tâm an tồn an ninh thơng tin/Trường Cơng nghệ thông tin Truyền thông/Đại học Bách Khoa Hà Nội nhiệt tình hướng dẫn, giúp đỡ tạo điều kiện thuận lợi cho tơi suốt q trình thực Luận án Tôi xin cảm ơn quan cơng tác, gia đình người thân ln bên tôi, ủng hộ động viên suốt trình nghiên cứu Tơi xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Đào Vũ Hiệp ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT vii DANH MỤC CÁC HÌNH VẼ x DANH MỤC CÁC BẢNG xiii MỞ ĐẦU 1 Bối cảnh nghiên cứu Những thách thức mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Ý nghĩa khoa học thực tiễn đề tài nghiên cứu Điểm Luận án Cấu trúc Luận án Chương TỔNG QUAN VỀ CÁC VẤN ĐỀ NGHIÊN CỨU 1.1 Vai trò ảnh nhiệt toán phát theo vết đối tượng 1.1.1 Khái quát tín hiệu hồng ngoại 1.1.2 Khả mô tả đối tượng tín hiệu hồng ngoại 12 1.2 Kỹ thuật học sâu áp dụng toán phát theo vết đối tượng 14 1.2.1 Cơ mạng nơ ron tích chập 14 1.2.2 Một số phương pháp phát đối tượng sử dụng kỹ thuật học sâu 16 1.2.3 Một số phương pháp theo vết đối tượng sử dụng kỹ thuật học sâu 18 1.3 Bài toán phát đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu ảnh nhiệt 19 1.3.1 Phân tích tốn 19 1.3.2 Bộ liệu thử nghiệm 21 1.3.3 Độ đo hiệu 22 1.3.4 Các nghiên cứu có liên quan 24 1.4 Bài toán theo vết đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu ảnh nhiệt 36 1.4.1 Phân tích tốn 36 1.4.2 Bộ liệu thử nghiệm 37 1.4.3 Độ đo hiệu 37 iii 1.4.4 Các nghiên cứu có liên quan 39 1.5 Kết luận chương 45 Chương XÁC ĐỊNH CÁC CHỈ SỐ ĐỂ XÂY DỰNG TRỌNG SỐ TRONG KẾT HỢP ẢNH MÀU VÀ ẢNH NHIỆT 47 2.1 Ảnh hưởng độ chiếu sáng cường độ nhiệt đến hiệu phát theo vết đối tượng người 47 2.1.1 Khảo sát ảnh hưởng độ chiếu sáng đến hiệu phát theo vết đối tượng người 47 2.1.2 Khảo sát ảnh hưởng cường độ nhiệt đến hiệu phát theo vết đối tượng người 50 2.2 Các phương pháp để xác định độ chiếu sáng 50 2.2.1 Các phương pháp để ước lượng độ chiếu sáng phổ biến 50 2.2.2 Phương pháp sử dụng độ nhiễu để xác định độ chiếu sáng 54 2.3 Đánh giá ảnh hưởng cường độ nhiệt đến chất lượng phát theo vết đối tượng người ảnh nhiệt 59 2.4 Kết luận chương 61 Chương PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG NGƯỜI VỚI ĐỘ NHIỄU VÀ CƯỜNG ĐỘ NHIỆT 63 3.1 Phương pháp xác định trọng số kết hợp ảnh màu ảnh nhiệt toán phát người 63 3.1.1 Hàm xác định trọng số từ độ nhiễu cường độ nhiệt 63 3.1.2 Xác định tham số cho hàm tính trọng số từ độ nhiễu cường độ nhiệt 64 3.1.3 Xây dựng tập liệu để xác định tham số cho hàm tính trọng số 65 3.2 Các thuật toán YOLO 68 3.2.1 Thuật toán YOLO 68 3.2.2 Nâng cấp YOLOv2 71 3.2.3 Nâng cấp YOLOv3 72 3.2.4 Nâng cấp YOLOv4 72 3.2.5 Các nâng cấp họ thuật toán YOLO 74 3.2.6 Các mức kết hợp ảnh màu ảnh nhiệt phát đối tượng người 75 3.3 Thuật toán kết hợp ảnh màu ảnh nhiệt mức điểm ảnh để phát đối tượng người 76 3.3.1 Mơ tả thuật tốn 76 iv 3.3.2 Đánh giá kết 77 3.4 Thuật toán phát người kết hợp ảnh màu ảnh nhiệt thời gian thực mức kết 80 3.4.1 Mơ tả thuật tốn 80 3.4.2 Đánh giá kết 82 3.5 Thuật toán phát đối tượng người giai đoạn sử dụng độ nhiễu cường độ nhiệt 83 3.5.1 Mơ tả thuật tốn 83 3.5.2 Điều kiện thử nghiệm 84 3.5.3 Kết thử nghiệm so sánh với phương pháp xác định trọng số khác 84 3.5.4 Kết thử nghiệm so sánh mức kết hợp 85 3.5.5 Kết thử nghiệm so sánh với thuật toán phổ biến 86 3.6 Kết luận chương 91 Chương PHƯƠNG PHÁP THEO VẾT ĐỐI TƯỢNG NGƯỜI VỚI ĐỘ NHIỄU VÀ CƯỜNG ĐỘ NHIỆT 92 4.1 Phương pháp xác định trọng số kết hợp ảnh màu ảnh nhiệt toán theo vết đối tượng người 92 4.2 Thuật toán SiamDW_ST 94 4.3 Thuật toán theo vết đối tượng người sử dụng độ nhiễu cường độ nhiệt 95 4.3.1 Mơ tả thuật tốn 95 4.3.2 Điều kiện thử nghiệm 97 4.3.3 Kết thử nghiệm so sánh với thuật toán phổ biến toàn chuỗi đối tượng người 97 4.3.4 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban ngày 98 4.3.5 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban đêm 98 4.3.6 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều đối tượng bị che khuất 98 4.3.7 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều đối tượng kích thước thay đổi 99 4.3.8 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều khung hình camera chuyển động 99 v 4.3.9 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có đối tượng chuyển động liên tục 99 4.4 Kết luận chương 109 KẾT LUẬN 110 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 112 TÀI LIỆU THAM KHẢO 113 vi DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt Tiếng Anh ACF Aggregated Channel Features ATOM CIAN COCO CSPNet CNN DCF DL FCN Ý nghĩa Tiếng Việt Đặc trưng kết hợp từ nhiều kênh Tên thuật toán theo vết Accurate Tracking by Overlap đối tượng sử dụng phương Maximization pháp tối đa độ chồng lấn Tên thuật toán phát đối tượng người sử dụng kết Cross-Modality interactive hợp ảnh màu ảnh nhiệt sử attention network dụng ngữ nghĩa ảnh để làm trọng số Bộ liệu đối tượng thông Microsoft Common Objects in dụng nhiều ngữ cảnh COntext (MS COCO) Microsoft Mạng kết nối chéo phần Cross Stage Partial Network tầng Convolutional Neural Mạng nơ ron tích chập Network Discriminative Correlation Bộ lọc tương quan phân biệt Filters Deep Learning Học sâu Fully Convolutional Network Mạng tích chập đầy đủ 10 FPN Feature Pyramid Network Mạng kim tự tháp đặc trưng kiến trúc phát đối tượng nhiều tỷ lệ 11 FPPI False Positive Per Image Tỷ lệ phát sai số lượng ảnh thử nghiệm 12 fps frame per second Khung hình giây 13 GPU Graphic Processing Unit Đơn vị xử lý đồ họa 14 HOG Histogram Gradients Lược đồ hướng gradient 15 ILSVRC 16 IoU of Oriented ImageNet Large Scale Visual Bộ liệu ảnh lớn Recognition Challenge thi nhận dạng trực quan Intersection over Union vii Tỷ lệ diện tích vùng giao vùng hợp khung dự đoán khung chuẩn để mô tả độ chồng lấn mean Average Precision Độ xác trung bình, sử dụng để đánh giá thuật toán phát đối tượng LAMR Log Average Miss Rate Tỷ lệ lỗi trung bình miền logarit sử dụng để đánh giá thuật toán phát đối tượng MCFF Tên lớp để kết hợp đặc trưng ảnh màu ảnh Multispectral channel feature nhiệt Trong huấn fusion luyện để tạo trọng số kết hợp tối ưu MOSSE Tên thuật toán theo vết Minimum Output Sum of đối tượng sử dụng huấn luyện Squared Error lọc tương quan phân biệt 21 NAMPD Tên thuật toán phát đối Noise - Aware Multispectral tượng kết hợp ảnh màu ảnh Perdestrian Detector nhiệt sử dụng độ nhiễu cường độ nhiệt 22 NCC 17 18 19 20 mAP Normalized Cross-Correlation Tương quan chéo chuẩn hóa Tên thuật toán loại bỏ khung bao dự đoán trùng toán phát đối tượng 23 NMS Non-Maximum Suppression 24 OCR Optical Character Recognition Nhận dạng ký tự 25 PAN Path Aggregation Network Mạng kết tập đường cho phép kết hợp đặc trưng từ nhiều tầng nơ ron tích chập 26 ROI Region of Interest Vùng quan tâm 27 RPN Region Proposal Network Mạng đề xuất vùng 28 Siamese Sililarity Learning Huấn luyện để xác định ảnh tương tự viii