Đang tải... (xem toàn văn)
Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊN CỨU GIẢI PHÁP KẾT HỢP ẢNH NHIỆT VÀ ẢNH MÀU TRONG BÀI TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU Hà Nội – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊN CỨU GIẢI PHÁP KẾT HỢP ẢNH NHIỆT VÀ ẢNH MÀU TRONG BÀI TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI Ngành: Mạng máy tính truyền thơng liệu Mã số: 9480102 LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG DỮ LIỆU NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Trần Quang Đức Hà Nội - 2023 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân thời gian học tập nghiên cứu hướng dẫn người hướng dẫn khoa học Các số liệu, kết trình bày luận án trung thực chưa tác giả khác công bố Hà Nội, ngày tháng năm 2023 Giáo viên hướng dẫn Nghiên cứu sinh PGS TS Trần Quang Đức Đào Vũ Hiệp LỜI CẢM ƠN Trong trình học tập nghiên cứu, nghiên cứu sinh nhận nhiều giúp đỡ ý kiến đóng góp q báu thầy, Đặc biệt, tơi xin bày tỏ lòng biết ơn chân thành sâu sắc đến PGS.TS Trần Quang Đức - người hướng dẫn khoa học tận tình bảo, hướng dẫn để nghiên cứu sinh hồn thành luận án Nghiên cứu sinh xin gửi lời cảm ơn chân thành tới PGS.TS Nguyễn Linh Giang, TS Trần Nguyên Ngọc, ThS Mạc Đình Hiếu bạn sinh viên Trung tâm an tồn an ninh thơng tin/Trường Cơng nghệ thơng tin Truyền thông/Đại học Bách Khoa Hà Nội nhiệt tình hướng dẫn, giúp đỡ tạo điều kiện thuận lợi cho tơi suốt q trình thực Luận án Tôi xin cảm ơn quan công tác, gia đình người thân ln bên tơi, ủng hộ động viên tơi suốt q trình nghiên cứu Tôi xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Đào Vũ Hiệp MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ ix DANH MỤC CÁC BẢNG xii MỞ ĐẦU 1 Bối cảnh nghiên cứu Những thách thức mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Ý nghĩa khoa học thực tiễn đề tài nghiên cứu Điểm luận án Cấu trúc luận án Chương TỔNG QUAN VỀ CÁC VẤN ĐỀ NGHIÊN CỨU 1.1 Vai trò ảnh nhiệt toán phát theo vết đối tượng 1.1.1 Khái quát tín hiệu hồng ngoại 1.1.2 Khả mô tả đối tượng tín hiệu hồng ngoại 11 1.2 Kỹ thuật học sâu áp dụng toán phát theo vết đối tượng 13 1.2.1 Cơ mạng nơ ron tích chập 14 1.2.2 Một số phương pháp phát đối tượng sử dụng kỹ thuật học sâu 15 1.2.3 Một số phương pháp theo vết đối tượng sử dụng kỹ thuật học sâu 17 1.3 Bài toán phát đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu ảnh nhiệt 19 1.3.1 Phân tích tốn 19 1.3.2 Bộ liệu thử nghiệm 20 1.3.3 Độ đo hiệu 22 1.3.4 Các nghiên cứu có liên quan 23 1.4 Bài toán theo vết đối tượng người sử dụng kỹ thuật học sâu dựa ảnh màu ảnh nhiệt 34 1.4.1 Phân tích tốn 34 1.4.2 Bộ liệu thử nghiệm 35 1.4.3 Độ đo hiệu 36 1.4.4 Các nghiên cứu có liên quan 37 1.5 Kết luận chương 43 Chương PHƯƠNG PHÁP XÁC ĐỊNH TRỌNG SỐ TRONG KẾT HỢP ẢNH MÀU VÀ ẢNH NHIỆT 44 2.1 Ảnh hưởng độ chiếu sáng cường độ nhiệt đến hiệu phát theo vết đối tượng người 44 2.1.1 Khảo sát ảnh hưởng độ chiếu sáng đến hiệu phát theo vết đối tượng người 44 2.1.2 Khảo sát ảnh hưởng cường độ nhiệt đến hiệu phát theo vết đối tượng người 47 2.2 Các phương pháp để xác định độ chiếu sáng 47 2.2.1 Các phương pháp để ước lượng độ chiếu sáng phổ biến 47 2.2.2 Phương pháp sử dụng độ nhiễu để xác định độ chiếu sáng 51 2.3 Đánh giá chất lượng phát theo vết đối tượng ảnh nhiệt 56 2.4 Phương pháp xác định trọng số kết hợp ảnh màu ảnh nhiệt phát theo vết người 58 2.5 Kết luận chương 64 Chương PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI VỚI ĐỘ NHIỄU VÀ CƯỜNG ĐỘ NHIỆT 65 3.1 Các kỹ thuật tảng 65 3.1.1 Các thuật toán YOLO 65 3.1.2 Thuật toán SiamDW_ST 72 3.2 Thuật toán kết hợp ảnh màu ảnh nhiệt mức điểm ảnh để phát đối tượng người 74 3.2.1 Mơ tả thuật tốn 74 3.2.2 Đánh giá kết 74 3.3 Thuật toán kết hợp thời gian thực mức kết để phát đối tượng người 78 3.3.1 Mơ tả thuật tốn 78 3.3.2 Đánh giá kết 79 3.4 Thuật toán phát đối tượng người giai đoạn sử dụng độ nhiễu cường độ nhiệt 80 3.4.1 Mô tả thuật toán 80 3.4.2 Điều kiện thử nghiệm 82 3.4.3 Kết thử nghiệm so sánh với phương pháp xác định trọng số khác 82 3.4.4 Kết thử nghiệm so sánh mức kết hợp 83 3.4.5 Kết thử nghiệm so sánh với thuật toán phổ biến 84 3.5 Thuật toán theo vết đối tượng người sử dụng độ nhiễu cường độ nhiệt 88 3.5.1 Mô tả thuật toán 88 3.5.2 Điều kiện thử nghiệm 89 3.5.3 Kết thử nghiệm so sánh với thuật tốn phổ biến tồn chuỗi đối tượng người 90 3.5.4 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban ngày 90 3.5.5 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban đêm 91 3.5.6 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều đối tượng bị che khuất 91 3.5.7 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều đối tượng kích thước thay đổi 92 3.5.8 Kết thử nghiệm so sánh với thuật tốn phổ biến riêng chuỗi liệu có nhiều khung hình camera chuyển động 92 3.5.9 Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có đối tượng chuyển động liên tục 92 KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 102 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 104 TÀI LIỆU THAM KHẢO 105 DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt DL Deep Learning CNN Convolutional Network GPU Graphic Processing Unit Đơn vị xử lý đồ họa ILSVRC ImageNet Large Scale Visual Recognition Challenge Bộ liệu ảnh lớn thi nhận dạng trực quan VOT Visual Object Tracking Theo vết đối tượng trực quan Bộ liệu đối tượng thông dụng nhiều ngữ cảnh Microsoft Tiếng Anh Ý nghĩa Tiếng Việt Học sâu Neural Mạng nơ ron tích chập COCO Microsoft Common Objects in COntext (MS COCO) OCR Optical Character Recognition Nhận dạng ký tự HOG Histogram Gradients Lược đồ hướng gradient ROI Region of Interest Vùng quan tâm Intersection over Union Tỷ lệ diện tích vùng giao vùng hợp khung dự đoán khung chuẩn Tên mạng nơ ron: Mạng tích chập sâu of Oriented 10 IoU 11 VGG Very Deep Networks 12 FCN Fully Convolutional Network Mạng tích chập đầy đủ 13 RPN Region Proposal Network Mạng đề xuất vùng 14 CSPNet 15 FPN Feature Pyramid Network 16 PAN Path Aggregation Network Convolutional Cross Stage Partial Network Mạng kết nối chéo tầng Mạng kim tự tháp đặc trưng kiến trúc phát đối tượng nhiều tỷ lệ Mạng tổng hợp đường cho phép kết hợp đặc trưng từ nhiều tầng nơ ron tích chập Đặc trưng kết hợp từ nhiều kênh 17 ACF Aggregated Channel Features 18 SSD Single Shot Multibox Detector Tên thuật toán phát đối tượng giai đoạn 19 Siamese Sililarity Learning Huấn luyện để xác định ảnh tương tự 20 DCF Discriminative Filters 21 NCC Normalized Cross-Correlation Tương quan chéo chuẩn hóa SiamFC Fully-Convolutional Siamese Thuật tốn theo vết đối tượng sử dụng lớp tích chập đầy đủ để xác định vị trí đối tượng MOSSE Minimum Output Squared Error ATOM Accurate Tracking by Overlap Maximization 22 23 24 Correlation Sum of Bộ lọc tương quan phân biệt Tên thuật toán theo vết đối tượng sử dụng huấn luyện DCF Tên thuật toán theo vết đối tượng sử dụng phương pháp tối đa độ chồng lấn Tên thuật toán phát đối 25 CIAN Cross-Modality interactive attention network tượng người sử dụng kết hợp ảnh màu ảnh nhiệt sử dụng ngữ nghĩa ảnh để làm trọng số 26 27 SNR mAP Signal to Noise Ratio Tỷ lệ tín hiệu nhiễu mean Average Precision Độ xác trung bình, sử dụng để đánh giá thuật toán phát đối tượng 28 LAMR Log Average Miss Rate Tỷ lệ lỗi trung bình miền logarit sử dụng để đánh giá thuật toán phát đối tượng 29 FPPI False Positive Per Image Tỷ lệ phát sai số lượng ảnh thử nghiệm 30 31 32 33 fps NMS NAMPD MCFF frame per second Khung hình giây Non-Maximum Suppression Tên thuật toán loại bỏ ước lượng trùng toán phát đối tượng Noise - Aware Multispectral Perdestrian Detector Tên thuật toán phát đối tượng kết hợp ảnh màu ảnh nhiệt sử dụng độ nhiễu cường độ nhiệt Multispectral channel feature fusion Tên lớp để kết hợp đặc trưng ảnh màu ảnh nhiệt Trong huấn luyện để tạo trọng số kết hợp tối ưu