Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người

Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người.

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Vũ Hiệp NGHIÊN CỨU GIẢI PHÁP KẾT HỢP ẢNH NHIỆT VÀ ẢNH MÀU TRONG BÀI TOÁN PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG NGƯỜI Ngành: Mạng máy tính truyền thơng liệu Mã số: 9480102 TĨM TẮT LUẬN ÁN TIẾN SĨ MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU Hà Nội – 2023 Cơng trình hoàn thành tại: Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: PGS.TS Trần Quang Đức Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Đại học Bách khoa Hà Nội họp Đại học Bách khoa Hà Nội Vào hồi …… giờ, ngày … tháng … năm ……… Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Đại học Bách khoa Hà Nội Thư viện Quốc gia Việt Nam MỞ ĐẦU 1.1 Bối cảnh nghiên cứu Ngày nay, hệ thống xử lý ảnh sử dụng rộng rãi nhiều lĩnh vực như: Giao thông thông minh, giám sát, phát vi phạm hay tai nạn; giám sát vị trí quan trọng ngân hàng, trụ sở, cửa hàng; sản xuất công nghiệp, giám sát hoạt động, phát nguy hiểm, cháy, nổ…; an ninh, quốc phòng, giám sát, phát xâm nhập bất hợp pháp biên giới sử dụng để điều khiển loại vũ khí, hỏa lực Các hệ thống xử lý ảnh thông thường sử dụng ảnh màu loại ảnh tạo tín hiệu có bước sóng khả kiến (0,4÷0,7) μm Ảnh màu mơ tả đối tượng với màu sắc, hình dạng, kích thước rõ ràng điều kiện chiếu sáng tốt Tuy nhiên, trời tối điều kiện thời tiết xấu, chất lượng nhận dạng dựa ảnh màu trở nên Trong đó, ảnh tạo từ tín hiệu hồng ngoại bước sóng dài (8÷14 µm), gọi tắt ảnh nhiệt, không bị ảnh hưởng trường hợp [1] Mặt khác, loại thiết bị để tạo ảnh từ tín hiệu tiếp cận dễ dàng với chi phí khơng cao Vì vậy, hướng nghiên cứu kết hợp ảnh màu với ảnh nhiệt bắt đầu ý thời gian gần Đối với thuật toán phát đối tượng sử dụng mạng nơ ron tích chập, chia thành 02 nhóm theo kiến trúc giai đoạn kiến trúc hai giai đoạn - Các thuật toán phát đối tượng hai giai đoạn phát triển từ thuật toán R-CNN như: Fast R-CNN [4], Faster RCNN [5] Libra R-CNN [6]; sau kiến trúc xếp chồng nhiều mạng R-CNN độ xác cao Cascade R-CNN [7] - Các thuật toán phát đối tượng giai đoạn kế thừa từ mạng tích chập kết nối tồn phần (FCN - Fully Convolutional Network), chia ảnh thành lưới vùng để huấn luyện suy luận đồng thời toàn ảnh lúc (whole-image-at-time) Hiện nay, có số thuật tốn phát đối tượng giai đoạn phổ biến YOLO v1, v2, v3, v4 [8], [9], [10], [11]; SSD [12] hay RetinaNet [13] - Đối với thuật toán theo vết đối tượng phát triển theo hai hướng tiếp cận: (i) Xác định vị trí đối tượng khung hình thơng qua đối sánh biểu diễn đối tượng (trực tiếp đặc trưng) xác định vị trí khung hình trước; (ii) huấn luyện tập lọc tương quan phân biệt (DCF - Discriminative Correlation Filters) thơng qua đối tượng vị trí đối tượng khung hình trước dùng DCF để xác định vị trí đối tượng khung hình Sử dụng mạng nơ ron tích chập huấn luyện với đối tượng nhiều ngữ cảnh khác giải vấn đề tư thế, góc nhìn, màu sắc, kết cấu đa dạng đối tượng; phần giải toán lộn xộn (clutter background) đối tượng bị che khuất phần (occlusion) Tuy nhiên, điều kiện chiếu sáng thuật tốn phát đối tượng dựa ảnh màu cho hiệu Do đó, cần phải sử dụng thêm ảnh nhiệt để nâng cao hiệu - Các thuật toán phát đối tượng kết hợp ảnh màu ảnh nhiệt phát triển cách từ mơ hình huấn luyện với tập liệu lớn (như COCO), thực huấn luyện chuyển giao (transfer learning) với tập liệu có cặp ảnh màu - ảnh nhiệt có góc nhìn tương đương Luồng ảnh màu ảnh nhiệt kết hợp với theo mức sau: + Kết hợp mức điểm ảnh để tạo ảnh trộn (blended images) + Kết hợp mức đặc trưng + Kết hợp mức kết Một số tác giả công bố số kỹ thuật xây dựng trọng số kết hợp như: Thuật toán CIAN (Cross-Modality Interactive Attention Network [28]; thuật toán IAF R-CNN (Illumination Aware Fusion RCNN) [24]; Zhiwei Cao cơng bố [29] thuật tốn kết hợp sử dụng trọng số xây dựng thông qua lớp MCFF (Multispectral channel feature fusion) huấn luyện tối ưu kết kết hợp ảnh màu ảnh nhiệt Tuy nhận thấy độ chiếu sáng có ảnh hưởng lớn đến đóng góp ảnh màu ảnh màu kết hợp, chưa có nghiên cứu đầy đủ tác nhân ảnh hưởng xây dựng trọng số dựa tác nhân - Đối với thuật toán theo vết đối tượng kết hợp ảnh màu với ảnh nhiệt tùy thuộc vào cấu trúc thuật tốn kết hợp nhiều mức tương tự với thuật toán phát đối tượng [28] Tuy nhiên, tốn theo vết đối tượng có thơng tin đối tượng khung hình nên chưa chưa có cơng bố nghiên cứu trọng số kết hợp ảnh màu ảnh nhiệt 1.2 Những thách thức mục tiêu nghiên cứu Từ bối cảnh nghiên cứu phân tích trên, nhận thấy kỹ thuật phát theo vết đối tượng ứng dụng phương pháp học sâu dựa kết hợp ảnh màu ảnh nhiệt nâng cao đáng kể hiệu Tuy nhiên, để áp dụng hệ thống điện toán biên hay hệ thống rô bốt, điều khiển xử lý thời gian thực tồn số thách thức sau: - Thách thức liên quan đến độ xác tốc độ xử lý - Thách thức liên quan đến phương án kết hợp ảnh màu ảnh nhiệt - Thách thức liên quan đến xây dựng tập liệu đánh dấu liệu để huấn luyện trọng số kết hợp Từ thách thức trên, mục tiêu nghiên cứu đề tài nghiên cứu kỹ thuật phát bám bắt đối tượng ứng dụng phương pháp học sâu dựa ảnh màu ảnh nhiệt, có tốc độ phù hợp với ứng dụng điện tốn biên, xử lý thời gian thực độ xác nâng cao 1.3 Đối tượng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu luận án sau: - Nghiên cứu tổng quan, đánh giá hiệu thuật toán phát theo vết đối tượng nói chung thuật tốn kết hợp ảnh màu ảnh nhiệt nói riêng Đề xuất thuật tốn có khối lượng tính tốn, tốc độ phù hợp với toán phát theo vết đối tượng điện toán biên - Nghiên cứu ảnh hưởng điều kiện chiếu sáng đến chất lượng ảnh màu ảnh nhiệt, hiệu thuật toán phát hiện, theo vết đối tượng ảnh Đề xuất minh chứng hiệu độ đo ảnh để xác định điều kiện chiếu sáng môi trường nâng cao hiệu phát theo vết đối tượng - Nghiên cứu thuật toán học sâu phát đối tượng người dựa kết hợp ảnh màu ảnh nhiệt Đề xuất sử dụng độ nhiễu ảnh màu cường độ nhiệt ảnh nhiệt để xây dựng trọng số kết hợp khảo sát mức kết hợp, so sánh kết với số thuật toán phổ biến - Nghiên cứu thuật toán học sâu theo vết đối tượng dựa kết hợp ảnh màu ảnh nhiệt Ứng dụng phương pháp xây dựng trọng số kết hợp dựa độ nhiễu để áp dụng toán theo vết đối tượng, thử nghiệm so sánh kết với số thuật toán phổ biến 1.4 Ý nghĩa khoa học thực tiễn đề tài nghiên cứu Luận án có đóng góp mặt khoa học thực tiễn sau: a) Về ý nghĩa khoa học Điều kiện thiếu sáng vấn đề lớn toán phát theo vết đối tượng người Việc kết hợp thông tin từ ảnh màu ảnh nhiệt luận án giúp bù trừ điểm mạnh yếu hai loại nguồn ảnh giải tốt toán phát hiện, theo vết đối tượng nói riêng tốn khác lĩnh vực thị giác máy tính nói chung Việc kết hợp hai hay nhiều nguồn thông tin cho hiệu quả, bổ trợ cho toán khơng đơn giản Nếu giải pháp có tính tổng qt tốn mở rộng cho nguồn liệu tốn tương đồng khác Những đóng góp luận án thể 04 cơng bố, có 01 báo tạp chí thuộc danh mục ISI; 01 báo tạp chí Hội đồng chức danh giáo sư chuyên ngành tính điểm; 02 báo cáo hội nghị chuyên ngành nước quốc tế Đối với cộng đồng khoa học, kết luận án cung cấp thêm nguồn tài liệu tham khảo hữu ích, phục vụ cho việc nghiên cứu lĩnh vực có liên quan Ý nghĩa khoa học đề tài mô tả phần Mở đầu nhấn mạnh phần Kết luận luận án b) Ý nghĩa thực tiễn: Các kết nghiên cứu, thử nghiệm thuật toán phát theo vết đối tượng sử dụng đa nguồn ảnh xây dựng khuôn khổ nghiên cứu luận án ứng dụng hệ thống giám sát sử dụng điện toán biên hệ thống: Giám sát an ninh biên giới; giám sát an toàn, an ninh nhà máy sản xuất; giám sát giao thông thông minh… 1.5 Điểm luận án - Phương pháp xây dựng trọng số kết hợp ảnh màu ảnh nhiệt sử dụng độ nhiễu ảnh màu cường độ nhiệt ảnh nhiệt - Thuật toán học sâu phát đối tượng người sử dụng kết hợp có trọng số đa nguồn ảnh mức kết cho hiệu tốt so với thuật toán phổ biến - Thuật toán học sâu theo vết đối tượng sử dụng kết hợp có trọng số đa nguồn ảnh mức đặc trưng sau ước lượng IoU cho hiệu tốt so với thuật toán phổ biến 1.6 Cấu trúc luận án Từ nội dung NCS thực trình nghiên cứu, kết trình bày luận án theo cấu trúc sau - Chương Tổng quan vấn đề nghiên cứu - Chương Phương pháp xác định trọng số kết hợp ảnh màu ảnh nhiệt - Chương Phương pháp phát theo vết đối tượng với độ nhiễu cường độ nhiệt Cuối Kết luận phương hướng phát triển Chương TỔNG QUAN VỀ CÁC VẤN ĐỀ NGHIÊN CỨU 1.1 Vai trò ảnh nhiệt toán phát theo vết đối tượng Như ta biết, ảnh màu tạo tín hiệu bước sóng khả kiến (0,4÷0,7) μm mơ tả đối tượng với màu sắc, hình dạng, kích thước rõ ràng Tuy nhiên, điều kiện chiếu sáng môi trường đi, ảnh màu không cung cấp đủ thông tin để phát theo vết đối tượng 1.1.1.Khái quát tín hiệu hồng ngoại Do hiệu ứng cửa sổ khơng khí (atmospheric windows) nên có số bước sóng bị hấp thụ khí độ ẩm khơng khí Chính vậy, có ba dải bước sóng hay sử dụng từ (0,7 ÷ 1,4) µm, (3 ÷ 5) µm (8 ÷14) µm [30] 1.1.2.Khả mô tả đối tượng tín hiệu hồng ngoại Hầu hết đối tượng bề mặt trái đất có nhiệt độ thấp bề mặt mặt trời nên bước sóng vật có cường độ xạ lớn (bước sóng đỉnh) ngắn Với đối tượng có nhiệt độ (-10 ÷ 50) oC (263 ÷ 323 K) có bước sóng đỉnh vào khoảng (9 ÷ 11) μm 1.2 Bài toán phát đối tượng dựa kết hợp ảnh màu ảnh nhiệt 1.2.1.Phân tích tốn Gần đây, hầu hết phương pháp phát đối tượng dựa học sâu mạng nơron tích chập (Convolutional Neural Network) [6] Qua đó, giải vấn đề tư thế, góc nhìn, màu sắc, kết cấu đa dạng đối tượng; phần giải toán lộn xộn (clutter background) đối tượng bị che khuất phần (occlusion) Tuy nhiên, điều kiện chiếu sáng (lighting condition) thuật tốn phát đối tượng dựa ảnh màu cho hiệu Do đó, cần phải sử dụng thêm ảnh nhiệt để nâng cao hiệu 1.2.2.Bộ liệu thử nghiệm Bộ ảnh KAIST Hwang đồng nghiệp xây dựng ảnh thử nghiệm phát đối tượng người gồm ảnh màu ảnh nhiệt [34] Trong bao gồm 95,328 cặp ảnh màu - ảnh nhiệt có góc nhìn quy đổi tương đương góc nhìn, đánh dấu đối tượng 1.2.3.Độ đo hiệu Đối với liệu KAIST, liệu phát người khác thường sử dụng số LAMR, tính dựa đường cong mr (Miss Rate) - FPPI (False Positive per Image) (Hình 1.5) Trong mr FPPI tính cơng thức 1.6, 1.7 sau 𝑎𝑐𝑐𝑇𝑁 𝑎𝑐𝑐𝑇𝑃 𝑀𝑅 = =1− (1.1) 𝑛𝑝𝑜𝑠 𝑛𝑝𝑜𝑠 𝐹𝑃𝑃𝐼 = 𝑎𝑐𝑐𝐹𝑃 𝑛𝐼𝑚𝑎𝑔𝑒𝑠 (1.2) Trong đó, accTN số lượng tích lũy đối tượng bị bỏ qua, accTP số lượng tích lũy đối tượng phát đúng, npos số tượng tích lũy đối tượng nImages số lượng ảnh liệu thử nghiệm duyệt qua LAMR tính tổng miền Logarit với 𝐹𝑃𝑃𝐼 ∈ [10 , 10 ] 1.2.4.Các nghiên cứu có liên quan 1.2.4.1 Các thuật toán sử dụng ảnh màu ảnh nhiệt để nâng cao hiệu phát đối tượng a) Các thuật toán kết hợp theo kiến trúc hai giai đoạn b) Các thuật toán theo kiến trúc giai đoạn 1.2.4.2 Các thuật toán kết hợp ảnh màu ảnh nhiệt để tạo ảnh trộn a) Multi-resolution Singular Value Decomposition (MSVD) b) Two-scale image fusion of visible and infrared images using saliency detection c) Thuật toán Dense Fusion d) Thuật toán Fusion GAN 1.3 Bài toán theo vết đối tượng dựa đa nguồn ảnh 1.3.1.Phân tích tốn Với thuật tốn học sâu, đó, pha huấn luyện thực huấn luyện trước (offline) với sở liệu lớn Quá trình theo vết đối tượng sử dụng mạng nơ ron tích chập huấn luyện kết hợp với đối tượng xác định khung hình trước khung hình tạo thành đặc trưng; sau thực phép tương quan cho vị trí đối tượng khung hình (Hình 1.20) z  127x127x3 6x6x128 *  x 22x22x128 255x255x3 Hình 1.1 Theo vết đối tượng phương pháp đối sánh sử dụng mạng nơ ron học sâu 1.3.2.Bộ liệu thử nghiệm Bộ liệu VOT RGB-T liệu phổ biến để đánh giá hiệu thuật toán theo vết đối tượng, bao gồm 20083 cặp ảnh màu ảnh nhiệt có góc nhìn Trong đó, có 43 chuỗi vào ban ngày, 17 chuỗi vào ban đêm; có 2798 khung hình đối tượng theo vết bị che khuất (occlusion); khơng có khung hình có độ chiếu sáng thay đổi; 17751 khung hình có chuyển động thay đổi; 10927 khung hình có đối tượng kích thước thay đổi; 2019 khung hình có camera chuyển động Chương PHƯƠNG PHÁP XÁC ĐỊNH TRỌNG SỐ TRONG KẾT HỢP ẢNH MÀU VÀ ẢNH NHIỆT 2.1 Ảnh hưởng độ chiếu sáng cường độ nhiệt đến hiệu phát đối tượng Như vậy, vào ban đêm ảnh nhiệt cho hiệu phát đối tượng tốt hơn, ban ngày ảnh màu cho hiệu phát đối tượng tốt Tiếp tục thử nghiệm tập liệu liệu dùng để huấn luyện (từ set06÷set11) (cụ thể Bảng 2.1) cho thấy số tập liệu có cường độ nhiệt (giá trị độ sáng trung bình ảnh nhiệt mô tả cường độ nhiệt) cao, hiệu phát đối tượng ảnh nhiệt có xu hướng giảm xuống 2.2 Các phương pháp để ước lượng độ chiếu sáng phổ biến Một số phương pháp phổ biến tính thơng qua độ sáng ảnh màu Range Key [51], số thường dùng để xác định độ chiếu sáng môi trường để điều chỉnh tông màu (tone) ảnh phù hợp với điều kiện chiếu sáng đặc tả đối tượng 2.3 Phương pháp sử dụng độ nhiễu để xác định độ chiếu sáng Khi khảo sát ta thấy số trường hợp sau: Vào buổi tối có đèn chiếu sáng, khơng chiếu sáng vào khu vực đối tượng, độ sáng ảnh cao, ảnh màu có thơng tin để phát tốt đối tượng; trường hợp ban ngày, vị trí bóng râm, cường độ sáng ảnh thấp, ảnh màu có đủ thơng tin để phát tốt đối tượng (Hình 2.5) Do tính chất phép biến đổi tiểu ba kích thước hệ số giảm nhanh nên ta ước lượng nhiễu với số lượng bước giới hạn J, dựa trung bình độ lệch tuyệt đối (MAD = Mean Absolute Deviation) hệ số tần số cao W công thức 2.4 𝜎 = 𝑀𝐴𝐷(𝑊) 0,6745 11 (2.1) Để so sánh với khả ước lượng độ chiếu sáng số Key, Range độ nhiễu, cặp tập liệu có ngữ cảnh (trong trường học, set00 – ngày, set03 - đêm; đường, set01 - ngày, set04 - đêm; phố, set02 - ngày, set05 - đêm) tính hàm mật độ xác xuất (probability density function) số Key, Range độ nhiễu (cụ thể Hình 2.7) Kết cho thấy số Key Range có nhiều vùng chồng lấn xác định ngày-đêm, số độ nhiễu cho phép phân biệt rõ ràng ngày - đêm liệu Hình 2.1 Hàm phân bố xác xuất số Key (hình a, b, c); Range (hình d, e, f) độ nhiễu (hình g, h, i) Màu đỏ nét liền biểu thị số liệu ban ngày, màu xanh nét đứt biểu thị ban đêm 12 2.4 Đánh giá chất lượng phát theo vết đối tượng ảnh nhiệt Kết cho thấy tương quan tập liệu ngày -0,789 tập liệu đêm -0,899 giá trị tương quan cao Như vậy, ảnh nhiệt có cường độ sáng cao làm cho tương quan khu vực đối tượng người có độ tương phản thấp Hình 2.2 Biểu đồ scatter mô tả tương quan cường độ nhiệt độ tương phản đối tượng với 2.5 Phương pháp xác định trọng số kết hợp đa nguồn ảnh 2.5.1.Phương pháp xác định trọng số kết hợp đa nguồn ảnh toán phát người Để xác định trọng số, thuật tốn có 02 mơ đun để tính độ nhiễu cường độ nhiệt cặp ảnh Hàm tính trọng số cặp ảnh i công thức 2.10 công thức 2.11, với 𝑦 (𝑡 , 𝑝) hàm vector 𝑦 (𝑡 , 𝑝) = 𝛼 𝑒 () +𝛼 13 𝑒 () +1 (2.2) 𝑦 (𝑡 , 𝑝) < 𝑤 = 𝑤 (𝑡 , 𝑝) ≤ 𝑦 (𝑡 , 𝑝) < 1 𝑦 (𝑡 , 𝑝) > (2.3) Trong đó, cặp ảnh, 𝑤 = 𝑤 trọng số kết hợp ảnh màu; 𝑤 = − 𝑤 trọng số kết hợp ảnh (𝑖), 𝐿 (𝑖)} , 𝜎 nhiệt 𝑡 bao gồm {𝜎 (𝑖) ∈ [0,1] độ nhiễu ảnh màu, quy vùng [0,1], 𝐿 (𝑖) ∈ [0,1] cường độ nhiệt ảnh nhiệt, quy vùng [0,1] 𝑝 vector bao gồm tham số 𝛼 ,𝛽 ,𝛼 ,𝛽 , vector ước lượng dựa tập liệu huấn luyện Vector 𝑝 xác định dựa thuật toán LevenbergMarquardt (LM) [70], thuật toán ước lượng đường cong (curvefitting) dựa tối thiểu hóa bình phương sai số liệu 𝑦 ước lượng 𝑦 (𝑡 , 𝑝) Để xây dựng tập liệu {𝑦 }, cần phải có trọng số kết hợp cặp ảnh màu - ảnh nhiệt i Để xây dựng tập liệu cần phải khảo sát dựa tập liệu huấn luyện Trong liệu huấn luyện KAIST có 06 tập huấn luyện (set00÷set05), chia thành tập cho có độ lệch chuẩn độ nhiễu không 0,05 độ lệch chuẩn cường độ nhiệt không Sau thử nghiệm kết hợp kết phát đối tượng mức ScoreFusion (nhân trọng số với điểm tin cậy, ghép lại đưa chung vào thuật toán NMS) đưa số LAMR Trọng số kênh ảnh màu đặt theo bước 0,05 với giá trị từ 0÷1,0 14 2.5.2.Phương pháp xác định trọng số kết hợp đa nguồn ảnh toán theo vết đối tượng Từ ý tưởng sử dụng độ nhiễu độ tương phản để xây dựng trọng số kết hợp đa nguồn ảnh có tính trọng số 𝜔 = 𝜔 trọng số nhánh ảnh màu thông qua nhiễu độ nhiễu ảnh màu 𝜎 ∈ [0,1] chất lượng mô tả đối tượng ảnh nhiệt thể độ tương phản Weber đối tượng với chuẩn hóa nằm dải [0,1] 𝜔 =𝛼 𝑒 + 𝛼 15 𝑒 +1 (2.4) Chương PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG VỚI ĐỘ NHIỄU VÀ CƯỜNG ĐỘ NHIỆT 3.1 Các kỹ thuật tảng 3.1.1.Các thuật toán YOLO 3.1.2.Thuật toán SiamDW_ST 3.2 Thuật toán kết hợp đa nguồn ảnh mức điểm ảnh Để tạo ảnh trộn có khả quan sát tốt có lượng tin lớn từ ảnh màu ảnh nhiệt, luận án sử dụng thuật toán tương tự thuật toán Two-scale image fusion of visible and infrared images using saliency detection [25] Trong ảnh nhiệt ảnh màu phân tích thành thành phần sở thành phần chi tiết Thành phần sở cộng trung bình, thành phần chi tiết cộng trọng số 𝜔 = 𝜔 = (1 − 𝜔 ) , 𝜔 tính từ cơng thức 2.10 2.11 𝜔 Bảng 3.1 So sánh hiệu số thuật toán tạo ảnh trộn từ ảnh màu ảnh nhiệt Phương pháp Two-scale w/Sal MSVD DenseFusion FusionGAN PP đề xuất LAMR 20,91 17,70 19,92 17,44 15,52 16 3.3 Thuật toán kết hợp thời gian thực mức kết 3.3.1.Mô tả thuật tốn Hình 3.1 Cấu trúc thuật tốn phát đối tượng 3.3.2.Đánh giá kết Bảng 3.2 Kết so sánh độ xác tốc độ thuật toán theo vết đối tượng Phương pháp Ảnh màu Ảnh nhiệt ACF+ T+THOG LAMR (%) 43,26 50,52 54,40 0,02 0,02 - Tốc (s) độ 17 Choi Park 47,31 31,36 2,73 0,58 Không trọng số 36,56 0,05 PP đề xuất 34,11 0,052 3.4 Thuật toán phát đối tượng người giai đoạn sử dụng độ nhiễu cường độ nhiệt 3.4.1.Mơ tả thuật tốn Hình 3.2 Sơ đồ kết hợp thuật toán NAMPD Lớp kết hợp hậu xử lý cải tiến, bổ sung thuật toán Distance Intersection over Union (DIoU) thay cho IoU loại bỏ khung dự đoán đối tượng dư kênh để ghép khung bao dự đoán đối tượng hai kênh sử dụng dụng thuật toán Hungary (Hungarian Algorithm) [59] Thuật toán xử lý khung hình dư thừa áp dụng thêm Distance Intersection over Union (DIoU), gọi DIoU-NMS mô tả sau Đối với khung hình có hai tập 𝐵 𝐵 khung bao đối tượng dự đoán kênh ảnh màu kênh ảnh nhiệt Đối với tập khung bao dự đốn cần xác định nhóm khung bao mơ tả đối tượng 18 3.4.2.Kết thử nghiệm so sánh với phương pháp xác định trọng số khác Trong phần mô tả kết phát đối tượng người dựa đa nguồn ảnh có trọng số xây dựng từ độ nhiễu cường độ nhiệt so với xây dựng từ chế khác; tất thử nghiệm mức kết hợp kết (Score Fusion) Kết hợp trung bình đặt trọng số 0,5; kết hợp key range xây dựng trọng số từ số key range; kết hợp riêng cường độ nhiệt sử dụng số cường độ nhiệt để xây dựng trọng số; kết hợp riêng độ nhiễu xây dựng trọng số sử dụng số độ nhiễu Thuật toán NAMPD đề xuất sử dụng trọng số xây dựng từ độ nhiễu cường độ nhiệt 3.4.3.Kết thử nghiệm so sánh mức kết hợp Bảng 3.3 Bảng mô tả kết đánh giá hiệu với mức kết hợp khác Kiến trúc Ban ngày Ban đêm Toàn Riêng ảnh màu 29,67% 6,16% 22,90% Riêng ảnh nhiệt 28,11% 4,94% 21,11% Mức đầu vào 27,58% 4,96% 20,92% 9,37% 3,59% 7,67% 6,97% 3,58% 6,03% Kết hợp muộn (Late Fusion) 6,97% 5,05% 6,42% Mức kết 5,02% 0,07% 4,25% Mức đặc trưng: Kết hợp sớm (Early Fusion) Kết hợp (Halfway Fusion) 19 3.4.4.Kết thử nghiệm so sánh với thuật toán phổ biến Kết thử nghiệm thấy ACF+T+THOG toán cũ nên cho hiệu thấp đạt 39,76%; thuật toán cho số LAMR sau: IAF R-CNN (14,90%), CIAN (13,52%), MSDS-RCNN (7,22%) Thuật toán FusionCSPNet, phát triển từ thuật toán phát đối tượng giai đoạn, có kết đạt 6,91%, thấp thuật toán NAMPD đề xuất với số LAMR đạt 4,25% Một thuật toán khác phát triển từ thuật tốn Yolov4 MCFF có số LAMR đạt 4,91% [29], thấp kết thuật toán NAMPD 3.5 Thuật toán theo vết đối tượng sử dụng độ nhiễu cường độ nhiệt 3.5.1.Mơ tả thuật tốn Trọng số mơi trường tính theo cơng thức mục 2.5.2 kết hợp với cơng thức 3.11 ta có cơng thức 3.12, với 𝜔 trọng số đặc trưng ảnh màu − 𝜔 trọng số đặc trưng ảnh nhiệt Sơ đồ lớp kết hợp IoU có trọng số hình 3.17 𝐼𝑜𝑈(𝐵) = 𝐹𝐶 𝐹𝐶 𝑔 , (𝑐 ⊙ 𝐹𝐶 𝑔 , (𝑐 20 )𝜔 ⋅𝑧 ⋅𝑧 )(1 − 𝜔 (3.1) 3.5.2.Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban ngày 3.5.3.Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu ban đêm 3.5.4.Kết thử nghiệm so sánh với thuật tốn phổ biến riêng chuỗi liệu có nhiều đối tượng bị che khuất (occlusion) 3.5.5.Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều đối tượng kích thước thay đổi 3.5.6.Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có nhiều khung hình camera chuyển động 3.5.7.Kết thử nghiệm so sánh với thuật toán phổ biến riêng chuỗi liệu có đối tượng chuyển động liên tục Bảng 3.4 So sánh hiệu theo vết đối tượng kết hợp ảnh màu ảnh nhiệt số trường hợp CISRDCF FSRPN mfDiMP SiamDW_T PP đề xuất EAO 0,346 0,387 0,411 0,413 0,423 A 0,502 0,530 0,588 0,589 0,586 R 0,626 0,656 0,673 0,675 0,696 EAO 0,335 0,365 0,383 0,387 0,395 A 0,498 0,517 0,567 0,565 0,571 Dữ liệu Toàn Ban ngày 21 0,597 0,626 0,654 0,647 0,663 EAO 0,389 0,485 0,531 0,532 0,550 A 0,513 0,577 0,640 0,632 0,640 R 0,743 0,773 0,799 0,804 0,827 0,221 0,261 0,280 0,279 0,287 0,529 0,526 0,527 R Kích thước thay đổi EAO 0,427 0,471 0,496 0,495 0,510 0,470 0,505 0,562 0,556 0,566 A 0,505 0,523 0,578 0,571 0,581 R Camera chuyển động EAO 0,718 0,762 0,789 0,780 0,782 0,301 0,374 0,404 0,393 0,397 A 0,473 0,570 0,612 0,605 0,610 R Đối tượng chuyển động EAO 0,679 0,695 0,744 0,716 0,739 0,298 0,346 0,359 0,365 0,374 A 0,531 0,571 0,615 0,617 0,619 R 0,624 0,645 0,664 0,666 0,689 R Ban đêm Bị che khuất EAO A 22 KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN KẾT LUẬN Qua nội dung trình bày, phân tích kết thử nghiệm, đánh giá luận án đến kết luận sau: (1) Các thuật toán phát theo vết đối tượng dựa phương pháp học sâu cho kết tốt ảnh màu Tuy nhiên, hiệu bị giảm nhiều gặp điều kiện chiếu sáng không tốt như: trời tối, sương mù Ảnh nhiệt tạo tín hiệu hồng ngoại bước sóng dài (LWIR - Long Wave Infrared) khơng mơ tả rõ hình dạng, màu sắc đối tượng không bị ảnh hưởng điều kiện chiếu sáng môi trường cung cấp thông tin bổ sung đáp ứng điều kiện chiếu sáng không tốt Để xây dựng trọng số kết hợp từ điều kiện chiếu sáng môi trường sử dụng độ nhiễu (được tính từ phân tích twavelet ảnh màu) cường độ nhiệt (được tính từ trung bình độ sáng ảnh nhiệt) Một số phân tích, tính tốn trực quan cho thấy hiệu kỹ thuật xây dựng trọng số (2) Đối với toán phát đối tượng người sử dụng đa nguồn ảnh, thuật toán NAMPD, kết hợp mức kết sử dụng trọng số xây dựng từ độ nhiễu cường độ nhiệt đề xuất luận án chứng minh hiệu quả, cho hiệu cao số thuật toán phổ biến (3) Đối với toán xây dựng ảnh trộn (blended images) từ ảnh màu ảnh nhiệt phục vụ quan sát, phát đối tượng người, thuật toán kết hợp dựa phân tích hai thành phần (thành phần sở thành phần chi tiết) sử dụng trọng số xây dựng từ độ nhiễu cường độ nhiệt đề xuất luận án chứng minh hiệu quả, cho hiệu cao số thuật toán phổ biến 23 (4) Đối với toán theo vết đối tượng, kết hợp ảnh màu ảnh nhiệt sử dụng trọng số xây dựng từ toán phát đối tượng cho kết khả quan, hiệu cao thuật toán gốc số thuật toán phổ biến Tuy nhiên, chưa tìm liệu huấn luyện có điều kiện thu thập tương đương với liệu thử nghiệm nên hiệu tăng không nhiều PHƯƠNG HƯỚNG PHÁT TRIỂN Nội dung trình bày luận án tiếp tục phát triển hồn thiện theo hướng sau đây: (1) Thuật tốn phát đối tượng người NAMPD đề xuất luận án phát triển thuật toán phát đối tượng nhanh, giai đoạn YOLOv4 áp dụng hệ thống tự hành xe tự lái, rơ bốt, máy bay khơng người lái Ngồi ra, hệ thống phát đối tượng khác, sử dụng thuật tốn phát đối tượng khác (có thể thuật tốn phát đối tượng xác, hai giai đoạn) hoàn toàn áp dụng phương pháp kết hợp sử dụng trọng số đề xuất luận án (2) Kỹ thuật xây dựng trọng số kết hợp đa nguồn ảnh dựa độ nhiễu cường độ nhiệt phát huy hiệu Vì vậy, tiếp tục nghiên cứu để phát triển phương pháp trích suất độ nhiễu có hiệu cao hơn, dựa vào tính chất nhiễu ảnh màu nhiễu Gauss, nhiễu ảnh nhiệt nhiễu muối tiêu (salt-andpepper noise) kỹ thuật phát nhiễu tiên tiến (3) Có thể nghiên cứu để xây dựng liệu bao gồm ảnh màu ảnh nhiệt để ước lượng trọng số cho toán theo vết đối tượng, đạt hiệu cao Đồng thời tối ưu thuật tốn để theo vết đối tượng với tốc độ cao hơn, đáp ứng yêu cầu ứng dụng 24 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN Đào Vũ Hiệp, Mạc Đình Hiếu, Tống Việt Hùng, Vũ Văn Phán, Hà Quốc Trung, “IVA-EC: giải pháp phân tích video thơng minh dựa điện toán biên”, Hội nghị khoa học quốc gia "Nghiên cứu ứng dụng Công nghệ thông tin" (FAIR - Fundamental and Applied Information Technology - FAIR'2020), Khánh Hòa, 06-07/8/2020 Vu Hiep Dao, Hieu Mac, Duc Tran, “A Real-time Multispectral Algorithm for Robust Pedestrian Detection”, Proceedings of the 15th international conference on computing and communication technologies, RIVF 2021 Hiep Dao, Hieu Mac, Duc Tran, “Noise-aware deep learning algorithm for one-stage multispectral pedestrian detection”, Journal of Electronic Imaging, 06/2022 (ISI), DOI: 10 1117/1.JEI.31.3.033035 Đào Vũ Hiệp, Trần Quang Đức, “Một thuật toán theo vết đối tượng sử dụng đa nguồn tín hiệu ảnh”, Tạp chí Nghiên cứu Khoa học Công nghệ quân sự, 12/2022, DOI: 10.54939/18591043.j.mst.84.2022.32-41