Nhận diện và theo dấu đối tượng trên hệ thống nhiều camera

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH ——————– * ——————— LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC Nhận Diện Theo Dấu Đối Tượng Trên Hệ Thống Nhiều Camera NGÀNH: KHOA HỌC MÁY TÍNH HỘI ĐỒNG: Khoa Học Máy Tính GVHD: TS Nguyễn Đức Dũng GVPB: TS Huỳnh Tường Nguyên —o0o— SVTH 1: Dương Đức Tín (1710332) SVTH 2: Trần Đức Thắng (1713251) SVTH 3: Trương Đức Tuấn (1710368) TP HỒ CHÍ MINH, 07/2021 Lời cam đoan Chúng tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn tiến sĩ Nguyễn Đức Dũng Nội dung nghiên cứu kết trung thực chưa công bố trước Các số liệu sử dụng cho q trình phân tích, nhận xét chúng tơi thu thập từ nhiều nguồn khác ghi rõ phần tài liệu tham khảo Ngoài ra, chúng tơi có sử dụng số nhận xét, đánh giá số liệu tác giả khác, quan tổ chức khác Tất có trích dẫn thích nguồn gốc Nếu phát có gian lận nào, chúng tơi xin hồn toàn chịu trách nhiệm nội dung đề cương luận văn tốt nghiệp Trường Đại Học Bách Khoa Thành phố Hồ Chí Minh khơng liên quan đến vi phạm tác quyền, quyền gây trình thực Lời ngỏ Luận văn tốt nghiệp q trình đúc kết, tìm tịi phát triển từ kiến thức năm tháng học đại học dìu dắt giúp đỡ thầy, cô Khoa Khoa học Kỹ thuật Máy tính, phịng thí nghiệm, giảng viên trường Đại học Bách Khoa Thành phố Hồ Chí Minh Đặc biệt, chúng tơi muốn bày tỏ lịng biết ơn sâu sắc đến tiến sĩ Nguyễn Đức Dũng, người thầy giúp chúng tơi có động lực để hoàn thành luận văn người hướng dẫn tận tình suốt trình học tập nghiên cứu Với kiến thức thầy Dũng thầy, cô trường Đại học Bách Khoa truyền dạy hành trang quý giá trình nghiên cứu làm việc sau Cuối cùng, xin chúc q thầy gia đình dồi sức khỏe, thành công nghiệp cao quý Tóm tắt nội dung Trong báo cáo luận văn tốt nghiệp này, nhóm chúng tơi trình bày sở lý thuyết lĩnh vực thị giác máy tính áp dụng kỹ thuật học sâu Đặc biệt, nhóm tập trung mô tả tảng lý thuyết hướng tiếp cận cho toán nhận diện theo dấu đối tượng hệ thống nhiều máy quay Bên cạnh đó, nhóm đưa kết thử nghiệm ban đầu, so sánh đánh giá phương pháp với kết thử nghiệm với kết báo công bố Dựa kết đạt được, nhóm chúng tơi tìm hiểu đề xuất pipeline mơ hình cho khối xử lý tốn đề gồm có nhận diện, phát khuôn mặt truy vết đối tượng đeo khơng đeo trang Ngồi ra, so sánh đánh giá kết thực để từ đến định sử dụng phương pháp để giải tốt toán nhận diện theo dấu đối tượng hệ thống nhiều máy quay Mục lục Giới thiệu 1.1 Nhận diện truy vết đại dịch Covid 1.2 Mục tiêu nghiên cứu 1 2 Những nghiên cứu liên quan 2.1 Phát đối tượng 2.1.1 Phát gương mặt 2.1.1.1 Tập liệu 2.1.1.2 RetinaFaceMask: A Face Mask Detector [1] 2.1.1.3 Scaled-YOLOv4: Scaling Cross Stage Partial Network [2] 2.1.2 Phát người 2.1.2.1 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks [3] 2.1.2.2 Mask R-CNN [4] 2.2 Truy vết đối tượng 2.2.1 Tập liệu 2.2.2 Truy vết máy quay 2.2.2.1 Truy vết tự sinh 2.2.2.2 Truy vết phán đoán 2.2.3 Truy vết nhiều máy quay 2.2.3.1 Phương pháp tái định danh 2.2.3.2 Phương pháp CLM-based tracking 2.2.3.3 Phương pháp GM-based tracking 2.2.4 Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project [5] 2.2.5 Multi-camera Multi-object Tracking [6] 2.3 Nhận diện danh tính đối tượng 2.3.1 Nhận diện danh tính dựa vào khn mặt 2.3.1.1 FaceNet: A Unified Embedding for Face Recognition and Clustering [7] 2.3.1.2 A Discriminative Feature Learning Approach for Deep Face Recognition [8] 2.3.1.3 SphereFace: Deep Hypersphere Embedding for Face Recognition [9] 2.3.1.4 ArcFace: Additive Angular Margin Loss for Deep Face Recognition [10] 2.3.2 Phục hồi khuôn mặt 2.3.2.1 Image Fine-grained Inpainting [11] 3 4 i 12 14 14 14 15 15 16 17 17 17 17 19 20 21 21 22 22 26 28 28 Kiến thức tảng 3.1 Artificial Neural Network 3.2 Convolution Neural Network 3.3 Residual Neural Network 3.4 Các phương pháp đánh giá toán truy máy quay 3.5 Attentive but Diverse Network [12] 3.5.1 Tính chất tập trung 3.5.1.1 Mô-đun Chú Ý Kênh 3.5.1.2 Mô-đun Chú Ý Vị Trí 3.5.2 Tính đa dạng 3.5.3 Kiến trúc mạng 3.6 Kalman Filter 3.6.1 Định nghĩa toán 3.6.2 Thuật toán Kalman Filter vết nhiều đối tượng nhiều Framework cho hệ thống định danh truy vết nhiều camera 4.1 Tổng quan framework đề xuất 4.2 Phát đối tượng 4.2.1 Phát gương mặt sử dụng trang 4.2.1.1 Tiền xử lí tập liệu ảnh 4.2.1.2 Xây dựng huấn luyện mơ hình 4.2.1.3 Kiểm tra mơ hình dựa liệu 4.2.2 Phát người khung hình 4.2.2.1 Faster R-CNN [3] 4.2.2.2 Mask R-CNN [4] 4.3 Nhận diện danh tính 4.3.1 Đối tượng không đeo trang 4.3.2 Đối tượng đeo trang 4.4 Truy vết máy quay 4.4.1 Đối sánh theo tầng 4.4.2 Rút trích đặc trưng ngoại hình 4.5 Truy vết nhiều máy quay 4.5.1 Gom cụm theo thứ bậc 4.6 Tóm Tắt Kết thực 5.1 Tập liệu 5.1.1 Tập liệu Multi Camera Track Auto (MTA) 5.1.2 Tập liệu THD 5.1.3 Tập liệu nhận dạng khuôn mặt đeo trang 5.2 Phát đối tượng 5.2.1 Phát gương mặt có đeo trang 5.2.2 Phát người khung hình 5.3 Nhận diện danh tính đối tượng 5.3.1 Huấn luyện 5.3.1.1 Đối tượng không đeo trang 5.3.1.2 Đối tượng đeo trang 5.3.1.3 Phục hồi khuôn mặt 30 30 31 32 33 35 37 37 37 38 39 40 40 40 42 42 43 43 43 44 45 46 46 46 47 48 49 51 52 54 54 56 57 59 59 59 60 61 62 62 63 64 64 64 65 65 5.3.2 5.4 Kiểm thử 5.3.2.1 Đối tượng không đeo 5.3.2.2 Đối tượng đeo trang Truy vết 5.4.1 Kiểm thử tập liệu MTA 5.4.2 Kiểm thử tập liệu THD 5.4.2.1 Kết Testcase 5.4.2.2 Kết Testcase 5.4.2.3 Kết Testcase 5.4.2.4 Nhận xét chung trang 65 65 66 67 68 70 70 70 70 75 Tổng kết 76 6.1 Các kết đạt 76 6.2 Những hạn chế 77 6.3 Định hướng tương lai 77 Phụ lục 78 Danh sách hình vẽ 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 2.21 2.22 2.23 2.24 Một vài khuôn mặt tập liệu FaceMask [1] Kiến trúc RetinaFaceMask [1] Mơ hình block CSPDarkNet53 [13] Khối tính tốn SPP YOLOv4 (trái) scaled-YOLOv4 (phải) [2] Kiến trúc mơ hình Scaled-YOLOv4 [2] Kết mơ hình Scaled-YOLOv4 [2] Mô hình RPN sử dụng anchor box có kích thước khác Mơ hình tổng quát Faster R-CNN [3] So sánh kết mô hình Fast R-CNN [14] Faster R-CNN [3] tập liệu COCO Caption for LOF Mơ hình tổng qt Mask R-CNN [4] Kết Mask R-CNN [4] tập liệu COCO với Faster R-CNN [3] Mơ hình tổng qt FaceNet [7] Triplet Loss Center Loss với λ Trực quan hóa hàm mát [9] Mơ hình huấn luyện kiểm tra SphereFace [9] Kiến trúc mơ hình ArcFace [10] Softmax [10] ArcFace [10] SphereFace [9] ArcFace [10] Khối DMFB [11] Mơ hình khối DMFB [11] 11 12 13 14 22 23 23 25 25 26 27 27 27 27 28 29 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 Caption for LOF Mơ hình nơ-ron thật ảo Mơ hình Convolution Neural Network Mơ hình Nối tắt Residual Neural Network [15] Trực quan vùng đặc trưng ý Mô-đun Chú Ý Kênh Mơ-đun Chú Ý Vị Trí Kiến trúc mạng ABD-Net 30 31 32 33 36 37 38 39 4.1 4.2 4.3 4.4 Mơ hình đề xuất thực truy vết nhiều đối tượng Caption for LOF Kiến trúc FPN (a) PAN (a+b) [16] Caption for LOF quay 42 44 45 45 iv nhiều máy 7 10 11 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13 5.1 5.2 5.3 Hình ảnh đầu Faster R-CNN Mask R-CNN Tổng quan bước dự đốn danh tính đối tượng Mơ hình huấn luyện cho đối tượng khơng đeo trang Tổng quan bước huấn luyện dự đoán danh tính đối tượng đeo trang Cách xây dựng sở liệu cho nhận diện danh tính đối tượng đeo trang Cách xây dựng sở liệu cho nhận diện danh tính đối tượng đeo trang với phục hồi ảnh Mô tả việc dự đốn vị trí đối tượng [17] Minh họa ràng buộc thời gian nhiều máy quay [17] Minh họa khoảng cách đối tượng vùng giao máy quay [17] 47 48 49 50 50 50 56 57 57 Vị trí máy quay góc quay tập liệu MTA[17] 59 Các góc quay camera tập liệu THD 61 Hình ảnh ảnh gốc sở liệu 67 KẾT QUẢ HIỆN THỰC Mask R-CNN có giúp giảm số lượng lượng id đối tượng bị thay đổi (IDs) số lượng kết truy vết bị đứt quãng (FM) Một điểm đáng lưu ý mơ hình truy vết đề tài trường hợp sử dụng Faster R-CNN Mask R-CNN cho kết truy vết nhiều máy quay tốt mơ hình truy vết WDA_Tracker thể mơ hình đề xuất đề tài hoạt động tốt gặp trường hợp khó tốn truy vết đối tượng nhiều máy quay Với Testcase gôm đối tượng, tốc độ xử lý hệ thống nhận diện truy vết nhiều máy quay có tốc độ xử lý 4.88 khung hình giây dung lượng nhớ sử dụng 5.94 GB 71 Approach DeepSORT w/ Faster R-CNN DeepSORT w/ Mask R-CNN IDF1↑ IDP↑ IDR↑ MT↑ PT↑ ML↓ IDs↓ FM↓ MOTA↑ 82.94 91.20 76.80 0 84.85 83.81 90.46 78.55 0 86.44 Bảng 5.12: Kết truy vết trung bình máy quay đánh giá Testcase IDF1↑ 54.38 IDP↑ 56.94 IDR↑ 52.03 MT↑ PT↑ ML↓ IDs↓ FM↓ 11 MOTA↑ 87.82 79.31 83.06 75.89 0 11 87.99 80.04 83.14 77.16 0 10 90.27 Bảng 5.13: Kết truy vết nhiều máy quay đánh giá Testcase 72 KẾT QUẢ HIỆN THỰC Approach WDA_Tracker WRDA_Tracker w/ Faster R-CNN WRDA_Tracker w/ Mask R-CNN Approach DeepSORT w/ Faster R-CNN DeepSORT w/ Mask R-CNN IDF1↑ IDP↑ IDR↑ MT↑ PT↑ ML↓ IDs↓ FM↓ MOTA↑ 68.45 74.54 63.90 27 82.29 70.24 77.67 65.21 27 82.71 Bảng 5.14: Kết truy vết máy quay khi đánh giá Testcase IDF1↑ 82.44 IDP↑ 91.19 IDR↑ 75.20 MT↑ PT↑ ML↓ IDs↓ 15 FM↓ 90 MOTA↑ 80.37 59.43 65.13 54.64 29 91 80.70 63.81 69.29 59.12 24 91 81.98 Bảng 5.15: Kết truy vết nhiều máy quay đánh giá Testcase 73 KẾT QUẢ HIỆN THỰC Approach WDA_Tracker WRDA_Tracker w/ Faster R-CNN WRDA_Tracker w/ Mask R-CNN Approach DeepSORT w/ Faster R-CNN DeepSORT w/ Mask R-CNN IDF1↑ IDP↑ IDR↑ MT↑ PT↑ ML↓ IDs↓ FM↓ MOTA↑ 69.49 90.38 58.12 37 60.43 71.78 95.07 59.98 29 60.79 Bảng 5.16: Kết truy vết máy quay đánh giá Testcase IDF1↑ 63.05 IDP↑ 79.30 IDR↑ 52.32 MT↑ PT↑ ML↓ IDs↓ 31 FM↓ 118 MOTA↑ 62.23 74.24 94.38 61.19 31 117 62.38 70.30 90.03 57.66 24 95 62.53 Bảng 5.17: Kết truy vết nhiều máy quay đánh giá Testcase 74 KẾT QUẢ HIỆN THỰC Approach WDA_Tracker WRDA_Tracker w/ Faster R-CNN WRDA_Tracker w/ Mask R-CNN KẾT QUẢ HIỆN THỰC 5.4.2.4 Nhận xét chung Thông qua việc kiểm thử hai tập liệu, xác định người sử Mask R-CNN giúp mơ hình truy vết đề tài cải thiện độ xác việc truy vết máy quay trường hợp so với mơ hình sử xác định Faster R-CNN đề xuất báo [17] Với tốn truy vết nhiều máy quay, mơ hình truy vết WDA_Tracker cho kết tốt mô hình đề xuất luận văn hệ thống máy quay có nhiều đối tượng lại góc máy quay chênh lệch không nhiều Bằng cách đánh đổi phần nhỏ độ xác, mơ hình truy vết đề tài thực truy vết hệ thống máy quay khơng cần phải có liệu dán nhãn mơ hình truy vết Về phương diện tốc độ xử lý mơ hình nhận diện theo vết, từ kết đạt thấy số lượng máy quay hệ thống số lượng đối tượng ảnh hưởng trực tiếp đến tốc độ xử lý mơ hình Cụ thể, số lượng máy đối tượng lớn thời gian xử lý mơ hình chậm Ngồi ra, kết truy vết chạy mơ hình đề xuất đề tài testcase tập liệu THD xem trang Youtube123 Testcase 1: https://youtu.be/PDhoKzLGn-E 2: https://youtu.be/5JcrDnqUdVw Testcase 3: https://youtu.be/EYmdh0er2EQ Testcase 75 Chương Tổng kết Tổng thể cấu trúc Luận văn tốt nghiệp nhóm gồm có nhiều phần khác Chương nhằm để giới thiệu chung đề tài, động lực xây dựng hệ thống mục tiêu đạt Chương đề cập đến nghiên cứu, báo liên quan đến hệ thống truy vết nhận diện đối tượng Chương mô tả kiến thức học máy, học sâu Đây phương pháp nhóm sử dụng để xây dựng hệ thống Chương hiển thị cấu trúc tổng quan hệ thống, bao gồm module nhỏ, mơ hình sử dụng cải tiến Chương bao gồm tập liệu nhóm sử dụng để đánh giá hệ thống so sánh kết đạt tập liệu kiểm tra Chương tổng kết lại Luận văn tốt nghiệp nhóm Chương cuối cùng, Tổng kết bao gồm kết nhóm đạt trình thực Luận văn tốt nghiệp Tiếp đến hạn chế, khó khăn gặp phải xây dựng hệ thống Ngoài ra, hướng phát triển tương lai mà nhóm mong muốn đạt sau kết thúc Luận văn 6.1 Các kết đạt Sau thời gian nghiên cứu thử nghiệm giải pháp khác nhau, nhóm đạt kết tương đối việc xây dựng mơ hình nhận diện truy vết đối tượng hệ thống nhiều camera • Q trình phát gương mặt sử dụng trang có độ xác tương đối cao khơng địi hịi nhiều tài ngun tính tốn giúp giảm gánh cho mơ-đun khác hệ thống • Mơ hình nhận diện danh tính có độ xác tương đối tốt điều kiện thuận lợi Độ xác nhận diện danh tính mang trang cho thấy hoạt động ổn số tập liệu định • Xây dựng mơ hình truy vết đối tượng hệ thống nhiều máy quay không cần sử dụng liệu dán nhãn • Đề xuất phương pháp loại bỏ phơng nhằm tăng độ xác tác vụ truy vết đối tượng • Kết hợp hai phần nhận dạng đối tượng truy vết thành hệ thống chung giúp vừa truy vết nhiều đối tượng định danh họ hệ thống nhiều máy quay • Xây dựng gán nhãn tập liệu THD cho toán truy vết nhận diện đối tượng nhiều quay • Đánh giá độ hiệu hệ thống nhiều loại tập liệu khác 76 TỔNG KẾT 6.2 Những hạn chế Hệ thống nhận diện truy vết đối tượng nhiều máy quay cịn gặp phải hạn chế để đạt độ hiệu tốt • Việc thiếu tập liệu truy vết nhiều máy quay lớn quay đời thực khiến cho việc đánh giá hệ thống gặp khó khăn khơng tồn diện • Hệ thống truy vết nhiều camera có độ xác khơng q cao Đối tượng qua máy quay khác dễ bị nhầm đối tượng khác • Khi đối tượng qua vật cản thời gian dài hay đối tượng bị chồng lên khiến danh tính đối tượng bị thay đổi • Mơ hình phát gương mặt đeo trang chưa đạt độ xác cao so với mơ hình khác • Nhận diện danh tính đối tượng sử dụng trang mức thấp Mơ hình phục hồi khn mặt dùng cải thiện nhận diện danh tính đối tượng mang trang chưa đạt hiệu tốt • Hệ thống chưa sử dụng thời gian thực 6.3 Định hướng tương lai Tuy hệ thống nhận dạng danh tính truy vết nhiều camera hoạt động tương đối lâu dài cải tiến mơ hình để có độ xác hiệu suất tốt • Cải thiện độ xác mơ hình phát gương mặt sử dụng trang • Thu thập nhiều liệu đối tượng sử dụng trang nhằm nâng cao khả nhận diện đối tượng phục hồi khuôn mặt đeo trang • Cải tiến độ xác mơ hình truy vết đối tượng nhiều camera • Phát triển hệ thống để thực thi thời gian thực • Thêm chức đo khoảng cách đối tượng, cảnh báo gặp đối tượng có hành vi khả nghi điểm danh chấm công 77 Phụ lục ABD-Net Attentive but Diverse Network iv, 36, 37, 39, 51, 54, 67 CAM Channel Attention Module 37–39 CLM-based tracking Correlation Link Model based tracking i, 16, 17 CNN Convolution Neural Network 5–8, 51, 52 CSP Cross Stage Partial 6–8 DMFB Dense Multiple Fusion Block 28 FM Fragment 35, 67 FNF Flow Network Framework 15, 16 FPN Feature Pyramid Network iv, 5, 12, 13, 44, 45, 62, 63 GAN Generative Adversarial Networks 28 GM-based tracking Global Modeling based tracking i, 16, 17 IDF1 Identification F1-Score 19, 20, 34, 67 IDFN False Negative Identities 34 IDFP False Positive Identities 34 IDP Identification Precision 19, 20, 34, 67 IDR Identification Recall 19, 34, 67 IDTP True Positive Identities 34 IOU Intersection Over Union 6, 43, 45 JPDAF Joint Probability Data Association Filtering 15, 16 KF Kalman Filter 15, 16 KT Kernel-based Tracking 15, 16 MHT Multiple-Hypothesis Tracking 15–17 ML Mostly Lost 35, 67 MOTA Multiple Object Tracking Accuracy 34, 67 MOTP Multiple Object Tracking Precision 34 MT Mostly Tracked 35, 67 PAM Position Attention Module 37, 39 PAN Path Aggregation Network iv, 7, 8, 44, 45, 62 PF Partial Filter 15, 16 rCSP reverse Cross Stage Partial 78 Phụ lục RPN Region Proposal Network 10–13 SGD: Stochastic Gradient Descent 64, 65 SOTA State of the art 23 SPP Spatial Pyramid Pooling 7, SSD Single Shot Detector WDA_Tracker Weighted Distance Aggregation Tracker 54, 55, 67–75 WRDA_Tracker Weighted Reduced Distance Aggregation Tracker 54, 67, 69, 72–74 79 Tài liệu tham khảo [1] Mingjie Jiang, Xinqi Fan, and Hong Yan Retinamask: A face mask detector, 2020 [2] Chien-Yao Wang, Alexey Bochkovskiy, and Hong-Yuan Mark Liao Scaled-yolov4: Scaling cross stage partial network, 2020 [3] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Faster r-cnn: Towards real-time object detection with region proposal networks, 2016 [4] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick Mask r-cnn, 2018 [5] Zhimeng Zhang, Jianan Wu, Xuan Zhang, and Chi Zhang Multi-target, multi-camera tracking by hierarchical clustering: Recent progress on dukemtmc project, 2017 [6] Wenqian Liu, Octavia Camps, and Mario Sznaier Multi-camera multi-object tracking, 2017 [7] Florian Schroff, Dmitry Kalenichenko, and James Philbin Facenet: A unified embedding for face recognition and clustering 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2015 [8] Yandong Wen, Kaipeng Zhang, Zhifeng Li, and Yu Qiao A discriminative feature learning approach for deep face recognition volume 9911, pages 499–515, 10 2016 [9] Weiyang Liu, Yandong Wen, Zhiding Yu, Ming Li, Bhiksha Raj, and Le Song Sphereface: Deep hypersphere embedding for face recognition In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 6738–6746, 2017 [10] Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou Arcface: Additive angular margin loss for deep face recognition In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 4685–4694, 2019 [11] Zheng Hui, Jie Li, Xiumei Wang, and Xinbo Gao Image fine-grained inpainting, 2020 [12] Tianlong Chen, Shaojin Ding, Jingyi Xie, Ye Yuan, Wuyang Chen, Yang Yang, Zhou Ren, and Zhangyang Wang Abd-net: Attentive but diverse person re-identification, 2019 [13] Chien-Yao Wang, Hong-Yuan Mark Liao, I-Hau Yeh, Yueh-Hua Wu, Ping-Yang Chen, and Jun-Wei Hsieh Cspnet: A new backbone that can enhance learning capability of cnn, 2019 [14] Ross Girshick Fast r-cnn, 2015 [15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun Deep residual learning for image recognition, 2015 [16] Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia Path aggregation network for instance segmentation, 2018 [17] P Kăohl, A Specker, A Schumann, and J Beyerer The mta dataset for multi target multi camera pedestrian tracking by weighted distance aggregation pages 4489–4498, 2020 80 TÀI LIỆU THAM KHẢO [18] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, ChengYang Fu, and Alexander C Berg Ssd: Single shot multibox detector Lecture Notes in Computer Science, page 21–37, 2016 [19] J Redmon, S Divvala, R Girshick, and A Farhadi You only look once: Unified, realtime object detection In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 779–788, 2016 [20] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár Focal loss for dense object detection, 2018 [21] Ross Girshick, Jeff Donahue, Trevor Darrell, and Jitendra Malik Rich feature hierarchies for accurate object detection and semantic segmentation, 2014 [22] Shuo Yang, Ping Luo, Chen Change Loy, and Xiaoou Tang Wider face: A face detection benchmark, 2015 [23] S Ge, J Li, Q Ye, and Z Luo Detecting masked faces in the wild with lle-cnns In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 426–434, 2017 [24] Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie Feature pyramid networks for object detection, 2017 [25] Sanghyun Woo, Jongchan Park, Joon-Young Lee, and In So Kweon Cbam: Convolutional block attention module, 2018 [26] Joseph Redmon and Ali Farhadi Yolov3: An incremental improvement, 2018 [27] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun Spatial pyramid pooling in deep convolutional networks for visual recognition Lecture Notes in Computer Science, page 346–361, 2014 [28] Karen Simonyan and Andrew Zisserman Very deep convolutional networks for largescale image recognition, 2015 [29] Ergys Ristani, Francesco Solera, Roger S Zou, Rita Cucchiara, and Carlo Tomasi Performance measures and a data set for multi-target, multi-camera tracking, 2016 [30] X Li, K Wang, W Wang, and Y Li A multiple object tracking method using kalman filter In The 2010 IEEE International Conference on Information and Automation, pages 1862–1866, 2010 [31] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft Simple online and realtime tracking 2016 IEEE International Conference on Image Processing (ICIP), Sep 2016 [32] Kourosh Meshgi, Shin-ichi Maeda, Shigeyuki Oba, Henrik Skibbe, Yu-zhe Li, and Shin Ishii An occlusion-aware particle filter tracker to handle complex and persistent occlusions Computer Vision and Image Understanding, 150, 05 2016 [33] Bo Yang and Ruoyu Yang Interactive particle filter with occlusion handling for multi-target tracking In 2015 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD), pages 1945–1949, 2015 [34] Li Hou, Wanggen Wan, Kuan-Hui Lee, Jenq-Neng Hwang, Greg Okopal, and James Pitton Robust human tracking based on dpm constrained multiple-kernel from a moving camera Journal of Signal Processing Systems, 86:27–39, 01 2017 [35] Li Hou, Wanggen Wan, Kuan-Hui Lee, Jenq-Neng Hwang, Greg Okopal, and James Pitton Deformable multiple-kernel based human tracking using a moving camera In 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 2249–2253, 04 2015 81 TÀI LIỆU THAM KHẢO [36] C Rasmussen and G D Hager Probabilistic data association methods for tracking complex visual objects IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(6):560–576, 2001 [37] Ata Ur-Rehman, Syed Naqvi, L Mihaylovay, and Jonathon Chambers Clustering and a joint probabilistic data association filter for dealing with occlusions in multitarget tracking pages 1730–1735, 01 2013 [38] Chanho Kim, Fuxin Li, Arridhana Ciptadi, and James Rehg Multiple hypothesis tracking revisited In 2015 IEEE International Conference on Computer Vision (ICCV), pages 4696–4704, 12 2015 [39] Seong-Wook Joo and Rama Chellappa A multiple-hypothesis approach for multiobject visual tracking IEEE transactions on image processing : a publication of the IEEE Signal Processing Society, 16:2849–54, 12 2007 [40] Li Zhang, Yuan Li, and R Nevatia Global data association for multi-object tracking using network flows In 2008 IEEE Conference on Computer Vision and Pattern Recognition, pages 1–8, 2008 [41] Hamed Pirsiavash, Deva Ramanan, and Charless Fowlkes Globally-optimal greedy algorithms for tracking a variable number of objects pages 1201 – 1208, 07 2011 [42] Nicolai Wojke, Alex Bewley, and Dietrich Paulus Simple online and realtime tracking with a deep association metric In 2017 IEEE International Conference on Image Processing (ICIP), pages 3645–3649, 2017 [43] Shengcai Liao, Yang Hu, Xiangyu Zhu, and Stan Z Li Person re-identification by local maximal occurrence representation and metric learning In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2197–2206, 2015 [44] Omar Javed, K Shafique, and Mubarak Shah Appearance modeling for tracking in multiple non-overlapping cameras volume 2, pages 26– 33 vol 2, 07 2005 [45] Weihua Chen, Lijun Cao, Xiaotang Chen, and Kaiqi Huang An equalised global graphical model-based approach for multi-camera object tracking, 2016 [46] Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C Lawrence Zitnick, and Piotr Dollár Microsoft coco: Common objects in context, 2015 [47] Xuan Zhang, Hao Luo, Xing Fan, Weilai Xiang, Yixiao Sun, Qiqi Xiao, Wei Jiang, Chi Zhang, and Jian Sun Alignedreid: Surpassing human-level performance in person re-identification, 2018 [48] Wei Li, Rui Zhao, Tong Xiao, and Xiaogang Wang Deepreid: Deep filter pairing neural network for person re-identification In 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 152–159, 2014 [49] Tong Xiao, Shuang Li, Bochao Wang, Liang Lin, and Xiaogang Wang Joint detection and identification feature learning for person search In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3376–3385, 2017 [50] Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jingdong Wang, and Qi Tian Scalable person re-identification: A benchmark pages 1116–1124, 12 2015 [51] Liang Zheng, Zhi Bie, Yifan Sun, Jingdong Wang, Chi Su, Shengjin Wang, and Qi Tian Mars: A video benchmark for large-scale person re-identification volume 9910, pages 868–884, 10 2016 [52] Douglas Gray and Hai Tao Viewpoint invariant pedestrian recognition with an ensemble of localized features volume 5302, pages 262–275, 10 2008 82 TÀI LIỆU THAM KHẢO [53] Martin Hirzer, Csaba Beleznai, Peter M Roth, and Horst Bischof Person reidentification by descriptive and discriminative classification In Image Analysis, pages 91–102 Springer Berlin Heidelberg, 05 2011 [54] Zhedong Zheng, Liang Zheng, and Yi Yang Unlabeled samples generated by gan improve the person re-identification baseline in vitro In 2017 IEEE International Conference on Computer Vision (ICCV), pages 3774–3782, 2017 [55] H Kuhn The hungarian method for the assignment problem Naval Research Logistic Quarterly, 2, 05 2012 [56] Zhun Zhong, Liang Zheng, Donglin Cao, and Shaozi Li Re-ranking person reidentification with k-reciprocal encoding, 2017 [57] Yonatan Tariku Tesfaye, Eyasu Zemene, Andrea Prati, Marcello Pelillo, and Mubarak Shah Multi-target tracking in multiple non-overlapping cameras using constrained dominant sets, 2017 [58] Andrii Maksai, Xinchao Wang, Fran¸cois Fleuret, and Pascal Fua Non-markovian globally consistent multi-object tracking In 2017 IEEE International Conference on Computer Vision (ICCV), pages 2563–2573, 2017 [59] A Dehghan, S M Assari, and M Shah Gmmcp tracker: Globally optimal generalized maximum multi clique problem for multiple object tracking In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4091–4099, 2015 [60] Caglayan Dicle, Octavia Camps, and Mario Sznaier The way they move: Tracking multiple targets with similar appearance 12 2013 [61] Y Taigman, M Yang, M Ranzato, and L Wolf Deepface: Closing the gap to humanlevel performance in face verification In 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 1701–1708, 2014 [62] Iacopo Masi, Yue Wu, Tal Hassner, and Prem Natarajan Deep face recognition: A survey In 2018 31st SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), pages 471–478, 2018 [63] Florian Schroff, Dmitry Kalenichenko, and James Philbin Facenet: A unified embedding for face recognition and clustering 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun 2015 [64] Gary Huang, Marwan Mattar, Tamara Berg, and Eric Learned-Miller Labeled faces in the wild: A database forstudying face recognition in unconstrained environments Tech rep., 10 2008 [65] C Ferrari, S Berretti, and A Del Bimbo Extended youtube faces: a dataset for heterogeneous open-set face identification In 2018 24th International Conference on Pattern Recognition (ICPR), pages 3408–3413, 2018 [66] Omkar M Parkhi, Andrea Vedaldi, and Andrew Zisserman Deep face recognition In Mark W Jones Xianghua Xie and Gary K L Tam, editors, Proceedings of the British Machine Vision Conference (BMVC), pages 41.1–41.12 BMVA Press, September 2015 [67] Yi Sun, Xiaogang Wang, and Xiaoou Tang Deeply learned face representations are sparse, selective, and robust, 2014 [68] Jingtuo Liu, Yafeng Deng, Tao Bai, Zhengping Wei, and Chang Huang Targeting ultimate accuracy: Face recognition via deep embedding, 2015 83 TÀI LIỆU THAM KHẢO [69] Yi Sun, Xiaogang Wang, and Xiaoou Tang Deep learning face representation from predicting 10,000 classes In 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 1891–1898, 2014 [70] Weiyang Liu, Yandong Wen, Zhiding Yu, and Meng Yang Large-margin softmax loss for convolutional neural networks, 2017 [71] Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li, and Wei Liu Cosface: Large margin cosine loss for deep face recognition, 2018 [72] S Sengupta, J Chen, C Castillo, V M Patel, R Chellappa, and D W Jacobs Frontal to profile face verification in the wild In 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), pages 1–9, 2016 [73] S Moschoglou, A Papaioannou, C Sagonas, J Deng, I Kotsia, and S Zafeiriou Agedb: The first manually collected, in-the-wild age database In 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 1997–2005, 2017 [74] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio Generative adversarial networks, 2014 [75] Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Chen Change Loy, Yu Qiao, and Xiaoou Tang Esrgan: Enhanced super-resolution generative adversarial networks, 2018 [76] De Cheng, Yihong Gong, Sanping Zhou, Jinjun Wang, and Nanning Zheng Person reidentification by multi-channel parts-based cnn with improved triplet loss function In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1335–1344, 2016 [77] Chi Su, Jianing Li, Shiliang Zhang, Junliang Xing, Wen Gao, and Qi Tian Posedriven deep convolutional model for person re-identification CoRR, abs/1709.08325, 2017 [78] Liang Zheng, Yujia Huang, Huchuan Lu, and Yi Yang Pose invariant embedding for deep person re-identification CoRR, abs/1701.07732, 2017 [79] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin Attention is all you need CoRR, abs/1706.03762, 2017 [80] Jianlou Si, Honggang Zhang, Chun-Guang Li, Jason Kuen, Xiangfei Kong, Alex C Kot, and Gang Wang Dual attention matching network for context-aware feature sequence based person re-identification CoRR, abs/1803.09937, 2018 [81] Jing Xu, Rui Zhao, Feng Zhu, Huaming Wang, and Wanli Ouyang Attention-aware compositional network for person re-identification CoRR, abs/1805.03344, 2018 [82] Wei Li, Xiatian Zhu, and Shaogang Gong Harmonious attention network for person re-identification CoRR, abs/1802.08122, 2018 [83] Yifan Sun, Liang Zheng, Weijian Deng, and Shengjin Wang Svdnet for pedestrian retrieval CoRR, abs/1703.05693, 2017 [84] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott E Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich Going deeper with convolutions CoRR, abs/1409.4842, 2014 [85] Gao Huang, Zhuang Liu, and Kilian Q Weinberger Densely connected convolutional networks CoRR, abs/1608.06993, 2016 84 TÀI LIỆU THAM KHẢO [86] Guanshuo Wang, Yufeng Yuan, Xiong Chen, Jiwei Li, and Xi Zhou Learning discriminative features with multiple granularities for person re-identification CoRR, abs/1804.01438, 2018 [87] Jiwei Yang, Xu Shen, X Tian, Houqiang Li, Jianqiang Huang, and Xiansheng Hua Local convolutional neural networks for person re-identification Proceedings of the 26th ACM international conference on Multimedia, 2018 [88] Olaf Ronneberger, Philipp Fischer, and Thomas Brox U-net: Convolutional networks for biomedical image segmentation, 2015 [89] Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla Segnet: A deep convolutional encoder-decoder architecture for image segmentation, 2016 [90] Aqeel Anwar and A Raychowdhury Masked face recognition for secure authentication ArXiv, abs/2008.11104, 2020 [91] Elena Avatangelou, Rochi Febo Dommarco, Michael Klein, S Mă uller, Claus Nielsen, Pilar Sala, Andreas Schmidt, Mohammad-Reza Tazari, and Reiner Wichert Communications in computer and information science pages 448–464, 01 2008 85 ... Xây dựng mơ hình theo vết đối tượng hệ thống quan sát nhiều camera • Xây dựng mơ hình nhận diện khn mặt nằm truy vết định danh đối tượng hệ thống • Cải thiện mơ hình hỗ trợ nhận diện gương mặt... tiêu nghiên cứu Mục tiêu nghiên cứu nhận diện theo dấu nhiều đối tượng (con người) hệ thống nhiều máy quay Cụ thể, người bước vào góc quay máy quay an ninh hệ thống phát người cách vẽ khung hình... quay (2.2), hệ thống phân biệt đối tượng với Tuy nhiên, hệ thống cần biết nhiều để trình truy xuất liệu hiệu quả, nhanh chóng hệ thống có giá trị Do việc đưa khối nhận diện danh tính vào để tăng