Ứng dụng Object Tracking xây dựng hệ thống giám sát giao thông trên đường cao tốc. Trình bày tổng quan về các khái niệm, phân loại và ứng dụng của bài toán theo dõi đối tượng (object tracking). 2. Nêu ra các vấn đề đáng được quan tam trong object tracking, đồng thời trình bày chi tiết về thuật toán deep sort. 3. Đề xuất xây dựng hệ thống tracking, ứng dụng trên mạng lưới camera theo dõi được lắp đặt trên các đường cao tốc.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG OBJECT TRACKING XÂY DỰNG HỆ THỐNG GIÁM SÁT GIAO THÔNG TRÊN ĐƯỜNG CAO TỐC BÙI TIẾN TÙNG tung.bt164496@sis.hust.edu.vn Ngành Toán Tin Giảng viên hướng dẫn: TS LÊ HẢI HÀ Bộ mơn: Tốn Tin Viện: Tốn ứng dụng Tin học HÀ NỘI, 12/2020 Chữ kí GVHD TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC ỨNG DỤNG OBJECT TRACKING XÂY DỰNG HỆ THỐNG GIÁM SÁT GIAO THÔNG TRÊN ĐƯỜNG CAO TỐC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: TOÁN TIN Chuyên sâu: Tin học Giảng viên hướng dẫn: Sinh viên thực hiện: TS LÊ HẢI HÀ BÙI TIẾN TÙNG Lớp: Toán Tin K61 HÀ NỘI, 12/2020 Nhận xét giảng viên hướng dẫn Mục tiêu nội dung đồ án (a) Mục tiêu: (b) Nội dung: Kết đạt (a) (b) (c) Ý thức làm việc sinh viên: (a) (b) (c) Hà Nội, ngày tháng 12 năm 2020 Giảng viên hướng dẫn TS Lê Hải Hà Lời cảm ơn Đồ án hoàn thành trường Đại học Bách khoa Hà Nội hướng dẫn TS Lê Hải Hà Trước hết, tác giả đồ án xin gửi lời cảm ơn sâu sắc tới TS Lê Hải Hà, người quan tâm hướng dẫn giúp đỡ suốt q trình thực hồn thành đồ án Tác giả xin trân trọng cảm ơn tập thể team AI Research, công ty Sun Asterisk truyền động lực, cảm hứng kiến thức tạo điều kiện thuận lợi cho tác giả suốt trình thực đồ án Đồ án khơng thể hoàn thiện thiếu giúp đỡ tất người Cuối cùng, tác giả xin bày tỏ lịng biết ơn vơ hạn gia đình bạn bè bên cạnh ủng hộ động viên hồn cảnh Tóm tắt nội dung đồ án Trình bày tổng quan khái niệm, phân loại ứng dụng toán theo dõi đối tượng (object tracking) Nêu vấn đề đáng quan tâm object tracking, đồng thời trình bày chi tiết thuật toán deep SORT Đề xuất xây dựng hệ thống tracking, ứng dụng mạng lưới camera theo dõi lắp đặt đường cao tốc Hà Nội, ngày tháng 12 năm 2020 Tác giả đồ án Bùi Tiến Tùng Mục lục Mở đầu 1 Tổng quan Object Tracking 1.1 Khái niệm 1.2 Phân loại 1.3 Ứng dụng 1.3.1 An ninh 1.3.2 Thương mại 1.3.3 Giao thông vận tải Các vấn đề Object Tracking 2.1 2.2 2.3 Multiple Object Tracking 2.1.1 Khó khăn 2.1.2 Giải thuật 10 Tracking-by-Detection 11 2.2.1 Phát (Detection) 11 2.2.2 Dự đoán quỹ đạo (Motion Prediction) 21 2.2.3 Liên hệ (Affinity) 22 2.2.4 Liên kết (Association) 23 Realtime Object Tracking 24 2.3.1 Khó khăn 24 2.3.2 Giải thuật 24 Thuật toán deep SORT 3.1 3.2 3.3 3.4 26 Bộ lọc Kalman 26 3.1.1 Bài toán lọc (Filtering Problem) 26 3.1.2 Thuật toán 28 Thuật toán Hungary 31 3.2.1 Bài toán phân công (Assignment Problem) 31 3.2.2 Thuật toán 32 SORT - Simple Online and Realtime Tracking 34 3.3.1 Mơ hình hóa tốn lọc Kalman 35 3.3.2 Vấn đề liên kết thuật toán Hungary 37 3.3.3 Tổng kết thuật toán 37 Deep SORT 39 3.4.1 Mơ hình hóa toán lọc Kalman 39 3.4.2 Vấn đề liên kết thuật toán Hungary 40 3.4.3 Chiến lược đối sánh theo tầng (Matching Cascade) 42 3.4.4 Bộ trích xuất đặc trưng đối tượng 43 3.4.5 Tổng kết thuật toán 44 Ứng dụng Object Tracking giám sát giao thông đường cao tốc 46 4.1 Đặt vấn đề 46 4.2 Thiết kế hệ thống 48 4.3 Dữ liệu 49 4.4 4.5 4.3.1 UA DETRAC Dataset 50 4.3.2 Highway Monitoring Dataset 51 Xây dựng hệ thống 51 4.4.1 Trình phát (Detector) 51 4.4.2 Trình theo dõi (Tracker) 53 4.4.3 Hệ thống đếm (Counting System) 55 Đánh giá kết hướng mở rộng 56 Kết luận 58 Tài liệu tham khảo 59 Danh sách hình vẽ 1.1 Ví dụ mutiple object tracking 2.1 Ví dụ quỹ đạo chồng chéo mutiple object tracking 2.2 Mơ tả thuật tốn chung tracking-by-detection 2.3 Kiến trúc mạng YOLOv1 13 2.4 Kiến trúc mạng YOLOv2 14 2.5 Kiến trúc mạng YOLOv3 16 2.6 Kiến trúc mạng YOLOv4 18 2.7 Khối kiến trúc SPP 19 2.8 So sánh kiến trúc FPN PANet 20 2.9 Hiệu suất mạng YOLOv5 21 3.1 Mô hình tốn lọc Kalman 27 3.2 So sánh SORT thuật toán tracking khác 35 3.3 Luồng xử lí SORT 38 3.4 Vấn đề liên kết liệu deep SORT 42 3.5 Luồng xử lí deep SORT 44 4.1 Cao tốc Đồng Đăng - Trà Lĩnh kết nối Lạng Sơn - Cao Bằng 47 4.2 Thiết kế hệ thống giám sát giao thông 49 4.3 Sự đa dạng liệu UA DETRAC 50 4.4 Các góc nhìn Highway Monitoring Dataset 51 4.5 Đồ thị Precision Recall Curve YOLOv5 s 53 10 Bảng ký hiệu R Tập số thực RN Không gian Euclid thực N chiều x ˆ Giá trị kỳ vọng biến ngẫu nhiên x Σ Ma trận hiệp phương sai biến ngẫu nhiên N (ˆ x, Σ) Phân phối chuẩn nhiều chiều với giá trị kỳ vọng ma trận hiệp phương sai tương ứng Danh mục từ viết tắt SOT Single Object Tracking MOT Mutiple Object Tracking ID Identification YOLO You Only Look One IOU Intersection Over Union CSP Cross Stage Partial Network SPP Space Pyramid Pooling PAN Path Aggregation Network FPN Feature Pyramid Network CNN Convolutional Neural Network SORT Simple Online and Realtime Tracking WRN Wide Residual Network FPS Frame per second AP Average Precision mAP mean Average Precision Mở đầu Hiện nay, việc đầu tư ứng dụng công nghệ - bật cao tốc, góp phần tích cực cải thiện an tồn giao thơng, phục vụ có hiệu công tác quản lý, giám sát, điều hành Song, mức độ đó, cịn dự án tập trung vào việc hoàn thiện tuyến đường mà chưa thực quan tâm đến việc đầu tư cơng nghệ giám sát vận hành Có nơi đầu tư lại chưa bản, thiếu đồng bộ, khả kết nối liên thơng tích hợp liệu Nắm bắt nhu cầu cấp thiết q trình tự động hóa hệ thống camera giám sát giao thông, đồng thời mong muốn ứng dụng kiến thức tìm hiểu vào thực tiễn, báo cáo này, tác giả đồ án trình bày lý thuyết theo dõi đối tượng (object tracking), lĩnh vực quan tâm nhiều thị giác máy tính Thuật tốn tập trung nội dung báo cáo deep SORT, dạng thuật tốn tracking, thuộc nhóm tracking by detection Bên cạnh đó, hệ thống tracking by detection đề xuất, nhằm đưa thiết kế cho hệ thống camera Nội dung đồ án chia làm chương • Chương 1: Trình bày tổng quan khái niệm, phân loại ứng dụng object tracking • Chương 2: Nêu vấn đề đáng quan tâm object tracking, đồng thời vấn đề mà đồ án mong muốn giải • Chương 3: Trình bày chi tiết thuật toán deep SORT - thuật toán cốt lõi đồ án, định nghĩa, định lí cơng thức deep 47 Hình 4.1: Cao tốc Đồng Đăng - Trà Lĩnh kết nối Lạng Sơn - Cao Bằng khai thác, sử dụng góp phần tích cực vào phát triển kinh tế, xã hội, đặc biệt địa phương có tuyến cao tốc qua Việc đầu tư ứng dụng công nghệ - bật cao tốc, góp phần tích cực cải thiện an tồn giao thơng, phục vụ có hiệu công tác quản lý, giám sát, điều hành Song, mức độ đó, cịn dự án tập trung vào việc hoàn thiện tuyến đường mà chưa thực quan tâm đến việc đầu tư cơng nghệ giám sát vận hành Có nơi đầu tư lại chưa bản, thiếu đồng bộ, khả kết nối liên thơng tích hợp liệu Đây hạn chế cần sớm khắc phục để nâng cao hiệu khai thác, cải thiện an tồn giao thơng, đồng thời phục vụ tốt cho công tác quản lý quy hoạch mạng lưới giao thông tổng thể phạm vi nước Việc đầu tư có hệ thống cơng nghệ giám sát cao tốc giúp quan quản lý nhà nước thu thập sở liệu phục vụ cho cơng tác quản lý từ dịng phương tiện, lưu lượng xe, vận tốc khai thác trung bình để quan quản lý có tranh tổng thể quy hoạch mạng lưới giao thông điều tiết, đề xuất mở rộng tuyến tắc nghẽn giao thông Nắm bắt tầm quan trọng việc tự động hóa q trình giám sát giao thơng đường cao tốc, đồ án này, em đề xuất ứng dụng 48 object tracking vào vấn đề xây dựng hệ thống: • Hệ thống camera giám sát giao thơng Hỗ trợ người vận hành quan sát hình ảnh giao thơng từ xa hình lưới hành hình khổ lớn trung tâm quản lý điều hành giao thơng • Hệ thống đo đếm lưu lượng phương tiện Thu thập, phân tích, báo cáo lưu trữ thống kê liệu mơ tả tình trạng hiệu suất khai thác hệ thống đường 4.2 Thiết kế hệ thống Trong phần trình bày này, tác giả đề xuất thiết kế chi tiết vấn đề áp dụng object tracking (cụ thể tracking by detection) hệ thống giám sát giao thông Cụ thể, hệ thống bao gồm mô đun riêng rẽ trao đổi thông tin với suốt q trình tính tốn (hình 4.2) • Live Video Stream: Là video đầu vào hệ thống, từ thiết bị camera giám sát, camera ip video lưu trữ từ trước • Trung tâm xử lí theo dõi (MOT Processing Center): Tiến hành xử lí video theo khung hình Bắt đầu từ việc loại bỏ nhiễu ảnh, chuẩn hóa kích thước để phù hợp với đầu vào mơ hình Các khâu xử lí mơ đun việc kết nối với mô đun khác (Detector Tracker) để tiến hành phát theo dõi đối tượng (ở phương tiện giao thơng) • Detector Warehouse: Nơi lưu trữ trọng số kiến trúc mơ hình detector xây dựng • Detector: Tiến hành phát phương tiện giao thơng hình ảnh đầu vào (sau khởi tạo với thông tin từ kho phát hiện) 49 Hình 4.2: Thiết kế hệ thống giám sát giao thơng • Tracker Warehouse: Nơi lưu trữ trọng số kiến trúc mơ hình tracker xây dựng • Tracker: Tiến hành theo dõi phương tiện giao thông từ thông tin nhận từ trung tâm xử lí theo dõi thơng tin q khứ • Video đầu ra: Các khung hình, kèm thơng tin vị trí id phương tiện • Hệ thống đếm (Counting System): Tiến hành đo đếm lưu lượng phương tiện giao thông, đồng thời lưu trữ lại cần thiết 4.3 Dữ liệu Để xây dựng mơ hình phù hợp, liệu tác giả sử dụng báo cáo tổng hợp từ nguồn chính: liệu UA DETRAC liệu video giám sát đường cao tốc Hàng Châu, Trung Quốc 50 Hình 4.3: Sự đa dạng liệu UA DETRAC 4.3.1 UA DETRAC Dataset University at Albany DEtection and TRACking (UA-DETRAC) dataset[23] liệu phát triển từ năm 2015, dành riêng cho tác vụ phát theo dõi phương tiện giao thông Bộ liệu UA-DETRAC bao gồm 100 video, với 10 video, máy ảnh Canon EOS 550D thu lại 24 địa điểm khác tại Bắc Kinh Thiên Tân Trung Quốc Các hình ảnh UA DETRAC có đa dạng vô lớn, từ điều kiện giao thông (đường cao tốc đô thị, giao lộ đường giao nhau, ), điều kiện thời tiết (trời, nắng, trời mưa, ban đêm, ban ngày, ), chí điều kiện ánh sáng góc chụp (hình 4.3) Các video UA DETRAC quay tốc độ 25 khung hình / giây (fps) với độ phân giải hình ảnh JPEG 960 × 540 pixel Các nhóm phương tiện UA DETRAC bao gồm xe con, xe tải, xe van số phương tiện khác Cụ thể, có 140 nghìn khung hình tập liệu UA-DETRAC 8250 xe thích thủ công, với tổng cộng 1,21 triệu hộp giới hạn (bounding box) gắn nhãn cho đối tượng 51 Hình 4.4: Các góc nhìn Highway Monitoring Dataset 4.3.2 Highway Monitoring Dataset Đây tập liệu thu thập từ video giám sát đường cao tốc Hàng Châu, Trung Quốc[18] Các camera giám sát lắp đặt bên đường dựng độ cao 12 mét Nhờ vậy, hình ảnh thu có tầm nhìn bao qt khoảng cách xa đường cao tốc Các hình ảnh chụp từ camera giám sát chính, cho cảnh khác nhau, thời gian khác điều kiện ánh sáng khác (hình 4.4) Tập liệu chia phương tiện thành ba loại: ô tô con, xe buýt xe tải Các nhóm phương tiện gắn nhãn liệu vào bao gồm xe con, xe buýt xe tải Cụ thể hơn, xe chiếm 42,17%, xe buýt chiếm 7,74% xe tải chiếm 50,09% Các hình ảnh có định dạng RGB độ phân giải 1920 × 1080, với tổng cộng 11.129 hình ảnh 57.290 hộp giới hạn (bounding box) 4.4 4.4.1 Xây dựng hệ thống Trình phát (Detector) Với mục tiêu ứng dụng hệ thống thực tế, việc đảm bảo tốc độ xử lí video đạt thời gian thực (realtime) ưu tiên hàng đầu Trong 52 phạm vi báo cáo, tác giả đồ án tiến hành thử nghiệm với mơ hình YOLO nhẹ nay: YOLOv3 Tiny, YOLOv4 Tiny YOLOv5 s Phần xây dựng huấn luyện detector, cấu trúc mơ hình YOLO khơng thay đối nhiều, thay vào đó, tác giả tập trung vào xử lí liệu xây dựng dataset phù hợp Dữ liệu UA DETRAC cho dạng file XML, liệu Highway Mornitoring cho dạng file txt, bên cạnh cịn vấn đề loại phương tiện liệu khác nhau, đó, có nhiều thao tác cần thực để có dataset thống sau • Trích xuất label từ file XML liệu UA DETRAC (loại bỏ trường hợp bounding box bị che khuất không rõ ràng) Label liệu Highway Mornitoring lưu dạng chuẩn YOLO nên khơng cần xử lí nhiều • Đồng hóa label liệu • Chuẩn hóa lại label, đưa format YOLO Q trình đánh giá kết thực với độ đo mean Average Precision (mAP) Bàn chút độ đo mAP, cơng thức tính tốn độ đo sau: mAP = N N APi i=1 mAP đơn giản trung bình AP score n class Trong đó, AP (Average Precision) thơng số trung bình precision ứng với mốc recall tương ứng, đoạn từ đến Giá trị tính dựa precision recall đồ thị Precision Recall Curve theo cách: 11-points-interpolated all-points-interpolated • 11-points-interpolated AP = pinterpolated (r) 11 r∈0,0.1, ,1 53 Hình 4.5: Đồ thị Precision Recall Curve YOLOv5 s • all-points-interpolated (rn − rn−1 )pinterpolated (rn ) AP = Với pinterpolated (r) = maxrˆ>r p(ˆ r) Kết mơ hình tập test tổng kết lại bảng sau : YOLOv3 Tiny YOLOv4 Tiny YOLOv5 s mAP@0.5 (%) mAP@0.5:0.95 (%) 4.4.2 90.10 95.20 97.80 _ _ 82.50 Trình theo dõi (Tracker) Trình theo dõi hệ thống xây dựng dựa thuật toán deep SORT Bên cạnh số cấu hình giống với báo gốc thuật tốn, số xử lí tác giả đồ án thực để phù hợp với toán cần giải 54 Định nghĩa mơ hình tốn Mỗi track bao gồm thành phần: x = u, v, γ, h, u, ˙ v, ˙ γ, ˙ h˙ Với (u, v) tọa độ tâm bounding box, γ tỉ lệ khung hình, ˙ h chiều cao bounding box, vận tốc tương ứng u, ˙ v, ˙ γ, ˙ h Bằng việc giả định chuyển động frame chuyển động (giả định chấp nhận tốc độ load khung hình đủ nhanh), tác giả xét mơ hình tốn với phương trình • xk = Fk xk−1 + wk 0 0 Fk = 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 • zk = Hk xk + vk 0 0 0 0 0 Hk = 0 0 0 0 0 0 Xây dựng trích xuất đặc trưng riêng Vì liệu UA DETRAC đồng thời có cung cấp ID đối tượng, tận dụng thông tin này, tác giả tiến hành trích xuất bounding box, ID tương ứng, xây dựng thành liệu mới, với mục đích định danh (re-id) 55 Bộ liệu sau huấn luyện với mơ hình WRN (Wide Residual Network) để tạo trích xuất đặc trưng phương tiện giao thơng đủ tốt Bên cạnh đó,tác giả đồng thời chỉnh sửa lại trọng số độ đo công thức với λ = 0.5 ci,j = λd(1) (i, j) + (1 − λ)d(2) (i, j) Kết Kết đánh giá toàn q trình theo dõi tính dựa giá trị Mutiple Object Tracking Accuracy (MOTA) với M OT A = − (F N + F P + IDSW ) ∈ (−∞, 1] GT Trong đó, • FN (False Negative) tổng số lần mà đối tượng xuất khơng phát • FP (False Positive) tổng số lần phát đối tượng đối tượng tồn • IDSW (ID Switches) tổng số lần đối tượng bị gán cho ID suốt q trình theo dõi • GT tổng số lượng hộp giới hạn (bounding box) gắn nhãn MOTA (%) 4.4.3 YOLOv3 Tiny 31.7 YOLOv4 Tiny 31.5 YOLOv5 s 32.9 Hệ thống đếm (Counting System) Để thực đo đếm phương tiện giao thông di chuyển cao tốc, đường giới hạn xác định, cắt ngang khung hình Mỗi có 56 phương tiện qua đường giới hạn này, hệ thống nhận thơng tin phương tiện lưu trữ vào hệ thống Chi tiết thuật toán thực sau: • Sau phát đối tượng, tiến hành lưu trữ lại tọa độ trung tâm bounding box • Từ tọa độ trung tâm bounding box khung hình khung hình trước đó, xác định đoạn thẳng nối điểm • Xác định giao điểm đoạn thẳng thu với đường giới hạn ban đầu Nếu tồn giao điểm, ta nói, phương tiện qua đường giới hạn Lúc này, hệ thống đếm cập nhật thông tin phương tiện Ngược lại, phương tiện chưa qua đường giới hạn, hệ thống khơng ghi nhận thêm 4.5 Đánh giá kết hướng mở rộng Bên cạnh vấn đề thuật toán, tác giả đồng thời sử dụng vài kĩ thuật xử lí nhằm tăng nhanh tốc độ xử lí detector tracker • Sử dụng opencv để load xử lí với detector (YOLOv3 Tiny, YOLO v4 Tiny, ) Bằng thao tác này, hệ thống có khả tối ưu hóa hiêu sử dụng CPU đạt kết tốc độ xử lí tốt • Một kĩ thuật khác sử dụng tiến hành load xử lí video mơ đun FileVideoStream thư viện imutils FileVideoStream cho tốc độ load nhanh gấp 52% so với opencv thơng thường, điều giúp việc xử lí trở lên trơn tru Với kĩ thuật này, hệ thống có khả đạt tốc độ xấp xỉ 30 FPS cho YOLOv4 Tiny với CPU (Intel Core i7-6800K CPU @ 3.40GHz, nhân, 12 luồng) Bằng việc thay detector từ YOLOv4 Tiny sang YOLOv3 57 Tiny, tốc độ xử lí chí đạt 32 FPS YOLOv5 s cho tốc độ xử lí chậm chút, 24 FPS, bù lại kết thu lại đáng tin cậy nhiều Mặc dù có kết tương đối khả quan, hệ thống liên tục cần hoàn thiện bổ sung Dưới số hướng mở rộng mà tác giả đề xuất triển khai tương lai Hiện hệ thống tracking by detection có điểm yếu chung làm chậm q trình xử lí việc load mơ hình riêng rẽ (cụ thể trình phát (detector) trích xuất đặc trưng đối tượng) Vấn đề cải thiện việc tích hợp thành phần với nhau, từ rút ngắn thời gian xử lí tăng hiệu hệ thống Một hướng phổ biến để tăng tốc độ xử lí bỏ qua vài khung hình quan trọng (skip frame) Tuy nhiên, trường hợp hệ thống này, việc di chuyển phương tiện tương đối nhanh, việc bỏ qua vài khung hình làm lọc kalman deep SORT hoạt động hiệu (do giả thiết tuyến tính) Thay vào đó, vài lọc khác phù hợp trường hợp phi tuyến: Extended Kalman filter, Extended Kalman filter, Particle Filter, 58 Kết luận Object tracking chủ đề nghiên cứu quan trọng có tính ứng dụng cao nhiều lĩnh vực Dù vậy, nhiều khó khăn phải đối mặt xử lí tốn này, đặc biệt đưa vào ứng dụng điều kiện thực tế Trong đồ án này, tác giả trình bày hướng tiếp cận object tracking, dựa việc kết hợp với detector để làm tăng hiệu mơ hình Thuật toán đề xuất đến deep SORT, thuật tốn đơn giản, tốc độ xử lí nhanh, kết xử lí tốt dễ triển khai coding Phấn cuối đồ án, tác giả đề xuất xây dựng ứng dụng object tracking vào hệ thống thực tế: hệ thống camera giám sát hệt thống đo đếm lưu lượng giao thông đường cao tốc Đây hệ thống hứa hẹn cho khả xử lí tối ưu CPU, cho tốc độ xử lí xấp xỉ realtime hoạt động hiệu với điều kiện khác Những cải tiến tương lai tác giả nêu ra, dự định thực thử nghiệm thời gian sớm Các hướng cải thiện tập trung vào tốc độ xử lí mơ hình, kể đến việc skip-frame xây dựng mơ hình end to end 59 Tài liệu tham khảo [1] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft Simple online and realtime tracking 2016 IEEE International Conference on Image Processing (ICIP), Sep 2016 [2] Alexey Bochkovskiy, Chien-Yao Wang, and Hong-Yuan Mark Liao Yolov4: Optimal speed and accuracy of object detection, 2020 [3] Gioele Ciaparrone, Francisco Luque Sánchez, Siham Tabik, Luigi Troiano, Roberto Tagliaferri, and Francisco Herrera Deep learning in video multiobject tracking: A survey Neurocomputing, 381:61–88, Mar 2020 [4] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun Spatial pyramid pooling in deep convolutional networks for visual recognition Lecture Notes in Computer Science, page 346–361, 2014 [5] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun Deep residual learning for image recognition, 2015 [6] Berthold K.P Horn and Brian G Schunck Determining optical flow Technical report, USA, 1980 [7] Sergey Ioffe and Christian Szegedy Batch normalization: Accelerating deep network training by reducing internal covariate shift, 2015 [8] C Kim, F Li, A Ciptadi, and J M Rehg Multiple hypothesis tracking revisited In 2015 IEEE International Conference on Computer Vision (ICCV), pages 4696–4704, 2015 60 [9] Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie Feature pyramid networks for object detection, 2017 [10] Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia Path aggregation network for instance segmentation, 2018 [11] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, and Alexander C Berg Ssd: Single shot multibox detector Lecture Notes in Computer Science, page 21–37, 2016 [12] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi You only look once: Unified, real-time object detection, 2016 [13] Joseph Redmon and Ali Farhadi Yolo9000: Better, faster, stronger, 2016 [14] Joseph Redmon and Ali Farhadi Yolov3: An incremental improvement, 2018 [15] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Faster r-cnn: Towards real-time object detection with region proposal networks, 2016 [16] S H Rezatofighi, A Milan, Z Zhang, Q Shi, A Dick, and I Reid Joint probabilistic data association revisited In 2015 IEEE International Conference on Computer Vision (ICCV), pages 3047–3055, 2015 [17] M Schuster and K.K Paliwal Bidirectional recurrent neural networks Trans Sig Proc., 45(11):2673–2681, November 1997 [18] H Song, Haoxiang Liang, Huaiyu Li, Zhe Dai, and X Yun Vision-based vehicle detection and counting system using deep learning in highway scenes European Transport Research Review, 11:1–16, 2019 [19] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich Going deeper with convolutions, 2014 61 [20] Mingxing Tan, Ruoming Pang, and Quoc V Le Efficientdet: Scalable and efficient object detection, 2020 [21] Chien-Yao Wang, Hong-Yuan Mark Liao, I-Hau Yeh, Yueh-Hua Wu, PingYang Chen, and Jun-Wei Hsieh Cspnet: A new backbone that can enhance learning capability of cnn, 2019 [22] Greg Welch and Gary Bishop An introduction to the kalman filter Technical report, USA, 1995 [23] Longyin Wen, Dawei Du, Zhaowei Cai, Zhen Lei, Ming-Ching Chang, Honggang Qi, Jongwoo Lim, Ming-Hsuan Yang, and Siwei Lyu Ua-detrac: A new benchmark and protocol for multi-object detection and tracking, 2020 [24] Nicolai Wojke, Alex Bewley, and Dietrich Paulus Simple online and realtime tracking with a deep association metric, 2017 [25] Alper Yilmaz, Omar Javed, and Mubarak Shah Object tracking: A survey, 2006 [26] Xingyi Zhou, Dequan Wang, and Philipp Krăahenbă uhl Objects as points, 2019 ... hợp với tốn • Đề xuất mơ đun xây dựng hệ thống giám sát hệ thống đo đếm lưu lượng giao thông đường cao tốc 3 Chương Tổng quan Object Tracking 1.1 Khái niệm Object Tracking hay "Theo dõi đối tượng"... lại giải 7 1.3.3 Giao thông vận tải Một lĩnh vực tiềm không object tracking giao thông vận tải, mà lượng lớn camera giám sát lắp đặt nhiều đoạn đường, ngã tư trọng điểm Object tracking vấn đề... dự đốn Vì lí này, object tracking nhận nhiều quan tâm, nghiên cứu nhằm đưa object tracking ứng dụng vào thực tế Đặc biệt, nhiệm vụ có liên quan mật thiết đến object tracking object detection đạt