Theo vết đối tượng dựa trên rpn

LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu, thực nghiệm trình bày luận văn thực hướng dẫn TS Ngô Quốc Việt Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà không rõ tài liệu tham khảo TP.Hồ Chí Minh tháng năm 2018 Học viên Nguyễn Khánh Duy LỜI CẢM ƠN Trong qua trình thực luận văn địi hỏi cần nhiều kiên trì tập trung cao độ Tôi thực hạnh phúc với kết đạt luận văn Những kết đạt không nỗ lực cá nhân, mà cịn có hỗ trợ giúp đỡ thầy hướng dẫn, đồng nghiệp gia đình Tơi muốn bày tỏ tình cảm đến với họ Trước tiên, xin gửi lời cảm ơn sâu sắc đến thầy TS Ngơ Quốc Việt, tận tình hướng dẫn tơi suốt q trình thực hồn thành luận văn tốt nghiệp Tơi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô – Trường Đại học Sư phạm Thành phố Hồ Chí Minh truyền đạt kiến thức kinh nghiệm quý báo q trình học tập Đồng thời, tơi xin cảm ơn Ban chủ nhiệm Khoa Công nghệ Thông tin Phòng Sau Đại học hỗ trợ tạo điều kiện cho tơi thời gian qua TP.Hồ Chí Minh tháng năm 2018 Học viên Nguyễn Khánh Duy MỤC LỤC Lời cam đoan Trang Lời cảm ơn Mục lục Danh mục kí hiệu chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị MỞ ĐẦU Chương GIỚI THIỆU CHUNG 1.1 Giới thiệu đề tài 1.2 Nội dung đề tài 1.3 Mục tiêu đề tài 1.4 Phương pháp đối tượng nghiên cứu 1.4.1 Phương pháp nghiên cứu 1.4.2 Đối tượng nghiên cứu 1.5 Các cơng trình nghiên cứu liên quan 1.5.1 Các cơng trình nghiên cứu nước 1.5.2 Các công trình nghiên cứu ngồi nước Chương CƠ SỞ LÝ THUYẾT 2.1 Tổng quan phương pháp phát đối tượng 2.1.1 Mạng nơ-ron tích chập cải tiến 10 2.1.2 Kiến trúc mạng huấn luyện 20 2.2 Theo vết đối tượng 23 2.2.1 Theo vết đối tượng dựa phát liên tục 23 2.2.2 Theo vết đối tượng dựa thư viện OpenCV API 25 2.3 Thư viện công nghệ hỗ trợ 27 Chương PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT ĐỐI TƯỢNG 30 3.1 Theo vết đối tượng dựa rpn Faster R-CNN 30 3.2 Theo vết đối tượng dựa kết hợp máy dò Faster R-CNN thư viện theo vết OPENCV API 31 3.2.1 Theo vết đối tượng dựa TLD 32 3.2.2 Theo vết đối tượng dựa – GOTURN 33 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 35 4.1 Công cụ, công nghệ phương tiện thực nghiệm 35 4.2 Huấn luyện mơ hình Faster R-CNN liệu 36 4.2.1 Thu thập liệu huấn luyện 36 4.2.2 Xử lý liệu 37 4.2.3 Phân chia liệu huấn luyện 38 4.2.4 Cài đặt huấn luyện mơ hình thực nghiệm 39 4.2.5 Kết 40 4.3 Triển khai mơ hình theo vết đối tượng 43 KẾT LUẬN 50 TÀI LIỆU THAM KHẢO 51 DANH MỤC CÁC KÍ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt Diễn giải ANN Artificial Neural Network API Application Programming Interface CNN Convolutional Neural Network CPU Central Processing Unit GPU Graphics Processing Unit ILSVRC Imagenet Large-Scale Visual Recognition Challenge RGB Red, Green, Blue RNN Recurrent Neural Network RPN Region Proposal Network SSD Single Shot Detectors SVM Support Vector Machine Yolo You Only Look Once DANH MỤC CÁC BẢNG Bảng 2.1 Mô tả mạng liên kết VGG16 VGG19 [13] 22 Bảng 2.2 So sánh kết mơ hình [22] 24 Bảng 2.3 Bảng so sánh hiệu suất gói cơng cụ hỗ trợ cho học sâu [29] 29 Bảng 4.1 Bảng thơng số cấu hình máy tính, phần mềm hỗ trợ 35 Bảng 4.2 Thống kê số lượng đối tượng liệu thu thập 37 Bảng 4.3 Mô tả liệu chia để huấn luyện theo tỉ lệ 38 Bảng 4.4 Kết huấn luyện với kiến trúc mạng VGG16 VGG19 40 Bảng 4.5 So sánh kết phát đối tượng mơ hình 42 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Theo vết khách hành [4] Hình 1.2 Hệ thống camera điều khiển xe tự hành [5] Hình 2.1 Tích chập với lọc (3x3) [11] 11 Hình 2.2 Mơ tả phương thức Max Pooling Avarage Pooling 13 Hình 2.3 Ví dụ mơ hình nhận diện đối tượng sử dụng CNN 14 Hình 2.4 Minh họa ảnh thử thách phân loại ImageNet 2012 14 Hình 2.5 Minh họa độ phức tập đối tượng ảnh 15 Hình 2.6 Kết nhận diện phân loại R-CNN 15 Hình 2.7 Các bước thực R-CNN 16 Hình 2.8 Mô tả CNN sử dụng cho đề xuất vùng phân loại 17 Hình 2.9 Ví dụ hình ảnh qua mạng tích chập với kiến trúc mạng VGG16 18 Hình 2.10 Mạng đề xuất khu vực RPN 19 Hình 2.11 Mơ tả cách tạo k anchors 19 Hình 2.12 Kết ILSVRC qua năm 21 Hình 2.13 Kiến trúc mạng VGG16 22 Hình 2.14 Kết phát đối tượng sử dụng Faster R-CNN tập liệu PASCAL VOC 2007 24 Hình 2.15 Quá trình phát triển OpenCV [28] 28 Hình 3.1 Sơ đồ theo vết đối tượng sử dụng Faster R-CNN 30 Hình 3.2 Sơ đồ theo vết đối tượng dựa thư viện OpenCV API kết hợp máy dò Faster R-CNN 31 Hình 3.3 Phát đối tượng 32 Hình 3.4 Mơ tả ba thành phần TLD 32 Hình 3.5 Sơ đồ theo vết đối tượng TLD 33 Hình 3.6 Minh họa máy dị Faster R-CNN trình theo vết GOTURN 33 Hình 3.7 Mơ tả Goturn sử dụng hai khung hình làm đầu vào, đầu hộp giới hạn bao quanh đối tượng khung thứ hai 34 Hình 4.1 Sơ đồ quy trình huấn luyện liệu mơ hình Faster R-CNN 36 Hình 4.2 Một số hình ảnh tập liệu 37 Hình 4.3 Mơ tả gán nhãn liệu đối tượng xe máy (motorbike) 38 Hình 4.4 Sơ đồ huấn luyện liệu Faster R-CNN 39 Hình 4.5 Quá trình huấn luyện mơ hình với hệ điều hành Ubuntu, hỗ trợ công nghệ thư viện Caffe GPU GTX 1070Titan 39 Hình 4.6 Kết đánh giá hai mơ hình dựa biểu đồ đường cong độ xác độ bao phủ 40 Hình 4.7 Kết phát đối tượng mơ hình huấn luyện với liệu Pascal VOC 2007 41 Hình 4.8 Kết phát đối tượng mơ hình dựa kiến trúc VGG16 41 Hình 4.9 Kết phát đối tượng mơ hình dựa kiến trúc VGG19 42 Hình 4.10 Kết phát đối tượng mơ hình 43 Hình 4.11 Minh họa đồ thị kết theo vết xe video 44 Hình 4.12 Hình biểu đồ minh họa kết theo vết xe máy video 45 Hình 4.13 Hình biểu đồ minh họa kết theo vết nhiều video 46 Hình 4.14 Kết theo vết đối tượng GOTURN TLD 47 Hình 4.15 Kết theo vết số thuật toán thư viện OpenCV 48 MỞ ĐẦU Động nghiên cứu Trong năm gần đây, vấn đề việc phát đối tượng (Object Detection) theo vết đối tượng (Object Tracking) toán thuộc lĩnh vực thị giác máy tính Cùng với tốc độ phát triển khoa học kỹ thuật người có nhu cầu sử dụng hệ thống thông minh với mức độ tự động hóa ngày cao Trong phải kể đến số ứng dụng lĩnh vực thị giác máy tính tiêu biểu như: điều hướng (trong lĩnh vực giao thơng robot), mơ hình hóa đối tượng (trong ảnh y khoa), giám sát tự động (trong mơ hình sản xuất tự động) [1] Bên cạnh học máy nghiên cứu phát triển mạnh mẽ, đặc biệt phát triển Trí tuệ nhân tạo xây dựng chương trình máy tính tự động thu thập tri thức, cải thiện khả thơng qua kinh nghiệm trở nên phổ biến Trong CNN áp dụng đạt nhiều kết quả, bên cạnh cơng nghệ máy học thể qua ứng dụng đa dạng thực tế lĩnh vực như: phân loại hình ảnh, xử lý ngôn ngữ tự nhiên, phát đối tượng, robotics, khai phá liệu, v.v… Học sâu (Deep Learning) thuật toán dựa số ý tưởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Trong phương pháp mạng nơ ron tích chập (CNN) sử dụng chủ yếu đạt kết tốt lĩnh vực phân tích hình ảnh thị giác, chiến thắng thi ILSVRC (ImageNet Large-Scale Visual Recognition Challenge) tổ chức vào năm 2012 [2] Với công nghệ vượt trội việc áp dụng CNN khơng cịn hạn chế việc nhận dạng hình ảnh mà vươn xa phát đối tượng gán nhãn cho đối tượng Ngồi ra, với phát triển nhanh chóng thiết bị phần cứng ngày phát triển với ngành công nghệ phần mềm không ngừng mở rộng để phù hợp với yêu cầu thực tế Trong phải kể đến phát triển thiết bị thu nhận hình ảnh từ giới thực Khi liệu thu từ hệ thống ghi hình (camera) thường lưu trữ dạng video Như công việc nghiên cứu vấn đề xử lý thị giác liên quan đến video 39 4.2.4 Cài đặt huấn luyện mơ hình thực nghiệm Trong phạm vi luận văn sử dụng kiến trúc mạng VGG16, VGG19 mơ hình Faster R-CNN để huấn luyện liệu (xem Hình 4.4) Hình 4.4 Sơ đồ huấn luyện liệu Faster R-CNN Chúng tơi thử nghiệm hai mơ hình với kích thước số lần lặp [80.000, 40.000, 40.000, 80.000] cho giai đoạn huấn luyện giai đoạn 1: RPN, Fast R-CNN; giai đoạn hai 2: RPN, Fast R-CNN biểu diễn max_inters=[RPN, Fast R-CNN, RPN, Fast R-CNN], kèm theo thông số tỉ lệ học (learning rate) 0.001 cho bước học giảm tỉ lệ 1/10 sau đạt 20000 lần lặp, số momentum = 0.9, weight decay = 0.0005 Hình 4.5 Q trình huấn luyện mơ hình với hệ điều hành Ubuntu, hỗ trợ công nghệ thư viện Caffe GPU GTX 1070Titan 40 4.2.5 Kết Sau trình huấn luyện kết thúc chúng tơi thu mơ hình có kết trình bày Bảng 4.4 Hình 4.6 Bảng 4.4 Kết huấn luyện với kiến trúc mạng VGG16 VGG19 Mơ hình VGG16 mạng STT Tên lớp Kết car 0.787 motorbike 0.805 bicycle 0.903 people 0.888 VGG19 mAP 0.845 car 0.786 motorbike 0.803 bicycle 0.902 people 0.900 mAP 0.848 Đánh giá kết huấn luyện mơ hình thể qua biểu đồ precison /recall dựa VGG16 precison /recall dựa VGG19 Hình 4.6 Kết đánh giá hai mơ hình dựa biểu đồ đường cong độ xác độ bao phủ 41 Thực thử nghiệm kết phát đối tượng mơ hình vừa đào tạo hình ảnh có nhiều đối tượng xe ơtơ xe máy, với mơ hình huấn luyện sữ liệu Pascal VOC mô hình mà chúng tơi huấn luyện liệu thu thập, xem kết hình 4.7, 4.8 4.9 Hình 4.7 Kết phát đối tượng mơ hình huấn luyện với liệu Pascal VOC 2007 Hình 4.8 Kết phát đối tượng mơ hình dựa kiến trúc VGG16 42 Hình 4.9 Kết phát đối tượng mơ hình dựa kiến trúc VGG19 Khi chúng tơi sử dụng mơ hình huấn luyện với kiến mạng VGG19 đạt hiệu tốt: Hiệu suất phát đối tượng bị che lắp phần, có kích thước nhỏ, xem Bảng 4.5 Bảng 4.5 So sánh kết phát đối tượng mơ hình Faster R-CNN dựa Faster R-CNN dựa VGG16 VGG19 Đối tượng Số lượng Thời gian (giây) Số lượng Thời gian (giây) car 0.142 0.146 motorbike 0.137 0.138 Ngoài ra, thử nghiệm đối tượng lại xe đạp (bicycle) hành vi xe chở ba (people) (xem Hình 4.10) 43 VGG16 VGG19 Hình 4.10 Kết phát đối tượng mơ hình Với kết mơ hình chúng tơi lưu giữ lại, tập tin định dạng có phần mở rộng caffemodel Hai mơ hình áp dụng vào thực nghiệm phần theo vết theo vết đối tượng bên 4.3 Triển khai mơ hình theo vết đối tượng Trong phần này, chúng tơi sử dụng mơ hình Faster R-CNN thực đào tạo liệu phần để phát theo đối tượng video thực nghiệm Thực nghiệm 2, áp dụng mô hình Faster R-CNN làm máy dị đối tượng có nhiệm vụ phát đối tượng sử dụng thuật toán theo vết đối tượng thư viện OpenCV API Cuối thực so sánh kết đạt phương pháp Để thực nghiệm sử dụng liệu kiểm tra video chứa đối tượng di chuyển suốt khung hình video Các đối tượng di chuyển video thay đổi vị trí kích thước bị che bị che lấp… Thực nghiệm 1: Sau q trình huấn luyện mơ hình Faster R-CNN, chúng tơi có mơ hình dùng mơ hình áp dụng thử nghiệm Chúng thử nghiệm theo vết đối tượng di chuyển Đồng thời ghi nhận lại điểm số xác lần đối tượng phát Trong q trình thực nghiệm chúng tơi sử dụng điều chỉnh ba tham số giải thuật để hiệu chỉnh kết theo vết như: 44 Clas_label: Tham số cho phép áp dụng trường hợp mơ hình có nhiều lớp đối tượng tùy chọn theo vết đối tượng mong muốn NMS_THRESH: Tham số giúp loại bỏ bớt đối tượng có số nhiễu, thực nghiệm sử dụng NMS_THRESH = 0.3 CONF_THRESH: Tham số giúp chúng tơi giữ lại đối tượng có số phát cao, thực nghiệm sử dụng CONF_THRESH = 0.8 Kết thực nghiệm theo vết đối tượng Đối tượng phát khung hình thứ tư tiếp tục trì đến khung hình cuối chứa đối tượng 224 với mơ hình huấn luyện Với kết chúng tơi thực nghiệm bên (xem Hình 4.11) Hình 4.11 Minh họa đồ thị kết theo vết xe video 45 Kết đối tượng phát khung hình thứ tư tiếp tục trì đến khung hình cuối chứa đối tượng 224 với mơ hình huấn luyện hai Với kết chúng tơi thực nghiệm bên (xem Hình 4.12) Hình 4.12 Hình biểu đồ minh họa kết theo vết xe máy video Với kết chúng tơi thực nghiệm bên trình bày rõ ràng với mơ hình hai huấn luyện sử dụng kiến trúc mạng VGG19 phát huy hiệu xác tốt VGG16 ví dụ khung hình 133, (xem Hình 4.12) 46 Kết thực nghiệm theo vết nhiều đối tượng Khi theo vết nhiều đối tượng, Với kết thực nghiệm bên dưới, (xem Hình 4.13) Một lần mơ hình VGG19 phát huy hiệu xác tốt VGG16 ví dụ khung hình 26 khung hình 324 VGG16 VGG19 VGG16 VGG19 Hình 4.13 Hình biểu đồ minh họa kết theo vết nhiều video 47 Thực nghiệm 2: Trong thử nghiệm thứ này, chúng tơi sử dụng mơ hình Faster R-CNN với vai trị máy dị tìm đối tượng khung hình video Sau đối tượng phát máy dị cung cấp thơng tin cho trình theo vết đối tượng OpenCV API để tiếp tục theo vết đối tượng khung lại video Cũng giống tham số hiệu chỉnh thử nghiệm video chọn làm thực nghiệm sản phẩm sau theo vết thực nghiệm Để có nhìn trực quan so sánh hiệu hai phương pháp Trong thực nghiệm hai này, thực theo vết đối tượng Sau thực nghiệm với thuật tốn theo vết GOTURN TLD chúng tơi thu kết quả, (xem Hình 4.14) Hình 4.14 Kết theo vết đối tượng GOTURN TLD Trình theo vết sử dụng Goturn đạt hiệu suất cao Tuy nhiên mức độ xác theo vết đối tượng sử dụng khung vẽ vùng bao quanh đối tượng không đạt hiệu suất tốt thực nghiệm chúng tơi Ngồi ra, chúng tơi tiếp tục thực nghiệm thêm với thuật tốn theo vết đối tượng cịn lại thư viện OpenCV, (xem Hình 4.15) 48 Booting KCF Tracking base RPN Goturn CSRT MedianFlow Mosse Hình 4.15 Kết theo vết số thuật toán thư viện OpenCV 49 Kết luận chương Trong chương chúng tơi trình bày quy trình huấn luyện liệu sử dụng mơ hình Faster R-CNN hai kiến trúc mạng huấn luyện VGG16 VGG19 Kết mơ hình sau huấn luyện kiểm tra, đánh giá so sánh thử nghiệm: Kiểm tra mơ hình phát đối tượng hình ảnh, kết cho thấy huấn luyện sử dụng mạng VGG19 đạt hiểu cao VGG16 độ xác, số lượng đối tượng phát ảnh, thời gian khoảng 0.138 giây điều kiện tiên để thực hai thực nghiệm hai Trong thực nghiệm với kết chúng tơi trình bày thi lần VGG19 trội VGG16 Ở thực nghiệm hai sử dụng mơ hình huấn luyện với mạng VGG19 làm cơng cụ máy dị để phát nhanh đối tượng việc theo vết đối tượng thuật toán theo vết OpenVC thực 50 KẾT LUẬN Đóng góp luận văn Qua nghiên cứu thực nghiệm, luận văn đạt kết sau: − Luận văn trình bày chi tiết sở lý thuyết, công nghệ học sâu ứng dụng cho toán theo vết đối tượng − Xây dựng mơ hình hiệu để giải vấn đề theo vết đối tượng ứng dụng thực tế − Thực thực nghiệm dựa mơ hình nghiên cứu tập liệu thực tế Hướng phát triển Việc cải tiến mơ hình Faster R-CNN ứng dụng mơ hình vào thực tế nhà nghiên cứu quan tâm xây dựng Luận văn đạt số kết nêu trên, nhiều hạn chế điều kiện mặt thời gian phạm vi nghiên cứu đề tài Vì vậy, hướng nghiên cứu là: − Nghiên cứu thêm số mơ hình cải tiến Faster R-CNN để tăng tốc độ xử lý độ xác cho việc phát đối tượng, đồng thời kết hợp với thuật toán theo vết nhiều đối tượng để từ ứng dụng vào thực tế − Phát triển ứng dụng liệu đầy đủ chi tiết nhiều lĩnh vực − Phát triển ứng dụng để hỗ trợ phát hành vi theo vết đối tượng lĩnh vực như: Theo vết hành vi người vi phạm giao thông, hành vi người vi phạm nơi công cộng, theo vết tế bào lĩnh vực y khoa… 51 TÀI LIỆU THAM KHẢO [1] Q Zang and R Klette, “Object Classification and Tracking in Video Surveillance,” Comput Anal Images Patterns, pp 198–205, 2003 [2] I L S V R C 2012 (ILSVRC2012), “ILSVRC2012.” [Online] Available: http://image-net.org/challenges/LSVRC/2012/results.html [3] Đ T T Hoa, “Theo Vết Đối tượng sử dụng Mixture Of Gaussian Model Particle Filter,” 2013 [4] S Bak, “People detection and tracking,” pp 1–16, 2009 [5] M Haloi and D B Jayagopi, “A robust lane detection and departure warning system,” IEEE Intell Veh Symp Proc., vol 2015–August, no April, pp 126– 131, 2015 [6] M T Thành, “Điều khiển ROBOT PIONEER P3-DX Bám sát đối tượng,” no Octoper, pp 11–19, 2013 [7] P N Khang, P T Phi, and Đ T Nghị, “Nghiên cứu ứng dụng kỹ thuật theo dõi đối tượng xây dựng hệ thống camera giám sát thông minh,” Can Tho Univ J Sci., vol 53, p 44, 2017 [8] F Bu, Y Cai, and Y Yang, “Multiple Object Tracking Based on Faster-RCNN Detector and KCF Tracker,” 2016 [9] D Chahyati, M I Fanany, and A M Arymurthy, “ScienceDirect ScienceDirect Tracking People by Detection Using CNN Features,” Procedia Comput Sci., vol 124, pp 167–172, 2018 [10] C Beyan and A Temizel, “Adaptive mean-shift for automated multi object tracking,” IET Comput Vis., vol 6, no 1, p 1, 2012 [11] H Yang et al., “Asymmetric 3D Convolutional Neural Networks for action recognition,” Pattern Recognition, 2019 [12] V Dumoulin and F Visin, “A guide to convolution arithmetic for deep learning,” pp 1–31, 2018 [13] Rosebrock Adrian, “ImageNet: VGGNet, ResNet, Inception, and Xception with Keras - PyImageSearch,” Pyimagesearch, 2017 [Online] Available: https://www.pyimagesearch.com/2017/03/20/imagenet-vggnet-resnet- 52 inception-xception-keras/ [Accessed: 20-Jun-2018] [14] R Girshick, J Donahue, T Darrell, and J Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., pp 580–587, 2014 [15] T Gevers, “Selective Search for Object Recognition,” Tech Rep 2012, Submitt to IJCV, 2013 [16] S Ren, K He, R Girshick, and J Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Trans Pattern Anal Mach Intell., vol 39, no 6, pp 1137–1149, 2017 [17] M D Zeiler and R Fergus, “Visualizing and Understanding Convolutional Networks,” no 8689, pp 818–833, 2014 [18] D Y Amit, “Image Recognition Using Convolutional Neural Networks,” pp 1–12, 2012 [19] R J Qian, M I Sezan, and K E Matthews, “A robust real-time face tracking algorithm,” Proc 1998 Int Conf Image Process ICIP98 (Cat No.98CB36269), vol 1, pp 131–135, 1998 [20] L Stasiak and A Pacut, “Particle filters for multi-face detection and tracking with automatic clustering,” IEEE Int Work Imaging Syst Tech., vol 2, no 2, pp 1–6, 2007 [21] V Krüger, A Happe, and G Sommer, “Affine real-Time face tracking using a wavelet network,” Proc - Int Work Recognition, Anal Track Faces Gestures Real-Time Syst RATFG-RTS 1999, pp 141–148, 1999 [22] R P Networks, “Faster R-CNN : Towards Real-Time Object Detection with,” vol 39, no 1096, p 33, 2015 [23] Y Freund and R Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting BT - European Conference on Computational Learning Theory,” p 23, 1995 [24] Z Kalal, K Mikolajczyk, and J Matas, “Forward-backward error: Automatic detection of tracking failures,” Proc - Int Conf Pattern Recognit., pp 2756– 2759, 2010 53 [25] D S Bolme, J R Beveridge, B A Draper, and Y M Lui, “Visual object tracking using adaptive correlation filters,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., pp 2544–2550, 2010 [26] Z Kalal, K Mikolajczyk, and J Matas, “Tracking-learning-detection,” IEEE Trans Pattern Anal Mach Intell., vol 34, no 7, pp 1409–1422, 2012 [27] D Held, S Thrun, and S Savarese, “Learning to track at 100 FPS with deep regression networks,” Lect Notes Comput Sci (including Subser Lect Notes Artif Intell Lect Notes Bioinformatics), vol 9905 LNCS, pp 749–765, 2016 [28] G Bradski, “OpenCV 3.0.” CEO, OpenCV.org, p 4, 2010 [29] Y Jia et al., “Caffe: Convolutional Architecture for Fast Feature Embedding,” 2014 [30] Y B Reddy, “Classification and automatic recognition of objects using H2o package,” p http://spie.org/Publications/Proceedings/Paper/10., 2017 [31] A Agarwal and S Suryavanshi, “Real-Time* Multiple Object Tracking (MOT) for Autonomous Navigation,” no 1, p 3, 2017 ... theo vết đối tượng thư viện OpenCV 3.1 Theo vết đối tượng dựa rpn Faster R-CNN Để triển khai giải thuật theo vết đối tượng theo phương pháp vừa nêu Trong luận văn sử dụng quy trình theo vết đối. .. 1.4.2 Đối tượng nghiên cứu − CNN, Faster R-CNN, RPN dùng phát đối tượng − Theo vết đối tượng (Single Object Tracking) ,theo vết nhiều đối tượng (Multiple Object Tracking), thư viện theo vết đối tượng. .. R-CNN 30 3.2 Theo vết đối tượng dựa kết hợp máy dò Faster R-CNN thư viện theo vết OPENCV API 31 3.2.1 Theo vết đối tượng dựa TLD 32 3.2.2 Theo vết đối tượng dựa – GOTURN