phương pháp theo vết chuyển động

1 ABSTRACT Our thesis’ topic is object tracking using Particle Filter, which we will research how to track an object using Partcle Filter, building demo applications Object tracking in computer vision has been done research for many years, but so far it is still considered an “open” problem However, currently there is a method of object tracking that its effectiveness has been proven in many studies around the world, it is recognized as a "State of the art" - that is the Particle filte So, we have carried out to resrearch interesting subject based on the guidance of teachers and the materials of the university, the seminar on this subject In this thesis, we limit to introduce the theoretical basis of the particle filter, and base on open source of the other research to improve of its experimental application in the situation of tracking moving objects – selecting from the first frame or a specific object (face, pedestrian ) and build the performace assessment to demonstrate the effectiveness of the object tracking method GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương LỜI MỞ ĐẦU Đề tài luận văn theo vết chuyển động dùng Particle Filter, nghiên cứu cách thức theo dõi đối tượng dùng Partcle Filter, xây dựng ứng dụng thực nghiệm Theo vết chuyển động công nghệ cảm quan máy tính (computer vision) nghiên cứu nhiều năm, xem vấn đề m Tuy nhiên, có phương pháp theo vết chuyển động mà tính hiệu chứng minh nhiều nghiên cứu giới, công nhận “State of the art” – Particle filte Vì vậy, tiến hành nghiên cứu đề tài thú vị dựa hướng dẫn thầy cô tài liệu trường đại học, hội nghị chuyên đề đề tài Trong khóa luận này, giới hạn việc giới thiệu sở lý thuyết particle filter, dựa sở mã nguồn phát triển cải tiến số xây dựng bảng đánh giá kết trình thực thực nghiệm để chứng minh tính hiệu phương pháp theo vết chuyển động GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương LỜI CẢM ƠN Đầu tiên, chúng em xin gửi lời cảm ơn chân thành đến hai thầy Th.S Nguyễn Hữu Thương C.H Cáp Phạn Đình Thăng giúp đỡ giới thiệu chúng em đến với đề tài khóa luận Không thế, trình thực khóa luận, hai thầy bảo hướng dẫn tận tình cho chúng em kiến thức lý thuyết chuyên ngành thông qua sách, báo, buổi thuyết trình, cách xây dựng bố cục, cách viết khóa luận tốt nghiệp…Hai thầy giúp đỡ chúng em nhiều, giúp chúng em hoàn thành tốt khóa luận tốt nghiệp Chúng em xin chân thành biết ơn hai thầy nói riêng tất quý thầy cô Khoa Công nghệ Phần mềm – Trường Đại học Công Nghệ Thông Tin – Đại học Quốc gia TPHCM giúp chúng em nhiều trình học tập TP Hồ Chí Minh, ngày 30 tháng 12 năm 2011 Sinh viên Chu Hoàng Nhật Hà Thị Minh Phương GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương NHẬN XÉT (Giảng viên hướng dẫn) ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương NHẬN XÉT (Giảng viên phản biện) ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương MỤC LỤC GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH HÌNH BẢNG GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GIỚI THIỆU: Theo vết đối tượng thông qua khung hình chuỗi hình ảnh chức chủ yếu ứng dụng thị giác máy tính (computer vision applications) bao gồm ứng dụng lĩnh vựa an ninh hệ thống camera theo dõi truyền thống, đảm nhận vai trò theo dõi cảnh báo, giúp giám sát viên trực tiếp quan sát 24/24: phát chuyển động cảnh báo xâm phạm, phát tình bất thường dựa nhận dạng cử động ẩu đả, cướp ngân hàng, nguy chết đuối; ứng dụng phổ biến theo dõi lưu thông: cảnh báo sớm tình trạng ùn tắc, ghi nhận trường hợp phóng nhanh lạng lách, chụp truy suất số xe vi phạm để xử lí ; ứng dụng khác nghiên cứu phát triển điều khiển xe tự hành, hệ thống camera ghi nhận hình ảnh xung quanh xe di chuyển, cảm quan máy tính, định vị đường, phát vật cản xe khác, nhận biết bảng dẫn để điều khiển xe; số ứng dụng khác tương tác người máy thông qua cử động Hình – Theo dõi khách hành (nguồn: IEEE Computer Vision and Pattern Recognition, 2007) Hình - Hệ thống camera điều khiển xe tự hành SCABOR (nguồn: Technological University of Cluj Napoca) GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương Hiện nhiều vấn đề lỗi trường hợp phức tạp toán theo vết đối tượng Do đó, nhiều kĩ thuật phát triển để giải vấn đề toán Theo vết dựa hình ảnh: phương pháp trích xuất đặc tính chung sau nhóm chúng lại dựa thông tin ngoại cảnh mức cao Điển hình, Intille et al (1997) đề xuất blob-tracker để theo dõi người thời gian thực Background loại trừ để lấy phần foreground Các khu vực foreground sau chia thành đốm màu dựa màu sắc Cách nhanh, có bất lợi lớn kết hợp đốm màu đối tượng tiến lại gần Theo vết dựa đường viền (contour):.với giả thiết đối tượng xác định đường bao quanh với số thuộc tính xác định Xây dựng mô hình hình dạng (đường viền), mô hình đường viền động học thông số hình ảnh khác trình theo dõi Điển hình nghiên cứu Yezzi and Soatto (2003), Jackson et al (2004), Rathi et al (2005) Yezzi and Soatto (2003) đề xuất định nghĩa cho biến dạng chuyển động hình dạng áp dụng cho đối tượng biến dạng hay di chuyển Theo vết dựa Filtering: Filter Particle Filter nghiên cứu Kalman Filter giải với việc theo dõi hình dạng vị trí theo thời gian hệ thống tuyến tính động Mặc khác, Particle Filter không giới hạn cho hệ thống tuyến tính.Ý tưởng Particle Filter mật độ gần sau cách sử dụng lọc Bayesian đệ quy cách sử dụng tập hợp hạt có trọng lượng giao Điển theo dõi hình dạng đối tượng vị trí theo thời gian xử lý Kalman Filter trường hợp hệ thống tuyến tính (Rehg Kanade, 1994) Đối với Kalman Filter áp dụng hệ tuyến tính có xét nhiễu Gauss Điều thực gây nhiều trở ngại việc giải nhiều vấn đề thực tế nói trên, độ đo thu thường đại lượng phi tuyến có phân phối phi Gauss, Anderson Moore năm 1979 đưa thuật toán lọc Kalman mở rộng (Extended Kalman Filter - EKF) Thuật toán thuật toán GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 10 tốt để giải toán phi Gauss phi tuyến lúc Thuật toán hoạt động dựa ý tưởng tuyến tính hóa (Linearization) quan sát thu cách ước lượng đại lượng chuỗi khai triển Taylor Tuy nhiên, nhiều trường hợp, chuỗi ước lượng EKF mô hình hóa hàm phi tuyến phân phối xác suất cần quan tâm Và kết thuật toán không hội tụ Julier Uhlmann năm 1996 đề xuất thuật toán lọc theo hướng xấp xỉ hàm phân phối xác suất dạng Gauss không xấp xỉ hàm phân phối phi tuyến Thuật toán đặt tên Unscented Kalman Filter (UKF) Thuật toán chứng minh có kết tốt EKF Tuy nhiên, giới hạn UKF áp dụng toán có phân phối phi Gauss tổng quát Được chấp nhận rộng rãi Particle Filter, xét mặt hiệu suất Particle Filter hiệu Kalman Filter (Chang et al, 2005), Particle Filter đưa framework theo vết đối tượng mà không bị giới hạn trường hợp tuyến tính Phân loại Đặc điểm Các nghiên cứu liên quan Blob-tracker Intille et al (1997 Skin color and elliptical Huang and Trivedi (2004) Continuous edgesdensity Rabiner (1989) Theo vết dựa hình Markov hidden model (CDHMM) Multi-color model Bhandarkar and Luo ảnh Level-set method or (2005) geometric partial differential Gan et al (2005) Skinequations color filtering Chen and Tiddeman 2D human appearance Thome(2005) and Miguet model Snakes (2005) Kass et al (1987) GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 49 Và sơ đồ Class Diagram: GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 50 Sơ lược thông tin class sau: Tên class CameraCapture Class cha - Mô tả Cung cấp phương thức để lấy frame từ VideoCapture CameraCapture camera, tính toán FPS Cung cấp phương thức để lấy frame từ video, đường dẫn kích IRunnable thước frame video Interface cung cấp - phương thức Run AnyObjectTracking IRunnable Stop Trong phương thức Run, tình toán tìm vị trí object (do người DrawingThread IRunnable dùng chọn) Hiển thị hình ảnh lên hình – hình ảnh kết sau tính toán IdentifyObjectTraking AnyObjectTracking phương thức Run Trong phương thức Run, tình toán tìm vị trí object (khuôn mặt, FrmMain CDialog người bộ) Màn hình chính: hiển thị hình ảnh, vị trí Histogram - object Là mảng chiều kiểu fload để chứa giá trị màu Particle GVHD: ThS Nguyễn Hữu Thương - object Đây lớp quan trọng SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 51 nhất, thực thao tác tạo particle, resample, tính toán khoảng cách Utility - particle… Lớp chức năng, cung cấp phương thức tiện ích dùng chung GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 52 ĐÁNH GIÁ THỰC NGHIỆM: 6.1 Công thức đánh giá thực nghiệm: Phần đưa sở số liệu công thức để phân tích đánh giá hiệu thuật toán phát theo vết đối tượng Kỹ thuật đánh giá tài liệu tham khảo [2] xác định giới hạn từ ma trận khoảng cách trọng tâm khung xác định đối tượng ground truth kết theo vết thuật toán Mức giới hạn sử dụng để tìm tương ứng kết theo dõi thuật toán ground truth tính toán đại lượng False Positive Track Error, False Negative Track Error, Average AreaError, Task Incompleteness Factor Tuy nhiên, số liệu lại không đo lường hiệu suất thuật toán theo dõi trường có chồng chéo đối tượng Việc thực số liệu đánh giá tài liệu tham khảo [1] chia thành số liệu dựa khung hình đối tượng Đối với số liệu dựa frame true positive, true negative, false positive, and false negative tính toán cho tất khung hình, sử dụng để tính toán Tracker Detection Rate, False Alarm Rate, Detection Rate, Speci-ficity, Accuracy, Positive Prediction, Negative Prediction, False Negative Rate False Positive Rate Đối với số liệu dựa đối tượng, đối tượng riêng biệt sử dụng để tính toán true positive, false positive tổng số ground truth để tính toán Tracker Detection Rate, False Alarm Rate, Object Tracking Error (OTE) Số liệu dựa frame cung cấp thông tin cách thuật toán theo dõi xử lý đối tượng khung hình, số liệu dựa đối tượng cho phép đo hiệu suất thuật toán theo dõi đối tượng theo dõi thời gian chuỗi video Trong phạm vi đề tài luận văn áp dụng cách đánh giá việc đánh giá hiệu suất thuật toán theo vết Thông tin ground truth khung chứa đối tượng theo vết frame Tương tự, kết thuật toán khung chứa đối tượng theo dõi frame Khi thực đánh giá, có nhiều cách để kiểm tra việc chồng GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 53 lấp hai ground truth kết thuật toán Trong cách đơn giản xem xét trọng tâm hai khung nằm khung lại Các đại lượng sau sử dụng việc đánh giá: - TN (True Negative): số lượng frame ứng dụng ground truth đối - tượng không xuất TP (True Positive): số lượng frame ứng dụng ground truth đối - tượng xuất khung chứa đối tượng trùng khớp FN (False Negative): số lượng frame ground truth đối tượng xuất - hiện, ứng dụng theo vết sai đối tượng FP (False Positive): số lượng frame ứng dụng đối tượng có xuất - ground truth không TRDR (Tracker Detection Rate) False Alarm Rate: đo tỷ lệ phát đối tượng củacác thuật toántheo vết, Tracker Detection Rateđotốc độ màmỗi đối tượng riêng biệtđược phát so với ground truth Trong giá trị ba giá trị Specificity, Accuracy (độ xác), Positive Prediction (mức độ dự đoán đúng) số cần quan tâm Việc đánh giá hệ thống theo dõi dựa đo lường hiệu suất thuật toán theo dõi liên quan đến tính hệ thống.Các nguyên tắc hệ thống theo dõi phát đối tượng khai thác quỹ đạo đối tượng cảnh quay video Đối với thuật toán theo dõi để giám sát, xuất đường quỹ đạo nhiều đối tượng, thuật toán theo dõi phân biệt đối tượng Các tiêu chuẩn để đánh giá thuật toán theo vết tốt: a Thuật toán theo vết phát tất vào chuyển cảnh GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 54 b Thuật toán theo vết phân biệt đối tượng thị cảnh thởi điểm c Theo dõi trích xuất quỹ đạo tất đối tượng, gán cho đối tượng phải trì cho tất đối tượng theo dõi d Sự chuyển động ngưng chuyển động đối tượng không làm dấu đối tượng e Các thuật toán theo dõi xử lý chồng chéo lên đối tượng tiếp xúc mà giữ dấu đối 6.2 Cơ sở liệu thực nghiệm 6.2.1 YouTube action dataset: Bao gồm 11 danh mục: ném bóng rổ, đạp xe, lặn, đánh goft, cưỡi ngựa, tung hứng bóng, đánh đu, đánh tennis, nhảy trampoline, đánh bóng chuyền, bộvới chó… Đối với thể loại, đoạn video nhóm lại thành 25 Các video clip nhóm có chung số điểm ngoại cảnh, view quan sát… Độ phức tạp sở liệu: thay đổi lớn chuyển động camera, xuất đối tượng đặt ra, quy mô đối tượng, quan điểm, lộn xộn, điều kiện chiếu sáng, v.v Các nghiên cứu khoa học liên quan: • Jingen Liu, Jiebo Luo and Mubarak Shah, Recognizing Realistic Actions from Videos "in the Wild", IEEE International Conference on Computer Vision and Pattern Recognition(CVPR), 2009 • Jingen Liu, Yang Yang and Mubarak Shah, Learning Semantic Visual Vocabularies using Diffusion Distance, IEEE International Conference on Computer Vision and Pattern Recognition(CVPR), 2009 GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 55 Hình 18:Hình ảnh liệu Youtube action 6.2.2 UCF Sports Action Dataset: Tập liệu bao gồm tập hợp hoạt động thu thập từ môn thể thao khác kênh truyền BBC ESPN Cơ sở liệu gồm video độ phân giải 720x480, mô tả hoạt động thể thoa đặc trưng loạt ngoại cảnh khác Các nghiên cứu khoa học liên quan: • Mikel D Rodriguez, Javed Ahmed, nd Mubarak Shah Action MACH: A Spatio-temporal Maximum Average Correlation Height Filter for Action Recognition GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 56 Hình 19:Hình ảnh liệu UCF Sports Action 6.2.3 Highway Traffic Clustering Database: Tập liệu bao gồm video xe lưu thông đường cao tốc bao gồm nhiều loại xe (xe con, xe tải…) với kích thước, màu sắc đa dạng Hình 20: Hình ảnh liệu Hightway Traffic Clutering 6.2.4 Face dataset: GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 57 Tập liệu thực phòng thí nghiệm, video có thời lượng khoảng 6s ghi lại khuôn mặt với tất trạng thái bao gồm: di chuyển, đeo kính, ngước lên xuống với ánh sáng môi trường thay đổi Hình 21: Hình ảnh liệu khuôn mặt 6.2.5 Walk dataset: Tập liệu bao gồm khoảng 90 video với độ phân giải thấp (180x144, khoảng 50fps) video người thực hoạt động chạy,đi bộ, nhảy, nhảy chỗ, … Các nghiên cứu sử dụng sở liệu trên: • Lena Gorelick, Moshe Blank, Eli Shechtman, Michal Irani and Ronen Basri: Actions as Space-Time Shapes, hội nghị quốc tế lần thứ 10 Computer Vision (ICCV), 2005 6.3 Kết định lượng: 6.3.1 Đánh giá thực nghiệm chức theo dõi vật thể chọn người dùng: # Video GVHD: ThS Nguyễn Hữu Thương Số frame Độ xác (%) SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 58 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 v_biking_01_02 v_biking_01_03 v_biking_03_03 v_biking_03_04 v_biking_06_05 v_biking_12_04 v_biking_16_04 v_jumping_01_03 v_jumping_01_04 v_jumping_02_03 v_jumping_02_04 v_jumping_03_01 v_jumping_03_04 RunSide001 RunSide002 RunSide005 RunSide006 RunSide007 SkateBoard001 SkateBoard002 SkateBoard004 SkateBoard011 v_spiking_07_02 v_spiking_07_04 v_spiking_07_06 v_spiking_07_07 v_shooting_13_02 v_shooting_13_04 v_shooting_14_05 v_shooting_16_01 v_shooting_16_02 v_shooting_19_07 v_walk_dog_05_03 v_walk_dog_05_04 v_walk_dog_05_05 v_walk_dog_09_01 GVHD: ThS Nguyễn Hữu Thương 151 151 179 191 169 201 151 201 201 201 201 201 201 64 64 64 64 64 69 69 69 69 87 67 57 67 101 111 75 141 103 120 201 121 113 173 100 88.08 91.62 91.62 87.57 100 80.13 88.06 94.03 48.76 51.74 84.08 100 100 100 100 100 100 100 100 100 100 75.86 100 42.11 79.1 94.06 54.95 97.33 33.33 91.35 90.83 100 100 100 98.27 SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 59 37 38 39 40 41 42 Total v_walk_dog_09_02 v_walk_dog_10_03 v_walk_dog_10_04 v_walk_dog_10_05 v_walk_dog_13_02 v_walk_dog_14_03 201 201 201 201 201 181 5718 95.52 100 100 100 100 100 89.49 6.3.2 Đánh giá thực nghiệm chức theo dõi khuôn mặt: # Total Video jam1 jam2 jam4 jam5 jim1 jim2 ssm1 Số frame 199 199 199 199 199 199 199 1393 Độ xác (%) 83.42 100 100 100 100 95.48 100 96.99 6.3.3 Đánh giá thực nghiệm chức theo dõi người bộ: # Total Video v_walk_dog_01_04 walk002 walk003 walk008 walk010 walk014 GVHD: ThS Nguyễn Hữu Thương Số frame 151 100 100 101 102 100 654 Độ xác (%) 74.83 56 69 11.88 76.47 100 64.7 SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 60 KẾT LUẬN: 7.1 Đánh giá ưu nhược điểm: Ưu điểm: • Đã khắc phục hạn chế source tham khảo như: tăng tốc độ theo dõi cách tách xử lý hiển thị thành tiến trình; theo dõi nhiều đối tượng lúc; kết hợp dectection theo dõi khuôn mặt/ người • Việc theo dõi vật thể khuôn mặt tương đối xác Hạn chế: • Đối với việc theo dõi đối tượng có kích thước lớn làm cho tốc độ xử lý chậm việc tính toán histogram • Việc kết hợp dectection theo dõi người có độ xác không cao trình dectection hạn chế 7.2 Hướng phát triển: Trong trình tìm hiểu xây dựng ứng dụng cho toán theo vết đối tượng, có nhiều vấn đề khóa luận chưa giải được, chúng em tiếp tục phát triển theo hướng sau: • Khắc phục việc tốc độ xử lý chậm đối tượng theo dõi có kích thước lớn cách: giảm kích thước khung hình (trong phạm vi định) để làm giảm kích thước vật thể • Nghiên cứu sâu vấn đề dectection, từ tìm phương pháp để việc phát đối tượng trở nên chuẩn xác Tiến đáng kể thực việc theo dõi đối tượng vài năm qua Nhiều thuật toán theo vết mạnh mẽ phát triển theo dõi đối tượng theo thời gian thực giả thiết để làm giảm bớt tính phức tạp toán Các giả thiết sử dụng để làm cho hạn chế vấn đề trình theo dõi, ví dụ, độ mịn chuyển động, số lượng tối thiểu chồng chéo đối tượng, độ sáng ổn định, độ tương phản cao so với khung cảnh xung quanh, vv , nhiên tình thực tế phức tạp hạn chế tính hữu dụng toán theo vết ứng dụng giám sát tự động, máy tính tương tác người, thu hồi video, theo dõi giao thông, chuyển GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 61 hướng xe Như vậy, theo dõi liên quan đến vấn đề lựa chọn tính năng, đối tượng đại diện, hình dáng động, dự đoán chuyển động khu vực tích cực nghiên cứu giải pháp liên tục đề nghị Bài toán theo vết đối tượng nhiều vấn đề để mở, chưa giải theo vết nhiều camera; nhiều loại video (các video tin tức; video chứa nhiều nhiễu, định dạng cấu trúc, chứa nhiều view,…) Vì vậy, tiếp tục phát triển năm tới GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 62 THAM KHẢO: [1] F Bashir and F Porikli, “Performance evaluation of object de- tection and tracking systems” IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, pp 7–14, 2006 [2] S Muller-Schneiders, T Jager, H S Loos, and W Niem, “Performance evaluation of a real time video surveillance systems”, IEEE International Workshop on Visual Surveillance and Per-formance Evaluation of Tracking and Surveillance, pp 137–143, 2005 [3] Douc, R and Cappe, O and Moulines, E., "Comparison of Resampling Schemes for Particle Filtering", Image and Signal Processing and Analysis, 2005 [4] Michael Isard and Andrew Blake, “Conditional Density Propagation for Visual Tracking”, 1997 [5] Wenlong Zheng, “Face Detection and Tracking using a boodtes adaptive Partilce Filter” [6] Shai Avidan, MobilEye Vision Technologies, 24 Mishol Hadkalim, Jerusalem, Israel, “Support Vector Tracking” [7] Michael Isard Andrew Blake, “Condensation – conditional density propagation for visual tracking” [8] Rickard Karlsson, “Particle Filtering for Positioning and Tracking Applications” [9] Srisumakanth Kambhampati, “Target/object tracking using particle filtering” [10] Md Zahidul Islam, Chi-Min Oh Chil-Woo Lee, “Video Based Moving Object Tracking by Particle Filter” [11] Rob Hess, “Object Tracking with Particle Filtering” [12] Alper Yilmaz, Omar Javed Mubarak Shah, “Object Tracking: A Survey” [13] James Black, Tim Ellis Paul Rosin “A Novel Method for Video Tracking Performance Evaluation” [14] Keni Bernardin, Alexander Elbs, Rainer Stiefelhagen “Multiple Object Tracking Performance Metrics and Evaluation in a Smart Room Environment” GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 63 [15] Katja Nummiaro, Esther Koller-Meier, and Luc Van Gool, “Objects tracking with an Adaptive Color-based Particle Filter” [16] Dieter Koller, Joseph Weber and Jitendra Malik, “Robust Multiple Car Tracking with Occlusion Reasoning” [17] Viola, P and Jones, M., Dec 2001, Rapid object detection using a boosted cascade of simple features, Proc IEEE Conf on Computer Vision and Pattern Recognition GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương [...]... về bài toán theo vết đối tượng: Mục tiêu của bài toán theo vết đối tượng là xác định đối tượng thành phần cùng với vị trí và động tác chuyển động tương ứng của chúng nhằm đưa ra những quyết định điều khiển thích hợp Hầu hết khó khăn của bài toán theo vết đối tượng là do khả năng biến động của ảnh video bởi vì các đối tượng theo vết thường là các đối tượng video Khi một đối tượng chuyển động qua một... cần theo vết Ví dụ, phương pháp theo vết dùng “Blod detection” GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 17 Hình 1: Phương pháp theo vết sử dụng “Blob detection” • Hướng bottom-up: cách tiếp cận này sử dụng các giả thuyết về đối tượng và cố gắng kiểm tra chúng bằng cách sử dụng các dữ liệu có được từ hình ảnh Thông thường, phương pháp dựa trên mô hình (model-based) hoặc phương. .. thuật toán Phương pháp theo vết đối tượng dùng particle filter sử dụng mô hình động, cùng với các quan sát trực quan, thiết lập các ngẫu nhiên theo thời gian; áp dụng GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 25 mô hình xác suất dựa hình dạng và chuyển động của đối tượng để phân tích các dòng dữ liệu từ video Phương pháp này dùng ước lượng Bayes hồi quy làm giải pháp lý thuyết,... Ascent (FPGA) Park et al (2005) Bảng 2: Các phương thức nhận dạng khuôn mặt và các nghiên cứu tiêu biểu Trong khóa luận này, chúng tôi sẽ tiếp cận bài toán theo vết chuyển động theo hướng kết hợp việc nhận dạng đối tượng và theo dõi đối tượng cụ thể là hai đối tượng khuôn mặt (face) và người đi bộ (pedestrian) tiến hành nhận dạng đối tượng (dectec) sau đó theo vết (track) và sau một khoảng thời gian sẽ... Bayes hồi quy làm giải pháp lý thuyết, và ý tưởng của phương pháp Monte Carlo để xấp xỉ cho giải pháp lý thuyết này Cũng như các phương pháp lọc phi tuyến khác, lọc particle cũng tính xấp xỉ hàm mật độ hậu nghiệm tuy nhiên không như các phương pháp khác dựa vào giải tích, cố gắng tìm một lời giải cho các phương trình trên thông qua một hay nhiều phương trình khác, thì lọc particle lại sử dụng một tập... sinh ra tập các mẫu dữ liệu này Vấn đề này sẽ được đề cập chi tiết trong phần 2.4 Particle filter: 2.4.1 Định nghĩa: Theo vết đối tượng bằng phương pháp particle filter là phương pháp dựa trên xác suất, sử dụng các phương trình dự đoán (prediction) để dự đoán trạng thái của đối tượng và phương trình cập nhật (updation) để hiệu chỉnh lại các dự đoán trước đó về trạng thái của đối tượng dựa trên những... đó, các phương pháp lọc phi tuyến như lọc Kalman, lọc Kalman mở rộng, lọc tổng hợp Gauss, … ra đời nhằm mục đích xấp xỉ hàm mật độ hậu nghiệm Nhưng nếu các phương pháp lọc Kalman, lọc Kalman mở rộng, lọc tổng hợp Gauss, … dựa vào giải tích, tìm kiếm lời giải cho các phương trình (eq.4) và (eq.5) bằng một hay nhiều phương trình khác với giả sử rằng môi trường thỏa mãn một số yêu cầu, còn phương pháp Monte... tăng Trong khi đó, áp dụng phương pháp tích phân Monte Carlo, phương pháp mô phỏng ngẫu nhiên không gian trạng thái từ phân phối xác suất của nó, độ chính xác của phép xấp xỉ là và không phụ thuộc vào số chiều của dữ liệu Điều này có nghĩa là, phương pháp tích phân Monte Carlo độc lập với số chiều của phép tính tích phân Tuy nhiên, một vấn đề gặp phải khi áp dụng phương pháp tích phân Monte Carlo chính... là không tránh khỏi trong các bộ lọc dựa trên phương pháp Monte Carlo Do đó, vấn đề quan tâm hàng đầu của chúng ta là làm sao giảm bớt ảnh hưởng của hiện tượng này 2.4.8 Phương pháp tái chọn mẫu (Sampling Importance Resampling): Trong phần này trình bày về phương pháp để giảm bớt tác dụng của hiện tượng thoái hóa mẫu hay thoái hóa trọng số, đó là phương pháp tái chọn mẫu (Resampling) GVHD: ThS Nguyễn... đối tượng nhằm làm tăng hiệu quả theo vết; cải tiến số lượng đối tượng theo vết cụ thể là cùng một thuật toán nhưng áp dụng cho các nhóm mẫu (particle filter) khác nhau-mỗi nhóm tương ứng với một đối tượng được theo vết; ngoài ra cải thiện tốc độ xử lý của thuật toán bằng kĩ thuật lập trình song song và GVHD: ThS Nguyễn Hữu Thương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 15 sử dụng thread tăng hiệu