theo vết đối tượng dùng particle filter
ABSTRACT Our thesis’ topic is object tracking using Particle Filter, which we will do research how to track an object using Partcle Filter, building demo applications. Object tracking in computer vision has been done research for many years, but so far it is still considered an “open” problem. However, currently there is a method of object tracking that its effectiveness has been proven in many studies around the world, it is recognized as a "State of the art" - that is the Particle filte. So, we have carried out to do resrearch interesting subject based on the guidance of teachers and the materials of the university, the seminar on this subject. In this thesis, we limit to introduce the theoretical basis of the Particle Filter, and base on open source of the other research to improve of its experimental application in the situation of tracking moving objects – selecting from the first frame or a specific object (face, pedestrian ) and build the performace assessment to demonstrate the effectiveness of the object tracking method. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng LỜI MỞ ĐẦU Đề tài luận văn của chúng tôi là theo vết đối tượng dùng Particle Filter, trong đó chúng tôi sẽ nghiên cứu cách thức theo dõi một đối tượng bằng phương pháp sử dụng Partcle Filter sau đó xây dựng một ứng dụng thực nghiệm. Các phương pháp theo vết đối tượng trong công nghệ cảm quan máy tính (computer vision) đã được nghiên cứu trong nhiều năm, nhưng cho tới nay nó vẫn được xem là một vấn đề mở. Tuy nhiên, hiện nay đã có một phương pháp theo vết đối tượng mà tính hiệu quả của nó đã được chứng minh trong nhiều nghiên cứu trên thế giới, nó được công nhận là một “State of the art” – đó chính là Particle Filter. Vì vậy, chúng tôi đã tiến hành nghiên cứu đề tài thú vị này dựa trên sự hướng dẫn của thầy cô và các tài liệu của các trường đại học, các hội nghị chuyên đề về đề tài này. Trong khóa luận này, chúng tôi giới hạn trong việc giới thiệu cơ sở lý thuyết của Particle Filter, dựa trên cơ sở mã nguồn mở cải tiến một số điểm làm tăng độ chính xác của thuật toán, sau đó dựa trên cơ sở dữ liệu thực nghiệm xây dựng các bảng đánh giá kết quả để chứng minh tính hiệu quả của các cải tiến trong thuật toán so với mã nguồn gốc. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng LỜI CẢM ƠN Giai đoạn làm đồ án tốt nghiệp là giai đoạn cuối cùng của quá trình học đại học. Giai đoạn này có ý nghĩa vô cùng quan trọng trong quá trình rèn luyện tại môi trường đại học, đánh dấu bước chuyển từ việc đi học sang đi làm. Chúng em xin chân thành cám ơn Thầy Cô trong Khoa Công nghệ Phần mềm – Trường Đại học Công Nghệ Thông Tin – Đại học Quốc gia TPHCM đã tận tình giảng dạy, tạo điều kiện tốt nhất cho chúng em học tập, làm khóa luận tốt nghiệp, tạo cơ hội để chúng em có được những thực nghiệm và kiến thức thực tế trong công việc trong tương lai. Em xin chân thành gửi lời cám ơn sâu sắc đến Th.S Nguyễn Hữu Thương và C.H Cáp Phạn Đình Thăng- hai Thầy đã tận tình giúp đỡ, đôn đốc, truyền đạt những kinh nghiệm bản thân để chúng em thực hiện tốt khóa luận tốt nghiệp này TP Hồ Chí Minh, ngày 30 tháng 12 năm 2011 Sinh viên Chu Hoàng Nhật Hà Thị Minh Phương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng NHẬN XÉT (Giảng viên hướng dẫn) SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng NHẬN XÉT (Giảng viên phản biện) SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng MỤC LỤC LỜI MỞ ĐẦU SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng DANH MỤC CÁC HÌNH, BẢNG, SƠ ĐỒ HÌNH SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng BẢNG SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng ĐỊNH NGHĨA THUẬT NGỮ STT Tên thuật ngữ Định nghĩa 1. Khoảng cách Bhattacharyya (Bhattacharyya distance) Dùng để đo lường sự giống nhau của hai phân phối xác suất rời rạc hay liên tục. Nó liên quan đến hệ số Bhattacharyya dùng để đo sự chồng chéo giữa hai mẫu thống kê. Hệ số được sử dụng để xác định sự gần nhau tương đối của hai mẫu đang được xem xét. 2. Mô hình ứng viên (candidate model) Là mô hình của một vùng ảnh có khả năng chứa đối tượng cần theo vết. 3. Mô hình histogram ứng viên (candidate histogram model) Là mô hình sử dụng histogram để mô hình hóa vùng ảnh có khả năng chứa đối tượng cần theo vết. 4. Likelihood Là xác suất đánh giá mức độ tín cậy của mẫu trong tập hợp mẫu. Từ đó sẽ xác định trạng thái của mẫu nào “giống” với trạng thái đối tượng theo vết nhất. 5. Xác suất chuyển trạng thái hay xác suất chuyển tiếp Là xác suất của trạng thái hiện tại so với trạng thái tại thời điểm trước đó. 6. Trạng thái đối tượng Là một vectơ đại diện cho vị trí đối tượng theo vết. Ngoài các giá trị x, y – tọa độ của đối tượng, thường trạng thái đối tượng có thêm giá trị scale (phụ thuộc vào sự thay đổi kích thước của đối tượng). SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng 7. Mẫu (particle) Nhằm ước lượng trạng thái đối tượng trong bài toán theo vết, ta xây dựng một tập mẫu trong đó mỗi mẫu chứa một giá trị về trạng thái đối tượng, sau đó dùng thuật toán để xác định là mẫu nào “giống” đối tượng => giá trị trạng thái đối tượng là giá trị chứa trong mẫu. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng [...]... chúng tôi sẽ tiếp cận bài toán theo vết chuyển động theo hướng kết hợp việc nhận dạng đối tượng và theo dõi đối tượng cụ thể là hai đối tượng khuôn mặt (face) và người đi bộ (pedestrian) tiến hành nhận dạng đối tượng (detect) sau đó theo vết (track) và sau một khoảng thời gian sẽ tiến hành nhận dạng đối tượng nhằm làm tăng hiệu quả theo vết; cải tiến số lượng đối tượng theo vết cụ thể là cùng một thuật... Chương 2 BÀI TOÁN THEO VẾT ĐỐI TƯỢNG 2.1 Tổng quan về bài toán theo vết đối tượng Mục tiêu của bài toán theo vết đối tượng là để “hiểu” được những chuyển động của đối tượng “Hiểu” những thông tin về đối tượng như vị trí trong không gian, vận tốc chuyển động và những đặc trưng vật lý khác Hầu hết khó khăn của bài toán theo vết đối tượng là do khả năng biến động của ảnh video Khi một đối tượng chuyển động... dụng cho đối tượng biến dạng hay di chuyển Theo vết dựa trên Filtering: phương pháp Kalman Filter và Particle Filter được nghiên cứu Kalman Filter giải quyết với việc theo dõi hình dạng và vị trí theo thời gian trong các hệ thống tuyến tính (non-linear) và có xét nhiễu Gauss Ngược lại, Particle Filter có thể ứng dụng trong các hệ thống phi tuyến và phi Gasuss, ý tưởng cơ bản của Particle Filter là... matching) Phương pháp sử dụng Particle Filter giới thiệu trong khóa luận này cũng thuộc nhóm các phương pháp top-down 2.2 Cách tiếp cận chung của bài toán theo vết đối tượng Đối tượng theo vết có thể chia thành ba nhóm đối tượng chính: SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 23 • Nhóm các đối tượng có một tập đặc tính chung như xe hơi, người, khuôn mặt • Nhóm các đối tượng có tập đặc tính chung trên nhưng... Định nghĩa theo khía cạnh ứng dụng Trước hết ta định nghĩa một số kí hiệu sau: Đối với trạng thái đối tượng (mục tiêu cần xác định): • : trạng thái của đối tượng ở thời điểm t Các đại lượng vật lý đại diện cho trạng thái của đối tượng thường là tọa độ x, y của trọng tâm khung chữ nhật chứa đối tượng cần theo vết • : chuỗi các trạng thái của đối tượng từ thời điểm ban đầu đến thời điểm t Đối với quá... mô tả các thông tin về “vẻ bề ngoài” của đối tượng cần theo vết Có nhiều cách xây dựng mô hình tham chiếu cho đối tượng như các mẫu gray-level, mô hình đường viền, và cách thường dùng nhất trong các ứng dụng theo vết đối tượng là dùng mô hình màu (color model), tuy nhiên có một số vấn đề đặt ra: • Hệ màu nào được dùng? RGB hay HSV, Lưu ý rằng khi chúng ta dùng mô hình màu để làm mô hình tham chiếu... với một thuộc tính cụ thể khác như xe ô tô chạy, người đi bộ • Nhóm các đối tượng có chung một thuộc tính cụ thể như các đối tượng di chuyển, đối tượng bất kỳ được người dùng chọn trong khung hình đầu tiên Thuật toán theo vết đối tượng thực chất làm tìm một vùng ảnh di chuyển từ khung hình này sang khung hình khác nên mỗi nhóm đối tượng sẽ có các đặc điểm riêng nhưng tống quát ta có các bước chính như... trên, ta xác định được kỹ thuật theo vết đối tượng này dựa trên các trạng thái trước đó của đối tượng để dự đoán vị trí đối tượng trong khung hình tiếp theo và các thuật ngữ sau được định nghĩa: • xt: trạng thái của đối tượng vào thời điểm t • zt: các tín hiệu quan sát từ dữ liệu từ khung hình hiện tại trong chuỗi video tại thời điểm t • Tập hợp các trạng thái của đối tượng từ trước tới thời điểm t... ra đối tượng cần theo vết Ví dụ, phương pháp theo vết dùng “Blod detection” SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 22 Hình 2.3: Phương pháp theo vết sử dụng “Blob Detection” • Hướng bottom-up: cách tiếp cận này sử dụng các giả thuyết về đối tượng và cố gắng kiểm tra chúng bằng cách sử dụng các dữ liệu có được từ hình ảnh, ví dụ: phương pháp so khớp với mẫu (template matching) Phương pháp sử dụng Particle. .. Model): Mô hình động của đối tượng chính là những phương trình xác suất mô tả chuyển động, biến đổi của trạng thái đối tượng trong hệ Trong ứng dụng thực nghiệm thì trạng thái đối tượng được mô tả bằng một vectơ xt = (x, y, s) trong đó x, y chính là tọa độ của khung hình chữ nhật chứa đối tượng, s là độ scale của đối tượng Chúng tôi lan truyền tập mẫu và ước lượng sự chuyển động của đối tượng thông qua một . toán theo vết chuyển động theo hướng kết hợp việc nhận dạng đối tượng và theo dõi đối tượng cụ thể là hai đối tượng khuôn mặt (face) và người đi bộ (pedestrian) tiến hành nhận dạng đối tượng. đối tượng biến dạng hay di chuyển. Theo vết dựa trên Filtering: phương pháp Kalman Filter và Particle Filter được nghiên cứu. Kalman Filter giải quyết với việc theo dõi hình dạng và vị trí theo. luận văn của chúng tôi là theo vết đối tượng dùng Particle Filter, trong đó chúng tôi sẽ nghiên cứu cách thức theo dõi một đối tượng bằng phương pháp sử dụng Partcle Filter sau đó xây dựng một