Báo cáo nghiên cứu cách thức theo dõi một đối tượng bằng phương pháp sử dụng partcle filter sau đó xây dựng một ứng dụng thực nghiệm

 ABSTRACT Our thesis’ topic is object tracking using Particle Filter, which we will do research how to track an object using Partcle Filter, building demo applications. Object tracking in computer vision has been done research for many years, but so far it is still considered an “open” problem. However, currently there is a method of object tracking that its effectiveness has been proven in many studies around the world, it is recognized as a "State of the art" - that is the Particle filte. So, we have carried out to do resrearch interesting subject based on the guidance of teachers and the materials of the university, the seminar on this subject. In this thesis, we limit to introduce the theoretical basis of the Particle Filter, and base on open source of the other research to improve of its experimental application in the situation of tracking moving objects – selecting from the first frame or a specific object (face, pedestrian ) and build the performace assessment to demonstrate the effectiveness of the object tracking method. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  LỜI MỞ ĐẦU Đề tài luận văn của chúng tôi là theo vết đối tượng dùng Particle Filter, trong đó chúng tôi sẽ nghiên cứu cách thức theo dõi một đối tượng bằng phương pháp sử dụng Partcle Filter sau đó xây dựng một ứng dụng thực nghiệm. Các phương pháp theo vết đối tượng trong công nghệ cảm quan máy tính (computer vision) đã được nghiên cứu trong nhiều năm, nhưng cho tới nay nó vẫn được xem là một vấn đề mở. Tuy nhiên, hiện nay đã có một phương pháp theo vết đối tượng mà tính hiệu quả của nó đã được chứng minh trong nhiều nghiên cứu trên thế giới, nó được công nhận là một “State of the art” – đó chính là Particle Filter. Vì vậy, chúng tôi đã tiến hành nghiên cứu đề tài thú vị này dựa trên sự hướng dẫn của thầy cô và các tài liệu của các trường đại học, các hội nghị chuyên đề về đề tài này. Trong khóa luận này, chúng tôi giới hạn trong việc giới thiệu cơ sở lý thuyết của Particle Filter, dựa trên cơ sở mã nguồn mở cải tiến một số điểm làm tăng độ chính xác của thuật toán, sau đó dựa trên cơ sở dữ liệu thực nghiệm xây dựng các bảng đánh giá kết quả để chứng minh tính hiệu quả của các cải tiến trong thuật toán so với mã nguồn gốc. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  LỜI CẢM ƠN Giai đoạn làm đồ án tốt nghiệp là giai đoạn cuối cùng của quá trình học đại học. Giai đoạn này có ý nghĩa vô cùng quan trọng trong quá trình rèn luyện tại môi trường đại học, đánh dấu bước chuyển từ việc đi học sang đi làm. Chúng em xin chân thành cám ơn Thầy Cô trong Khoa Công nghệ Phần mềm – Trường Đại học Công Nghệ Thông Tin – Đại học Quốc gia TPHCM đã tận tình giảng dạy, tạo điều kiện tốt nhất cho chúng em học tập, làm khóa luận tốt nghiệp, tạo cơ hội để chúng em có được những thực nghiệm và kiến thức thực tế trong công việc trong tương lai. Em xin chân thành gửi lời cám ơn sâu sắc đến Th.S Nguyễn Hữu Thương và C.H Cáp Phạn Đình Thăng- hai Thầy đã tận tình giúp đỡ, đôn đốc, truyền đạt những kinh nghiệm bản thân để chúng em thực hiện tốt khóa luận tốt nghiệp này TP Hồ Chí Minh, ngày 30 tháng 12 năm 2011 Sinh viên Chu Hoàng Nhật Hà Thị Minh Phương SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  NHẬN XÉT (Giảng viên hướng dẫn) SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  NHẬN XÉT (Giảng viên phản biện) SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  MỤC LỤC LỜI MỞ ĐẦU SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  DANH MỤC CÁC HÌNH, BẢNG, SƠ ĐỒ HÌNH SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  BẢNG SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  ĐỊNH NGHĨA THUẬT NGỮ STT Tên thuật ngữ Định nghĩa 1. Khoảng cách Bhattacharyya (Bhattacharyya distance) Dùng để đo lường sự giống nhau của hai phân phối xác suất rời rạc hay liên tục. Nó liên quan đến hệ số Bhattacharyya dùng để đo sự chồng chéo giữa hai mẫu thống kê. Hệ số được sử dụng để xác định sự gần nhau tương đối của hai mẫu đang được xem xét. 2. Mô hình ứng viên (candidate model) Là mô hình của một vùng ảnh có khả năng chứa đối tượng cần theo vết. 3. Mô hình histogram ứng viên (candidate histogram model) Là mô hình sử dụng histogram để mô hình hóa vùng ảnh có khả năng chứa đối tượng cần theo vết. 4. Likelihood Là xác suất đánh giá mức độ tín cậy của mẫu trong tập hợp mẫu. Từ đó sẽ xác định trạng thái của mẫu nào “giống” với trạng thái đối tượng theo vết nhất. 5. Xác suất chuyển trạng thái hay xác suất chuyển tiếp Là xác suất của trạng thái hiện tại so với trạng thái tại thời điểm trước đó. 6. Trạng thái đối tượng Là một vectơ đại diện cho vị trí đối tượng theo vết. Ngoài các giá trị x, y – tọa độ của đối tượng, thường trạng thái đối tượng có thêm giá trị scale (phụ thuộc vào sự thay đổi kích thước của đối tượng). SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng  7. Mẫu (particle) Nhằm ước lượng trạng thái đối tượng trong bài toán theo vết, ta xây dựng một tập mẫu trong đó mỗi mẫu chứa một giá trị về trạng thái đối tượng, sau đó dùng thuật toán để xác định là mẫu nào “giống” đối tượng => giá trị trạng thái đối tượng là giá trị chứa trong mẫu. SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương GVHD: ThS. Nguyễn Hữu Thương CH Cáp Phạm Đình Thăng [...]... ra đối tượng cần theo vết Ví dụ, phương pháp theo vết dùng “Blod detection” SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 22 Hình 2.3: Phương pháp theo vết sử dụng “Blob Detection” • Hướng bottom-up: cách tiếp cận này sử dụng các giả thuyết về đối tượng và cố gắng kiểm tra chúng bằng cách sử dụng các dữ liệu có được từ hình ảnh, ví dụ: phương pháp so khớp với mẫu (template matching) Phương pháp sử dụng. .. bài luận văn được tổ chức như sau: chương hai giới thiệu chung về bài toàn theo vết đối tượng: cách tiếp cận chung của bài, lý thuyết về Particle Filter; chương ba giới thiệu về phương pháp phát hiện đối tượng được áp dụng trong ứng dụng thực nghiệm; chương bốn giới thiệu về hai thư viện OpenCV và GSL - hỗ trợ chính trong việc xây dựng ứng dụng thực nghiệm; ứng dụng thực nghiệm được mô tả cụ thể trong... hợp việc nhận dạng đối tượng và theo dõi đối tượng cụ thể là hai đối tượng khuôn mặt (face) và người đi bộ (pedestrian) tiến hành nhận dạng đối tượng (detect) sau đó theo vết (track) và sau một khoảng thời gian sẽ tiến hành nhận dạng đối tượng nhằm làm tăng hiệu quả theo vết; cải tiến số lượng đối tượng theo vết cụ thể là cùng một thuật toán nhưng áp dụng cho các nhóm mẫu (Particle Filter) khác nhau... hình động của đối tượng chính là những phương trình xác suất mô tả chuyển động, biến đổi của trạng thái đối tượng trong hệ Trong ứng dụng thực nghiệm thì trạng thái đối tượng được mô tả bằng một vectơ xt = (x, y, s) trong đó x, y chính là tọa độ của khung hình chữ nhật chứa đối tượng, s là độ scale của đối tượng Chúng tôi lan truyền tập mẫu và ước lượng sự chuyển động của đối tượng thông qua một mô hình... trình theo dõi Điển hình nghiên cứu Yezzi and Soatto (2003), Jackson et al (2004), và Rathi et al (2005) Yezzi and Soatto (2003) đề xuất một định nghĩa cho sự biến dạng về chuyển động và hình dạng có thể áp dụng cho đối tượng biến dạng hay di chuyển Theo vết dựa trên Filtering: phương pháp Kalman Filter và Particle Filter được nghiên cứu Kalman Filter giải quyết với việc theo dõi hình dạng và vị trí theo. .. Particle Filter giới thiệu trong khóa luận này cũng thuộc nhóm các phương pháp top-down 2.2 Cách tiếp cận chung của bài toán theo vết đối tượng Đối tượng theo vết có thể chia thành ba nhóm đối tượng chính: SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 23 • Nhóm các đối tượng có một tập đặc tính chung như xe hơi, người, khuôn mặt • Nhóm các đối tượng có tập đặc tính chung trên nhưng kết hợp với một thuộc... hiệu quả của ứng dụng thực nghiệm, công thức để đánh giá, dữ liệu đánh giá đánh giá hiệu quả của thuật toán và chương năm đưa ra kết quả đáng giá thực nghiệm dựa trên các công thức đã được chứng minh trong các hội nghị khoa học SVTH: Chu Hoàng Nhật & Hà Thị Minh Phương 21 Chương 2 BÀI TOÁN THEO VẾT ĐỐI TƯỢNG 2.1 Tổng quan về bài toán theo vết đối tượng Mục tiêu của bài toán theo vết đối tượng là để... biết B cho bởi công thức eq 1 2.3.1.2 Định nghĩa theo khía cạnh ứng dụng Trước hết ta định nghĩa một số kí hiệu sau: Đối với trạng thái đối tượng (mục tiêu cần xác định): • : trạng thái của đối tượng ở thời điểm t Các đại lượng vật lý đại diện cho trạng thái của đối tượng thường là tọa độ x, y của trọng tâm khung chữ nhật chứa đối tượng cần theo vết • : chuỗi các trạng thái của đối tượng từ thời điểm... đi bộ • Nhóm các đối tượng có chung một thuộc tính cụ thể như các đối tượng di chuyển, đối tượng bất kỳ được người dùng chọn trong khung hình đầu tiên Thuật toán theo vết đối tượng thực chất làm tìm một vùng ảnh di chuyển từ khung hình này sang khung hình khác nên mỗi nhóm đối tượng sẽ có các đặc điểm riêng nhưng tống quát ta có các bước chính như sau: • Thứ nhất, ta cần xây dựng một “mô hình tham... Hình 2.6: Mô hình xác suất của Particle Filter Phương pháp này dùng ước lượng Bayes hồi quy làm giải pháp lý thuyết, và ý tưởng của phương pháp Monte Carlo kết hợp với yếu tố lấy mẫu để xấp xỉ cho giải pháp lý thuyết này Cách thức thực hiện của phương pháp này là xây dựng mô hình động và mô hình quan sát, áp dụng mô hình xác suất này dựa mô hình tham chiếu của đối tượng để phân tích các dòng dữ liệu từ . tôi sẽ nghiên cứu cách thức theo dõi một đối tượng bằng phương pháp sử dụng Partcle Filter sau đó xây dựng một ứng dụng thực nghiệm. Các phương pháp theo vết đối tượng trong công nghệ cảm quan. phương pháp phát hiện đối tượng được áp dụng trong ứng dụng thực nghiệm; chương bốn giới thiệu về hai thư viện OpenCV và GSL - hỗ trợ chính trong việc xây dựng ứng dụng thực nghiệm; ứng dụng thực nghiệm. theo vết, ta xây dựng một tập mẫu trong đó mỗi mẫu chứa một giá trị về trạng thái đối tượng, sau đó dùng thuật toán để xác định là mẫu nào “giống” đối tượng => giá trị trạng thái đối tượng là