báo cáo đồ án môn học thị giác máy tính đề tài 14 phát hiện và theo vết đối tượng chuyển động

Phương pháp phát hiện đối tượng chuyển động2.1 Luồng quang học optical flow: - Tìm vector hướng chuyển động của các điểm ảnh trong 2 khung hình liên tiếp.- Nguyên lí hoạt động: + Tìm các

ĐẠI HỌC BÁCH KHOA HÀ NỘI

TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

*********************

BÁO CÁO ĐỒ ÁN MÔN HỌC

Thị giác máy tính

Đề tài 14: Phát hiện và theo vết đối tượng chuyển động

Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan

Sinh viên thực hiện: Nhóm 5

Nguyễn Thành Vinh 20183859

LỜI CẢM ƠN

Chúng em xin được gửi lời cảm ơn chân thành tới cô Nguyễn Thị Hoàng Lan đã hướng dẫn, chỉ bảo và đôn đốc chúng em trong suốt quá trình thực hiện đồ án này, từ đó giúp chúng em hoàn thành môn học một cách tốt nhất

Đồng cảm ơn sâu sắc đến tất cả quý thầy cô trường Đại Học Bách Khoa Hà Nội, các thầy cô khoa công nghệ thông tin đã tạo điều kiện hỗ trợ chúng em về cơ sở vật chất cũng như truyền đạt chúng em những kiến thức trong công nghệ thông tin

Trong quá trình thực hiện chúng em vẫn còn nhiều thiếu sót chưa hoàn chỉnh Chúng em rất mong nhận được sự thông cảm, góp ý và tận tình chỉ bảo của cô

I Mục đích, yêu cầu của bài tập lớn

- Mục đích: Phát hiện và theo vết đối tượng chuyển động (Motion object

Detection and Tracking)

- Yêu cầu:

- Tìm hiểu mô hình chung về theo vết đối tượng chuyển động

- Tìm hiểu thuật toán Mean-shift để theo vết đối tượng chuyển động

- Cài đặt ứng dụng thuật toán Mean-shift

- Xây dựng kịch bản thử nghiệm tình huống phù hợp ứng dụng và nhận xét

II Sơ đồ chung về theo vết đối tượng chuyển động

1 Sơ đồ chung

2 Phương pháp phát hiện đối tượng chuyển động

2.1 Luồng quang học (optical flow):

- Tìm vector hướng chuyển động của các điểm ảnh trong 2 khung hình liên tiếp

- Nguyên lí hoạt động:

+ Tìm các điểm đặc trưng nổi bật trong khung hình hiện tại

+ Tìm các điểm tương đồng với các điểm vừa tìm trong khung hình kế tiếp + Vector nối các điểm vừa tìm được với các điểm tương ứng với nó trong khung hình kế tiếp chính là các vetor chuyển động luồng quang học

2.2 Phát hiện sự thay đổi của các điểm ảnh (Change Detection)

- Là việc xác định các thay đổi trong trạng thái của pixel thông qua việc kiểm tra giá trị của chúng giữa các khung hình

- Nguyên lí hoạt động:

+ Chọn 1 khung hình làm hình nền cho 1 vài khung hình liên tiếp

+ Lần lượt tính hiệu pixel giữa các khung hình còn lại với hình nền Nếu hiệu này lớn hơn ngưỡng T thì vị trí đó thuộc về vùng ảnh nổi (Foreground)

+ Loại bỏ các pixel nhiễu ta thu được đối tượng chuyển động

3 Các phương pháp phân loại đối tượng

3.1 Biểu diễn mô hình (Model Representations)

- Đối tượng chuyển động sẽ được thể hiện dưới dạng mô hình Phương pháp này

áp dụng với các đổi tượng có thể thay đổi hình của bản thân trong quá trình chuyển động

3.2 Trích chọn đặc trưng (Model Features)

- Mỗi đối tượng sẽ có nhưng đặc trưng riêng nhờ vào đó ta có thể phân biệt được đối tượng này với đối tượng khác

- Một số đặc điểm của hình ảnh như sau:

+ Hình dạng

+ Màu sắc

+ Kết cấu

4 Theo vết đối tượng

Sau khi xác định được đối tượng cần theo vết và mô hình hóa đối tượng ta cần ước tính chuyển động của đối tượng thông qua tốc độ từ đó có thể dự doán được vị trí tiếp theo của đối tượng

Sau khi vị trí của đối tượng đã gần đúng, ta có thể sử dụng mô hình trực quan của đối tượng để xác định vị trí chính xác của mục tiêu

5 Phân loại

• Theo dõi 1 đối tượng: Chỉ theo dõi 1 đối tượng duy nhất Đối tượng theo dõi được xác định thủ công bằng việc vẽ hộp giới hạn trong khung hình đầu tiên

• Theo dõi nhiều đối tượng: Theo dõi cùng lúc nhiều đối tượng có trong video Các đối tượng được phát hiện theo dõi dựa trên đặc trưng chung

III Thuật toán mean-shift

1 Một số khái niệm

• Có 4 cách tiếp cận chính để giải quyết bài toán theo vết với meanshift:

• Tiếp cận dựa trên mô hình

• Tiếp cận dựa trên miền

• Tiếp cận dựa trên đường viền

• Tiếp cận dựa trên đặc trưng

1.1 Tiếp cận dựa trên mô hình

• Cách tiếp cận dựa trên mô hình bao gồm việc tạo mô hình hình học cấu trúc của đối tượng

• Các ràng buộc trên việc mô hình được cho phép biến dạng như thế nào có thể được kết hợp vào quá trình so khớp

• Vấn đề với cách tiếp cận này là quá trình khởi tạo tự động thì khó và chi phí tính toán cao do độ phức tạp của mô hình

1.2 Tiếp cận dựa trên miền

• Cách tiếp cận dựa trên miền bao gồm việc kết hợp một miền với mỗi đối tượng đang được theo vết

• Miền được theo vết qua thời gian bằng phép đo độ tương tự

• Lợi ích của cách tiếp cận này là khởi tạo khá dễ dàng, chỉ có vị trí và kích thước của cửa sổ cần được định nghĩa

1.3 Tiếp cận dựa trên đường viền

• Cách tiếp cận dựa trên đường viền bao gồm tìm đường viền bao của một đối tượng và sau đó cố gắng làm khớp đường viền với các đối tượng trong các frame sau

• Nơi khớp nhất sẽ là đường viền hiện tại, mô hình sẽ cập nhật đường viền hiện tại để phản ánh hình dáng của đối tượng trong frame hiện tại

• Quá trình này được lặp lại với mô hình đường viền được cập nhật

• Với mô hình là nó yêu cầu sự khởi tạo chính xác, và điều này thì khó để thực hiện tự động

1.4 Tiếp cận dựa trên đặc trưng

• Tiếp cận dựa trên đặc trưng chỉ theo vết một tập các đặc trưng của đối tượng

• Ví dụ như chỉ theo vết các điểm ở góc của đối tượng, vị trí của đối tượng trong frame sau sẽ được tìm thấy bằng cách tìm các điểm góc mà khớp với các điểm của mô hình nhất

• Khuyết điểm của phương pháp này là chất lượng theo vết phụ thuộc nhiều vào việc chọn các đặc trưng Các đặc trưng phải được chọn sao cho chúng cung cấp sự nhận diện duy nhất cho đối tượng

2 Ý tưởng thuật toán

• Thuật toán dùng để theo vết đối tượng chuyển động khi đối tượng đó có thể thể hiện qua biểu đồ tần suất (histogram)

• Thuật toán mô hình hóa vật thể qua sự phân bố màu sắc

• Vd:

• Đối với những vật thể bị thay đổi hình dạng khi chuyển động (ví dụ người đi bộ), khó có thể bắt được chuyển động một cách rõ ràng

• Vì vậy để thuật toán sẽ dựa vào sự mô hình hoá với sự phân bố về màu sắc

Theo dõi chuyển động của một cụm các đối tượng nổi bật

• Chọn phân bố đặc điểm để đại diện cho một đối tượng trong video (ví dụ: mật độ màu sắc + họa tiết)

• Sử dụng mean shift trên phân phối các đặc điểm được tạo bởi đối tượng

• Cuối cùng tính toán phân phối của đặc điểm đã chọn qua khung video tiếp theo

• Bắt đầu từ vị trí hiện tại, mean shift tìm đỉnh hoặc đặc điểm mới của phân bố đối tượng, mà (có thể là) tập trung vào đối tượng tạo ra màu sắc và kết cấu ngay từ đầu

• Bằng cách này, thuật toán sẽ theo dõi chuyển động của khung đối tượng theo từng khung

3 Cơ chế thuật toán

IV Cài đặt ứng dụng

1 Giới thiệu các chức năng chính của ứng dụng

2 Chi tiết từng thành phần của chương trình

3 Kết quả chạy chương trình

V Kịch bản kiểm thử

1 Kịch bản 1

Nội dung: Đối tượng bị che khuất trong một phần quá trình chuyển động Kết quả: Đối tượng đang theo vết khi bị che khuất một phần trong quá trình chuyển động thì sẽ không thể tiếp tục theo vết nữa

Ảnh kết quả:

2 Kịch bản 2

Nội dung: Thay đổi vùng ROI

Kết quả: Tùy theo cùng Roi được chọn mà đối tượng có thể theo vết được hoặc không

Ảnh kết quả: