Phương pháp phát hiện đối tượng chuyển động2.1 Luồng quang học optical flow: - Tìm vector hướng chuyển động của các điểm ảnh trong 2 khung hình liên tiếp.- Nguyên lí hoạt động: + Tìm các
Trang 1ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG*********************
BÁO CÁO ĐỒ ÁN MÔN HỌC
Thị giác máy tính
Đề tài 14: Phát hiện và theo vết đối tượng chuyển động
Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng LanSinh viên thực hiện: Nhóm 5
Trang 2LỜI CẢM ƠN
Chúng em xin được gửi lời cảm ơn chân thành tới cô Nguyễn ThịHoàng Lan đã hướng dẫn, chỉ bảo và đôn đốc chúng em trong suốt quá trìnhthực hiện đồ án này, từ đó giúp chúng em hoàn thành môn học một cách tốtnhất.
Đồng cảm ơn sâu sắc đến tất cả quý thầy cô trường Đại Học BáchKhoa Hà Nội, các thầy cô khoa công nghệ thông tin đã tạo điều kiện hỗ trợchúng em về cơ sở vật chất cũng như truyền đạt chúng em những kiến thứctrong công nghệ thông tin.
Trong quá trình thực hiện chúng em vẫn còn nhiều thiếu sót chưa hoànchỉnh Chúng em rất mong nhận được sự thông cảm, góp ý và tận tình chỉbảo của cô.
Trang 3I Mục đích, yêu cầu của bài tập lớn
- Mục đích: Phát hiện và theo vết đối tượng chuyển động (Motion object
Detection and Tracking)
- Yêu cầu:
- Tìm hiểu mô hình chung về theo vết đối tượng chuyển động - Tìm hiểu thuật toán Mean-shift để theo vết đối tượng chuyển động - Cài đặt ứng dụng thuật toán Mean-shift
- Xây dựng kịch bản thử nghiệm tình huống phù hợp ứng dụng và nhận xét.
II Sơ đồ chung về theo vết đối tượng chuyển động1 Sơ đồ chung
Trang 42 Phương pháp phát hiện đối tượng chuyển động
2.1 Luồng quang học (optical flow):
- Tìm vector hướng chuyển động của các điểm ảnh trong 2 khung hình liên tiếp.
- Nguyên lí hoạt động:
+ Tìm các điểm đặc trưng nổi bật trong khung hình hiện tại.
+ Tìm các điểm tương đồng với các điểm vừa tìm trong khung hình kế tiếp + Vector nối các điểm vừa tìm được với các điểm tương ứng với nó trong khung hình kế tiếp chính là các vetor chuyển động luồng quang học.
Trang 52.2 Phát hiện sự thay đổi của các điểm ảnh (Change Detection)
- Là việc xác định các thay đổi trong trạng thái của pixel thông qua việc kiểm tra giá trị của chúng giữa các khung hình.
- Nguyên lí hoạt động:
+ Chọn 1 khung hình làm hình nền cho 1 vài khung hình liên tiếp
+ Lần lượt tính hiệu pixel giữa các khung hình còn lại với hình nền Nếu hiệu này lớn hơn ngưỡng T thì vị trí đó thuộc về vùng ảnh nổi (Foreground) + Loại bỏ các pixel nhiễu ta thu được đối tượng chuyển động.
Trang 63 Các phương pháp phân loại đối tượng
3.1 Biểu diễn mô hình (Model Representations)
- Đối tượng chuyển động sẽ được thể hiện dưới dạng mô hình Phương pháp này áp dụng với các đổi tượng có thể thay đổi hình của bản thân trong quá trình chuyểnđộng.
3.2 Trích chọn đặc trưng (Model Features)
- Mỗi đối tượng sẽ có nhưng đặc trưng riêng nhờ vào đó ta có thể phân biệt được đối tượng này với đối tượng khác.
- Một số đặc điểm của hình ảnh như sau: + Hình dạng
+ Màu sắc + Kết cấu
Trang 74 Theo vết đối tượng
Sau khi xác định được đối tượng cần theo vết và mô hình hóa đối tượng ta cần ước tính chuyển động của đối tượng thông qua tốc độ từ đó có thể dự doán được vịtrí tiếp theo của đối tượng.
Sau khi vị trí của đối tượng đã gần đúng, ta có thể sử dụng mô hình trực quan của đối tượng để xác định vị trí chính xác của mục tiêu.
5 Phân loại
• Theo dõi 1 đối tượng: Chỉ theo dõi 1 đối tượng duy nhất Đối tượng theo dõiđược xác định thủ công bằng việc vẽ hộp giới hạn trong khung hình đầu tiên.• Theo dõi nhiều đối tượng: Theo dõi cùng lúc nhiều đối tượng có trong video.
Các đối tượng được phát hiện theo dõi dựa trên đặc trưng chung
Trang 8III Thuật toán mean-shift
1.1 Tiếp cận dựa trên mô hình
• Cách tiếp cận dựa trên mô hình bao gồm việc tạo mô hình hình học cấu trúc của đối tượng
• Các ràng buộc trên việc mô hình được cho phép biến dạng như thế nào có thể được kết hợp vào quá trình so khớp
• Vấn đề với cách tiếp cận này là quá trình khởi tạo tự động thì khó và chi phí tính toán cao do độ phức tạp của mô hình.
1.2 Tiếp cận dựa trên miền
• Cách tiếp cận dựa trên miền bao gồm việc kết hợp một miền với mỗi đối tượng đang được theo vết
• Miền được theo vết qua thời gian bằng phép đo độ tương tự
• Lợi ích của cách tiếp cận này là khởi tạo khá dễ dàng, chỉ có vị trí và kích thước của cửa sổ cần được định nghĩa.
Trang 91.3 Tiếp cận dựa trên đường viền
• Cách tiếp cận dựa trên đường viền bao gồm tìm đường viền bao của một đối tượng và sau đó cố gắng làm khớp đường viền với các đối tượng trong các frame sau
• Nơi khớp nhất sẽ là đường viền hiện tại, mô hình sẽ cập nhật đường viền hiện tại để phản ánh hình dáng của đối tượng trong frame hiện tại • Quá trình này được lặp lại với mô hình đường viền được cập nhật
• Với mô hình là nó yêu cầu sự khởi tạo chính xác, và điều này thì khó để thựchiện tự động.
1.4 Tiếp cận dựa trên đặc trưng
• Tiếp cận dựa trên đặc trưng chỉ theo vết một tập các đặc trưng của đối tượng.• Ví dụ như chỉ theo vết các điểm ở góc của đối tượng, vị trí của đối tượng
trong frame sau sẽ được tìm thấy bằng cách tìm các điểm góc mà khớp với các điểm của mô hình nhất
• Khuyết điểm của phương pháp này là chất lượng theo vết phụ thuộc nhiều vào việc chọn các đặc trưng Các đặc trưng phải được chọn sao cho chúng cung cấp sự nhận diện duy nhất cho đối tượng.
Trang 102 Ý tưởng thuật toán
• Thuật toán dùng để theo vết đối tượng chuyển động khi đối tượng đó có thể thể hiện qua biểu đồ tần suất (histogram)
• Thuật toán mô hình hóa vật thể qua sự phân bố màu sắc.• Vd:
• Đối với những vật thể bị thay đổi hình dạng khi chuyển động (ví dụ người đi bộ), khó có thể bắt được chuyển động một cách rõ ràng.• Vì vậy để thuật toán sẽ dựa vào sự mô hình hoá với sự phân bố về
màu sắc.
Theo dõi chuyển động của một cụm các đối tượng nổi bật
• Chọn phân bố đặc điểm để đại diện cho một đối tượng trong video (ví dụ: mật độ màu sắc + họa tiết)
• Sử dụng mean shift trên phân phối các đặc điểm được tạo bởi đối tượng• Cuối cùng tính toán phân phối của đặc điểm đã chọn qua khung video tiếp
• Bắt đầu từ vị trí hiện tại, mean shift tìm đỉnh hoặc đặc điểm mới của phân bố đối tượng, mà (có thể là) tập trung vào đối tượng tạo ra màu sắc và kết cấu ngay từ đầu.
• Bằng cách này, thuật toán sẽ theo dõi chuyển động của khung đối tượng theo từng khung
Trang 113 Cơ chế thuật toán
Trang 12IV Cài đặt ứng dụng
1 Giới thiệu các chức năng chính của ứng dụng
2 Chi tiết từng thành phần của chương trình
3 Kết quả chạy chương trình
Trang 13V Kịch bản kiểm thử
1 Kịch bản 1
Nội dung: Đối tượng bị che khuất trong một phần quá trình chuyển động Kết quả: Đối tượng đang theo vết khi bị che khuất một phần trong quá trình chuyển động thì sẽ không thể tiếp tục theo vết nữa.
Ảnh kết quả:
2 Kịch bản 2
Nội dung: Thay đổi vùng ROI.
Kết quả: Tùy theo cùng Roi được chọn mà đối tượng có thể theo vết được hoặc không.
Ảnh kết quả: