Bám đối tượng với meanshift

Thị giác máy là một lĩnh vực đã và đang rất phát triển. Khái niệm xử lý ảnh và thị giác máy – Computer vision có liên quan tới nhiều ngành học và hướng nghiên cứu khác nhau. Từ những năm 1970 khi mà năng lực tính toán của máy tính ngày càng trở nên mạnh mẽ hơn, các máy tính lúc này có thể xử lý được những tập dữ liệu lớn như các hình ảnh, các đoạn phim thì khái niệm và kỹ thuật về thị giác máy ngày càng được nhắc đến và nghiên cứu nhiều hơn cho tới ngày nay. Thị giác máy bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ thống nhân tạo có thể tiếp nhận thông tin từ các hình ảnh thu được hoặc các tập dữ liệu đa chiều. Việc kết hợp giữa thị giác máy với các kỹ thuật khác như công nghệ thông tin, truyền thông, điện tử, điều khiển tự động, cơ khí… cho chúng ta rất nhiều ứng dụng trong đời sống hàng ngày cũng như trong khoa học, an ninh, quân sự… Ngày nay, ứng dụng của thị giác máy đã trở nên rất rộng lớn và đa dạng, len lỏi vào mọi lĩnh vực từ quân sự, khoa học, vũ trụ, cho đến y học, sản xuất, và tự động hóa tòa nhà. Công nghệ xử lý ảnh bao gồm rất nhiều hướng nghiên cứu, một trong những hướng nghiên cứu đó là tìm hiểu và xây dựng hệ thống bám đối tượng di động sử dụng thuật toán Meanshift. Meanshift là thuật toán tracking, tức là sau khi nó phát hiện được đối tượng nằm đâu nó chỉ theo dõi chuyển động của đối tượng đó. Đối tượng có thể là khuôn mặt, đồ vật hoặc các đối tượng khác được lựa chọn để bám theo. Với thời lượng có hạn, nguồn tài liệu không nhiều, trong đề tài “Bám đối tượng – Thuật toán Meanshift” này, nhóm chúng tôi chỉ nêu khái quát về thuật toán Meanshift đồng thời xây dựng một ứng dụng nhỏ mô phỏng việc bám các đối tượng trong các khung hình liên tiếp được tách ra từ video. Việc làm này giống như chúng ta thực hiện bám đối tượng trong một video.

Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn MỤC LỤC Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn BẢNG CÁC KÝ TỰ VIẾT TẮT Kí hiệu, chữ viết tắt CSDL ROI DoG Được hiểu Cơ sở liệu Region of Interest Diffirence of Gaussian Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn MỞ ĐẦU Thị giác máy lĩnh vực phát triển Khái niệm xử lý ảnh thị giác máy – Computer vision có liên quan tới nhiều ngành học hướng nghiên cứu khác Từ năm 1970 mà lực tính toán máy tính ngày trở nên mạnh mẽ hơn, máy tính lúc xử lý tập liệu lớn hình ảnh, đoạn phim khái niệm kỹ thuật thị giác máy ngày nhắc đến nghiên cứu nhiều ngày Thị giác máy bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thông tin từ hình ảnh thu tập liệu đa chiều Việc kết hợp thị giác máy với kỹ thuật khác công nghệ thông tin, truyền thông, điện tử, điều khiển tự động, khí… cho nhiều ứng dụng đời sống hàng ngày khoa học, an ninh, quân sự… Ngày nay, ứng dụng thị giác máy trở nên rộng lớn đa dạng, len lỏi vào lĩnh vực từ quân sự, khoa học, vũ trụ, y học, sản xuất, tự động hóa tòa nhà Công nghệ xử lý ảnh bao gồm nhiều hướng nghiên cứu, hướng nghiên cứu tìm hiểu xây dựng hệ thống bám đối tượng di động sử dụng thuật toán Meanshift Meanshift thuật toán tracking, tức sau phát đối tượng nằm đâu theo dõi chuyển động đối tượng Đối tượng khuôn mặt, đồ vật đối tượng khác lựa chọn để bám theo Với thời lượng có hạn, nguồn tài liệu không nhiều, đề tài “Bám đối tượng – Thuật toán Meanshift” này, nhóm nêu khái quát thuật toán Meanshift đồng thời xây dựng ứng dụng nhỏ mô việc bám đối tượng khung hình liên tiếp tách từ video Việc làm giống thực bám đối tượng video Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn CHƯƠNG I: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ PHÁT HIỆN, ĐÁNH DẤU ĐỐI TƯỢNG I KHÁI QUÁT VỀ XỬ LÝ ẢNH 1.1 Các khái niệm 1.1.1 Xử lý ảnh Xử lý ảnh [1,2,3] lĩnh vực mang tính khoa học công nghệ Tuy ngành khoa học mẻ so với nhiều ngành khoa học khác, tốc độ phát triển nhanh, nhiều viện nghiên cứu, ứng dụng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng áp dụng sống Xử lý ảnh đồ hoạ đóng vai trò quan trọng tương tác người - máy Mục đích xử lý ảnh nâng cao chất lượng ảnh phục vụ người xử lý ảnh liệu dạng hình ảnh để máy tính hiểu từ đưa định cần thiết Hình Quá trình xử lý ảnh Xử lý ảnh có nhiều ứng dụng đời sống : nhận dạng ảnh, vệ tinh dự báo thời tiết, viễn thám, ảnh y tế, khoa học hình sự, điện ảnh… 1.1.2 Điểm ảnh Điểm ảnh (Pixel) phần tử ảnh số toạ độ (x, y) với độ xám màu định Kích thước khoảng cách điểm ảnh chọn thích hợp cho mắt người cảm nhận liên tục không gian mức xám (hoặc màu) ảnh số gần ảnh thật Mỗi phần tử ma trận gọi phần tử ảnh Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn 1.1.3 Ảnh Ảnh số tập hợp điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần giống với ảnh thật Ảnh tạo nên từ hàng trăm ngàn hàng triệu ô vuông nhỏ - coi nhân tố ảnh thường biết tên gọi điểm ảnh Máy tính hay máy in sử dụng ô vuông nhỏ để hiển thị hay in ảnh Để làm điều máy tính hay máy in chia hình, trang giấy thành mạng lưới chứa ô vuông, sau sử dụng giá trị chứa file ảnh để định mầu sắc, độ sáng tối pixel mạng lưới đó, sở để ảnh số hình thành Việc kiểm soát, định địa theo mạng lưới gọi bit mapping ảnh số gọi ảnh bitmap 1.1.4 Mức xám ảnh - Định nghĩa: Mức xám (grey level) điểm ảnh cường độ sáng gán giá trị số điểm - Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256 mức phổ dụng kỹ thuật máy tính dùng byte (8 bit) để biểu diễn mức xám: Mức xám dùng byte biểu diễn: =256 mức, tức từ giá trị đến 255) - Ảnh đen trắng: ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám điểm ảnh khác - Ảnh nhị phân: ảnh có hai mức đen trắng phân biệt tức dùng bit mô tả 21 mức khác Nói cách khác: điểm ảnh ảnh nhị phân - Ảnh màu: khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên giới màu, người ta thường dùng ba byte để mô tả mức màu, giá trị màu: 8*3 =2 24 ≈ 16,7 triệu màu 1.1.5 Độ phân giải ảnh Định nghĩa: Độ phân giải (Resolution) ảnh mật độ điểm ảnh Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn ấn định ảnh số hiển thị Theo định nghĩa, khoảng cách điểm ảnh phải chọn cho mắt người thấy liên tục ảnh Việc lựa chọn khoảng cách thích hợp tạo nên mật độ phân bổ, độ phân giải phân bố theo trục x y không gian hai chiều Ví dụ: Độ phân giải ảnh hình CGA (Color Graphic Adapter) lưới điểm theo chiều ngang hình: 320 điểm chiều dọc × 200 điểm ảnh (320×200) Rõ ràng, hình CGA 12” ta nhận thấy mịn hình CGA 17” độ phân giải 320×200 Lý do: mật độ (độ phân giải) diện tích hình rộng độ mịn (liên tục điểm) 1.2 Các bước xử lý ảnh số Một hệ thống xử lý ảnh có sơ đồ tổng quát sau: Hình Các bước hệ thống xử lý ảnh Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Hình Sơ đồ phân tích, xử lý ảnh lưu đồ thông tin khối 1.3 Lượng tử hóa với Histogram Khi thuộc tính chọn, bước để mô hình Có nhiều mô hình có sẵn máy tính Vision - loại có ưu nhược điểm Nhưng viết này, tập trung vào biểu đồ Lý cho việc lựa chọn biểu đồ phổ biến Computer Vision Từ thống kê, biết biểu đồ nhiều phân bố tần số Do đó, biểu đồ màu sắc tần số màu sắc khác hình ảnh Chúng ta thêm bất biến quy mô để biểu đồ Điều có nghĩa đối tượng với quy mô khác có biểu đồ giống hệt Normalisation đạt cách chia giá trị bin với tổng giá trị thùng Để tạo biểu đồ màu, trước tiên cần phải định số lượng thùng biểu đồ Nói chung, thùng nhiều bạn có, khả phân biệt bạn nhận Nhưng sau đó, phía bên trái bạn cần tài nguyên tính toán Quyết định thứ hai bạn cần phải làm làm để thực biểu đồ màu sắc Hãy nhớ bạn thường có ba thành phần màu sắc, chẳng hạn Red, Green, Blue Một cách tiếp cận phổ biến, sử dụng mảng 3D mảng Đối với biểu đồ 16x16x16 bin, có 256/16 = 16 thành phần màu sắc cho bin Như ví dụ, giá trị RGB điểm ảnh 13, 232, 211, điều có nghĩa bạn đối phó với thùng RGB 0, 14, 13 Những số bin thu cách chia giá trị màu số thùng - 16 , trường hợp Có bạn có để tăng histogram [0, 14, 15] Nếu làm điều cho tất điểm ảnh hình ảnh, kết thúc với biểu đồ màu sắc hình ảnh nói với phân bố màu sắc hình ảnh II BÀI TOÁN THEO DÕI ĐỐI TƯỢNG 2.1 Giới thiệu Mặc dù nghiên cứu nhiều năm, toán “theo dõi đối Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn tượng” vấn đề nghiên cứu mở ngày Mức khó khăn vấn đề phụ thuộc nhiều vào đối tượng phát theo vết Nếu có vài đặc trưng thị giác, chẳng hạn màu sắc … dùng để biểu diễn đối tượng, dễ dàng để xác định tất pixel màu với đối tượng Nhưng thực tế lại hoàn toàn khác, ví dụ khuôn mặt người cụ thể có đầy đủ chi tiết tri giác thông tin nhiễu chẳng hạn tư chiếu sáng khác nhau, khó phát hiện, nhận diện theo vết Hầu hết khó khăn nảy sinh từ khả biến động ảnh video đối tượng video thường đối tượng chuyển động Khi đối tượng chuyển động qua vùng quan sát camera, hình ảnh đối tượng thay đổi nhiều Sự thay đổi đến từ nguồn chính: thay đổi tư đối tượng đích hay biến dạng đối tượng đích, thay đổi độ chiếu sáng, che khuất (occlusion) phần hay toàn đối tượng đích Mức khó khăn vấn đề phụ thuộc nhiều vào đối tượng phát theo vết Hiện nay, có nhiều phương pháp theo vết như: So khớp mẫu (Template Matching), Mean shift, lọc Kalman, lọc Particle … • Tìm hiểu phương pháp theo vết sử dụng “Mean shift” • Ứng dụng phương pháp toán theo vết đối tượng Có nhiều phương pháp giải toán này, ta phân loại thành bốn cách tiếp cận chính: tiếp cận dựa mô hình, tiếp cận dựa miền, tiếp cận dựa đường viền tiếp cận dựa đặc trưng 2.2 Tiếp cận dựa mô hình Cách tiếp cận dựa mô hình bao gồm việc tạo mô hình hình học cấu trúc đối tượng Các ràng buộc việc mô hình cho phép biến dạng kết hợp vào trình so khớp Vấn đề với cách tiếp cận trình khởi tạo tự động khó chi phí tính toán cao độ phức tạp mô hình 2.3 Tiếp cận dựa miền Cách tiếp cận dựa miền bao gồm việc kết hợp miền với đối tượng theo vết Miền theo vết qua thời gian Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn phép đo độ tương tự Lợi ích cách tiếp cận khởi tạo dễ dàng, có vị trí kích thước cửa sổ cần định nghĩa Các tham số thuật toán có ý nghĩa vật lý, dễ dàng khái niệm hóa 2.4 Tiếp cận dựa đường viền Cách tiếp cận dựa đường viền bao gồm tìm đường viền bao đối tượng sau cố gắng làm khớp đường viền với đối tượng frame sau Nơi khớp đường viền tại, mô hình cập nhật đường viền để phản ánh hình dáng đối tượng frame Quá trình lặp lại với mô hình đường viền cập nhật Ưu điểm cách tiếp cận là khả xử lý hiệu che khuất phần (partial occlusion) Tuy nhiên vấn đề với mô hình yêu cầu khởi tạo xác, điều khó để thực tự động 2.5 Tiếp cận dựa đặc trưng Khác với cách tiếp cận theo vết toàn đối tượng, cách tiếp cận dựa đặc trưng theo vết tập đặc trưng đối tượng Ví dụ theo vết điểm góc đối tượng, vị trí đối tượng frame sau tìm thấy cách tìm điểm góc mà khớp với điểm mô hình Ưu điểm cách tiếp cận xử lý che khuất phần Khi đối tượng bị che khuất, số đặc trưng thấy dùng trình theo vết Khuyết điểm phương pháp chất lượng theo vết phụ thuộc nhiều vào việc chọn đặc trưng Các đặc trưng phải chọn cho chúng cung cấp nhận diện cho đối tượng, nhiệm vụ dễ III HỆ THỐNG THEO DÕI ĐỐI TƯỢNG Một hệ thống theo dõi đối tượng thông thường gồm phần:  Phát đối tượng (Object Detection)  Phân đoạn (Segmentation)  Theo vết đối tượng (Object Tracking) Dưới đây, mô tả nhiệm vụ phần số cách tiếp cận Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn để giải phần Các hệ thống theo dõi hiệu thường kết hợp nhiều phương pháp khác 3.1 Phát đối tượng Phát đối tượng video xác minh diện đối tượng chuỗi ảnh định vị xác Các hệ thống theo dõi đối tượng thường bắt đầu trình phát đối tượng, phát đối tượng lặp lại chuỗi ảnh sau thường cần thiết hỗ trợ xác minh cho trình theo vết Một số cách tiếp cận phát đối tượng thông dụng: - Phát đối tượng dựa đặc trưng Tùy vào đặc trưng chọn, ta có cách tiếp cận khác như: dựa hình dáng, dựa màu sắc Trong đó, cách tiếp cận dựa màu sắc xem thông dụng đặc trưng màu sắc dễ dàng lấy chi phí tính toán thấp - Phát đối tượng dựa mẫu Nếu có mẫu mô tả đối tượng, việc phát đối tượng trở thành trình so khớp đặc trưng mẫu chuỗi ảnh phân tích Phát đối tượng với việc so khớp xác thường tốn nhiều chi phí chất lượng so khớp phụ thuộc vào chi tiết mức độ xác mẫu đối tượng Có hai kiểu so khớp mẫu, so khớp mẫu cố định so khớp mẫu biến dạng - Phát đối tượng chuyển động Phần lớn nghiên cứu cách giải toán theo dõi đối tượng tập trung vấn đề phát đối tượng chuyển động thập kỷ qua Bởi hầu hết hệ thống theo dõi quan tâm đến đối tượng chuyển động Có nhiều thuật toán phát chuyển động đề nghị Chúng phân loại tương đối thành nhóm sau - Dựa kỹ thuật lấy ngưỡng Cách tiếp cận dựa việc phát thay đổi theo thời gian mức pixel hay khối Kỹ thuật lấy ngưỡng sử dụng nhằm chống Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn CHƯƠNG THUẬT TOÁN MEANSHIFT I MẪU TÌM KIẾM Khi chúng có đại diện cho thuộc tính hình ảnh (VD: biểu đồ), thường cần phải thực nhận dạng Vì vậy, có biểu đồ nguồn biểu đồ ứng cử viên Kết hợp biểu đồ để tìm điểm tương đồng đối tượng ứng viên với đối tượng nguồn (tính độ tương tự ảnh mẫu ảnh cần đối sánh) Có nhiều kỹ thuật sử dụng chẳng hạn Bhattacharyya Coefficient, Earth Movers Distance, Chi Squared, Euclidean Distance etc Trong phần này, mô tả hệ số Bhattacharyya Mỗi kỹ thuật phù hợp có ưu nhược điểm Các hệ số Bhattacharyya hoạt động biểu đồ bình thường hóa với số giống hệt thùng Cho hai biểu đồ p q, hệ số Bhattacharyya tính với công thức: Xét theo hai biểu đồ sau đây, việc tính hệ số Bhattacharyya hiển thị đây: Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Như thấy, đòi hỏi phải nhân biểu đồ Hơn nữa, thấy biểu đồ giống hệt nhau, hệ số đạt Các giá trị hệ số Bhattacharyya dao động khoảng 01, vậy, viết trình bày thuật toán theo dõi tiếng cộng đồng Computer Vision gọi Meanshift Bài viết dựa loạt tài liệu nghiên cứu Comaniciu Et Al [1], [2], [3] Di chuyển trực quan theo dõi mô tả xác định đối tượng khung hình video sau theo dõi đối tượng khung hình Nó không bao gồm phát đối tượng Theo dõi giả định đối tượng chọn tay tự động Trong viết này, sử dụng lựa chọn tay với đối tượng Khi đối tượng chọn, số loại mô hình (s) tạo dựa số thuộc tính (s) sau sử dụng mô hình (s), đối tượng theo dõi khung Meanshift, mô tả tài liệu nghiên cứu đề cập, sử dụng màu sắc thuộc tính biểu đồ để mô hình hóa thuộc tính Chúng bao phủ điều kiện tiên phần II BÁM VẾT VỚI MEANSHIFT Với đối tượng, tạo biểu đồ màu sắc - gọi biểu đồ đích Khi nhận khung ảnh kế tiếp, phải tìm thấy Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn đối tượng với biểu đồ màu sắc tương tự vùng lân cận đối tượng khung hình trước Khi tìm thấy đối tượng này, dừng tìm kiếm chờ đến khung hình Quá trình lặp lặp lại nhiều lần cho kết việc bám đối tượng Tuy nhiên, có hai câu hỏi đặt ra: Làm để biết tìm thấy đối tượng? Làm để tìm kiếm vùng lân cận đối tượng? Câu trả lời cho câu hỏi sử dụng phương pháp kết hợp biểu đồ hợp biểu đồ, chẳng hạn Hệ số Bhattacharyya Vì vậy, ta tạo biểu đồ đối tượng kết hợp với biểu đồ mục tiêu Nếu độ tương tự lớn, chúng đối tượng; không, thực tìm kiếm vùng lân cận tạo biểu đồ kết hợp lần tìm thấy đối tượng có đủ độ tương tự Các cách tìm kiến vùng lân cận kỹ thuật bám vết mà thuật toán đặt tên Meanshift Meanshift thuật toán tìm kiếm Nói cách khác, đưa phân bố xác suất biểu đồ bình thường, thuật toán tìm kiếm Meanshift đỉnh biểu đồ III GIẢI THUẬT MEANSHIFT CƠ BẢN VÀ CẢI TIẾN 3.1 Basic Meanshift Đầu tiên chọn thuộc tính (s) đối tượng để mô hình đối tượng Sử dụng thuộc tính màu sắc biểu đồ Trong khung hình video, chọn đối tượng mục tiêu cách đặt khung giới hạn, hay gọi ROI (Region of Interest), xung quanh Giả sử tất thứ, bao gồm nền, hộp bounding thuộc mục tiêu, tạo biểu đồ màu sắc bình thường Bước lấy khung hình đặt khung giới hạn vị trí khung trước tạo ứng cử viên biểu đồ màu sắc Tiếp đến bit Meanshift Các bước lặp thuật toán Meanshift bao gồm bước 3-5 đây: Tạo mô hình mục tiêu ROI hình thức Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn biểu đồ dựa tính - thông thường màu sắc Đồng hóa biểu đồ mục tiêu Trong khung hình kế tiếp, tạo mô hình ứng viên biểu đồ vị trí "x" mục tiêu hình ảnh trước Đồng hóa biểu đồ ứng viên Mỗi pixel "I" ROI xung quanh "x" cung cấp mẫu bình quân Giả sử màu sắc cột u biểu đồ, sau số lượng điểm ảnh cho bởi: Cập nhật vector meanshift: Cập nhật vị trí lặp: Kết bước đối tượng theo dõi chuỗi khung hình Thuật toán Meanshift làm việc tỷ lệ cân đối (đánh dấu trên) với chế độ màu sắc có nhiều khả cho kết Đây kết thực chương trình bám đối tượng với thuật toán meanshift Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Bảng cho thấy tính toán thuật toán Meanshift X Y tọa độ, RGB điểm ảnh có giá trị màu sắc, Bin số biểu đồ tương ứng với giá trị màu RGB, giá trị cột biểu đồ, giá trị ứng cử viên bin histogram: Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Trọng tâm tìm thấy hình Tiếp tục di chuyển trọng tâm đến tìm thấy mục tiêu có khả cách sử dụng hệ số Bhattacharyya Theo đề xuất Comaniciu Et Al, cải tiến Meanshift basic tìm trọng tâm mới, ta tạo biểu đồ hình ảnh ROI tìm hệ số Bhattacharyya (gọi BC1) Di chuyển trọng tâm bước nhỏ tạo biểu đồ Sau đó, hệ số Bhattacharyya trọng tâm di chuyển nhỏ BC1, tiếp tục nhích trọng tâm hướng tới mục tiêu Hơn nữa, theo dõi trọng tâm chuyển từ vị trí trước số lần lặp Meanshift Các trọng tâm tìm thấy cách sử dụng khoảng cách Euclide trọng tâm trước Nếu trọng tâm số lần lặp Meanshift so với số ngưỡng, tiếp tục chạy thuật toán Meanshift.Sử dụng ngưỡng quan trọng cho mục đích thực tế theo dõi bị thất lạc, không muốn bị mắc kẹt vòng lặp vô hạn! 3.2 Kernel Meanshift Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Trong Kernel – Based Meanshift, tập hợp hạt nhân phủ lên ROI mô hình tạo dựa hạt nhân Các kỹ thuật bám vết đề xuất Comaniciu Et Al sử dụng hạt nhân Epanichnikov Do hình dạng hạt nhân nên pixel phía trung tâm ROI có giá trị lớn điểm ảnh cạnh, cung cấp khả bám vết để từ chối nhiễu Có khác biệt chủ yếu kernel-based Meanshift Basic Meanshift Khi mục tiêu mô hình ứng viên tạo bám đối tượng, Kernel-based Meanshift dựa hạt nhân thích hợp sử dụng ROI giá trị hạt nhân tương ứng với giá trị màu điểm ảnh sử dụng để tạo biểu đồ thay giá trị màu sắc thực tế Quá trình tạo mô hình bám đối tượng với Kernel- based Meanshift giống bình thường, hy vọng thay cột tăng tương ứng 1, giá trị hạt nhân địa điểm thêm vào cột Ví dụ, giá trị điểm ảnh màu rơi cột giá trị hạt nhân điểm ảnh 0,843, sau thêm 0,843 đến cột thay cách tăng giá trị cột Sử dụng hạt nhân Epanichnikov, giá trị cột "k" sau (các phương trình 2b 2c từ tập hợp Epanichnikov): Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Sử dụng hạt nhân Epanichnikov cho ROI với 5x5 pixel trông giống hình Chúng ta thấy điểm ảnh gần trung tâm có giá trị lớn điểm ảnh cạnh: 3.3 Background Weighted Meanshift Các mối quan tâm việc theo dõi trực quan Khi mục tiêu màu nhau, có xác suất cao mà kỹ thuật theo dõi bị lạc Comaniciu Et Al đề xuất biến thể thuật toán Meanshift biểu đồ khu vực xung quanh ROI tính toán hợp với biểu đồ ROI để tạo mô hình đáng tin cậy Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Một biểu đồ tạo cho khu vực xung quanh cửa sổ ROI Một khu vực thích hợp lựa chọn làm mốc Đối với cột biểu đồ, giá trị sau bắt đầu cách tối thiểu số khác không tối thiểu cột Nếu biểu đồ bình thường nhỏ, sau trọng số lấy theo: mục khác không Các trọng số để làm giảm tầm quan trọng tính bật nền, tức dùng thấp - điều đưa đây: Lấy giá trị khác không nhỏ từ biểu đồ Đối với bin biểu đồ mục tiêu: Tìm thấy Áp dụng trọng lượng để mô hình mục tiêu: Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn CHƯƠNG III: XÂY DỰNG ỨNG DỤNG THỬ NGHIỆM I YÊU CẦU ĐỐI VỚI ỨNG DỤNG - Ứng dụng xây dựng ngôn ngữ lập trình C# lập trình môi trường Visual Studio 2015; - Yêu cầu chức năng: + Nhập thư mục hình ảnh với hình ảnh liên tiếp (có thể cắt khung hình liên tiếp từ video); + Khi người dùng lựa chọn vùng cần bám vết (lựa chọn tay) xuất khung vuông khoanh vùng khu vực lựa chọn; + Khi người dùng chọn “Start” duyệt qua tất hình thư mục đánh dấu vị trí đối tượng lựa chọn trước II GIAO DIỆN CỦA CHƯƠNG TRÌNH Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Hình Giao diện khởi động Hình Lựa chọn thư mục ảnh Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Hình Lựa chọn đối tượng cần bám Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn Hình Kết thực chương trình Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn KẾT LUẬN Meanshift xem thuật toán mạnh nhận dạng bám đối tượng Vì vậy, phạm vi đề tài tìm hiểu cài đặt thuật toán mức bản, sau xây dựng ứng dụng mô việc bám đối tượng sử dụng Meanshift Để cải tiến phát triển thành ứng dụng đầy đủ cần phải đầu tư thời gian có phương pháp nghiên cứu mức cao Với nguồn tài liệu khan hiếm, vốn tiếng anh hạn hẹp đồng thời kiến thức thị giác máy tính chưa nhiều nên đề tài nhiều tồn tại, hạn chế cần chỉnh sửa, khắc phục Nhóm mong đóng góp thầy PGS.TS Phạm Văn Cường bạn lớp để hoàn thiện báo cáo nhóm Xin trân trọng cảm ơn! Nhóm – Lớp Hệ thống thông tin M16CQIS01-B Báo cáo môn Thị giác máy tính Cường Hướng dẫn: PGS.TS Phạm Văn TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, 1999, Nhập môn Xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật, Hà Nội [2] Nguyễn Quang Hoan, 2006, Xử lý ảnh, Học viện bưu viễn thông [3] Brown M and Lowe D.G 2002, Invariant features from interest point groups, In The 13th British Machine Vision Conference, Cardiff University, UK [4] http://www.codeproject.com/Articles/35463/Computer-Vision-Applica tions-with-C-Part-III [5] http://en.wikipedia.org/wiki/Scale-invariant_feature_transform [6] http://en.wikipedia.org/wiki/Computer_vision Nhóm – Lớp Hệ thống thông tin M16CQIS01-B ... hệ thống bám đối tượng di động sử dụng thuật toán Meanshift Meanshift thuật toán tracking, tức sau phát đối tượng nằm đâu theo dõi chuyển động đối tượng Đối tượng khuôn mặt, đồ vật đối tượng khác... pháp khác 3.1 Phát đối tượng Phát đối tượng video xác minh diện đối tượng chuỗi ảnh định vị xác Các hệ thống theo dõi đối tượng thường bắt đầu trình phát đối tượng, phát đối tượng lặp lại chuỗi... cho đối tượng, nhiệm vụ dễ III HỆ THỐNG THEO DÕI ĐỐI TƯỢNG Một hệ thống theo dõi đối tượng thông thường gồm phần:  Phát đối tượng (Object Detection)  Phân đoạn (Segmentation)  Theo vết đối tượng