Nghiên cứu và xây dựng module theo dõi tự động các đối tượng ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỖ NGUYỄN TRUNG NGHIÊN CỨU VÀ XÂY DỰNG MODULE THEO DÕI TỰ ĐỘNG CÁC ĐỐI TƯỢNG ẢNH CHUYÊN NGÀNH ĐO LƯỜNG & CÁC HỆ THỐNG ĐIỀU KHIỂN LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH ĐO LƯỜNG & CÁC HỆ THỐNG ĐIỀU KHIỂN NGƯỜI HƯỚNG DẪN KHOA HỌC : TS TRẦN THỊ THANH HẢI HÀ NỘI - 2010 MỤC LỤC Trang phụ bìa Trang Lời cam đoan Danh mục bảng Danh mục hình vẽ Mở đầu Chương I - Tổng quan toán theo dõi đối tượng ảnh 1.1 Mơ hình tốn 1.1.1 Định nghĩa toán 1.1.2 Phân loại toán 1.1.3 Các bước tốn 1.1.4 Vai trị toán 1.2 Biểu diễn đối tượng 1.2.1 Hình dạng 1.2.2 Diện mạo 1.2.3 Trích chọn đặc trưng 1.3 Phát đối tượng ảnh 1.4 Theo dõi đối tượng ảnh 12 1.4.1 Xây dựng mẫu chuyển động 12 1.4.2 Theo vết mean-shift camshift 14 1.4.3 Xât dựng ước lượng 16 1.5 Phân tích chuyển động 19 1.6 Kết luận 19 Chương II - Theo dõi đối tượng ảnh sử dụng lọc Kalman 2.1 Khó khăn giả thiết 21 2.1.1 Những khó khăn 21 2.1.2 Các giả thiết 24 2.2 Module theo dõi đối tượng ảnh sử dụng lọc Kalman Filter 25 2.2.1 Phạm vi nghiên cứu 25 2.2.2 Sơ đồ khối module 25 2.3 Phương pháp trừ 27 2.3.1 Giới thiệu 27 2.3.2 Điều kiện thực 28 2.3.3 Phát chuyển động 28 2.3.4 Giải thuật codebook 29 2.3.5 Lọc bỏ nhiễu liên kết thành phần liên thông 31 2.4 Bộ lọc Kalman 32 2.4.1 Giới thiệu 32 2.4.2 Phương trình tốn học 33 2.4.2.1 Các phương trình trạng thái phép đo 33 2.4.2.2 Các phương trình tính tốn lọc 34 2.4.2.3 Các phương trình xác suất lọc 36 2.4.3 Thuật toán Kalman rời rạc 37 2.5 Gán quan sát – đối tượng 38 2.5.1 Biểu diễn đối tượng dựa vào màu sắc 39 2.5.2 Biểu diễn đối tượng dựa vào histogram 41 2.5.3 Thước đo độ tương tự 42 Chương III - Thiết kế cài đặt 3.1 Môi trường thiết kế 44 3.2 OpenCV hàm xử lý 44 3.3 Module chương trình 45 3.4 Học trừ theo giải thuật codebook 47 3.4.1 Lưu đồ thuật toán 47 3.4.2 Các hàm xử lý 49 3.4.3 Kết minh họa 50 3.5 Phát đối tượng chuyển động 52 3.5.1 Lưu đồ thuật toán 52 3.5.2 Các hàm xử lý 53 3.6 Theo dõi đối tượng 54 3.6.1 Lưu đồ thuật toán 54 3.6.2 Các hàm xử lý 57 Chương IV - Thử nghiệm đánh giá 4.1 Cơ sở liệu thử nghiệm 60 4.2 Thước đo đánh giá kết 60 4.3 Thông số cài đặt 61 4.3.1 Thông số phục vụ xây dựng mơ hình 61 4.3.2 Thơng số xác định đối tượng chuyển động 62 4.3.3 Thông số khởi tạo lọc Kalman 62 4.4 Kết thử nghiệm 63 4.4.1 Kết thử nghiệm video 63 4.4.2 Kết thử nghiệm video 65 4.4.2 Kết thử nghiệm video 68 4.4.2 Kết thử nghiệm video 69 4.5 Kết luận kiến nghị 71 4.6.1 Những kết đạt 72 4.6.2 Hướng phát triển 72 LỜI CAM ĐOAN Tôi xin cam đoan luận văn cao học “Nghiên cứu xây dựng module theo dõi tự động đối tượng ảnh” tự thực hướng dẫn Tiến sĩ Trần Thi Thanh Hải, không chép nội dung từ đồ án khác, hay sản phẩm tương tự mà làm Để hồn thành luận văn cao học này, tơi sử dụng tài liệu ghi phần tài liệu tham khảo không sử dụng tài liệu khác Nếu phát có chép, tơi xin hồn tồn chịu trách nhiệm Hà Nội, ngày tháng năm Học viên Đỗ Nguyễn Trung DANH MỤC CÁC BẢNG Bảng 4-1 Tập video thử nghiệm 60 Bảng 4-2 Thông số cài đặt cho video 63 Bảng 4-3 Kết định lượng video 63 Bảng 4-4 Thông số cài đặt cho video 65 Bảng 4-5 Kết định lượng video 65 Bảng 4-6 Thông số cài đặt cho video 68 Bảng 4-7 Kết định lượng video 68 Bảng 4-8 Thông số cài đặt cho video 70 Bảng 4-9 Kết định lượng video 70 DANH MỤC CÁC HÌNH VẼ Hình 1-1 Ba bước hệ thống theo dõi giám sát phân tích kiện Hình 1-2 Biểu diễn hình dạng đối tượng Hình 1-3 Đặc trưng màu sắc Hình 1-4 Phương pháp trừ 11 Hình 1-5 Lưu đồ xây dựng mẫu chuyển động 13 Hình 1-6 Hai pha chu trình ước lượng 17 Hình 2-1 Hình dạng trang phục người khác 21 Hình 2-2 Tư hướng vận động người thay đổi liên tục 22 Hình 2-3 Mơi trường với nhiều yếu tố thay đổi 22 Hình 2-4 Người khuất sau cột đèn 23 Hình 2-5 Hệ thống theo dõi sử dụng nhiều camera 24 Hình 2-6 Sơ đồ khối module theo dõi đối tượng ảnh sử dụng lọc Kalman 26 Hình 2-7 Hoạt động giải thuật codebook với tín hiệu chiều 30 Hình 2-8 Sơ đồ chu trình lọc Kalman 37 Hình 2-9 Sơ đồ hoạt động lọc Kalman 38 Hình 2-10 Mơ hình khơng gian màu RGB 39 Hình 2-11 Mơ hình khơng gian màu HSV 40 Hình 2-12 Mơ hình khơng gian màu YcbCr 41 Hình 2-13 Biểu diễn histogram tập điểm ảnh 42 Hình 3-1 Lưu đồ thuật tốn module chương trình 46 Hình 3-2 Lưu đồ thuật tốn học trừ 47 Hình 3-3 Kết minh họa trình học trừ 51 Hình 3-4 Lưu đồ thuật tốn phát đối tượng chuyển động 52 Hình 3-5 Lưu đồ thuật tốn theo dõi đối tượng 55 Hình 4-1 Kết phát theo dõi video 64 Hình 4-2 Kết phát theo dõi video 66 Hình 4-3 Kết phát sai dẫn đến quan sát video 67 Hình 4-4 Kết phát theo dõi video 69 Hình 4-5 Kết phát theo dõi video 71 MỞ ĐẦU Theo dõi đối tượng ảnh video (object tracking) hướng nghiên cứu có ý nghĩa quan trọng lĩnh vực thị giác máy tính (computer vision) Sự phát triển nhanh chóng cơng nghệ máy tính, việc đời camera hệ chất lượng cao giá thành hạ, tiến vượt bậc lĩnh vực phân tích ảnh (image analysis) tạo điều kiện thuận lợi, bổ sung nhiều cơng cụ tiện ích hỗ trợ thực toán Các ứng dụng theo dõi đối tượng ảnh video kể đến : Nhận dạng dựa chuyển động (motion-based recognition): thực thơng qua việc phân tích chuyển động đối tượng Các ứng dụng cụ thể phân lớp kiện có người theo dáng (silhouette) cử (gesture), tự động theo dõi nhiều đối tượng Giám sát tự động (automated surveillance): Các hệ thống giám sát tự động tiến hành quan sát khu vực nhằm phát người xâm nhập vào vùng không cho phép hoạt động bất thường Tương tác người - máy (human - computer interaction): Quá trình tương tác người máy thực thông qua việc nhận biết cử (cử bàn tay, cử thể) hay cảm xúc (gương mặt) người Giám sát giao thông (traffic monitoring): Hệ thống giám sát giao thông thu thập xử lý hình ảnh từ camera tuyến đường, để điều chỉnh luồng phương tiện lại, khắc phục tình trạng tắc đường Thiết kế xe tự hành (vehicle navigation): Xe tự hành loại xe có khả lập trình đường tránh vật cản Mặc dù nghiên cứu qua nhiều năm, toán theo dõi đối tượng ảnh vấn đề mở Những khó khăn gặp phải thực tốn kể đến : Mất thông tin phép chiếu cảnh vật 3D lên ảnh 2D quay video tượng chuyển động với mô hình xây dựng Trong luận văn, sử dụng mơ hình codebook cho q trình học kiểm tra Tỷ lệ ngưỡng perimScale: chọn để loại bỏ vùng có chu vi đường bao nhỏ hay đối tượng không quan tâm 4.3.2 Thông số xác định đối tượng chuyển động Để phát đối tượng chuyển động, cần vào thông tin biết đối tượng cần theo dõi Vì đối tượng thử nghiệm người nên sử dụng thông tin kích thước tương đối chiều rộng ojW, chiều cao ojH nhỏ đối tượng để xác định xem vùng chuyển động thu có phải đối tượng hay không Việc lựa chọn ước lượng vào vị trí khoảng cách đến đối tượng quan sát camera 4.3.3 Thông số khởi tạo lọc Kalman Vùng chứa đối tượng chuyển động biểu diễn hình chữ nhật bao quanh đối tượng nên vector biến trạng thái vector biến quan sát cài đặt cho lọc Kalman có thành phần tọa độ đỉnh bên trái, chiều rộng, chiều cao hình chữ nhật Những giá trị thu bước phát đối tượng Chi tiết phương trình cài đặt xem mục 3.6.1 Đề tài giả thiết đối tượng ảnh chuyển động với vận tốc khơng lớn đều, để coi mơ hình hệ thống theo dõi tuyến tính, nhiễu q trình phép đo nhiễu trắng, phân bố Gaussian Do đó, thơng số lựa chọn gồm: vx, vy, bW, bH : vận tốc đối tượng Q : hiệp phương sai nhiễu trình R : hiệp phương sai nhiễu phép đo P : hiệp phương sai sai số ước lượng 62 Vận tốc đối tượng lấy theo thông tin ngữ cảnh đối tượng quan sát Còn phương sai lựa chọn dựa đánh giá độ tin tưởng hai bước hệ thống theo dõi đối tượng Nếu tín tưởng vào phép đo, tương ứng với bước phát đối tượng cho R → Nếu chắn dự đoán, tức bước theo dõi đối tượng cho P → 4.4 Kết thử nghiệm 4.4.1 Kết thử nghiệm video Dưới bảng thông số cài đặt, bảng kết định lượng số hình ảnh kết định tính chạy module chương trình với 406 frame ảnh video Thông số Giá trị Số lượng frame học frtoLearn = 24 Ngưỡng biên từ mã =10, max =10 Ngưỡng học learnHigh = 10, learnLow =9 Tỷ lệ ngưỡng perimScale =2 Kích thước ước lượng đối tượng ojW = 50, ojW =100 Vận tốc đối tượng vx =50, vy = 50, bW =10, bH =10 Phương sai Q = 1e-1, R= 1e-1, P = Bảng 4-2 Thông số cài đặt cho video Frame nOj nOj found nOj track fPre tfPre tPre 88 88 88 88 100% 100% 100% 84 84 84 100% 100% 100% 172 172 172 100% 100% 100% (frame 104-199) 84 (frame 308-392) Sum Bảng 4-3 Kết định lượng video 63 Từ bảng kết thấy, trường hợp video 1, có đối tượng, module chương trình làm việc tốt Tỷ lệ phát theo dõi thành công 100%   frame #148 frame #155 frame #167 (a) (b) (c) Hình 4-1 Kết phát theo dõi video Hình 4-1 biểu diễn kết phát theo dõi đối tượng chuyển động người frame #148, #155, #167 video Cột frame (a) thể bước phát vùng chuyển động frame Cột frame (b) thể bước lọc bỏ 64 nhiễu liên kết thành phần liên thông Cột frame (c) thể kết theo dõi với hình chữ nhật đỏ ước lượng vị trí vùng chứa đối tượng chuyển động 4.4.2 Kết thử nghiệm video Dưới bảng thông số cài đặt, bảng kết định lượng số hình ảnh kết định tính chạy module chương trình với 1003 frame ảnh video Thông số Giá trị Số lượng frame học frtoLearn = 48 Ngưỡng biên từ mã =10, max =10 Ngưỡng học learnHigh = 10, learnLow =9 Tỷ lệ ngưỡng perimScale =2 Kích thước ước lượng đối tượng ojW = 50, ojW =100 Vận tốc đối tượng vx =50, vy = 50, bW =10, bH =10 Phương sai Q = 1e-1, R= 1e-1, P = Bảng 4-4 Thông số cài đặt cho video Frame nOj nOj found nOj track fPre tfPre tPre 70 70 70 70 100% 100% 100% 62 62 62 100% 100% 100% 135 115 87 85% 75% 64% 185 136 120 73% 88% 64% 270 145 123 53% 84% 45% 722 528 462 73% 87.5% 64% (frame 80-150) 62 (frame 234-296) 59 (frame 384-443) 87 (frame 606-693) 106 (frame 834-940) Sum Bảng 4-5 Kết định lượng video 65 Trong frame từ 80 đến 150 frame từ 234 đến 296, có đối tượng chuyển động nên phát theo dõi hoạt động tốt Trong frame từ 384 đến 443, frame từ 606 đến 693 có hai đối tượng di chuyển ngang nhau, xảy che khuất, phát không xác định dẫn đến kết theo dõi giảm Đặc biệt frame từ 834 đến 940, hai đối tượng xuất nhau, phát nhận có đối tượng dẫn đến kết theo dõi đạt thấp   frame #616 frame #619 frame #621 (a) (b) (c) Hình 4-2 Kết phát theo dõi video 66 Hình 4-2 biểu diễn kết phát theo dõi đối tượng chuyển động người frame #616, #619, #621 video Cột frame (a) thể bước phát vùng chuyển động frame Cột frame (b) thể bước lọc bỏ nhiễu liên kết thành phần liên thông Cột frame (c) thể kết theo dõi với hình chữ nhật đỏ ước lượng vị trí vùng chứa đối tượng chuyển động thứ nhất, hình chữ nhật xanh ước lượng vị trí vùng chứa đối tượng chuyển động thứ hai   frame #416 frame #418 frame #425 (a) (b) (c) Hình 4-3 Kết phát sai dẫn đến quan sát video 67 Hình vẽ 4-3 kết theo dõi sai frame #416, #418 Có thể dễ dàng nhận thấy việc theo dõi sai che lấp hai đối tượng dẫn đến phát mắc lỗi Frame #425 thể sau hai người tách nhau, trình theo dõi lại thực bình thường 4.4.3 Kết thử nghiệm video Dưới bảng thông số cài đặt, bảng kết định lượng số hình ảnh kết định tính chạy module chương trình với 302 frame ảnh video Thơng số Giá trị Số lượng frame học frtoLearn = 36 Ngưỡng biên từ mã =10, max =10 Ngưỡng học learnHigh = 20, learnLow =15 Tỷ lệ ngưỡng perimScale =16 Kích thước ước lượng đối tượng ojW = 10, ojW =10 Vận tốc đối tượng vx =25, vy = 25, bW =10, bH =10 Phương sai Q = 1e-1, R= 1e-1, P = Bảng 4-6 Thông số cài đặt cho video Frame nOj nOj found nOj track fPre tfPre tPre 88 358 311 266 100% 100% 100% 358 311 266 86.8% 85.5% 74.3% (frame 37-199) Sum Bảng 4-7 Kết định lượng video Trong video 3, hai người di chuyển có lúc tiếp xúc nhau, xảy che khuất, phát không xác định Mặt khác, màu quần áo đối tượng tương đối trùng khớp với màu môi trường nên số thời điểm bị quan sát Hình 4-4 biểu diễn kết phát theo dõi đối tượng chuyển động người frame #84, #92, #192 video Cột frame (a) thể 68 bước phát vùng chuyển động frame Cột frame (b) thể bước lọc bỏ nhiễu liên kết thành phần liên thông Cột frame (c) thể kết theo dõi với hình chữ nhật đỏ ước lượng vị trí vùng chứa đối tượng chuyển động thứ nhất, hình chữ nhật xanh ước lượng vị trí vùng chứa đối tượng chuyển động thứ hai   frame #84 frame #92 frame #192 (a) (b) (c) Hình 4-4 Kết phát theo dõi video 4.4.3 Kết thử nghiệm video Dưới bảng thông số cài đặt, bảng kết định lượng số hình ảnh kết định tính chạy module chương trình với 750 frame ảnh video 69 Thông số Giá trị Số lượng frame học frtoLearn = 144 Ngưỡng biên từ mã =10, max =10 Ngưỡng học learnHigh = 10, learnLow =9 Tỷ lệ ngưỡng perimScale =6 Kích thước ước lượng đối tượng ojW = 15, ojW =10 Vận tốc đối tượng vx =25, vy = 25, bW =10, bH =10 Phương sai Q = 1e-1, R= 1e-1, P = Bảng 4-8 Thông số cài đặt cho video Frame nOj nOj found nOj track fPre tfPre tPre 186 186 169 169 90% 100% 90% 298 270 264 90% 97.7% 88.5% 484 439 433 90% 98.6% 89.5% (frame 390-204) 186 (frame 464-672) Sum Bảng 4-9 Kết định lượng video Trong video 4, màu quần áo đối tượng tương đối trùng khớp với màu môi trường nên số thời điểm bị quan sát Tuy nhiên, video phần lớn gồm đối tượng di chuyển khung hình nên kết đạt tốt Hình 4-5 biểu diễn kết phát theo dõi đối tượng chuyển động người frame #215, #368, #544 video Cột frame (a) thể bước phát vùng chuyển động frame Cột frame (b) thể bước lọc bỏ nhiễu liên kết thành phần liên thông Cột frame (c) thể kết theo dõi với hình chữ nhật đỏ ước lượng vị trí vùng chứa đối tượng chuyển động thứ nhất, hình chữ nhật xanh ước lượng vị trí vùng chứa đối tượng chuyển động thứ hai Ở frame #368, màu quần áo người di chuyển lẫn với màu tường nhà, vùng chuyển động bị tách thành nhiều phần nhỏ, bước lọc nhiễu liên kết thành phần xóa bỏ thành phần này, dẫn đến hệ thống không phát đối tượng 70   frame #215 frame #368 frame #544 (a) (b) (c) Hình 4-5 Kết phát theo dõi video 4.5 Kết luận kiến nghị Phương pháp theo dõi đối tượng ảnh sử dụng lọc Kalman kết hợp với kỹ thuật gán quan sát - đối tượng qua thực nghiệm chứng tỏ cách tiếp cận tương đối hiệu Với trường hợp đối tượng chuyển động, tỷ lệ theo dõi thành cơng hồn tồn Cịn trường hợp có đối tượng quan sát, tỷ lệ theo dõi thành công cao xét số đối tượng phát 71 4.5.1 Những kết đạt 1) Đề tài nghiên cứu kỹ thuật biểu diễn đối tượng ảnh đặc trưng dùng tốn theo dõi 2) Đề tài nghiên cứu số phương pháp theo dõi đối tượng ảnh phổ biến xây dựng mẫu chuyển động, theo vết mean-shift camshift, xây dựng ước lượng 3) Từ nội dung tìm hiểu, đề tài đề xuất lựa chọn sử dụng lọc Kalman, nằm nhóm phương pháp xây dựng ước lượng, kết hợp với thước đo độ tương tự histogram để thiết kế module theo dõi đối tượng ảnh video Những vấn đề giải trình thiết kế: Xây dựng phát đối tượng đơn giản phương pháp trừ theo giải thuật codebook Thực phép tiền xử lý ảnh bản: phát đường biên, liên kết thành phần liên thơng, tốn tử morphological Tính tốn histogram vùng ảnh chứa đối tượng cần quan tâm xác định công cụ so sánh sai khác hai phân bố mức xám Thực việc cài đặt thử nghiệm lọc Kalman kỹ thuật ứng dụng trường hợp toán theo dõi nhiều đối tượng ảnh Tiến hành thử nghiệm có đánh giá với liệu video thực tế Module chương trình có tính mở nên hồn tồn có khả thay cải tiến khâu module Những kết cho thấy module theo dõi đối tượng ảnh video luận văn phát triển để đưa vào ứng dụng thực tế 4.5.2 Hướng phát triển Trong trình thực đề tài, hạn chế trình độ thời gian nghiên cứu, hệ thống thiết kế tiến hành thử nghiệm số trường hợp 72 đơn giản, với ngữ cảnh hẹp theo dõi người, mơi trường quan sát bị tác động thay đổi điều kiện ánh sáng Từ hạn chế dề tài chưa có phát đối tượng hiệu quả, chưa có thước đo độ tương tự mạnh phục vụ khâu gán quan sát - đối tượng, hướng phát triển đề tài: Tập trung cải tiến phát đối tượng : nghiên cứu xây dựng phát đối tượng mới, tìm cách kết hợp nhiều phát đối tượng dựa tiêu chí khác để giải trường hợp đối tượng theo dõi bị che lấp giao cắt Tập trung cải tiến thuật toán gán quan sát - đối tượng : thay sử dụng thước đo histogram, bổ sung thước đo đặc trưng màu sắc, đường bao, kết cấu, khoảng cách Đưa vào số chiến thuật gán quan sát đối tượng cho phép xử lý trường hợp nhập nhằng đối tượng che khuất lẫn nhau, đối tượng bị che khuất cảnh vật môi trường Phát triển khả phát theo dõi module: thử nghiệm hệ thống ngữ cảnh phức tạp hơn, toán theo dõi phương tiện giao thơng, tốn theo dõi người vùng quan sát rộng Xây dựng ước lượng hiệu hơn: lọc Kalman hoạt động tốt sở giả thiết biến trạng thái tuân theo phân bố chuẩn Gaussian Vì vậy, nhiều trường hợp, giả thiết không dẫn đến sai lệch dự báo Do đó, cần xem xét việc sử dụng ước lượng dựa lọc Particle, lọc HMM (Hidden Markov Mode) Tuy nhiên, phải ý yêu cầu tính thời gian thực tốn 73 TÀI LIỆU THAM KHẢO [1] D.Baymer, K.Konolige, (1999), Real-time Tracking of Multiple People Using Continuous Detection, CVPA [2] G.Bishop, G.Welch, (2001), An Introduction to the Kalman Filter, University of North Carolina, Chapel Hill, NC 27599-3175 [3] M.Black, P.Anandan, (1994), The Robust Estimation of Multiple Motions: Parametric and Piecewise-Smooth Flow Fields, AcademicPress Inc [4] A.Boucher, (2008), Image Processing & Computer Vision: Overview, Cần Thơ [5] G.Bradski, (1998), Computer Video Face Tracking for Use in a Perceptual User Interface, Intel Technology Journal [6] G.Bradski, J.Davis, (2000), Motion Segmentation and Pose Recognition with Motion History Gradients, IEEE Workshop on Applications of Computer Vision [7] G.Bradski, A.Kaehler, (2008), Learning OpenCV, O’Reilly Media Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472 [8] V.Caselles, R.Kimmel, G.Sapiro, (1997), Geodesic Active Contours, IJCV [9] F.Cheng, Y.Chen, (2005), Real-time Multiple Objects Tracking and Identification Based on Discrete Wavelet Transform, CVGIP 2005 [10]D.Comaniciu, (2003), Nonparametric Information Fusion for Motion Estimation, CVPA [11]D.Comaniciu, P.Meer, (2002), Mean Shift: A Robust Approach Toward Feature Space Analysis, 2002 IEEE [12]D.Forsyth, J.Ponce, (2002), Computer Vision: A Modern Approach, PrenticeHall [13]X.Gao, T.Boult, F.Coetzee, V.Ramesh, (2000), Error Analysis of Background Adaption, CVPR [14]C.Harris, M.Stephens, (1988), A Combined Corner and Edge Detector, The Plessey Company [15]PGS.TS Nguyễn Quang Hoan, (2006), Xử lý ảnh, Học viện Công nghệ Bưu Viễn Thơng [16]I.Horton, (2008), Ivor Horton’s Beginning Visual C++2008, Wiley Publishing Inc., Indianapolis, Indiana [17]Intel Corporation, (2000), OpenCV Reference Manual, Intel Corporation, U.S.A [18]M.Isard, A.Blake, (1998), Condensation-Conditional Density Propagation for Visual Tracking, IJCV [19]S.Johnsen, A.Tews, (2009), Real-time Object Tracking and Classification Using a Static Camera, IEEE ICRA 2009 [20]K.Kim, T.H.Chalidabhongse, D.Harwood, L.Davis, (2005), Real-time Foreground Background Segmentation Using Codebook Model, Elsevier Ltd [21]J.LeRoux, (2003), An introduction to Kalman Filtering: Probabilistic and Deterministic Approaches, University of Nice [22]D.Lowe, (2004), Distinctive Image Features from Scale-Invariant Keypoints, IJCV [23]H.Moravec, (1979), Visual Mapping by a Robot Rover, Stanford Artificial Intelligence Laboratory [24]C.Papageorigiou, M.Oren, T.Poggio, (1998), A General Framework for Object Detection, ICCV [25]F.Porikli, O.Tuzel, (2005), Object Tracking in Low-Frame-Rate Video, Mitsubishi Electric Research Laboratories, Cambridge, USA [26]J.Rittscher, J.Kato, S.Joga, A.Blake, (2000), A Probabilistic Background Model for Tracking, ECCV [27]R.Rosales, S.Sclaroff, (1999), 3D Trajectory Recovery for Tracking Multiple Objects and Trajectory Guided Recognition of Action, 1999 IEEE [28]H.Rowley, S.Baluja, T.Kanade, (1998), Neural Network-Based Face Detection, 1998 IEEE [29]B.Schiele, J.Crowley, (1996), Object Recognition Using Multidimensional Receptive Field Histogram, ECCV [30]J.Shi, J.Malik, (1997), Normalized Cuts and Image Segmentation, 1997 IEEE [31]J.Shi, C.Tomasi, (1994), Good Features to Track, CVPR94 [32]C.Stauffer, W.Grimson, (2000), Learning Patterns of Activity Using Realtime Tracking, 2000 IEEE [33]M Swain, D.Ballard, (1991), Color Indexing, IJCV [34]K.Toyama, J.Krumm, B.Brumitt, B.Meyers, (1999), Wallflower: Principles and Practice of Background Maintenance , ICCV [35]S.Vigus, D.Bull, C.Canagarajah, (2001), Video Object Tracking Using Region Split and Merge and a Kalman Filter Tracking Algorithm, 2001 IEEE [36]P.Viola, M.Jones, D.Snow, (2003), Detecting Pedestrians Using Patterns of Motion and Appearance, Mitsubishi Electric Research Laboratories Inc., 201Broadway, Cambridge, Massachusetts 02139 [37]C.Wren, (1996), Pfinder: Real-time Tracking of the Human Body, Massachusetts Institute of Technology [38]Z.Wu, R.Leahy, (1993), An Optimal Graph Theoretic Approach to Data Clustering: Theory and Its Application to Image Segmentation, 1993 IEEE [39]A.Yilmaz, O.Javed, M.Shah, (2006), Object Tracking: A survey, ACM Inc., Penn Plaza, Suite 701, NewYork, NY10121-0701 [40]A.Yilmaz, X.Li, M.Shah, (2004), Contour-Based Object Tracking with Occlusion Handling in Video Acquired Using Mobile Cameras, 2004 IEEE ... bước, phát đối tượng theo dõi đối tượng: Bước 1- Phát đối tượng: Bước làm nhiệm vụ tìm đối tượng chuyển động frame ảnh Do trọng tâm đề tài toán phát đối tượng mà toán theo dõi đối tượng nên đề... diễn đối tượng ảnh Các bước tốn theo dõi đối tượng ảnh nói riêng hệ thống theo dõi giám sát phân tích kiện nói chung liên quan đến đối tượng ảnh Vì vậy, trước tiên cần phải định nghĩa đối tượng ảnh. .. TOÁN THEO DÕI ĐỐI TƯỢNG ẢNH 1.1 Mơ hình tốn 1.1.1 Định nghĩa toán Theo dõi đối tượng ảnh video (object tracking) thực dự đoán quỹ đạo chuyển động đối tượng mặt ảnh phẳng đối tượng di chuyển Nói cách