PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO

Giám sát là một vấn đề được rất nhiều nhà nghiên cứu quan tâm đặc biệt bởi những ứng dụng thiết thực của nó cho đời sống xã hội. Chẳng hạn như các hệ thống giám sát các hành vi khả nghi của tội phạm, khủng bố ở các địa điểm nhạy cảm của các chính phủ. Hệ thống giám sát trong các viện bảo tàng, lưu trữ để chống trộm cắp các di vật đang được trưng bày. Hệ thống giám sát các hiện tượng bất bình thường, vi phạm pháp luật, tai nạn ở các điểm giao thông. Hệ thống giám sát phòng chống hỏa hoạn. Các hệ thống giám sát trong các siêu thị, cửa hàng, công ty để chống trộm cắp,…

LỜI CẢM ƠN Chúng tôi xin bày tỏ lòng biết ơn sâu sắc đến TS. Trần Hành đã hướng dẫn nhiệt tình, tận tâm trong suốt quá trình tôi thực hiện nghiên cứu này. Chúng tôi xin chân thành cảm ơn các bạn đồng nghiệp trong Trung Tâm Thông Tin Tư Liệu - Trường Đại học Lạc Hồng đã giúp đỡ cho tôi trong suốt thời gian nghiên cứu tại trường. Chúng tôi cũng xin chân thành cảm ơn quí Thầy (Cô) trong và ngoài trường đã tận tâm giúp đỡ tôi trong quá trình nghiên cứu. MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH MỤC CÁC TỪ VIẾT TẮT iv DANH MỤC HÌNH v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC LƯỢC ĐỒ vii MỞ ĐẦU 1 Chương 1 4 KHÁI QUÁT VỀ XỬ LÝ VIDEO VÀ GIÁM SÁT ĐỐI TƯỢNG 4 1.1. Khái quát về xử lý Video 4 1.1.1. Sơ lược về Video 4 1.1.2. Các dạng Video 5 1.1.2.1 Video tương tự 5 1.1.2.2 Video số 5 1.1.3. Các chuẩn Video 6 1.2. Phát hiện và giám sát đối tượng: 13 1.2.1. Phát hiện đối tượng chuyển động trong Video 13 1.2.1.1. Phép trừ n ền 14 1.2.1.2. Các phương pháp tĩnh 15 1.2.1.3. Sự khác biệt theo thời gian 16 1.2.1.4. Optical Flow 17 1.2.2. Phân loại đối tượng trong Video 21 1.2.2.1. Phân loại dựa theo hình dạng 21 1.2.2.2. Phân loại dựa theo chuyển động 22 1.2.3. Phát hiện ánh sáng 23 1.2.4. Đánh dấu đối tượng 23 Chương 2 25 PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 25 2.1. Phát hiện đối tượng 25 2.1.1. Phát hiện nổi trội 27 2.1.1.1 Mô hình trừ nền có khả năng thích ứng 28 2.1.1.2. Mô hình hỗn hợp Gaussian tương thích 31 2.1.1.3. Sự khác biệt theo thời gian 34 2.1.2. Bước hậu xử lý điểm ảnh 35 2.1.2.1. Phát hiện bóng và sự thay đổi ánh sáng đột ngột 36 2.1.3. Phát hiện các vùng liên tục 42 2.1.4. Bước hậu xử lý vùng 43 2.1.5. Trích rút các đặc trưng của đối tượng 43 2.2. Giám sát đối tượng chuyển động 44 2.2.1. Tham chiếu tương tự với các đối tượng cơ bản 46 2.2.2. Điều khiển sự chồng chéo của các đối tượng 51 2.2.2.1 Phát hiện các đối tượng bị che khuất 52 2.2.2.2. Phát hiện các đối tượng tách ra 52 2.2.2.3. Lược đồ cơ sở tham chiếu tương ứng 53 2.2.3. Phát hiện các đối tượng dời đi và các đối tượng bị loại bỏ 55 Chương 3 58 ỨNG DỤNG 58 3.1. Giám sát tự động dưới sự trợ giúp của Camera 58 3.2. Chương trình thử nghiệm phát hiện và bám sát đối tượng 59 3.2.1. Giao diện của chương trình: 63 3.2.2. Các chức năng của chương trình: 63 KẾT LUẬN 67 TÀI LIỆU THAM KHẢO 69 DANH MỤC CÁC TỪ VIẾT TẮT Cụm từ viết tắt Mô tả viết tắt BG Background FG Foreground MPEG Moving Pictures Expert Group RGB Red Green Blue H Human V Vehicle HG Human Group DANH MỤC HÌNH Hình 1.1: Ví dụ về sự khác biệt theo thời gian 16 Hình 2.1 : Ảnh (a) là ước lượng nền cơ sở, ảnh (b) thu được ở bước tiếp theo. Ảnh (c) thể hiện bản đồ điểm ảnh nổi trội phát hiện được bằng cách sử dụng phép trừ nền 31 Hình 2.2 : Hai cách nhìn khác nhau về một ví dụ xử lý điểm 33 Khi đó các phân bố B đầu tiên được chọn như là mô hình nền, trong đó : 33 Hình 2.3 : Ví dụ về bước khử nhiễu pixel 36 Hình 2.4 : Các vector RGB của pixel ảnh hiện thời x I ˆ và pixel nền tương ứng x B ˆ 39 Hình 2.5 : Ví dụ về xóa bóng. 39 Hình 2.6 : Ví dụ về sự thay đổi ánh sáng đột ngột 40 Hình 2.7 : Phát hiện sự thay đổi ánh sáng thực sự 42 Hình 2.8 : Ví dụ về đánh nhãn các thành phần liên tục. 42 Hình 2.9: Ví dụ về đồ thị tham chiếu đối tượng 48 Hình 2.10: Ví dụ về trường hợp phát hiện đối tượng bị che khuất 51 Hình 2.11: Nhận dạng đối tượng sau khi che khuất 54 Hình 2.12: Phân biệt các đối tượng d ời đi và biến mất 57 Hình 3.1: Sơ đồ mô tả các tiến trình xử lý của hệ thống 59 Hình 3.2: Trước và sau khi xử lý dựa trên ngưỡng 61 Hình 3.3: Lưu đồ thuật toán phát hiện sự chuyển động 62 Hình 3.4: Giao diện chương trình demo 63 Hình 3.5: Phát hiện và bám sát các đối tượng chuyển động 63 Hình 3.6: Chức năng theo vết đối tượng được lựa chọn để theo vết 64 Hình 3.7: Chức năng theo vết đối tượng được lựa chọn để theo vết(tiếp theo) 64 Hình 3.8: Chức năng chọn màu dãy màu của đối tượng cần theo vết 65 Hình 3.9: Chức năng chọn dãy màu từ ảnh chụp từ webcam của đối tượng cần theo vết 65 Hình 3.10: Chức năng dùng đối tượng đang theo vết để điều khiển “Mouse” 66 DANH MỤC CÁC BẢNG Bảng1.1. Các tiêu chuẩn của Video số 5 Bảng 1.2. Một số ràng buộc của MPEG-1 8 Bảng 1.3. Mô tả kiểu CIF và QCIF 11 DANH MỤC CÁC LƯỢC ĐỒ Lược đồ 1.1: Lược đồ chung cho các thuật toán xử lý Video 14 Lược đồ 2.1: Lược đồ khối hệ thống 25 Lược đồ 2.2: Lược đồ hệ thống đánh dấu đối tượng 46 1 MỞ ĐẦU Trong kỷ nguyên công nghệ thông tin hiện nay, với sự phát triển nhanh chóng của các công nghệ chế tạo thiết bị phần cứng ngày càng hiện đại, tinh vi thì ngành công nghệ phần mềm cũng không ngừng mở rộng để phù hợp với các yêu cầu của thực tế. Trong đó phải kể đến sự phát triển của các thiết bị thu nhận hình ảnh từ thế giới thực, chẳng hạn như các h ệ thống giám sát bằng camera, song hành với nó là các vấn đề liên quan đến việc giám sát. Thách thức chính cho công nghệ phần mềm trong lĩnh vực này chính là việc xử lý các hình ảnh thu nhận được từ các hệ thống giám sát đó. Giám sát là một vấn đề được rất nhiều nhà nghiên cứu quan tâm đặc biệt bởi những ứng dụng thiết thực của nó cho đời sống xã hội. Chẳng hạn như các hệ thống giám sát các hành vi khả nghi của tội phạm, khủng bố ở các địa điểm nhạy cảm của các chính phủ. Hệ thống giám sát trong các viện bảo tàng, lưu trữ để chống trộm cắp các di vật đang được trưng bày. Hệ thống giám sát các hiện tượng bất bình thường, vi phạm pháp luật, tai nạn ở các điểm giao thông. Hệ thống giám sát phòng chống hỏa hoạn. Các hệ thống giám sát trong các siêu thị, cử a hàng, công ty để chống trộm cắp,… Thách thức chính cho ngành công nghệ phần mềm là đưa ra các giải pháp nhằm xây dựng một hệ thống giám sát tối ưu nhất nhằm giúp con người phát hiện chính xác và kịp thời các hiện tượng bất thường để có biện pháp xử lý nhanh chóng nhằm tránh các thiệt hại đáng tiếc cho xã hội. Dữ liệu thu được từ hệ thống camera giám sát thường được lưu trữ dưới d ạng Video. Như vậy công việc hiện nay của chúng ta là nghiên cứu các vấn đề liên quan đến việc xử lý Video. 2 Hiện nay trên thế giới đã có nhiều công trình nghiên cứu về xử lý Video và cũng đã có nhiều ứng dụng đáng kể trong lĩnh vực này. Tuy nhiên, so với yêu cầu thực tế thì như thế vẫn là chưa đủ. Ở Việt Nam, xử lý Video là một vấn đề còn khá mới mẻ. Thực tế cho thấy rằng, khi xã hội phát triển càng mạnh, yêu cầu về các thiết bị công nghệ càng cao. Như vậy, x ử lý Video là một mảnh đất màu mỡ cho các trung tâm nghiên cứu, các công ty đầu tư vào. Nhất là trong giai đoạn hệ thống nhúng đang phát triển và mở ra một kỷ nguyên với cho ngành công nghệ phần mềm như hiện nay. Giám sát tự động là một hướng mới và có nhiều triển vọng trong sự phát triển tiếp theo của lĩnh vực nhận dạng và xử lý ảnh 2 chiều. Đồng thời, đó cũng là một h ướng đi cho mảng phần mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động. Việc phát hiện ra các đối tượng chuyển động trong Video nhờ các kỹ thuật xử lý ảnh, trên cơ sở đó đoán nhận một số hành vi của đối tượng là một việc làm có ý nghĩa khoa học và thực tiễn, nhất là trong hoàn cảnh Việt Nam chưa có nhiều những nghiên cứu và ứng dụng theo hướ ng này. Xuất phát từ thực tế đó, việc nghiên cứu và đưa ra các phương pháp để xử lý Video là vô cùng thiết thực. Được sự hướng dẫn của TS. Trần Hành tôi đã tiến hành nghiên cứu đề tài “Nghiên cứu một số kỹ thuật phát hiện, bám sát đối tượng và ứng dụng” Trong khuôn khổ của nghiên cứu này, mục tiêu của tôi là tìm hiểu các bước phát hiện, đánh dấu, phân loại các đối tượng chuyển độ ng trong Video và so sánh mẫu để đưa ra kết luận tương ứng. Sau khi nghiên cứu kỹ các phương pháp đã được đưa ra, tôi tiến hành đánh giá ưu và nhược điểm của mỗi phương pháp và mạnh dạn đưa ra một số biện pháp khắc phục nhằm làm cho hệ thống hoạt động tối ưu nhất với hệ thời gian thực. 3 Các vấn đề cần giải quyết trong phạm vi nghiên cứu này bao gồm: Nghiên cứu tổng quan về Video và phát hiện đối tượng chuyển động. Nghiên cứu và đề xuất một hướng khắc phục các nhược điểm trong việc phát hiện, đánh dấu, phân loại các đối tượng chuyển động. Cài đặt một số phương pháp phát hiện, đánh dấu các đối tượng chuyển động dựa theo các phương pháp đã nêu ở trên.   [...]... 2 PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 2.1 Phát hiện đối tượng Tổng quan về phát hiện, phân loại và đánh dấu đối tượng chuyển động trong Video với thời gian thực được mô tả như sau: Lược đồ 2.1: Lược đồ khối hệ thống 26 Hệ thống này có thể phân biệt được các đối tượng thoáng qua hoặc đứng yên từ các đối tượng nền tĩnh trong các cảnh động; phát hiện và phân biệt các đối tượng di chuyển. .. 14496 dành cho Video 1.2 Phát hiện và giám sát đối tượng: 1.2.1 Phát hiện đối tượng chuyển động trong Video Mỗi ứng dụng được thừa hưởng từ việc xử lý Video thông minh những thứ nó cần để giải quyết những yêu cầu khác nhau Tuy nhiên, chúng có một số điểm chung sau: các đối tượng chuyển động Như vậy, việc phát hiện các đối tượng chuyển động là bước đầu tiên của bất kỳ hệ thống xử lý Video nào Khi tìm... vector có hướng của các đối tượng chuyển động theo thời gian để phát hiện các vùng chuyển động trong một ảnh Chúng có thể phát hiện chuyển động trong các dãy Video ngay cả các Video thu được từ camera di chuyển Optical flow là khái niệm chỉ sự chuyển động tương đối của các điểm trên bề mặt một đối tượng, vật thể nào đó gây ra, dưới góc quan sát của một điểm mốc (mắt, camera…) Sự chuyển động của các vật thể... Phân loại đối tượng trong Video Vùng chuyển động được phát hiện trong Video có thể tương ứng với các đối tượng khác nhau trong thế giới thực như người, nhóm người, xe cộ, sự hỗn loạn,… Việc thừa nhận kiểu của đối tượng là rất quan trọng để thừa nhận kiểu của đối tượng được phát hiện để đánh dấu nó một cách chính xác và phân tích các hoạt động một cách đúng đắn Hiện nay, có hai hướng tiếp cận trong việc... sở tính chất đặc biệt theo thời gian của các đối tượng chuyển động Với đối tượng được đưa ra ở chu kỳ chuyển động, đặc tính của nó đo được 23 cũng như hiển thị một chu kỳ chuyển động Phương pháp này khai thác đầu mối này để phân loại các đối tượng chuyển động sử dụng chu kỳ Phân tích optical flow cũng là hữu ích để phân biệt các đối tượng “cứng” và đối tượng “mềm” A.J Lipton trình bày một phương pháp... biệt về thời gian và optical flow 14 Phát hiện đối tượng Phân loại đối tượng Đánh dấu đối tượng Thừa nhận hành  vi  Mô tả ngữ nghĩa Lược đồ 1.1: Lược đồ chung cho các thuật toán xử lý Video 1.2.1.1 Phép trừ nền Phép trừ nền là một phần trong công nghệ phân đoạn chuyển động trong các cảnh tĩnh [13] Nó cố gắng phát hiện các vùng chuyển động bằng cách trừ điểm ảnh cho điểm ảnh từ ảnh hiện thời đến một... thời gian cố gắng phát hiện các vùng chuyển động bằng cách sử dụng sự khác nhau giữa một điểm ảnh ở các frame liên tiếp nhau (hai hoặc ba) trong một dãy Video Phương pháp này có khả năng thích ứng cao với các cảnh động, tuy nhiên, nó thường mắc một số lỗi trong việc phát hiện đối tượng chuyển động (a) (b) Hình 1.1: Ví dụ về sự khác biệt theo thời gian (a)Một cảnh với hai đối tượng chuyển động, (b) Phương... trong phân chia các đối tượng theo hình dạng là tạo các hình chữ nhật bao quanh, tạo các vùng, hình chiếu và độ nghiêng của các vùng chứa đối tượng được phát hiện Hướng tiếp cận này sử dụng độ dài các đường nét của hình chiếu và vùng thông tin để phân loại các đối tượng đã được phát hiện và đưa nó vào thành 3 nhóm: người, xe cộ và các đối tượng khác [9] Phương pháp này phụ thuộc vào các giả định, chẳng... theo thời gian bị lỗi khi phát hiện tất cả các điểm ảnh chuyển động của đối tượng bên trái Các vùng chuyển động được phát hiện đánh dấu bởi màu đỏ 17 Vùng màu đơn của người bên ảnh trái làm cho thuật toán khác biệt về thời gian bị lỗi trong việc trích ra tất cả các điểm ảnh của vùng chuyển động của con người Cũng vậy, phương pháp này lỗi khi phát hiện các đối tượng đã dừng lại trong cảnh Các phương pháp... của các vùng đối tượng đã được phát hiện [8] Nó được mong đợi cho các đối tượng mềm như là con người và sẽ đưa ra giá trị flow trung bình, còn các đối tượng cứng như là xe cộ sẽ được đưa ra giá trị flow nhỏ Cũng vậy, phần còn lại trong chuyển động phát sinh của con người sẽ có chu kỳ Bằng cách sử dụng gợi ý này, chuyển động của con người và cả con người có thể được phân biệt với các đối tượng khác như