(Luận văn thạc sĩ) Nghiên cứu một số kỹ thuật phát hiện, bám sát đối tượng và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN THANH VIỆT NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN, BÁM SÁT ĐỐI TƯỢNG VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai, Năm 2011 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN THANH VIỆT NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN, BÁM SÁT ĐỐI TƯỢNG VÀ ỨNG DỤNG Chuyên ngành: CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS ĐỖ NĂNG TOÀN Đồng Nai, 2011 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân Các số liệu, kết trình bày luận văn trung thực Những tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Học viên Trần Thanh Việt LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS TS Đỗ Năng Tồn hướng dẫn nhiệt tình, tận tâm suốt q trình tơi thực luận văn Tơi xin chân thành cảm ơn q Thầy (Cơ) Khoa Cơng Nghệ Thông Tin - trường Đại học Lạc Hồng tạo điều kiện thuận lợi cho suốt thời gian học tập nghiên cứu trường Tôi xin chân thành cảm ơn q Thầy (Cơ) ngồi trường tận tâm dạy bảo tơi suốt q trình học tập giúp đỡ tơi q trình nghiên cứu Xin chân thành cảm ơn người thân gia đình, anh chị em, bạn bè, đồng nghiệp giúp đỡ, động viên tơi q trình thực hoàn thành luận văn Đồng Nai, 2011 MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC HÌNH vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC LƯỢC ĐỒ viii MỞ ĐẦU Chương KHÁI QUÁT VỀ XỬ LÝ VIDEO VÀ GIÁM SÁT ĐỐI TƯỢNG 1.1 Khái quát xử lý Video 1.1.1 Sơ lược Video 1.1.2 Các dạng Video 1.1.2.1 Video tương tự 1.1.2.2 Video số 1.1.3 Các chuẩn Video 1.2 Phát giám sát đối tượng: 13 1.2.1 Phát đối tượng chuyển động Video 13 1.2.1.1 Phép trừ 14 1.2.1.2 Các phương pháp tĩnh 15 1.2.1.3 Sự khác biệt theo thời gian 16 1.2.1.4 Optical Flow 17 1.2.2 Phân loại đối tượng Video 21 1.2.2.1 Phân loại dựa theo hình dạng 21 1.2.2.2 Phân loại dựa theo chuyển động 22 1.2.3 Phát ánh sáng 23 1.2.4 Đánh dấu đối tượng 23 Chương 25 PHÁT HIỆN VÀ GIÁM SÁT ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG VIDEO 25 2.1 Phát đối tượng 25 2.1.1 Phát trội 27 2.1.1.1 Mô hình trừ có khả thích ứng 28 2.1.1.2 Mơ hình hỗn hợp Gaussian tương thích 31 2.1.1.3 Sự khác biệt theo thời gian 34 2.1.2 Bước hậu xử lý điểm ảnh 35 2.1.2.1 Phát bóng thay đổi ánh sáng đột ngột 36 2.1.3 Phát vùng liên tục 42 2.1.4 Bước hậu xử lý vùng 43 2.1.5 Trích rút đặc trưng đối tượng 43 2.2 Giám sát đối tượng chuyển động 44 2.2.1 Tham chiếu tương tự với đối tượng 46 2.2.2 Điều khiển chồng chéo đối tượng 51 2.2.2.1 Phát đối tượng bị che khuất 52 2.2.2.2 Phát đối tượng tách 52 2.2.2.3 Lược đồ sở tham chiếu tương ứng 53 2.2.3 Phát đối tượng dời đối tượng bị loại bỏ 55 Chương 58 ỨNG DỤNG 58 3.1 Giám sát tự động trợ giúp Camera 58 3.2 Chương trình thử nghiệm phát bám sát đối tượng 59 3.2.1 Giao diện chương trình: 63 3.2.2 Các chức chương trình: 63 KẾT LUẬN 67 TÀI LIỆU THAM KHẢO DANH MỤC CÁC TỪ VIẾT TẮT Cụm từ viết tắt Mô tả viết tắt BG Background FG Foreground MPEG Moving Pictures Expert Group RGB Red Green Blue H Human V Vehicle HG Human Group DANH MỤC HÌNH Hình 1.1: Ví dụ khác biệt theo thời gian 16 Hình 2.1 : Ảnh (a) ước lượng sở, ảnh (b) thu bước Ảnh (c) thể đồ điểm ảnh trội phát cách sử dụng phép trừ 31 Hình 2.2 : Hai cách nhìn khác ví dụ xử lý điểm 33 Khi phân bố B chọn mơ hình nền, : 33 Hình 2.3 : Ví dụ bước khử nhiễu pixel 36 Hình 2.4 : Các vector RGB pixel ảnh thời Iˆx pixel tương ứng Bˆ x 39 Hình 2.5 : Ví dụ xóa bóng 39 Hình 2.6 : Ví dụ thay đổi ánh sáng đột ngột 40 Hình 2.7 : Phát thay đổi ánh sáng thực 42 Hình 2.8 : Ví dụ đánh nhãn thành phần liên tục 42 Hình 2.9: Ví dụ đồ thị tham chiếu đối tượng 48 Hình 2.10: Ví dụ trường hợp phát đối tượng bị che khuất 51 Hình 2.11: Nhận dạng đối tượng sau che khuất 54 Hình 2.12: Phân biệt đối tượng dời biến 57 Hình 3.1: Sơ đồ mơ tả tiến trình xử lý hệ thống 59 Hình 3.2: Trước sau xử lý dựa ngưỡng 61 Hình 3.3: Lưu đồ thuật toán phát chuyển động 62 Hình 3.4: Giao diện chương trình demo 63 Hình 3.5: Phát bám sát đối tượng chuyển động 63 Hình 3.6: Chức theo vết đối tượng lựa chọn để theo vết 64 Hình 3.7: Chức theo vết đối tượng lựa chọn để theo vết(tiếp theo) 64 Hình 3.8: Chức chọn màu dãy màu đối tượng cần theo vết 65 Hình 3.9: Chức chọn dãy màu từ ảnh chụp từ webcam đối tượng cần theo vết 65 Hình 3.10: Chức dùng đối tượng theo vết để điều khiển “Mouse” 66 DANH MỤC CÁC BẢNG Bảng1.1 Các tiêu chuẩn Video số Bảng 1.2 Một số ràng buộc MPEG-1 Bảng 1.3 Mô tả kiểu CIF QCIF 11 DANH MỤC CÁC LƯỢC ĐỒ Lược đồ 1.1: Lược đồ chung cho thuật toán xử lý Video 14 Lược đồ 2.1: Lược đồ khối hệ thống 25 Lược đồ 2.2: Lược đồ hệ thống đánh dấu đối tượng 46 57 (a) (b) (c) (d) Hình 2.12: Phân biệt đối tượng dời biến (a) Cảnh nền, (b) Vùng R S, (c) Ví dụ đối tượng dời đi, (d) dụ đối tượng biến 58 Chương ỨNG DỤNG 3.1 Giám sát tự động trợ giúp Camera Ngày nay, công nghệ thông tin xâm nhập vào ngõ ngách sống Việc sử dụng hệ thống giám sát camera trở nên vô quan trọng Trong giao thông, người ta lắp đặt camera giám sát ngã ba, ngã tư, đường hầm, nhà ga vị trí nhạy cảm để giám sát tai nạn giao thông, vi phạm luật giao thông phương tiện,… Trong bảo tàng, người ta sử dụng hệ thống camera để giám sát vật trưng bày để tránh trường hợp bị cắp Các vùng nhạy cảm an ninh, ta có hệ thống giám sát để cảnh báo kịp thời hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn… Ở siêu thị, người ta dùng hệ thống camera giám sát để tránh trường hợp trộm cắp hàng hóa, Như vậy, hệ thống giám sát cần thiết hữu ích cho xã hội Hiện nay, hệ thống giám sát hoạt động tốt dựa vào công nghệ phần cứng, nhiên, nói trên, phần mềm nhúng đời để làm giảm chi phí cho việc sản xuất thiết bị phần cứng chuyên dụng vốn đắt đỏ Việc cài đặt phần mềm giám sát vào hệ thống giám sát cần thiết Với phương pháp phát hiện, đánh dấu, phân loại đối tượng nêu trên, ta xây dựng phần mềm giám sát để làm giảm thiếu chi phí cho thiết bị phần cứng đồng thời có tính bảo mật cao Nhờ camera phương pháp phát đối tượng chuyển động camera, ta xây dựng phần mềm điều khiển, phần mềm hỗ trợ Chẳng hạn phần sử dụng tia laze để điều khiển chương trình ứng dụng chạy máy tính Phần mềm hỗ trợ giao tiếp người khuyết tật với máy tính,… 59 3.2 Chương trình thử nghiệm phát bám sát đối tượng Bài toán đặt với ảnh thu nhận từ camera, chương trình ứng dụng tiến hành xử lý cho kết đối tượng cần theo vết vị trí nào, ta tiến hành đánh dấu (tơ màu, kẻ khung) từ liên tục bám sát đối tượng dựa ngưỡng định Sau xác định vị trí đối tượng, ứng dụng tiếp tục điều khiển thiết bị chuột tới vị trí mong muốn (vị trí đối tượng theo vết), đồng thời định kiện (Click, Double click, Drap & Drop…) Hình 3.1: Sơ đồ mơ tả tiến trình xử lý hệ thống Thuật tốn phát chuyển động Có nhiều phương pháp tiếp cận để phát chuyển động hình ảnh Video liên tục Có thể so sánh khung hình với hình chụp từ ban đầu bật camera từ khung hình trước Đối với phương pháp thứ đơn giản giảm việc xử lý Tuy nhiên, cách tiếp cận có bất lợi lớn, ví dụ có đối tượng di chuyển frame sau biến Phương pháp thứ hai xử lý phức tạp hơn, xử lý nhiều lại thích nghi với mơi trường, kể mơi trường thay đổi thay đổi nhiều Nhược điểm đối tượng di chuyển cách chậm hệ thống khơng phát Nhưng giải cách tăng số khung hình giây Trong đề tài giới thiệu theo phương pháp Optical Flow 60 Ngưỡng (Threshold) Nguỡng (Threshold) khái niệm quen thuộc xử lý ảnh nhiều giải thuật khác Nó dùng để giá trị mà người ta dựa vào để phân hoạch tập hợp thành miền phân biệt Ví dụ thang điểm đánh giá học sinh từ đến 10 Trong tập hợp gồm 40 học sinh lớp, người ta muốn phân lọai hai miền, miền thứ bao gồm học sinh đạt yêu cầu miền thứ hai gồm học sinh không đạt Trong tình người ta dùng giá trị (điểm) ngưỡng (threshold) để phân loại học sinh Các học sinh có điểm xem khơng đạt, học sinh có điểm từ trở lên đạt yêu cầu Giá trị ngưỡng thường xác định dựa vào điểm đặc biệt (ví dụ trung bình), dựa vào kinh nghiệm khảo sát Nếu dựa vào số lượng ngưỡng áp dụng cho tập liệu người ta phân phương pháp ứng dụng ngưỡng đơn, ngưỡng kép, hay đa ngưỡng Nếu dựa vào biến thiên giá trị ngưỡng, phạm vi ứng dụng người ta phân phương pháp dùng ngưỡng cố định (Constant|Fixed Threshold) không cố định (Adaptive Threshold) Ngưỡng không cố định nghĩa giá trị thay đổi tùy theo biến thiên tập dử liệu theo không gian thời gian Thông thường giá trị xác định thông qua khảo sát phương pháp thống kê Để dễ hình dung ứng dụng khái niệm Threshold, sau sẻ xét ví dụ lọc ngưỡng (Threshold Filter) đơn giản xử lý ảnh Với pixel hình đa mức xám (grayscale) giá trị khoảng - 255 pixel lớn ngưỡng 120 ta gán giá trị cho thành đen (0), ngược lại gán giá trị trắng (255) Kết thu sau: 61 Hình 3.2: Trước sau xử lý dựa ngưỡng 62 Begin Thu khung hình tại, trước Chuyển thành ảnh xám So sánh pixel ảnh xám Giá trị>ngưỡng cho trước N Y Pixel ảnh đầu màu trắng Số điểm trắng > Ngưỡng Pixel ảnh đầu màu đen N Y Có di chuyển Khơng có di chuyển End Hình 3.3: Lưu đồ thuật tốn phát chuyển động 63 3.2.1 Giao diện chương trình: Hình 3.4: Giao diện chương trình demo 3.2.2 Các chức chương trình: Hình 3.5: Phát bám sát đối tượng chuyển động Chức cho phép mở Video từ file AVI, từ camera gắn trực tiếp với máy tính 64 Hình 3.6: Chức theo vết đối tượng lựa chọn để theo vết Chức giám sát đối tượng mà muốn theo vết Hình 3.7: Chức theo vết đối tượng lựa chọn để theo vết (tiếp theo) 65 Hình 3.8: Chức chọn màu dãy màu đối tượng cần theo vết Hình 3.9: Chức chọn dãy màu từ ảnh chụp từ webcam đối tượng cần theo vết 66 Hình 3.10: Chức dùng đối tượng theo vết để điều khiển “Mouse” Chức theo màu đối tượng xác định vị trí đối tượng để đưa trỏ tới vị trí đối tượng đứng, mục đích muốn thơng qua đối tượng bên ngồi bàn tay để qua camera duyệt web, sử dụng thao tác Click, Double click … 67 KẾT LUẬN Như ta biết, giám sát camera ứng dụng rộng rãi nhiều lĩnh vực sống, việc nghiên cứu vấn đề liên quan đến hệ thống giám sát nhằm đưa cảnh báo xác, kịp thời cơng việc mang tính thực tiễn cao Chúng ta biết kết thu nhận từ camera giám sát Video Như việc nghiên cứu phát đối tượng chuyển động Video Video thu nhận từ camera xử lý qua công đoạn sau: Phát đối tượng chuyển động, đánh dấu đối tượng vừa phát hiện, phân loại chúng tiến hành xử lý cho kết đối tượng cần theo vết vị trí nào, ta tiến hành đánh dấu (tơ màu, kẻ khung) từ liên tục bám sát đối tượng dựa ngưỡng định Sau xác định vị trí đối tượng, ứng dụng tiếp tục điều khiển thiết bị chuột tới vị trí mong muốn (vị trí đối tượng theo vết), đồng thời định kiện (Click, Double click, Drap & Drop, Zoom out, Zoom in…) Sau nghiên cứu phương pháp đó, tìm phần ưu, phần nhược phương pháp, từ có bước kết hợp phương pháp đưa giải pháp để khắc phục nhược điểm nhằm xây dựng hệ thống giám sát tối ưu Trong luận văn tơi cài đặt thành công số phương pháp phát đánh dấu đối tượng chuyển động Hệ thống đầu vào demo lấy hình ảnh trực tiếp từ webcam gắn vào máy tính lấy file Video có phần đặc trưng AVI từ nguồn có sẵn Video lấy từ nguồn trực tuyến Hướng nghiên cứu sâu đề tài mà tơi quan tâm phát phân loại phần chuyển động đối tượng, từ xây dựng ứng 68 dụng hỗ trợ cho người Một hướng khác tìm hiểu rõ đặc điểm lửa, từ xây dựng hệ thống cảnh báo hỏa hoạn TÀI LIỆU THAM KHẢO [1] A Amer Voting-based simultaneous tracking of multiple Video objects In Proc SPIE Int Symposium on Electronic Imaging, Santa Clara, USA, January 2005 [2] J L Barron, D J Fleet, and S S Beauchemin Performance of optical flow techniques International Journal of Computer Vision, 12(1):43–77, 2004 [3] R Cutler and L.S Davis Robust real-time periodic motion detection, analysis and applications In IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003 [4] R T Collins et al A system for Video surveillance and monitoring: VSAM final report Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2006 [5] T Brodsky et al Visual Surveillance in Retail Stores and in the Home, Boston, 2002 [6] I Haritaoglu, D Harwood, and L.S Davis W4: A real time system for detecting and tracking people In Computer Vision and Pattern Recognition, 2008 [7] J Heikkila and O Silven A real-time system for monitoring of cyclists and pedestrians In Proc of Second IEEE Workshop on Visual Surveillance, Fort Collins, Colorado, June 2009 [8] A J Lipton Local application of optic flow to analyse rigid versus non-rigid motion Technical Report CMU-RI-TR-99-13, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA, December 2009 [9] A J Lipton, H Fujiyoshi, and R.S Patil Moving target classification and tracking from real-time Video In Proc of Workshop Applications of Computer Vision, 2008 [10] C B Liu and N Ahuja Vision based fire detection In IEEE International Conference on Pattern Recognition, Cambridge, UK, August 2004 to appear [11] B D Lucas and T Kanade An iterative image registration technique with an application in stereo vision In Seventh International Joint Conference on Artificial Intelligence, pages 674–679, Vancouver, 2007 [12] J S Marques, P M Jorge, A J Abrantes, and J M Lemos Tracking groups of pedestrians in Video sequences In Proc of IEEE Workshop on Multi-Object Tracking, Madison, June 2003 [13] A M McIvor Background subtraction techniques In Proc of Image and Vision Computing, New Zealand, 2008 [14] C Papageorgiou, T Evgeniou, and T Poggio A trainable pedestrian detection system In Proc of IEEE Int Conf on Intelligent Vehicles, Germany, October 2008 [15] M Saptharishi, J.B Hampshire II, and P Khosla Agent-based moving object correspondence using differential discriminative diagnosis In Proc Of Computer Vision and Pattern Recognition, 2003 [16] E Saykol, U Gudukbay, and O Ulusoy A histogram-based approach for object-based query-by-shape-and-color in multimedia databases Technical Report BUCE-0201, Bilkent University, 2007 [17] C Stauffer and W Grimson Adaptive background mixture models for realtime tracking In Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 [18] B U Toreyin Moving object detection and tracking in wavelet compressed Video Master’s thesis, Bilkent University, 2003 [19] Fleet, D.J and Weiss, Y., Optical flow estimation, Mathematical models for Computer Vision: The Handbook N Paragios, Y Chen, and O Faugeras (eds.), Springer, 2005 [20] L Wang, W Hu, and T Tan Recent developments in human motion analysis, March 2003 [21] L Wixson and A Selinger Classifying moving objects as rigid or non-rigid In Proc of DARPA Image Understanding Workshop, 2008 [22] M Xu and T Ellis Colour-Invariant Motion Detection under Fast Illumination Changes, Boston, 2002