Việc thực hiện phương pháp phân loại đối tượng dựa vào chất lượng đầu ra của bước phân đoạn đối tượng. Vì nhân tố môi trường, như là các đối tượng bị che khuất bởi các đối tượng nổi bật đứng yên hoặc vì thực tế là chỉ duy nhất một phần của đối tượng được xuất hiện trong cảnh đó. Hình dạng của một vùng được phát hiện không thực sự mang lại hình chiếu đúng của đối tượng. Trong trường hợp thế này, thuật toán phân loại sai trong việc đánh nhãn kiểu chính xác của đối tượng. Chẳng hạn, một phần của một cái xe vào trong cảnh có thể trông giống như một người, hoặc là một phần bị che khuất của người trông giống như một nhóm người. Do đó, ta sử dụng sự phối hợp đa giả thuyết để làm tăng độ chính xác của phương pháp phân loại [29].
Trong cách xử lý này, một lược đồ kiểu HT được khởi tạo và được duy trì cho một đối tượng O đã được phát hiện trong cảnh. Kích cỡ của lược đồ này băng với số các kiểu đối tượng khác nhau và mỗi bin I của lược đồ này lưu giữ số lần đối tượng O
được tìm thấy của kiểu Ti.
Với sự trợ giúp của sự phối hợp đa giả thuyết, khả năng các kiểu của một đối tượng có thể được tích lũy trên một chu kỳ định nghĩa trước và quyết định thực sự của
kiểu của nó có thể được tạo ra nhiều hơn sự tích lũy bởi việc chọn kiểu của bin với giá trị lớn nhất như kiểu của đối tượng này.
(a)
(b)
Hình 2.16: Ví dụ phân loại đối tượng
(a) Ví dụ về đối tượng yêu cầu, (b) Các đối tượng cơ sở dữ liệu mẫu với các tín hiệu khoảng cách. Kiểu của mỗi đối tượng (H: người, HG: Nhóm người, V: xe cộ) và khoảng cách (D) giữa đối tượng yêu cầu và mỗi đối tượng trong cơ sở dữ liệu được hiển thị dưới mỗi đối tượng.
(a) (b)
(c) (d)
(e) (f)
Hình 2.17: Ví dụ về lược đồ kiểu đối tượng ứng với mỗi đối tượng được phát hiện ((a), (c), (e)) là các đối tượng được phát hiện, ((b), (d), (f)) lược đồ kiểu đối tượng tương ứng.
Chương 3 - ỨNG DỤNG 3.1. Một số ứng dụng trong công nghệ phần mềm
3.1.1. Ứng dụng trong phần mềm nhúng (Embedded Software)
3.1.1.1. Khái niệm phần mềm nhúng
Phần mềm nhúng là một chương trình được viết, biên dịch trên máy tính và nạp vào một hệ thống khác (gọi tắt là KIT) bao gồm một hoặc nhiều bộ vi xử lý đã được cài sẵn một hệ điều hành, bộ nhớ ghi chép được, các cổng giao tiếp với các phần cứng khác
3.1.1.2. Mục đích của phần mềm nhúng
Nhằm hỗ trợ cho các sản phẩm phần cứng các chức năng hoàn hảo nhất, phục vụ tốt nhất các nhu cầu của người dùng với sự bảo mật về sản phẩm tốt nhất.
3.1.1.3. Tính chất của phần mềm nhúng
Phụ thuộc vào hệ điều hành cài sẵn trên KIT
Phụ thuộc vào các tính năng đặc trưng của từng sản phẩm phần cứng có trong KIT
Phụ thuộc vào đặc tính của hệ thống
3.1.1.4. Lợi ích của phần mềm nhúng
Phần mềm nhúng là sự tích hợp của ngành tin học (phần mềm) với ngành điện tử (phần cứng). Với các các thiết bị điện tử, phần mềm nhúng mang lại nhiều sự hữu ích cần thiết cho người sử dụng và đồng thời giảm chi phí giá thành về phần cứng cho thiết bị.
3.1.1.5. Ứng dụng trong xử lý video
Ngày nay, công nghệ thông tin đã xâm nhập vào mọi ngõ ngách của cuộc sống. Việc sử dụng các hệ thống giám sát bằng camera trở nên vô cùng quan trọng. Trong giao thông, người ta lắp đặt các camera giám sát ở các ngã ba, ngã tư, đường hầm, nhà ga và các vị trí nhạy cảm để giám sát tai nạn giao thông, các vi phạm luật giao thông của các phương tiện,… Trong các bảo tàng, người ta sử dụng hệ thống camera để giám sát các vật trưng bày để tránh trường hợp bị mất cắp. Các vùng nhạy cảm về an nình, ta có các hệ thống giám sát để có thể cảnh báo kịp thời những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn… Ở các siêu thị, người ta dùng hệ thống camera giám sát để tránh các trường hợp trộm cắp hàng hóa,.... Như vậy, các hệ thống giám sát là rất cần thiết và hữu ích cho xã hội. Hiện nay, các hệ thống giám sát hoạt
động tốt dựa vào công nghệ phần cứng, tuy nhiên, như đã nói ở trên, phần mềm nhúng ra đời để làm giảm chi phí cho việc sản xuất các thiết bị phần cứng chuyên dụng vốn rất đắt đỏ. Việc cài đặt các phần mềm giám sát vào các hệ thống giám sát là rất cần thiết.
Với các phương pháp về phát hiện, đánh dấu, phân loại đối tượng đã nêu ở trên, ta có thể xây dựng một phần mềm giám sát để làm giảm thiếu chi phí cho các thiết bị phần cứng đồng thời có tính bảo mật cao.
3.1.2. Xây dựng các phần mềm điều khiển
Nhờ camera và các phương pháp phát hiện đối tượng chuyển động trong camera, ta có thể xây dựng các phần mềm điều khiển, các phần mềm hỗ trợ. Chẳng hạn như phần sử dụng tia laze để điều khiển các chương trình ứng dụng chạy trên máy tính. Phần mềm hỗ trợ giao tiếp giữa người khiếm thính với người thường,…
3.2. Cài đặt một số phương pháp phát hiện và đánh dấu đối tượng 3.2.1. Giao diện của chương trình 3.2.1. Giao diện của chương trình
3.2.2. Các menu
Hình 3.2: Menu File
Menu này bao gồm các chức năng để mở các video từ một file AVI, từ một file AVI trên mạng internet, từ camera gắn trực tiếp với máy tính.
Hình 3.3: Menu Motion
Hình 3.4: Ảnh nền
3.2.3. Một số hình ảnh về phát hiện và đánh dấu đối tượng chuyển động chuyển động
Hình 3.7: Phát hiện và đánh dấu đối tượng theo biên
Hình 3.8: Phát hiện và đánh dấu đối tượng bằng cách đóng khung đối tượng chuyển động trong một hình chữ nhật
KẾT LUẬN
Như ta đã biết, giám sát bằng camera được ứng dụng rộng rãi trong nhiều lĩnh vực của cuộc sống, việc nghiên cứu các vấn đề liên quan đến các hệ thống giám sát này nhằm đưa ra các cảnh báo chính xác, kịp thời là một công việc mang tính thực tiễn cao. Chúng ta cũng biết rằng kết quả thu nhận được từ các camera giám sát là video. Như vậy việc nghiên cứu chính ở đây là phát hiện đối tượng chuyển động trong video.
Video thu nhận được từ các camera sẽ được xử lý qua các công đoạn sau: Phát hiện đối tượng chuyển động, đánh dấu các đối tượng vừa phát hiện, phân loại chúng và đem so sánh với cơ sở dữ liệu mẫu, nếu khớp thì sẽ đưa ra các cảnh báo tương ứng, nếu chưa khớp thì sẽ có bước phán đoán và sau đó tiếp tục cập nhật các đối tượng này vào kho dữ liệu mẫu. Như vậy, theo thời gian, kho dữ liệu mẫu càng phong phú và đầy đủ hơn.
Trong phạm vi luận văn này, tôi đã nghiên cứu và trình bày lại một số phương pháp phát hiện đối tượng và một số bước hậu xử lý để làm cho đối tượng vừa được phát hiện rõ ràng hơn, tránh các trường hợp phát hiện nhầm do nhiễu. Sau khi phát hiện đối tượng, sẽ chuyển sang bước đánh dấu và phân loại đối tượng chuyển động.
Sau khi nghiên cứu các phương pháp đó, sẽ tìm ra phần ưu, phần nhược của từng phương pháp, từ đó có bước kết hợp giữa các phương pháp hoặc đưa ra các giải pháp để khắc phục các nhược điểm nhằm xây dựng một hệ thống giám sát tối ưu nhất có thể.
Trong luận văn này tôi cũng đã cài đặt thành công một số phương pháp phát hiện và đánh dấu đối tượng chuyển động. Hệ thống đầu vào trong bản demo này là lấy hình ảnh trực tiếp từ camera gắn vào máy tính, lấy một file video có phần đặc trưng là AVI từ nguồn có sẵn hoặc các video lấy từ nguồn trực tuyến.
Hướng nghiên cứu sâu hơn của đề tài này mà tôi quan tâm đó là phát hiện và phân loại từng phần chuyển động của đối tượng, từ đó xây dựng các ứng dụng hỗ trợ cho con người. Một hướng khác nữa là tìm hiểu rõ về đặc điểm của lửa, từ đó xây dựng các hệ thống cảnh báo hỏa hoạn.
TÀI LIỆU THAM KHẢO
[1] J.K. Aggarwal and Q. Cai. Human motion analysis: A review. Computer Vision and Image Understanding, March 1999.
[2] A. Amer. Voting-based simultaneous tracking of multiple video objects. In Proc. SPIE Int. Symposium on Electronic Imaging, Santa Clara, USA, January 2003. [3] E.M. Arkin, L.P. Chew, D.P. Huttenlocher, K. Kedem, and J.S.B. Mitchell. An
efficiently computable metric for comparing polygonal shapes. IEEE Transactions on Pattern Recognition and Machine Intelligence, 1991.
[4] R. Bodor, B. Jackson, and N. Papanikolopoulos. Vision-based human tracking and activity recognition. In Proc. of the 11th Mediterranean Conf. on Control and Automation, June 2003.
[5] A. Cavallaro and F. Ziliani. Image Analysis for Advanced Video Surveillance, Multimedia Video-Based Surveillance Systems, Kluwer Academic Publishers, Boston, 2000.
[6] H.T. Chen, H.H. Lin, and T.L. Liu. Multi-object tracking using dynamical graph matching. In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001.
[7] R. T. Collins, R. Gross, and J. Shi. Silhouette-based human identification from body shape and gait. In Proc. of Fifth IEEE Conf. on Automatic Face and Gesture Recognition, 2002.
[8] R. Cutler and L.S. Davis. Robust real-time periodic motion detection, analysis and applications. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000.
[9] A. Elgammal, R. Duraiswami, D. Harwood, and L. S. Davis. Background and foreground modeling using non-parametric kernel density estimation for visual surveillance. In Proc. of the IEEE, 2002.
[10] R. T. Collins et al. A system for video surveillance and monitoring: VSAM final report. Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2000.
[11] T. Brodsky et al. Visual Surveillance in Retail Stores and in the Home, Boston, 2002.
[12] H. Fujiyoshi and A.J. Lipton. Real time human motion analysis by image skeletonization. In Proc. of Workshop Applications of Computer Vision, 1998.
[13] D. M. Gavrila. The analysis of human motion and its application for visual surveillance. In Proc. of the 2nd IEEE International Workshop on Visual Surveillance, Fort Collins, U.S.A., 1999.
[14] D. Greenhill, P. Remagnino, and G. A. Jones. VIGILANT, Video-Based Surveillance Systems. Kluwer Academic Publishers, Boston, 2002.
[15] I. Haritaoglu. A Real Time System for Detection and Tracking of People and Recognizing Their Activities, University of Maryland at College Park, 1998. [16] I. Haritaoglu, R. Cutler, D. Harwood, and L. S. Davis. Backpack: Detection of
people carrying objects using silhouettes. Computer Vision and Image Understanding, 2001.
[17] I. Haritaoglu, D. Harwood, and L.S. Davis. W4: A real time system for detecting and tracking people. In Computer Vision and Pattern Recognition, 1998.
[18] G. Healey, D. Slater, T. Lin, B. Drda, and D. Goedeke. A system for real-time fire detection. Computer Vision and Pattern Recognition, 1993.
[19] F. Heijden. Image Based Measurement Systems: Object Recognition and Parameter Estimation. Wiley, January 1996.
[20] J. Heikkila and O. Silven. A real-time system for monitoring of cyclists and pedestrians. In Proc. of Second IEEE Workshop on Visual Surveillance, Fort Collins, Colorado, June 1999.
[21] T. Horprasert, D. Harwood, and L.S. Davis. A statistical approach for realtime robust background subtraction and shadow detection. In Proc. of IEEE Frame Rate Workshop, Greece, 1999.
[22] H.Ramoser, T.Schlgl, M.Winter, and H.Bischof. Shape-based detection of humans for video surveillance. In Proc. of IEEE Int. Conf. on Image Processing,
Spain, 2003.
[23] W. Phillips III, M. Shah, and N. Da Vitoria Lobo. Flame recognition in video. In Fifth IEEE Workshop on Applications of Computer Vision, December 2000. [24] Y. Ivanov, C. Stauffer, A. Bobick, and W.E.L. Grimson. Video surveillance of
interactions. In International Workshop on Visual Surveillance, Fort Collins, Colorado, June 1999.
[25] S. Ju, M. Black, and Y. Yaccob. Cardboard people: a parameterized model of articulated image motion. In Proc. of the IEEE International Conference on Automatic Face and Gesture Recognition, 1996.
[26] P. KaewTraKulPong and R. Bowden. An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection, Boston, 2002.
[27] S. Khan and M. Shah. Tracking people in presence of occlusion. In Proc. of Asian Conference on Computer Vision, Taiwan, January 2000.
[28] A. J. Lipton. Local application of optic flow to analyse rigid versus non-rigid motion. Technical Report CMU-RI-TR-99-13, Robotics Institute, Carnegie
Mellon University, Pittsburgh, PA, December 1999.
[29] A. J. Lipton, H. Fujiyoshi, and R.S. Patil. Moving target classification and tracking from real-time video. In Proc. of Workshop Applications of Computer Vision, 1998.
[30] C. B. Liu and N. Ahuja. Vision based fire detection. In IEEE International Conference on Pattern Recognition, Cambridge, UK, August 2004. to appear. [31]
S. Loncaric. A survey of shape analysis techniques. Pattern Recognition, August 1998.
[32] D. R. Magee. Tracking multiple vehicles using foreground, background and motion models. In Proc. of Statistical Methods in Video Processing Workshop, June 2002.
[33] J. S. Marques, P. M. Jorge, A. J. Abrantes, and J. M. Lemos. Tracking groups of pedestrians in video sequences. In Proc. of IEEE Workshop on Multi-Object Tracking, Madison, June 2003.
[34] A. M. McIvor. Background subtraction techniques. In Proc. of Image and Vision Computing, New Zealand, 2000.
[35] S.J. McKenna, S. Jabri, Z. Duric, and H. Wechsler. Tracking interacting people. In Proc. of International Conference on Automatic Face and Gesture Recognition, 2000.
[36] F. Oberti, G. Ferrari, and C. S. Regazzoni. A Comparison between Continuous and Burst, Recognition Driven Transmission Policies in Distributed BIBLIOGRAPHY 84 3GSS, Boston, 2002.
[37] J. Owens and A. Hunter. A fast model-free morphology-based object tracking algorithm. In Proc. of British Machine Vision Conference, UK, September 2002. [38] C. Papageorgiou, T. Evgeniou, and T. Poggio. A trainable pedestrian detection
system. In Proc. of IEEE Int. Conf. on Intelligent Vehicles, Germany, October 1998.
[39] C. Regazzoni and P. Varshney. Multi-sensor surveillance. In IEEE Int. Conf. Image Processing, 2002.
[40] R. Rosales and S. Sclaroff. Improved tracking of multiple humans with trajectory prediction and occlusion modeling. In Proc. of IEEE CVPR Workshop on the Interpretation of Visual Motion, CA, 1998.
[41] M. Saptharishi, J.B. Hampshire II, and P. Khosla. Agent-based moving object correspondence using differential discriminative diagnosis. In Proc. Of Computer Vision and Pattern Recognition, 2000.
[42] E. Saykol, U. Gudukbay, and O. Ulusoy. A histogram-based approach for object- based query-by-shape-and-color in multimedia databases. Technical Report BUCE-0201, Bilkent University, 2002.
[43] E. Saykol, G. Gulesir, U. Gudukbay, and O. Ulusoy. KiMPA: A kinematicsbased method for polygon approximation. In International Conference on Advances in Information Systems, Turkey, 2002.
[44] C. Stauffer and W. Grimson. Adaptive background mixture models for realtime tracking. In Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1999.
[45] C. Stauffer and W.E.L. Grimson. Learning patterns of activity using real-time tracking. IEEE Pattern Recognition and Machine Intelligence, August 2000. [46] B. U. Toreyin. Moving object detection and tracking in wavelet compressed
video. Master’s thesis, Bilkent University, 2003.
[47] R.C. Veltkamp and M. Hagedoorn. State-of-the-art in shape matching, pages 87– 119. Principles of Visual Information Retrieval. Springer, 2001.
[48] H. Wang and S.F. Chang. Automatic face region detection in mpeg video sequences. In Electronic Imaging and Multimedia Systems, China, November 1996.
[49] L. Wang, W. Hu, and T. Tan. Recent developments in human motion analysis, March 2003.
[50] L. Wang, H. Ning, T. Tan, and W. Hu. Fusion of static and dynamic features of body biometrics for gait recognition. In Proc. of International Conference on Computer Vision, France, 2003.
[51] L. Wixson and A. Selinger. Classifying moving objects as rigid or non-rigid. In Proc. of DARPA Image Understanding Workshop, 1998.
[52] C. R. Wren, A. Azarbayejani, T. J. Darrell, and A. P. Pentland. Pfinder: Real-time tracking of the human body. IEEE Pattern Recognition and Machine Intelligence, July 1997.
[53] M. Xu and T. Ellis. Colour-Invariant Motion Detection under Fast Illumination Changes, Boston, 2002.
[54] T. Zhao, R. Nevatia, and F. Lv. Segmentation and tracking of multiple humans in complex situations. In Proc. of USC Computer Vision, 2001.
[55] X. Zhou, R. T. Collins, T. Kanade, and P. Metes. A master-slave system to acquire biometric imagery of humans at distance. In First ACM SIGMM International Workshop on Video Surveillance, ACM Press, 2003.
PHỤ LỤC
Một số mã lệnh phát hiện và đánh dấu đối tượng đặc trưng đã cài đặt được viết trền nền Microsoft Visual C#
Phát hiện đối tượng chuyển động bằng phương pháp khác biệt thời gian và đánh dấu đối tượng chuyển động bằng màu đỏ
namespace motion { using System; using System.Drawing; using System.Drawing.Imaging; using AForge.Imaging; using AForge.Imaging.Filters;
public class MotionDetector1 : IMotionDetector {
private IFilter grayscaleFilter = new GrayscaleBT709( );
private Difference differenceFilter = new Difference( ); private Threshold thresholdFilter = new Threshold( 15 );
private IFilter erosionFilter = new Erosion( );
private Merge mergeFilter = new Merge( );
private IFilter extrachChannel = new ExtractChannel( RGB.R );
private ReplaceChannel replaceChannel = new ReplaceChannel( RGB.R, null );
private Bitmap backgroundFrame; private BitmapData bitmapData;
private bool calculateMotionLevel = false;
private int width; // image width
private int height; // image height