(Luận văn thạc sĩ hcmute) phát hiện và vẽ quỹ đạo chuyển động trong xử lý ảnh dùng bộ lọc kalman

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ÐẠO CHUYỂN ÐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH : KỸ THUẬT ÐIỆN TỬ - 60520203 S K C0 2 Tp Hồ Chí Minh, tháng 4/2017 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CƠNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60 520203 Tp Hồ Chí Minh, tháng 04 năm 2017 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CƠNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60 520203 Hướng dẫn khoa học: PGS TS DƯƠNG HỒI NGHĨA Tp Hồ Chí Minh, tháng 04 năm 2017 Luan van Luan van Luan van Luan van LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Biện Cơng Long Giới tính: nam Ngày, tháng, năm sinh: 20/08/1982 Nơi sinh: Vĩnh Long Quê quán: xã Lộc Hòa, huyện Long Hồ, tỉnh Vĩnh Long Dân tộc: kinh Chỗ riêng địa liên lạc: 95/7 ấp Phước Tân, xã Lộc Hòa, huyện Long Hồ, tỉnh Vĩnh Long Điện thoại quan: 0703.863126 Điện thoại nhà riêng:0703.957029 Fax: E-mail:longbc@vlute.edu.vn II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 10/2000 đến 10/2004 Nơi học (trường, thành phố): Trường ĐH Cửu Long – thành phố Vĩnh Long Ngành học: Kỹ thuật điện điện tử Tên đồ án, luận án môn thi tốt nghiệp: Nhận dạng giọng nói Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 10/ 2004 trường ĐH Cửu Long Người hướng dẫn: Ths Đồn Hịa Minh Thạc sĩ: Hệ đào tạo: Chính quy Thời gian đào tạo: từ 5/2014 đến 4/2017 Nơi học (trường, thành phố): Trường Đại học Sư phạm Kỹ thuật TP.HCM, TP.HCM Ngành học: Kỹ thuật Điện tử Tên luận văn: Phát vẽ quỹ đạo chuyển động xử lý ảnh dùng lọc Kalman Ngày & nơi bảo vệ luận văn: 23/4/2017, Trường Đại học Sư phạm Kỹ thuật TP.HCM Người hướng dẫn: PGS.TS Dương Hoài Nghĩa Tiến sĩ: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Tại (trường, viện, nước): Tên luận án: Người hướng dẫn: Ngày & nơi bảo vệ: Trình độ ngoại ngữ (biết ngoại ngữ gì, mức độ): Tiếng Anh, tương đương B1 i Luan van Học vị, học hàm, chức vụ kỹ thuật thức cấp; số bằng, ngày & nơi cấp: III Q TRÌNH CƠNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Tháng 11/2004 đến 4/2007 Trung tâm thông tin thẩm định giá miền nam Chi nhánh Vĩnh Long Chuyên viên thẩm định giá Trường ĐH SP KT Vĩnh Long Giảng dạy lý thuyết thực hành Từ 5/2007 đến Công việc đảm nhiệm ii Luan van LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 28 tháng năm 2017 (Ký tên ghi rõ họ tên) Biện Công Long iii Luan van CẢM TẠ Trước tiên, xin gửi lời cảm ơn sâu sắc đến thầy PGS TS Dương Hồi Nghĩa, người tận tình hướng dẫn em suốt trình làm đề tài Em xin tỏ lời cảm ơn sâu sắc đến quý thầy giáo giảng dạy em suốt khóa học cao học Những kiến thức mà em nhận giảng đường cao học hành trang giúp em vững bước tương lai Em xin cám ơn thầy TS Nguyễn Thanh Hải dạy em môn xử lý ảnh đóng góp quý báo thầy để em hồn thành báo cáo luận văn Xin gửi lời cảm ơn sâu sắc đến tất bạn bè tập thể lớp Kỹ thuật điện tử khóa 14A, 15B người ln bên em suốt khóa học Được hồn thành thời gian hạn hẹp, luận văn chắn cịn nhiều thiếu sót Xin cảm ơn thầy cơ, bạn bè có ý kiến đóng góp chân thành cho nội dung luận văn để em tiếp tục sâu vào tìm hiểu ứng dụng vào thực tiễn công tác Biện Cơng Long Tp Hồ Chí Minh, tháng 02 năm 2017 iv Luan van Nhận xét: Trong trường hợp có hai đối tượng chuyển động xuất vùng quan sát chương trình vẽ quỹ đạo riêng biệt đối tượng Tuy nhiên, ta vẽ quỹ đạo màu hình 4.14a quan sát nhằm tưởng chúng giao ta thời điểm xuất đối tượng Theo kết hình 4.14b sử dụng màu khác theo thời gian nên ta dễ dàng thấy quỹ đạo đối tượng cắt điểm khác mặt thời gian nên thực tế chúng không gặp Dựa vào hai đoạn quỹ màu đen ta biết đối tượng xuất trước đối tượng xuất sau cách phân tích sau: Đoạn quỹ đạo dài tương ứng với đối tượng xuất trước đoạn quỹ đạo ngắn tương ứng với đối tượng xuất sau Dựa vào hai đoạn quỹ đạo màu vàng ta biết trình tự khỏi vùng quan sát đối tượng cách phân tích sau: Đoạn quỹ đạo ngắn tương ứng với đối tượng khỏi vùng quan sát trước ngược lại đoạn quỹ đạo dài tương ứng với đối tượng khỏi vùng quan sát sau Từ phân tích ta kết luận sau: Đường quỹ đạo đối tượng xuất trước lại khỏi vùng quan sát - sau Đường quỹ đạo đối tượng xuất sau lại khỏi vùng quan sát - trước  Trường hợp có đối tượng chuyển động xuất vùng quan sát Xét trường hợp có đối tượng chuyển động xuất vùng quan sát không bị che khuất giao Chương trình phát gán số theo dõi xác trình tự xuất đối tượng Trong suốt q trình giám sát đối tượng ln bám tốt qua khung hình Kết theo dõi đối tượng thể qua hình 4.15, hình 4.16, hình 4.17 hình 4.18 59 Luan van Ảnh thật Ảnh rút trích đối tượng Hình 4.15: Ảnh thật ảnh rút trích đối tượng ba đối tượng chuyển động khơng giao (khung hình thứ 40 đoạn video banguoi.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.16: Ảnh thật ảnh rút trích đối tượng ba đối tượng chuyển động không giao (khung hình thứ 125 đoạn video banguoi.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.17: Ảnh thật ảnh rút trích đối tượng đối tượng chuyển động khơng giao (khung hình thứ 227 đoạn video banguoi.avi) 60 Luan van Quỹ đạo chuyển động đối tượng thể hình 4.18 Ta thấy rằng, có nhiều đối tượng chuyển động vùng quan sát chương trình theo dõi vẽ quỹ đạo đối tượng Dựa vào màu ta biết điểm bắt đầu điểm kết thúc đối tượng Một trường hợp cần lưu ý trình theo dõi vẽ quỹ đạo chuyển động đối tượng đối tượng chuyển động phát chưa đủ số khung hình quy định chưa gán nhãn để theo dõi đối tượng (điều thể hình 4.15) dẫn đến quỹ đạo đối tượng giai đoạn (vùng khoanh trịn màu xanh hình 4.18) Quỹ đạo đối tượng Quỹ đạo đối tượng Quỹ đạo đối tượng Hình 4.18: Quỹ đạo chuyển động ba đối tượng không giao đoạn video banguoi.avi  Trường hợp có người xe xuất vùng quan sát Các trường hợp trên, đối tượng chuyển động người chương trình phát hiện, theo dõi vẽ quỹ đạo chuyển động xác Sau đây, xét trường hợp đối tượng chuyển động bao gồm người xe qua hình 4.19, 4.20 4.21 61 Luan van Ảnh thật Ảnh rút trích đối tượng Hình 4.19: Ảnh thật ảnh rút trích đối tượng người xe chuyển động khơng giao (khung hình thứ 220 đoạn video nguoivaxe.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.20: Ảnh thật ảnh rút trích đối tượng người xe chuyển động không giao (khung hình thứ 303 đoạn video nguoivaxe.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.21: Ảnh thật ảnh rút trích đối tượng người xe chuyển động khơng giao (khung hình thứ 452 đoạn video nguoivaxe.avi) 62 Luan van Qua kết mô phỏng, ta kết luận chương trình phát theo dõi tất đối tượng chuyển động không phân biệt người hay xe… Quỹ đạo chuyển động đối tượng thể hình 4.22 Ta thấy kích thước đối tượng thay đổi đường quỹ đạo chúng xác Trong trường hợp đối tượng có kích thước thay đổi nên quỹ đạo đối tượng xác Quỹ đạo đối tượng Quỹ đạo đối tượng Quỹ đạo đối tượng Hình 4.22: Quỹ đạo chuyển động người xe đoạn video nguoivaxe.avi 4.4.3 Trong vùng quan sát camera có đối tượng chuyển động bị che khuất giao Khi có nhiều đối tượng chuyển động vùng quan sát xảy trường hợp đối tượng che khuất giao  Trường hợp có hai đối tượng bị che khuất giao thời gian ngắn: có đối tượng cập nhật lại hộp giới hạn mà hộp giới hạn bao quanh hai đối tượng đối tượng bật dự báo “predicted” hộp giới hạn bị che khuất hợp giới hạn cập nhật Cách xác định hộp giới hạn minh họa qua hình 4.23, hình 4.24 hình 4.25 63 Luan van Ảnh thật Ảnh rút trích đối tượng Hình 4.23: Ảnh thật ảnh rút trích đối tượng hai đối tượng chuyển động vừa giao (khung hình thứ 309 đoạn video giaonhau.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.24: Ảnh thật ảnh rút trích đối tượng hai đối tượng chuyển động vừa giao (khung hình thứ 449 đoạn video giaonhau.avi) Ảnh thật Ảnh rút trích đối tượng Hình 4.25: Ảnh thật ảnh rút trích đối tượng hai đối tượng chuyển động vừa giao (khung hình thứ 629 đoạn video giaonhau.avi) 64 Luan van Trong thực tế, đối tượng chưa tiếp xúc phần bóng chúng chồng lên nên xác định giao  Trường hợp đối tượng giao sau số khung hình xác định xem đối tượng Số thứ tự theo dõi đối tượng số theo dõi đối tượng không bị dự báo (trong trường hợp nhãn đối tượng nhãn theo dõi đối tượng đối tượng bị che hộp giới hạn hình 4.24) Việc kết hợp hai đối tượng thành minh họa hình 4.26 Ảnh thật Ảnh rút trích đối tượng Hình 4.26: Ảnh thật ảnh rút trích đối tượng hai đối tượng giao hợp thành đối tượng (khung hình thứ 470 đoạn video giaonhau.avi)  Khi đối tượng chuyển động bị che khuất hay giao nhau, chương trình ước lượng trạng thái chúng  Khi đối tượng xuất trở lại chương trình theo dõi gán nhãn trở lại cho đối tượng xác trường hợp kích thước hướng chuyển động đối tượng không thay đổi nhiều so với trước bị che khuất giao  Đối với trường hợp đối tượng bị che khuất giao mà thay đổi hướng thay đổi kích thước khiến cho xuất trở lại đối tượng khác nhiều so với ước lượng nên chương trình khơng thể theo dõi xác Lúc đối tượng ước lượng bị ước lượng mãi đối tượng xuất trở lại đối tượng Minh họa cho trường hợp hình 4.27, đối tượng số gán số theo dõi làm ta nhằm tưởng xuất đối 65 Luan van tượng thứ vùng quan sát thực tế đối tượng thứ trước Ảnh thật Ảnh rút trích đối tượng Hình 4.27: Ảnh thật ảnh rút trích đối tượng hai đối tượng chuyển động tách từ đối tượng giao trước (khung hình thứ 530 đoạn video giaonhau.avi) Quỹ đạo chuyển động đối tượng trường hợp có giao thể hình 4.28 với đặc điểm sau: Quỹ đạo đối tượng Quỹ đạo đối tượng Hình 4.28: Quỹ đạo chuyển động đối tượng giao đoạn video giaonhau.avi 66 Luan van - Khi đối tượng giao tâm đối tượng bị che khuất tâm đối tượng theo dõi trạng thái bình thường thay đổi theo trạng thái Chính tâm đối tượng theo dõi khơng nằm đường quỹ đạo mà dịch chuyển vào khoảng đường quỹ đạo đối tượng bị che khuất đường quỹ đạo thân đối tượng - Như xảy giao quỹ đạo chuyển động đối tượng bị gián đoạn suốt khoảng thời gian tương ứng với vùng bao quanh hình elip màu cam Đồng thời xuất số đoạn quỹ đạo đánh dấu ô vng màu tím nằm đường quỹ đạo trước tương ứng với vùng bị gián đoạn - Mặc dù đối tượng giao gây nhằm lẫn trình gán số theo dõi quỹ đạo chúng không bị ảnh hưởng Kết luận: Dựa vào gián đoạn đường quỹ đạo xuất điểm nằm đường quỹ đạo khoảng thời gian ngắn ta nhận biết trường hợp giao đối tượng 67 Luan van Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Chương trình phát vẽ quỹ đạo chuyển động xử lý ảnh dùng lọc Kalman xây dựng ngôn ngữ lập trình C kết hợp với hàm chuyên dùng cho xử lý ảnh phần mềm matlab đáp ứng mục tiêu đặt đề tài là: - Phát tất đối tượng chuyển động (có kích thước lớn ngưỡng quy định) qua khung ảnh video camera tĩnh thu với điều kiện ánh sánh mơi trường thay đổi loại bỏ nhiễu (có kích thước nhỏ) - Theo dõi xác đối tượng chuyển động cần quan tâm (có thời gian tồn lớn ngưỡng quy định) đối tượng không bị che khuất giao - Vẽ quỹ đạo chuyển động tất đối tượng theo dõi vùng quan sát từ ta phân tích hành vi chúng Tuy nhiên đề tài tồn hạn chế - Kết rút trích đối tượng mặt nạ chuyển động cịn bị ảnh hưởng bóng đối tượng nên gây tượng giao bóng có nhiều đối tượng chuyển động gần - Việc gán nhãn cho đối tượng tách từ đối tượng giao trước bị nhầm lẫn đối tượng thay đổi hướng kích thước - Quỹ đạo chuyển động đối tượng giao phức tạp nên cần phân tích kỹ 5.2 Hướng phát triển - Tiếp tục nghiên cứu phương pháp loại bỏ bóng q trình phát chuyển động để thu mặt nạ chuyển động thật xác Khi tránh trường hợp giao ảnh hưởng bóng đối tượng việc vẽ quỹ đạo chuyển động tăng độ xác 68 Luan van - Kết hợp với kỹ thuật phân loại đối tượng kỹ thuật nhận dạng mặt người để ứng dụng vào phát hiện, theo dõi vẽ quỹ đạo chuyển động người giám sát an ninh… - Xây dựng hệ thống giám sát hoàn chỉnh đáp ứng thời gian thực 69 Luan van TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Lan Hương, Phát hiện, phân loại, theo dõi đối tượng chuyển động hệ thống giám sát thơng minh, Khóa luận tốt nghiệp đại học ngành Công nghệ thông tin, Trường đại học Công nghệ, năm 2006 [2] Phạm Bảo Quốc, Theo dõi đối tượng chuyển động phương pháp lọc tích hợp, Luận văn thạc sĩ ngành Công nghệ thông tin, Trường đại học Cơng nghệ TP Hồ Chí Minh, năm 2014 [3] Nguyễn Duy Nghĩa, Nghiên cứu kĩ thuật xử lí video số, ứng dụng vào theo vết phân loại đối tượng, Luận văn cử nhân tin học, Đại học quốc gia TP Hồ Chí Minh, 2004 [4] Bài toán nhận dạng đối tượng chuyển động video, http://doan.edu.vn, 2013 [5] Cao Chánh Nguyên Hiển Khương Trường Giang, Nghiên cứu phương pháp phát đối tượng chuyển động video ứng dụng, Luận văn cử nhân tin học, Đại học Khoa Học Tự Nhiên, 2004 [6] Đỗ Năng Tồn, Bài giảng mơn học xử lý ảnh, Học viện Cơng nghệ Bưu viễn thơng, năm 2013 [7] Nguyễn Qang Hoan, Xử lý ảnh, Học viện Công nghệ Bưu viễn thơng, 2006 [8] Trần Thanh Việt, Trần Công Chiến, Huỳnh Cao Tuấn, Nguyễn Hữu Nam, Đỗ Năng Toàn, Trần Hành, Một kỹ thuật phát hiện, bám sát đối tượng ứng dụng, https://tapchikhdt.lhu.edu.vn [9] Lê Thành Trung, Sử dụng lưới hai chiều để theo vết đối tượng video, Luận văn cử nhân tin học, Đại học Khoa Học Tự Nhiên TP HCM, năm 2013 [10] Deepak Kumar Panda, Motion Detection, Object Classification and Tracking for Visual Surveillance Application, Department of Electronics and Communiation Engineering National Institute of Technology Rourkela Rourkela 769 008, Odisha, India, pp -66 , June 6, 2012 70 Luan van [11] Himanshu Maharana, Dubasi Monika, Soumya Ranjan Sahoo, Video Object Tracking Using Motion Estimation, Department of Electrical Engineering National Institute of Technology, Rourkela, May 2012 [12] LIU Ya, AI Haizou, XU Guangyou, Moving Object Detection and Tracking Based on Background Subtraction, Department of Computer Science and Technology, Tsinghua University State Key Laboratory of Intelligent Technology and Systems 2001 [13] Fatih Poriki and Oncel Tuzel, Human Body Tracking by Adaptive Background Models and Mean-Shift Analysis, Mitsubishi Research Laboratory, 2003 [14] Nils T Siebel, Design and Implementation of People Tracking Algorithms for Visual Surveillance Applications, Omputational Vision Group Department of Computer Science, pp 29 – 44, 2003 [15] Mr Mahesh C Pawaska, Detection Of Moving Object Based On Background Subtraction, International Journal of Emerging Trends & Technology in Computer Science (IJETTCS), June 2014 [16] Al Bovik, Hand Book of Image & Video Processing, Academic Press, Texas, pp 207-226, 2000 [17] Robert T.Collins , Alan J.Lipton and Takeo Kamade , A System for Video Surveillance and Monitoring, Carnegie Mellon University, pp 12-25, 2000 [18] Kalman, A new approach to linear filtering and prediction problems, Journal of Fluids Engineering, pp 25-35,1960 [19] Elies Henar, Application of a Kalman Filter with Augmented Measurement Model in Non-Invasive Cardiac Imaging, 2011 [20] Swantje Johnsen and Ashley Tews, Real-time object tracking and classification using a static camera, Proceedings of IEEE International Conference on Robotics and Automation, workshop on People Detection and Tracking, May 2009 71 Luan van [21] Ajit Ranjan, Manisha Chaple Ranjan, A Novel Approach For Object Detection And Tracking, International Journal of Engineering Research and Technology, April 2013 [22] Stauffer, Grimson, Adaptive background mixture models for real-time tracking, Computer Vision and Pattern Recognition, 1999 IEEE Computer Society Conference on (Vol 2) IEEE, Sept 2001 [23] Shamshad Shirgeri, Pallavi Umesh Naik, Udupi, Bidkar, Design and development of Optical flow based Moving Object Detection and Tracking (OMODT) System, April 2013 72 Luan van S K L 0 Luan van ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH:... Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH:... tượng chuyển động ảnh mà không cần quan tâm đến cuối vẽ quỹ đạo đối tượng chuyển động cần quan tâm để ta phân tích hành vi chúng nên thực đề tài ? ?Phát vẽ quỹ đạo chuyển động xử lý ảnh dùng lọc Kalman? ??