Theo dõi đối tượng dựa trên đường viền

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA - LÊ VĂN PHONG THEO DÕI ĐỐI TƯỢNG DỰA TRÊN ĐƯỜNG VIỀN Chuyên ngành : Khoa học máy tính Mã số : 604801 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2014 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán hướng dẫn khoa học : TS Nguyễn Thanh Bình Cán chấm nhận xét : TS Lý Quốc Ngọc Cán chấm nhận xét : TS Lê Thành Sách Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 17 tháng 07 năm 2014 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: TS Nguyễn Văn Minh Mẫn TS Lê Lam Sơn TS Lê Thành Sách TS Lý Quốc Ngọc TS Nguyễn Thanh Bình Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Tp HCM, ngày 20 tháng năm 2014 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: LÊ VĂN PHONG MSHV:11070467 Ngày, tháng, năm sinh: 07/08/1987 Nơi sinh: Đồng Nai Chuyên ngành: Khoa học máy tính Mã số : 604801 I TÊN ĐỀ TÀI: THEO DÕI ĐỐI TƯỢNG DỰA TRÊN ĐƯỜNG VIỀN II NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu định dạng video - Tìm hiểu phương pháp biểu diễn đối tượng - Tìm hiểu cơng trình nghiên cứu liên quan đến việc theo dõi đối tượng chuyển động - Đề xuất giải thuật theo dõi đối tượng chuyển động đoạn video dựa đường viền III NGÀY GIAO NHIỆM VỤ : 24/06/2013 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/06/2014 V CÁN BỘ HƯỚNG DẪN : TS Nguyễn Thanh Bình Tp HCM, ngày 20 tháng 06 năm 2014 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) TRƯỞNG KHOA KH & KT MÁY TÍNH (Họ tên chữ ký) LỜI CẢM ƠN Trải qua thời gian dài học tập nghiên cứu, xin cảm ơn tất thầy cô trường khoa tận tâm giảng dạy ngày hôm Tôi xin chân thành cảm ơn TS Nguyễn Thanh Bình tận tình hướng dẫn tơi q trình làm đề tài Tơi xin chân thành cảm ơn gia đình, người thân tạo điều kiện để tơi hồn thành luận văn Cuối cùng, xin cảm ơn tất người bạn đóng góp ý kiến quý báu giúp hiệu chỉnh luận văn i TÓM TẮT Theo dõi đối tượng có nhiều ứng dụng hệ thống giám sát thông minh, đồng thời hướng nghiên cứu quan trọng tiềm lĩnh vực phân tích video Theo dõi đối tượng có nhiều ứng dụng thực tế, đặc biệt giao thông như: đếm số lượng xe, đo tốc độ xe, từ tự động ghi nhận vi phạm tốc độ đối tượng tham gia giao thông Luận văn tập trung theo dõi đối tượng dựa đường viền chúng Cụ thể, dùng giải thuật phát cạnh Canny [11], kết hợp với kết phương pháp Temporal Median Filter [5] để trích xuất đường viền đối tượng chuyển động, sau áp dụng phương pháp Optical Flow [4] đường viền để tiến hành theo vết đối tượng Kết thực nghiệm cho thấy xác trình theo dõi trường hợp phức tạp đối tượng xen vào nhau, sau tách trở lại ii ABSTRACT Tracking has many applications in intelligent surveillance system, and it's also is potential research direction in video analysis field Tracking has many applications in practicle, special in traffic as: counting the vehicles, measuring vehicle's velocity, and then it can detect faults about velocity of vehicle automatically This thesis tracks objects base on their contours In here, we use Canny's Edge Detector method [11] combine with Temporal Median Filter method [5] to extract contours of moving objects, and then we apply Optical Flow method [4] to track these moving objects The experimental results have showed the accuracy of tracking moving objects in the complex cases such as objects are merged and then they are separated back iii LỜI CAM ĐOAN Tôi xin cam đoan ngồi kết cơng trình nghiên cứu khác thích rõ luận văn, công việc thực luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Tp HCM, Ngày 20 tháng 06 năm 2014 Lê Văn Phong iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH vii DANH MỤC BẢNG ix CHƯƠNG 1: GIỚI THIỆU 1.1 Giới thiệu đề tài 1.2 Mục tiêu nội dung đề tài .2 1.3 Giới hạn đề tài 1.4 Cấu trúc luận văn .3 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Cơ sở lý thuyết 2.1.1 Phát chuyển động (Motion Detection) 2.1.2 Temporal median filter [5] 2.1.3 Gradient-based optical flow [4] 11 2.1.4 Theo dõi đối tượng (Object Tracking) 14 2.2 Các nghiên cứu liên quan .16 2.2.1 Tracking dựa vào contour histogram [7] 16 2.2.2 Tracking dùng hệ số tương quan [8] .19 2.2.3 Tracking dựa vào contour [6] 22 CHƯƠNG 3: GIẢI THUẬT ĐỀ XUẤT 28 v 3.1 Mơ hình đề xuất .28 3.2 Phương pháp thực 29 3.2.1 Quá trình xây dựng đường viền 30 3.2.2 Quá trình theo vết 33 3.3 Phương pháp đánh giá 42 CHƯƠNG 4: HIỆN THỰC HỆ THỐNG 43 4.1 Phát cạnh 43 4.2 Phát đối tượng chuyển động 44 4.3 Khử cạnh 45 4.4 Theo vết đối tượng đơn 46 4.5 Xử lý đối tượng xen vào 47 4.6 Xử lý đối tượng tách 49 CHƯƠNG 5: KẾT LUẬN 52 5.1 Kết đạt 52 5.2 Ưu nhược điểm giải thuật đề xuất .52 5.2.1 Ưu điểm 52 5.2.1 Nhược điểm .53 5.3 Hướng mở rộng 53 5.3.1 Ứng dụng giao thông .53 5.3.2 Hướng nghiên cứu tương lai 55 TÀI LIỆU THAM KHẢO a LÝ LỊCH TRÍCH NGANG c vi DANH MỤC HÌNH Hình 2.1: Một structure median cân [5] Hình 2.2: Sau thêm giá trị 79 hai lần vào hình 2.1; LW > (MW+RW) [5] Hình 2.3: Sau cân [5] Hình 2.4: Sau thêm giá trị 85 vào hình 2.3; RW ≥ (LW+MW) [5] .10 Hình 2.5: Sau cân [5] 10 Hình 2.6: Kết tracking môi trường khác 18 Hình 2.7: Kết tracking dùng hướng tiếp cận 22 Hình 2.8: Kết hiển thị qua trình xử lý 25 Hình 3.1: Mơ Hình Đề Xuất 28 Hình 3.2: Lưu đồ giải thuật đề xuất 29 Hình 3.3: Lưu đồ giải thuật "xây dựng đường viền" 30 Hình 3.4: Ảnh gốc .32 Hình 3.5: Kết Temporal Median Filter .32 Hình 3.6: Kết phương pháp phát cạnh Canny 33 Hình 3.7: Kết sau khử cách cạnh thuộc background 33 Hình 3.8: Lưu đồ giải thuật "theo vết - trường hợp 1" .36 Hình 3.9: Lưu đồ giải thuật "theo vết - trường hợp 2" .37 Hình 3.10: Theo vết đối tượng đơn 38 Hình 3.11: Đối tượng xuất 39 Hình 3.12: Đối tượng khỏi khung cảnh 40 Hình 3.13: Hai đối tượng trước lúc xen vào 41 Hình 3.14: Hai đối tượng xen vào 41 Hình 3.15: Hai đối tượng tách trở lại 42 Hình 4.1: Kết bước phát cạnh .44 Hình 4.2: Kết bước phát đối tượng chuyển động 45 Hình 4.3: Kết bước khử cách cạnh .46 Hình 4.4: Kết bước theo vết đối tượng đơn .47 vii Hình 4.1: Kết bước phát cạnh 4.2 Phát đối tượng chuyển động Luận văn dùng phương pháp Temporal Median Filter, tự thực theo nghiên cứu Thanh-Sach LE Trung-Hieu LUU [5] Hình 4.2 kết bước phát đối tương chuyển động, test với hai video, hình (a) video quay sân trường đại học Bách Khoa Tp.HCM, hình (b) video lấy tập liệu chuẩn CAVIAR 44 Hình 4.2: Kết bước phát đối tượng chuyển động 4.3 Khử cạnh Luận văn kết hợp kết hai bước phần 4.1 4.2 để khử cạnh Những cạnh thỏa biểu thức (3.2) bị khử khỏi tập cạnh phát Hình 4.3 kết sau cạnh khử biểu thức (3.2), test với hai video, hình (a) video quay sân trường đại học Bách Khoa Tp.HCM, hình (b) video lấy tập liệu chuẩn CAVIAR Các giá trị tham số trog biểu thức (3.1) (3.2) chọn = 35, = 0.3 45 Hình 4.3: Kết bước khử cách cạnh 4.4 Theo vết đối tượng đơn Như trình bày chương 3, luận văn dựa vào hệ số tương đương ( , ) để theo vết đối tượng qua frame, kết đạt tốt, chương trình để vết đối tượng vài frame gần 4000 frame test Hình 4.4 kết chụp lại frame theo vết, test với hai video, hình (a) video quay sân trường đại học Bách Khoa Tp.HCM, hình (b), (c) video lấy tập liệu chuẩn CAVIAR Bảng 4.1 cho thấy giá trị hệ số tương đương ( , đối tượng hình 4.4-a, hàng thứ tương đương đối tượng thứ cột ) giá trị hệ số frame tại, với đối tượng thứ frame Kết bảng 4.1 cho thấy cặp đối tượng tương đương có hệ số ( , ) gần 1, hệ số ( , ) cặp khác Các giá trị tham số trog biểu thức (3.4), (3.5), (3.6) (3.7) chọn = 0.5, = 2, = 2, Ω = 0.5 46 Hình 4.4: Kết bước theo vết đối tượng đơn ( , ) 0.82 0 0 0.95 0 0 0 0.86 0 0 0.85 0 0 0 0.85 0 0 0.93 Bảng 4.1: Hệ số tương đương ( , ) đối tượng hình 4.4-a 4.5 Xử lý đối tượng xen vào Khi đối tượng đơn xen vào nhau, chương trình tự động phát tiếp tục theo vết đối tượng merged này, kết thu xác, chương trình phát đối tượng merged theo vết chúng tốt Hình 4.5 kết phát hai đối tượng xen vào nhau, hình 4.5-(a) hình chụp trước hai đối tượng xen vào nhau, hình 4.5-(b) hình chụp sau hai đối tượng xen vào Hình 4.6 kết việc phát ba đối tượng xen vào nhau, hình 4.6-(a) hình trước đối tượng số vào, hình 4.6-(b) hình 47 sau đối tượng số vào Bảng 4.2 cho thấy giá trị hệ số tương đương ( , ) đối tượng hình 4.5, hàng thứ cột giá trị hệ số tương đương đối tượng thứ frame (hình 4.5-a), với đối tượng thứ frame (hình 4.5-b) Kết bảng 4.2 cho thấy hai đối tượng frame hình 4.5-a, cho hệ số tương đương lớn với đối tượng 1+3 frame hình 4.5-b, điều giúp chương trình phát đối tượng merged 1+3 Tương tự bảng 4.3 cho kết với thực tế hình 4.6, đối tượng 1+3 merge với đối tượng 2, cho đối tượng 2+1+3 Hình 4.5: Hai đối tượng xen vào ( , ) 1+3 0 0 0.84 0 0 0.9 0 0.92 0 0 0.84 0 0 0.94 Bảng 4.2: Hệ số tương đương ( , 48 ) đối tượng hình 4.5 Hình 4.6: Ba đối tượng xen vào ( , ) 2+1+3 0.8 0 1+3 0.82 0 0.94 0 0 0.78 0 0.87 Bảng 4.3: Hệ số tương đương ( , ) đối tượng hình 4.6 4.6 Xử lý đối tượng tách Khi phát đối tượng tách ra, luận văn dùng hướng vector chuyển động để xác định đối tượng tách trình bày chương Kết xử lý tách xác, phần hướng đối tượng vào lúc không chênh lệch nhiều, giải thuật thất bại đối tượng đổi hướng đột ngột sau xen vào Hình 4.7 4.8 thể kết sau ba đối tượng tách ra, chương trình phát gán nhãn xác cho đối tượng đơn Bảng 4.4 4.5 thể kết hệ số tương đương tương ứng với hình 4.7 hình 4.8 49 Hình 4.7: Đối tượng tách khỏi block 2+1+3 ( , ) 3+1 0.92 0 0 2+1+3 0.53 0.31 0 0 0.81 0 0 0.88 Bảng 4.4: Hệ số tương đương ( , ) đối tượng hình 4.7 Hình 4.8: Đối tượng tách rời 50 ( , ) 0+5 0.87 0 0 3+1 0.49 0.32 0 0.81 0 0 0 0.94 0.83 0 0 Bảng 4.5: Hệ số tương đương ( , ) đối tượng hình 4.8 Từ bảng 4.4 4.5 ta thấy rằng, đối tượng merged tách ra, cho hệ số tương đương với đối tượng tách nhỏ, điều dễ hiểu đối tượng merged có tổng số contour số contour lớn, đối tượng tách có nhỏ nhiều Do cơng thức tính ( , ) biểu thức (3.3) cho kết nhỏ, để cải tiến trường hợp này, hệ số tương đương ( , ) nhân thêm hệ số 51 ′ CHƯƠNG 5: KẾT LUẬN 5.1 Kết đạt Giải thuật mà luận văn đề xuất theo vết thành công đối tượng chuyển động đoạn video, giải thuật theo vết lúc nhiều đối tượng khung cảnh Giải thuật theo vết thành công đối tượng chuyển động với vận tốc cao, từ ứng dụng giao thông, để theo vết giám sát phương tiện tham gia giao thông đường cao tốc hay đại lộ Giải thuật xử lý công trường hợp như: Phát đối tượng mới, phát đối tượng bị che khuất sau chúng xuất trở lại, phát theo vết thành công đối tượng xen lẫn vào nhau, sau tách trở lại Giải thuật theo vết thành công test với trường hợp frame trung gian bị bỏ qua, theo vết đối tượng thời gian thực, bất chấp video quay với tốc độ frame giây cao 5.2 Ưu nhược điểm giải thuật đề xuất 5.2.1 Ưu điểm Giải thuật đề xuất theo vết đối tượng xác, xác suất để vết đối tượng thấp Giải thuật theo vết lúc nhiều đối tượng khung cảnh, xử lý tốt trường hợp phát đối tượng mới, phát xử lý đối tượng bị che khuất Đặc biệt giải thuật cịn xử lý xác trường hợp nhiều đối tượng xen vào nhau, sau phục hồi xác đối tượng sau chúng tách trở lại Giải thuật chí tracking thành cơng đối tượng chuyển động với vận tốc cao, giải thuật cịn áp dụng thành cơng viết ứng dụng nhỏ giao thông 52 5.2.1 Nhược điểm Trong trường hợp đối tượng xen lẫn bị tách ra, giải thuật thất bại đối tượng xen lẫn đổi hướng đột ngột trước tách ra, giải thuật dựa hồn tồn vào hướng chuyển động đối tượng trước xen vào sau tách Khi đối tượng khỏi khung cảnh, sau vào trở lại, lúc giải thuật xem đối tượng vào đối tượng mới, giải thuật khơng thể phán đốn đối tượng đối tượng trước Khi có hai đối tượng trở lên bị che khuất vị trí, chúng xuất trở lại, giải thuật phân biệt đối tượng này, chúng đổi hướng chuyển lúc bị che khuất 5.3 Hướng mở rộng 5.3.1 Ứng dụng giao thông Luận văn dựa vào kết nghiên cứu tracking để viết ứng dụng giao thông, chức ứng dụng đếm số lượng xe, đo tốc độ xe, xác định hướng chuyển động xe Từ có ứng dụng tự động xác định phương tiện vi phạm tốc độ chạy ngược chiều cho phép Giới hạn ứng dụng xử lý xác đường dành cho xe ô tô, thời điểm mà mật độ xe không dày đặc Nếu mật độ xe dày đặc độ xác ứng dụng khơng cao Hình 5.1 kết việc đo tốc độ xe, hình 5.2 kết việc đo tốc độ nhiều xe lúc, hình 5.3 kết phát xe số chạy tốc độ 63.8 km/h, tốc độ cho phép quy định 60 km/h 53 Hình 5.1: Phát đo tốc độ xe Hình 5.2: Phát đo tốc độ nhiều xe lúc 54 Hình 5.3: Phát xe chạy tốc độ 5.3.2 Hướng nghiên cứu tương lai Để cải thiện nhược điểm trên, tương lai, cần nghiên cứu phương pháp so sánh độ tương đương hình dạng contours đối tượng, độ tương đương không phụ thuộc vào hướng chuyển động, hay vị trí đối tượng, đối tượng theo vết ba trường hợp nêu phần nhược điểm Để hoàn thiện ứng dụng giao thông nêu phần trên, cần nghiên cứu thêm phương pháp phát nhận dạng biển số phương tiện tham gia giao thơng Từ tích hợp vào ứng dụng này, áp dụng vào để triển khai hệ thống giám sát giao thơng tự động, hệ thống tự động phát hành vi vi phạm như: chạy không tốc độ cho phép, ngược chiều sau gởi biển số hình ảnh vi phạm trung tâm giám sát để làm chứng xử phạt Qua giúp làm giảm đáng kể lực lượng cảnh sát giao thông trực tiếp đến trường, giúp nâng cao ý thức chấp hành luật giao thơng người đường, qua làm giảm vụ tai nạn giao thơng 55 TÀI LIỆU THAM KHẢO [1] Weiming Hu, Tieniu Tan, Fellow, Liang Wang, and Steve Maybank, “A Survey on Visual Surveillance of Object Motion and Behaviors”, IEEE Transaction On System, Vol 34, No 3, 2004, P.No 708-723 [2] Kinjal A Joshi, Darshak G Thakore, “A Survey on Moving Object Detection and Tracking in Video Surveillance System”, International Journal of Soft Computing and Engineering (IJSCE), Volume-2, Issue-3, July 2012 [3] Massimo Piccardi, “Background Subtraction Techniques: A Review”, IEEE International Conference on Systems, Man and Cybernetics, Vol 4, 2004 [4] Takashi FUSE, Eihan SHIMIZU, Morito TSUTSUMI “A Compare Study on Gradient-Based Approaches for Optical Flow Estimation”, International Archives of Photogrammetry and Remote Sensing, Vol XXXIII, Part B5, Amsterdam 2000 [5] Thanh-Sach LE, Trung-Hieu LUU “A Fast Temporal Median Filter and Its Application for Background Estimation in Video Surveillance”, SOCPAR13, 2013 [6] Masayuki Yokoyama, Tomaso Poggio, “A Countour-Based Moving Object Detection and Tracking”, Visual Surveillance and Performance Evaluation of Tracking and Surveillance, 2005 [7] Chirag I Patel, Ripal Patel, “Contour Based Object Tracking”, International Journal of Computer and Electrical Engineering, Vol 4, No 4, August 2012 [8] M A Ali, S Indupalli, B Boufama, “Tracking Multiple People for Video Surveillance”, International Journal of Computer Vision - IJCV, 2006 [9] Chen-Chien Hsu, Guo-Tang Dai, “Multiple Object Tracking Using Particle Swarm Optimization”, World Academy of Science, Engineering and Technology , 2012 [10] Stanley T Birchfield, Sriram Rangarajan, “Spatial Histograms for RegionBased Tracking”, ETRI Journal, Volume 29, Number 5, October 2007 a [11] John Canny, “A computational Approach to Edge Detection”, IEEE Transactions on Pattern Analysis Andmachine Intelligence, Vol Pami-8, No 6, November 1986 [12] D P Argialas, O D Mavrantza, “Comparison of Edge Detection and Hough Transform Techniques for The Extraction of Geologic Features”, The International Archives of the Photogrammetry, Remote Sensing and Spatial Informati on Sciences, Vol 34, Part XXX, 2002 [13] Greg Welch, Gary Bishop, “An Introduction to the Kalman Filter”,UNCChapel Hill, TR 95-041, July 24, 2006 [14] Satoshi Suzuki, Keiichi Abe, "Topological Structural Analysis of Digitized Binary Images by Border Following", CVGIP 30 1, pp 32-46, 1985 [15] C Wren, A Azarhayejani, T Darrell, and A.P Pentland, “Pfinder: real-time tracking of the human body”, IEEE Trans on Patfern Anal and Machine Infell, vol 19, no 7, pp 78g785, 1997 [16] C Stauffer and W.E.L Grimson, “Adaptive background mixture models for real-time tracking”, Proc IEEE CVPR 1999, pp 24&252, June 1999 [17] J Rymel, J Renno, D Greenhill and J Orwell, G.A Jones, “ADAPTIVE EIGEN-BACKGROUNDS FOR OBJECT DETECTION” International Conference on Image Processing, 2004 [18] Chi-Cheng Cheng, and Hui-Ting Li, "Feature-Based Optical Flow Computation", International Journal of InformationTechnology, Vol.12 No.7 2006 [19] Fu Chang, Chun-Jen Chen, and Chi-Jen Lu "A linear-time component-labeling algorithm using contour tracing technique", Institute of Information Science, 2003 b LÝ LỊCH TRÍCH NGANG Họ tên học viên: Lê Văn Phong Ngày, tháng, năm sinh: 07/08/1987 Nơi sinh: Đồng Nai Địa liên lạc: 226 - Hùng Vương, Ngão Giao, Châu Đức, BR-VT QUÁ TRÌNH ĐÀO TẠO 2005-2010: Sinh viên khoa Khoa Học Kỹ Thuật Máy Tính, trường đại học Bách Khoa Tp HCM 2011-2014: Học viên cao học khoa Khoa Học Kỹ Thuật Máy Tính, trường đại học Bách Khoa Tp HCM Q TRÌNH CƠNG TÁC 2010-2013: Kỹ sư bậc 1, nhóm phần mềm i3-Pro, cơng ty i3-International c ... trí blob gần đường xác định đối tượng xuất hiện, đường viền số thuộc tính đối tượng thêm vào danh sách đối tượng theo vết A Hình 3.11 cho thấy có đối tượng vừa vào khung cảnh, đối tượng phát đánh... đối phát từ frame (đối tượng có điểm contour khơng dính tới đường bao frame), đối tượng xem đối tượng xuất lại sau thời gian bị che khuất Đối tượng tìm danh sách đối tượng bị che khuất, tâm đối. .. xuất đường viền đối tượng chuyển động, sau áp dụng phương pháp Optical Flow [4] đường viền để tiến hành theo vết đối tượng Kết thực nghiệm cho thấy xác trình theo dõi trường hợp phức tạp đối tượng