Hệ thống quản lý bãi xe ô tô dựa vào video giám sát

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM - BÙI THỊ THU THỦY HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT LUẬN VĂN THẠC SĨ Chuyên ngành : Công Nghệ Thông Tin Mã số ngành: 60480201 TP HỒ CHÍ MINH, tháng 10 năm 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM - BÙI THỊ THU THỦY HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT LUẬN VĂN THẠC SĨ Chuyên ngành : Công Nghệ Thông Tin Mã số ngành: 60480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS TÂN HẠNH TP HỒ CHÍ MINH, tháng 10 năm 2015 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM Cán hướng dẫn khoa học : TS Tân Hạnh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn Thạc sĩ bảo vệ Trường Đại học Công nghệ TP HCM ngày 17 tháng 10 năm 2015 Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ Luận văn Thạc sĩ) Họ tên TT Chức danh Hội đồng GS TSKH Hoàng Văn Kiếm Chủ tịch PGS.TS Lê Hoài Bắc Phản biện TS.Vũ Thanh Hiền Phản biện TS Hồ Đắc Nghĩa Ủy viên TS Cao Tùng Anh Ủy viên, Thư ký Xác nhận Chủ tịch Hội đồng đánh giá Luận sau Luận văn sửa chữa (nếu có) Chủ tịch Hội đồng đánh giá LV TRƯỜNG ĐH CƠNG NGHỆ TP HCM CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM PHÒNG QLKH – ĐTSĐH Độc lập – Tự – Hạnh phúc TP HCM, ngày 03 tháng 04 năm 2015 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Bùi Thị Thu Thủy Giới tính: Nữ Ngày, tháng, năm sinh: 27/11/1988 Nơi sinh: Bình Thuận Chun ngành: Cơng Nghệ Thơng Tin MSHV: 1341860054 I- Tên đề tài: HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT II- Nhiệm vụ nội dung:  Nghiên cứu lĩnh vực thị giác máy tính (computer vision) sở liệu đa phương tiện (database multimedia)  Nghiên cứu kỹ thuật xử lý video: Tách shot, phát key frame  Nghiên cứu thuật tốn SIFT (SCALE-INVARIANT FEATURE TRANSFORM) trích xuất điểm đặc biệt đặc trưng ảnh  Nghiên cứu thuật toán SURF (SPEED UP ROBUST FEATURE) thuật tốn cải tiến thời gian tính tốn SIFT  Nghiên cứu FLANN (Fast Library for Approximate Nearest Neighbors) phương pháp hỗ trợ cho việc tìm kiếm nhanh điểm lân cận khơng gian 3D  Tìm hiểu thư viện phát triển thị giác máy tính mã nguồn mở OpenCV để xây dựng ứng dụng xử lý ảnh  Xây dựng demo “Hệ Thống Quản Lý Bãi Xe Ơ Tơ Dựa Vào Video Giám Sát” III- Ngày giao nhiệm vụ: 03/04/2015 IV- Ngày hoàn thành nhiệm vụ: 17/09/2015 V- Cán hướng dẫn: TS Tân Hạnh CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) KHOA QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực Luận văn (Ký ghi rõ họ tên) ii LỜI CÁM ƠN chân thành đỡ tận tình TS Tân Hạnh Cảm ơn Thầy sát cánh cung cấp kiến thức quí báu suốt thời gian nghiên cứu thực luận văn /Cô, đồng nghiệp Khoa Cơng Nghệ Thơng Tin, Phịng QLKH-ĐTSĐH thơng tin ln quan tâm giúp đỡ suốt thời gian học tập nghiên cứu hoàn thành luận văn Luận văn khơng thể tránh khỏi sai sót, mong nhận ý kiến đóng góp người cho luận văn hồn thiện Tơi xin chân thành cảm ơn TP Hồ Chí Minh, 2015 BÙI THỊ THU THỦY iii TÓM TẮT Ngày thị giác máy tính lĩnh vực phát triển mạnh mẽ hệ thống máy tính, thuật tốn, cơng trình nghiên cứu, ứng dụng xử lý ảnh triển khai số lĩnh vực lắp đặt hệ thống nhận dạng biển số xe bãi đổ xe, hệ thống nhận dạng vân tay chấm công công sở môn học xử lý ảnh trường đại học xem môn học bắt buộc số nghành công nghệ thông tin, điện tử viễn thơng Tuy nhiên nhìn cách khách quan số lượng ứng dụng triển khai thực tế q ỏi, lĩnh vực cịn phát triển mạnh mẽ tương lai quan tâm cách nghiêm túc Xuất phát từ thực tế đó, đề tài nhằm mục đích tìm hiểu, nghiên cứu ứng dụng vào nhu cầu thực tế việc quản lý giám sát “Hệ Thống Quản Lý Bãi Xe Ơtơ Dựa Vào Video Giám Sát”, đáp ứng nhu cầu truy vấn đối tượng hình ảnh cho sẵn so sánh tìm kiếm đối tượng tồn Video, Cụ thể đối tượng xe bãi Quản lý an tồn bãi xe, tìm kiếm đối tượng, truy xuất thông tin Luận văn ứng dụng kỹ thuật so trùng histogram để xử lý video Kỹ thuật SURF (Speed Up Robust Feature) tối ưu tốc độ, thời gian tính tốn từ kỹ thuật SIFT (Scale-Invariant Feature Transform) trích xuất điểm đặc biệt đặc trưng ảnh Kỹ Thuật FLANN (Fast Library for Approximate Nearest Neighbors) so khớp đối tượng cần tìm đối tượng video Kết thực nghiệm luận văn giảm thiểu việc tiêu tốn nhiều thời gian công sức việc tìm kiếm giám sát đối tượng Ứng dụng lĩnh vực thị giác máy tính vào nhu cầu đời sống iv ABSTRACT Today,computer vision is a strong sector development of computer systems, algorithms, research, application of image processing to bedeployed in some majorssuch asinstalling automatic number plate recognition system in car parks,automated fingerprint identification and timekeepingsystem in the workplace At the university, image processing is considered to be a compulsory subject in some sectors such as information technology, electronics and telecommunications, etc However, an objective look thatthe reality is very little number of applications have been deployed, if this sector has a serious interest it will continue developing strongly in the future Based on that fact, thistheme aims to explore, to study and to apply these applications from real demand in the management and supervision “Car Park Management System Based On Monitoring Video”, it meets the need that query image - object uses an available image and compares with object exists in the video, specifically here is the object in the parking lot Parking lot security management, searching for object, information retrieval The theme technical applications “histogram matching to handle video”, SURF Technology “Speed Up Robust Feature” because it is optimized for speed, calculation time from SIFT Technology “Scale-Invariant Feature Transform” extract features and image characteristics Flann Technology (Fast Approximate Nearest Neighbors Library for) matching objects with objects in video The experimental result of the theme minimize time-consuming and effort into finding and monitoring objects Application areas of computer vision in life needs v MỤC LỤC CHƯƠNG 1: GIỚI THIỆU 1.1: GIỚI THIỆU ĐỀ TÀI 1.2: TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH _ COMPUTER VISION CHƯƠNG 2: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU CỦA ĐỀ TÀI 2.1: MỘT SỐ KHÁI NIỆM 2.1.1 Cấu Trúc Video 2.1.2 Key – Frame 2.2: XÂY DỰNG CƠ SỞ DỮ LIỆU 2.3: XỬ LÝ VIDEO 2.3.1 Tách shot 2.3.1.1 Phát shot 2.3.1.2 Phân loại 2.3.2 Kỹ thuật tách shot 2.3.2.1 Sự khác biệt histogram 2.3.2.2 Phát biên 2.3.2.3 Tách shot 10 2.3.3 Phát frame (key frame) 10 2.4: TRÍCH XUẤT CÁC ĐIỂM ĐẶC BIỆT VÀ CÁC ĐẶC TRƯNG CỦA ẢNH BẰNG THUẬT TOÁN SIFT (SCALE-INVARIANT FEATURE TRANSFORM) 11 2.4.1 Tổng quan SIFT 11 2.4.2 Biểu diễn ảnh đặc trưng SIFT 14 2.4.2.1 Phát điểm cực trị không gian đo 14 vi 2.4.2.2 Định vị điểm đặc trưng 18 2.4.2.3 Xác định hướng cho điểm đặc trưng 21 2.4.2.4 Mô tả hướng cho điểm đặc trưng 22 2.5: KỸ THUẬT SURF (SPEED UP ROBUST FEATURE) 23 2.5.1 Phát đặc trưng 23 2.5.2 Mô tả đặc trưng 25 2.5.3 So khớp đặc trưng 27 2.6: THƯ VIỆN MÃ NGUỒN MỞ OPENCV TRÊN NỀN VISUAL C++ 28 2.6.1 Giới Thiệu Về Thư Viện Mã Nguồn Mở OpenCV 28 2.6.2 Phiên Bản OpenCV OpenCV 32 2.6.3 FLANN (Fast Library For Approximate Nearest Neighbors) Hỗ Trợ cho Việc Tìm Kiếm Nhanh Các Điểm Lân Cận Trong Khơng Gian 3D 33 CHƯƠNG 3: ỨNG DỤNG THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ 34 3.1: NÊU LẠI BÀI TOÁN: 34 3.2: PHÂN TÍCH VÀ THIẾT KẾ: 35 3.2.1 Kiến Trúc Hệ Thống 35 3.2.2 Tách KeyFrame Từ Video 36 3.2.3 So Trùng Ảnh Với KeyFrame 37 3.2.4 Cơ Sở Dữ Liệu 38 3.2.5 Giao Diện Chương Trình 40 3.3: Đánh Giá: 43 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 4.1: KẾT LUẬN 52 4.2: HƯỚNG PHÁT TRIỂN 52 42 tương ứng, đối tượng có tồn video hay khơng, nằm đoạn video nào, thời gian, địa điểm Choose image scene: truy vấn tìm kiếm hình ảnh cần tìm Button Recognize: Thực tìm kiếm Hình 3.9: Giá trị keypoints, khoảng cách giới hạn keypoints Hình 3.10: Matching phát đối tượng 43 3.3: Đánh Giá:  Nguồn liệu: Bộ liệu video quản lý bãi xe ôtô từ nguồn giả lập thử nghiệm Video: Video “carparking1.mp4” Thuộc vị trí tầng trệt, với time=00:00:59, 411kB, audio: 0kB, subtitle: 0kB Số KeyFrame trích xuất 17 Hình 3.11 Tách keyframe video “carparking1.mp4” Video “carparking2.mp4” Thuộc vị trí tầng B1, với time=00:04:15, 1696kB, audio: 0kB, subtitle: 0kB Số KeyFrame trích xuất 124 44 Hình 3.12 Tách keyframe video “carparking2.mp4” Video “carparking3.mp4” Thuộc vị trí tầng B2, với time=00:05:49, 2434kB, audio: 0kB, subtitle: 0kB Số KeyFrame trích xuất 188 Hình 3.13 Tách keyframe video “carparking3.mp4” 45  Test tìm kiếm đối tượng xe ôtô xuất video giả lập  Truy vấn tìm kiếm đối tượng ƠTơ Hình 3.14 Matching phát đối tượng ôtô1 Hình 3.15 Kết truy vấn tìm kiếm đối tượng ơtơ1 46  Truy vấn tìm kiếm đối tượng ƠTơ Hình 3.16 Matching phát đối tượng ôtô2 Hình 3.17 Kết truy vấn tìm kiếm đối tượng ơtơ2 47  Truy vấn tìm kiếm đối tượng ƠTơ Hình 3.18 Matching phát đối tượng ôtô3 Hình 3.19 Kết truy vấn tìm kiếm đối tượng ơtơ3 48  Truy vấn tìm kiếm đối tượng ƠTơ Hình 3.20 Matching phát đối tượng ôtô4 Hình 3.21 Kết truy vấn tìm kiếm đối tượng ơtơ4 49  Đánh Giá: Đánh giá độ xác độ phũ chương trình qua việc tìm kiếm đối tượng Kết thực nghiệm chương trình qua việc tìm kiếm đối tượng xe ơtơ màu trắng, tồn video carparking1.mp4, thời gian lưu trữ video 31/08/2015 – 03:44:06, vị trí tầng  Kết thu Độ Chính Xác (Precision) Độ Phủ (Recall) Dựa Độ Chính Xác (Precision) Độ Phủ (Recall) ta có số kết đánh giá ban đầu sau: Số lượng thử nghiệm: Thử nghiệm Video: +Video “carparking1.mp4” Số KeyFrame trích xuất 17 + Video “carparking2.mp4” Số KeyFrame trích xuất 124 + Video “carparking3.mp4” Số KeyFrame trích xuất 188 Số ảnh đối tượng sử dụng ảnh: ƠTơ1, ƠTơ 2, ƠTơ 3, ƠTơ Kết tìm kiếm nhận dạng đối tượng ta 50 Đối tượng nhận dạng Thông Tin Đối Tượng Độ Chính Độ Phủ Xác (Recall) (Precision) ÔTô Màu trắng Tồn video carparking1.mp4 Thời gian lưu trữ video 31/08/2015 – 03:44:06 Tại vị trí tầng ƠTơ Màu trắng Tồn video carparking1.mp4 Thời gian lưu trữ video 3/09/2015 – 09:47:50 Tại vị trí tầng 51 ƠTơ Màu xanh Tồn video carparking3.mp4 Thời gian lưu trữ video 3/09/2015 – 11:22:55 Tại vị trí tầng hầm B1 ƠTơ Màu cam Tồn video carparking3.mp4 Thời gian lưu trữ video 3/09/2015 – 11:22:55 Tại vị trí tầng hầm B1 52 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1: KẾT LUẬN Qua trình tìm hiểu, thực nghiệm, thực đề tài thời gian cho phép Luận văn đạt mức tìm hiểu cài đặt thuật tốn ứng dụng vào chương trình “Hệ Thống Quản Lý Bãi Xe Ôtô Dựa Vào Video Giám Sát” nhận dạng đối tượng Luận văn chưa nghiên cứu thuật toán cải tiến thuật toán Kết cụ thể:  Xử lý video, tách keyframe;  Truy vấn so khớp tìm kiếm đối tượng;  Số lượng frame chứa đối tượng tìm kiếm; Hạn chế:  Tốc độ truy vấn tìm kiếm đối tượng cịn chậm  Chưa đáp ứng mức độ xử lý tập liệu lớn 4.2: HƯỚNG PHÁT TRIỂN 4.2.1 Hướng ứng dụng: - Xây dựng hệ thống an ninh giám sát; - Xây dựng hoàn chỉnh “Hệ Thống Quản Lý Bãi Xe Oto Dựa Vào Video Giám Sát” ứng dụng thực tế - Xây dựng hệ thống truy vấn tìm kiếm đối tượng dựa vào video quản lý 4.2.2 Hướng nghiên cứu: - Thu thập liệu bao quát với tất biến đổi đối tượng (góc nghiêng khác nhau) giới thực Khắc phục tình trạng mơi trường với ánh sáng nhiễu 53 - Thực nghiệm với liệu ảnh nhiều hơn, cho phép đánh giá phương pháp nhận dạng khác dựa đặc trưng SIFT; - Cải thiện tốc độ tìm kiếm đối tượng; 54 TÀI LIỆU THAM KHẢO: Tiếng Việt La Ngọc Tùng Kỹ Thuật Sift Trong Phát Hiện Và Đánh Dấu Đối Tượng Luận văn Thạc Sĩ Khoa Học Máy Tính, Đại Học Cơng Nghệ Thơng Tin Và Truyền Thông, Thái Nguyên – 2012 Nguyen Truong Duy’s blog Cài Đặt OpenCV Trên Windows với Visual Studio 2013, 15/11/2014, from: Mã Trường Thành So Khớp Khuôn Mặt Người Với Giải Thuật Máy Học, Đặc Trưng Không Đổi SIFT Và Mơ Hình Túi Từ Đề Tài Nghiên Cứu Khoa Học Cấp Trường – 2014 Nhóm Thị Giác Máy Tính (CVA) Computer Vision and Application, Số Đại Cồ Việt - Hai Bà Trưng - Hà Nội, 01/05/2012, from: Đào Thị Băng Trinh Phát Hiện Đối Tượng Trong Video Báo Cáo Thực Tập Tốt Nghiệp ĐH – 07/2012 Tiếng Anh David G Lowe (1999) Object Recognition from Local Scale-Invariant Features Computer Science Department University of British Columbia Vancouver, B.C., V6T 1Z4, Canada David G Lowe (January 5, 2004) Distinctive Image Features from ScaleInvariant Keypoints Computer Science Department University of British Columbia Vancouver, B.C., Canada David Lowe Demo Software: SIFT Keypoint Detector, March 8, 1999, from: 55 David G Lowe Local Feature View Clustering for 3D Object Recognition University of British Columbia Vancouver, B.C., V6T 1Z4, Canada, December 2001 10 (2006), ETH Zurich, Katholieke Universiteit Leuven 11 , , , and (2008) Speeded-Up Robust Features (SURF) Sternwartstrasse CH-8092 Zurich ETH Zurich, BIWI K U Leuven, ESAT-PSI Kasteelpark Arenberg 10 B-3001 Leuven Belgium 12 Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU), Vol 110, No 3, pp 346 359, 2008, from: 13 Herbert Bay Speeded up robust features, CH - 8092 Zürich, Switzerland, from: 14 G Bradski and A Kaehler Learning OpenCV, O'Reilly Media, 2008, from: 15 Alex Scene change detection during encoding and key frame extraction code, January 29th, 2012, from: 16 Marius Muja, David G Lowe Fast Approximate Nearest Neighbors With Automatic Algorithm Configuration Computer Science Department, University of British Columbia, Vancouver, B.C., Canada 17 David G.Lowe Distinctive image features from scale-invariant keypoints International Journal of Computer Vision, 60(2):91-110, 2004 56 18 Marius Muja and David G Lowe Fast Matching of Binary Features Laboratory for Computational Intelligence University of British Columbia, Vancouver, Canada 19 Lindeberg Scale-space theory: A basic tool for analysing structures at different scales Journal of Applied Statistics, 1994 20 David G.Lowe Object Recognition from Local Scale-Invariant Features International Conference on Computer Vision, Corfu, Greece, 1999 21 David G.Lowe Distinctive image features from scale-invariant keypoints International Journal of Computer Vision, 60(2):91-110, 2004 22 Kelly Smith, Arun Ross, Dirk Colbry and the Standards ICP Team Face Recognition The National Science and Technology Council (NSTC) Subcommittee on Biometrics, 2006 23 P Viola and M Jones Robust Real-time Object Detection International Journal of Computer Vision, 2001 24 P Viola, M Jones (2001), Rapid object detection using a boosted cascade of simple features Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 25 P Y Simard, L Bottou, P Haffner, Y Lecun (1998) A fast convolution algorithm for signal processing and neural networks In Proceedings of the 1998 conference on Advances in neural information processing systems II ... giám sát xem phương pháp giám sát thuận lợi ? ?Hệ Thống Quản Lý Bãi Xe Ơtơ Dựa Vào Video Giám Sát? ?? nhằm mục đích quản lý bãi xe video, để đếm số lượng xe, tìm kiếm, tính khoảng cách xe bãi Video lưu... đích tìm hiểu, nghiên cứu ứng dụng vào nhu cầu thực tế việc quản lý giám sát Mục tiêu đề tài ? ?Hệ Thống quản lý bãi xe ô tô dựa vào video giám sát? ?? nhằm xây dựng hệ thống (chương trình ứng dụng) có... liệu video đối tượng xe ? ?tô - Xây dựng chương trình nhận dạng xe sở liệu video Hiện nhu cầu hệ thống giám sát qua camera ứng dụng rộng rãi quản lý quản lý tòa nhà, quản lý siêu thị, quản lý bãi xe,