3.2.1 Kiến Trúc Hệ Thống
Kiến trúc hệ thống gồm hai phần : + Chỉ mục video + Tìm kiếm đối tượng
Hình 3.1 Kiến trúc hệ thống
Hệ thống xử lý gồm hai quy trình
+ Quản lý (Admin) : thao tác xử lý video, cung cấp video cần xử lý, Tách keyframe từ video.
+ Người sử dụng: Cung cấp hình ảnh xe ôtô cần tìm kiếm Chương trình tiến hành so khớp hình ảnh với keyframe
Tách Frame Tách Shot Xác định KeyFrame So Trùng Xử Lý Hình ảnh đối CSDL Video Chỉ mục Video
Tìm kiếm đối tượng Vide
+ Tìm Thấy đối tương : Chương trình hiển thị Keyframe chứa đối tượng đang tìm, thông tin (vị trí, thời gian, số lượng) đối tượng.
+ không tìm thấy: thông báo đối tượng không tồn tại trong bãi. Kết thúc chương trình.
3.2.2 Tách KeyFrame Từ Video
Hình 3.2 Sơ đồ tuần tự tách keyframe từ video
Sơ đồ tuần tự mô tả quá trình tách keyframe từ video
Quản lý (Admin): thao tác xử lý video, cung cấp video cần xử lý, Tách keyframe từ video.
Admin cung cấp video, sau đó tiến hành tách shots video. Cuối cùng video được tách ra thành từng keyframe đối tượng.
3.2.3 So Trùng Ảnh Với KeyFrame
Hình 3.3 Sơ đồ tuần tự so trùng ảnh với keyframe
Sơ đồ tuần tự so trùng ảnh với keyframe mô tả quy trình xử lý tuần tự quá trình so trùng ảnh với keyframe
+ Quản lý (Admin): thao tác xử lý video, tách shots video, tách keyframe từ video + Người sử dụng: cung cấp hình ảnh đối tượng
3.2.4 Cơ Sở Dữ Liệu
Hình 3.4 Cơ sở dữ liệu
Cơ sở dữ liệu hệ thống gồm 3 table 1) Tầng : gồm Mã Tầng, Tên Tầng
2) Video: gồm Mã Video, Tên Video, Thời Gian, Link Key Frame 3) KeyFrame: gồm Mã Keyframe, Link Key Frame, Descriptors
Hệ thống bãi xe của trung tâm thương mại có nhiều tầng gồm tầng trệt, tầng hầm B1, tầng hầm B2. Mỗi tầng được lắp nhiều camera giám sát đặt ở nhiều vị trí khác nhau, mỗi camera lưu trữ nhiều video giám sát tại nhiều thơi điểm khác nhau trong ngày.
Database sqlite lưu trữ dữ liệu
Hình 3.5: SQLite lưu trữ các video của camera
3.2.5 Giao Diện Chương Trình
Chương trình Hệ Thống Quản Lý Bãi Xe Ô TÔ Dựa Vào Video Giám Sát được chạy ứng dụng trên máy tính Lenovo 2.00GHz bộ xử lý Core(TM)2 Duo và 4GB bộ nhớ chính, máy chạy hệ điều hành Windows 7 Professional.
Ngôn ngữ lập trình C++ trong bộ Microsoft Visual Studio 2013, hệ quản trị SQLite
Hình 3.7: Giao diện chính của chương trình KeyFrame
chính xác nhất của đối
ầ
Thông tin của đối tượng đang tìm Số KeyFrame chứa đối tượng đang Chọn Video cần Vị trí d Thời gian id Truy vấn hình ảnh đối tượng
Quy Trình Xử Lý Video
Các Video quay bằng camera quản lý xe trong bãi xe sẽ được xử lý tách lấy các keyframe, chương trình ứng dụng cho thao tác chọn video cần tách keyframe, chọn vị trí của camera và thời gian lưu trữ tương ứng.
Choose video scene: Chọn Video cần tách keyframe Position: Vị trị camera tương ứng
Date time: thời gian lưu trữ.
Kết quả keyframe của video đã được tách và lưu trữ vào database chương trình.
Hình 3.8: Kết quả xử lý video tách keyframe
Truy Vấn Tìm Kiếm Đối Tượng Cần tìm Với Đối Tượng Tồn Tại Trong Video
Người xử dụng cung cấp hình ảnh của đối tượng cần tìm, chương trình truy vấn so khớp tìm kiếm đối tượng đó trong video đã lưu trữ. Đồng thời cung cấp thông tin
tương ứng, đối tượng có tồn tại trong video hay không, nằm trong đoạn video nào, thời gian, địa điểm.
Choose image scene: truy vấn tìm kiếm hình ảnh cần tìm. Button Recognize: Thực hiện tìm kiếm.
Hình 3.9: Giá trị keypoints, khoảng cách giới hạn các keypoints
3.3: Đánh Giá:
Nguồn dữ liệu:
Bộ dữ liệu video quản lý bãi xe ôtô từ nguồn giả lập thử nghiệm trên 3 Video: Video “carparking1.mp4” Thuộc vị trí tầng trệt, với time=00:00:59, 411kB, audio: 0kB, subtitle: 0kB. Số KeyFrame trích xuất 17.
Hình 3.11 Tách keyframe video “carparking1.mp4”
Video “carparking2.mp4” Thuộc vị trí tầng B1, với time=00:04:15, 1696kB, audio: 0kB, subtitle: 0kB. Số KeyFrame trích xuất 124.
Hình 3.12 Tách keyframe video “carparking2.mp4”
Video “carparking3.mp4” Thuộc vị trí tầng B2, với time=00:05:49, 2434kB, audio: 0kB, subtitle: 0kB. Số KeyFrame trích xuất 188.
Test tìm kiếm 4 đối tượng xe ôtô xuất hiện trong 3 video giả lập
Truy vấn tìm kiếm đối tượng ÔTô 1
Hình 3.14 Matching phát hiện ra đối tượng ôtô1
Truy vấn tìm kiếm đối tượng ÔTô 2
Hình 3.16 Matching phát hiện ra đối tượng ôtô2
Truy vấn tìm kiếm đối tượng ÔTô 3
Hình 3.18 Matching phát hiện ra đối tượng ôtô3
Truy vấn tìm kiếm đối tượng ÔTô 4
Hình 3.20 Matching phát hiện ra đối tượng ôtô4
Đánh Giá:
Đánh giá độ chính xác và độ phũ của chương trình qua việc tìm kiếm trên từng đối tượng. Kết quả thực nghiệm của chương trình qua việc tìm kiếm đối tượng xe ôtô màu trắng, tồn tại trong video carparking1.mp4, thời gian lưu trữ video là 31/08/2015 – 03:44:06, tại vị trí tầng trệt.
Kết quả thu được
Độ Chính Xác (Precision)
Độ Phủ (Recall)
Dựa trên Độ Chính Xác (Precision) và Độ Phủ (Recall) ta có một số kết quả đánh giá ban đầu như sau:
Số lượng thử nghiệm: Thử nghiệm trên 3 Video:
+Video “carparking1.mp4” Số KeyFrame trích xuất 17 + Video “carparking2.mp4” Số KeyFrame trích xuất 124. + Video “carparking3.mp4” Số KeyFrame trích xuất 188. Số ảnh đối tượng sử dụng là 4 ảnh: ÔTô1, ÔTô 2, ÔTô 3, ÔTô 4. Kết quả tìm kiếm nhận dạng 4 đối tượng ta được
Đối tượng nhận dạng Thông Tin Đối Tượng Độ Chính Xác (Precision) Độ Phủ (Recall) ÔTô 1 Màu trắng.
Tồn tại trong video carparking1.mp4.
Thời gian lưu trữ video là 31/08/2015 – 03:44:06. Tại vị trí tầng trệt.
ÔTô 2 Màu trắng.
Tồn tại trong video carparking1.mp4.
Thời gian lưu trữ video là 3/09/2015 – 09:47:50. Tại vị trí tầng trệt.
ÔTô 3 Màu xanh.
Tồn tại trong video carparking3.mp4.
Thời gian lưu trữ video là 3/09/2015 – 11:22:55. Tại vị trí tầng hầm B1.
ÔTô 4 Màu cam.
Tồn tại trong video carparking3.mp4.
Thời gian lưu trữ video là 3/09/2015 – 11:22:55. Tại vị trí tầng hầm B1.
CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
4.1: KẾT LUẬN
Qua quá trình tìm hiểu, thực nghiệm, và thực hiện đề tài trong thời gian cho phép. Luận văn chỉ đạt ở mức tìm hiểu và cài đặt thuật toán ứng dụng vào chương trình “Hệ Thống Quản Lý Bãi Xe Ôtô Dựa Vào Video Giám Sát” nhận dạng đối tượng. Luận văn chưa nghiên cứu được thuật toán mới hoặc cải tiến mới trong thuật toán.
Kết quả cụ thể:
Xử lý video, tách keyframe;
Truy vấn so khớp tìm kiếm đối tượng;
Số lượng frame chứa đối tượng đang tìm kiếm; Hạn chế:
Tốc độ truy vấn tìm kiếm đối tượng còn chậm
Chưa đáp ứng được mức độ xử lý trên tập dữ liệu lớn
4.2: HƯỚNG PHÁT TRIỂN4.2.1 Hướng ứng dụng: 4.2.1 Hướng ứng dụng:
- Xây dựng các hệ thống an ninh giám sát;
- Xây dựng hoàn chỉnh “Hệ Thống Quản Lý Bãi Xe Oto Dựa Vào Video Giám Sát” ứng dụng thực tế.
- Xây dựng hệ thống truy vấn tìm kiếm đối tượng dựa vào video quản lý.
4.2.2 Hướng nghiên cứu:
- Thu thập dữ liệu bao quát với tất cả các biến đổi trên đối tượng (góc nghiêng khác nhau) trong thế giới thực. Khắc phục tình trạng môi trường với ánh sáng nhiễu.
- Thực nghiệm với dữ liệu ảnh nhiều hơn, cho phép đánh giá các phương pháp nhận dạng khác nhau dựa trên đặc trưng SIFT;
TÀI LIỆU THAM KHẢO:
Tiếng Việt
1. La Ngọc Tùng. Kỹ Thuật Sift Trong Phát Hiện Và Đánh Dấu Đối Tượng. Luận văn Thạc Sĩ Khoa Học Máy Tính, Đại Học Công Nghệ Thông Tin Và Truyền Thông, Thái Nguyên – 2012.
2. Nguyen Truong Duy’s blog. Cài Đặt OpenCV Trên Windows với Visual Studio 2013, 15/11/2014,
from:<http://ntduy.blogspot.com/2014/11/cai-at-open-cv-tren-windows-voi- visual.html>.
3. Mã Trường Thành. So Khớp Khuôn Mặt Người Với Giải Thuật Máy Học,
Đặc Trưng Không Đổi SIFT Và Mô Hình Túi Từ. Đề Tài Nghiên Cứu Khoa
Học Cấp Trường – 2014.
4. Nhóm Thị Giác Máy Tính (CVA). Computer Vision and Application, Số 1 Đại Cồ Việt - Hai Bà Trưng - Hà Nội, 01/05/2012,
from:<http://www.comvisap.com/2012/01/ktcb2.html>.
5. Đào Thị Băng Trinh. Phát Hiện Đối Tượng Trong Video. Báo Cáo Thực Tập Tốt Nghiệp ĐH – 07/2012.
Tiếng Anh
6. David G. Lowe (1999). Object Recognition from Local Scale-Invariant Features. Computer Science Department University of British Columbia Vancouver, B.C., V6T 1Z4, Canada.
7. David G. Lowe (January 5, 2004). Distinctive Image Features from Scale- Invariant Keypoints. Computer Science Department University of British Columbia Vancouver, B.C., Canada.
8. David Lowe. Demo Software: SIFT Keypoint Detector, March 8, 1999, from:<www.cs.ubc.ca/~lowe/keypoints/>.
9. David G. Lowe. Local Feature View Clustering for 3D Object Recognition. University of British Columbia Vancouver, B.C., V6T 1Z4, Canada, December 2001.
10. (2006), ETH Zurich,
Katholieke Universiteit Leuven.
11. , , , and
(2008). Speeded-Up Robust Features (SURF). ETH Zurich, BIWI Sternwartstrasse 7 CH-8092 Zurich. K. U. Leuven, ESAT-PSI Kasteelpark Arenberg 10 B-3001 Leuven Belgium.
12.Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool. SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 2008,
from:<http://www.vision.ee.ethz.ch/~surf/papers.html>.
13.Herbert Bay. Speeded up robust features, CH - 8092 Zürich, Switzerland, from:<http://www.vision.ee.ethz.ch/~surf/index.html>.
14.G. Bradski and A. Kaehler. Learning OpenCV, O'Reilly Media, 2008, from:<http://www.cse.iitk.ac.in/users/vision/dipakmj/papers/OReilly%20Le arning%20OpenCV.pdf>.
15.Alex. Scene change detection during encoding and key frame extraction code, January 29th, 2012,
from:<http://www.videoproductionslondon.com/blog/scene-change- detection-during-encoding-key-frame-extraction-code>.
16.Marius Muja, David G. Lowe. Fast Approximate Nearest Neighbors With Automatic Algorithm Configuration. Computer Science Department, University of British Columbia, Vancouver, B.C., Canada.
17.David G.Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2):91-110, 2004.
18.Marius Muja and David G. Lowe. Fast Matching of Binary Features. Laboratory for Computational Intelligence University of British Columbia, Vancouver, Canada.
19.Lindeberg. Scale-space theory: A basic tool for analysing structures at different scales. Journal of Applied Statistics, 1994.
20.David G.Lowe. Object Recognition from Local Scale-Invariant Features.
International Conference on Computer Vision, Corfu, Greece, 1999. 21.David G.Lowe. Distinctive image features from scale-invariant keypoints.
International Journal of Computer Vision, 60(2):91-110, 2004.
22.Kelly Smith, Arun Ross, Dirk Colbry and the Standards ICP Team. Face Recognition. The National Science and Technology Council (NSTC) Subcommittee on Biometrics, 2006.
23.P. Viola and M. Jones. Robust Real-time Object Detection. International Journal of Computer Vision, 2001.
24.P. Viola, M. Jones (2001), Rapid object detection using a boosted cascade of simple features. Proceedings of the 2001 IEEE Computer Society
Conference on Computer Vision and Pattern Recognition.
25.P. Y. Simard, L. Bottou, P. Haffner, Y. Lecun (1998). A fast convolution algorithm for signal processing and neural networks. In Proceedings of the 1998 conference on Advances in neural information processing systems II.