Sơ đồ thực hiện
Vùng người phát hiện trên camera thứ nhất được đánh dấu bằng một hình chữ nhật. Chọn tọa độ chân là điểm thấp nhất, như hình minh họa
Hình 3.15. người phát hiện được khoanh bao bằng 1 hình chữ nhật. Tọa độ thấp nhất được đánh dấu ghi như trên ảnh
Vị trí của người trên sàn được sử dụng để chuyển đổi sang hệ tọa độ gốc đã định nghĩa nhờ ma trận chuyển xác định ở bước trên. Một số ví dụ minh họa
Hình 3.16- Kết quả vẽ hành trình (đường đỏ) của một người di chuyển trong môi trường. Hành trình bắt đầu ở frame #250 và kết thúc ở frame#1098. Một số điểm trung gian như frame #298 chỉ quan sát từ 1 camera và #907quan sát được từ cả hai camera. Các frame
Chương 4. KẾT QUẢ THỬ NGHIỆM 4.1. Mô tả môi trường thử nghiệm
Môi trường thử nghiệm là môi trường sảnh hành lang tại phòng Môi trường cảm thụ và thông minh, Viện NC Quốc tế MICA, đại học Bách Khoa Hà nội. Trong môi trường thử nghiệm này, ngoài việc lắp đặt các camera giám sát, còn có các hệ thống định vị khác là WIFI. Hình minh họa sơ đồ của môi trường thử nghiệm
Hình 4.1. Môi trường thử nghiệm
Một số chuỗi hình ảnh đã được thu thập bao gồm: - Môi trường chỉ có 1 người đi lại
- Môi trường có 2 người đi - Môi trường có 3-5 người đi lại
Các hành trình được xác định trước theo chiều mũi tên như Hình 4.1
Các dữ liệu thu thập từ các camera được đồng bộ theo thời gian đảm bảo số lượng khung hình giữa các camera là giống nhau và tổ chức theo cấu trúc:
- Video đã được sửa méo: lưu các hình ảnh sau khi sửa méo đối với từng camera
- Video ground truth: gồm thông tin về vị trí và khung hình bao, thông tin định danh đối với mỗi đối tượng người xuất hiện trong khung hình. Những dữ liệu ground-truth được chuẩn bị trước bằng tay. Hình ảnh ground truth được minh họa trong Hình 4.2.
Hình 4.2. Các hình ảnh thu thập và chuẩn bị dữ liệu ground-truth cho thử nghiệm hệ thống. Theo hàng dọc: hình ảnh thu thập từ các camera Cam1, Cam2, và Cam3. Theo hàng ngang: các thử nghiệm khác nhau gồm: 1 người đi; 2 người đi; 5 người đi. Hiện
tượng che khuất thấy rõ đối với trường hợp 5 người đi lại.
4.2. Đánh giá hiệu quả của khử bóng đối với kết quả của kỹ thuật trừ nền
Sử dụng một số phương pháp trừ nền khác nhau, với Adaptive GMM cho kết quả trừ nền khá tốt đối với hầu hết camera. Hình minh họa một số kết quả trừ
Tuy nhiên, trong môi trường hành lang, bóng xuất hiện mạnh, đặc biệt ở sảnh chờ tại vị trí quan sát của Cam1 và Cam2. Áp dụng kỹ thuật khử bóng đã trình bày, kết quả cho như sau:
Hình 4.3. Hiệu quả của khử bóng đối với kết quả trừ nền
Tiếp tục đánh giá định lượng hiệu quả của khử bóng đối với việc vẽ hành trình của người di chuyển.
- Gọi tọa độ ground-truth vị trí của chân tiếp giáp với sàn là xgt,ygt
- Gọi tọa độ phát hiện tương ứng vị trí chân người tiếp giáp với sàn là xi,yi
- Lỗi sai khác giữa 2 vị trí được tính là:
2 2 gt i gt i x y y x Error
Kết quả tính Error trên dữ liệu khi có bóng và không có bóng được minh họa trong hình sau:
Hình 4.4. Kết quả vẽ hành trình khi có khử bóng và không khử bóng. (a). Giá trị lỗi Error tại mỗi frame. (b) Vẽ hành trình có và không có khử bóng sát với dữ liệu ground-truth.
Giá trị lỗi trung bình có khử bóng và không có khử bóng lần lượt là: 9.5 +/-6.8 (pixel) và 23.4 +/- 19.8 (pixel). Sử dụng phương pháp khử bóng đề xuất đã mang lại hiệu quả khi vẽ hành trình người di chuyển, đồng thời thông qua quan sát trực quan trên minh họa ở Hình 4.4 (b).
4.3. Đánh giá hiệu quả việc kết hợp bộ phát hiện HOG+SVM sau khi trừ nền
Hình 4.5 minh họa hiệu quả của phương pháp kết hợp HOG+SVM và kết quả trừ nền (sau khi khử bóng). Nếu sử dụng HOG trên toàn bộ ảnh, sẽ có nhiều mẫu false positive (phát hiện sai) xuất hiện trong ảnh gốc. Thông qua mặt nạ từ kết quả trừ nền, những vị trí này đã bị loại bỏ.
Hình 4.5. Hiệu quả của quá trình kềt hợp HOG+SVM và kết quả trừ nền (adsbygoogle = window.adsbygoogle || []).push({});
Tuy nhiên nếu chỉ sử dụng trừ nền, việc phát hiện người sẽ bị hạn chế khi môi trường có nhiều người đi lại hoặc có đối tượng bị che khuất. Hình dưới minh họa ảnh hưởng của việc sử dụng HOG để phát hiện người khi các vùng ảnh từ kết quả trừ nền liên thông với nhau.
Hình 4.6. Kết quả kết hợp trừ nền và bộ phát hiện HOG + SVM. Hàng 1: Chuỗi các frame gốc, các frame cách nhau 25-30 frames. Hàng 2: Kết quả sử dụng kỹ thuật trừ nền; Hàng
3: Kết quả áp dụng bộ phát hiện HOG + SVM . Nhiều vùng false postive xuất hiện. Hàng 4: Kết quả sau khi kết hợp (đóng khung màu đỏ). Vùng đóng khung màu vàng là dữ liệu
4.4. Kết quả hành trình người di chuyển quan sát từ một mạng camera sử dụng bộ dữ liệu Ground-truth dụng bộ dữ liệu Ground-truth
Để đánh giá khả năng phối ghép luồng di chuyển của người giữa hai camera, chúng tôi đã tiến hành vẽ toàn bộ hành trình quan sát từ các camera khác nhau sử dụng chung một hệ quy chiếu. Hình 4.7 minh họa hành trình thu được từ dữ liệu về vị trí của người trong môi trường đã được xây dựng trước. Luồng di chuyển được quan sát có thể phân tách 2 người hoặc 5 người riêng biệt. Toàn bộ hành trình của người di chuyển trong vùng quan sát của Cam1 và Cam2 đã được hiển thị
Hình 4.7. Hành trình tổng hợp từ các camera giám sát với các thử nghiệm gồm 2 và 5 người đi lại trong môi trường. Hảnh trình tổng hợp từ 2 camera Cam1 và Cam2. Hành
4.5. Kết quả vẽ hành trình từ mạng camera trong thực tế
Chúng tôi tiếp tục đánh giá phương pháp thông qua việc xây dựng một ứng dùng cho phép vẽ lại hành trình trực tuyến từ luồng dữ liệu hình ảnh thu thập từ các camera IP. Hình 4.8 và Hình 4.9 minh họa một số hành trình thu được từ các camera Cam1 và Cam2 . Để thuận tiện cho việc theo dõi hệ thống, một số kết quả trung gian đã được hiển thị như kết quả trừ nền, khử bóng, phát hiện người sử dụng HOG+SVM
Hình 4.8. Hành trình được quan sát thường ngày thu từ Cam 1 sử dụng hệ thống đề xuất. Các frame cách nhau 2s. Trong mỗi khung hình: Góc trên: là ảnh thu từ camera. Góc trên bên phải: là kết quả ảnh trừ nền; Góc dưới bên phải: là ảnh sau khi khử bóng; Ảnh này sử dụng kết hợp HOG+SVM vẽ được vùng bao màu đỏ trên ảnh gốc. Hành trình theo trục
thời gian được vẽ ở góc dưới bên trái (màu xanh)
Tương tự, hành trình thu thập từ Cam2 được minh họa trong hình dưới
KẾT LUẬN
Trong luận văn, việc đầu tiên là chúng tôi đã cung cấp một cái nhìn tổng quan về những phương pháp phát hiện và theo bám trong một mạng camera, trong đó tập trung vào những phương pháp, kỹ thuật vượt qua hệ thống chỉ sử dụng một camera như: phối ghép luồng dữ liệu từ nhiều camera. Trong quá trình đó, chúng tôi thu nhận được nhiều kinh nghiệm quan trọng để giải quyết vấn đề trong đề tài như vấn đề bóng khi áp dụng kỹ thuật trừ nền, vấn đề phối ghép camera khi vùng giao nhau giữa camera là nhỏ. Tiếp theo, chúng tôi đã nêu ra được các chi tiết phương pháp thực hiện các bài toán: như bài toán phát hiện người kết hợp giữa kết quả trừ nền và bộ phát hiện HOG+SVM; kỹ thuật khử bóng hiệu quả; Kỹ thuật phối ghép nguồn thông tin từ nhiều camera. Cơ sở lý luận của từng phương pháp cũng như đầy đủ những vấn đề kỹ thuật cần thực hiện. Về cơ bản là những phương pháp này mang tính khả thi, hiệu quả và đạt được mục đích đề ra. Cuối cùng, chúng tôi đã tiến hành đánh giá thực nghiệm dựa trên một bộ CSDL chuẩn về theo dõi và phát hiện người trong môi trường cảm thụ. Các kết quả thử nghiệm được phân tích và minh họa bằng hình ảnh trực quan để cho thấy hiệu quả của từng kỹ thuật đề xuất. Kết quả cuối cùng là hành trình của người đi lại trong môi trường giám sát của mạng camera đã thu thập và phối ghép được với nhau.
Về cơ bản luận văn đạt được mục tiêu đề ra, với các phương pháp thực hiện khoa học, nhất quán, xây dựng được hệ thống hoàn chỉnh và có những đóng góp về cả mặt khoa học lẫn mặt kỹ thuật, song luận văn vẫn còn một số nhược điểm. Đầu tiên là vấn đề theo bám và định danh lại hiện nay chỉ sử dụng kỹ thuật đơn giản như sử dụng từ kết quả phát hiện, và dựa trên tọa độ vùng giao nhau để làm khớp hành trình từ hai camera. Thêm nữa phương pháp đánh giá trong đề tài mới chỉ đánh giá theo các hình minh họa. Các đánh giá chi tiết về mặt định lượng như chất lượng phát hiện người sau khi áp dụng kỹ thuật khử bóng chưa được thực hiện. Kết quả so sánh khi thực hiện các kỹ thuật định danh lại có độ chính xác cao như dựa trên các mô hình học tiên tiến
Về hướng phát triển của đề tài, chúng tôi đưa ra hai hướng phát triển chính. Thứ nhất là đánh giá chi tiết hiệu quả (định lượng) dựa trên các chỉ số như Jicad Index đối với bài toán trừ nền có khử bóng; hiệu quả của việc kết hợp HOG+SVM
đối với dữ liệu sau khi khử bóng; Hiệu quả của bài toán tracking có kết hợp định danh lại. Thứ hai là kết hợp nhiều nguồn thông tin định danh và định vị (cảm biến WIFI, đếm số bước chân người …) để cải thiện chất lượng bài toán giám sát theo dõi, đặc biệt giải quyết vấn đề khó khăn đối với camera hình ảnh như: các đối tượng người bị che khuất hoặc các đối tượng đi theo nhóm.
TÀI LIỆU THAM KHẢO
1 Duc Thanh Nguyen (2012), Human dection from image and videos. Doctor of Philosophy of Computer Science.
2 Phạm Thị Thanh Thủy (2014), Phát hiện, theo vết và định vị đối tượng di động trong môi trường tòa nhà sử dụng thông tin hình ảnh.
3 G.Bradski, J.Davis (2000), Motion Segmentation and Pose Recognition with Motion History Gradients, IEEE Workshop on Applications of Computer Vision.
4 G.Bradski, A.Kaehler (2008), Learning OpenCV, O’Reilly Media Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472.
5 D.Comaniciu, P.Meer (2002), Mean Shift: A Robust Approach Toward Feature Space Analysis, IEEE.
6 N.Dalal, B.Triggs (2005), Histograms of Oriented Gradients for Human Detection pdf. In CVPR.
7 Faugeras, O. (1993), Three Dimensional Computer Vision: A Geometric Viewpoint, MIT Press.
8 Friedman N, Russell S (1997), Image Segmentation in Video Sequences: A Probabilistic Approach. Proceedings Thirteenth Conference on Uncertainty in Artificial Intelligence (UAI 1997), 175-181.
9 Hartley, R.I., Zisserman, A. (2004), Multiple View Geometry in Computer Vision, Cambridge University Press.
10 Massimo Piccardi, “Background subtraction techniques: a review”.
11 A. Prati, I. Mikic, M. Trivedi, R. Cucchiara (2003). Detecting moving shadows: algorithms and evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(7): 918–923.
12 QIN Yin-Shi, SUN Shui-Fa, MA Xian-Bing, HU Song, LEI Bang-Jun (2013)
A Shadow Removal Algorithm for ViBe in HSV Color Space（ICMT 2013), 2013, 966-973. (adsbygoogle = window.adsbygoogle || []).push({});
13 C.Stauffer and W.Grimson (1999), Adaptive Background mixture models for Real-time tracking, pp. 750-755.
14 Triggs, B. (1999), Camera pose and calibration from 4 or 5 known 3d points. In: Proc. IEEE Internat. Conf. Computer Vision
15 Winn, J. and A. Criminisi (2006), Object Class Recognition at a Glance, in Proc. Conf. Computer Vision and Pattern Recognition (CVPR) -- Video Track2006.
16 Xiaogang Wang, Intelligent multi-camera video surveillance: A review
17 Zhaomin Zhu, T.M., Hidekazu Adachi, Osamu Kiriyama, Multi-view Face Detection anh Recognition using Haar-like Features.