Một thuật toán phát hiện bất thường dựa vào quỹ đạo trong giám sát video

Bài viết đã đề xuất một kỹ thuật phát hiện bất thường dựa vào quỹ đạo, giải quyết hạn chế đó bằng cách kết hợp giữa phân đoạn các quỹ đạo dựa trên tính chất các tuyến đường có ảnh hưởng nhất định đối với đối tượng di chuyển trên tuyến đường đó, kết hợp với sử dụng khoảng cách Hausdorff cải tiến.

Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 Một thuật toán phát bất thƣờng dựa vào quỹ đạo giám sát video An Anomaly Algorithm Based on The Trajectory in Video Surveillance Ngơ Đức Vĩnh, Đỗ Năng Tồn Abstract: This paper proposes a technique to detect abnormalities in the video surveillance based on motion trajectory The proposed technique is based on the nature of the route which has a certain influence on objects moving on that route, thereby we have given a representations routes by segments, combined used Hausdorff distance to calculate the similarity between trajectories Therefore, the proposed technique can detect abnormalities, even when the object is not complete orbital motion, thus the system can response the video monitoring realtime Keywords: Anomaly detection, motion trajectory, moving object, video surveillance, segment route I GIỚI THIỆU Ngày nay, nhu cầu hệ thống giám sát tự động ngày tăng Cùng với tiến công nghệ chi phí giảm, việc triển khai hệ thống camera giám sát ngày rộng rãi sở công cộng tư nhân Với nhiệm vụ giám sát liên tục đảm bảo tin cậy với số lượng lớn dòng video thách thức người điều hành hệ thống giám sát Video giám sát tự động giúp giảm chi phí nhân lực, đưa thơng báo thích hợp cần thiết Chính phát bất thường giám sát video trở thành trọng tâm thu hút nhiều nghiên cứu lĩnh vực thị giác máy tính Có nhiều phương pháp phát bất thường, tựu chung lại chúng phân loại thành hai nhóm, nhóm dựa đặc trưng hình ảnh dịng video [1,2] nhóm dựa phân tích quỹ đạo chuyển động đối tượng [3,4] Trong năm gần đây, phương pháp phân tích dựa quỹ đạo nhận nhiều ý thực phát trực quan hành vi bất thường [5-7] Các kỹ thuật phát bất thường dựa phân tích quỹ đạo thực cách phân cụm quỹ đạo để mơ hình hóa quỹ đạo "bình thường", phân cụm áp dụng để loại bỏ giá trị ngoại lai [8] Mơ hình tổng qt Hình Quỹ đạo chuyển động đối tượng thu sau giai đoạn phát theo vết đối tượng chuyển động, xử lý (làm mịn, chuẩn hóa) trước áp dụng thuật tốn phân cụm Sau đó, bất thường phát cách tính tốn khoảng cách quỹ đạo tới trọng tâm cụm "bình thường" có, khoảng cách lớn ngưỡng cho trước quỹ đạo bất thường Phần lớn thuật toán đề xuất thiết kế chủ yếu để phát bất thường quỹ đạo hoàn chỉnh, tức tất điểm liệu từ quỹ đạo yêu cầu trước phân loại bất thường hay khơng Điều rõ ràng hạn chế ứng dụng giám sát tự động yêu cầu thực thời gian thực Trong báo này, dựa tính chất tuyến đường có ảnh hưởng định đối tượng di chuyển tuyến đường đó, chúng tơi đưa cách biểu diễn quỹ đạo chuyển động đối tượng thành đoạn dựa vào hướng tốc độ chuyển động Bên cạnh đó, chúng tơi đưa hiệu chỉnh việc tính tốn khoảng cách Hausdorff nhằm đo độ tương tự hai quỹ đạo có chiều dài khác -7- Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 (a) Hình Mơ hình tổng qt phát bất thường dựa vào quỹ đạo Thuật toán phát bất thường giám sát video dựa vào quỹ đạo chuyển động đề xuất báo dựa vào việc sử dụng khoảng cách Hausdorff để tính tốn tương tự quỹ đạo trình đánh giá Nhờ đó, kỹ thuật đề xuất phát bất thường đối tượng chưa hồn thành quỹ đạo chuyển động, đáp ứng hệ thống giám sát video thờigian thực (b) Hình Sự khơng phù hợp sử dụng khoảng cách Hausdorff đo độ tương tự quỹ đạo  Định nghĩa 2.1 [Khoảng cách từ điểm đến tập] (X, d) không gian metric đầy đủ, ký hiệu H(X) tập tập compact X Gọi xX B  H(X), khoảng cách từ điểm x tới tập B định nghĩa là: d(x,B) = d(x, y): yB (1)  Định nghĩa 2.2 [Khoảng cách tập hợp] Phần cịn lại báo trình bày sau: Phần II: Khoảng cách Hausdorff hai quỹ đạo Phần III: Phát bất thường Tiếp theo thực nghiệm cuối kết luận kỹ thuật đề xuất (X, d) không gian metric đầy đủ A, B  H(X) khoảng cách từ tập A tới tập B định nghĩa bởi: d(A, B) = max d(x, B): xA II KHOẢNG CÁCH HAUSDORFF GIỮA HAI QUỸ ĐẠO (X, d) không gian metric đầy đủ Khoảng cách Hausdorff A, B  H(X) xác định sau: h(A, B) = max {d(A, B), d(B, A)} II.1 Khoảng cách Hausdorff Khoảng cách Hausdorff sử dụng sớm dùng độ đo tương tự hai tập điểm ứng dụng nhiều vào việc đối sánh ảnh [9] đối tượng hình học [10], áp dụng khoảng cách Hausdorff quỹ đạo nhiều trường hợp tỏ khơng phù hợp Ví dụ Hình 2.(a), hai quỹ đạo A, B có khoảng cách nhỏ, chúng lại khác nhau; Trong Hình 2.(b), quỹ đạo có khoảng cách lớn chúng tuyến đường Trong phần đưa hiệu chỉnh định nghĩa sử dụng để đo độ tương tự hai quỹ đạo  Định nghĩa 2.3 [Khoảng cách Hausdorff] 1.1 Khoảng cách Hausdorff hai quỹ đạo  Định nghĩa 2.4 [Quỹ đạo chuyển động] Quỹ đạo chuyển động đối tượng O dãy 〉 thể vị trí thời điểm điểm 〈 khác O { } (2) Nhìn chung, việc thu nhận quỹ đạo chuyển động đối tượng thực từ khâu phát đối tượng chuyển động theo vết đối tượng Hình thể quỹ đạo chuyển động đối tượng thu nhận trình theo vết đối tượng -8- Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 vận tốc Với và xác định: (9) ( ) (10) tham số nhằm điều chỉnh trọng số hướng di chuyển III PHÁT HIỆN BẤT THƢỜNG DỰA VÀO QUỸ ĐẠO III.1 Tuyến đƣờng Hình Quỹ đạo chuyển động đối tượng Quỹ đạo chuyển động đối tượng tập có thứ tự tọa độ đối tượng chuyển động khoảng thời gian, khoảng cách Hausdorff định nghĩa dùng để tính khoảng cách hai quỹ đạo có chiều dài khác Tuy nhiên khơng xét đến tính thứ tự điểm quỹ đạo, để dùng để tính khoảng cách hai quỹ đạo, cần bổ sung thêm thông tin hướng chuyển động đối tượng  Định nghĩa 2.5 [Khoảng cách hai quỹ đạo chuyển động] { { Cho hai quỹ đạo } Cho tập hợp quỹ đạo ngưỡng { } Khi R gọi tuyến đường nếu: ( ) Các quỹ đạo tuyến đường thường xem có số điểm biểu diễn Khi di chuyển khu vực, phần lớn đối tượng thường theo lộ trình định, xuất phát khu vực kết thúc khu vực khác, vết chuyển động hình thành lên tuyến đường (Hình 4) } Khi đó, khoảng cách hai quỹ đạo A, B, kí hiệu h(A,B) xác định bởi: { } Trong đó, thức: (3) tính theo cơng { } (4) { } (5) công thức: III.2 Phân đoạn quỹ đạo Khoảng cách ( ( Hình Tuyến đường tính theo , ) ‖ { ( ) } (6) { ( ) } (7) ) tính sau: ‖ ( | || | ) (8) Việc phân đoạn quỹ đạo thành quỹ đạo đề cập đến số nghiên cứu, tiêu chí phân đoạn quỹ đạo phụ thuộc tùy vào ứng dụng Christine Parent cộng [11] xác định tiêu chí phân đoạn dựa vào việc tìm điểm mà đối tượng thay đổi trạng thái từ dừng sang chuyển động Yang[12] dựa vào việc xuất biến -9- Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT đối tượng cảnh quay để phân đoạn Liao [13] dựa tốc độ chuyển động đối tượng, phân loại chúng thành ba loại: bộ, tốc độ cao tốc độ thấp Zheng [14] sử dụng thông tin tốc độ, gia tốc tỷ lệ thay đổi tốc độ để phân đoạn quỹ đạo, họ xác định vị trí mà chuyển động thay đổi hai trạng thái không Vận tốc đối tượng di chuyển tuyến đường bị ảnh hưởng nhiều yếu tố, tính chất tuyến đường có ảnh hưởng định đối tượng di chuyển tuyến đường Chúng tơi dựa vào tỷ lệ thay đổi vận tốc đối tượng chuyển động làm tiêu chí thực phân đoạn Điểm phân đoạn xác định điểm mà tỷ lệ thay đổi vận tốc vượt qua ngưỡng ( ) hóa chuyển động bình thường Đầu tiên, quỹ đạo đối tượng chuyển động bình thường (được rút trích từ giai đoạn phát theo dõi đối tượng chuyển động) nhóm thành tuyến đường Sau đó, tiến hành phân đoạn đường trung bình tuyến đường thành quỹ đạo dựa vào tỷ lệ thay đổi vận tốc Pha thứ hai, phát bất thường, với quỹ đạo (chưa hồn chỉnh) thu q trình giám sát, tính tốn khoảng cách quỹ đạo cần kiểm tra tới phân đoạn đường trung bình tuyến đường, từ định chuyển động bất thường hay bình thường (11) Trong đó, tương ứng vận tốc theo hướng x hướng y, chúng tính khoảng cách hai điểm lân cận khoảng thời gian: { } vị trí điểm Gọi phân đoạn quỹ đạo O Khi O chia thành u+1 đoạn biểu diễn sau: { Các quỹ đạo: Hình Sơ đồ khối phát bất thường dựa vào phân đoạn tuyến đường  Pha thứ nhất: Khởi tạo Ký hiệu:  } { Tập V-2, Số 14 (34), tháng 12/2015 } gọi quỹ đạo O  { thường; } tập tuyến đường bình số lượng quỹ đạo tuyến đường ;  quỹ đạo thuộc tuyến đường với ; , Hình Quỹ đạo chia thành giai đoạn  { } tập đường trung bình tuyến đường đường trung bình tuyến đường ;  quỹ đạo thứ j đường trung bình ; 1.2 Phát bất thƣờng Trong phần này, đề xuất kỹ thuật phát bất thường từ video giám sát dựa phân đoạn tuyến đường (Hình 6) Kỹ thuật đề xuất chia làm hai pha Pha thứ nhằm mơ hình { ( )} (12)  Bước 1: Lập nhóm quỹ đạo tuyến đường - 10 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT  Bước 2: Xây dựng đường trung bình tuyến đường Đường trung bình dựng sau: tuyến đường { ∑ xây } (13)  Bước 3: Tính giá trị ngưỡng dmax Giá trị ngưỡng thức đây: xác định theo công { { ( )}} (14)  Bước 4: Phân đoạn đường trung bình  Pha thứ hai: Tập V-2, Số 14 (34), tháng 12/2015 THỰC NGHIỆM Nhằm kiểm chứng kỹ thuật đề xuất, tiến hành thực nghiệm môi trường Matlab R2013a, với liệu quỹ đạo Piciarelli [14] xây dựng, gồm 1000 tập liệu, tập liệu có 260 quỹ đạo có chiều dài 16 điểm, 250 quỹ đạo đánh dấu bình thường, 10 quỹ đạo bất thường Quá trình thực nghiệm thực qua bước sau: Bƣớc 1: Lập nhóm quỹ đạo bình thường Từ tập 250 quỹ đạo, chúng tơi chia thành nhóm (Hình ) Phát bất thường dựa vào phân đoạn đường trung bình tuyến đường – Thuật toán Abnormal Detecter Based on Sub Trajectories of Route (ADB-STR) Vào : số quỹ đạo lớn tất tuyến đường k: số lượng tuyến đường (a) (b) (c) (d) (e) (f) : giá trị ngưỡng : tập { } quỹ đạo tuyến đường T*: quỹ đạo cần kiểm tra Ra Giá trị nhị phân Abnormal Thực j=1; Abnormal=false; While ( and Abnormal=false) ( ( if )); then Abnormal=true; j=j+1; End while;  Đánh giá độ phức tạp tính tốn: Có thể thấy rằng, với giá trị j, ta cần tìm d giá trị nhỏ khoảng cách quỹ đạo T* với quỹ đạo thứ j k tuyến đường Tổng quát số lần thực việc tìm d là: , độ phức tạp tính tốn thuật tốn ADB-STR O(n2) Hình Phân nhóm quỹ đạo.(a): Tập 250 quỹ đạo; (b): Nhóm 1; (c): Nhóm 2; (d): Nhóm 3; (e): Nhóm 4; (f): Nhóm Bƣớc 2: Tìm đường trung bình tuyến đường Đường trung bình tuyến đường xây dựng theo công thức (13), kết thể Hình - 11 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 Hình Đường đặc trưng tuyến đường Bƣớc 3: Phân đoạn đường trung bình dựa vào thay đổi vận tốc Chúng tơi tính tốn tỷ lệ thay đổi vận tốc tìm điểm phân đoạn theo công thức (11), kết đưa Bảng Hình Phát quỹ đạo bất thường Bảng Kết phân đoạn đường đặc trưng Đường trung bình Số đoạn Vị trí Route Route Route Route Route 10 5 10 Biểu diễn Bảng Vị trí phát bất thường tuyến đường Tuyến đường Vị trí điểm phát bất thường Bƣớc 4: Phát bất thường - Xác định ngưỡng Phƣơng án thứ hai: Quỹ đạo kiểm tra quỹ đạo khơng hồn chỉnh Khoảng cách từ quỹ đạo cần kiểm tra tới đoạn tương ứng của tuyến đường tính bổ sung thêm điểm trình đối tượng di chuyển Kết cho thấy, tuyến đường Route 1, Route 4, điểm thứ 10, giá trị khoảng cách quỹ đạo cần kiểm tra Route Route vượt qua ngưỡng dmax, tương tự Route 2, Route Route 5, điểm thứ theo công thức (14) - Phát quỹ đạo bất thường Trong bước thực nghiệm phương án Phƣơng án thứ nhất: Phát bất thường với đạo hoàn chỉnh, với quỹ đạo cần kiểm tra, toán khoảng cách Hausdorff từ quỹ đạo tới đường đặc trưng, khoảng cách vượt ngưỡng quỹ đạo bất thường quỹ tính qua Kết thực nghiệm Hình Các quỹ đạo bất thường vẽ màu đỏ, kết hoàn toàn phù hợp với kết thực nghiệm Piciarelli [14] Laxhammar [16] Route Route Route Route Route 10 5 10 Như vậy, so với phương án thứ nhất, tất quỹ đạo bất thường phát Hơn nữa, so với kết Piciarelli [14] Laxhammar [16], phương án đề xuất cho phép xác định quỹ đạo bất thường khơng cần duyệt tồn đường trung bình Trong trường hợp xấu điểm thứ 10 phát bất thường Kết cho thấy với yêu cầu cần kiểm tra xem quỹ đạo có bất thường với tuyến đường cho trước ta cần kiểm tra với đoạn đường trung bình tuyến đường - 12 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT IV KẾT LUẬN Phát bất thường giám sát video quan tâm tính ứng dụng Đã có nhiều cơng trình nghiên cứu nhiều cách tiếp cận đề xuất, hầu hết tập trung vào xử lý, thao tác với quỹ đạo hoàn chỉnh, tức chuyển động đối tượng diễn ra, điều không hợp lý với hệ thống giám sát thời gian thực Bài báo đề xuất kỹ thuật phát bất thường dựa vào quỹ đạo, giải hạn chế cách kết hợp phân đoạn quỹ đạo dựa tính chất tuyến đường có ảnh hưởng định đối tượng di chuyển tuyến đường đó, kết hợp với sử dụng khoảng cách Hausdorff cải tiến Kết thực nghiệm cho thấy, kỹ thuật đề xuất phát bất thường đối tượng chưa hoàn thành quỹ đạo chuyển động TÀI LIỆU THAM KHẢO [1] S KWAK, H BYUN,“Detection of dominant flow and abnormal events in surveillance video”, Opt Eng (2011) [2] S WU, B.E MOORE, AND M SHAH, “Chaotic invariants of Lagrangian particle trajectories for anomaly detection in crowded scenes”, Proceedings of IEEE Computer Vision and Pattern Recognition, 2010, pp 2054–2060 [3] R.R SILLITO, AND R.B FISHER, “Semi-supervised learning for anomalous trajectory detection”,Proceedings of British Machine Vision Conference, 2008, pp 1035–1044 [4] [4] J OWENS, A HUNTER, “Application of the selforganizing map to trajectory classification”, IEEE Int Workshop Vis Surveill, 2000,pp.609–615 [5] [5] X WANG, X MA, AND E GRIMSON,“Unsupervised activity perception by hierarchical Bayesian models”, Proceedings of IEEE Computer Vision and Pattern Recognition, 2007 [6] C PICIARELLI, AND G.L FORESTI, “Onlinetrajectory clustering for anomalous events detection”,Proceedings of Pattern Recognition Letters, 2006, pp 1835–1842 Tập V-2, Số 14 (34), tháng 12/2015 [7] A ZAHARESCU, AND R WILDES,“Anomalous behaviour detection using spatiotemporal oriented energies, subset inclusion histogram comparison and event-driven processing”, Proceedings of European Conference on Computer Vision, 2010, pp 563–576 [8] F JIANG, J YUAN, S A TSAFTARIS, AND A K KATSAGGELOS,“Anomalous video event detection using spatiotemporal context”, Computer Vision and Image Understanding, Mar 2011, vol 115, pp 323– 333 [9] JING GAO, JIYIN SUN, KUN WU, “Image Matching Method Based on Hausdorff Distance of Neighborhood Grayscale”, Journal of Information & Computational Science 9: 10 (2012) 2855–2863 [10] FACUNDO MÉMOLI, “On the use of GromovHausdorff Distances for Shape Comparison”, Eurographics Symposium on Point-Based Graphics (2007) [11] CHRISTINE PARENT, STEFANO SPACCAPIETRA, CHIARA RENSO, GENNADY ANDRIENKO, NATALIA ANDRIENKO, VANIA BOGORNY, MARIA LUISA DAMIANI, ARIS GKOULALASDIVANIS, JOSE MACEDO, NIKOS PELEKIS, YANNIS THEODORIDIS, ZHIXIAN YAN, “Semantic trajectories modeling and analysis”, ACM Comput Surv 45, 4, Article 42 (August 2013), 32 pages [12] YUANFENG YANG, ZHIMING CUI, JIAN WU, GUANGMING ZHANG, XUEFENG XIAN,“Trajectory Analysis Using Spectral Clustering and Sequene Pattern Mining”, Journal of Computational Information Systems 8: (2012) 2637 – 2645 [13] LIN LIAO, DIETER FOX, HENRY KAUTZ, “Location-based Activity Recognition using Relational Markov Networks”, In Proc of the 9th Int Conf on Artificial Intelligence, IJCAI'05 [14] YU ZHENG, YUKUN CHEN, QUANNAN LI, XING XIE and WEI-YING MA “Understanding transportation modes based on GPS data for Web applications”, ACM Transaction on the Web, 4(1), January 2010 - 13 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT [15] C PICIARELLI, G.L FORESTI,“Trajectory-based anomalous event detection”, IEEE Trans Circ Syst Video Tech (2008) 1544–1554 [16] RIKARD LAXHAMMAR AND FALKMAN,“Sequential Conformal Detection in Trajectories based on Tập V-2, Số 14 (34), tháng 12/2015 Distance” 14th International Conference on Information Fusion, Chicago, Illinois, USA, July 5-8, 2011 GORAN Anomaly Hausdorff Nhận ngày: 4/2/2015 SƠ LƢỢC VỀ TÁC GIẢ NGÔ ĐỨC VĨNH Sinh năm 1973 Nam Định ĐỖ NĂNG TOÀN Sinh năm 1968 Hà Nội Nhận Thạc sĩ CNTT năm 2006 Học viện Kỹ thuật Quân Tốt nghiệp ĐH Tổng hợp Hà Nội năm 1990; bảo vệ Tiến sĩ ngành đảm bảo tốn học cho máy tính hệ thống tính tốn năm 2001 Được phong Phó Giáo sư năm 2007 Hiện cơng tác Trường Đại học Công nghiệp Hà Nội Lĩnh vực nghiên cứu: Xử lý ảnh Hệ thống thông tin Email: ngoducvinh@gmail.com Điện thoại: 0948.123.986 Hiện công tác Viện Công nghệ Thông tin – ĐH Quốc gia Hà Nội Lĩnh vực nghiên cứu: Nhận dạng, xử lý ảnh thực ảo Email: dntoan@vnu.edu.vn - 14 - ... nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 (a) Hình Mơ hình tổng qt phát bất thường dựa vào quỹ đạo Thuật toán phát bất thường giám sát video dựa vào quỹ đạo chuyển... bình thường, 10 quỹ đạo bất thường Quá trình thực nghiệm thực qua bước sau: Bƣớc 1: Lập nhóm quỹ đạo bình thường Từ tập 250 quỹ đạo, chúng tơi chia thành nhóm (Hình ) Phát bất thường dựa vào phân... bình tuyến đường thành quỹ đạo dựa vào tỷ lệ thay đổi vận tốc Pha thứ hai, phát bất thường, với quỹ đạo (chưa hoàn chỉnh) thu q trình giám sát, tính tốn khoảng cách quỹ đạo cần kiểm tra tới phân