NGHIÊN cứu các PHƯƠNG PHÁP PHÁT HIỆN và PHÂN TÍCH HÀNH VI đám ĐÔNG QUA CAMERA GIÁM sát

LỜI CAM ĐOAN Tôi xin cam đoan luận văn thực đam mê công sức tơi hướng dẫn tận tình TS.Ngơ Đức Thành Luận văn thực trường Đại học Cơng Nghệ Thơng Tin, TP.Hồ Chí Minh Những kết thống kê luận văn trình thực từ hệ thống tơi liệu liệt kê Những nội dung sở kế thừa trình viết luận văn liệt kê mục tài liệu tham khảo cách trân trọng Tp Hồ Chí Minh, ngày 15 tháng 01 năm 2016 Học viên thực Nguyễn Phạm Phú Quý LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến Tiến sĩ Ngô Đức Thành, người tin tưởng, tận tình hướng dẫn giúp tơi hồn thành luận văn với thầy cô Trường Đại học Công Nghệ Thông Tin ĐHQG TP.HCM người tận tình giảng dạy cung cấp cho kiến thức tảng việc nghiên cứu Tôi xin cảm ơn thành viên làm việc phòng thí nghiệm Truyền Thơng Đa Phương Tiện (MMLAB) Trường Đại học Công Nghệ Thông Tin đóng góp nhiều ý kiến q báu tơi thực luận văn Ngồi tơi xin cảm ơn tác giả cung cấp liệu cho tơi để thực thực nghiệm Cuối lời cảm ơn cao dành cho cha mẹ, người hết lòng ni dưỡng ln động viên tơi q trình nghiên cứu MỤC LỤC LỜI CAM ĐOAN .1 LỜI CẢM ƠN .2 THUẬT NGỮ VÀ TỪ VIẾT TẮT .5 DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .7 MỞ ĐẦU .8 CHƯƠNG TỔNG QUAN 10 1.1 Giới thiệu chung 10 1.1.1 Tính cấp thiết 10 1.1.2 Mô tả tốn phân tích hành vi đám đơng .11 1.1.3 Thách thức, hạn chế vấn đề cần giải 11 1.2 Mục tiêu luận văn 13 1.3 Đóng góp luận văn 13 1.4 Bố cục luận văn 13 CHƯƠNG TÌNH HÌNH NGHIÊN CỨU 15 2.1 Tình hình nghiên cứu hành vi đồng 15 2.2 Phân tích chuyển động đồng thị giác máy tính 17 CHƯƠNG PHƯƠNG PHÁP ĐO LƯỜNG TÍNH ĐỒNG NHẤT TRONG CHUYỂN ĐỘNG 20 3.1 Khái niệm sở 20 3.2 Thách thức tốn đo lường tính đồng .23 3.3 Đo lường tính đồng đám đông .25 3.3.1 Sự bật Collective Manifolds đám đông 25 3.3.2 Sự quán hành vi vùng lân cận .26 3.3.3 Sự qn tồn cục thơng qua đường (path) 26 3.3.4 Tính đồng l-Path Scale .28 3.3.5 Qui tắc hóa tính đồng tất phạm vi (All-Scale) 30 3.4 Hạn chế phương pháp State-of-The-Art .32 3.5 Tổng kết .33 CHƯƠNG PHƯƠNG PHÁP ĐỀ XUẤT CẢI TIẾN ĐỘ ĐO TÍNH ĐỒNG NHẤT DỰA TRÊN VIỆC LÀM TRƠN TRAJECTORY 34 4.1 Cơ sở lý thuyết .34 4.1.1 Trajectory 34 4.1.2 Làm trơn (Smooth) Trajectory 34 4.1.3 Moving Average (MA) Filter .35 4.1.4 Savitzky-Golay (SGL) Filter 36 4.2 Phương pháp đề xuất 37 4.3 Tổng kết .40 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 41 5.1 Tiêu chuẩn đánh giá .42 5.1.1 Hệ số tương quang (Correlation Coefficient) .42 5.1.2 Phân lớp nhị phân (Binary Classification) 42 5.1.3 Đồ thị ROC (Receiver Operating Characteristic) 44 5.2 Bộ liệu 45 5.3 Phân tích giá trị Max, Min, Aveg L 46 5.4 So sánh với cảm quan người (Human Perception) .48 5.5 Độ xác phân lớp (Classification Accuracy) .49 5.6 Tổng kết .50 CHƯƠNG KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TƯƠNG LAI 52 6.1 Kết luận 52 6.2 Hướng nghiên cứu tương lai 52 TÀI LIỆU THAM KHẢO 53 PHỤ LỤC 59 THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Frame Tracklet Diễn giải Là khung hình video Tập hợp vị trí chuyển động đối tượng theo thời gian KLT-Tracker Một phương pháp dùng để trích xuất đặc (Kanade-Lucas-Tomasi trưng chuyển động đối tượng video Feature Tracker) [8] Một phương pháp làm trơn liệu cách Bộ lọc Moving Average (Moving Average Filter) thay điểm giá trị trung bình điểm liệu lân cận Một phương pháp làm trơn dạng đa thức Bộ lọc Savitzky-Golay (Savitzky-Golay Filter) (Polynomial Smoothing) hay bình phương tối thiểu (Least-squares Smoothing), thường sử dụng với liệu tần số với liệu quang phổ [41] Đường tương đồng (Path Similarity) l-Path Similarity Đường kết nối dùng cho việc ước lượng tương đồng hai cá nhân lân cận Đường tương đồng hai cá nhân với chiều dài l Tập hợp tất đường tương đồng có l-Path Scale chiều dài l tất cá nhân đám đông DANH MỤC CÁC BẢNG Ý nghĩa Số hiệu Trang Bảng 5.1 Các kết bảng kiện ngẫu nhiên 43 Bảng 5.2 Các độ đo cơng thức tính tốn phân lớp nhị phân 44 Bảng 5.3 Các số liệu đồ thị 5.1 47 Bảng 5.4 Bảng 5.5 Bảng 5.6 Các kết so sánh phương pháp đề xuất với phương pháp khác Kết phân loại phương pháp đề xuất với phương pháp State-of-The-Art Các kết so sánh việc chọn T động T cố định 49 50 50 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Ý nghĩa Số hiệu Hình 1.1 Hình 1.2 Hình 2.1 Minh họa việc phát phân tích tính đồng chuyển động Minh họa phức tạp hành vi đám đông Minh họa chuyển động đồng đám đông cấu trúc đa nếp gấp Trang 11 12 17 Hình 3.1 Tập đặc trưng chuyển động trích xuất 21 Hình 3.2 Minh họa cho tính đồng chuyển động 22 Hình 3.3 Minh họa cho đồng đa nếp gấp 23 Hình 3.4 Hình 3.5 Hình 3.6 Hình 3.7 Hỉnh 4.1 Minh họa cho thách thức việc đo lường tính đồng Minh họa cho quán hành vi cá nhân 27 Collective Manifold Minh họa cho việc kết nối đường tương đồng hai cá nhân Minh họa cho trường hợp sai sót cách đo lường tính đồng phương pháp State-of-The-Art Minh họa cho việc làm trơn Trajectory với Trajectory mẫu Hình 4.2 24 Minh họa kết đo lường tính đồng hai trường hợp sai sót sau cải tiến thuật tốn 27 33 35 38 Hình 4.3 Minh họa tổng qt tồn Framework 39 Hình 5.1 Minh họa cho liệu Collective Motion 46 Đồ thị 5.1 Đồ thị 5.2 Hiển thị giá trị Max, Min, Average L tương ứng với giá trị T Hiển thị tốc độ thực thi phương pháp với giá trị T 47 48 MỞ ĐẦU Phân tích hành vi đám đông gần trở thành chủ đề nóng bỏng lĩnh vực thị giác máy tính nhu cầu lớn giám sát đám đơng Nhiều nghiên cứu đám đông khác chia sẻ chung tập đặc tính phổ biến kiểu hành vi đám đơng khác có vài nguyên tắc chung làm tảng Việc đo lường cách định lượng đặc tính so sánh chúng qua lại hệ thống đám đơng khác đóng vai trò quan trọng cho việc hiểu biết nguyên tắc chung tảng ứng dụng giám sát Một số hướng nghiên cứu phổ biến phân tích hành vi đám đơng nghiên cứu chuyển động đồng đám đông Trong đám đông, chuyển động đồng thể cho hành vi cá nhân thành phần Một ví dụ điển hình đàn cá chuyển động cuộn tròn chất lỏng khuấy mãnh liệt để chống lại công kẻ săn mồi Vì chuyển động đồng xem thể hành vi đồng Nhiều nghiên cứu tiến hành để khám phá nguyên tắc tảng Các cá nhân đám đơng có xu hướng chuyển động đồng chúng điều phối hành vi với cá nhân lân cận mà khơng có tác động bên ngồi Việc dò tìm chuyển động đồng đám đơng thách thức đa dạng chuyển động, chất lượng video tồn liệu theo vết nhiễu (Tracking Noise) Hầu hết nghiên cứu so sánh hành vi đám đơng qua hồn cảnh khác chúng thiếu mơ tả tổng quát dùng cho việc đặc trưng hóa trạng thái đám đông đo lường cách đơn giản vận tốc trung bình cá nhân thành phần xem tính đồng cho tồn đám đơng Hướng tiếp cận State-of-The-Art đề xuất mô tả dùng cho việc đo lường tính đồng dựa việc xét chuyển động đám đông qua cặp frame kế cận liên tiếp phương pháp đo lường khơng xác video có chứa liệu nhiễu, chuyển động chậm (không tồn chuyển động hai frame liên tiếp) cấu trúc hoàn cảnh đặc biệt video người chạy theo hướng nhìn Luận văn đề xuất phương pháp đơn giản để cải tiến phương pháp State-ofThe-Art dựa việc làm trơn thông tin chuyển động trích xuất chúng thơng qua khoảng cách T frame liên tiếp Bên cạnh luận văn tiến hành thực nghiệm so sánh phương pháp với phương pháp State-of-The-Art Dataset chuẩn (Collective Motion Dataset) Kết thu chứng minh tính ổn định xác tốt so với phương pháp State-of-TheArt toàn Dataset đặt biệt vượt trội video có cấu trúc chuyển động video người chạy theo hướng nhìn CHƯƠNG TỔNG QUAN Mục tiêu Chương nhằm giới thiệu đến người đọc nhìn tổng quan tốn phân tích hành vi đám đông ứng dụng, tầm quan trọng thú vị, thách thức hướng nghiên cứu Bên cạnh chương trình bày mục tiêu nghiên cứu đóng góp khoa học luận văn Nội dung chương chia thành phần:  Giới thiệu chung: Trình bày tính cấp thiếp, mơ tả tốn thách thức  Mục tiêu luận văn: Trình bày mục tiêu việc nghiên cứu  Đóng góp luận văn: Giới thiệu đóng góp khoa học luận văn  Bố cục luận văn: Giới thiệu bố cục tổng thể luận văn 1.1 Giới thiệu chung 1.1.1 Tính cấp thiết Với phát triển nhanh chóng khoa học công nghệ, hệ thống camera giám sát ngày phổ biến với chi phí triển khai thấp Các hệ thống camera thường sử dụng để theo dõi đánh giá tình hình trật tự địa điểm công cộng (công viên, trường học, quảng trường, nhà ga, sân bay…), quan trọng yếu (tòa nhà/trụ sở quốc hội, trụ sở tiếp dân), quan an ninh Một đối tượng quan trọng cần giám sát thơng qua camera đám đơng (hoặc nhóm tụ tập đơng người) Phát phân tích hành vi đám đông (bao gồm hành vi thông thường bất thường) sở quan trọng để đánh giá tình hình an ninh, trật tự phạm vi giám sát Việc triển khai ứng dụng hệ thống camera giám sát để theo dõi đánh giá hành vi đám đông ngày phổ biến việc phân tích hành vi chủ yếu dựa vào sức người, mức độ tự động hóa thấp Khi số lượng camera lớn (vài chục đến hàng trăm camera) dẫn đến tình trạng q tải, sai sót q trình giám sát Do đó, cần thiết xây dựng hệ thống tự động phát 10 Đồ thị 5.1: Hiển thị giá trị Max, Min, Aveg L tương ứng với giá trị T Trục thẳng đại diện cho giá trị L với khoảng giá trị thuộc khoảng [0, 1] Trục ngang đại diện cho giá trị T với T = {1, 2, 3, 5, 7, 10, 13, 15, 20, 25, 50} Bảng 5.3: Các số liệu đồ thị 5.1 T 10 13 15 20 25 50 Min 0.6953 0.7266 0.7435 0.7416 0.7401 0.7232 0.7173 0.7153 0.6892 0.6881 0.6055 Max 0.8452 0.8676 0.8752 0.8743 0.872 0.8651 0.8602 0.8628 0.8423 0.8377 0.7843 Aveg 0.7802 0.807 0.8185 0.8166 0.8142 0.8015 0.7937 0.7884 0.767 0.7622 0.7087 Max-Min 0.1499 0.1411 0.1317 0.1327 0.1319 0.1419 0.1429 0.1475 0.1531 0.1496 0.1787 Khi giá trị T tăng từ tới 3, khoảng [Min Max] L hẹp giá trị xác trung bình L tăng dần Giá trị trung bình khoảng [Min Max] L có xu hướng giảm dần mở rộng giá trị T tăng cao đạt 47 giá trị tệ trường hợp T = 50 Bên cạnh việc tăng T làm giảm số lượng frame cần tính tốn, điều đồng nghĩa với việc làm tăng tốc độ thực thi việc đo lường tính đồng Điều hàm ý phải đánh đổi độ xác tốc độ thực thi điều chỉnh giá trị T Thời gian thực thi phương pháp đề xuất hiển thị đồ thị 5.2 Đồ thị 5.2: Hiển thị tốc độ thực thi phương pháp với giá trị T theo đơn vị giây Khi tiến hành hai thực nghiệm sau học viên áp dụng giá trị T cho tất video Dataset Tuy nhiên, ứng với video có giá trị T khác để đạt đến độ xác tối ưu Nguyên nhân chất chuyển động video độc lập, không phụ thuộc Nghiên cứu phương pháp xác định T tối ưu cho video vấn đề thú vị cần tiếp tục nghiên cứu tương lai 5.4 So sánh với cảm quan người (Human Perception) Học viên so sánh phương pháp đề xuất với phương pháp gốc Bolei Zhou, Moving Average Filter, SGL Fiter Để định lượng việc đánh giá mình, học viên thực thi phương pháp để thu thập tập Output Sau học viên tính tốn tương quan tập Output đánh giá người cung cấp Dataset Kết hiển thị bảng 5.4 48 Bảng 5.4: Các kết so sánh phương pháp Phương pháp Phương pháp B Zhou et al [5] Kết 0.78 Chỉ áp dụng T 0.7993 SGL Filter 0.7844 MA Filter 0.78134 MA kết hợp với áp dụng T 0.81727 SGL kết hợp với áp dụng T 0.82063 Chú thích: Nguồn số liệu phương pháp gốc trích dẫn từ [5] Phương pháp gốc [5] cho kết thấp Zhou tính tốn tính đồng dựa đặc trưng chuyển động trích xuất từ frame liên tiếp Như thảo luận Chương 3, đặc trưng chuyển động trích xuất theo cách thường khơng ổn định nên kết không tốt Khi áp dụng tham số khoảng frame T kết thu tốt khoảng 2% phương pháp sai sót việc xử lý trường hợp video có đám đơng chuyển động Hình 3.7 SGL Moving Average xử lý tốt (SGL tốt Moving Average) trường hợp sai sót phương pháp Interval T lại sai sót việc tính tốn video có đối tượng chuyển động chậm nhiều liệu nhiễu kết không tốt Cuối cùng, học viên kết hợp phương pháp SGL, MA với việc trích xuất theo khoản frame T mục đích bổ sung trường hợp tốt cho cho kết tốt phương pháp gốc 4% 5.5 Độ xác phân lớp (Classification Accuracy) Trong thực nghiệm này, học viên chia toàn video liệu Collective Motion thành phân loại tính đồng thí nghiệm Bolei Zhou (Cao - Thấp, Cao - Trung Bình, Trung Bình - Thấp) Sau học viên tính tốn độ xác phương pháp Kết thu bảng 5.5 49 Bảng 5.5: Kết đánh giá phương pháp State-of-The-Art phương pháp đề xuất phân loại Φ SGL&T Cao-Thấp 0.95 0.98 Cao-Trung Bình 0.84 0.84 Trung bình - Thấp 0.79 0.82 Loại Chú thích: Nguồn số liệu Φ trích dẫn từ [5] Như bảng 5.5, phương pháp đề xuất tốt phương pháp State-of-TheArt phân loại: Cao - Thấp, Trung Bình - Thấp tương ứng 3% Ngồi thảo luận phần 5.3 giá trị T khơng qn cho tồn Dataset nên học viên chọn thủ công giá trị T tốt theo video kết thu bảng 5.6 Bảng 5.6: Các kết so sánh việc chọn T động T cố định hai thực nghiệm 5.4, 5.5 T động Thí nghiệm 5.4 So sánh với cảm quan người T cố định 0.875 0.82063  Cao-Thấp 0.99 0.98  Cao-Trung Bình 0.92 0.84  Trung bình - Thấp 0.84 0.82 5.5 Độ xác phân lớp Như bảng 5.6 ta chọn giá trị T kết thu tốt so với việc áp dụng giá trị T với 6% cho thí nghiệm 5.4 vượt trội thí nghiệm 5.5 ba phân loại tương ứng 1%, 8%, 2% 5.6 Tổng kết Trong chương này, luận văn trình bày phương pháp học viên dùng để đánh giá độ xác phương pháp đề xuất sở lý thuyết liên quan Hướng tiếp cận có cải thiện so với phương pháp ban đầu Bolei Zhou Tuy 50 nhiên việc áp dụng giá trị T cho toàn Dataset khơng xác chất chuyển động video độc lập với nên việc nghiên cứu phương pháp xác định T tối ưu cho video vấn đề thú vị cần tiếp tục nghiên cứu tương lai 51 CHƯƠNG KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TƯƠNG LAI 6.1 Kết luận Trong luận văn này, học viên giới thiệu chuyển động đồng đám đông ứng dụng tầm quan trọng nhiều lĩnh vực Học viên giới thiệu phương pháp State-of-The-Art Bolei Zhou để đo lường tính đồng chuyển động Ngồi ra, học viên đề xuất hướng tiếp cận hiệu để cải tiến phương pháp State-of-The-Art dựa việc tiền xử lý đặc trưng chuyển động cá nhân cách sử dụng SGL Filter kết hợp với việc trích xuất đặc trưng thông qua khoảng frame liên tiếp Kết thực nghiệm chứng minh phương pháp đề xuất tốt phương pháp State-of-The-Art độ xác lẫn tốc độ thực thi 6.2 Hướng nghiên cứu tương lai Như thí nghiệm đầu tiên, khoảng dao động L nói lên việc trích xuất đặc trưng qua khoảng frame T khơng ảnh hưởng đến độ xác mà tốc độ thực thi chương trình Nhưng thực tế, việc trích xuất Trajectory thơng qua khoảng frame T khơng qn cho tồn Dataset Ví dụ, vài video cho kết tốt ứng với T = video khác lại khơng Học viên cố gắng chọn thủ công giá trị T tốt để làm tham số cho việc đo lường tính đồng theo video kết thu cải tiến đáng kể so với việc áp dụng giá trị T cố định cho toàn Dataset Thực nghiệm học viên vẽ hướng tiếp cận khác tương lai “Làm để chọmột cách tự động giá trị T tốt cho video?” 52 TÀI LIỆU THAM KHẢO [1] A B Chan and N Vasconcelos (2008), “Modeling, clustering, and segmenting video with mixtures of dynamic textures”, IEEE Trans On Pattern Analysis and Machine Intelligence vol 30, pp 909–926 [2] A Lerner, Y Chrysanthou, and D Lischinski (2007), “Crowds by example”, in Computer Graphics Forum [3] B T Morris and M M Trivedi (2011), “Trajectory learning for activity understanding: Unsupervised, multilevel, and long-term adaptive approach”, IEEE Trans on Pattern Analysis and Machine Intelligence vol 33, pp 2287–2301 [4] B Zhou, X Tang, and X Wang (2012), “Detecting coherent motions from crowd clutters”, in Proc ECCV [5] B Zhou, X Tang, H Zhang and X Wang (2014) “Measuring crowd collectiveness”, Pattern Analysis and Machine Intelligence, IEEE Transactions on vol 36(8), pp.1586–1599 [6] B Zhou, X Wang, and X Tang (2011), “Random field topic model for semantic region analysis in crowded scenes from tracklets”, in Proc.CVPR [7] B Zhou, X Wang, and X Tang (2012), “Understanding collective crowd behaviors: Learning a mixture model of dynamic pedestrian-agents”, in Proc CVPR [8] C Tomasi and T Kanade (1991), “Detection and Tracking of Point Features”, in Int’l Journal of Computer Vision [9] C W Reynolds (1987), “Flocks, herds and schools: A distributed behavioral model”, in ACM SIGGRAPH Computer Graphics [10] D E Knuth (1997), The Art of Computer Programming, Volume Fundamental Algorithms (Third Edition) Addison-Wesley [11] D Forsyth (2009), Group dynamics, Wadsworth Pub Co [12] D Helbing and P Molnar (1995), “Social force model for pedestrian dynamics,” Physical review E vol 51, no 5, pp 4282–4286 53 [13] D Helbing, I Farkas, and T Vicsek (2000), “Simulating dynamical features of escape panic”, Nature vol 407, pp 487–490 [14] D Lin, E Grimson, and J Fisher (2009), “Learning visual flows: A lie algebraic approach”, in Proc CVPR [7] [15] D Lin, E Grimson, and J Fisher (2010), “Modeling and estimating persistent motion with geometric flows”, in Proc CVPR [16] G Brostow and R Cipolla (2006), “Unsupervised bayesian detection of independent motion in crowds”, in Proc CVPR [17] G Le Bon (1897), “The crowd: A study of the popular mind”, The Macmillan Co New York [18] G Palla, A.-L Barab´asi, and T Vicsek (2007), “Quantifying social group evolution”, Nature vol 446, pp 664–667 [19] H Chate and F Ginelli (1995), “Collective motion of self-propelled particles interacting without chesion”, Physics Review vol 77 [20] H Zhang, A Ber, E Florin, and H Swinney (2010), “Collective motion and density fluctuations in bacterial colonies”, Proceedings of the National Academy of Sciences vol 107, pp 13 626–13 630 [21] I Couzin (2009), “Collective cognition in animal groups,” Trends in Cognitive Sciences vol 13, pp 36–43 [22] I Couzin and J Krause (2003), “Self-organization and collective behavior in vertebrates”, Advances in the Study of Behavior vol 52, pp 1–75 [23] J Buhl, D Sumpter, I Couzin, J Hale, E Despland, E Miller, and S Simpson (2006), “From disorder to order in marching locusts”, Science vol 312, pp 1402–1406 [24] J Parrish and L Edelstein-Keshet (1999), “Complexity, pattern, and evolutionary trade-offs in animal aggregation”, Science vol 284, pp 99–101 [25] J Shao, C C Loy, and X Wang (2014), "Scene-independent group profiling in crowd", Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on IEEE 54 [26] J Toner and Y Tu (1998), “Flocks, herds, and schools: A quantitative theory of flocking”, Physical Review E vol 58, pp 4828–4858 [27] J Van Den Berg, S J Guy, M Lin, and D Manocha (2011), “Reciprocal nbody collision avoidance”, International Symposium on Robotics Research [28] L Kratz and K Nishino (2009), “Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models”, in Proc CVPR [29] L Kratz and K Nishino (2012), “Going with the flow: Pedestrian efficiency in crowded scenes”, in Proc ECCV [30] L Petitjean, M Reffay, E Grasland-Mongrain, M Poujade, B Ladoux, A Buguin, and P Silberzan (2010), “Velocity fields in a collectively migrating epithelium”, Biophysical Journal vol 98, pp 1790–1800 [31] M Ballerini, N Cabibbo et al (2008), “Empirical investigation of starling flocks: a benchmark study in collective animal behaviour”, Animal behaviour vol 76, pp 201–215 [32] M Ballerini, N Cabibbo, R Candelier, A Cavagna, E Cisbani, I Giardina, V Lecomte, A Orlandi, G Parisi, A Procaccini et al ( 2008), “Interaction ruling animal collective behavior depends on topological rather than metric distance: Evidence from a field study”, Proceedings of the National Academy of Sciences vol 105, pp 1232–1237 [33] M Chang, N Krahnstoever, and W Ge (2011), “Probabilistic group-level motion analysis and scenario recognition”, in Proc ICCV [34] M Girvan and M E Newman (2002), “Community structure in social and biological networks”, Proceedings of the National Academy of Sciences vol 99, pp 7821–7826 [35] M Moussaid, N Perozo, S Garnier, D Helbing, and G Theraulaz (2010), “The walking behaviour of pedestrian social groups and its impact on crowd dynamics”, PLoS One vol 5, p e10047 [36] M Moussaid, S Garnier, G Theraulaz, and D Helbing (2009), “Collective information processing and pattern formation in swarms, flocks, and crowds”, Topics in Cognitive Science vol 1, pp 469–497 55 [37] M Rodriguez, S Ali, and T Kanade (2009), “Tracking in unstructured crowded scenes”, in Proc ICCV [38] N Biggs (1993), Algebraic graph theory Cambridge Univ Pr [39] N Makris, P Ratilal, S Jagannathan, Z Gong, M Andrews, Bertsatos, O Godø, R Nero, and J Jech (2009), “Critical population density triggers rapid formation of vast oceanic fish shoals”, Science vol 323, no 5922, pp 1734– 1737 [40] N Pelechano, J M Allbeck, and N I Badler (2008), “Virtual crowds: Methods, simulation, and control”, Synthesis Lectures on Computer Graphics and Animation [41] Orfanidis, S J (1995) Introduction to signal processing Prentice-Hall, Inc [42] P Scovanner and M F Tappen (2009), “Learning pedestrian dynamics from the real world,” in Proc ICCV [43] R Emonet, J Varadarajan, and J Odobez (2011), “Extracting and locating temporal motifs in video scenes using a hierarchical non parametric bayesian model”, in Proc CVPR [44] R M Raafat, N Chater, and C Frith (2009), “Herding in humans,” Trends in Cognitive Sciences vol 13, pp 420–428 [45] R Mehran, A Oyama, and M Shah (2009), “Abnormal crowd behavior detection using social force model”, in Proc CVPR [46] R Mehran, B Moore, and M Shah (2010), “A streakline representation of flow in crowded scenes”, in Proc ECCV [47] R Narain, A Golas, S Curtis, and M Lin (2009), “Aggregate dynamics for dense crowd simulation”, in ACM Transactions on Graphics [48] R Olfati-Saber (2006), “Flocking for multi-agent dynamic systems: Algorithms and theory”, Automatic Control, IEEE Transactions on [49] S Ali and M Shah (2007), “A lagrangian particle dynamics approach for crowd flow segmentation and stability analysis”, in Proc CVPR [50] S Camazine (2003), Self-organization in biological systems Princeton Univ Pr 56 [51] S J Guy, J van den Berg, W Liu, R Lau, M C Lin, and D Manocha (2012), “A statistical similarity measure for aggregate crowd dynamics”, ACM Transactions on Graphics (TOG) [52] S Pellegrini, A Ess, K Schindler, and L Van Gool (2009), “You’ll never walk alone: Modeling social behavior for multi-target tracking”, in Proc ICCV [53] S Wu, B E Moore, and M Shah (2010), “Chaotic invariants of lagrangian particle trajectories for anomaly detection in crowded scenes”, in Proc CVPR [54] T Brox and J Malik (2010), “Object segmentation by long term analysis of point trajectories”, in Proc ECCV [55] T Hospedales, S Gong, and T Xiang (2009), “A markov clustering topic model for mining behaviour in video”, in Proc ICCV [56] T Lan, L Sigal, and G Mori (2012), “Social roles in hierarchical models for human activity recognition”, in Proc CVPR [57] T Lan, Y Wang, W Yang, S N Robinovitch, and G Mori (2011), “Discriminative latent models for recognizing contextual group activities”, IEEE Trans on Pattern Analysis and Machine Intelligence vol 34, pp 1549–1562 [58] T Vicsek, A Czir´ok, E Ben-Jacob, I Cohen, and O Shochet (1995), “Novel type of phase transition in a system of self-driven particles”, Physical Review Letters vol 75, pp 1226–1229 [59] V Mahadevan, W Li, V Bhalodia, and N Vasconcelos (2010), “Anomaly detection in crowded scenes”, in Proc CVPR [60] V Rabaud and S Belongie (2006), “Counting crowded moving objects”, in Proc CVPR [61] V Saligrama and Z Chen (2012), “Video anomaly detection based on local statistical aggregates”, in Proc CVPR 57 [62] W Bialek, A Cavagna, I Giardina, T Mora, E Silvestri, M Viale, and A Walczak (2011), “Statistical mechanics for natural flocks of birds”, Arxiv preprint arXiv:1107.0604 [63] W Ge, R Collins, and R Ruback (2011), “Vision-based analysis of small groups in pedestrian crowds”, IEEE Trans on Pattern Analysis and Machine Intelligence vol 34, pp 1003–1016 [64] X Wang, K Ma, G Ng, and W Grimson (2008), “Trajectory analysis and semantic region modeling using a nonparametric bayesian model”, in Proc CVPR [65] X Wang, K Ma, G Ng, and W Grimson (2011), “Trajectory analysis and semantic region modeling using nonparametric hierarchical bayesian models”, Int’l Journal of Computer Vision vol 95, pp 287–312 [66] X Wang, X Ma, and W Grimson (2009), “Unsupervised activity perception in crowded and complicated scenes using hierarchical bayesian models”, IEEE Trans on Pattern Analysis and Machine Intelligence vol 31, pp 539– 555 [67] Z A Vicsek T (2010), “Collective motion,” arXiv:1010.5017 [68] https://en.wikipedia.org/wiki/Receiver_operating_characteristic 58 PHỤ LỤC Kết thực thi của phương pháp đề xuất với giá tri T=3 cố định: Bảng kết đo lường tính đồng tương ứng với T = {1, 2, 3, 5, 7, 10, 13, 15, 25, 50} cho video đại diện Collective Motion Dataset Tên video 1airport1 1bjtraffic10 1bjtraffic14 1bjtraffic15 1bjtraffic2 1bjtraffic3 1bjtraffic8 1bjtraffic9 1chinacross1 1dawei1 1grand1 1indiastreet1 1japancross1 1jiqimao1 1manko1 1manko28 1manko29 1manko3 1manko30 1manko4 1manko5 1monko1 1shatian1 1thu1 1thu10 1thu11 1thu12 1ucsdtraffic1 1walkingstreet1 1wanchaitraffic1 1xinao1 2dawei1 2dianti1 2grand1 2jiansha1 0.27 0.70 0.82 0.77 0.68 0.72 0.68 0.65 0.78 0.40 0.48 0.29 0.64 0.37 0.74 0.68 0.58 0.63 0.58 0.66 0.73 0.69 0.31 0.58 0.34 0.51 0.44 0.92 0.25 0.79 0.10 0.60 0.69 0.25 0.58 0.22 0.66 0.81 0.73 0.66 0.70 0.60 0.57 0.75 0.29 0.42 0.28 0.62 0.34 0.73 0.67 0.56 0.61 0.55 0.62 0.72 0.68 0.25 0.54 0.27 0.45 0.38 0.93 0.24 0.79 0.09 0.60 0.70 0.20 0.57 0.20 0.63 0.81 0.74 0.67 0.71 0.54 0.55 0.69 0.24 0.40 0.27 0.61 0.33 0.74 0.66 0.54 0.60 0.55 0.61 0.71 0.68 0.24 0.52 0.22 0.45 0.38 0.93 0.24 0.81 0.09 0.58 0.71 0.18 0.57 0.18 0.61 0.79 0.70 0.68 0.68 0.52 0.49 0.70 0.17 0.39 0.28 0.62 0.35 0.73 0.67 0.53 0.61 0.51 0.60 0.73 0.65 0.24 0.51 0.20 0.38 0.35 0.93 0.25 0.81 0.13 0.60 0.73 0.17 0.59 59 0.18 0.59 0.78 0.72 0.65 0.71 0.44 0.44 0.69 0.19 0.39 0.30 0.61 0.34 0.74 0.71 0.53 0.60 0.49 0.61 0.74 0.68 0.22 0.50 0.19 0.38 0.38 0.94 0.24 0.82 0.10 0.63 0.74 0.15 0.59 10 0.17 0.55 0.76 0.64 0.70 0.69 0.46 0.38 0.67 0.16 0.39 0.29 0.63 0.35 0.75 0.69 0.55 0.61 0.42 0.59 0.73 0.68 0.23 0.50 0.18 0.36 0.34 0.94 0.25 0.81 0.13 0.64 0.74 0.15 0.65 13 0.19 0.63 0.81 0.69 0.71 0.70 0.43 0.29 0.67 0.15 0.40 0.31 0.63 0.39 0.74 0.74 0.56 0.60 0.45 0.60 0.72 0.69 0.23 0.49 0.17 0.35 0.38 0.94 0.25 0.82 0.09 0.69 0.76 0.15 0.64 15 0.19 0.58 0.77 0.68 0.71 0.71 0.47 0.31 0.66 0.14 0.40 0.31 0.64 0.36 0.75 0.70 0.59 0.61 0.43 0.59 0.72 0.70 0.23 0.49 0.16 0.37 0.36 0.94 0.25 0.83 0.13 0.68 0.76 0.14 0.68 25 0.19 0.67 0.83 0.77 0.72 0.71 0.50 0.32 0.66 0.16 0.42 0.35 0.69 0.39 0.77 0.77 0.69 0.62 0.48 0.58 0.72 0.74 0.23 0.51 0.16 0.37 0.38 0.94 0.26 0.88 0.13 0.70 0.77 0.15 0.72 50 0.19 0.59 0.89 0.84 0.74 0.72 0.34 0.43 0.64 0.11 0.47 0.37 0.75 0.37 0.81 0.88 0.80 0.66 0.46 0.55 0.67 0.75 0.25 0.40 0.17 0.32 0.39 0.92 0.26 0.91 0.15 0.74 0.77 0.12 0.74 2jiqimao1 2manko1 2monko1 2niurunning1 2shatian1 2ucsdtraffic1 2walkingstreet1 2wanchaitraffic1 2xinao1 2zhenbin1 3dawei1 3monko1 3niurunning1 3shatian1 3ucsdtraffic1 3walkingstreet1 3wanchaitraffic1 3xinao1 4dawei1 4shatian1 4wanchaitraffic1 5shatian1 5wanchaitraffic1 5wanchaitraffic10 6shatian1 IM03 againstWalker1 china1 chorus1 crossroad1 dianti1 grandcentralgroup1 grandfull1 grandfull10 highwayali1 indiastation1 japancross1 jiansha1 jianshacross1 jianshacross2 jihadmoving1 jiulongtang1 laddergetty1 0.30 0.73 0.68 0.78 0.31 0.87 0.74 0.90 0.14 0.45 0.63 0.76 0.51 0.56 0.89 0.22 0.90 0.31 0.52 0.45 0.87 0.48 0.75 0.71 0.62 0.27 0.75 0.88 0.05 0.60 0.61 0.59 0.24 0.28 0.75 0.65 0.20 0.55 0.56 0.58 0.52 0.39 0.86 0.29 0.73 0.68 0.79 0.28 0.86 0.77 0.90 0.07 0.44 0.61 0.77 0.49 0.52 0.89 0.19 0.91 0.27 0.46 0.38 0.88 0.43 0.75 0.68 0.59 0.21 0.74 0.89 0.03 0.61 0.63 0.60 0.19 0.25 0.72 0.64 0.17 0.51 0.53 0.56 0.54 0.43 0.88 0.27 0.73 0.70 0.79 0.26 0.85 0.78 0.91 0.05 0.43 0.60 0.77 0.49 0.50 0.89 0.20 0.92 0.27 0.40 0.34 0.89 0.40 0.76 0.71 0.59 0.22 0.74 0.89 0.03 0.65 0.65 0.63 0.19 0.25 0.68 0.65 0.13 0.51 0.51 0.55 0.59 0.46 0.87 0.29 0.73 0.69 0.81 0.27 0.86 0.79 0.90 0.02 0.42 0.59 0.77 0.49 0.47 0.89 0.19 0.93 0.26 0.40 0.30 0.88 0.39 0.75 0.70 0.59 0.17 0.72 0.89 0.03 0.68 0.67 0.62 0.17 0.23 0.61 0.65 0.12 0.50 0.49 0.55 0.60 0.51 0.88 60 0.28 0.76 0.73 0.82 0.25 0.85 0.81 0.91 0.01 0.41 0.62 0.78 0.49 0.46 0.88 0.19 0.93 0.23 0.38 0.28 0.90 0.40 0.75 0.69 0.57 0.20 0.76 0.89 0.04 0.67 0.70 0.66 0.17 0.23 0.53 0.64 0.11 0.51 0.48 0.54 0.62 0.51 0.89 0.30 0.76 0.74 0.82 0.26 0.86 0.82 0.90 0.02 0.44 0.61 0.80 0.49 0.48 0.89 0.19 0.93 0.26 0.41 0.26 0.89 0.38 0.75 0.68 0.58 0.16 0.73 0.89 0.02 0.67 0.69 0.75 0.17 0.22 0.47 0.64 0.13 0.51 0.44 0.55 0.62 0.55 0.90 0.29 0.78 0.78 0.82 0.25 0.87 0.83 0.92 0.01 0.43 0.62 0.83 0.49 0.50 0.89 0.21 0.94 0.25 0.40 0.25 0.90 0.39 0.78 0.66 0.58 0.15 0.77 0.89 0.03 0.71 0.72 0.70 0.16 0.23 0.47 0.66 0.16 0.51 0.41 0.59 0.65 0.55 0.90 0.31 0.77 0.77 0.85 0.24 0.86 0.83 0.91 0.01 0.45 0.63 0.85 0.49 0.50 0.87 0.20 0.94 0.27 0.40 0.23 0.90 0.38 0.76 0.71 0.58 0.15 0.78 0.90 0.02 0.72 0.72 0.74 0.17 0.22 0.45 0.65 0.12 0.52 0.41 0.51 0.65 0.60 0.90 0.31 0.18 0.78 0.71 0.83 0.89 0.87 0.91 0.25 0.20 0.85 0.85 0.85 0.86 0.95 0.96 0.01 -0.01 0.44 0.48 0.66 0.71 0.87 0.95 0.48 0.46 0.53 0.48 0.90 NaN 0.19 0.20 0.96 0.97 0.26 0.30 0.43 0.54 0.23 0.20 0.93 0.94 0.41 0.46 0.77 0.79 0.69 0.84 0.61 0.63 0.15 0.08 0.85 0.94 0.90 0.89 0.02 0.02 0.73 NaN 0.77 0.80 0.73 0.82 0.17 0.19 0.22 0.20 0.38 0.33 0.67 0.72 0.14 0.02 0.53 0.56 0.42 0.33 0.62 0.79 0.66 0.73 0.61 0.55 0.92 0.94 laddergetty10 marathonround1 mecahole1 metacrowd1 mixturestreet1 niurunning1 passingxg1 randomcross1 runningstraight1 runspreading1 sanfermine5 shi10bo2 shi1bo1 shi2bo1 shi3bo1 shi4bo1 shi5bo1 shi6bo1 shi7bo1 shi8bo1 shi9bo1 startRunning1 startRunning2 tradingfloor1 trafficchina1 zhenbin10 zhenbin4 zhenbin5 zhenbin7 0.85 0.89 0.33 0.12 0.54 0.84 0.44 0.40 0.82 0.83 0.55 0.18 0.42 0.47 0.40 0.37 0.40 0.46 0.24 0.44 0.56 0.64 0.94 0.14 0.78 0.52 0.55 0.56 0.66 0.87 0.89 0.32 0.09 0.51 0.85 0.39 0.35 0.84 0.84 0.54 0.13 0.34 0.39 0.39 0.38 0.35 0.41 0.20 0.38 0.50 0.64 0.96 0.11 0.75 0.47 0.53 0.52 0.65 0.87 0.89 0.34 0.09 0.51 0.85 0.36 0.31 0.86 0.86 0.53 0.12 0.34 0.36 0.38 0.38 0.33 0.41 0.18 0.33 0.48 0.64 0.97 0.09 0.75 0.48 0.55 0.51 0.65 0.89 0.89 0.34 0.10 0.51 0.88 0.25 0.25 0.88 0.87 0.52 0.09 0.34 0.33 0.37 0.42 0.32 0.38 0.18 0.32 0.44 0.63 0.99 0.10 0.68 0.42 0.54 0.53 0.67 61 0.89 0.90 0.36 0.11 0.51 0.89 0.17 0.21 0.87 0.89 0.55 0.07 0.31 0.32 0.38 0.43 0.28 0.36 0.19 0.28 0.47 0.64 0.99 0.09 0.73 0.42 0.52 0.57 0.68 0.90 0.89 0.36 0.10 0.51 0.90 0.08 0.19 0.84 0.87 0.49 0.08 0.33 0.32 0.38 0.44 0.27 0.35 0.18 0.25 0.45 0.60 1.00 0.11 0.64 0.39 0.52 0.55 0.68 0.91 0.89 0.40 0.10 0.52 0.91 0.10 0.17 0.56 0.88 0.57 0.09 0.32 0.27 0.40 0.46 0.24 0.33 0.22 0.25 0.45 0.64 0.97 0.10 0.70 0.39 0.52 0.56 0.68 0.91 0.89 0.39 0.11 0.51 0.90 0.04 0.10 0.43 0.88 0.44 0.11 0.35 0.30 0.39 0.45 0.24 0.36 0.21 0.23 0.44 0.59 0.85 0.10 0.65 0.41 0.53 0.55 0.69 0.92 0.90 0.40 0.10 0.51 0.93 0.03 0.08 0.36 0.93 0.53 0.08 0.39 0.30 0.38 0.50 0.24 0.36 0.25 0.23 0.50 0.38 0.55 0.11 0.60 0.41 0.49 0.59 0.71 0.92 0.89 0.39 0.11 0.51 0.94 0.03 0.02 0.00 0.94 0.57 0.09 0.42 0.40 0.37 0.54 0.28 0.31 0.45 0.20 0.58 0.79 0.18 0.13 0.89 0.46 0.50 0.63 0.71 ... động phát 10 phân tích hành vi đám đơng qua camera giám sát Hệ thống hỗ trợ người giám sát quan an ninh cách tự động gởi cảnh báo đám đông tụ tập địa điểm cấm, phát hành vi bất thường đám đông. .. biệt hình thái hành vi đám đơng 1.2 Mục tiêu luận văn Nghiên cứu phương pháp tiên tiến phát phân tích hành vi đám đông Cụ thể tập trung chủ yếu vào phân tích tính đồng chuyển động đám đông Đưa đề... thành hệ thống giám sát an ninh hồn chỉnh 1.1.2 Mơ tả tốn phân tích hành vi đám đông Dữ liệu đầu vào video giám sát Đầu kết trình phân tích gồm thơng tin vị trí, hình thái, hành vi đám đông (hướng