Phát hiện sự kiện bất thường trong cảnh đông đúc dựa trên sự phân tích các hành vi, hoạt động được kết hợp từ những người hiện diện trong đám đông đó. Có rất nhiều các phương pháp phát hiện và theo dõi hành vi của cá nhân, nhưng trong bối cảnh đông đúc thì sự theo dõi và phân tích hành vi của từng cá thể trong đó là không khả thi.
Do không thể áp dụng các phương pháp phát hiện và theo dõi cổ điển trong các cảnh đông đúc này nên cần phải có một cách tiếp cận tổng thể hơn. Chúng ta thấy rõ ràng ở đây, nội dung chuyển động đóng vai trò quan trọng, cung cấp thông tin chính cả ở cấp độ điểm ảnh hoặc cấp độ đặc trưng. Thêm vào đó, nội dung chuyển động này phải được phân tích trong bối cảnh không gian và thời gian rộng hơn để tổng quát được bối cảnh của đám đông.
Luồng quang học cung cấp độ lớn và hướng của chuyển động giữa các khung hình. Ví dụ quan sát sơ bộ bối cảnh có hành vi đám đông xung đột, chúng ta thấy sẽ có sự đan xen giữa các chuyển động ngược hướng và phạm vi chuyển động là nhỏ trong khoảng thời gian nhất định, còn bối cảnh đám đông hoảng loạn thì dòng chuyển động sẽ tỏa ra tứ phía hoặc cùng 1 phía và độ lớn chuyển động lớn. Trên cơ sở đó, việc chọn luồng quang học của bối cảnh như vậy là phù hợp để phân tích. Tuy nhiên, phân tích như vậy có thể dễ bị sai sót do nội dung chuyển động là tương tự từ các phần của cảnh không có người, hoặc bị nhầm lẫn khi dòng người di chuyển theo nhiều hướng khác nhau trong cùng 1 không gian…
Hình 3.2: Luồng chuyển động của đám đông
Trong các nghiên cứu trước đây, người ta sử dụng bản đồ mật độ nhiệt để đếm số người trong đám đông. Tuy nhiên, theo phân tích thấy rằng bản đồ mật độ nhiệt của đám đông có thể sử dụng như một tính năng định hướng để đảm bảo rằng chỉ các vùng có liên quan mới được đưa vào phân tích chuyển động, tránh sự gặp phải sự giống nhau của luồng chuyển động ở những cảnh không có người. Hơn nữa, trong một khoảng thời gian, những thay đổi về mật độ đám đông, chẳng hạn như sự di tản đột ngột của đám đông tại một địa điểm cũng có thể là kết quả của 1 đám đông hoảng loạn hay sự đông lên bất thường cũng là
bằng chứng cho thấy có giao tranh của đám đông. Những chỉ thị như vậy là bằng chứng rõ ràng cho sự tồn tại của một sự kiện bất thường. Do đó, hoàn toàn hợp lý khi đưa bản đồ mật độ nhiệt vào làm 1 tiêu chí phân tích để phát hiện hành vi bất thường của đám đông.
Hình 3.3: Cảnh đám đông hoảng loạn và bản đồ nhiệt tương ứng
Hình 3.4: Cảnh đám đông xung đột và bản đồ nhiệt tương ứng
Việc thiếu dữ liệu để đào tạo mạng cũng là một vấn đề lớn mà trong quá trình nghiên cứu đã gặp phải. Các nội dung trên internet có thể tìm thấy được
thường không sát với bàn toán đặt ra, hoặc nếu có thì chất lượng rất thấp do quay bằng các thiết bị cá nhân và ở khoảng cách quá xa. Các chủ đề bất thường được đề cập trong nghiên cứu là đám đông xung đột, hoảng loạn thường chỉ có thể tìm thấy ở các kho lưu trữ của chính quyền, qua các camera giám sát hoạt động tại những nơi công cộng, mà nguồn này thì chúng ta không được phép tiếp cận. Vì vậy, bài toán đặt ra là làm sao có thể phát hiện hành vi bất thường trong đám đông mà chỉ sử dụng rất ít dữ liệu đào tạo. Ở đây, chúng tôi sử dụng tập dữ liệu ảo, được tổng hợp theo các hành vi đám đông cụ thể để đào tạo. Sau đó áp dụng kỹ thuật thích ứng miền (domain adaptation) (domain adaptation), cụ thể hơn, sử dụng phương pháp tinh chỉnh mô hình (fine-tunning). Mục đích để khi áp dụng cho dữ liệu thực tế, có thể không cần đào tạo lại hoặc chỉ cần rất ít dữ liệu để đào tạo lại là mô hình có thể cho ra kết quả tốt.
Hình 3.5: Phương pháp huấn luyện đề xuất