Nghiên cứu phương pháp phát hiện hành vi bất thường trong đám đông sử dụng bản đồ mật độ nhiệt

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM NHẬT LINH NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI BẤT THƯỜNG TRONG ĐÁM ĐÔNG SỬ DỤNG BẢN ĐỒ MẬT ĐỘ NHIỆT LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM NHẬT LINH NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI BẤT THƯỜNG TRONG ĐÁM ĐÔNG SỬ DỤNG BẢN ĐỒ MẬT ĐỘ NHIỆT Ngành: Công nghệ thông tin Chuyên ngành: Khoa học máy tính Mã số: 8480101.01 LUẬN VĂN THẠC SĨ CƠNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Tạ Việt Cường NGƯỜI ĐỒNG HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Thanh Hà HÀ NỘI - 2021 LỜI CAM ĐOAN Tôi xin cam đoan kết luận văn thực hướng dẫn TS Tạ Việt Cường PGS TS Lê Thanh Hà Tất kiến thức liên quan sử dụng luận văn trích dẫn nguồn gốc cách rõ ràng danh mục tài liệu tham khảo luận văn Luận văn không chép tài liệu, công trình nghiên cứu người khác mà khơng rõ mặt tài liệu tham khảo Các kết thực nghiệm luận văn thực tiến hành thực tế Nếu có gian lận nào, tơi xin hồn tồn chịu trách nhiệm trước hội đồng, kết luận văn tốt nghiệp Hà Nội, ngày tháng năm 2021 Học viên LỜI CẢM ƠN Đầu tiên, muốn gửi lời cảm ơn chân thành tới TS Tạ Việt Cường PGS TS Lê Thanh Hà, người ln tận tình hướng dẫn nghiên cứu đề tài Nếu định hướng, lời dạy bảo thầy luận văn tơi khó hồn thiện Tơi xin cảm ơn Khoa cơng nghệ thông tin, Trường Đại học Công nghệ tạo điều kiện, môi trường thuận lợi cho học viên q trình học tập, nghiên cứu hồn thiện luận văn thạc sĩ Tơi xin bày tỏ lịng kính trọng biết ơn sâu sắc tới thầy, cô, bạn bè khoa Công nghệ thông tin, ngành Khoa học máy tính, ln nhiệt tình giúp đỡ tơi suốt trình học tập nghiên cứu Cuối cùng, tơi muốn gửi lời cảm ơn tới gia đình, người thân, người quan tâm, động viên để giúp tơi có động lực học tập, nghiên cứu hồn thiện đề tài nghiên cứu Bước đầu vào nghiên cứu, tìm hiểu vấn đề cho việc “Phân tích hành vi bất thường đám đơng sử dụng đồ mật độ nhiệt” với kiến thức hạn chế, tơi khơng tránh khỏi thiếu sót luận văn Tôi mong nhận ý kiến đóng góp thầy bạn bè để hồn thiện luận văn Tơi xin chân thành cảm ơn! TÓM TẮT Trong lĩnh vực camera giảm sát, việc theo dõi phân tích hành vi đám đông nhiệm vụ không dễ dàng Do vấp phải khó khăn giải vấn đề thay đổi quy mô, ánh sáng mật độ đám đông nên nghiên cứu phân tích hành vi đám đơng cịn ít, nghiên cứu phần nhiều dừng lại việc phát có bất thường đám đông hay không nghiên cứu [15], [16], đếm số người hay theo dõi đối tượng đám đông [11] Các nghiên cứu hành vi tập trung vào hành vi người, kết khó áp dụng để phân tích hành vi đám đơng Do vậy, thực nghiên cứu nhằm phát triển phương pháp phát hiện, phân loại xác hành vi bất thường đám đông dày đặc, đáp ứng nhanh với toán thực tế Kết phân tích hành vi đám đơng ứng dụng loạt lĩnh vực mới, chẳng hạn đảm bảo an tồn kiện quy mơ lớn, địa điểm đông người sân bay, nhà ga, bến xe…, lập kế hoạch khắc phục thảm họa an tồn giao thơng, giám sát đám đơng cho ứng dụng an toàn giám sát, tự động phát cố hành động bất thường đám đơng Việc phân tích hành vi đám đơng phải đối mặt với nhiều khó khăn phân tích hành vi đối tượng riêng lẻ Dữ liệu đám đơng thiếu hụt ví dụ thực tế chủ đề cần phát liệu có sẵn thường có chất lượng thấp nhiều yếu tố ảnh hưởng như: nhiễu, góc quay camera, che khuất… Trong nghiên cứu mình, chúng tơi đánh giá phương pháp phát hành vi bất thường đám đông với điều kiện liệu thích nghi tốt với thực tế, sử dụng đồ mật độ nhiệt dòng chuyển động quang học Để giải vấn đề liệu, kết hợp liệu tổng hợp liệu thực tế dựa sở để thử nghiệm đánh giá mơ hình Từ khóa: hành vi đám đơng, đám đơng bất thường , đồ nhiệt, dòng chuyển động quang học, học sâu MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN TÓM TẮT DANH MỤC THUẬT NGỮ Chương 1: GIỚI THIỆU 1.1 Tổng quan toán 1.2 Các vấn đề cần giải 1.3 Bố cục luận văn Chương 2: CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Tổng quan học sâu 2.2 Mạng nơ-ron tích chập 2.3 Mạng nơ-ron hồi quy 11 2.4 Mạng CSRNet 13 2.5 Mạng FlowNet 16 2.6 Kỹ thuật tăng cường liệu 21 2.7 Các nghiên cứu liên quan 24 Chương 3: PHƯƠNG PHÁP ĐỀ XUẤT 26 3.1 Tổng quan 26 3.2 Phương pháp đề xuất 26 3.3 Mô hình mạng đề xuất 29 3.4 Áp dụng kỹ thuật tăng cường liệu 31 Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 33 4.1 Tập liệu sử dụng 33 4.2 Thông số mạng huấn luyện 36 4.3 Kết thực nghiệm 37 Chương 5: KẾT LUẬN 43 5.1 Các vấn đề giải luận văn 43 5.2 Hướng nghiên cứu tương lai 43 TÀI LIỆU THAM KHẢO 44 DANH MỤC THUẬT NGỮ Thuật ngữ Diễn giải RGB Ảnh màu CNN Mạng nơ-ron tích chập RNN Mạng nơ-ron hồi quy LSTM Mạng ghi nhớ phụ thuộc dài ngắn MAE Mean absolute error/Sai số tuyệt đối trung bình CSRNet Congested Scene Recognition Network VGG-16 Mạng VGG 16 lớp ResNet-18 Mạng ResNet 18 lớp GD Gradient Descent SGD Stochastic Gradient Descent MLP Multi Layer Perceptron/Mạng xếp chồng Perceptron DANH MỤC BẢNG Bảng 4.1: Thống kê liệu tập pretrain 33 Bảng 4.2: Thống kê số lượng mẫu theo nhãn tập pretrain 33 Bảng 4.3: Thống kê số lượng mẫu theo nhãn tập thực tế 34 Bảng 4.4: Thống kê bối cảnh tập liệu thực tế 35 Bảng 4.4: PA1 sử dụng ảnh màu 39 Bảng 4.5: PA2 ảnh màu đồ nhiệt 39 Bảng 4.6: PA3 sử dụng RGB dòng quang 39 Bảng 4.7: PA4 ảnh màu, dòng quang học đồ nhiệt 39 Bảng 4.8: Kết thực nghiệm phương án đề xuất 39 Bảng 4.9: Ma trận sai số cho trường hợp sử dụng kết huấn luyện trước, không đào tạo thêm tập thực tế 40 Bảng 4.10: Không sử dụng kết huấn luyện trước đào tạo 10% tập thực tế 41 Bảng 4.11: Có sử dụng kết huấn luyện trước đào tạo 10% tập thực tế 41 DANH MỤC HÌNH Hình 1.1: Các hành vi bất thường đám đông Hình 1.2: Ví dụ độ nhiễu cao tập liệu Hình 2.1: Lịch sử phát triển học máy (nguồn wikipedia) Hình 2.2: Cấu trúc mạng MLP Hình 2.3: Hoạt động thuật tốn Gradient Descent (nguồn wikipedia) Hình 2.4: Mảng ma trận RGB 6x6x3 (nguồn wikipedia) Hình 2.5: luồng CNN để xử lý hình ảnh đầu vào phân loại đối tượng9 Hình 2.6: Biểu đồ miêu tả tượng mát đạo hàm 10 Hình 2.7: Residual block 11 Hình 2.8: Kiến trúc chi tiết mạng nơ ron ResNet 11 Hình 2.9: Vịng lặp mạng RNN chuẩn (nguồn [23]) 13 Hình 2.10: Vịng lặp mạng LSTM (nguồn [23]) 13 Hình 2.11: Tích chập 3x3 với hệ số giãn nở 1, 2, 15 Hình 2.12: So sánh tích chập giãn nở max pooling, tích chập upsampling Bộ lọc Sobel 3x3 sử dụng trường hợp hệ số giãn nở r=2 16 Hình 2.13: Ví dụ loại dòng quang 18 Hình 2.14: Luồng quang dày đặc hoạt động 18 Hình 2.15: Tổng quan mơ hình FlowNet (nguồn[4]) 19 Hình 2.16: Cấu trúc mạng mã hóa FlowNetS FlowNetCorr (nguồn[4]) 20 Hình 2.17: Cấu trúc mạng giải mã FlowNet (nguồn[4]) 21 Hình 2.18: Mối quan hệ liệu hiệu mơ hình học sâu (nguồn: [21]) 22 Hình 2.19: So sánh phương pháp cải thiện liệu 23 Hình 2.20: Phân biệt phương pháp tăng cường liệu 24 Hình 3.1: Chuyển động đám đông 26 Hình 3.2: Luồng chuyển động đám đơng 27 Hình 3.3: Cảnh đám đông hoảng loạn đồ nhiệt tương ứng 28 Hình 3.4: Cảnh đám đơng xung đột đồ nhiệt tương ứng 28 Hình 3.5: Phương pháp huấn luyện đề xuất 29 Hình 3.6: Mơ hình mạng đề xuất 30 Hình 3.7: Dữ liệu đầu vào mạng huấn luyện 30 Hình 3.8: Dữ liệu thay đổi qua phép tăng cường liệu 32 Hình 4.1: Hình ảnh tập MED 34 Hình 4.2: Một số hình ảnh tập liệu thực tế 35 Hình 4.3: Tổ chức liệu đào tạo 35 Bảng 4.5: Thống kê bối cảnh tập liệu thực tế 37 Hình 4.4: Biểu đồ độ xác qua epoch 40 Hình 4.5: Biểu đồ giá trị mát qua epoch 40 Hình 4.6: Một số mẫu “Bình thường” đốn nhận thành “Hoảng loạn” 41 Hình 4.7: Một số mẫu “Xung đột” đoán nhận thành “Hoảng loạn” 42 Hình 4.8: Biểu đồ độ xác theo epoch với kỹ thuật tăng cường liệu 42 32 Thêm nhiễu Cắt làm đầy Màu ngẫu nhiên Cắt ngẫu nhiên Hình 3.8: Dữ liệu thay đổi qua phép tăng cường liệu Ảnh gốc: ảnh chưa qua chỉnh sửa Phép Lật: lật theo chiều dọc, ngang ý nghĩa ảnh, nhãn ảnh giữ nguyên suy Ví dụ nhận dạng bóng trịn, phép lật giữ ngun bóng trịn, cịn với nhận dạng chữ viết tay, lật số 8, thành (theo chiều ngang) khơng số theo chiều dọc Cịn nhận dạng ảnh y tế việc bị lật xuống không sảy ảnh thực tế Phép Xoay: Xoay ảnh theo trục dọc trục ngang Cắt ngẫu nhiên: cắt ngẫu nhiên phần ảnh Lưu ý cắt phải giữ thành phần ảnh mà ta quan tâm Như nhận diện vật thể, ảnh cắt khơng có vật thể, giá trị nhãn khơng xác Chuyển đổi màu: Chuyển đổi màu ảnh cách thêm giá trị vào kênh màu RGB Việc liên quan tới ảnh chụp bị nhiễu => màu bị ảnh hưởng Thêm nhiễu: Thêm nhiễu vào ảnh Nhiễu có nhiều loại nhiễu ngẫu nhiên, nhiễu có mẫu, nhiễu cộng, nhiễu nhân, nhiễu nén ảnh, nhiễu mờ chụp không lấy nét, nhiễu mờ chuyển động Màu ngẫu nhiên: Thay đổi màu ảnh Thay đổi độ tương phản: thay độ tương phản hình, độ bão hịa Ngồi ra, cịn có nhiều phép tăng cường liệu khác, nhiên, chúng tơi chọn cách phù hợp với toán nghiên cứu 33 Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Tập liệu sử dụng Tập liệu pretrain: Sử dụng phần tập liệu MED giới thiệu [6] Tập liệu tập video quay từ camera giám sát, theo chủ đề, kịch dàn dựng Do tập liệu có số phần khơng liên quan đến hành vi nghiên cứu luận văn nên sử dụng 17 video liên quan Mỗi video có độ dài từ 40-90 giây, chia video lớn thành video sample, sample dài giây Tập huấn luyện tập sample thuộc 13 video gốc tập kiểm chứng sample từ video gốc lại, đảm bảo sample tập huấn luyện tập kiểm chứng không video gốc Bảng 4.1: Thống kê liệu tập pretrain Tập huấn luyện 166 sample Tập kiểm chứng 72 sample Tập liệu mô theo hành vi đám đông, bao gồm hành vi sử dụng luận văn cụ thể: Bảng 4.2: Thống kê số lượng mẫu theo nhãn tập pretrain Tập huấn luyện Số lượng mẫu Tập kiểm thử Số lượng mẫu Bình thường 101 Bình thường 56 Hoảng loạn 17 Hoảng loạn Xung đột 48 Xung đột 48+10 34 Đám đơng bình thường Đám đơng hoảng loạn Đám đơng xung đột Hình 4.1: Hình ảnh tập MED Tập liệu thực tế: Là tập liệu bao gồm video tập hợp từ tập liệu khác trang video Các liệu sau lấy bóc tách nội dung phù hợp với luận văn - Tập liệu [7] - Tập liệu [6] - Thu thập từ youtube.com - Thu thập từ gettyimage.com Dữ liệu gán nhãn, chia thành mẫu liệu, mẫu dài từ 3s trở lên, chuyển đổi kích thước 224*224 bitrate 30fps Bảng 4.3: Thống kê số lượng mẫu theo nhãn tập thực tế Nhãn Số lượng mẫu Bình thường 158 Hoảng loạn 62 Xung đột 89 Tổng cộng 309 35 Đám đơng bình thường Đám đơng hoảng loạn Đám đơng xung đột Hình 4.2: Một số hình ảnh tập liệu thực tế Trích xuất mẫu: Các video đầu vào chuyển đổi kích thước 224*224 30fps trước xử lý Thư viện opencv giúp tách frame từ video lưu trữ vào thư mục có tên theo mã định danh video Các frame đặt tên theo định dạng: -.jpg Hình 4.3: Tổ chức liệu đào tạo Bảng 4.4: Thống kê bối cảnh tập liệu thực tế Bình thường Đường Sân vận phố động 55 15 Ga tàu 25 Trường học 15 Khác 48 36 4.2 Hoảng loạn 26 23 Xung đột 33 30 20 Thông số mạng huấn luyện Các thông số mạng sử dụng trình huấn luyện thể bảng 4.5 37 Bảng 4.5: Thống kê bối cảnh tập liệu thực tế Epochs Số lần lặp qua tập huấn 10 luyện Batch Size Số sample đưa vào 16 lần huấn luyện Frames Số khung hình sample đưa vào huấn luyện Sample length Độ dài tính giây 3s video đưa vào huấn luyện Learning rate Hệ số học mô hình, sau 0.001 epoch, hệ số học giảm lần để tối ưu mơ hình tốt Optimizer Hàm tối ưu Adam optimizer Loss function Hàm mát Categorical Cross Entropy 4.3 Kết thực nghiệm 4.3.1 Độ đo đánh giá Xuất phát từ công thức tính Precision Recall: 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 𝑇𝑃 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 + 𝐹𝑁 Ta có cơng thức tính Micro Precision Micro Recall theo lớp: 38 ∑C 𝑀𝑖𝑐𝑟𝑜 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃c c=1 C Σc=1(𝑇𝑃c + 𝐹𝑃c ) ∑C 𝑀𝑖𝑐𝑟𝑜 𝑅𝑒𝑐𝑎𝑙𝑙 = Σ C c=1 𝑇𝑃c c=1 (𝑇𝑃c+ 𝐹𝑁 c) Cơng thức tính Micro F1 Score: 𝑀𝑖𝑐𝑟𝑜 − 𝐹1 = 𝑀𝑖𝑐𝑟𝑜 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑀𝑖𝑐𝑟𝑜 𝑅𝑒𝑐𝑎𝑙𝑙 𝑀𝑖𝑐𝑟𝑜 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑀𝑖𝑐𝑟𝑜 𝑅𝑒𝑐𝑎𝑙𝑙 Bài toán nhận biết hành vi bất thường đám đơng tốn phân lớp, số lượng liệu lớp không đều, hay nói cách khác tập liệu sử dụng không cân Do vậy, nghiên cứu sử dụng độ đo Micro F1 Score (là trung bình điều hịa hai giá trị Precision Recall lớp) để đánh giá kết thực nghiệm 4.3.2 Kết thực nghiệm với tập đặc trưng Lần lượt thử nghiệm với phương án liệu đầu vào khác để so sánh: - PA1: RGB: đưa vào khung hình RGB - PA2: RGB + Optical Flow: đưa vào khung hình RGB dịng quang - PA3: RGB + Heatmap: đưa vào khung hình RGB đồ nhiệt - PA4: RGB + Optical Flow + Heatmap: đưa vào khung hình RGB, dịng quang đồ nhiệt đề xuất Luận văn thử nghiệm trường hợp với liệu trên, trường hợp sử dụng kết pretrain để kiểm thử tập thực tế Trường hợp 2, từ tập thực tế, trích 10% để huấn luyện thêm kiểm thử phần lại, kết sau: 39 Bảng 4.4: PA1 sử dụng ảnh màu Bảng 4.5: PA2 ảnh màu đồ nhiệt RGB RGB + Heatmap No Pretrain Pretrain 0% - 33.8 10% 30.0 34.2 No Pretrain Pretrain 0% - 35.6 10% 32.0 40.8 Bảng 4.6: PA3 sử dụng RGB dòng Bảng 4.7: PA4 ảnh màu, dòng quang học quang đồ nhiệt RGB + Optical Flow RGB + Optical Flow + Heatmap No Pretrain Pretrain 0% - 36.0 10% 33.3 41.2 No Pretrain Pretrain 0% - 36.7 10% 41.6 49.5 Nhận xét: Từ bảng 4.4, 4.5, 4.6, 4.7 thấy rằng, trường hợp có đào tạo trước (pretrain) khơng có đào tạo trước (no pretrain) phương án sử dụng liệu ảnh màu (PA1) cho kết Ngược lại, phương án (PA4) sử dụng ba đặc trưng ảnh màu, đồ nhiệt dòng quang cho kết tốt Từ chứng minh khả quan phương pháp đề xuất 4.3.3 Kết thực nghiệm theo số lượng liệu huấn luyện Luận văn tiếp tục tiến hành thực nghiệm đưa thêm liệu từ tập liệu thật vào để huấn luyện với PA4, sau kết quả: Bảng 4.8: Kết thực nghiệm phương án đề xuất RGB + Optical Flow + Heatmap No Pretrain Pretrain 0% 36.7 10% 41.6 49.5 20% 51.6 54.2 50% 61.4 67.9 40 Hình 4.4: Biểu đồ độ xác qua epoch Hình 4.5: Biểu đồ giá trị mát qua epoch Bảng 4.9: Ma trận nhầm lẫn cho trường hợp sử dụng kết huấn luyện trước, không đào tạo thêm tập thực tế Bình thường Hoảng loạn Xung đột Bình thường 10 36 34 Hoảng loạn 15 19 Xung đột 37 33 Nhận xét: - Do hành vi bình thường tập liệu tổng hợp dùng để pretrain, dòng chuyển động đơn giản so với dòng chuyển động tập thực tế nên tập thực tế, kết đốn nhận hành vi bình thường bị nhầm nhiều sang hành vi “hoảng loạn” “xung đột” - Hành vi “xung đột” chủ yếu bị nhầm sang “hoảng loạn” tập tổng hợp, cảnh xung đột chủ yếu xô đẩy người khơng 41 phải nhóm người tập thực tế Bảng 4.10: Ma trận nhầm lẫn Không sử dụng kết huấn luyện trước đào tạo 10% tập thực tế Bình thường Hoảng loạn Xung đột Bình thường 31 49 Hoảng loạn 35 Xung đột 52 13 Bảng 4.11: Ma trận nhầm lẫn có sử dụng kết huấn luyện trước đào tạo 10% tập thực tế Bình thường Hoảng loạn Xung đột Bình thường 34 25 21 Hoảng loạn 10 25 Xung đột 13 24 35 Nhận xét: - Với hành vi “bình thường”, sử dụng kết pretrain (trường hợp 0%) với cảnh thực tế có chuyển động phức tạp, dòng người đan xen thường bị nhận nhầm thành hành vi “hoảng loạn” Mẫu 0-001 Mẫu 0-007 Mẫu 0-001 Hình 4.6: Một số mẫu “Bình thường” đốn nhận thành “Hoảng loạn” - Với hành vi “xung đột”, dùng kết pretrain tập tổng hợp để đốn nhận bị nhận nhầm nhiều thành “hoảng loạn”, vấn đề 42 mẫu xung đột tập tổng hợp cịn kịch bản, chưa phản ánh đủ tình phát sinh thực tế Mẫu 2-004 Mẫu 2-058 Mẫu 2-066 Hình 4.7: Một số mẫu “Xung đột” đoán nhận thành “Hoảng loạn” - Khi đào tạo thêm với 10% liệu tập thật sử dụng kết để đốn nhận sai sót giảm 4.3.4 Ảnh hưởng kỹ thuật tăng cường liệu Hình 4.8: Biểu đồ độ xác theo epoch với kỹ thuật tăng cường liệu Nhận xét: - Với kỹ thuật tăng cường liệu khác cho kết khác - Nếu dùng kỹ thuật tăng cường liệu bị khớp cho hành vi đó, ví dụ cắt ảnh làm phần xung đột,… - Kỹ thuật xoay ảnh cho kết khả quan - Cần thử nghiệm nhiều để đưa tập kỹ thật phù hợp, xem xét sử dụng kết hợp nhiều kỹ thuật tăng cường liệu khác 43 Chương 5: KẾT LUẬN 5.1 Các vấn đề giải luận văn Phân tích hành vi nhiệm vụ thách thức lĩnh vực Thị giác máy tính Trong mảng phân tích hoạt động người, phân tích hành vi cá nhân nhận nhiều ý hơn, phần cịn lại, phân tích hành vi đám đơng dựa cảnh đơng người đáng kể Phân tích hành vi đám đơng có tác động lớn đến loạt miền ứng dụng mới, chẳng hạn an tồn cơng cộng nói chung, kiện quy mơ lớn, lập kế hoạch ứng phó với thiên tai hoạt động giao thông vận tải Giám sát đám đông cho ứng dụng giám sát an toàn thiết yếu lĩnh vực Tự động phát cố hành vi hỗn loạn đám đơng cụ thể hóa khu vực bất thường có giá trị quan chức Dữ liệu hành vi bất thường đám đơng thực tế khó khăn để thu thập được, chúng thường bảo mật sử dụng nội quan, tổ chức Trong nghiên cứu này, đề xuất phương pháp để phân tích nhận biết hành vi đám đông sử dụng đồ mật độ nhiệt dòng chuyển động quang học Kỹ thuật thích ứng miền sử dụng nghiên cứu để giải vấn đề liệu, giảm thời gian huấn luyên tăng độ xác gặp liệu 5.2 Hướng nghiên cứu tương lai Mơ hình đề xuất luận văn chứng minh hướng tiếp cận khả thi độ xác mơ hình cịn thấp Cơng việc cần áp dụng phương pháp điều tiết, tăng độ xác mơ hình cách sử dụng hàm lỗi phụ thu thập thêm liệu đào tạo, mở rộng tập hành vi bất thường cần đoán nhận Với mục tiêu áp dụng vào thực tế, chúng tơi tối ưu hóa mơ hình, tăng thời gian thực thi, giảm dung lượng mơ hình để triển khai thực tế thiết bị đầu cuối tương lai 44 TÀI LIỆU THAM KHẢO [1] A Dosovitskiy, P Fischer, E Ilg, P Hausser, C Hazirbas, V Golkov, P van der Smagt, D Cremers, and T Brox, “Flownet: Learning optical flow with convolutional networks,” in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp 2758–2766 [2] A Ranjan and M J Black, “Optical flow estimation using a spatial pyramid network,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol 2, 2017 [3] C Lu, J Shi, and J Jia, “Abnormal event detection at 150 fps in Matlab,” in Computer Vision (ICCV), 2013 IEEE International Conference on IEEE, 2013, pp 2720–2727 [4] E Ilg, N Mayer, T Saikia, M Keuper, A Dosovitskiy, and T Brox, “Flownet 2.0: Evolution of optical flow estimation with deep networks,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol 2, 2017 [5] Farnebäck, Gunnar (2003) "Two-Frame Motion Estimation Based on Polynomial Expansion", in Image analysis 2749 363-370 10.1007/3-54045103-X_50 [6] H Rabiee, J Haddadnia, H Mousavi, M Kalantarzadeh, M Nabi, and V Murino, “Novel dataset for fine-grained abnormal behavior understanding in crowd,” in Advanced Video and Signal Based Surveillance (AVSS), 2016 13th IEEE International Conference on IEEE, 2016 [7] H Idrees, I Saleemi, C Seibert, and M Shah, “Multi-source multiscale counting in extremely dense crowd images,” in Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on IEEE,2013, pp 2547–2554 [8] J R Medel and A Savakis, “Anomaly detection in video using predictive convolutional long short-term memory networks,” arXiv preprint 45 arXiv:1612.00390, 2016 [9] Jianbo Shi and Tomasi, "Good features to track," 1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 1994, pp 593600, doi: 10.1109/CVPR.1994.323794 [10] L Lazaridis, A Dimou and P Daras, "Abnormal Behavior Detection in Crowded Scenes Using Density Heatmaps and Optical Flow," 2018 26th European Signal Processing Conference (EUSIPCO), 2018, pp 2060-2064, doi: 10.23919/EUSIPCO.2018.8553620 [11] L Zeng, X Xu, B Cai, S Qiu, and T Zhang, “Multi-scale convolutional nơ-ron networks for crowd counting,” arXiv preprint arXiv:1702.02359, 2017 [12] Yuhong Li, Xiaofan Zhang, Deming Chen (2018) " CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes" Proceedings - 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2018 IEEE Computer Society, 2018 pp 1091-1100 [13] M Hasan, J Choi, J Neumann, A K Roy-Chowdhury, and L S Davis, “Learning temporal regularity in video sequences,” in Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on IEEE, 2016, pp 733–742 [14] S Zhou, W Shen, D Zeng, and Z Zhang, “Unusual event detection in crowded scenes by trajectory analysis,” in Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on IEEE, 2015, pp 1300–1304 [15] S Zhou, W Shen, D Zeng, M Fang, Y Wei, and Z Zhang, “Spatial– temporal convolutional neural networks for anomaly detection and localization in crowded scenes,” Signal Processing: Image Communication, vol 47, pp 358–368, 2016 [16] T Hassner, Y Itcher, and O Kliper-Gross, “Violent flows: Real-time 46 detection of violent crowd behavior,” in Computer Vision and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer Society Conference on IEEE, 2012, pp 1–6 [17] T Xiao, C Zhang, H Zha, and F Wei, “Anomaly detection via local coordinate factorization and spatio-temporal pyramid,” in Asian Conference on Computer Vision Springer, 2014, pp 66–82 [18] V Reddy, C Sanderson, and B C Lovell, “Improved anomaly detection in crowded scenes via cell-based analysis of foreground speed, size and texture,” in Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on IEEE, 2011 [19] Y Zhang, D Zhou, S Chen, S Gao, and Y Ma, “Single-image crowd counting via multi-column convolutional neural network,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp 589–597 [20] Yang, Xiaodong et al “Multilayer and Multimodal Fusion of Deep Nơ-ron Networks for Video Classification.” Proceedings of the 24th ACM international conference on Multimedia (2016): n pag [21] Sambit Mahapatra, Towards Data Science, https://towardsdatascience.com/why-deep-learning-is-needed-overtraditional-machine-learning-1b6a99177063, truy cập ngày 29/12/2021 [22] Sawakinome, Sawakinome, https://vi.sawakinome.com/articles/people/difference-between-normal-andabnormal-behavior-2.html, truy cập ngày 29/12/2021 [23] Christopher Olah, Colah's blog, https://colah.github.io/posts/2015-08- Understanding-LSTMs, truy cập ngày 29/12/2021 ... nghiên cứu hành vi tập trung vào hành vi người, kết khó áp dụng để phân tích hành vi đám đông Do vậy, thực nghiên cứu nhằm phát triển phương pháp phát hiện, phân loại xác hành vi bất thường đám. .. 3.2: Luồng chuyển động đám đông Trong nghiên cứu trước đây, người ta sử dụng đồ mật độ nhiệt để đếm số người đám đông Tuy nhiên, theo phân tích thấy đồ mật độ nhiệt đám đơng sử dụng tính định hướng... GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM NHẬT LINH NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI BẤT THƯỜNG TRONG ĐÁM ĐÔNG SỬ DỤNG BẢN ĐỒ MẬT ĐỘ NHIỆT Ngành: Công nghệ thông tin Chuyên ngành: Khoa