(Luận văn thạc sĩ) xây dựng mô hình học sâu đa tầng phát hiện hành vi bạo lực

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHẠM ĐỨC CƯỜNG PHẠM ĐỨC CƯỜNG XÂY DỰNG MƠ HÌNH HỌC SÂU ĐA TẦNG HỆ THỐNG THÔNG TIN PHÁT HIỆN HÀNH VI BẠO LỰC ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) 2021 – 2023 HÀ NỘI – 2023 HÀ NỘI - NĂM 2023 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM ĐỨC CƯỜNG XÂY DỰNG MÔ HÌNH HỌC SÂU ĐA TẦNG PHÁT HIỆN HÀNH VI BẠO LỰC Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (HỆ THỐNG THÔNG TIN) (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: GS TS TỪ MINH PHƯƠNG HÀ NỘI - NĂM 2023 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu đề án tốt nghiệp trung thực chưa công bố cơng trình khác Hà Nội, tháng năm 2023 Tác giả đề án Phạm Đức Cường LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn đến thầy, cô Khoa Công nghệ thông tin Học viện Cơng nghệ Bưu Chính Viễn thơng, người năm vừa qua truyền đạt cho em nhiều kiến thức, kinh nghiệm quý báu, hành trang cho em hướng đến tương lai Em xin gửi lời cảm ơn chân thành đến GS TS Từ Minh Phương, người tận tình hướng dẫn bảo em tận tình trình thực đề án Những lời khuyên thầy suốt trình giúp em có thêm nhiều kiến thức kinh nghiệm lĩnh vực nghiên cứu khoa học Em xin cảm ơn ba bạn Ngô Tiến Đức, Phạm Tiến Đức, Hà Như Thái – học viên lớp M21CQIS01-B giúp đỡ em nhiều việc thu thập, gán nhãn xử lý liệu để em hồn thành đề án Em xin gửi lời cảm ơn đến anh chị, bạn em lớp M21CQIS01-B, cảm ơn tất người tạo môi trường học tập chuyên nghiệp, sáng tạo để em phát triển ngày hôm Cuối cùng, em xin cảm ơn gia đình, đồng nghiệp bạn bè, người cạnh, quan tâm, chia sẻ, tạo điều kiện tốt cho em để hồn thành đề án Hà Nội, tháng năm 2023 Tác giả đề án Phạm Đức Cường MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH BẢNG vi DANH SÁCH HÌNH VẼ .vii MỞ ĐẦU 1 Tính cấp thiết đề án Tổng quan vấn đề nghiên cứu .2 Mục đích nghiên cứu .2 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu CHƯƠNG : TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN HÀNH VI BẠO LỰC 1.1 Bài toán phát hành vi bạo lực .4 1.1.1 Giới thiệu toán 1.1.2 Hướng tiếp cận 1.2 Các nghiên cứu liên quan .5 1.3 Kiến thức sở 13 1.3.1 Phát đối tượng .13 1.3.2 Theo dõi đối tượng 14 1.3.3 Phân loại hành vi bạo lực 15 1.4 Kết luận chương 22 CHƯƠNG : MƠ HÌNH HỌC SÂU ĐA TẦNG 23 2.1 Đặt vấn đề 23 2.2 Mơ hình học sâu đa tầng .23 2.2.1 Tầng phát đối tượng 25 2.2.2 Tầng theo dõi đối tượng 28 2.2.3 Tầng phân loại hành vi bạo lực 36 2.3 Kết luận chương 40 CHƯƠNG : THỰC NGHIỆM VÀ ĐÁNH GIÁ .41 3.1 Mô tả liệu 41 3.2 Mô tả thực nghiệm .43 3.3 Phương pháp đánh giá 44 3.4 Kết thực nghiệm đánh giá .45 3.4.1 Quá trình huấn luyện 45 3.4.2 So sánh kết với biến thể 49 3.5 Kết luận chương 51 KẾT LUẬN 52 DANH MỤC TÀI LIỆU THAM KHẢO 53 DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT ST T 5 10 11 12 13 Từ viết tắt AI Bi-LSTM CNN FC FLOPS ID IOU KNN LSTM MOT MOTA NMS RNN RPN SORT 14 15 16 17 SOT SOTA YOLO Tiếng Anh Tiếng Việt/Giải thích Artificial Intelligence Bidirectional Long Short-Term Memory Convolutional Neural Network Fully Connected Layer Floating Point Operations Per Second Identification Intersection Over Union K-nearest Neighbor Long Short -Term Memory Multiple Object Tracking Multiple Object Tracking Accuracy Non Maximum Suppression Recurrent Neural Network Region Proposal Network Simple Online Realtime Object Tracking Trí tuệ nhân tạo Mạng nhớ dài-ngắn hạn hai chiều Mạng nơ-ron tích chập Single Object Tracking State Of The Art You Only Look Once Lớp kết nối toàn Số định danh đối tượng Phần giao phần hợp Giải thuật k hàng xóm gần Mạng nhớ dài-ngắn hạn Theo dõi đa đối tượng Độ xác theo dõi nhiều đối tượng Chặn không cực đại Mạng nơ-ron hồi quy Mạng đề xuất khu vực Theo dõi đối tượng trực tuyến thời gian thực đơn giản Theo dõi đối tượng Hiện đại DANH SÁCH BẢNG Bảng 2.1 Kết pretrain YOLOv7 MS COCO 27 Bảng 3.1 Thống kê tập liệu 43 Bảng 3.2 So sánh kết thực nghiệm 49 DANH SÁCH HÌNH VẼ Hình 1.1 Sơ đồ hoạt động “Fast Fight Detection” (Nguồn: [15]) Hình 1.2 Các vùng màu chuyển động hình ảnh bạo lực bình thường (Nguồn: [15]) Hình 1.3 Kiến trúc Single-Frame CNN (Nguồn: [7]) Hình 1.4 Hình ảnh từ tập liệu HockeyFight 10 Hình 1.5 Kiến trúc 3D CNN (Nguồn: [29]) 10 Hình 1.6 Sơ đồ tổng quan mơ hình CNN-LSTM (Nguồn: [30]) 12 Hình 1.7 Cảnh bạo lực tập liệu PTIT 12 Hình 1.8 Đầu toán phát đối tượng (Nguồn: Internet) .13 Hình 1.9 Đầu tốn theo dõi đa đối tượng (Nguồn: Internet) 15 Hình 1.10 Kiến trúc tổng quát CNN-LSTM 16 Hình 1.11 Sự biến đổi liệu CNN (Nguồn: cs231n) 17 Hình 1.12 Minh họa phép tính tích chập CNN (Nguồn: cs231n) 18 Hình 1.13 Dữ liệu áp dụng Max Pooling Average Pooling 20 Hình 1.14 Lớp kết nối tồn (Nguồn: Internet) 20 Hình 1.15 Chi tiết kiến trúc mô-đun đơn giản RNN (Nguồn: Internet) 21 Hình 1.16 Chi tiết kiến trúc mơ-đun mạng LSTM (Nguồn: Internet) 21 Hình 2.1 Sơ đồ tổng quan mơ hình học sâu đa tầng .24 Hình 2.2 Mốc thời gian phát triển YOLO .25 Hình 2.3 Kiến trúc YOLOv7 (Nguồn: Internet) 26 Hình 2.4 Kết thử nghiệm pretrain YOLOv7 tập liệu 28 Hình 2.5 Luồng xử lí SORT 30 Hình 2.6 Luồng xử lí ByteTrack .31 Hình 2.7 Ví dụ đầu vào cho ByteTrack (Nguồn: [33]) 31 Hình 2.8 Minh hoạ cách hoạt động ByteTrack 32 Hình 2.9 Minh hoạ kết tầng theo dõi đối tượng 35 Hình 2.10 Kiến trúc CNN-LSTM sử dụng 36 Hình 2.11 Kiến trúc ResNet-50 sử dụng .37