Nghiên cứu và ứng dụng deep learning trong việc phát hiện tụ tập đông người trái phép

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Bà Rịa - Vũng Tàu, tháng năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI THỊ THU TRANG Bà Rịa - Vũng Tàu, tháng năm 2021 i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực luận văn (Ký ghi rõ họ tên) Huỳnh Thị Hồng Nguyên ii LỜI CÁM ƠN Thật vinh dự, hạnh phúc may mắn thành viên lớp Cao học Công nghệ thông tin Trường Đại học Bà Rịa – Vũng Tàu tổ chức Tỉnh nhà Trong suốt trình học tập, rèn luyện tơi ln nhận nhiệt tình giảng dạy, giúp đỡ quý báu từ Quý thầy cô đứng lớp cán quản lý Viện Đào tạo quốc tế Sau Đại học; đặc biệt hướng dẫn tận tình giảng viên - tiến sĩ Bùi Thị Thu Trang, người giúp tơi hồn thành Luận văn để kết thúc khóa học Tôi xin gửi lời cảm ơn đến tất anh/ chị/ em lớp MIT18K1 đồng hành, chia sẻ kinh nghiệm quý báu qua buổi học, động viên giúp vượt qua khó khăn, thử thách có tác động đại dịch Covid19 làm ảnh hưởng nhiều đến tâm lý gián đoạn thời gian học tập, nghiên cứu Tôi xin chân thành cảm ơn Ban Giám đốc toàn thể viên chức người lao động Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu tạo điều kiện, khuyến khích tơi tham gia khóa học, hỗ trợ tối đa để tơi có hội mở mang tầm nhìn, nâng cao lực thân, hồn thiện kĩ mà tơi cịn thiếu sót Lời cảm ơn sau cùng, cho phép tơi gửi đến gia đình thân u Chính thơng cảm, sẻ chia, khích lệ người thân hành trang giúp bền bỉ vượt qua thách thức, chông gai suốt chặng đường gần năm đầy cam go có lúc tưởng chừng phải dừng bước Cám ơn mẹ, người trao cho niềm tin, tiếp sức lửa nhiệt huyết, khơi gợi tự tin để mạnh dạn tiến lên phía trước, khẳng định giá trị sức mạnh nội cịn tiềm ẩn tơi Xin trân trọng cảm ơn! Học viên Huỳnh Thị Hồng Nguyên iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÔNG THỨC vi DANH MỤC CÁC HÌNH viii MỞ ĐẦU Chương TỔNG QUAN VỀ NHĨM NGƯỜI, ĐÁM ĐƠNG TRONG XỬ LÝ ẢNH – PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI TỤ TẬP TRONG NHÓM NGƯỜI 10 Chương TỔNG QUAN CÁC PHƯƠNG PHÁP, THUẬT TOÁN NHẬN DẠNG ĐỐI TƯỢNG 18 iv Chương MƠ HÌNH PHÁT HIỆN NGƯỜI SỬ DỤNG YOLOV4 43 Chương KẾT QUẢ THỰC NGHIỆM VÀ NHẬN XÉT 54 KẾT LUẬN VÀ KHUYẾN NGHỊ 91 DANH MỤC TÀI LIỆU THAM KHẢO 93 v DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt AP Chữ viết đầy đủ Ý nghĩa Average Precision Độ xác trung bình CPU Central Processing Unit Bộ xử lý trung tâm CNN Convolutional Network CVPR Conference on Computer Hội nghị Thị giác máy Visionand Pattern tính Nhận dạng mẫu Recognition GPU Graphics Processing Unit Bộ xử lý đồ họa chuyên dụng RGB Red Green Blue Kênh màu RGB xử lý ảnh SSP Social Signal Processing Xử lý tín hiệu tương tác xã hội SVM Support Vector Machine Máy véc-tơ hỗ trợ YOLO You Only Look Once Thuật tốn deep learning YOLO Neural Mạng nơ rơ tích chập vi (2.1) DANH MỤC CÔNG THỨC 19 (2.2) 19 (2.3) 21 (2.4) 21 (2.5) 22 (2.6) 22 (2.7) 25 (2.8) 25 (2.9) 25 (2.10) 26 (2.11) 26 (2.12) 28 (2.13) 31 (2.14) 31 (2.15) 32 (2.16) 33 (2.17) 34 (2.18) 34 (2.19) 34 (2.20) 35 (2.21) 35 (2.22) 35 (2.23) 35 (2.24) 35 (2.25) 36 (2.26) 36 (2.27) 36 vii (2.28) 36 (2.29) 37 (2.30) 37 (2.31) 37 (2.32) 38 (2.33) 38 (2.34) 38 (2.35) 38 (3.1) 48 (3.2) 48 (3.3) 50 viii DANH MỤC CÁC HÌNH Hình Vị trí đặt Camera Trung tâm Công nghệ thông tin Truyền thơng tỉnh Bà Rịa – Vũng Tàu Hình 1.1 Hình ảnh có diện nhóm người: trò chuyện (a), (b), xếp hàng (c) [5] 11 Hình 1.2 Hình ảnh đám đơng (Web Dataset: Abnormal/Normal Crowd activities [Mehran CVPR ‘09] [5] 11 Hình 1.3 Unfocused interaction – tương tác không tập trung: (a) xếp hàng tính tiền cửa hàng; (b) xem lịch trình máy bay/ tàu điện; (c) ăn tin [5] 12 Hình 1.4 Nhóm người xem tivi (common –focused ) [5] 13 Hình 1.5 Jointly focused interaction – tương tác tập trung mang ý nghĩa cụ thể (a) Cùng chơi trò chơi; (b) Trò chuyện nhóm; (c) Đánh [5] 13 Hình 1.6 Minh hoạ khái niệm SSP (xử lý tín hiệu tương tác xã hội) [5] .14 Hình 1.7 Minh hoạ nhóm người với số lượng có tương tác khơng tập trung [5] 14 Hình 1.8 Minh hoạ nhóm người có tương tác tập trung mang tính chung chung [5] 15 Hình 1.9 Minh hoạ nhóm người có tương tác tập trung mang ý nghĩa cụ thể [5] 16 Hình 1.10 Minh hoạ tập trung đông người với số lượng lớn có tương tác khơng tập trung [5] 16 Hình 2.1 Các bước thực nhằm trích xuất đặc trưng nhận dạng đối tượng [6] 20 Hình 2.2 Ảnh liệu đầu vào cắt từ ảnh lớn [7] 20 Hình 2.3 Bộ lọc Sobel áp dụng thuật toán HOG [7] 21 Hình 2.4 Độ lớn gradient theo trục (a); độ lớn gradient theo trục (b); cường độ gradient (c) [7] 22 Hình 2.5 Hình chia thành cục 8×8 pixel (hình phóng to gấp lần thực tế để dễ quan sát) [7] 23 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP Chuyên ngành: Công... vùng ảnh;  Nghiên cứu sở lý thuyết mơ hình kết hợp HOG SVM để phát đối tượng người đếm số người vùng ảnh;  Lựa chọn mơ hình hiệu nhằm ứng dụng vào việc phát dấu hiệu tập trung đông người ảnh... khác – Cảnh báo tụ tập đông người 81 Hình 4.45 Kết phát đối tượng người với độ tin cậy khơng cao hình người ? ?ứng sát xe máy bị che khuất phần – Cảnh báo tụ tập đông người