Nghiên cứu và ứng dụng deep learning trong việc phát hiện tụ tập đông người trái phép

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Bà Rịa - Vũng Tàu, tháng năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI THỊ THU TRANG Bà Rịa - Vũng Tàu, tháng năm 2021 i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực luận văn (Ký ghi rõ họ tên) Huỳnh Thị Hồng Nguyên ii LỜI CÁM ƠN Thật vinh dự, hạnh phúc may mắn thành viên lớp Cao học Công nghệ thông tin Trường Đại học Bà Rịa – Vũng Tàu tổ chức Tỉnh nhà Trong suốt trình học tập, rèn luyện tơi ln nhận nhiệt tình giảng dạy, giúp đỡ quý báu từ Quý thầy cô đứng lớp cán quản lý Viện Đào tạo quốc tế Sau Đại học; đặc biệt hướng dẫn tận tình giảng viên - tiến sĩ Bùi Thị Thu Trang, người giúp tơi hồn thành Luận văn để kết thúc khóa học Tôi xin gửi lời cảm ơn đến tất anh/ chị/ em lớp MIT18K1 đồng hành, chia sẻ kinh nghiệm quý báu qua buổi học, động viên giúp vượt qua khó khăn, thử thách có tác động đại dịch Covid19 làm ảnh hưởng nhiều đến tâm lý gián đoạn thời gian học tập, nghiên cứu Tôi xin chân thành cảm ơn Ban Giám đốc toàn thể viên chức người lao động Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu tạo điều kiện, khuyến khích tơi tham gia khóa học, hỗ trợ tối đa để tơi có hội mở mang tầm nhìn, nâng cao lực thân, hồn thiện kĩ mà tơi cịn thiếu sót Lời cảm ơn sau cùng, cho phép tơi gửi đến gia đình thân u Chính thơng cảm, sẻ chia, khích lệ người thân hành trang giúp bền bỉ vượt qua thách thức, chông gai suốt chặng đường gần năm đầy cam go có lúc tưởng chừng phải dừng bước Cám ơn mẹ, người trao cho niềm tin, tiếp sức lửa nhiệt huyết, khơi gợi tự tin để mạnh dạn tiến lên phía trước, khẳng định giá trị sức mạnh nội cịn tiềm ẩn tơi Xin trân trọng cảm ơn! Học viên Huỳnh Thị Hồng Nguyên iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT .v DANH MỤC CÔNG THỨC vi DANH MỤC CÁC HÌNH viii MỞ ĐẦU Chương TỔNG QUAN VỀ NHÓM NGƯỜI, ĐÁM ĐÔNG TRONG XỬ LÝ ẢNH – PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI TỤ TẬP TRONG NHÓM NGƯỜI 10 Chương TỔNG QUAN CÁC PHƯƠNG PHÁP, THUẬT TOÁN NHẬN DẠNG ĐỐI TƯỢNG 18 iv Chương MƠ HÌNH PHÁT HIỆN NGƯỜI SỬ DỤNG YOLOV4 43 Chương KẾT QUẢ THỰC NGHIỆM VÀ NHẬN XÉT 54 KẾT LUẬN VÀ KHUYẾN NGHỊ 91 DANH MỤC TÀI LIỆU THAM KHẢO 93 v DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt AP CPU CNN Chữ viết đầy đủ Average Precision Độ xác trung bình Central Processing Unit Bộ xử lý trung tâm Convolutional Neural Network Conference on Computer CVPR Ý nghĩa Vision and Pattern Recognition GPU Graphics Processing Unit RGB Red Green Blue SSP Social Signal Processing SVM Support Vector Machine YOLO You Only Look Once Mạng nơ rơ tích chập Hội nghị Thị giác máy tính Nhận dạng mẫu Bộ xử lý đồ họa chuyên dụng Kênh màu RGB xử lý ảnh Xử lý tín hiệu tương tác xã hội Máy véc-tơ hỗ trợ Thuật tốn deep learning YOLO vi DANH MỤC CƠNG THỨC (2.1) 19 (2.2) 19 (2.3) 21 (2.4) 21 (2.5) 22 (2.6) 22 (2.7) 25 (2.8) 25 (2.9) 25 (2.10) 26 (2.11) 26 (2.12) 28 (2.13) 31 (2.14) 31 (2.15) 32 (2.16) 33 (2.17) 34 (2.18) 34 (2.19) 34 (2.20) 35 (2.21) 35 (2.22) 35 (2.23) 35 (2.24) 35 (2.25) 36 (2.26) 36 (2.27) 36 vii (2.28) 36 (2.29) 37 (2.30) 37 (2.31) 37 (2.32) 38 (2.33) 38 (2.34) 38 (2.35) 38 (3.1) 48 (3.2) 48 (3.3) 50 viii DANH MỤC CÁC HÌNH Hình Vị trí đặt Camera Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu Hình 1.1 Hình ảnh có diện nhóm người: trị chuyện (a), (b), xếp hàng (c) [5] 11 Hình 1.2 Hình ảnh đám đơng (Web Dataset: Abnormal/Normal Crowd activities [Mehran CVPR ‘09] [5] 11 Hình 1.3 Unfocused interaction – tương tác khơng tập trung: (a) xếp hàng tính tiền cửa hàng; (b) xem lịch trình máy bay/ tàu điện; (c) ăn tin [5] 12 Hình 1.4 Nhóm người xem tivi (common –focused ) [5] .13 Hình 1.5 Jointly focused interaction – tương tác tập trung mang ý nghĩa cụ thể (a) Cùng chơi trò chơi; (b) Trị chuyện nhóm; (c) Đánh [5] 13 Hình 1.6 Minh hoạ khái niệm SSP (xử lý tín hiệu tương tác xã hội) [5] .14 Hình 1.7 Minh hoạ nhóm người với số lượng có tương tác khơng tập trung [5] 14 Hình 1.8 Minh hoạ nhóm người có tương tác tập trung mang tính chung chung [5] 15 Hình 1.9 Minh hoạ nhóm người có tương tác tập trung mang ý nghĩa cụ thể [5] .16 Hình 1.10 Minh hoạ tập trung đông người với số lượng lớn có tương tác khơng tập trung [5] 16 Hình 2.1 Các bước thực nhằm trích xuất đặc trưng nhận dạng đối tượng [6] 20 Hình 2.2 Ảnh liệu đầu vào cắt từ ảnh lớn [7] 20 Hình 2.3 Bộ lọc Sobel áp dụng thuật tốn HOG [7] 21 Hình 2.4 Độ lớn gradient theo trục 𝑥 (a); độ lớn gradient theo trục 𝑦 (b); cường độ gradient (c) [7] 22 Hình 2.5 Hình chia thành cục 8×8 pixel (hình phóng to gấp lần thực tế để dễ quan sát) [7] 23 84 Hình 4.45 Kết phát đối tượng người với độ tin cậy khơng cao hình người đứng sát xe máy bị che khuất phần – Cảnh báo tụ tập đơng người 85 Hình 4.46 Kết phát đối tượng người với độ tin cậy không cao người bị che khuất phần – Cảnh báo tụ tập đơng người 86  Hình ảnh kết phát đối tượng với độ tin cậy không cao trường hợp thiếu sáng (buổi tối) (Hình 4.47) Hình 4.47 Kết phát đối tượng với độ tin cậy khơng cao thiếu sáng 87  Hình ảnh kết phát đối tượng người khơng xác (xác định xe máy người) thực gán nhãn đối tượng người có lẫn hình ảnh xe máy người đứng cạnh xe máy, người ngồi xe máy (Hình 4.48) Hình 4.48 Kết phát sai đối tượng người thực gán nhãn người có lẫn hình ảnh xe máy người ngồi xe máy 88  Hình ảnh kết phát đối tượng người khơng xác: phát đối tượng người có người chở xe máy hình ảnh có chứa người cách xa camera hai đối tượng người khoảng cách gần (Hình 4.49) Hình 4.49 Chỉ phát đối tượng người có người ngồi cạnh xe máy 89  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao hình người bị che khuất phần chất lượng hình ảnh (Hình 4.50) Hình 4.50 Hình ảnh có độ tin cậy khơng cao người bị che khuất phần chất lượng hình ảnh 90  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao bị che khuất phần, phát đối tượng người phía sau hàng rào chắn ( Hình 4.51) Hình 4.51 Đối tượng phát có độ tin cậy không cao bị che khuất phần, khơng thể phát đối tượng phía sau hàng rào chắn 91  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao, khơng phát người xa camera hình ảnh chụp đường phố sưu tầm mạng (Hình 4.52) Hình 4.52 Khơng phát người xa camera hình ảnh chụp đường phố sưu tầm mạng 92  Hình ảnh kết phát đối tượng khơng xác (phát hình nộm nhân vật bé trai đối tượng người), phát đối tượng người xa camera, hình ảnh chất lượng (Hình 4.53) Hình 4.53 Phát đối tượng khơng xác (phát hình nộm nhân vật bé trai đối tượng người), phát đối tượng người xa camera, hình ảnh chất lượng 93 KẾT LUẬN VÀ KHUYẾN NGHỊ  Kết luận  Tác giả luận văn xây dựng thành công hệ thống cảnh báo tụ tập đông người ứng dụng Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng tàu sử dụng YOLOv4 Hệ thống cảnh báo góp phần vào việc đảm bảo an ninh trật tự, phù hợp với định hướng xây dựng đô thị thông minh tỉnh Bà Rịa-Vũng Tàu giai đoạn 2020 – 2022, định hướng đến năm 2025, tầm nhìn đến năm 2030 mà Hội đồng nhân dân tỉnh đề Nghị số 112/NQ-HĐND ngày 13 tháng 12 năm 2019  Ưu điểm: Trong q trình nghiên cứu mơ hình phát đối tượng người, luận văn đạt số nội dung sau:  Tìm hiểu, phân tích tụ tập đơng người;  Tìm hiểu thuật tốn máy học, ứng dụng YOLOv4 để giải toán xác định đối tượng người ảnh;  Sử dụng Google Colab, ngôn ngữ Python để xây dựng ứng dụng;  Chạy thử thành cơng với liệu trích xuất từ camera Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu  Nhược điểm:  Chưa kết hợp nhiều thuật toán nhằm phát đối tượng người khoảng cách xa camera;  Chưa thực phát đối tượng người thời gian thực  Phạm vi ứng dụng:  Hệ thống cảnh báo tụ tập đơng người áp dụng cho quan, đơn vị nhằm đảm bảo ninh trật tự, đặc biệt khu vực trọng yếu tỉnh Trung tâm Hành Chính trị tỉnh Bà Rịa – Vũng Tàu, Trung tâm Phục vụ hành cơng tỉnh, Kho bạc Nhà nước tỉnh, …;  Ngoài ra, hệ thống cảnh báo tụ tập đơng người áp dụng cho tốn cảnh báo có nhiều người dân tập trung đông quầy tiếp 94 nhận hồ sơ Một cửa, qua giúp cán trưởng phụ trách Bộ phận Một cửa cấp điều động, bổ sung thêm nhân hỗ trợ tình nêu trên;  Thêm vào đó, áp dụng mơ hình cho tốn phát đối tượng người nhằm kiểm soát số lượng hành khách chuyến xe nhằm giảm bớt số lượng nhân kiểm tra hành khách cho đơn vị vận tải  Hướng phát triển:  Kết hợp thêm thuật tốn khác nhằm nâng cao độ xác hệ thống cảnh báo tụ tập đông người;  Thực kết nối camera để phát tụ tập đông người theo thời gian thực;  Kết nối hệ thống báo động để phát tín hiệu âm cảnh báo 95 TÀI LIỆU THAM KHẢO [1] Chính phủ nước Cộng hòa Xã hội Chủ nghĩa Việt Nam, “Lấy quyền điện tử làm nịng cốt để xây dựng đô thị thông minh,” 3/10/2019 [Trực tuyến] Available: http://egov.chinhphu.vn/lay-chinh-quyen-dien-tu-lamnong-cot-de-xay-dung-do-thi-thong-minh-a-NewsDetails-37787-14186.html [Đã truy cập 10/10/2020] [2] K Nguyễn, “Cổng thông tin điện tử tỉnh Bà Rịa - Vũng Tàu - Thông qua Kế hoạch triển khai Đề án phát triển đô thị thông minh tỉnh Bà Rịa- Vũng Tàu,” 2020 [Trực tuyến] Available: http://bariavungtau.gov.vn/sphere/baria/vungtau/page/xemtin.cpx?item=5ed8e98c8ea5cc04cbd4266a [Đã truy cập 09/10/2020] [3] Chính phủ nước Cộng Hòa Xã hội Chủ nghĩa Việt Nam, “Nghị định số 38/2005/NĐ-CP Chính phủ: Nghị định Quy định số biện pháp bảo đảm trật tự công cộng,” 2005 [Trực tuyến] Available: http://vanban.chinhphu.vn/portal/page/portal/chinhphu/hethongvanban?class _id=1&mode=detail&document_id=14429 [Đã truy cập 28/9/2019] [4] Bộ Công An, “Cơ sở liệu quốc gia văn pháp luật - Thông tư 09/2005/TT-BCA: Hướng dẫn thi hành số điều Nghị định số 38/2005/NĐ-CP ngày 18/03/2005 Chính phủ quy định số biện pháp bảo đảm trật tự công cộng,” 2005 [Trực tuyến] Available: http://vbpl.vn/bocongan/Pages/vbpq-luocdo.aspx?ItemID=17581 [Đã truy cập 28/9/2019] [5] Vittorio Murino, “Groups and Crowds: Detection, Tracking and Behavior Analysis of People Aggregations,” VISIGRAPP Conference, Rome, Italy, 2016 [6] Navneet Dalal and Bill Triggs, “Histograms of Oriented Gradients for Human Detection,” IEEE, San Diego, 2005 94 [7] S Mallick, “Histogram of Oriented Gradients,” Big Vision LLC, 12 2016 [Trực tuyến] Available: https://www.learnopencv.com/histogram-oforiented-gradients/ [Đã truy cập 20/03/2020] [8] Luis Sousa Variz et al, “Machine Learning Applied to an Intelligent and Adaptive Robotic Inspection Station,” 2019 [9] Bernhard E Boser, et al, “A Training Algorithm for Optimal Margin Classifiers,” Proceedings of the Fifth Annual Workshop on Computational Learning Theory 144-152, New York, 1992 [10] CORINNA CORTES and VLADIMIR VAPNIK, Support-vector networks, L Saitta, Biên tập viên, Kluwer Academic Publishers, Boston, 1995, p 273– 297 [11] T H Vũ, Machine learning bản, 2019 [12] A Kowalczyk, Support Vector Machine Succintly, Morrisville, North Carolina,: Syncfusion, 2017 [13] Yingdong Ma, Xiankai Chen, George Chen, “Pedestrian Detection and Tracking Using HOG and Oriented-LBP Features,” Network and Parallel Computing, tập Volume 6985, 2011 [14] Y Xu, L Xu, D Li and Y Wu, “Pedestrian detection using background subtraction assisted Support Vector Machine,” 2011 [15] Zhen-Rui Wang, Yu-Lan Jia, Hua Huang, Shu-Ming Tang, “Pedestrian Detection Using Boosted HOG Features,” 2008 [16] Yi-Ming Chan et al, “Pedestrian detection using histograms of Oriented Gradients of granule feature,” IEEE, 2013 [17] M Thu, N Suvonvorn, M Karnjanadecha, “Pedestrian Detection using Linear SVM Classifier with HOG Features,” 2018 [18] K Piniarski, “Tuning of Classifiers to Speed-Up Detection of Pedestrians in Infrared Images,” 2020 95 [19] J A Gualtieri, Samir Chettri, “Support Vector Machine Classifiers as Applied to AVIRIS Data,” 1999 [20] Joseph Redmon; Santosh Divvala; Ross Girshick; Ali Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” arXiv:1506.02640, 2016 [21] Joseph Redmon, Ali Farhadi, “YOLO9000: Better, Faster, Stronger,” arXiv:1612.08242, 2016 [22] C G Melek, E B Sonmez and S Albayrak, “Object Detection in Shelf Images with YOLO,” IEEE EUROCON 2019 -18th International Conference on Smart Technologies, Novi Sad, Serbia, 2019 [23] R Girshick, “Fast R-CNN,” 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, 2015 [24] S Ren, K He, R Girshick and J Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” Advances in neural information processing systems, 2015 [25] Joseph Redmon, Ali Farhadi, “YOLOv3: An Incremental Improvement,” arXiv:1804.02767, 2018 [26] Zicong Jiang, L Zhao, “Real-time object detection method based on improved YOLOv4-tiny,” 2020 [27] Alexey Bochkovskiy; Chien-Yao Wang; Hong-Yuan Mark Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection,” arXiv:2004.10934, 2020 [28] Chethan Kumar B.; R Punitha; Mohana, “YOLOv3 and YOLOv4: Multiple Object Detection for Surveillance Applications,” IEEE, 2020 [29] Yao Wang; Lei Wang; Yi Jiang; Tianyu Li, “Detection of Self-Build Data Set Based on YOLOv4 Network,” IEEE, 2020 96 [30] Zhibin Cheng, Fuquan Zhang, "Flower End-to-End Detection Based on YOLOv4 Using a Mobile Device," Chao-Yang Lee, 2020 [31] Jonathan Hui, “Real-time Object Detection with YOLO, YOLOv2 and now YOLOv3,” 18/3/2018 [Trực tuyến] Available: https://medium.com/@jonathan_hui/real-time-object-detection-with-yoloyolov2-28b1b93e2088 [Đã truy cập 5/9/2020] [32] A Hoholiuk, “Detect groups of targets on an image using deep learning and OpenCV,” 20/5/2019 [Trực tuyến] Available: https://medium.com/gowombat/detect-groups-of-targets-on-an-image-usingdeep-learning-and-opencv-150409dff20 [Đã truy cập 19/04/2021] [33] R Senaratne, “Social distance detector with Python, YOLOv4, Darknet and OpenCV,” 29/6/2020 [Trực tuyến] Available: https://heartbeat.fritz.ai/social-distance-detector-with-python-yolov4darknet-and-opencv-62e66c15c2a4 [Đã truy cập 20/4/2021] [34] A Rosebrock, “OpenCV Social distancing detector,” 01/6/2020 [Trực tuyến] Available: https://www.pyimagesearch.com/2020/06/01/opencvsocial-distancing-detector/ [Đã truy cập 20/4/2021] [35] AlexeyAB, “GitHub - AlexeyAB/darknet : YOLOv4 - Neural Networks for Object Detection (Windows and Linux version of Darknet ),” [Trực tuyến] Available: https://github.com/AlexeyAB/darknet#how-to-train-to-detectyour-custom-objects [Đã truy cập 08/11/2020] [36] Google Company, “Colaboratory Frequently Asked Questions,” [Trực tuyến] Available: https://research.google.com/colaboratory/faq.html [Đã truy cập 12/10/2020] ... hình ứng dụng deep learning gọn nhẹ, hiệu quả, khả thi phát tụ tập đông người 5.2 Ý nghĩa thực tiễn: Kết nghiên cứu giúp so sánh, đánh giá nhằm lựa chọn mơ hình ứng dụng hiệu phát tụ tập đông người; ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING TRONG VIỆC PHÁT HIỆN TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP Chuyên ngành: Công... vùng ảnh;  Nghiên cứu sở lý thuyết mơ hình kết hợp HOG SVM để phát đối tượng người đếm số người vùng ảnh;  Lựa chọn mơ hình hiệu nhằm ứng dụng vào việc phát dấu hiệu tập trung đông người ảnh