(Luận văn) nghiên cứu và ứng dụng deep learning trong việc phát hiện tụ tập đông người trái phép

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU lu an n va p ie gh tn to HUỲNH THỊ HỒNG NGUYÊN d oa nl w NGHIÊN CỨU VÀ ỨNG DỤNG an lu DEEP LEARNING TRONG VIỆC PHÁT HIỆN ll u nf va TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP oi m z at nh z LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN m co l gm @ an Lu Bà Rịa - Vũng Tàu, tháng năm 2021 n va ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU lu an n va p ie gh tn to HUỲNH THỊ HỒNG NGUYÊN NGHIÊN CỨU VÀ ỨNG DỤNG oa nl w DEEP LEARNING TRONG VIỆC PHÁT HIỆN d TỤ TẬP ĐÔNG NGƯỜI TRÁI PHÉP va an lu ll u nf Chuyên ngành: Công nghệ thông tin oi m Mã số: 8480201 z at nh LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN z gm @ l NGƯỜI HƯỚNG DẪN KHOA HỌC: m co TS BÙI THỊ THU TRANG an Lu Bà Rịa - Vũng Tàu, tháng năm 2021 n va ac th si i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc lu Học viên thực luận văn an (Ký ghi rõ họ tên) n va p ie gh tn to d oa nl w Huỳnh Thị Hồng Nguyên ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si ii LỜI CÁM ƠN Thật vinh dự, hạnh phúc may mắn thành viên lớp Cao học Công nghệ thông tin Trường Đại học Bà Rịa – Vũng Tàu tổ chức Tỉnh nhà Trong suốt q trình học tập, rèn luyện tơi ln nhận nhiệt tình giảng dạy, giúp đỡ quý báu từ Quý thầy cô đứng lớp cán quản lý Viện Đào tạo quốc tế Sau Đại học; đặc biệt hướng dẫn tận tình giảng viên - tiến sĩ Bùi Thị Thu Trang, người giúp tơi hồn thành Luận văn để kết thúc khóa học lu Tôi xin gửi lời cảm ơn đến tất anh/ chị/ em lớp MIT18K1 an n va đồng hành, chia sẻ kinh nghiệm quý báu qua buổi học, động viên giúp làm ảnh hưởng nhiều đến tâm lý gián đoạn thời gian học tập, nghiên cứu Tôi xin chân thành cảm ơn Ban Giám đốc toàn thể viên chức người lao p ie gh tn to vượt qua khó khăn, thử thách có tác động đại dịch Covid19 w động Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu oa nl tạo điều kiện, khuyến khích tơi tham gia khóa học, hỗ trợ tối đa để tơi có d hội mở mang tầm nhìn, nâng cao lực thân, hồn thiện kĩ mà tơi an lu cịn thiếu sót u nf va Lời cảm ơn sau cùng, cho phép tơi gửi đến gia đình thân u Chính ll thơng cảm, sẻ chia, khích lệ người thân hành trang giúp bền bỉ vượt qua oi m thách thức, chông gai suốt chặng đường gần năm đầy cam go có lúc tưởng z at nh chừng phải dừng bước Cám ơn mẹ, người trao cho niềm tin, tiếp sức lửa nhiệt huyết, khơi gợi tự tin để mạnh dạn tiến lên phía trước, khẳng định giá z Xin trân trọng cảm ơn! m co l gm @ trị sức mạnh nội tiềm ẩn Học viên an Lu Huỳnh Thị Hồng Nguyên n va ac th si iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÔNG THỨC vi DANH MỤC CÁC HÌNH viii MỞ ĐẦU lu Chương TỔNG QUAN VỀ NHĨM NGƯỜI, ĐÁM ĐƠNG TRONG XỬ an LÝ ẢNH – PHƯƠNG PHÁP PHÁT HIỆN HÀNH VI TỤ TẬP TRONG va n NHÓM NGƯỜI .10 p ie gh tn to d oa nl w lu TỔNG QUAN CÁC PHƯƠNG PHÁP, THUẬT TOÁN NHẬN va an Chương ll u nf DẠNG ĐỐI TƯỢNG 18 oi m z at nh z m co l gm @ an Lu n va ac th si iv Chương MƠ HÌNH PHÁT HIỆN NGƯỜI SỬ DỤNG YOLOV4 .43 Chương KẾT QUẢ THỰC NGHIỆM VÀ NHẬN XÉT 54 lu an n va p ie gh tn to d oa nl w an lu KẾT LUẬN VÀ KHUYẾN NGHỊ 91 ll u nf va DANH MỤC TÀI LIỆU THAM KHẢO .93 oi m z at nh z m co l gm @ an Lu n va ac th si v DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt AP CPU CNN Chữ viết đầy đủ Ý nghĩa Average Precision Độ xác trung bình Central Processing Unit Bộ xử lý trung tâm Convolutional Neural Mạng nơ rơ tích chập Network Conference on Computer CVPR Vision and Hội nghị Thị giác máy Pattern tính Nhận dạng mẫu lu Recognition an GPU Graphics Processing Unit RGB Red Green Blue SSP Social Signal Processing Bộ xử lý đồ họa chuyên dụng n va ảnh ie gh tn to Kênh màu RGB xử lý Xử lý tín hiệu tương tác p xã hội SVM Máy véc-tơ hỗ trợ Support Vector Machine d oa nl w Thuật toán deep learning You Only Look Once an YOLO lu ll u nf va YOLO oi m z at nh z m co l gm @ an Lu n va ac th si vi DANH MỤC CÔNG THỨC (2.1) 19 (2.2) 19 (2.3) 21 (2.4) 21 (2.5) 22 (2.6) 22 (2.7) 25 lu (2.8) 25 an (2.9) 25 va n (2.10) 26 gh tn to (2.11) 26 (2.12) 28 ie p (2.13) 31 nl w (2.14) 31 oa (2.15) 32 d (2.16) 33 lu va an (2.17) 34 u nf (2.18) 34 ll (2.19) 34 m oi (2.20) 35 z at nh (2.21) 35 (2.22) 35 z gm @ (2.23) 35 (2.24) 35 l (2.25) 36 m co (2.26) 36 an Lu (2.27) 36 n va ac th si vii (2.28) 36 (2.29) 37 (2.30) 37 (2.31) 37 (2.32) 38 (2.33) 38 (2.34) 38 (2.35) 38 (3.1) 48 lu an (3.2) 48 n va (3.3) 50 p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si viii DANH MỤC CÁC HÌNH Hình Vị trí đặt Camera Trung tâm Cơng nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu Hình 1.1 Hình ảnh có diện nhóm người: trị chuyện (a), (b), xếp hàng (c) [5] .11 Hình 1.2 Hình ảnh đám đông (Web Dataset: Abnormal/Normal Crowd activities [Mehran CVPR ‘09] [5] .11 Hình 1.3 Unfocused interaction – tương tác khơng tập trung: (a) xếp hàng tính tiền lu cửa hàng; (b) xem lịch trình máy bay/ tàu điện; (c) ăn tin [5] 12 an va Hình 1.4 Nhóm người xem tivi (common –focused ) [5] .13 n Hình 1.5 Jointly focused interaction – tương tác tập trung mang ý nghĩa cụ thể (a) to gh tn Cùng chơi trị chơi; (b) Trị chuyện nhóm; (c) Đánh [5] 13 Hình 1.6 Minh hoạ khái niệm SSP (xử lý tín hiệu tương tác xã hội) [5] 14 ie p Hình 1.7 Minh hoạ nhóm người với số lượng có tương tác khơng tập trung [5] 14 nl w Hình 1.8 Minh hoạ nhóm người có tương tác tập trung mang tính chung chung [5] oa 15 d Hình 1.9 Minh hoạ nhóm người có tương tác tập trung mang ý nghĩa cụ thể [5] 16 lu va an Hình 1.10 Minh hoạ tập trung đơng người với số lượng lớn có tương tác khơng tập u nf trung [5] .16 ll Hình 2.1 Các bước thực nhằm trích xuất đặc trưng nhận dạng đối tượng [6] m oi 20 z at nh Hình 2.2 Ảnh liệu đầu vào cắt từ ảnh lớn [7] 20 Hình 2.3 Bộ lọc Sobel áp dụng thuật toán HOG [7] .21 z gm @ Hình 2.4 Độ lớn gradient theo trục 𝑥 (a); độ lớn gradient theo trục 𝑦 (b); cường độ gradient (c) [7] 22 l Hình 2.5 Hình chia thành cục 8×8 pixel (hình phóng to gấp lần m co thực tế để dễ quan sát) [7] 23 an Lu n va ac th si 82 lu an n va p ie gh tn to d oa nl w va an lu u nf Hình 4.45 Kết phát đối tượng người với độ tin cậy khơng cao hình ll người đứng sát xe máy bị che khuất phần – Cảnh báo tụ tập đông người oi m z at nh z m co l gm @ an Lu n va ac th si 83 lu an n va p ie gh tn to d oa nl w va an lu u nf Hình 4.46 Kết phát đối tượng người với độ tin cậy không cao người bị ll che khuất phần – Cảnh báo tụ tập đông người oi m z at nh z m co l gm @ an Lu n va ac th si 84  Hình ảnh kết phát đối tượng với độ tin cậy không cao trường hợp thiếu sáng (buổi tối) (Hình 4.47) lu an n va p ie gh tn to d oa nl w an lu ll u nf va Hình 4.47 Kết phát đối tượng với độ tin cậy không cao thiếu sáng oi m z at nh z m co l gm @ an Lu n va ac th si 85  Hình ảnh kết phát đối tượng người khơng xác (xác định xe máy người) thực gán nhãn đối tượng người có lẫn hình ảnh xe máy người đứng cạnh xe máy, người ngồi xe máy (Hình 4.48) lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh Hình 4.48 Kết phát sai đối tượng người thực gán nhãn người z có lẫn hình ảnh xe máy người ngồi xe máy m co l gm @ an Lu n va ac th si 86  Hình ảnh kết phát đối tượng người khơng xác: phát đối tượng người có người chở xe máy hình ảnh có chứa người cách xa camera hai đối tượng người khoảng cách gần (Hình 4.49) lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z Hình 4.49 Chỉ phát đối tượng người có người ngồi cạnh m co l gm @ xe máy an Lu n va ac th si 87  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao hình người bị che khuất phần chất lượng hình ảnh (Hình 4.50) lu an n va p ie gh tn to d oa nl w u nf va an lu ll Hình 4.50 Hình ảnh có độ tin cậy không cao người bị che khuất phần m oi chất lượng hình ảnh z at nh z m co l gm @ an Lu n va ac th si 88  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao bị che khuất phần, phát đối tượng người phía sau hàng rào chắn ( Hình 4.51) lu an n va p ie gh tn to d oa nl w ll u nf va an lu m oi Hình 4.51 Đối tượng phát có độ tin cậy khơng cao bị che khuất phần, z at nh phát đối tượng phía sau hàng rào chắn z m co l gm @ an Lu n va ac th si 89  Hình ảnh kết phát đối tượng người có độ tin cậy khơng cao, khơng phát người xa camera hình ảnh chụp đường phố sưu tầm mạng (Hình 4.52) lu an n va p ie gh tn to d oa nl w an lu u nf va Hình 4.52 Không phát người xa camera hình ảnh chụp đường phố sưu tầm mạng ll oi m z at nh z m co l gm @ an Lu n va ac th si 90  Hình ảnh kết phát đối tượng khơng xác (phát hình nộm nhân vật bé trai đối tượng người), phát đối tượng người xa camera, hình ảnh chất lượng (Hình 4.53) lu an n va p ie gh tn to d oa nl w va an lu u nf Hình 4.53 Phát đối tượng khơng xác (phát hình nộm nhân vật bé ll trai đối tượng người), phát đối tượng người xa camera, hình ảnh m oi chất lượng z at nh z m co l gm @ an Lu n va ac th si 91 KẾT LUẬN VÀ KHUYẾN NGHỊ  Kết luận  Tác giả luận văn xây dựng thành công hệ thống cảnh báo tụ tập đông người ứng dụng Trung tâm Công nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng tàu sử dụng YOLOv4 Hệ thống cảnh báo góp phần vào việc đảm bảo an ninh trật tự, phù hợp với định hướng xây dựng đô thị thông minh tỉnh Bà Rịa-Vũng Tàu giai đoạn 2020 – 2022, định hướng đến năm 2025, tầm nhìn đến năm 2030 mà Hội đồng nhân dân tỉnh đề Nghị lu số 112/NQ-HĐND ngày 13 tháng 12 năm 2019 an  Ưu điểm: Trong q trình nghiên cứu mơ hình phát đối tượng người, va n luận văn đạt số nội dung sau: to tn  Tìm hiểu, phân tích tụ tập đơng người; p ie gh  Tìm hiểu thuật toán máy học, ứng dụng YOLOv4 để giải toán xác định đối tượng người ảnh; nl w  Sử dụng Google Colab, ngôn ngữ Python để xây dựng ứng dụng; oa  Chạy thử thành cơng với liệu trích xuất từ camera Trung tâm Công d nghệ thông tin Truyền thông tỉnh Bà Rịa – Vũng Tàu lu va an  Nhược điểm: u nf  Chưa kết hợp nhiều thuật toán nhằm phát đối tượng người ll khoảng cách xa camera; m oi  Chưa thực phát đối tượng người thời gian thực z at nh  Phạm vi ứng dụng:  Hệ thống cảnh báo tụ tập đơng người áp dụng cho quan, z @ đơn vị nhằm đảm bảo ninh trật tự, đặc biệt khu vực trọng yếu l gm tỉnh Trung tâm Hành Chính trị tỉnh Bà Rịa – Vũng Tàu, Trung tâm Phục vụ hành công tỉnh, Kho bạc Nhà nước tỉnh, …; m co  Ngoài ra, hệ thống cảnh báo tụ tập đơng người áp dụng cho an Lu tốn cảnh báo có nhiều người dân tập trung đông quầy tiếp n va ac th si 92 nhận hồ sơ Một cửa, qua giúp cán trưởng phụ trách Bộ phận Một cửa cấp điều động, bổ sung thêm nhân hỗ trợ tình nêu trên;  Thêm vào đó, áp dụng mơ hình cho toán phát đối tượng người nhằm kiểm soát số lượng hành khách chuyến xe nhằm giảm bớt số lượng nhân kiểm tra hành khách cho đơn vị vận tải  Hướng phát triển:  Kết hợp thêm thuật toán khác nhằm nâng cao độ xác hệ lu thống cảnh báo tụ tập đông người; an va  Thực kết nối camera để phát tụ tập đông người theo thời gian n thực; to p ie gh tn  Kết nối hệ thống báo động để phát tín hiệu âm cảnh báo d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 93 TÀI LIỆU THAM KHẢO Chính phủ nước Cộng hịa Xã hội Chủ nghĩa Việt Nam, “Lấy quyền [1] điện tử làm nịng cốt để xây dựng đô thị thông minh,” 3/10/2019 [Trực tuyến] Available: http://egov.chinhphu.vn/lay-chinh-quyen-dien-tu-lamnong-cot-de-xay-dung-do-thi-thong-minh-a-NewsDetails-37787-14186.html [Đã truy cập 10/10/2020] K Nguyễn, “Cổng thông tin điện tử tỉnh Bà Rịa - Vũng Tàu - Thông qua Kế [2] hoạch triển khai Đề án phát triển đô thị thông minh tỉnh Bà Rịa- Vũng Tàu,” lu 2020 [Trực tuyến] Available: http://baria- an va vungtau.gov.vn/sphere/baria/vungtau/page/xem- n tin.cpx?item=5ed8e98c8ea5cc04cbd4266a [Đã truy cập 09/10/2020] to tn Chính phủ nước Cộng Hịa Xã hội Chủ nghĩa Việt Nam, “Nghị định số [3] p ie gh 38/2005/NĐ-CP Chính phủ: Nghị định Quy định số biện pháp bảo đảm trật tự công cộng,” 2005 [Trực tuyến] Available: nl w http://vanban.chinhphu.vn/portal/page/portal/chinhphu/hethongvanban?class d oa _id=1&mode=detail&document_id=14429 [Đã truy cập 28/9/2019] Bộ Công An, “Cơ sở liệu quốc gia văn pháp luật - Thông tư an lu [4] va 09/2005/TT-BCA: Hướng dẫn thi hành số điều Nghị định số ll u nf 38/2005/NĐ-CP ngày 18/03/2005 Chính phủ quy định số biện pháp oi m bảo đảm trật tự công cộng,” 2005 [Trực tuyến] Available: cập 28/9/2019] Vittorio Murino, “Groups and Crowds: Detection, Tracking and Behavior z [5] z at nh http://vbpl.vn/bocongan/Pages/vbpq-luocdo.aspx?ItemID=17581 [Đã truy @ m co [6] l Italy, 2016 gm Analysis of People Aggregations,” VISIGRAPP Conference, Rome, Navneet Dalal and Bill Triggs, “Histograms of Oriented Gradients for an Lu Human Detection,” IEEE, San Diego, 2005 n va ac th si 94 S Mallick, “Histogram of Oriented Gradients,” Big Vision LLC, 12 2016 [7] [Trực tuyến] Available: https://www.learnopencv.com/histogram-oforiented-gradients/ [Đã truy cập 20/03/2020] Luis Sousa Variz et al, “Machine Learning Applied to an Intelligent and [8] Adaptive Robotic Inspection Station,” 2019 Bernhard E Boser, et al, “A Training Algorithm for Optimal Margin [9] Classifiers,” Proceedings of the Fifth Annual Workshop on Computational Learning Theory 144-152, New York, 1992 lu [10] CORINNA CORTES and VLADIMIR VAPNIK, Support-vector networks, an L Saitta, Biên tập viên, Kluwer Academic Publishers, Boston, 1995, p 273– va n 297 gh tn to [11] T H Vũ, Machine learning bản, 2019 [12] A Kowalczyk, Support Vector Machine Succintly, Morrisville, North p ie Carolina,: Syncfusion, 2017 nl w [13] Yingdong Ma, Xiankai Chen, George Chen, “Pedestrian Detection and oa Tracking Using HOG and Oriented-LBP Features,” Network and d Parallel Computing, tập Volume 6985, 2011 an lu va [14] Y Xu, L Xu, D Li and Y Wu, “Pedestrian detection using background u nf subtraction assisted Support Vector Machine,” 2011 ll [15] Zhen-Rui Wang, Yu-Lan Jia, Hua Huang, Shu-Ming Tang, “Pedestrian m oi Detection Using Boosted HOG Features,” 2008 z at nh [16] Yi-Ming Chan et al, “Pedestrian detection using histograms of Oriented z Gradients of granule feature,” IEEE, 2013 @ gm [17] M Thu, N Suvonvorn, M Karnjanadecha, “Pedestrian Detection using m co l Linear SVM Classifier with HOG Features,” 2018 [18] K Piniarski, “Tuning of Classifiers to Speed-Up Detection of Pedestrians in an Lu Infrared Images,” 2020 n va ac th si 95 [19] J A Gualtieri, Samir Chettri, “Support Vector Machine Classifiers as Applied to AVIRIS Data,” 1999 [20] Joseph Redmon; Santosh Divvala; Ross Girshick; Ali Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” arXiv:1506.02640, 2016 [21] Joseph Redmon, Ali Farhadi, “YOLO9000: Better, Faster, Stronger,” arXiv:1612.08242, 2016 [22] C G Melek, E B Sonmez and S Albayrak, “Object Detection in Shelf lu Images with YOLO,” IEEE EUROCON 2019 -18th International an Conference on Smart Technologies, Novi Sad, Serbia, 2019 va n [23] R Girshick, “Fast R-CNN,” 2015 IEEE International Conference on to tn Computer Vision (ICCV), Santiago, 2015 Object Detection with Region Proposal Networks,” Advances in p ie gh [24] S Ren, K He, R Girshick and J Sun, “Faster R-CNN: Towards Real-Time nl w neural information processing systems, 2015 d oa [25] Joseph Redmon, Ali Farhadi, “YOLOv3: An Incremental Improvement,” an lu arXiv:1804.02767, 2018 va [26] Zicong Jiang, L Zhao, “Real-time object detection method based on u nf improved YOLOv4-tiny,” 2020 ll [27] Alexey Bochkovskiy; Chien-Yao Wang; Hong-Yuan Mark Liao, “YOLOv4: m oi Optimal Speed and Accuracy of Object Detection,” arXiv:2004.10934, z at nh 2020 z [28] Chethan Kumar B.; R Punitha; Mohana, “YOLOv3 and YOLOv4: Multiple @ gm Object Detection for Surveillance Applications,” IEEE, 2020 m co Set Based on YOLOv4 Network,” IEEE, 2020 l [29] Yao Wang; Lei Wang; Yi Jiang; Tianyu Li, “Detection of Self-Build Data an Lu n va ac th si 96 [30] Zhibin Cheng, Fuquan Zhang, "Flower End-to-End Detection Based on YOLOv4 Using a Mobile Device," Chao-Yang Lee, 2020 [31] Jonathan Hui, “Real-time Object Detection with YOLO, YOLOv2 and now YOLOv3,” 18/3/2018 [Trực tuyến] Available: https://medium.com/@jonathan_hui/real-time-object-detection-with-yoloyolov2-28b1b93e2088 [Đã truy cập 5/9/2020] [32] A Hoholiuk, “Detect groups of targets on an image using deep learning and OpenCV,” 20/5/2019 [Trực tuyến] Available: https://medium.com/gowombat/detect-groups-of-targets-on-an-image-using- lu an deep-learning-and-opencv-150409dff20 [Đã truy cập 19/04/2021] va n [33] R Senaratne, “Social distance detector with Python, YOLOv4, Darknet and tn to OpenCV,” 29/6/2020 [Trực tuyến] Available: darknet-and-opencv-62e66c15c2a4 [Đã truy cập 20/4/2021] p ie gh https://heartbeat.fritz.ai/social-distance-detector-with-python-yolov4- [34] A Rosebrock, “OpenCV Social distancing detector,” 01/6/2020 [Trực w oa nl tuyến] Available: https://www.pyimagesearch.com/2020/06/01/opencv- d social-distancing-detector/ [Đã truy cập 20/4/2021] lu va an [35] AlexeyAB, “GitHub - AlexeyAB/darknet : YOLOv4 - Neural Networks for u nf Object Detection (Windows and Linux version of Darknet ),” [Trực tuyến] ll Available: https://github.com/AlexeyAB/darknet#how-to-train-to-detect- m oi your-custom-objects [Đã truy cập 08/11/2020] z at nh [36] Google Company, “Colaboratory Frequently Asked Questions,” [Trực tuyến] Available: https://research.google.com/colaboratory/faq.html [Đã z m co l gm @ truy cập 12/10/2020] an Lu n va ac th si