(Luận văn thạc sĩ) xây dựng ứng dụng phát hiện khói dựa trên xử lý ảnh và mô hình học sâu vgg

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG HỌ VÀ TÊN HỌC VIÊN : HÀ NHƯ THÁI - HÀ NHƯ THÁI HỆ THỐNG THÔNG TIN XÂY DỰNG ỨNG DỤNG PHÁT HIỆN KHĨI DỰA TRÊN XỬ LÝ ẢNH VÀ MƠ HÌNH HỌC SÂU VGG ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) 2021 – 2023 HÀ NỘI 2023 HÀ NỘI - NĂM 2023 i ii iii MỤC LỤC MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT v DANH SÁCH BẢNG vi DANH SÁCH HÌNH VẼ vii LỜI NÓI ĐẦU CHƯƠNG – GIỚI THIỆU BÀI TOÁN 1.1 Giới thiệu toán phát đối tượng 1.2 Thực trạng hoả hoạn Việt Nam 1.3 Các thành tựu nghiên cứu ngồi nước tốn phát khói 1.4 Động lực mục tiêu nghiên cứu 1.5 Kết luận chương 10 CHƯƠNG - XÂY DỰNG ỨNG DỤNG PHÁT HIỆN KHÓI SỬ DỤNG XỬ LÝ ẢNH VÀ CÔNG NGHỆ VGG 10 2.1 Candidate smoke regions detection (phát vùng candidate smoke dựa thuật toán xử lý ảnh) .13 2.1.1 Thuật toán trừ dựa thuật toán running gaussian average 13 2.1.2 Tách vùng candidate smoke dựa phân ngưỡng binary phân ngưỡng otsu .16 2.1.3 Quy trình phát vùng candidate smoke kết hợp trừ phân ngưỡng19 2.2 Phân loại khói 21 2.2.1 Phân loại khói dựa màu sắc (Color classification) 22 2.2.2 Phân loại khói dựa vào phát triển vùng khói (Growing region classification) 24 iv 2.2.3 Phân loại khói dựa mạng học sâu VGG16 25 2.3 Temporal analysis 30 2.4 Kết luận chương 30 CHƯƠNG – CÀI ĐẶT VÀ THỬ NGHIỆM 32 3.1 Thu thập liệu thử nghiệm cho việc training model 32 3.1.1 Thu thập liệu 32 3.1.2 Xử lý liệu thô 32 3.1.3 Gán nhãn liệu 33 3.1.4 Định dạng thống kê liệu 34 3.2 Kết thực nghiệm so sánh, đánh giá thuật toán 37 3.2.1 Kết thu so với số nghiên cứu khác .38 3.2.2 Hiệu suất thuật toán đạt .39 3.3 Tích hợp thử nghiệm thuật tốn vào hệ thống VMS 41 3.3.1 Kiến trúc hệ thống VMS .41 3.3.2 Thực tích hợp phát khói hệ thống VMS 42 3.3.3 Cài đặt thử nghiệm kết hiệu suất đạt hệ thống VMS 43 3.4 Kết luận chương 45 CHƯƠNG – TỔNG KẾT .46 DANH MỤC TÀI LIỆU THAM KHẢO 48 v DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt VMS Video management system Hệ thống quản lý video GPU Graphics Processing Unit Card đồ hoạ AI Artificial Intelligence Trí tuệ nhân tạo ML Machine Learning Học máy DL Deep Learning Học sâu CNN HOG SIFT Convolutional Neural Network Mạng nơ-ron tích chậpp Histogram of Oriented Thuật tốn trích xuất đặc Gradient trưng đối tượng HOG Scale-Invariant Feature Giải thuật nhận dạng đặc Transform trưng ảnh vi DANH SÁCH BẢNG Bảng 2.2: Load ảnh đầu vào tính tốn class weight tự động 29 Bảng 2.3: Khởi tạo model config layers 29 Bảng 3.1: Bảng thống kê data sau xử lý để đưa vào training 34 Bảng 3.2: Bảng so sánh kết thuật toán với nghiên cứu trước 15 videos khói 38 Bảng 3.3: Hiệu suất thuật toán 10 video khói .40 Bảng 3.4: Kết chạy thử nghiệm hiệu suất smoke detection hệ thống VMS44 vii DANH SÁCH HÌNH VẼ Hình 1.1: Hệ thống giám sát lưu lượng phương tiện lại tuyến đường đô thị Hình 1.2: Vụ cháy xưởng chăn, ga, gối, đệm huyện Thanh Oai, thành phố Hà Nội .6 Hình 1.3: Cháy rừng TP Móng Cái, Quảng Ninh Hình 2.1: Sơ đồ thuật tốn phát khói 12 Hình 2.2: Ví dụ trừ refine lại ảnh thu sau tách ngưỡng 15 Hình 2.3: Ảnh xám đầu và ảnh đầu sau sử dụng tách ngưỡng binary .17 Hình 2.4: Phân ngưỡng otsu cho ảnh xám đầu vào 17 Hình 2.5: Quy trình kết hợp ảnh phân ngưỡng nhị phân phân ngưỡng otsu 18 Hình 2.6: Quy trình tách vùng candidate smoke .20 Hình 2.7: Kiến trúc cascade model phân loại khói 22 Hình 2.8: Quy trình phân loại cascade model dựa màu sắc .23 Hình 2.9: Sự phát triển theo thời gian vùng khói 24 Hình 2.10: Cấu trúc mạng VGG16 26 Hình 3.1: Quá trình crop liệu .33 Hình 3.2: Một số hình ảnh human class data .35 Hình 3.3: Một số hình ảnh car class data .35 Hình 3.4: Một số hình ảnh Fire class data 36 Hình 3.5: Một số hình ảnh Smoke class data .36 Hình 3.6: Một số hình ảnh Unknown class data 37 Hình 3.7: Kết phát khói 10 videos khói videos khơng khói 38 Hình 3.8: Kiến trúc VMS 41 Hình 3.9: Sơ đồ khối hệ thống VMS 42 Hình 3.10: Giao diện hệ thống VMS 43 Hình 3.11: Hệ thống cảnh báo có event khói xuất .44 LỜI NĨI ĐẦU Trí tuệ nhân tạo – lĩnh vực khơng không lâu đời, lần lại nêu tên nhiều khía cạnh sống Từ công việc tin học tự động sửa tả, thu thập đưa quảng cáo cho người dùng … tới vấn đề thiết thực tự động hóa, kiểm sốt an ninh, y khoa, quân … trí tuệ nhân tạo len lỏi vào khía cạnh sống, khiến đời sống người ngày cải thiện Đặc biệt cả, nhóm ngành nghiên cứu nhiều trí tuệ nhân tạo đương đại – thị giác máy tính, chứng tỏ khả giải vơ số tốn tưởng chừng khơng thể lĩnh vực trí tuệ nhân tạo Với phát triển không ngừng từ sức mạnh phần cứng, từ chưa tới phép tính dấu chấm động giây vài chục nghìn tỷ phép tính dấu chấm động giây, mơ hình thị giác máy tính biết cách tận dụng chúng để nâng cao khả lên đáng kể với hiệu vượt trội, Ngồi ra, người dần thu thập liệu xung quanh quy mơ lớn chưa có lịch sử, tạo tập liệu vô lớn, tạo điều kiện cho mơ hình thị giác máy tính “học” “nguồn tri thức” rộng lớn Phát đối tượng (Object Detection) coi lĩnh vực quan trọng phát triển học sâu (Deep Learning) xử lý hình ảnh (Image Processing) Các mơ hình phát đối tượng thường đào tạo để phát diện đối tượng cụ thể hình ảnh, video hoạt động thời gian thực (real time) Ngay trước có phương pháp học sâu cơng nghệ xử lý hình ảnh đại, việc phát đối tượng quan tâm nhiều Khi người ta thường ứng dụng số phương pháp xử lý ảnh SIFT HOG với kỹ thuật trích xuất cạnh vật thể Object Detection sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái Có nhiều cách để nhận diện đối tượng sử dụng nhiều lĩnh vực thực hành Giống công nghệ khác, loạt ứng dụng sáng tạo tuyệt vời Object Detection đến từ lập trình viên nhà phát triển phần mềm 46 CHƯƠNG – TỔNG KẾT Kết đạt Hệ thống phát khói quan trọng cứu sống người ngăn chặn mối nguy hiểm trước đám cháy vượt khỏi tầm kiểm soát Trước đây, cảm biến thường sử dụng hệ thống Những cảm biến nhạy cảm với hoá chất tạo đám cháy, cảnh báo kích hoạt hoá chất chạm tới cảm biến diện chúng phát ion hoá trắc quang Yêu cầu làm cho cảm biến phụ thuộc vào khoảng cách đến khu vực cháy, vị trí chúng Ngồi ra, cảm biến khó sử dụng ngồi trời chúng cần nhiều cảm biến lắp đặt khu vực rộng rãi Với phát triển ngày cao hệ thống camera giám sát nhu cầu giám sát thông minh, AI camera bước tiến mạnh mẽ cho tương lai cho việc phát khẩn cấp để giảm thiệt hại người tính mạng Việc phát với hình ảnh sớm nhận dạng từ xa thơng qua mạng sử dụng cảm biến thông thường Trong đề án này, phương pháp trình bày để phát sớm khói bắng hệ thống camera giám sát Em phát triển thuật toán phát khói ảnh cách phân tích đặc điểm vùng khói Cơng nghệ VGG học sâu phát triển để tăng độ xác hệ thống Kết thử nghiệm cho thấy thuật tốn em phát triển có kết tốt so với nghiên cứu trước Kết em cho thấy hệ thống em hoàn toàn phù hợp với ứng dụng thực tế Bằng cách tích hợp thuật tốn vào hệ thống VMS, em hoàn thành ứng dụng thực tế theo dõi khói lửa cho đơn vị khách hàng từ Úc Hệ thống đạt 64 kênh camera chạy lúc cài đặt tồ nhà lớn mơi trường ngồi trời Hệ thống báo khói lửa cho phép khách hàng phát sớm trường hợp hoả hoạn, để thiệt hại hoả hoạn gây giảm thiểu, ngăn chặn 47 Nhược điểm thuật toán em hoạt động đám khói có màu sắc chung thuật tốn khơng thể hoạt động với lượng khói nhỏ Trong cơng việc tới, em mở rộng mơ hình màu để phát khói màu đen có màu lạ ảnh hưởng từ mơi trường, không gian xảy Em phát triển mạng CNN so sánh với để lựa chọn công nghệ tốt Hướng phát triển tương lai Trong tốn phát khói, số hạn chế màu giống với màu khói, khói mơi trường ánh sáng khác màu sắc bị ảnh hưởng màu sắc ánh sáng Trong tới, em nhóm bạn nghiên cứu tiếp tục phát triển để khắc phục hạn chế Việc tích hợp thuật tốn phát khói sử dụng xử lý ảnh CNN vào hệ thống VMS với độ xác hiệu suất hoạt cao mang lại tiềm phát triển cho tương lại lĩnh vực AI Camera Với hệ thống VMS phát triển nhiều thuật toán khác phát người đột quỵ , phát trộm, phát phương tiện giao thông, đếm xe, tất người nhìn nhận biết mắt thường computer vision làm 48 DANH MỤC TÀI LIỆU THAM KHẢO [1] Anna Bosch, Andrew Zisserman, and Xavier Munoz, “Image Classification using Random Forests and Ferns”, International Conference on Computer Vision, 2007 [2] Y Bengio, “Deep learning of representations for unsupervised and transfer learning,” UTLW'11 Proc 2011 Int Conf Unsupervised and Transfer Learning workshop,vol 27, pp 17-37, 2012 [3] J Chen et al., “Multi-feature fusion based fast video flame detection,” Building and Environment, vol 54, no 5, pp 1113-1122, May 2010 [4] T Celik, "Fast and Efficient Method for Fire Detection Using Image Processing," ETRI Journal, vol 32, no 6, pp 881-890, December 2010 [5] I Chakraborty and T Kr Paul, "A Hybrid Clustering Algorithm for Fire Detection in Video and Analysis with Color based Thresholding Method," ACE'10 Proceedings of the 2010 International Conference [6] T Çelik and H Demirel, “Fire detection in video sequences using a generic color model,” Fire Safety Journal, vol 44, no 2, pp 147-158, February 2009 [7] T Celik and K.-H Ma, "Computer Vision Based Fire Detection in Color Images," 2008 IEEE Conference on Soft Computing in Industrial Applications, June 2008 [8] Csurka, G., C R Dance, L Fan, J Willamowski, and C Bray “Visual Categorization with Bags of Keypoints” Workshop on Statistical Learning in Computer Vision ECCV (1–22), 1–2 [9] A Genovese,R D Labati, V Piuri, and F Scotti, “Wildfire smoke detection u sing computational intelligence techniques,” CIMSA, pp 1-6, Sept 2011 [10] A E Gunawaardena, R M M Ruwanthika, A G B P Jayasekara, “Computer Vision Based Fire Alarming System”, Moratuwa Engineering Research Conference (MERCon), 2016 49 [11] Ping-He Huang, Jing-Yong Su, Jeng-Shyang Pan, “A Fire-Alarming Method Based on Video Processing”, International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2006 [12] B C Ko et al., “Early fire detection algorithm based on irregular patterns of flames and hierarchical Bayesian Networks,” Fire Safety Journal, vol 45, no 4, pp 262-270, June 2010 [13] B C Ko et al., “Fire detection based on vision sensor and support vector machines,” Fire Safety Journal, vol 44, no 3, pp 322-329, April 2009 [14] A Krizhevsky, I Sutskever, and G E Hinton, “ImageNet classification with deep convolutional neural networks”, International Conference on Neural Information Processing Systems(INIPS), 2012 [15] B C Ko, J Y Kwak, and J Y Nam, “Wildfire smoke detection using temp oral–spatial features and random forest classifiers,” Opt Eng., vol 51, no 1, F eb 2012 [16] C.-Y Lee, C.-T.Lin, C.-T.Hong, and M.-T Su, “Smoke detection using spatial and temporal analysis,” Int J Innovative Comput., Inf and Contr., vol 8, no 7(A), Jul 2012 [17] Giuseppe Marbach, Markus Loepfe, Thomas Brupbacher, “An image processingtechnique for fire detection in video images”, Fire Safety Journal, Vol 41, Issue 4, June 2006 13th International Conference on Automatic Fire [18] M Oquab, L Bottou, I Laptev, and J Sivic, “Learning and transferring mi dlevel image representations using convolutional neural networks,” 2014 IEE E CVPR, pp 1717-1724, Jun 2014 [19] Xiaojun Qi, Jessica Ebert, “Computer Vision Based Method for Fire Detection in Color Videos”, International Journal of Imaging and Robotics, Vol 2, No S09, 2009 50 [20] Angie K Reyes, Juan C Caicedo, Jorge E Camargo, “Fine-tuning Deep Convolutional Networks for Plant Recognition”, CLEF 2015 [21] C Stauffer and W E L Grimson, “Adaptive background mixture models f or real-time tracking,” IEEE Comput Soc Conf Comput Vision and Pattern R ecognition, vol 2, 1999 [22] B U Toreyin, Y Dedeoglu, and A Enis Cetin, “Contour based smoke dete ction in video using wavelets,” 14th Eur Signal Process Conf., pp 1-5, Sept 2006 [23] T X Tung and J.-M Kim, “An effective four-stage smoke-detection algori thm using video images for early fire-alarm systems,” Fire Safety J., vol 46, n o 5, pp 276-282, Jul 2011 [24] B U TÄoreyin, "Fire Detection Algorithms Using Multimodal Signal and Image Analysis," 2009 [25] Z Teng et al., “Fire detection based on hidden Markov models,” International Journal of Control, Automation and Systems, vol 8, no 4, pp 822-830, 2010 [26] B.U Toreyin, Y Dedeogln, U Gudukbay, and A.E Cetin “Computer vision based method for real-time fire and flame detection,” Pattern Recognition Letters 27 (2006) 49-58 [27] W Zheng, W Xingang, A Wenchuan, and C Jianfeng, “Target-tracking ba sed early fire smoke detection in video,” ICIG ‘09, pp 172-176, Sept 2009 [28] ImageNet, “http://www.image-net.org” [29] BAIR/BVLC CaffeNet Model, https://github.com/BVLC/caffe/tree/master/models/bvlc_reference_caffenet BẢN CAM ĐOAN Tôi cam đoan thực việc kiểm tra mức độ tương đồng nội dung đề án qua website https://app.kiemtratailieu.vn cách trung thực đạt kết mức độ tương đồng 9% toàn nội dung đề án Bản đề án kiểm tra qua website cứng nộp để bảo vệ trước hội đồng Nếu sai tơi xin chịu hình thức kỷ luật theo quy định hành Học Viện Hà Nội, ngày 30 tháng 05 năm 2023 Tác giả đề án tốt nghiệp ký ghi rõ họ tên Hà Như Thái