Bài viết đề xuất một phương pháp phát hiện cháy sớm dựa trên việc áp dụng phương pháp học chuyển tiếp với mô hình mạng CNNs EfficientNet-B3. Từ dữ liệu hình ảnh được thu thập từ camera theo thời gian thực, hệ thống có thể phân tích và đưa ra dự đoán xem có đám cháy hay không một cách nhanh chóng, từ đó đưa ra các cảnh báo sớm và có thể kích hoạt hệ thống dập cháy tự động.
TẠP CHÍ ISSN: 1859-316X KHOA HỌC CƠNG NGHỆ HÀNG HẢI KHOA HỌC - CÔNG NGHỆ JOURNAL OF MARINE SCIENCE AND TECHNOLOGY PHÁT HIỆN ĐÁM CHÁY SỬ DỤNG PHƯƠNG PHÁP HỌC CHUYỂN TIẾP VỚI MẠNG EFFICIENTNET FIRE DETECTION BY TRANSFER LEARNING WITH EFFICIENTNET NGUYỄN HỮU TUÂN*, TRỊNH THỊ NGỌC HƯƠNG Khoa Công nghệ Thông tin, Trường Đại học Hàng hải Việt Nam * Email liên hệ: huu-tuan.nguyen@vimaru.edu.vn Tóm tắt Các vụ cháy thường gây hậu nghiêm trọng với thiệt hại lớn tài sản người Các hệ thống phát cảnh báo cháy dựa cảm biến nhiệt, khói thường phát đám cháy giai đoạn nguy hiểm hạn chế khả dập đám cháy để giảm thiểu thiệt hại Trong báo này, đề xuất phương pháp phát cháy sớm dựa việc áp dụng phương pháp học chuyển tiếp với mơ hình mạng CNNs EfficientNet-B3 Từ liệu hình ảnh thu thập từ camera theo thời gian thực, hệ thống phân tích đưa dự đốn xem có đám cháy hay khơng cách nhanh chóng, từ đưa cảnh báo sớm kích hoạt hệ thống dập cháy tự động Chương trình thực nghiệm với thư viện Tensorflow sở liệu ảnh công cộng Kết cho thấy độ xác mà hệ thống đạt cao (97,5% liệu cơng cộng) có khả triển khai thực tế Từ khóa: Fre classification, nhận dạng ảnh đám cháy, mạng nơron nhân chập, CNNs, Python, EfficientNet, Tensorflow, Keras Abstract Fires often cause huge damage of wealth and lives Traditional fire detection systems based on temperature and smoke sensors are able to detect fires when they are in dangerous stages and thus have limitations in extinguishing to minimize damages This paper proposes a new method for early fire detection by applying transfer learning with EfficientNet-B3, a CNNs model Images captured from camera are predicted to quickly discover if there is fire or not If there is fire, then the alarm and fire extinguishing systems might be activated Our system is implemented with Tensorflow and experimented upon public dataset The obtained results show that its accuracy is high (97.5%) and can be applied in real life applications Keywords: Fire detection, convolutional neural network, CNNs, EfficientNet, Tensorflow, Keras SỐ 67 (8-2021) Đặt vấn đề Các vụ cháy thường xảy bất ngờ gây thiệt hại lớn tài sản tính mạng người Theo quy định Pháp luật Việt Nam [1], nhà xưởng, khu nhà phức hợp có trang bị hệ thống phát hiện, cảnh báo dập đám cháy Tuy nhiên, hệ thống phát đám cháy truyền thống dựa cảm biến nhiệt, khói thường đặt cao so với mặt đất Điều dẫn tới thực tế hệ thống phát đám cháy cách hiệu (chính xác) đám cháy lớn giai đoạn nguy hiểm (khó dập tắt) Kết phát đám cháy việc dập tắt trở nên khó khăn khơng thể ngăn chặn thiệt hại tài sản tính mạng người Một hạn chế hệ thống phát đám cháy truyền thống chúng khơng cung cấp hình ảnh vị trí đám cháy cho phận quản lý để xác thực đưa phương án dập đám cháy, cứu người tài sản hợp lý Trong báo này, đề xuất hệ thống thị giác máy tính sử dụng phương pháp học chuyển tiếp (transfer learning) với mơ hình mạng EffcientNet, mơ hình mạng CNNs hiệu phát triển thời gian gần để dự đoán xem ảnh có chứa đám cháy hay khơng Mơ hình mạng EfficientNet-B3 huấn luyện với sở liệu ảnh ImageNet sử dụng để huấn luyện với sở liệu ảnh công cộng So sánh kết với công bố gần cho thấy hệ thống đạt độ xác cao (97,5%) có khả áp dụng thực tế Nội dung báo bố cục sau: phần chúng tơi trình số cách tiếp cận dựa phân tích hình ảnh cho toán phát đám cháy, tiếp đến phần báo trình bày phương pháp học chuyển tiếp mơ hình mạng EfficientNet, cài đặt kết thực nghiệm hệ thống đề xuất Phần kết luận hướng phát triển báo 83 TẠP CHÍ KHOA HỌC - CƠNG NGHỆ Một số cách tiếp cận đại cho toán phát đám cháy Có hai cách tiếp cận việc áp dụng kỹ thuật lĩnh vực thị giác máy tính vào giải tốn phát đám cháy dựa phân tích hình ảnh: sử dụng phương pháp phát đối tượng (object detection) sử dụng phương pháp phân lớp/nhận dạng hình ảnh (image classification) Trong báo này, tập trung vào phương pháp theo hướng nhận dạng/phân lớp hình ảnh Kể từ mơ hình mạng CNNs đầu tiên, mạng AlexNet [2], thành cơng tốn thị giác máy tính quan trọng phân lớp hình ảnh tập liệu ImageNet, nhiều mơ hình mạng phát triển cho nhiều toán khác phát đám cháy ngoại lệ Dunnings cộng [3] khảo sát hiệu mơ hình mạng CNNs AlexNet, VGG [4], InceptionNetV1 [5] đề xuất mơ hình mạng FireNet riêng cho tốn phát đám cháy Kết mà nhóm tác giả nhận khả quan độ xác cao 93,4% (với mơ hình InceptionNetV1) Nhóm nhà khoa học khác [6] theo đổi hướng áp dụng mô hình mạng CNNs cho tốn phát đám cháy mơ hình ResNet [7], InceptionNetV4 [8] cải thiện độ xác lên 96% với mơ hình InceptionNetV4 sở liệu hình ảnh sử dụng [3] ISSN: 1859-316X KHOA HỌC CÔNG NGHỆ HÀNG HẢI JOURNAL OF MARINE SCIENCE AND TECHNOLOGY rộng số kênh hay số lọc sử dụng lớp nhân chập mạng Mở rộng độ phân giải tương ứng với việc tăng kích thước ảnh đầu vào cho mạng Độ phân giải chuẩn mạng CNNs 224x224 Trên thực tế, việc mở rộng mạng CNNs theo tham số có cải thiện độ xác mạng lên cách tiếp cận có vấn đề: việc mở rộng mạng dẫn tới chi phí tính tốn tăng lên nhanh chóng (1), mức độ cải thiện độ xác nhanh chóng bão hồ đạt tới ngưỡng 80% tượng suy giảm giá trị đạo hàm (gradient vanishing) (2), nhiều việc mở rộng mạng không cải thiện nhiều (3), ví dụ độ xác mạng ResNet-1000 không mạng ResNet-101 Cách tiếp cận mô hình mạng EfficientNet [10] cách tiếp cận tổng hợp cách mở rộng ba tham số độ sâu, độ rộng độ phân giải mạng CNNs giữ cho chi phí tính tốn mạng khơng tăng lên q nhiều (xem Hình 1: (a) - mơ hình sở, (b) - mở rộng chiều rộng, (c) - mở rộng chiều sâu, (d) - mở rộng độ phân giải (e) - mở rộng tổng hợp) Điều tương ứng với số tham số mạng không lớn cho phép mơ hình mạng thực thời gian thực triển khai thiết bị di động, thiết bị xử lý biên Học chuyển tiếp với EfficientNet cho toán phát đám cháy từ liệu hình ảnh 3.1 Học chuyển tiếp Học chuyển tiếp (transfer learning) [9] phương pháp học máy cho phép sử dụng lại tham số mạng nơ ron huấn luyện toán để giải toán Điều tương tự việc sử dụng kiến thức toán học để làm tảng cho việc học vật lý Trên thực tế, phương pháp học chuyển tiếp hiệu nhiều toán nên báo đề xuất sử dụng cách tiếp cận với việc sử dụng mơ hình mạng EfficientNet huấn luyện sở liệu ảnh ImageNet [2] mạng EfficientNet sử dụng kỹ thuật đảo ngược khối thặng dư (Inverted Residual Block) [11] với việc kết nối số lượng nhỏ kênh tách phép nhân chập làm giảm chi phí tính tốn xuống đáng kể mà khơng làm tính hiệu khối tính tốn đoạn giả mã lệnh sau: 3.2 Mơ hình mạng EfficientNet from keras.layers import Conv2D, DepthwiseConv2D, Add Kể từ mơ hình mạng CNNs AlexNet, nhà nghiên cứu theo hướng mở rộng tham số mạng nhằm cải thiện độ xác, tham số để mở rộng mạng CNNs độ sâu (depth), độ rộng (width) độ phân giải (resolution) Độ sâu mở rộng cách thêm vào nhiều lớp Độ def inverted_residual_block(x, expand=64, squeeze=16): 84 Hình Cách tiếp cận mơ hình mạng Một kỹ thuật nữaEfficientNet tác giả mơ hình block = Conv2D(expand, (1,1), activation=’relu’)(x) block = DepthwiseConv2D((3,3), activation=’relu’)(block) block = Conv2D(squeeze, (1,1), activation=’relu’)(block) return Add()([block, x]) SỐ 67 (8-2021) TẠP CHÍ ISSN: 1859-316X KHOA HỌC CÔNG NGHỆ HÀNG HẢI KHOA HỌC - CÔNG NGHỆ JOURNAL OF MARINE SCIENCE AND TECHNOLOGY EffcientNet bao gồm họ mơ hình mạng xây dựng từ mơ hình gọi EfficientNet-B0 có kiến trúc Bảng sau: Bảng Kiến trúc mạng EfficientNet-B0 khơng có đám cháy thực Sau huấn luyện, mơ hình mạng sử dụng để phát đám cháy từ ảnh test 3.4 Cài đặt thực nghiệm Chương trình demo cài đặt tảng thư viện Tensorflow 2.4 ngôn ngữ Python 3.8 Hệ thống chạy thử nghiệm máy trạm Z820 với card GPU 1080 Ti 11 GB nhớ Trong cột F thao tác nhân chập (Conv) khối đảo ngược thặng dư (Inverted Residual Block) mạng MobileNetv2 [11], cột Resolution độ phân giải đồ đặc trưng đầu khối (từ cột F), cột #Channels số lọc, cột L số lần lặp lại khối cột F Các mơ hình mạng từ B1 tới B7 sau xây dựng cách mở rộng mạng B0 sử dụng phương pháp kết hợp với việc thay đổi tham số độ sâu, độ rộng độ phân giải phù hợp kiểm sốt chi phí tính tốn mạng khơng tăng lên q nhiều (B1 có chi phí tính tốn tăng khơng vượt q lần B0, B2 có chi phí tính tốn tăng khơng vượt q lần B1, …) Dữ liệu thử nghiệm sở liệu công cộng công bố [3], chúng tơi sử dụng tập huấn luyện có kích thước 224x224 bao gồm 23408 ảnh huấn luyện 2931 ảnh test Hệ thống thực huấn luyện với 50 epoch Một số ảnh tập liệu sử dụng minh hoạ Hình Hình Một số ảnh minh hoạ Kết thực nghiệm với mơ hình mạng EfficientNet khác thể Bảng Bảng Kết so sánh mơ hình mạng EfficientNet TT Mơ hình mạng Độ xác tập huấn luyện Độ xác tập test B0 98,8 95,5 B1 98,5 95,7 B2 98,8 95,8 B3 99,2 97,5 B4 98,7 96,1 B5 97,9 96,6 B6 97,8 97 B7 98,4 96,7 3.3 Hệ thống phát đám cháy Hình Thuật toán phát đám cháy sử dụng học chuyển tiếp với mơ hình mạng EfficientNet Hình minh hoạ bước hệ thống phát đám cháy đề xuất: hình ảnh từ camera giám sát thu thập để huấn luyện, việc huấn luyện bắt đầu thao tác lấy hệ số mơ hình mạng huấn luyện trước tập liệu ImageNet, sau q trình huấn luyện với ảnh có đám cháy SỐ 67 (8-2021) Từ Bảng thấy độ xác lớn đạt hệ thống sử dụng mơ hình mạng EfficientNet-B3 với 97.5% tập test Bảng Kết so sánh với phương pháp khác TT Mơ hình mạng Độ xác tập test InceptionV1 [3] 93,4 InceptionV4 [6] 96,0 Hệ thống đề xuất 97,5 Từ Bảng thấy hệ thống đề xuất có độ xác cao cách tiếp cận cơng bố gần 85 TẠP CHÍ KHOA HỌC - CÔNG NGHỆ Điều khẳng định cách tiếp cận mà báo đề xuất đắn kết hồn tồn có khả triển khai ứng dụng thực tế Kết luận Với mục tiêu xây dựng hệ thống phát đám cháy từ hình ảnh, báo đề xuất sử dụng phương pháp học chuyển tiếp sử dụng mô hình mạng EfficientNet-B3 Mơ hình huấn luyện trước thực sở liệu công cộng ImageNet Hệ thống cài đặt ngôn ngữ Python với thư viện Tensorflow 2.4 chạy thử nghiệm hệ điều hành Windows 64 bit với máy trạm Z820 trang bị card GPU Geforce 1080 Ti có 11 GB Ram Kết thực nghiệm sở liệu ảnh công cộng cho thấy hệ thống đạt độ xác cao (97.5%) tốt so với số cách tiếp cận công bố gần Điều chứng tỏ cách tiếp cận báo đắn hiệu Trong tương lai nhóm tác giả tiếp tục thực nghiệm với sở liệu ảnh lớn hơn, sử dụng thêm kỹ thuật tăng cường liệu nhằm xác thực hiệu hệ thống đề xuất tăng độ xác lên cao Lời cảm ơn Nghiên cứu tài trợ Trường Đại học Hàng hải Việt Nam đề tài mã số: DT20-21.52 TÀI LIỆU THAM KHẢO [1] Nghị định 79/2014/NĐ-CP hướng dẫn Luật Phòng cháy chữa cháy https://luatvietnam.vn/an-ninh-trat-tu/nghi-dinh79-2014-nd-cp-chinh-phu-88482-d1.html (accessed Apr 23, 2021) [2] A Krizhevsky, I Sutskever, and G E Hinton, ImageNet classification with deep convolutional neural networks, Commun ACM, Vol.60, No.6, pp.84-90, May 2017 doi: 10.1145/3065386 [3] A J Dunnings and T P Breckon, Experimentally Defined Convolutional Neural Network Architecture Variants for Non-Temporal Real-Time Fire Detection, in 2018 25th IEEE International Conference on Image Processing (ICIP), pp.1558-1562, Oct 2018 doi: 10.1109/ICIP.2018.8451657 [4] K Simonyan and A Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556 [cs], Apr 2015, 86 ISSN: 1859-316X KHOA HỌC CÔNG NGHỆ HÀNG HẢI JOURNAL OF MARINE SCIENCE AND TECHNOLOGY Accessed: Apr 22, 2021 [Online] Available: http://arxiv.org/abs/1409.1556 [5] C Szegedy et al., Going deeper with convolutions, in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, pp.1-9, Jun 2015 doi: 10.1109/CVPR.2015.7298594 [6] G S C.A., N Bhowmik, and T P Breckon, Experimental Exploration of Compact Convolutional Neural Network Architectures for Non-Temporal Real-Time Fire Detection, in 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA), pp.653658, Dec 2019 doi: 10.1109/ICMLA.2019.00119 [7] K He, X Zhang, S Ren, and J Sun, Deep Residual Learning for Image Recognition, in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770-778, Jun 2016 doi: 10.1109/CVPR.2016.90 [8] C Szegedy, S Ioffe, V Vanhoucke, and A Alemi, Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, arXiv:1602.07261 [cs], Aug 2016, Accessed: Apr 22, 2021 [Online] Available: http://arxiv.org/abs/1602.07261 [9] D Sarkar, R Bali, and T Ghosh, Hands-on transfer learning with Python: implement advanced deep learning and neural network models using TensorFlow and Keras 2019 [10] M Tan and Q V Le, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, arXiv:1905.11946 [cs, stat], Sep 2020, Accessed: Apr 22, 2021 [Online] Available: http://arxiv.org/abs/1905.11946 [11] M Sandler, A Howard, M Zhu, A Zhmoginov, and L.-C Chen, MobileNetV2: Inverted Residuals and Linear Bottlenecks, arXiv:1801.04381 [cs], Mar 2019, Accessed: Apr 22, 2021 [Online] Available: http://arxiv.org/abs/1801.04381 Ngày nhận bài: Ngày nhận sửa: Ngày duyệt đăng: 23/4/2021 02/5/2021 09/5/2021 SỐ 67 (8-2021) ... 97 B7 98,4 96,7 3.3 Hệ thống phát đám cháy Hình Thuật tốn phát đám cháy sử dụng học chuyển tiếp với mô hình mạng EfficientNet Hình minh hoạ bước hệ thống phát đám cháy đề xuất: hình ảnh từ camera... việc học vật lý Trên thực tế, phương pháp học chuyển tiếp hiệu nhiều toán nên báo đề xuất sử dụng cách tiếp cận với việc sử dụng mơ hình mạng EfficientNet huấn luyện sở liệu ảnh ImageNet [2] mạng. .. 3.1 Học chuyển tiếp Học chuyển tiếp (transfer learning) [9] phương pháp học máy cho phép sử dụng lại tham số mạng nơ ron huấn luyện toán để giải toán Điều tương tự việc sử dụng kiến thức toán học