Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên thiết bị jetson nano

Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên thiết bị jetson nano Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên thiết bị jetson nano Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên thiết bị jetson nano Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên thiết bị jetson nano

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG VŨ HÀ ANH KHĨA LUẬN TỐT NGHIỆP XÂY DỰNG ỨNG DỤNG PHÁT HIỆN LỬA DỰA TRÊN MƠ HÌNH HỌC SÂU TRÊN JETSON NANO Fire Detection Application Based on Deep Learning for Jetson Nano KỸ SƯ NGÀNH MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG TP HỒ CHÍ MINH, NĂM 2021 Lời Cảm Ơn Lời đầu tiên, nhóm xin trân trọng cảm ơn quý thầy, cô công tác giảng dạy khoa Mạng máy tính Truyền thơng, tồn thể thầy, khác cơng tác trường Đại học Công nghệ Thông tin – ĐHQG HCM truyền đạt kiến thức, học, kinh nghiệm quý báu cho nhóm suốt quãng thời gian bốn năm vừa qua Và xếp thời gian, chương trình hợp lý để nhóm có hội hồn thành khóa luận tốt nghiệp tốt Nhóm xin kính chúc khoa Mạng máy tính Truyền thơng nói riêng trường Đại học Cơng nghệ Thơng tin nói chung ln thành công rực rỡ đường giảng dạy đào tạo nhân tài, niềm tin vững cho hệ sinh viên đường giáo dục Đặc biệt, nhóm xin gửi lời cảm ơn chân thành đến giảng viên hướng dẫn, TS Lê Kim Hùng Nhờ kinh nghiệm, học quý báu chia sẻ từ thầy, thầy quan tâm giúp đỡ nhóm giải vấn đề phát sinh, khó khăn q trình thực Nhờ có thầy, nhóm có hội hồn thành tốt khóa luận tốt nghiệp Tiếp theo, nhóm xin cảm ơn phía gia đình ln ln tin tưởng, động viên nhóm suốt trình học tập trường Đại học Cơng nghệ Thơng tin – ĐHQG HCM, giúp nhóm có thêm nguồn lượng để đến ngày hơm Cuối cùng, nhóm nhóm xin gửi lời cảm ơn đến anh, chị bạn sinh viên trường Đại học Công nghệ Thông tin – ĐHQG HCM ln nhiệt tình hỗ trợ, chia sẻ ý kiến góp ý cho nhóm quãng thời gian thực khóa luận MỤC LỤC TĨM TẮT ĐỀ TÀI CHƯƠNG : MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Đối tượng nghiên cứu kết mong muốn 1.4 Các đề tài liên quan đến nghiến cứu CHƯƠNG : CƠ SỞ LÝ THUYẾT 2.1 Các khái niệm thị giác máy tính máy học 2.1.1 Bài toán phát vật thể (Object Detection) 2.1.1.1 Giới thiệu thị giác máy tính 2.1.1.2 Định nghĩa Object Detection 2.1.2 Khái niệm Deep Learning Machine Learning 2.1.2.1 Machine Learning (Máy học) 2.1.2.2 Deep Learning ( Học sâu ) 2.2 Các thuật ngữ đề tài 11 2.3 Mơ hình Yolo 13 2.3.1 Giới thiệu mạng Yolo ( Yolo Network ) 13 2.3.2 Lịch sử phát triển Yolo 13 2.3.3 Các đánh giá Yolo 14 2.3.4 Kiến trúc mạng Yolo 15 2.3.5 Nguyên lý hoạt động Yolo 18 2.3.5.1 Các cơng thức tính tốn Yolo 19 2.4 Tensorflow – TensorRT 23 2.4.1 Giới thiệu Tensorflow 23 2.4.2 TensorRT 24 2.4.2.1 Định nghĩa TensorRT 24 2.4.2.2 Chu trình chuyển đổi sang TensorRT 25 2.5 Thiết bị Jetson Nano 26 2.5.1 Giới thiệu chung 26 2.5.2 Cấu hình chi tiết 27 2.6 Giao thức MQTT ( Message Queuing Telnhómetry) 27 2.6.1 Khái niệm MQTT 27 2.6.2 Tính đặc điểm bật 28 2.6.3 Mơ hình hoạt động MQTT 29 2.6.3.1 Thành phần chế hoạt động 29 2.6.3.2 Kiến trúc MQTT 30 2.7 Điện toán biên (Edge Computing) 31 2.7.1 Giới thiệu Edge Computing 31 2.7.2 Nguyên lý hoạt động 32 2.8 Thingsboard 33 CHƯƠNG : MƠ HÌNH ỨNG DỤNG 35 3.1 Mơ tả mơ hình 35 3.1.1 Cách thành phần 35 3.1.2 Nguyên lý hoạt động 36 3.1.3 Lý thực ứng dụng thiết bị nhúng 37 3.2 Cài đặt thư viện môi trường cần thiết 38 3.2.1 Cài đặt thư viện tiên 38 3.2.2 Darknet 39 3.3 Chuẩn bị gán nhãn liệu đầu vào 40 3.3.1 Gán nhãn liệu 41 3.4 Cấu hình huấn luyện mơ hình 41 3.4.1 Nguyên lý hoạt động q trình huấn luyện mơ hình 41 3.4.2 Cấu hình mơ hình huấn luyện 42 3.4.3 Kiểm thử mơ hình 45 3.5 Thiết lập cho Jetson Nano 46 3.5.1 Cài đặt hệ điều hành 46 3.6 Tối ưu hóa mơ hình 47 3.6.1 Các bước thực tối ưu hóa mơ hình 47 3.6.2 Kết đạt sau tối ưu 49 3.7 Cài đặt Dashboard dựa tảng Thingsboard 52 CHƯƠNG : TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 53 4.1 Sơ đồ triển khai ứng dụng thiết bị 53 4.2 Thiết lập Streaming Server 54 4.3 Thiết lập Thingsboard 55 4.4 Thiết lập Rule chain ( điều kiện để phát cảnh báo ) 57 4.5 Đánh giá kết mơ hình 58 4.5.1 Chạy thử nghiệm mơ hình 58 4.5.2 Thơng số chi tiết mơ hình thử nghiệm 64 4.6 Chạy thực nghiệm 70 CHƯƠNG : TỔNG KẾT QUÁ TRÌNH VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 73 5.1 Kết đạt 73 5.2 Hướng phát triển 73 TÀI LIỆU THAM KHẢO 75 Danh mục hình ảnh Hình 2.1 Sơ đồ tác vụ thị giác máy tính Hình 2.2 Luồng hoạt động Machine Learning Hình 2.3 Biểu diễn mạng neural Deep Learning 10 Hình 2.4 Biểu đồ đánh giá mơ hình phổ biến 14 Hình 2.5 Kiến trúc mạng Yolo 15 Hình 2.6 Biểu diễn mơ hình hoạt dộng Yolo 18 Hình 2.7 Mơ tham số đầu đầu vào 19 Hình 2.8 Cơng thức tính IoU 20 Hình 2.9 Định vị tham số Localization Loss 22 Hình 2.10 Quá trình hình thành sản phẩm dựa TensorRT 25 Hình 2.11 Thiết bị Jetson Nano 26 Hình 2.12 Ví dụ luồng hoạt động MQTT 29 Hình 2.13 Kiến Trúc MQTT 30 Hình 2.14: Sơ đồ hoạt động Edge Computing 32 Hình 2.15 Kiến trúc Thingsboard 33 Hình 3.1 Mơ hình ứng dụng triển khai 35 Hình 3.2: Nội dung file Makefile ý nghĩa dòng lệnh cài đặt 39 Hình 3.3: Dữ liệu huấn luyện đầu vào 40 Hình 3.4 Phần mềm gán nhãn hình ảnh 41 Hình 3.5 Liên kết đường dẫn hình ảnh liệu đầu vào 42 Hình 3.6 Nội dung file cấu hình mơ hình huấn luyện 43 Hình 3.7 Kết thu sau huấn luyện mơ hình 45 Hình 3.8 Kết kiểm thử mơ hình Camera 45 Hình 3.9 Kết kiểm thử mơ hình tập Test Set 46 Hình 3.10 Hệ điều hành Jetpack 47 Hình 3.11 File onnx 48 Hình 3.12 File trt 48 Hình 3.13 So sánh kích thước mơ hình 49 Hình 3.14 Thử nghiệm mơ hình TensorRT 49 Hình 3.15 Kiến trúc mơ hình chưa tối ưu 50 Hình 3.16 Kiến trúc mơ hình tối ưu 51 Hình 3.17 Giao diện Thingsboard sau cài đặt thành công 52 Hình 4.1 Mơ hình triển khai thực nghiệm 53 Hình 4.2 Hình ảnh Streaming Server 54 Hình 4.3 Khởi tạo thiết bị Thingsboard 55 Hình 4.4 Khởi tạo thiết bị Thingsboard 55 Hình 4.5 Lấy mã Token Thingsboard 56 Hình 4.6 Dashboard quản lý ứng dụng phát lửa 57 Hình 4.7 Rule Chain 57 Hình 4.8 Thiết lập điều kiện Rule chain 58 Hình 4.9 Kết huấn luyện YOLOv3-tiny 59 Hình 4.10 Thử nghiệm YOLOv3-tiny 60 Hình 4.11 Kết huấn luyện YOLOv4-tiny 61 Hình 4.12 Kết thử nghiệm YOLOv4-tiny 61 Hình 4.13 Kết huấn luyện YOLOv5 62 Hình 4.14 Kết thử nhiệm YOLOv5 63 Hình 4.15 Kiến trúc YOLOv5 68 Hình 4.16 Khởi động hệ thống 70 Hình 4.17 Kết thử nghiệm 71 Hình 4.18 Kết thử nghiệm 71 Hình 4.19 Thingsboard phát cảnh bảo 72 Hình 4.20 Email cảnh báo 72 Danh mục bảng Bảng 2.1 Bảng phân lớp kiến trúc Yolo 17 Bảng 3.1 Danh sách thư viện cần cài đặt 38 Bảng 3.2 Diễn giải tham số file cấu hình 44 Bảng 4.1 Các thông số thu Laptop 64 Bảng 4.2 Các thông số thu Jetson Nano 65 Bảng diễn giải thuật ngữ viết tắt TỪ NỘI DUNG DIỄN GIẢI AI Artificial Intelligence CUDA Compute Unified Device Architecture Kiến trúc tính tốn song song Trí tuệ nhân tạo NVDIA GPU FPS Frames per second Tốc độ khung hình (Số khung hình hiển thị giây) MQTT Yolo Message Queueing Telnhómetry Giao thức truyền thơng điệp qua Transport mạng You only look once Mơ hình nhận dạng vật thể TÓM TẮT ĐỀ TÀI Trong đề tài này, nhóm tập trung vào vấn đề sau: xây dựng mơ hình phát đám cháy áp dụng công nghệ học sâu, phát vật thể thời gian thực qua Camera, đánh giá hiệu mơ hình nhận diện vật thể triển khai ứng dụng lên bảng quản lý Web Server Các mơ hình sử dụng để phát lửa đề tài bao gồm: phiên Yolo (YOLOv3, YOLOv4, YOLOv5) tối ưu hóa định dạng TensorRT, Tflite Tuy nhiên, mơ hình thích hợp chạy thiết bị có cấu hình cao với CPU GPU mạnh, để đưa vào chạy thiết bị cấu hình thấp ta cần phải qua bước tối ưu, cấu hình thiết lập khác nhau, phương pháp trình bày sau báo cáo Thiết bị Jetson Nano phiên 2Gb sử dụng để thực thi mơ hình đề tài Với nhớ RAM có 2Gb nên thiết bị ln xảy tình trạng thiếu nhớ trình phát lửa Để đảm bảo q trình diễn thơng suốt, khóa luận sử dụng số cấu trúc rút gọn mơ hình nhiên đảm bảo độ xác mức ổn định đào tạo đưa liệu vào Đồng thời, việc chuẩn bị gán nhãn liệu huấn luyện phải đảm bảo cẩn thận, nhằm tránh trường hợp mơ hình nhận diện sai vật thể Ví dụ thực thi mơ hình phát lửa, ánh đèn bóng đèn điện thường bị nhận diện nhầm, việc lựa chọn hình ảnh cần lựa chọn kỹ càng, tránh hình ảnh khiến mơ hình bị hiểu nhầm tìm kiếm vật thể Sau thực xây dựng mơ hình nói trên, kết luận đưa giải pháp sử dụng mơ hình TensorRT thiết bị Jetson Nano phương án thích hợp việc phát triển ứng dụng phát lửa thiết bị Jetson Nano Tflite chạy tốt thiết bị nhúng hãng khác Nvdia CHƯƠNG : MỞ ĐẦU 1.1 Đặt vấn đề Hiện để phát lửa có nhiều phương pháp, ví dụ như: quan sát mắt thường người, hệ thống vệ tinh, cảm biến khơng khí MQ-135, hệ thống xử lý hình ảnh,… Quan sát mắt thường phương pháp truyền thống, nhiên không thiết thực có hỏa hoạn xảy Hệ thống vệ tinh cần thời gian quét dài cung cấp hình ảnh đám cháy theo thời gian thực Cảm biến MQ-135 mang lại nhầm lẫn khói bụi từ mơi trường bình thường khói đám cháy, việc phân biến số lượng cảm biến lớn ngồi tự nhiên khơng phù hợp với tính chất tiết kiệm chi phí Từ phương pháp ta thấy, kỹ thuật xử lý hình ảnh đem lại ưu điểm vượt trội, cần máy quay chất lượng cao, người dùng giám sát cánh rừng vài hecta, đồng thời phương pháp cung cấp chi tiết ba yếu tố đám cháy màu sắc, chuyển động kết cấu Trong đề tài này, nhóm đánh giá hiệu xây dụng mơ hình Deep Learning phát lửa ba phiên mơ hình nhận diện vật thể Yolo Sau lựa chọn mơ hình có hiệu suất cao nhất, bước tối ưu hóa thực hiện, mơ hình ban đầu hoạt động định dạng TensorRT- định dạng hỗ trợ tốt cho thiết bị hãng Nvdia Yolo mơ hình phát vật thể tiếng phổ biến với khả xử lý hình ảnh thời gian thực, vật thể nhỏ, ln có tỷ lệ phát xác thấp Tuy nhiên đề tài này, nhóm có khắc phục nhược điểm cách đưa hình ảnh lửa có kích thước nhỏ vào tệp huấn luyện, điều chỉnh thông số kích thước, độ lọc ảnh Ngồi ra, việc tối ưu mơ hình mang đến hiệu đáng kể việc tiết kiệm tài nguyên máy tính nhúng - Mơ hình YOLOv4 nhận diện tốt tất vật thể, tất vật thể có tỉ lệ khớp liệu 80% cao nhiều so với YOLOv3-tiny - Thời gian phản hồi kết nhận diện nhanh C YOLOv5 Khác biệt với hai phiên trên, YOLOv5 phát triển tảng Pytorch cấu hình sẵn tham số để huấn luyện mơ hình Với IoU 0.5, độ xác YOLOv5 đạt 95% sau khoảng hai tiếng đồng hồ huấn luyện Kết thu được: Hình 4.13 Kết huấn luyện YOLOv5 62 Hình 4.14 Kết thử nhiệm YOLOv5 Nhận xét: - Mơ hình có hiệu suất cao độ khớp liệu vật thể xấp xỉ 90% - Xử lý khung hình 480p chưa tốt, mơ hình phù hợp phát trở lên điều kiện camera có độ phân giải cao - Tiêu thụ lượng lớn tài ngun máy tính 63 4.5.2 Thơng số chi tiết mơ hình thử nghiệm Để đưa lựa chọn xác mơ hình, nhóm thực xây dựng nhiều mơ hình, từ hiệu biểu diễn, lựa chọn xác cải thiện chất lượng sau tiến hành sử dụng thiết bị Jetson Nano Các mơ hình ban đầu xây dựng Laptop YOLOv3, YOLOv4, YOLOv5, với kết sau đây: FPS Mơ hình CPU GPU RAM Độ Độ xác mát 19.5 75.7% 3.16% 22.5 98% 2.2% 30 95% 2% trung bình YOLOv3tiny YOLOv4tiny YOLOv5s 22.10% 9% 21.70% 10% 15% 15% 1961.5 MB 1961.5 MB 2857 MB YOLOv4- thước 34Mb 23Mb 28Mb 23Mb Tflite (tối ưu từ Kích 10% 15% 1556Mb 30 98% tiny) Bảng 4.1 Các thông số thu Laptop 64 2.2% Mô hình xây dựng Laptop có cấu hình:  Memory: 16384MB RAM  CPU: AMD Ryzen 4600H with Radeon Graphics (12 CPUs), ~3.0GHz  GPU : NVIDIA GeForce GTX 1650 Ti, Memory: 13000MB VRAM FPS Mơ hình CPU GPU RAM Độ trung xác bình YOLOv3tiny YOLOv4tiny 96% 84% 1.41Gb 88% 64% 1,45Gb Độ Kích thước mát 75.7% 3.16% 98% 2.2% 34Mb 23Mb Không thể chạy Jetson Nano phiên 2Gb, cẩn load YOLOv5s Camera lên hệ thống báo lỗi thiếu nhớ hay bị sập nguồn TensorRT (tối ưu từ YOLOv4- 32Mb 50% 90% 1,2Gb 20 98% 2.20% tiny) Tflite (tối ưu từ YOLOv4- 23Mb 90% 0% 1,8Gb 7.5 98% 2.20% tiny) Bảng 4.2 Các thông số thu Jetson Nano 65 Nhận xét kết đánh giá mơ hình: A YOLOv3 YOLOv4 - Số lượng RAM sử dụng hai mơ hình tương đương o Ngun nhân: Hai mơ hình sử dụng chung tảng Darknet để chạy đào tạo mơ hình Ngồi ra, chạy hai thiết bị Laptop Jetson Nano, số lượng khung hình giây hai mơ hình khơng chênh lệnh q nhiều, máy tính khơng cần sử dụng thêm nhớ để xử lý hình ảnh, lượng RAM sử dụng khơng có chênh lệch lớn hai phiên - Sau 10000 interation, YOLOv4 đạt hiệu cao YOLOv3 độ xác, độ mát, FPS o Nguyên nhân: Trong file cấu hình YOLOv3-tiny có 13 lớp Convolutional, YOLOv4-tiny có 21 lớp Convolutional Điều dẫn đến khả xử lý hình ảnh độ xác huấn luyện YOLOv4 cao YOLOv3 qua nhiều lớp xử lý  Về kích thước: YOLOv3 có kích thước lớn nhiều so với YOLOv4 Ở phiên YOLOv4, tác giả Alexey tối ưu mơ hình Pretrain từ đầu, dẫn đến việc sau huấn luyện mô hình tùy chỉnh, khơng sinh mơ hình có kích thước lớn YOLOv3  Độ xác vượt trội YOLOv4 ngun nhân khiến mơ hình sử dụng CPU GPU so YOLOv3 Khi khung hình có chứa lửa, YOLOv4 với độ xác cao dùng vịng lặp YOLOv3 để nhận diện vật thể vẽ Bounding Box xung quanh Từ đó, dẫn đến việc tiết kiệm tài nguyên máy tính 66 B YOLOv5 - YOLOv5 phiên mơ hình phát vật thể “You only look once” Tuy không coi phiên thứ thức, có nhiều cải tiến đạt hiệu cao với tỉ lệ xác lên đến 95% - Khác với hai phiên YOLOv3 YOLOv4, YOLOv5 chạy tảng Pytorch Đối với tảng này, việc khởi động mơ hình dẫn đến tiêu thụ lượng lớn RAM, thực thiết bị Jetson Nano phiên 2Gb load hình ảnh từ Camera - YOLOv5s có lớp Convolutional giúp mơ hình giảm q trình xử lý hình ảnh, nâng cao số khung hình giây Tuy nhiên, việc nối tiếp lớp BottleneckCSP giúp khả nhận diện vật thể đảm bảo - YOLOv5 có s/m/l, theo thứ tự nhỏ/vừa/lớn, YOLOv5 nhóm phát triển Ultralystic cấu hình sẵn khơng thể thay đổi thông số YOLOv3 YOLOv4 Điều dẫn đến độ ổn định mơ hình ta thực hai lần huấn luyện khác tệp dataset số vịng huấn luyện YOLOv5 trả kết - Việc tối ưu hóa mơ hình YOLOv5 có độ khó cao, thường xảy lỗi xung đột phiên thư viện với hệ điều hành Jetpack Jetson Nano, TensorRT 5.5 (phiên nhất) tảng Pytorch mà YOLOv5 sử dụng chưa có tương thích với Khi nhóm thực nghiệm tối ưu Jetson Nano, việc Debug diễn tiếng đồng hồ mà khơng có tham số trả - Kết luận: YOLOv5 mô hình phù hợp chạy máy tính có nhớ cao, tối thiểu 4Gb RAM 67 Hình 4.15 Kiến trúc YOLOv5 ( Nguồn : https://github.com/ultralytics/YOLOv5 ) C TensorRT Tflite - TensorRT Tflite hai mơ hình nhóm tối ưu từ mơ hình đạt hiệu suất cao YOLOv4-tiny Nhóm đạt kết có so sánh sau đây: o Về Tflite:  Tflite tối ưu hóa TensorRT phát triển, phù hợp chạy thiết bị Google Coral, PC, thiết bị di động sử dụng hệ điều hành Android 68  Tflite không hãng Nvidia hỗ trợ chạy thiết bị Jetson Nano, cấu hình sử dụng GPU thiết bị, chạy ứng dụng phát lửa GPU khơng hoạt động Tuy khơng ảnh hưởng đến độ xác, chưa phải kết nhóm mong muốn  Khi Tflite chạy Laptop, mơ hình đạt hiệu suất cao, với lượng tài nguyên máy tính tiêu thụ thấp lại đạt hiệu suất cao đạt tới mức 30 FPS có xu hướng tăng lên kết nối Camera chất lượng có khả bắt nhiều khung hình giây  Kết luận: Tflite biện pháp tốt để tối ưu mô hình Trong tương lại, nhóm có điều kiện sử dụng mơ hình để thực thi thiết bị Coral o Về TensorRT:  TensorRT người dùng Jetson Nano đánh giá tối ưu tốt để chạy mơ hình ứng dụng học sâu thiết bị nhúng Với hỗ trợ nhà sản xuất, TensorRT hỗ trợ tương thích hệ tính tốn song song GPU (CUDA) Jetson Nano, dẫn đến việc sử dụng mơ hình này, đạt hiệu suất cao FPS, tiết kiệm tài ngun máy tính RAM, CPU  Nhược điểm mơ hình chạy thiết bị nhúng hãng Nvdia khơng có đa dạng thiết bị sử dụng 69 Lý chọn mô hình YOLOv4-tiny để tối ưu hóa: Từ bảng thơng số, phân tích đánh giá kết thực nghiệm trên, nhận thấy mơ hình YOLOv4-tiny thích hợp để tối ưu hóa sang TensorRT mơ hình phù hợp với thiết bị Jetson Nano Mơ hình tối ưu từ YOLOv4 giúp thiết bị có cấu hình thấp nhiều lần so với máy tính, laptop xây dựng hệ thống ứng dụng chạy với hiệu cao Từ đó, đáp ứng yêu cầu khóa luận xây dựng ứng dụng phát lửa thiết bị có cấu hình thấp, phát lửa thời gian thực 4.6 Chạy thực nghiệm Tại máy tính, SSH vào thiết bị Jetson Nano hình Để thực ứng dụng, ta phải đồng thời khởi động ứng dụng lửa hệ thống Streaming lúc Hình 4.16 Khởi động hệ thống Sau hệ thống khởi động, bảng điều khiển Thingsboard xuất thông số bao gồm hình ảnh trực tiếp từ Camera, FPS, khả xảy hỏa hoạn, số vị trí cháy ( có lửa phát ) Ta thấy hình Mặc dù mơ hình trải qua q trình đưa khung hình lên Streaming Server đảm bảo khả phát đầy đủ vật thể Đảm bảo FPS cao (trung bình 20) 70 Hình ảnh 4.17 tiến hành kiểm thử hình ảnh lửa lấy từ điện thoại động hình ảnh 4.18 kiểm thử lửa thật Đồng thời hai mẫu kiểm thử đạt kết tốt Hình 4.17 Kết thử nghiệm Hình 4.18 Kết thử nghiệm 71 Hình 4.19 Thingsboard phát cảnh bảo Khi xuất hỏa hoạn Email gửi đến nhằm cảnh báo người dùng Hình 4.20 Email cảnh báo 72 CHƯƠNG : TỔNG KẾT QUÁ TRÌNH VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 5.1 Kết đạt Trong trình nghiên cứu thực khóa luận này, nhóm đạt số kết định, kể đến như:  Nghiên cứu kiến thức máy học, học sâu, thị giác máy tính Hiểu cách xây dựng mơ hình phát vật thể để giải vấn đề xã hội  Có thêm kiến thức lập trình ngơn ngữ Python với việc sử dụng thư viện Nắm bắt cách thức vận hành hệ thống IoT đại  Tiếp cận phân tích nhiều mơ hình phát vật thể, xây dựng riêng hệ thống cảnh báo hoạt động hiệu  Tạo liệu thu thập riêng cho hệ thống, tổng hợp số liệu có sẵn khác hỗ trợ cho nghiên cứu sau  Sử dụng hiệu thiết bị nhúng có cấu hình thấp phục vụ việc xây dựng mơ hình Deep Learning, tiết kiệm tài ngun máy tính, có khả phát lửa thời gian thực 5.2 Hướng phát triển Sự phát triển công nghệ thời đại 4.0 tạo nên nhiều ứng dụng có khả áp dụng tốt sống người Chính thế, dự án ln phải đổi cập nhật để tối ưu hiệu suất chi phí Định hướng phát triển tương lai:  Phát triển đề tài dựa nhiều mơ hình khác nhau, tối ưu hóa triển khai nhiều thiết bị máy tính, nhúng, di động,… Ví dụ : Tflite thiết bị Google Coral, hệ điều hành Android Đặc biệt, mơ hình có khả chạy ổn định thiết bị có cấu hình thấp 73  Hoàn thiện hệ thống cảnh báo sớm tảng tự phát triển mà không cần qua phần mềm mã nguồn mở  Phát triển tập Dataset riêng, có độ xác cao, nhận diện góc cạnh đối tượng Phát lửa thời gian sớm 74 TÀI LIỆU THAM KHẢO Tiếng Anh: Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection” submitted to arXiv:2004.10934, 23 Apr 2020 Glenn-Jocher, Ultralystic, “YOLOv5 Documentation”, https://github.com/ultralytics/YOLOv5 Hamilton, Eric (27 December 2018) “What is Edge Computing: The Network Edge Explained” cloudwards.net Retrieved 2019-05-14 Joseph Redmon, Ali Farhadi, “YOLOv3: An Incremental Improvement”, ”, submitted to arXiv:1804.02767, Apr 2018 Lê Việt Hùng, “Tensorflow-YOLOv4-Tflite”, https://github.com/hunglc007/tensorflow-YOLOv4-tflite Nvdia TensorRT Documentation, https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html Shixiao Wu, Libing Zhao, “Using Popular Object Detection Methods for Real Time Forest Fire Detection”, submitted to 2018 11th International Symposium on Computational Intelligence and Desgin ShreedharNiradi, AsmitaNagathan, LaxmiSampagavi, Kmounika, KrupaDandage, “Implementation of Forest Fire Detection System using IoT Neural Network”, IRJET volume:07 Iussue: 04 | Apr 2020 Thingsboard User guide, https://thingsboard.io/docs/user-guide 75 Tiếng Việt Nguyễn Việt Hồng, Tìm hiểu Yolo tốn Realtime Object Detection ,https://viblo.asia/p/tim-hieu-ve-yolo-trong-bai-toan-realtime-object-detection-yMnKMdvr57P Phạm Đình Khanh, Tìm hiểu Object Detection, https://phamdinhkhanh.github.io/ Tiep Vu Huu, Machine Learning bản, toán biên, https://machinelearningcoban.com/ Trịnh Duy Thanh, Tìm hiểu https://bkhost.vn/posts/edge-computing-la-gi 76 điện ... khai 3.1 Mơ tả mơ hình 3.1.1 Cách thành phần Hình biểu diễn mơ hình triển khai ứng dụng phát lửa chạy biết bị nhúng Jetson Nano Mô hình ứng dụng gồm thành phần sau: Mơ hình học sâu huấn luyện ban... Nguyên lý hoạt động Ứng dụng phát lửa chạy thiết bị Jetson Nano có Camera kết nối với thiết bị qua cổng USB Ứng dụng chạy với luồng hoạt động sau sau: Khởi động ứng dụng phát lửa hệ thống Streaming... hình ảnh cần lựa chọn kỹ càng, tránh hình ảnh khiến mơ hình bị hiểu nhầm tìm kiếm vật thể Sau thực xây dựng mơ hình nói trên, kết luận đưa giải pháp sử dụng mơ hình TensorRT thiết bị Jetson Nano