5.1.! Kết luận
- Sau quá trình thực hiện các mục tiêu, nhiệm vụ đặt ra của đề tài luận văn Thạc sĩ gồm quá trình huấn luyện các mơ hình Deep Learning, tối ưu hố - triển khai các mơ hình lên Triton Serving và xây dựng hệ thống giám sát thông minh cho trạm biến áp. Ta thu được các kết quả như sau:
Kết quả huấn luyện
- Mơ hình Object Detection để nhận diện người trong trạm biến áp, luận văn sẽ sử dụng mô hình YOLOv5-m có độ chính xác 64.2% mAP, 88.6% AP@50 (Bảng 4.1) trên tập dữ liệu thực tế trong TBA. Kết quả này tốt hơn các mơ hình pretrained.
- Mơ hình Classification để phân loại ảnh người có hoặc khơng đội mũ bảo hộ nhằm phục vụ cho bài tốn phát hiện người khơng đội mũ bảo hộ. Luận văn sử dụng model ResNet-50 có độ chính xác Precision là 91.5% và Recall là 98.7%.
Kết quả tối ưu
- Sau khi tối ưu mơ hình YOLOv5-m về độ chính xác FP16, luận văn sử dụng mơ hình YOLOv5-m-FP16 để triển khai lên Triton Serving phục vụ cho quá trình suy luận AI của hệ thống với độ chính xác ở mức 54.7% mAP và 79.43% AP@50 (Bảng 4.2).
- Về tốc độ xử lý, mơ hình YOLOv5-m-FP16 đạt 293 FPS (Bảng 4.3).
Kết quả triển khai mơ hình
- Sau khi triển khai mơ hình YOLOv5-m-FP16 lên Triton Serving kết hợp với thư viện DALI để tích hợp q trình pre-processing và post-processing thì tốc độ tốt nhất khi thực thi mơ hình trên GPU RTX 3090 đạt 441 FPS (Bảng 4.5).
Kết quả khi thực thi tại Edge Device
- Thuật toán phát hiện chuyển động dùng CUDA OpenCV, tốc độ xử lý đạt 324 FPS (Bảng 3.5) khoảng 3,09 ms cho một ảnh.
- Tốc độ suy luận AI tốt nhất là gửi về Server để thực thi bằng mô hình YOLOv5-m-DALI với tốc độ khoảng 168 FPS – độ trễ khoảng 6ms khi kích thước ảnh 360x640 (Bảng 4.7).
- Từ 2 kết quả trên, tổng thời gian xử lý một ảnh tại Edge Device khi phân tích AI là 9,09 ms cho một ảnh. Với tốc độ của các camera là 25FPS tức 40ms một ảnh kết quả xử lý AI nêu trên là hoàn toàn đáp ứng được cho 4 camera trên một thiết bị Edge Device để đạt tốc độ real-time.
Kết quả xây dựng hệ thống giám sát
- Luận văn đã xây dựng được một hệ thống giám sát để điều khiển các thiết bị Edge Device, xử lý tín hiệu từ các camera và gửi cảnh báo về cho phần mềm giám sát.
Tổng hợp công việc đã thực hiện
- Bảng 5.1 tổng hợp tất cả các loại mơ hình Deep Learning mà luận văn đã sử dụng với các mục đích khác nhau như huấn luyện, tối ưu hay dùng để đánh giá về độ chính xác cũng như hiệu năng. Các mơ hình có trạng thái trained là mơ hình được huấn luyện trong luận văn, pre-trained là các mơ hình đã được huấn luyện và cơng bố trong các đề tài nghiên cứu trước đó.
Bảng 5.1. Tổng hợp các mơ hình Deep Learning đã sử dụng trong luận văn
Tên Mục đích sử dụng Loại Trạng thái
EfficientDet-D1 Huấn luyện, tối ưu và đánh giá
Object Detection
trained
YOLOv5-m Huấn luyện, tối ưu và đánh giá trained
SSD-Mobilenet-v1 Đánh giá độ chính xác pre-trained SSD-Resnet50-v1 Đánh giá độ chính xác EfficientDet-D0 Đánh giá độ chính xác EfficientDet-D1 Đánh giá độ chính xác YOLOv5-s Đánh giá độ chính xác YOLOv5-m Đánh giá độ chính xác
YOLOv4-tiny Đánh giá hiệu năng tại Edge Device
- Các framework, tool, thư viện hay phần cứng … đã sử dụng để thực hiện đề tài luận văn được tổng hợp trong Bảng 5.2.
Bảng 5.2. Tổng hợp các công cụ được sử dụng trong luận văn
STT Tên Nơi sử dụng Mục đích
Huấn luyện mơ hình
1 TensorFlow Server Huấn luyện mơ hình EfficientDet
2 Pytorch Server Huấn luyện mơ hình YOLOv5 và ResNet-50 3 DarkNet Server Huấn luyện mơ hình YOLOv4-tiny
4 NVIDIADocker Server Mơi trường để huấn luyện mơ hình
5 TensorBoard Server Hiển thị thơng số của q trình huấn luyện
Tối ưu hố mơ hình
6 TF-TensorRT Server Tối ưu hố mơ hình EfficientDet
7 TensorRT Server Tối ưu hố mơ hình YOLOv5 và ResNet-50
Triển khai hệ thống
8 Triton Serving Server Suy luận AI
9 DALI Server Pre và post-processing tại Triton Serving 10 FastAPI Server Lập trình API Service
11 RabbitMQ Server Nhận dữ liệu trả về từ Edge Device 12 TensorBoard Server Thể hiện thông số của camera 13 Tkinter Server Lập trình giao diện giám sát
14 FFMPEG Server Giả lập luồng RTSP camera từ video 15 Docker Server - ED Mơi trường thực thi tồn bộ hệ thống 16 PostgreSQL Server - ED Lưu trữ dữ liệu
17 gRPC Server - ED Giao thức truyền dữ liệu ED - Triton Serving 18 DeepStream Edge Device Decoding hình ảnh
19 OpenCV Edge Device Xử lý ảnh
20 CUDAOpenCV Edge Device Thuật toán phát hiện chuyển động
Phần cứng
21 RTX 3090 Server Thực thi các suy luận AI trên Server 22 JetsonNano Edge Device Thực thi các tác vụ tại Edge Device
5.2.! Hướng phát triển
Từ các kết quả đạt được, để triển khai hệ thống giám sát vào thực tế cần phải cải thiện thêm một số yếu tố:
- Phát triển thêm các bài toán cần thiết trong trạm biến áp như báo cháy, phân tích hành vi để cảnh báo chính xác các hành vi phá hoại, …
- Cải thiện độ chính xác của các mơ hình DL dựa vào dữ liệu thu thập trong quá trình vận hành hệ thống thực tế.
- Cải thiện tốc độ truyền tải dữ liệu giữa Server – Edge Device bằng cách nâng cấp hạ tầng mạng tại trạm biến áp để cải thiện tốc độ xử lý.
- Cần phát triển thêm các tính năng bảo mật vào hệ thống vì dữ liệu của camera là rất nhạy cảm đặc biệt là ở các nơi trọng yếu như trạm biến áp.
- Hoàn thiện lại giao diện giám sát cho đẹp mắt, phát triển thêm các tính năng như xem được nhiều camera cùng một lúc, xem được lịch sử cảnh báo hay vẽ đồ thị tốc độ của các camera trong hệ thống
- Xây dựng thêm một server để lưu trữ hình ảnh có cảnh báo để phục vụ cho quá trình xem lại lịch sử cảnh báo.