Huấn luyện, tối ưu và triển khai mô hình nhận diện người trên hệ thống giám sát của trạm biến áp

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HOÀNG PHI LONG HUẤN LUYỆN, TỐI ƯU VÀ TRIỂN KHAI MƠ HÌNH NHẬN DIỆN NGƯỜI TRÊN HỆ THỐNG GIÁM SÁT CỦA TRẠM BIẾN ÁP TRAINING, OPTIMIZING, AND DEPLOYING PERSON DETECTION MODEL FOR POWER SUBSTATION’S SURVEILLANCE SYSTEM Chuyên ngành: Kỹ Thuật Điều Khiển Tự Động Hoá Mã số: 8520216 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng năm 2022 Cơng trình hồn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán hướng dẫn khoa học : TS Phạm Việt Cường Cán chấm nhận xét : TS Nguyễn Trọng Tài Cán chấm nhận xét : PGS.TS Lê Mỹ Hà Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 24 tháng 06 năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: GS.TS Hồ Phạm Huy Ánh - Chủ tịch TS Nguyễn Vĩnh Hảo - Thư ký TS Nguyễn Trọng Tài - Phản biện PGS.TS Lê Mỹ Hà - Phản biện TS Nguyễn Ngọc Sơn - Uỷ viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Ngày, tháng, năm sinh: Nguyễn Hoàng Phi Long 12/01/1997 MSHV: 1970437 Nơi sinh: TP Hồ Chí Minh Chuyên ngành: Kỹ Thuật Điều Khiển Tự Động Hoá Mã số : 8520216 I TÊN ĐỀ TÀI: HUẤN LUYỆN, TỐI ƯU VÀ TRIỂN KHAI MƠ HÌNH NHẬN DIỆN NGƯỜI TRÊN HỆ THỐNG GIÁM SÁT CỦA TRẠM BIẾN ÁP TRAINING, OPTIMIZING, AND DEPLOYING PERSON DETECTION MODEL FOR POWER SUBSTATION’S SURVEILLANCE SYSTEM NHIỆM VỤ VÀ NỘI DUNG: - Nhiệm vụ: Giải toán thực tế trạm biến áp phát người đột nhập vào trạm biến áp, người vi phạm phạm vi làm việc cho phép người không đội mũ bảo hộ - Nội dung: Huấn luyện mơ hình nhận diện người, tối ưu hố triển khai mơ hình Xây dựng hệ thống giám sát thông minh trạm biến áp II NGÀY GIAO NHIỆM VỤ: 14/02/2022 III NGÀY HOÀN THÀNH NHIỆM VỤ: 06/06/2022 IV.CÁN BỘ HƯỚNG DẪN: TS Phạm Việt Cường TP HCM, ngày 24 tháng 06 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ i LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn đến gia đình ln động lực, điểm tựa vững để tơi có thêm tâm vượt qua khó khăn suốt q trình học tập, rèn luyện Tiếp theo, xin chân thành gửi lời cảm ơn sâu sắc đến thầy Phạm Việt Cường tận tình hướng dẫn, giúp đỡ tơi mặt kiến thức chun ngành tồn q trình thực luận văn Thạc sĩ Thầy tạo điều kiện thuận lợi giúp tơi thu thập tư liệu, nghiên cứu thực hành để hồn thành tốt mục tiêu mà luận văn đề Ngồi ra, tơi thật biết ơn thầy cô khoa Điện - Điện Tử, đặc biệt thầy cô môn Kỹ Thuật Điều Khiển Tự Động Hố tận tình giảng dạy, cung cấp kiến thức tảng chuyên sâu góp phần quan trọng giúp tơi hồn thành luận văn Sau xin cảm ơn bạn học viên Cao học đồng chuyên ngành nhiệt tình giúp đỡ đóng góp ý kiến để luận văn Thạc sĩ tơi hồn thiện TP Hồ Chí Minh, ngày 07 tháng 06 năm 2022 Học viên Nguyễn Hoàng Phi Long ii TÓM TẮT LUẬN VĂN THẠC SĨ Trạm biến áp nơi đóng vai trị quan trọng để đảm bảo tính ổn định việc cung cấp điện cho sinh hoạt sản xuất Vì đóng vai trị quan trọng nên nơi nhạy cảm cần đảm bảo an tồn cao cho người tài sản Do đó, triển khai hệ thống giám sát trạm biến áp vô cần thiết, nhiên việc vận hành cần tốn nhiều nhân lực thường gặp sai sót lý chủ quan lẫn khách quan Từ vấn đề này, cần có hệ thống giám sát thơng minh tích hợp mơ hình Deep Learning có độ xác cao để suy luận phát bất thường hay sai sót q trình vận hành có ảnh hưởng đến sức khoẻ người trình hoạt động trạm biến áp Dựa vào vấn đề thực tiễn đó, đề tài luận văn trình bày giải pháp việc xây dựng hệ thống giám sát thông minh để phân tích hình ảnh từ camera gửi cảnh báo Đầu tiên huấn luyện mơ hình Deep Learning để giải toán thực tế trạm biến áp Thứ hai tối ưu hố mơ hình Deep Learning huấn luyện để tương thích với phần cứng tăng tốc cho trình xử lý nhiều luồng Cuối xây dựng hệ thống giám sát trạm biến áp kết hợp thiết bị biên (Edge Devices) máy chủ để trích xuất, suy luận mơ hình Deep Learning gửi cảnh báo từ luồng liệu tất camera Trạm Biến Áp với tốc độ thời gian thực Kết thu mơ hình nhận diện người có độ xác AP@50 79.43 % môi trường trạm biến áp, tốc độ suy luận AI hệ thống đạt 441 FPS thực thi máy chủ 168 FPS gửi yêu cầu từ Edge Device Từ kết trên, hệ thống giám sát thơng mà luận văn xây dựng hoạt động ổn định với 16 camera đạt tốc độ xử lý 25 FPS camera iii ABSTRACT The Substation is an extremely vital place to ensure stability in the supply of electricity for living as well as production Because it plays an important role, it is also a sensitive place and needs to ensure high safety for people and property That is the reason why the Surveillance System in Substation is essential, but the operation requires a lot of labor and often encounters many errors for both subjective and objective reasons From these problems, it is necessary to have a Smart Surveillance System that integrates high-precision Deep Learning models This system can infer and detect abnormalities or errors that affect human health and the operation of the Substation Based on those practical problems, the Master thesis presents a solution that building an intelligent monitoring system to analyze images from cameras and send alarms thanks to the Artificial Intelligence (AI) platform The first stage is training Deep Learning models to solve real problems in the Substation The second stage is optimizing these models for hardware compatibility as well as to accelerating multithreading processing The last stage is building a Substation Surveillance System that combines edge devices and servers to extract, infer by Deep Learning model, and send alerts from the data stream of cameras with real-time speed The result is that the human detection model has 79,43% AP@50 accuracy in the Substation environment and the system’s AI inference speed reaches 441 FPS when executing on the server and 168 FPS when sending the request from edge devices From the above results, the Intelligent Surveillance System built by the thesis can operate stably with 16 cameras with a processing speed of 25 FPS iv LỜI CAM ĐOAN CỦA TÁC GIẢ Tôi xin cam đoan cơng trình nghiên cứu riêng tơi, hướng dẫn TS Phạm Việt Cường Các số liệu, kết nêu luận văn hoàn tồn trung thực chưa cơng bố cơng trình Tơi xin hồn tồn chịu trách nhiệm lời cam đoan Tác giả luận văn Nguyễn Hoàng Phi Long v MỤC LỤC ! LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN CỦA TÁC GIẢ iv MỤC LỤC v DANH MỤC HÌNH viii DANH MỤC BẢNG xi DANH MỤC TỪ VIẾT TẮT xii GIỚI THIỆU ĐỀ TÀI 1.1 Tổng quan đề tài 1.2 Tình hình nghiên cứu 1.3 Mục tiêu nhiệm vụ CƠ SỞ LÝ THUYẾT 2.1 Mơ hình Deep Learning 2.1.1 Mơ hình EfficientDet 2.1.2 Mơ hình YOLOv5 2.1.3 Mơ hình ResNet-50 2.2 Phương pháp đánh giá mơ hình Deep Learning 2.2.1 Đánh giá Object Detection Model 2.2.2 Đánh giá Classification Model 10 2.2.3 Phương pháp đánh giá hiệu 14 2.3 Giải mã luồng camera 17 2.3.1 Real Time Streaming Protocol (RTSP) 17 vi 2.3.2 NVIDIA DeepStream SDK 17 2.4 Tối ưu hố mơ hình Deep Learning TensorRT 18 2.4.1 Giới thiệu TensorRT 18 2.4.2 Layer Tensor Fusion 19 2.4.3 Reduce Mixed Precision 20 2.5 Nền tảng triển khai mơ hình Deep Learning Server 22 2.5.1 Triton Serving 22 2.5.2 DALI Triton Backend 23 QUÁ TRÌNH THỰC HIỆN 24 3.1 Ý tưởng thực đề tài 24 3.1.1 Giải toán trạm biến áp 24 3.1.2 Giải toán tốc độ xử lý 25 3.2 Huấn luyện mơ hình Deep Learning 26 3.2.1 Chuẩn bị liệu 26 3.2.2 Huấn luyện mơ hình 31 3.2.3 Kết huấn luyện mơ hình Deep Learning 36 3.2.4 Mơ hình phát chuyển động 37 3.3 Tối ưu mơ hình Deep Learning 39 3.3.1 Tối ưu hoá model EfficientDet 39 3.3.2 Tối ưu hoá model YOLOv5 40 3.3.3 Tối ưu hoá model ResNet-50 41 3.4 Triển khai hệ thống xử lý AI 42 3.4.1 Xây dựng hệ thống xử lý AI 42 3.4.2 Triển khai hệ thống Cloud Computing 44 3.4.3 Triển khai hệ thống Edge Computing 52 3.5 Triển khai hệ thống giám sát 58 3.5.1 Xây dựng hệ thống giám sát 58 3.5.2 Server 59 vii 3.5.3 Edge Device 68 KẾT QUẢ VÀ ĐÁNH GIÁ 70 4.1 Kết thuật toán nhận diện chuyển động 70 4.1.1 Đánh giá độ xác 70 4.1.2 Đánh giá hiệu 71 4.2 Kết huấn luyện mơ hình Deep Learning 73 4.2.1 Mơ hình Object Detection 73 4.2.2 Mơ hình Classification 76 4.3 Kết tối ưu mơ hình Deep Learning 79 4.3.1 Phương pháp đánh giá 79 4.3.2 Kết 79 4.4 Kết hiệu tính tốn Triton Serving 82 4.4.1 Phương pháp đánh giá 82 4.4.2 Kết 83 4.5 Kết hiệu tính tốn thực thi Edge Device 85 4.5.1 Phương pháp đánh giá 85 4.5.2 Kết 86 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 90 5.1 Kết luận 90 5.2 Hướng phát triển 93 TÀI LIỆU THAM KHẢO 94 Hình 4.9 So sánh tốc độ xử lý model triển khai Triton Serving! - Ngoài ra, ta đánh giá hiệu thực thi Triton Serving kết hợp tính tốn hai mơ hình YOLOv5-m-FP16 ResNet-50 để phục vụ cho toán thứ phát người không đội mũ bảo hộ Với q trình tính tốn hồn tồn thực Triton Serving từ khâu pre-process đến phát người, cắt ảnh người sử dụng ResNet-50 để phân loại hình ảnh trả kết suy luận - Ta so sánh hiệu thực thi hai mơ hình số người ảnh thay đổi từ thành người Điều có nghĩa khối lượng tính tốn mơ hình ResNet50 tăng từ lên lần Bảng 4.8 Kết hiệu kết hợp mơ hình YOLOv5 ResNet-50 84 - Kết đo thể Bảng 4.8 từ suy biểu đồ so sánh hiệu Hình 4.10 - Ta thấy, số lượng người thay đổi hiệu tính tốn mơ hình thay đổi đáng kể nên cần cải thiện thêm khâu xử lý kết tốt mơi trường thực tế có nhiều người ảnh hưởng nhiều đến hiệu tính tốn chung hệ thống Hình 4.10 So sánh tốc độ xử lý mơ hình kết hợp YOLOv5+ResNet-50 với Batchsize=1 Batchsize=8 4.5.! Kết hiệu tính tốn thực thi Edge Device 4.5.1.!Phương pháp đánh giá - Các thông số đánh giá phần 4.4 đo Client Server chạy máy tính nhằm mục đích triệt tiêu độ trễ q trình truyền tải liệu thông qua mạng Ethernet Nên thông số phản ảnh hiệu tối đa mà Card đồ hoạ RTX 3090 đáp ứng để suy luận mơ hình Server qua Triton Serving Cho ta biết với tài nguyên phần cứng tại, hiệu tối đa mà Server thực thi - Còn với hệ thống giám sát mà ta muốn xây dựng với tảng giao tiếp Edge Device Server Client chạy Edge Device tiến hành gửi request Server thông qua đường Ethernet để Server thực q trình suy luận AI 85 - Chính vậy, độ trễ đường truyền vấn đề cần phải xem xét Do vậy, phần đánh giá đo hiệu trình suy luận Client gửi request đặt Edge Device so sánh với kết đo phần 4.4 để thấy ảnh hưởng đường truyền hệ thống giám sát - Để tăng tính thuyết phục, ta thực khởi chạy mơ hình pre-trained YOLOv4-tiny Edge Device để so sánh hiệu xem liệu việc thực thi Edge Device có tốt việc gửi request Server hay khơng? 4.5.2.!Kết - Ta tiến hành đo hiệu mơ hình sau + YOLOv5-m-FP16 (pre+post client) mơ hình thực trình pre_processing post_processing Edge Device (Client) trình suy luận AI Triton Serving đặt Server + YOLOv5-m-DALI mơ hình thực việc gửi request ED (Client) trình pre-processing, suy luận AI, post-processing Triton Serving + YOLOv4-tiny mơ hình nhận diện người triển khai ED - Ngoài ta tiến hành đo hiệu trình kết hợp YOLOv5 ResNet-50 gửi request ED thực thi suy luận Triton Serving qua hai mơ hình YOLOv5-ResNet-DALI có batch_size cho ResNet - Kết đo thực thi Edge Device thể Bảng 4.9 Bảng 4.9 Kết hiệu mơ hình thực thi Edge Device 86 - Từ bảng liệu ta lập biểu đồ (Hình 4.11) để so sánh hiệu mơ hình thực thi Edge Device gồm YOLOv5-m-FP16 (pre+post client) YOLOv5-m-DALI với mơ hình tương đương thực thi Server, với so sánh với mơ hình YOLOv4-tiny thực thi hồn tồn ED (khơng gửi request lên Server) - Kết so sánh cho thấy, dù bị giảm nhiều thực gửi liệu suy luận AI từ ED lên Server, tốc độ xử lý mơ hình đáp ứng tốc độ real-time cho camera - Như Hình 4.10, với việc sử dùng mơ hình YOLOv5-m-DALI gửi request từ ED với kích thước ảnh 360x640 ta đạt tốc độ xử lý 168 FPS gấp lần so với việc suy luận ED với mơ hình YOLOv4-tiny Với tốc độ ta hồn tồn chạy lúc 4-5 camera có tốc độ 25FPS để suy luận AI mà không bị trễ Hình 4.11 So sánh tốc độ xử lý mơ hình YOLOv5-m thực thi Edge Device Server! - Với mơ hình kết hợp gửi YOLOv5 ResNet-50 ta so sánh tốc độ suy luận gửi request ED Server, kết trình bày Hình 4.12 Từ 87 ta thấy, có suy hao việc truyền liệu với tốc độ xử lý này, ta hồn tồn chạy camera để phát người không đội mũ bảo hộ độ phân giải 360x640 Tuy nhiên để việc cảnh báo xác ta nên chạy camera có độ phân giải 720x1280 Hình 4.12 So sánh tốc độ xử lý mơ hình kết hợp YOLOv5+ResNet-50 thực thi Edge Device Server - Sau chọn phương pháp phù hợp để tích hợp vào hệ thống giám sát, kiểm tra cuối tính ổn định hệ thống Hai hình tồn thơng số FPS camera gửi hệ thống hoạt động thực tế Hệ thống giám sát chạy mơ hình YOLOv5-m-DALI với ngõ vào ảnh có kích thước 360x640 thực camera khoảng thời gian ngày liên tục 88 Hình 4.13 Tốc độ camera ghi nhận ngày chạy mơ hình AI Hình 4.14 Tốc độ trung bình camera ghi nhận ngày chạy mơ hình AI! - Nhìn vào Hình 4.13 4.14 ta thấy rằng, camera có tốc độ thay đổi khác nhiên giữ tốc độ 25 FPS - Ta thấy có khoảng thời gian mà tốc độ camera thay đổi thời gian ban đêm người xuất camera, lúc mơ hình AI thực thi nhờ vào hiệu thuật toán phát chuyển động Vào ban ngày, có nhiều người xuất hiện, hệ thống phải thực thi tác vụ suy luận AI, nhiên tốc độ giữ mức gần 25FPS – đạt yêu cầu cho việc xử lý real-time 89 5.!KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1.! Kết luận - Sau trình thực mục tiêu, nhiệm vụ đặt đề tài luận văn Thạc sĩ gồm q trình huấn luyện mơ hình Deep Learning, tối ưu hố - triển khai mơ hình lên Triton Serving xây dựng hệ thống giám sát thông minh cho trạm biến áp Ta thu kết sau: Kết huấn luyện - Mơ hình Object Detection để nhận diện người trạm biến áp, luận văn sử dụng mơ hình YOLOv5-m có độ xác 64.2% mAP, 88.6% AP@50 (Bảng 4.1) tập liệu thực tế TBA Kết tốt mơ hình pretrained - Mơ hình Classification để phân loại ảnh người có khơng đội mũ bảo hộ nhằm phục vụ cho toán phát người không đội mũ bảo hộ Luận văn sử dụng model ResNet-50 có độ xác Precision 91.5% Recall 98.7% Kết tối ưu - Sau tối ưu mơ hình YOLOv5-m độ xác FP16, luận văn sử dụng mơ hình YOLOv5-m-FP16 để triển khai lên Triton Serving phục vụ cho trình suy luận AI hệ thống với độ xác mức 54.7% mAP 79.43% AP@50 (Bảng 4.2) - Về tốc độ xử lý, mơ hình YOLOv5-m-FP16 đạt 293 FPS (Bảng 4.3) Kết triển khai mơ hình - Sau triển khai mơ hình YOLOv5-m-FP16 lên Triton Serving kết hợp với thư viện DALI để tích hợp q trình pre-processing post-processing tốc độ tốt thực thi mơ hình GPU RTX 3090 đạt 441 FPS (Bảng 4.5) Kết thực thi Edge Device - Thuật toán phát chuyển động dùng CUDA OpenCV, tốc độ xử lý đạt 324 FPS (Bảng 3.5) khoảng 3,09 ms cho ảnh - Tốc độ suy luận AI tốt gửi Server để thực thi mơ hình YOLOv5-m-DALI với tốc độ khoảng 168 FPS – độ trễ khoảng 6ms kích thước ảnh 360x640 (Bảng 4.7) 90 - Từ kết trên, tổng thời gian xử lý ảnh Edge Device phân tích AI 9,09 ms cho ảnh Với tốc độ camera 25FPS tức 40ms ảnh kết xử lý AI nêu hoàn toàn đáp ứng cho camera thiết bị Edge Device để đạt tốc độ real-time Kết xây dựng hệ thống giám sát - Luận văn xây dựng hệ thống giám sát để điều khiển thiết bị Edge Device, xử lý tín hiệu từ camera gửi cảnh báo cho phần mềm giám sát Tổng hợp công việc thực - Bảng 5.1 tổng hợp tất loại mô hình Deep Learning mà luận văn sử dụng với mục đích khác huấn luyện, tối ưu hay dùng để đánh giá độ xác hiệu Các mơ hình có trạng thái trained mơ hình huấn luyện luận văn, pre-trained mơ hình huấn luyện cơng bố đề tài nghiên cứu trước Bảng 5.1 Tổng hợp mơ hình Deep Learning sử dụng luận văn Tên Mục đích sử dụng Loại Trạng thái EfficientDet-D1 Huấn luyện, tối ưu đánh giá trained YOLOv5-m Huấn luyện, tối ưu đánh giá trained SSD-Mobilenet-v1 Đánh giá độ xác SSD-Resnet50-v1 Đánh giá độ xác EfficientDet-D0 Đánh giá độ xác EfficientDet-D1 Đánh giá độ xác YOLOv5-s Đánh giá độ xác YOLOv5-m Đánh giá độ xác YOLOv4-tiny Đánh giá hiệu Edge Device ResNet-50 Huấn luyện, tối ưu đánh giá 91 Object Detection pre-trained Classification trained - Các framework, tool, thư viện hay phần cứng … sử dụng để thực đề tài luận văn tổng hợp Bảng 5.2 Bảng 5.2 Tổng hợp công cụ sử dụng luận văn STT Tên Nơi sử dụng Mục đích TensorFlow Huấn luyện mơ hình Server Huấn luyện mơ hình EfficientDet Pytorch Server Huấn luyện mơ hình YOLOv5 ResNet-50 DarkNet Server Huấn luyện mơ hình YOLOv4-tiny NVIDIADocker Server Mơi trường để huấn luyện mơ hình TensorBoard Server Hiển thị thơng số trình huấn luyện TF-TensorRT Tối ưu hố mơ hình Server Tối ưu hố mơ hình EfficientDet TensorRT Server Triton Serving Triển khai hệ thống Server Suy luận AI DALI Server Pre post-processing Triton Serving 10 FastAPI Server Lập trình API Service 11 RabbitMQ Server Nhận liệu trả từ Edge Device 12 TensorBoard Server Thể thông số camera 13 Tkinter Server Lập trình giao diện giám sát 14 FFMPEG Server Giả lập luồng RTSP camera từ video 15 Docker Server - ED Mơi trường thực thi tồn hệ thống 16 PostgreSQL Server - ED Lưu trữ liệu 17 gRPC Server - ED Giao thức truyền liệu ED - Triton Serving 18 DeepStream Edge Device Decoding hình ảnh 19 OpenCV Edge Device Xử lý ảnh 20 CUDAOpenCV Edge Device Thuật toán phát chuyển động Tối ưu hố mơ hình YOLOv5 ResNet-50 Phần cứng Thực thi suy luận AI Server 21 RTX 3090 Server 22 JetsonNano Edge Device Thực thi tác vụ Edge Device 92 5.2.! Hướng phát triển Từ kết đạt được, để triển khai hệ thống giám sát vào thực tế cần phải cải thiện thêm số yếu tố: - Phát triển thêm toán cần thiết trạm biến áp báo cháy, phân tích hành vi để cảnh báo xác hành vi phá hoại, … - Cải thiện độ xác mơ hình DL dựa vào liệu thu thập trình vận hành hệ thống thực tế - Cải thiện tốc độ truyền tải liệu Server – Edge Device cách nâng cấp hạ tầng mạng trạm biến áp để cải thiện tốc độ xử lý - Cần phát triển thêm tính bảo mật vào hệ thống liệu camera nhạy cảm đặc biệt nơi trọng yếu trạm biến áp - Hoàn thiện lại giao diện giám sát cho đẹp mắt, phát triển thêm tính xem nhiều camera lúc, xem lịch sử cảnh báo hay vẽ đồ thị tốc độ camera hệ thống - Xây dựng thêm server để lưu trữ hình ảnh có cảnh báo để phục vụ cho q trình xem lại lịch sử cảnh báo 93 6.!TÀI LIỆU THAM KHẢO ! [1] M Tan et al., "EfficientDet: Scalable and Efficient Object Detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 10778-10787, June 2020 [2] M Tan and Q.V Le, "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks," Proceedings of the 36th International Conference on Machine Learning, vol 97, pp 6105-6114, June 2019 [3] S Liu et al., "Path Aggregation network for instance segmentation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 8759-8768, 2018 [4] G Ghaisi et al., "NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 7029-7038, 2019 [5] A Bochkovskiy et al., "YOLOv4: Optimal Speed and Accuracy of Object Detection," arXiv preprint arXiv:2004.10934, April 2020 [6] G Jocher "Ultralytics-Yolov5." Internet: https://github.com/ultralytics/yolov5, February 2022 [7] J Redmon and A Farhadi, "YOLOv3: An Incremental Improvement," arXiv preprint arXiv:1804.02767, April 2018 [8] C.Y Wang et al., "CSPNet: A New Backbone that can Enhance Learning Capability of CNN," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshop (CVPRW), pp 1571 - 1580, June 2020 [9] K He et al., "Deep Residual Learing for Image Recognition," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 770-778, 10 December 2016 94 [10] Y Bengio et al., "Learning long-term dependencies with gradient descent is difficult," IEEE Transactions on Neural Networks, pp 157-166, 1994 [11] P Henderson and V Ferrari, "End-to-end training of object class detectors for mean average precision," arXiv preprint arXiv:1607.03476, July 2016 [12] R Padilla et al., "A Survey on Performance Metrics for Object-Detection Algorithms," in International Conference on Systems, Signals and Image Processing (IWSSIP), Niteroi, Brazil, 2020 [13] M Hossin and N Sulaiman, "A Review on Evaluation Metrics for Data Classification Evaluations," International Journal of Data Mining & Knowledge Management Process (IJDKP), vol 5, no 2, March 2015 [14] M Syme and P Goldie "Understanding Application Layer Protocols." Internet: https://www.informit.com/articles/article.aspx?p=169578&seqNum=3, March 5, 2004 [15] Wiegand, "Overview of the H 264/AVC video coding standard," IEEE Transactions on Circuits and Systems for Video Technology, vol 13, pp 560576, 2003 [16] G.J Sullivan et al., "Overview of the high efficiency video coding (HEVC) standard," IEEE Transactions on Circuits and Systems for Video Technology, vol 22, pp 1649-1668, 2012 [17] "DeepStream SDK." Internet: https://developer.nvidia.com/deepstream-sdk, 2022 [18] "NVIDIA TensorRT." Internet: https://developer.nvidia.com/tensorrt, 2022 [19] A Sardana "Deep Learning Deployment with NVIDIA TensorRT." Internet: http://www.serc.iisc.ac.in/serc_web/wpcontent/uploads/2021/04/TENSORRT.pdf, April 2021 95 [20] A Gray "Deploying Deep Neural Networks with NVIDIA TensorRT." Internet: https://developer.nvidia.com/blog/deploying-deep-learning-nvidiatensorrt/, April 2017 [21] J Skelton "Understanding Tensor Cores." Internet: https://blog.paperspace.com/understanding-tensor-cores/, May 2022 [22] J Li et al., "Brief Introduction of Back Propagation (BP) Neural Network Algorithm and Its Improvement," in Advances in Computer Science and Information Engineering, vol 169 D Jin and S Lin, Ed Berlin: Springer, 2012, pp 553-558 [23] "NVIDIA Triton Inference Server." Internet: https://developer.nvidia.com/nvidia-triton-inference-server, 2022 [24] "Triton Architecture." Internet: https://github.com/triton-inferenceserver/server/blob/main/docs/architecture.md#ensemble-models, 2022 [25] "NVIDIA DALI." Internet: https://github.com/NVIDIA/DALI, 2022 [26] R Banas "Accelerating Inference with NVIDIA Triton Inference Server and NVIDIA DALI." Internet: https://developer.nvidia.com/blog/acceleratinginference-with-triton-inference-server-and-dali/, April 13 2021 [27] T.Y Lin et al., "Microsoft COCO: Common Objects in Context," in Proceedings of the European Conference on Computer Vision (ECCV), 2014 [28] Lucas and Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," in Proceedings of Imaging Understanding Workshop, Washington DC, 1981 [29] G Farneback, "Two-Frame Motion Estimation Based on Polynomial Expansion," Proceedings of the 13th Scandinavian Conference on Image Analysis, pp 363-370, 2003 [30] X Wang "TensorRTx." Internet: https://github.com/wang-xinyu/tensorrtx, May 26 2022 96 [31] "Triton Client Libraries and Examples." Internet: https://github.com/tritoninference-server/client#grpc-options, 2022 [32] "Docker overview." Internet: https://docs.docker.com/get-started/overview/, 2022 [33] "PostgreSQL: The World's Most Advanced Open Source Relational Database." Internet: https://www.postgresql.org/, May 19 2022 [34] "RabbitMQ Tutorials." Internet: https://www.rabbitmq.com/getstarted.html, 2022 [35] "TensorFlow Detection Model Zoo." Internet: https://github.com/tensorflow/models/blob/master/research/object_detection/g 3doc/tf2_detection_zoo.md, 2022 97 PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Hoàng Phi Long Ngày tháng, năm sinh: 12/01/1997 Nơi sinh: TP Hồ Chí Minh Địa liên lạc: C3/3, Bùi Thanh Khiết, khu phố 3, thị trấn Tân Túc, Huyện Bình Chánh, TP Hồ Chí Minh Q TRÌNH ĐÀO TẠO - Từ 2015-2019: Đại học Bách Khoa – ĐHQG-HCM Chuyên ngành Kỹ Thuật Điều Khiển Tự Động Hoá - Từ 2019 đến nay: Đại học Bách Khoa – ĐHQG-HCM Học viên Cao học Chuyên ngành Kỹ Thuật Điều Khiển Tự Động Hố Q TRÌNH CƠNG TÁC - Từ 2019 – 2021: Công ty TNHH MTV FPT Telecom International 98 ... Khiển Tự Động Hoá Mã số : 8520216 I TÊN ĐỀ TÀI: HUẤN LUYỆN, TỐI ƯU VÀ TRIỂN KHAI MƠ HÌNH NHẬN DIỆN NGƯỜI TRÊN HỆ THỐNG GIÁM SÁT CỦA TRẠM BIẾN ÁP TRAINING, OPTIMIZING, AND DEPLOYING PERSON DETECTION... EfficientDet-D1 Hình 3.15 Q trình tối ưu hố mơ hình YOLOv5-m Hình 3.16 Q trình tối ưu hố mơ hình ResNet-50 Hình 3.17 Sơ đồ q trình triển khai mơ hình Deep Learning hệ thống giám sát Hình 3.18 Quá... Giải toán trạm biến áp - Với mục tiêu ban đầu dựa vào hệ thống camera giám sát lắp đặt sẵn để giải toán thực tế trạm biến áp như: phát người đột nhập vào trạm, phát người di chuyển vào vùng nguy