Hệ thống nhận dạng – giám sát phương tiện giao thông sử dụng thuật toán YOLOv4-tiny kết hợp Multiple Tracking và phát trực tuyến video trên giao thức RTMP

Bài viết trình bày kết quả xây dựng và thực thi hệ thống nhận dạng – giám sát phương tiện giao thông theo thời gian thực sử dụng thuật toán YOLOv4-tiny kết hợp Multiple Tracking và phát trực tuyến video trên giao thức RTMP. Hệ thống tận dụng những ưu điểm và nhược điểm của thuật toán YOLO và Multiple Tracking, để nhận dạng và định danh phương tiện giao thông.

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Hệ thống nhận dạng – giám sát phương tiện giao thông sử dụng thuật toán YOLOv4-tiny kết hợp Multiple Tracking phát trực tuyến video giao thức RTMP Trần Ngọc Anh, Nguyễn Tiến Đạt, Trần Tấn Tài, Lê Đức Hùng Phòng thí nghiệm DESLAB, Khoa Điện tử - Viễn Thơng, Trường Đại học Khoa học Tự nhiên – Đại học Quốc gia TP.HCM Email: ldhung@hcmus.edu.vn Hệ thống triển khai máy chủ quản lý tập trung thiết bị cạnh (Edge Device) - NVIDIA Jetson TX1 Developer Kit, thiết bị tảng phát triển sở hữu đầy đủ tính dành cho “điện tốn trực quan” (Visual Computing), hỗ trợ thiết lập triển khai dự án dễ dàng Thiết bị thu thập liệu hình ảnh liên tục thơng qua camera, từ hệ thống AI triển khai thiết bị tự động nhận dạng phương tiện giao thông bao gồm liệu hình ảnh phân loại thành bốn nhóm phương tiện Việt Nam xe máy (Motorbike), xe (Car), xe tải (Truck), xe buýt (Bus) dựa thuật toán YOLOv4 - tiny kết hợp với thuật toán Multiple Tracking Sau nhận dạng phân loại, thiết bị tiến hành cắt hình ảnh phương tiện từ khung hình thời điểm phương tiện nhận dạng Sau đó, thiết bị gửi hình ảnh video thu máy chủ SRS triển khai khai máy chủ quản lý tập trung dựa giao thức RTMP Ngoài ra, liệu đầu hệ thống AI phương tiện giao thông gửi dến sở liệu máy chủ quản lý tập trung thông qua SocketIO module theo thời gian thực Sau máy chủ quản lý tập trung nhận liệu hình ảnh, video phương tiện giao thông từ thiết bị cạnh, dựa vào DeviceID thiết bị, máy chủ cung cấp đường dẫn RTMP URL, HLS URL Restful API tương ứng với thiết bị, quản trị viên truy cập vào liệu thiết bị mong muốn Hệ thống cung cấp trang Web hiển thị liệu theo thời gian thực bao gồm hình ảnh, video thông tin phương tiện nhận dạng Giám sát viên truy cập vào để giám sát tuyến đường theo thiết bị tương ứng, trang Web cịn cung cấp tính truy cập lịch sử sở liệu, trang biểu đồ thống kê liệu (biểu đồ cột biểu đồ đường) II HỆ THỐNG NHẬN DẠNG VÀ THEO DÕI PHƯƠNG TIỆN GIAO THƠNG II.1 Thuật tốn nhận dạng phương tiện giao thông Hệ thống nhận dạng theo dõi phương tiện giao thơng sử dụng thuật tốn nhận dạng phương tiện giao thông YOLOv4tiny dựa framework Darknet YOLOv4-tiny - Darknet dự án mã nguồn mở mô tả thuật toán object detection phát triển với mục tiêu phát phân loại vật thể thời gian thực thuật toán với thiết kế dựa YOLOv4, để làm cho cấu trúc mạng trở nên đơn giản hơn, giảm thơng số mơ hình phù hợp triển khai phát triển ứng dụng thiết bi di động hệ thống nhúng Abstract—Bài báo trình bày kết xây dựng thực thi hệ thống nhận dạng – giám sát phương tiện giao thông theo thời gian thực sử dụng thuật toán YOLOv4-tiny kết hợp Multiple Tracking phát trực tuyến video giao thức RTMP Hệ thống tận dụng ưu điểm nhược điểm thuật toán YOLO Multiple Tracking, để nhận dạng định danh phương tiện giao thơng Ngồi hệ thống cịn tích hợp thêm module Socket IO gửi liệu phương tiện nhận dạng đến máy chủ phát trực tuyến video dựa giao thức RTMP (độ trễ – giây so với thực tế xem qua VLC media player -7 giây xem giao diện Web), điều giúp cho việc giám sát, lưu trữ truy cập thông tin trở nên dễ dàng Hệ thống thực bo NVIDIA Jetson TX1 máy chủ SRS để demo trình thu thập liệu đếm nhận dạng phương tiện giao thông tuyến đường với tốc độ thực thi hệ thông từ 14 – 18 fps độ xác dao động khoảng 60 – 95%, sau liệu hình ảnh video gửi đến máy chủ theo thời gian thực Keywords- YOLOv4-tiny, Multiple Tracking, RTMP, Socket IO, Nhận dạng theo dõi phương tiện giao thông, Artificial Intelligence of Things I GIỚI THIỆU Trong năm gần đây, mơ hình Aritifical Intelligence of Things - AIoT trở thành xu hướng phát triển Hệ thống xây dựng nhằm mục đích giải vấn đề giám sát kiểm soát lưu lượng phương tiện giao thông tuyến đường thành phố Bởi vì, quy trình giám sát kiểm sốt lưu lượng phương tiện giao thơng dựa vào số liệu thống kê từ cán giao thông thu thập theo phương pháp thủ công Tuy nhiên, việc tạo lãng phí thời gian, sức người đồng thời số liệu thống kê có độ xác khơng cao khơng có tính liên tục Do đó, hệ thống giám sát thay giải số vấn đề tồn đọng nêu Hình I-1: Mơ hình hoạt động hệ thống ISBN 978-604-80-5958-3 278 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) độ bị hạn chế từ 14-18 fps tuỳ theo số phương tiện theo dõi III QUÁ TRÌNH TRUYỀN TẢI VÀ XỬ LÝ DỮ LIỆU III.1 Truyền tải liệu hình ảnh thơng qua giao thức RTMP Thiết bị cạnh (Edge Device) thu nhận liệu hình ảnh thơng qua camera thiết bị, sau truyền tải liệu đến máy chủ SRS (SRS Server) thông qua giao thức RTMP Đây giao thức truyền tin theo thời gian thực dựa giao thức TCP, thiết kế cho trình truyền tải cần kết nối liên tục, độ trễ thấp thiết bị có hiệu suất trung bình Các gói tin truyền tải giao thức dựa RTMP Chunk Stream, gói tin phân thành đoạn nhỏ có định dạng, định danh, tải trọng riêng Quá trình truyền tải liệu video dựa giao thức RTMP bao gồm ba giai đoạn chính: Bắt tay (Handshake), kết nối (Connect), yêu cầu dịch vụ (Service Command) Hình II -1: Kiến trúc YOLOv4-Tiny Kiến trúc mơ hình YOLOv4-tiny bao gồm phần là: - Backbone: nơi trích xuất đăc tính liệu - Neck: trộn kết hợp tính năng, cải thiện nguồn cung cấp liệu cho bước phát - Head: phát phân loại phương tiện theo kiểu mỏ neo bao gồm đồ tính 13x13 26x26 - Kết mơ hình nhận dạng phương tiện giao thơng: xe máy, xe hơi, xe tải xe buýt với tốc độ thực thi 18 fps, độ xác dao động từ 60 – 95% cải thiện so với tập liệu đạo tạo Darknet khoảng 20% với tỉ lệ khung hình 416*416 Mạng YOLO đào tạo google colab triển khai thực thi thiết bị phần cứng Jetson TX1 có khả nhận dạng loại phương tiện giao thông phổ biến đường phố Việt Nam: xe máy, xe ô tô, xe bus xe tải II.2 Thuật toán theo dõi phương tiện giao thông Hệ thống nhận dạng theo dõi phương tiện giao thơng sử dụng thuật tốn theo dõi phương tiện giao thông Multiple Tracking Single Tracking - “MedianFlow Tracker” dựa mã nguồn mở OpenCV, nhằm mục đích cải thiện khắc phục mạng YOLO tránh trường hợp phát thất bại phương tiện di chuyển với tốc độ cao Hình III -1:Quá trình giao tiếp giao thức RTMP Máy chủ (Server) máy khách (Client) sau thiết lập kết nối TCP tiến hành tạo kết nối theo giao thức RTMP Hình III -1: Máy khách: • Complex Handshake: Q trình bắt tay thực client server thiết lập kết nối TCP thành công Hai máy trao đổi với hai gói tin C0, C1 Các gói tin xác định phiên giao thức RTMP sử dụng, tạo thông tin xác thực kết nối hai máy, xác nhận điểm đầu điểm cuối kết nối hai máy  Connect: Sau bắt tay thành công, máy khách gửi gói tin “connect” để yêu cầu thiết lập băng thơng, kích thước cửa sổ liệu, ứng dụng công cụ hỗ trợ phù hợp  Publish: Tại thiết bị cạnh (Edge Device) gửi lệnh đến máy chủ để công khai liệu video theo đường dẫn Stream Name máy chủ Các liệu video trước gửi mã hóa thơng qua FFMPEG  Play: Máy khách truy cập vào RTMP URL, lệnh gửi đến máy chủ để nhận liệu phát trực tuyến kênh có Stream Name tương ứng Máy chủ:  Response Handshake: Khi nhận gói tin bắt tay máy khách C0 C1 Máy chủ phản hồi thơng qua gói S0 S1 để xác thực yêu cầu máy khách gửi Khi máy chủ xác nhận bắt tay công, tiến hành tạo kết nối với máy khách Hình II-2: Thuật tốn theo dõi đối tượng kết hợp YOLOv4-Tiny Cải thiện hai năm bước (theo Hình II-2) để kết hợp hai thuật toán với nhau: - Thứ khởi tạo điểm vào lưới: dựa giá trị đầu mạng YOLO - Thứ hai cập nhật bouding box: dựa giá trị đầu mạng YOLO kết thuật toán theo dõi – ưu tiên kết mạng YOLO Việc phân xử kết hợp thơng qua tốn khoảng cách vector không gian hai chiều kết hợp kỹ thuật xử lý mảng lập trình - Kết cho thấy trường hợp phát thất bại mạng YOLO khắc phục, phương tiện truy vết xuất khung hình – đảm bảo tính tin cậy cho tính hệ thống Bên cạnh tốc ISBN 978-604-80-5958-3 279 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Response Connect: Máy chủ sau nhận gói tin “connect” từ máy khách, yêu cầu máy khách chấp thuận, máy chủ gửi phản hồi tiến hành thiết lập thông số yêu cầu để chuẩn bị nhận lệnh liệu từ máy khách IV LƯU ĐỒ THUẬT TOÁN IV.1 Sơ đồ hoạt động thiết bị Tại thiết bị cạnh, hình ảnh video ghi lại từ camera liệu đầu vào cho thiết bị Sau thông qua hệ thống AI xử lý, cho liệu đầu bao gồm hình ảnh video có khung cửa sổ nhận dạng phương tiện liêu phương tiện vừa nhận dạng  Xử lý liệu đầu vào: liệu đầu vào video bất kỳ, sau qua phân luồng xử lý video thay đổi kích thước thông số video để tăng hiệu cho việc xử lý AI  Phát - phân loại phương tiện: phân luồng nhận liệu video chuyển đổi từ phân luồng “Xử lý liệu đầu vào” để tiến hành tính tốn phát phân loại phương tiện có khung hình  Theo dõi – đếm phương tiện: phân luồng nhận liệu video chuyển đổi từ phân luồng “Xử lý liệu đầu vào” liệu bao gồm vị trí, tên, độ xác phương tiện từ phân luồng “Phát phân loại phương tiện” để tiến hành theo dõi gán ID chụp lại hình ảnh phương tiện, việc kết hợp luồng với tránh tình trạng phát vật thể thất bại phần luồng “Xử lý liệu đầu vào” Sau gửi liệu thơng tin phương tiện video sau theo dõi lên máy chủ Cuối tiến hành phát video thiết bị local  Gửi liệu video trực tiếp đến máy chủ: phân luồng nhận liệu video sau theo dõi từ phân luồng “Theo dõi – đếm phương tiện” để tiến hành gửi liệu video lên máy chủ Với nhiều thiết bị hoạt động thời điểm, dựa vào RTMP URL tương ứng với deviceID thiết bị máy chủ SRS tạo luồng truyền liệu riêng có Stream Name dựa deivceID  Gửi liệu thông tin đến máy chủ: phân luồng nhận liệu bao gồm ID, nhãn hình ảnh vật thể sau theo dõi từ phân luồng “Theo dõi – đếm phương tiện” để tiến hành gửi liệu lên máy chủ thông qua SocketIO module, giúp người dùng quan sát trực tiếp thơng tin website, ngồi liệu lưu trữ sở liệu máy chủ IV.2 Sơ đồ giao tiếp thiết bị máy chủ Các thiết bị cạnh máy chủ giao tiếp với để truyền tải liệu đầu từ hệ thống AI thiết bị Đối với hình ảnh video, thiết bị gửi dựa vào Streaming URL (RTMP URL), thiết bị cấp đường dẫn theo deviceID riêng biệt  Hình IV-2: Quá trình kết nối truyền hình ảnh video Quá trình bắt đầu việc xác thực kết nối thiết bị cạnh máy chủ thông qua Streaming URL (RTMP URL) Sau thiết lập kết nối thành cơng, thiết bị cạnh gửi liệu Hình IV-1: Lưu đồ hoạt động thiết bị Quá trình hoạt động thiết bị bao gồm năm cơng việc chính: ISBN 978-604-80-5958-3 280 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) mã hóa FFMPEG module (tỉ lệ khung hình 480x360) với tốc độ gửi 20 – 33 khung hình/ giây Tại trình duyệt Web, sau thiết lập kết nối Web máy chủ thông qua Streaming URL, trình duyệt Web dùng HLS URL Adode Flash Player dùng phát hình ảnh video theo RTMP URL Web khơng cịn hỗ trợ Tại Web độ trễ so với thời gian thực – giây Bên cạnh đó, thiết bị gửi liệu phương tiện giao thông bao gồm định danh, loại phương tiền, hình ảnh phương tiện, mốc thời gian nhận dạng phương tiện đến máy chủ thơng qua SocketIO module Hình IV-1: Kết đánh giá mơ hình Q trình đào tạo mơ hình YOLOv4-tiny đào tạo Google Colab đánh giá validation train, dựa vào cách tập dataset uy tín (PascalVOC, MS COCO) thường sử dụng để đánh giá: Validation mAP đường màu đỏ: thể độ xác trung bình vật thể 68% Training Loss đường màu xanh: độ sai lệch liệu đào tạo tiến liệu tốt mơ hình kết thu 0,6021 Cho độ xác trung bình 68% cải thiện so với mơ hình Darknet đào tạo khoảng 28% Mơ hình kết hợp hai thuật tốn khắc phục điểm yếu nhận dạng thất bại mơ hình thuật tốn khác có kết bảng bên Bảng V-2: So sánh hiệu suất với phương pháp khác Thuật toán Tốc độ khung Khắc phục nhận hình dạng thất bại Hình IV-3: Q trình truyền liệu phương tiện Mơ hình Room Emitting event hai cơng cụ dùng q trình Room (phịng) kênh truyền/nhận liệu riêng biệt SocketIO module cung cấp Mỗi Room có Room Name (tên phịng) máy chủ cung cấp dựa deviceID thiết bị, client chung Room truyền/nhận liệu theo thời gian thực Emitting event có SocketIO Client gửi kiện đến SocketIO Server, sau máy chủ tiến hành xử lý kiện đăng ký từ trước Để tham gia vào Room, thiết bị cần gửi yêu cầu đến máy chủ thông qua kiện “join” Khi xác thực thông tin Room Name deviceID thiết bị hợp lệ, máy chủ cho phép thiết bị vào phòng Sau đó, thiết bị gửi liệu phương tiện qua kiện “message” đính kèm gói liệu bao gồm định danh phương tiện, loại phương tiện, hình ảnh phương tiện, mốc thời gian nhận dạng phương tiện Gói liệu đến máy chủ lưu trữ sở liệu V KẾT QUẢ Hệ thống nhận dạng - giám sát phương tiện giao thông thực bo Jetson TX1 hãng NVIDIA Trên bo mạch có chứa GPU - Maxwell ™ với 256 lõi CUDA mang lại hiệu suất TeraFLOP Tập liệu kết hợp từ tập data có sẵn (khoảng 900 hình mặt trước phương tiện) liệu thực tế tự thu thập (khoảng 300 hình mặt trước phương tiện) Kết thu từ huấn luyện thực tế bảng bên Bảng V-1: Kết đo từ loại phương tiện Kết thực tế Loại phương tiện Kết huấn luyện Xe máy 51.41% 50 - 93% Xe 73.16% 60 – 96% Xe buýt 71.06% 58 – 96% Xe tải 73.45% 50 – 96% ISBN 978-604-80-5958-3 14 – 18 Có YOLOv4-tiny + Multiple Tracking + Streaming YOLOv4-tiny 17 – 20 Không YOLOv3-tiny – 10 Khơng SSD Khơng Faster R-CNN 2–3 Khơng Mơ hình YOLOv4-tiny với tập liệu đào tạo tập trung phía đầu trước phương tiện giao thơng cho kết nhận dạng phương tiện giao thông cự ly gần tốt với độ xác cao nhiên số mẫu xe tải chưa cao liệu đào tạo xe tải chưa đủ để khái qt hố Hình V-2: Nhận dạng phân loại phương tiện giao thông Việt Nam 281 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2021) Mơ hình YOLOv4-tiny kết hợp Multiple Tracking cho kết thực tế tuyến đường thành phố Biên Hoà, tốc độ trung bình hệ thống thực thi giao động từ 14-18 FPS, tuỳ vào số lượng vật thể xuất khung hình giới hạn (màu cam khung hình giới hạn khu vực theo dõi phương tiện để tối ưu tốc độ hệ thống) Hình V-5: Hình ảnh video xem trực tuyến trang Web Hình V-3: Kết thực tế thu Thiết bị phần cứng truyền 10 – 11 frame lần truyền, tốc độ bitrate ≈ 1500kbits/s Tốc độ fps video máy chủ nhận fps = 21 Hình V-6: Hình ảnh nhận dạng phương tiện giao thông xem Web theo thời gian thực Hình V-4: Kết truyền hình ảnh trực tuyến Dữ liệu thông tin phương tiện giao thông thu thập phần cứng gửi lên máy chủ hiển thị Web trình bày hình V-5, V-6, V-7, V-8:  Hình V-5: Dữ liệu video thu thập từ camera sau qua hệ thống nhận dạng theo dõi Kết thu phát trực tiếp lên máy chủ thị Web với độ trễ giao động từ 5-7s  Hình V-6: Dữ liệu hình ảnh phương tiện giao thông nhận dạng cắt Kết thu gửi lên máy chủ thị Web với tốc độ thời gian thực  Hình V-7, V-8: Biểu đồ thống kê thông tin liệu phương tiện tuyến đường theo ngày, tháng năm mục đích giúp cho quan chức hay đơn vị có thẩm quyền quan sát số liệu đưa định hợp lý xây dựng sở hạ tầng, … ISBN 978-604-80-5958-3 Hình V-7: Số lượng phương tiện nhận dạng – biểu đồ cột Hình V-8: Số lượng phương tiện nhận dạng – biểu đồ đường 282 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) VI KẾT LUẬN Nghiên cứu hoàn thành việc xây dựng hệ thống AI, máy chủ, sở liệu giao diện Web, sau tiến hành chạy demo hệ thống dựa video hình ảnh giao thơng từ tảng chia sẻ video video thu thông qua điện thoại thông minh Kết thu đạt mục tiêu đề cho đề tài nghiên cứu Tuy nhiên, hệ thống chưa đạt tính bảo mật thơng tin cao q trình truyền nhận liệu, hệ thống AI tồn trường hợp nhận dạng sai lệch so với thực tế Mục tiêu nghiên cứu phát triển hệ thống AI hoàn chỉnh hơn, ứng dụng tính đo tốc độ di chuyển phương tiện giao thơng, đồng thời tăng tính bảo mật cho thiết bị liệu qua trình truyền tải liệu Kết nghiên cứu ứng dụng vào Thành phố thông minh theo Cách mạng công nghiệp 4.0 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] Nguyễn Thanh Tuấn, “Deep Learning Cơ (Tái lần thứ 2)”, trang 1-225, tháng năm 2020 Rachel Roumeliotis, Nicole Tache, “Kristen Brown.Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow”; pp 130-657, September 2019 Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao “YOLOv4: Optimal Speed and Accuracy of Object Detection”, Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV), pp 1-13, 23 Apr 2020 Zdenek Kalal, Krystian Mikolajczyk, Jiri Matas “Forward-Backward Error: Automatic Detection of Tracking Failures”, 2010 20th International Conference on Pattern Recognition, pp 1-4, 23 August 2010 Hardeep Singh Parmar, Michael C Thornburgh Adode’s Real Time Messaging Protocol – RTMP_Specification_1.0; December 2012 Adobe Systems, Inc., "Action Message Format AMF 3”, January 2013 Markus Eisenbach, Ronny Stricker, Daniel Seichter, Alexander Vorndran, Tim Wengefeld, and Horst-Michael Gross, “Speeding up Deep Neural Networks on the Jetson TX1”, pp – 9, 2017 Sabir Hossain and Deok-jin Lee, “Deep Learning-Based Real-Time Multiple-Object Detection and Tracking from Aerial Imagery via a Flying Robot with GPU-Based Embedded Devices”, pp 18, July 2019 ISBN 978-604-80-5958-3 283 ... khả nhận dạng loại phương tiện giao thông phổ biến đường phố Việt Nam: xe máy, xe ô tô, xe bus xe tải II.2 Thuật toán theo dõi phương tiện giao thông Hệ thống nhận dạng theo dõi phương tiện giao. .. fps video máy chủ nhận fps = 21 Hình V-6: Hình ảnh nhận dạng phương tiện giao thông xem Web theo thời gian thực Hình V-4: Kết truyền hình ảnh trực tuyến Dữ liệu thông tin phương tiện giao thông. .. ảnh video có khung cửa sổ nhận dạng phương tiện liêu phương tiện vừa nhận dạng  Xử lý liệu đầu vào: liệu đầu vào video bất kỳ, sau qua phân luồng xử lý video thay đổi kích thước thông số video