Ứng dụng điện toán biên trong thu thập và xử lý video giao thông theo thời gian thực

Bài viết Ứng dụng điện toán biên trong thu thập và xử lý video giao thông theo thời gian thực xây dựng mô hình ứng dụng điện toán biên để thu thập và xử lý hình ảnh dòng giao thông hỗn hợp, thực hiện phân bố tải tính toán tại các nút biên, chỉ truyền về trung tâm các dữ liệu sau bước tiền xử lý. Mô hình này có độ trễ thấp, tiết kiệm băng thông mạng và đáp ứng được yêu cầu thời gian thực của các sự kiện giao thông. Mời các bạn cùng tham khảo!

Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Ứng dụng điện toán biên thu thập xử lý video giao thông theo thời gian thực Trần Văn Hưng Trường đại học Giao thông vận tải Email: hungtv_ktdt@utc.edu.vn sâu, điều tiết giao thơng vĩ mơ Ví dụ hệ thống giám sát hình ảnh CadPro [2] triển khai lắp đặt Trung tâm điều khiển đèn tín hiệu giao thông - Công an TP.Hà Nội, phục vụ việc giám sát điểm nóng giao thơng địa bàn TP.Hà Nội với số lượng mở rộng lên tới hàng nghìn camera Dữ liệu video truyền trung tâm lưu trữ với dung lượng khổng lồ Để phân tích liệu video tập trung theo thời gian thực cần lực xử lý cực lớn Nếu áp dụng mơ hình xử lý liệu video truyền thống chi phí tính tốn lớn, độ trễ lớn, băng thơng lớn khó đáp ứng tính thời gian thực kiện giao thông Bài báo xây dựng mơ hình xử lý liệu phân tán ứng dụng điện toán biên, thực phân bố tải tính tốn lên nút biên đặt gần với nguồn liệu video gốc nhằm thu thập thông tin đặc trưng dịng giao thơng Dữ liệu video giao thông sau bước tiền xử lý nút biên truyền trung tâm Điều làm giảm tải xử lý, giảm lưu lượng mạng đặc biệt thời gian phản hồi nhanh đáp ứng tính thời gian thực Abstract— Hệ thống giao thông đô thị lớn nước ta phải đối mặt với vấn đề nghiêm trọng liên quan đến ùn tắc giao thông, tai nạn giao thông ô nhiễm môi trường Việc triển khai ứng dụng ITS, cụ thể công nghệ xử lý ảnh kết hợp với kỹ thuật học sâu phục vụ toán điều tiết giao bước triển khai, nhiên tập trung vào mơ hình xử lý liệu tập trung dẫn tới khối lượng tính tốn lớn, tượng nghẽn cổ chai, khó đáp ứng tính thời gian thực kiện giao thông Bài báo xây dựng mơ hình ứng dụng điện tốn biên để thu thập xử lý hình ảnh dịng giao thơng hỗn hợp, thực phân bố tải tính tốn nút biên, truyền trung tâm liệu sau bước tiền xử lý Mơ hình có độ trễ thấp, tiết kiệm băng thông mạng đáp ứng yêu cầu thời gian thực kiện giao thông Keywords- Hệ thống ITS, xử lý ảnh giao thông, luồng giao thông hỗn hợp, thông tin giao thông, trạng thái giao thơng, điện tốn biên I GIỚI THIỆU Phần báo trình bày phương pháp tiếp cận xây dựng thuật toán đánh giá trạng thái dịng giao thơng hỗn hợp Phần trình bày xây dựng hệ thống thử nghiệm cuối kết luận Trong năm qua, đô thị lớn nước ta Hà Nội, TP.Hồ Chí Minh, v.v trọng đầu tư phát triển hạ tầng giao thông áp dụng giải pháp quản lý giao thông đại, bước mang lại hiệu định Tuy nhiên, kết chưa đạt kỳ vọng nhiều nguyên nhân Trong đó, nguyên nhân chủ yếu đánh giá khơng có đầy đủ thơng tin dịng giao thơng (vĩ mơ vi mô) để phục vụ cho công tác quản lý điều hành giao thông đô thị Các thành nghiên cứu ứng dụng ITS từ nước tiên tiến chưa thể áp dụng hết đô thị nước ta đặc trưng dịng giao thơng hỗn hợp Việc ứng dụng công nghệ xử lý ảnh kết hợp với kỹ thuật học sâu để thu thập thơng tin đặc trưng dịng giao thơng làm sở để phân tích đánh giá trạng thái giao thông, phục vụ điều tiết mạng lưới giao thông đô thị vấn đề quan tâm [1][3][6][7] Các thông tin giao thông giúp cho nhà quản lý có giải pháp vận hành sở hạ tầng giao thơng sẵn có cách linh hoạt theo nhu cầu giao thông thay đổi theo thời gian địa điểm Hiện tại, hệ thống camera giám sát giao thông triển khai hầu hết thị lớn nước ta với mục đích xử lý vi phạm giao thơng, chưa có chức phân tích ISBN 978-604-80-7468-5 II PHÂN TÍCH DỊNG GIAO THƠNG 1) Các tham số chủ yếu dịng giao thơng Dịng giao thơng hay dịng xe hiểu tập hợp đối tượng tham gia giao thông hướng chuyển động không gian thời gian xác định Dịng giao thơng hình thành từ tương tác người điều khiển phương tiện, phương tiện tương tác với yếu tố vật lý đường yếu tố mơi trường nói chung Trên giới, thị đại có hệ thống giao thơng phát triển tương đối hồn thiện, dịng giao thơng chủ yếu ơtơ chạy theo cách có tổ chức Việc thu thập các thơng tin dịng giao thơng thuận tiện Ở nước ta, dịng giao thơng thị dịng hỗn hợp có tính tổ chức thấp nên việc thu thập thơng tin xác dịng giao thơng khơng đơn giản, đặc biệt việc đếm xác số lượng xe máy loại phương tiện chủ yếu dòng giao thơng thị Để mơ tả tính chất động dòng xe, người ta sử dụng 394 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) thông số mô tả thuộc vào hai nhóm chính: (1) nhóm tham số vĩ mơ mơ tả dịng xe chỉnh thể với tham số lưu lượng, vận tốc trung bình, mật độ; (2) nhóm tham số vi mô mô tả hành vi, ứng xử xe dòng xe với mà từ dẫn đến thay đổi đặc tính tốc độ vị trí tương đối xe dòng xe khoảng cách thời gian xe, thành phần dịng xe gian) khơng phản ánh xác trạng thái thực tế dịng giao thơng Với phát triển công nghệ thu thập thông tin giao thông nay, nhiều tham số giao thông thu thập đồng thời Việc sử dụng đa tiêu để phân tích, đánh giá trạng thái cảnh báo ùn tắc giao thông mang lại độ xác cao Theo đó, nghiên cứu sử dụng đa tiêu để xây dựng phương pháp đánh giá toàn diện mờ (Comprehensive Fuzzy Assessment, CFA)[3][4] Nhận dạng phân loại phương tiện dòng giao thơng hỗn hợp Với tính chất đặc thù dịng giao thông đô thị nước ta nên việc áp dụng mơ hình từ nước phát triển khơng phản ánh xác thực tế giao thơng thị Việt Nam Nghiên cứu sử dụng kỹ thuật xử lý ảnh kết hợp với mạng học sâu để phát triển thuật tốn phân tích dịng giao thơng hỗn hợp từ luồng video giao thơng để trích xuất đặc trưng như: lưu lượng, mật độ tốc độ trung bình phương tiện Các bước trình nhận dạng phân loại phương tiện giao thông bao gồm: thu thập liêu, gán nhãn đối tượng, chia tệp liệu, huấn luyện mơ hình áp dụng mơ hình Quá trình thực tập liệu bao gồm tập huấn luyện (108000 ảnh) tập kiểm thử (6000 ảnh), bao gồm ảnh các điều kiện thời tiết ánh sáng khác Sau cài đặt thơng số mơ hình huấn luyện, mơ hình có độ xác cao lưu lại áp dụng vào nhận dạng phân loại phương tiện giao thông thực tế, bao gồm 05 loại phương tiện: xe máy (motor), ôtô (car), xe buýt (bus), xe tải (truck), xe đạp (bicycle) Kết huấn luyện Hình Bắt Bắt đầu đầu Thu Thu thập thập thông thông tin tin giao giao thông thông Nhận Nhận dạng dạng và phân phân loại loại phương phương tiện tiện Xác Xác định định tham tham số: số: tốc độ trung bình, tỷ lệ chiếm dụng, V/C Nhận Nhận dạng dạng trạng trạng thái thái giao giao thông thông Tiêu Tiêu chuẩn chuẩn Cảnh Cảnh báo báo Hình 2: Các bước phân tích Phương pháp CFA xây dựng dựa thuật toán mờ xem xét nhiều yếu tố ảnh hưởng để đưa định toàn diện cho vấn đề định mục tiêu định Các bước CFA Hình Phương pháp CFA sử dụng hàm thuộc dạng hình thang cho tiêu đánh giá, bao gồm tốc độ trung bình (average speed), tỷ lệ chiếm dụng (Occupancy) tỷ lệ V/C (tỷ số lưu lượng xe - xe quy đổi lực thơng hành) Hình Bước 1: Xác định tập hợp yếu tố đánh giá U mục tiêu, U = {uij}, i= 1, ,m; j =1, ,n Bước 2: Xây dựng hệ thống phân cấp cho số đánh giá; gồm cấp {I,II,III,IV, V} Hình 1: Kết trình huấn luyện Bước 3: Xác định hàm thành viên (hàm thuộc) số, bao gồm tốc độ trung bình (average speed), tỷ lệ chiếm dụng (Occupancy) tỷ lệ V/C) Thuật tốn phân tích dịng giao thơng hỗn hợp Mục tiêu thuật toán nhận dạng trạng thái giao thông đoạn tuyến nút giao, từ phát nguy ùn tắc giao thơng (UTGT) để kiểm soát nhanh UTGT sơ cấp Các kết có sau nhận dạng phân loại phương tiện sử dụng để đánh giá trạng thái giao thông vùng khảo sát Các bước thực Hình 2, tiêu chuẩn để phân loại mức độ phục vụ đánh giá nút giao theo HCM (Highway Capacity Manual – Sổ tay lực thông hành) tham khảo TCVN 4054-05 Do tính chất phức tạp dịng giao hỗn hợp, sử dụng tiêu đánh giá (ví dụ tốc độ thời ISBN 978-604-80-7468-5 Bước 4: Xây dựng ma trận đánh giá mờ Rn×k với n tiêu đánh giá cho mẫu quan trắc, k số bậc đánh giá hệ thống Bước 5: Xác định trọng số cho tiêu đánh giá sử dụng phương pháp Entropy (wj) Bước 6: Đánh giá kết luận vector hàm thành viên (wjRn×k); cấp trạng thái giao thông mẫu quan sát xác định dựa nguyên lý giá trị lớn dựa vào giá trị bình quân trọng số Hình 3: Các bước phương pháp CFA 395 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thơng tin (REV-ECIT2022) Sau tính tốn vectơ hàm thành viên, cấp trạng thái giao thông mẫu quan sát xác định dựa nguyên lý giá trị lớn nhất, dựa vào giá trị bình quân trọng số Thử nghiệm hệ thống phịng thí nghiệm Trước lắp đặt thiết bị xử lý video giao thơng trực tuyến, thuật tốn thử nghiệm phịng thí nghiệm với đoạn video offline quay điều kiện thời tiết khác để đánh giá tối ưu Với thuật toán nhận dạng phương tiện, thử nghiệm với tệp video 02 mặt cắt đường Hà Nội Một mặt cắt đường Trần Duy Hưng (gần với trường Đại học Lao Động Thương Binh Xã Hội), mặt cắt đường Xuân Thủy (gần trường Đại học Quốc gia) Camera đặt giá chân, nằm cầu hành, quay trực diện dòng xe chạy Chạy thử đoạn video dài 18 phút, số xe đếm 2689 xe; Số xe không nhận dạng được: xe (0,26%); Số xe nhận dạng sai: 11 xe (0,41%) Tổng sai số: 0,67% Hình 4: Hàm thuộc tiêu III THỬ NGHIỆM VÀ ĐÁNH GIÁ Cấu hình hệ thống Sơ đồ kết nối hệ thống thu thập xử lý thông tin giao thơng Hình 5, sử dụng mơ hình xử lý liệu phân tán Các camera thu thập hình ảnh giao thơng trường kết nối đến thiết bị biên máy tính cơng nghiệp chun dụng cho xử lý ảnh NVIDIA Jetson AGX Xavier [5] Thiết bị biên kết nối trực tiếp với camera, cài đặt tích hợp thuật tốn xử lý ảnh sử dụng ngơn ngữ lập trình Python với YOLOv5 Q trình xử lý thực thiết bị biên trường để đưa tham số thống kê dịng giao thơng, phục vụ mục đích phân tích đánh giá trạng thái giao thơng Camera giao thông sử dụng loại chuyên dụng với cảm biến hình ảnh RGB CMOS 1/2.8", độ phân giải 1920x1080, tốc độ 50FPS Kết đầu thiết bị biên truyền trung tâm sử dụng để hỗ trợ phân tích đánh giá trạng thái giao thơng theo thời gian thực, phục vụ nghiệp vụ quản lý điều hành giao thơng thị [7] Hình 6: Thử nghiệm offline thuật toán nhận dạng phương tiện Đối với thuật tốn đánh giá trạng thái giao thơng đoạn tuyến, nghiên cứu sử dụng video kích thước 1920x1080 với định dạng *.mp4 ghi hình đường Trần Duy Hưng Vùng quan sát vùng diện tích có chiều dài xe giáp dải phân cách (10,5m), chiều rộng 5m Diện tích vùng quan sát 63,0 m2 Khoảng thời gian quan sát chia nhỏ với khung thời gian phút, hình thành nên mẫu quan sát thời gian 15 phút lân cận cao điểm buổi sáng Bảng Thông tin giao thông đánh giá mức phục vụ mặt cắt quan sát Site Trung tâm Mạng truyền dẫn Site n Tốc độ trung bình (km/h) Độ chiếm dụng (%) Năng lực thông hành (pcu/ min/ln) V/C LOS 21 18,1 17,20 25 0,84 D 15 19,5 11,73 25 0,60 C 16 18,4 12,90 25 0,64 C 18 18,6 14,31 25 0,72 C 16 19,2 13,26 25 0,64 C Từ kết phân tích đối chiếu TCVN 4054-05, lực thông hành lý thuyết 1500 pcu/h/ln, tương đương 25 pcu/min/ln Mức phục vụ mặt cắt quan sát nằm mức C mức D Bảng Khi đánh giá dựa theo mơ hình mờ tổng hợp CFA, từ bảng thông tin giao thông thu thập trên, xác định trọng số Hình 5: Cấu hình hệ thống phân tán ứng dụng nút điện toán biên ISBN 978-604-80-7468-5 Mẫu Lưu lượng (pcu/ min/ln) 396 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) yếu tố theo phương pháp Entropy (w = {0,023;0,524;0,453}) Kết đánh giá trạng thái giao thông mặt cắt quan sát trạng thái giao thông mức (III) (IV), giao thông trạng thái ùn tắc nhẹ Dữ liệu thu thập xử lý máy tính cơng nghiệp trường, sau gửi số liệu trung tâm để xử lý hiển thị Giao diện phần mềm quản lý trung tâm Hình Kết tham số thống kê quy luật phân bố lưu lượng đánh giá tỷ lệ (V/C-lưu lượng/năng lực) dịng giao thơng hai nút điều kiện thời tiết trường quan sát phân hệ trung tâm Hình 8,9 Việc xử lý video trường làm giảm khối lượng tính tốn trung tâm giảm băng thông mạng Căn vào quy luật phân bố lưu lượng xe nhiều ngày, dễ dang thấy lưu lượng xe vào khung cao điểm khung khác Các thông tin hỗ trợ cho việc phân tích trạng thái giao thông, cung cấp cho hệ thống khác hệ thống giao thông thông minh Phân tích hệ số sử dụng lực thơng hành (Z) theo TCXDVN 10407 theo đạt kết Hình 10 Hình 11 Hệ số sử dụng lực thông hành (Z) thời gian quan sát mặt cắt đường Nguyễn Văn Linh mặt cắt đường Võ Ngun Giố có giá trị lớn nhỏ 0,35; theo TCXDVN 104-07, mức phục vụ mặt cắt mức A Thử nghiệm hệ thống trường Thử nghiệm thực hai nút giao TP.Hải Phòng Bộ thiết bị thử nghiệm bao gồm 02 thiết bị biên, thiết bị biên kết nối với 02 camera để xử lý đồng thời 02 luồng video giao thông trực tuyến từ hai hướng nút giao Nguyễn Văn Linh – Thiên Lôi nút giao Võ Nguyên Giáp – Bùi Viện Hình Giao diện phần mềm quản lý trung tâm Hình 10 Hệ số sử dụng lực thông hành (Z) mặt căt đường Nguyễn Văn Linh Hình Quy luật phân bố lưu lượng mặt cắt đường Nguyễn Văn Linh Hình 11 Hệ số sử dụng lực thông hành (Z) mặt căt đường Võ Nguyên Giáp IV Hình Quy luật phân bố lưu lượng mặt cắt đường Bùi Viện ISBN 978-604-80-7468-5 KẾT LUẬN Bài báo xây dựng mơ hình ứng dụng điện tốn biên để thu thập xử lý hình ảnh dịng giao thơng hỗn 397 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) hợp tận dụng lực xử lý ảnh máy tính cơng nghiệp chun dụng, có độ trễ thấp, tiết kiệm băng thông đáp ứng yêu cầu thời gian thực kiện giao thông Với đánh giá trạng thái dịng giao thơng hỗn hợp đô thị sử dụng phương pháp CFA, tiêu đánh giá cần phải xây dựng mẫu số liệu đủ lớn kết hợp với khai phá liệu Kết đánh giá bước đầu cho thấy, hồn tồn sử dụng cơng nghệ xử lý ảnh thuật tốn đánh giá giao thơng tổng hợp (như logic mờ, mạng nơ-ron nhân tạo, ) để xác định trạng thái giao thông theo thời gian thực cách đáng tin cậy, làm sở đề xuất giải pháp quản lý điều khiển giao thông, điều tiết giao thông hợp lý TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] LỜI CẢM ƠN Cảm ơn Bộ GD&ĐT tài trợ cho cho nghiên cứu khuôn khổ đề tài mã số CT.2019.05.03 ISBN 978-604-80-7468-5 [7] 398 Linrun Qiu et al.,“Deep learning‑based algorithm for vehicle detection in intelligent transportation systems”, The Journal of Supercomputing https://doi.org/10.1007/s11227-021-03712-9, 2021 CadPro, “CadProVNM – Video Network Management” http://www.cadpro.vn/ Yanshan Li et al.,“ Road Traffic Anomaly Detection based on Fuzzy Theory”, 10.1109/ACCESS.2018.2851747, IEEE Access, 2018 Mehran Amini et al.,“ An intelligent traffic congestion detection approach based on fuzzy inference system”, IEEE SACI, 2021 https://developer.nvidia.com/embedded/jetson-agx-xavierdeveloper-kit Johan B et al.,“ Edge-Computing Video Analytics for RealTime Traffic Monitoring in a Smart City” Sensors 2019, 19, 2048; doi:10.3390/s19092048 Trần Văn Hưng,“Nghiên cứu xây dựng hệ thống giám sát cảnh báo giao thông ứng dụng công nghệ xử lý ảnh”, Đề tài mã số CT.2019.05.03, 2022  ... thu thập xử lý thơng tin giao thơng Hình 5, sử dụng mơ hình xử lý liệu phân tán Các camera thu thập hình ảnh giao thơng trường kết nối đến thiết bị biên máy tính cơng nghiệp chuyên dụng cho xử. .. nghệ thu thập thông tin giao thông nay, nhiều tham số giao thơng thu thập đồng thời Việc sử dụng đa tiêu để phân tích, đánh giá trạng thái cảnh báo ùn tắc giao thông mang lại độ xác cao Theo. .. cho thấy, hồn tồn sử dụng cơng nghệ xử lý ảnh thu? ??t toán đánh giá giao thông tổng hợp (như logic mờ, mạng nơ-ron nhân tạo, ) để xác định trạng thái giao thông theo thời gian thực cách đáng tin