KHOA HỌC CÔNG NGHỆ Só 08/2022 Phát hiện lỗi đi sai làn đường của phương tiện giao thônc dựa trên deep learning ■ TS NGUYỄN DUY TRƯỜNG GIANG; Ths NGUYỄN HẠNH PHÚC Trường Đại học Hàng hải Việt Nam TÓM T[.]
KHOA HỌC CƠNG NGHỆ Só 08/2022 Phát lỗi sai đường phương tiện giao thônc dựa deep learning ■ TS NGUYỄN DUY TRƯỜNG GIANG; Ths NGUYỄN HẠNH PHÚC Trường Đại học Hàng hải Việt Nam TÓM TẮT: Mật độ người phương tiện tham gia giao thông đô thi ngày tăng gây áp lực lớn cho hạ tầng công tác quản lý quan chức năng, đặc biệt lĩnh vực giao thông Cuộc cách mạng công nghiệp 4.0 với phát triển nhanh chóng cơng nghệ xử lý hình ảnh dựa trí tuệ nhân tạo AI mang đến giải pháp công tác quản lý giao thông Việc ứng dụng công nghệ Al Camera công tác quản lý giao thông hứa hẹn mang lại thay đổi tích cực, sâu sắc phương thức quản lý, nâng cao ý thức, văn hóa tham gia giao thơng tồn xã hội Các trung tâm điều hành đô thị thông minh tỉnh, thành phố triển khai với việc tích hợp camera phục vụ giám sát, điều tiết, xử phạt giao thông Các lỗi vi phạm như: phương tiện đè lên vạch kẻ đường (hoặc qua vạch kẻ đường đèn tín hiệu chuyển màu đỏ); không phần đường đường quy định (đi sai làn) phổ biến Bài báo đề xuất giải pháp ứng dụng thuật toán deep learning phát lỗi sai đường phương tiện tham gia giao thơng TỪ KHĨA: Học sâu, nhận dạng mẫu, phát đối tượng, mạng nơ-ron tích hợp ABSTRACT: The increasing density of traffic participants (including people and vehicles) is putting great pressure on the infrastructure as well as on the traffic controlling and traffic management The 4.0 technology revolution with the rapid development of Al-based image processing technology has brought a new solution to traffic management The application of Al-Camera technology in traffic management promises to bring positive and profound changes in traffic management methods, raising awareness and improving behavior of traffic participants Smart-city management centers are being deployed by provinces and cities with the integration of cameras for traffic monitoring, traffic regulation and sanctioning Violations such as: vehicles moving over the road markings (or crossing the stop lines when the signal light has turned red), vehicles going on the wrong side of the road or lane (wrong-lane driving) are very common The article proposes a solution, in 62 which deep learning algorithms are used to detect wrong-lane driving traffic participants KEYWORDS: Deep learning, pattern recognition, object detection, CNN network 1.ĐẶTVẤNĐỂ Việc xử phạt vi phạm giao thông thec phương pháp thủ cơng CSGT quan sát (có thể có thêrr thiết bị ghi hình làm chứng) Việc tốn nhiếc nguồn lực, nhiên không đem lại hiệu cao xỉ phạt khơng hết; gây an tồn người vi phạm chốnc đối bỏ chạy Do đó, nghiên cứu này, nhóm tác giả tập trung vào để xuất giải pháp phát lỗi phươnc tiện sai đường dựa nhận dạng phương tiệr giao thông phương pháp học sâu CNN [1], Nguyêr lý hoạt động hệ thống dựa trình nhậr diện phương tiện tham gia giao thơng thông qua camera giám sát công nghệ xử lý thông tin Hiện giới có nhiều nước quan tâm nghiên cứu ứng dụng công nghệ [1-6], nhiên Việt Nam áp dụng chưa nhiều Nội dung nghiên cứu trình bày chi tiết mục 2,3, kết luận nghiên cứu trình bày mục MƠ HÌNH XỬ PHẠT GIAO THƠNG Hình 2.1: Phuơng tiện vi phạm lỗi sai Hiện nay, giới, nhiều nước áp dụng AI vào quản lý xử lý vi phạm giao thông Giải pháp mang lạ nhiều lợi ích cho xã hội, giúp nâng cao ý thức tuân thủ quy định vể tham gia giao thơng Các hệ thống AI xử lý hình ảnh xây dựng theo hai phương án sau: KHOA HỌC CƠNG NGHỆ Só 08/2022 * Phương án xử lý tập trung: Tất camera truyền hình ảnh trực tiếp ĩrver để xử lý hình, kĩ thuật học sâu (deeplearning) chủ yếu áp dụng - Xử lý ngữ cảnh: Xây dựng định nghĩa trạng thái đối tượng, dựa liệu trích xuất bước ta xác định xem trạng thái đối tượng - Kết luận đưa định: Xây dựng mô-đun đưa kết luận (ví dụ: Kết luận tơ có lấn hay khơng) 2.2 Mơ hình phát nhận diện phương tiện Kỹ thuật học sâu (deeplearning) vượt trôi hẳn Images phương pháp xử lý ảnh truyền thống Ngày nay, tốn xác định vị trí đối tượng (Object detection) phát triển thành nhánh riêng deeplearning, mơ hình tiếng tốn mơ hình YOLO (You Only Look Once), nhóm tác giả lựa chon model YOLOv4 2.2.1 Cấu trúc model YOLOv4 Hình 2.2: Mơ hình xử lý tập trung One-Stage Detector - ưu điểm phương án này: Giúp quản lý bảo trì ễ dàng, nhiều tài ngun tính tốn dùng để thực thi hiếu thuật tốn phức tạp đem lại độ xác cao - Nhược điểm: Chi phí đầu tư ban đầu lớn, khó mở rộng ố lượng camera, hệ thống thiết kế cho số lượng amera định, server xử lý nút thắt cổ chai hệ thống * Phương án xử lý biên: Hình ảnh camera xử lý chỗ gửi kết |uả vể cho server Hình 2.4: cấu trúc One-State Detector Model YOLOv4 thuộc kiểu One-State Detector, cấu trúc model bao gồm thành phần sau: Backbone: CSPDarknet53, mạng có độ xác cao tốn object detection so với ResNet Neck: Tổng hợp đặc trưng thực trộn kết hợp trình nhận dạng (YOLOv4 gọi Dense prediction) với Features Map trích xuất từ backbone (CSPDarknet53) Head: Sử dụng Anchor box cho q trình nhận dạng 2.2.2 Cóc kĩ thuật quớ trình training Tăng cường liệu: Giúp cải thiện kết inference mà không làm thay đổi tốc độ thực thi model, Hình 2.3: Phương án xử lý biên - ƯU điểm phương án này: Chi phí đầu tư ban đầu ihỏ, mở rộng số lượng camera hệ thống, server đóng vai trò tổng hợp kết ko nút thắt :ổchai hệ thống - Nhược điểm: Công tác quản lý bảo trì khó khăn thiết bị xử lý nằm rải rác nhiều nơi, yêu cầu nhiểu kĩ thuật ập trình cao phần cứng thiết bị biên có hạn Dựa phân tích nhóm tác giả lựa chọn phương án xử lý biên để thực hiện, vể thuật toán xử lý, ngày có nhiều model deeplearning phát triển để chạy thiết bị biên, nhóm tác giả sử dụng dịng YOLO 2.1 Tổng quan hệ thống Hệ thống phát lỗi vi phạm giao thơng qua hình ảnh camera hệ thống xử lý hình ảnh theo thời gian thực yêu cẩu cao vể tốc độ độ xác Một hệ thống xử lý hình ảnh theo thời gian thực bao gồm bước sau: -Trích xuất thơng tin: Xây dựng định nghĩa giúp máy tính xác định vật thể cần quan tâm phương pháp thông thường: flip, rotation, random Contrast Ta sử dụng thêm phép biến đổi sau: Mixup dùng để trộn lẫn hai đối tượng vào nhau, cutout dùng để loại bỏ phần đối tượng, CutMix dùng cắt ghép đối tượng 2.2.3 Dữ liệu training validation: coco Dataset COCO dataset tập liệu tiếng công bố Microsoft Khơng chì sở hữu sỗ lượng ảnh khổng lồ: 163.957 hình, mà số lượng đối tượng coco Dataset phong phú: 80 đối tượng (xe con, xe tải, xe máy, xe buýt ) 63 KHOA HỌC CƠNG NGHỆ Só 08/2022 Tập liệu COCO dataset chia thành phần:Train -118.287 ảnh, Val - 5.000 ảnh,Test - 40.670 ảnh Một số hình ảnh phương tiên giao thông coco dataset Tiếp đến hai biểu đồ biểu diễn số Precision Recall tập val, ta thấy kết không cải thiệ nhiều kể từ 50 epochs trở Chỉ số Precision có xu hướr giảm lập lại đỉnh cũ epoch thứ 97, chỉ! Recall giảm dần Đây lúc ngừng trình training, né tiếp tục training model bị overfiting -Testing: So sánh model YOLOv4 tập liệu Te với model khác ta thấy YOLOv4 có kết hc model EfficientDet (DO ~ D4), ASFF CenterMask Đi model thuộc kiểu Two-State, mod phát triển để hướng đến nâng cao độ Xỉ khơng quan tâm đến tốc độ inference Cịn vể tốc ổ YOLOv4 vượt trội tất - Một vài hình ảnh inference: Hình 2.6: Một sốhình ảnh tập liệu coco Dataset 2.2.4 Kết training YOLOv4 tập liệu coco dataset -Training: Sau 50 training hai card đổ họa 2060 Super, ta thu kết sau: Hình 2.7: Biểu đồ giá trị loss Quan sát biểu đổ biểu diễn số Loss, ta thấy sau 100 epochs training model học tốt tập liệu coco dataset Giá trị loss giảm đểu 90 epochs đầu, 10 epochs cuối giá trị loss có xu hướng nhích lên ngang biểu model fit với tập liệu training Hình 2.11: Kết inference góc xa Hình 2.12: Kết inference đng phố thục tế Hình 2.8: Biểu đổ giá trị Precision 2.3 Mơ-đun theo dõi hướng di chuyển củ: phương tiện Hình 2.13: Kết dự đốn hng di chuyển phuơng tiện giao thõng 64 KHOA HỌC CƠNG NGHỆ Só 08/2022 Bài toán theo dõi hướng di chuyển phương tiện ướng đến giải vấn để: "Đóng thời phát theo õi tất đối tượng tầm nhìn, bao gồm đối íợng xuất xuất hiện" Thuật tốn nhóm tác giả để xuất để xây dựng mô-đun leo dõi hướng di chuyển phương tiện Simple Online - Coi đường đa giác khép kín ta xác định tập hợp điểm thuộc khu vực đường đó, thu hẹp lại tập hợp điểm nằm cạnh đa giác tức lể đường gọi tập hợp điểm xác định - Dựa vào cơng thức ta tính hiệu khoảng cách tương đối vật thể (ở phương tiện tham gia giao thông) với lề đường cần đối chiếu ealtime Object Tracking (SORT) SORT thuật toán thuộc dạng Tracking-byetection (hay Detection based Tracking) Đặc điểm ài toán tách phần Object detection thành toán êng biệt nên đấu vào kết model detector SORT ỉ tìm cách liên kết bounding box frame gán ) cho đối tượng Do đó, q trình xử lý frame Jẩn tự qua bước sau: - Detect: Phát vị trí đối tượng frame (sử ụng detector) - Predict: Dựa vào frame trước dự đốn vị trí đối tượng - Associate: Liên kết vị trí dự đốn với vị trí letected để gán ID tương ứng Hai thuật toán cốt lõi sử dụng SORT DC Kalman Filter giải thuật Hungary Áp dụng hai thuật toán trên, bước xử lý SORT ihưsau: - Bước 1: Sử dụng lọc Kalman Filter dự đoán trạng hái (track) dựa trạng thái (track) khứ - Bước 2: Kết hợp kết detection với track vừa thu lược, xây dựng ma trận chi phí Chi phí tính dựa 'ào giá trị IOU bouding box detection track -Bước 3: Áp dựng giải thuật Hungary ma trận chi >hívừa lập Bước 4: Phân loại, xử lý bouding box detection - Bước 5: Cập nhật bouding box detection iên kết với track lọc Kalman filter 2.4 Mô-đun tổng hợp thông tin phát lỗi vi - Mỗi đường đặt luật dựa theo vạch kè đường - Chia hướng di chuyển làm hướng (các hướng cịn lại kết hợp hướng thành tổ hợp di chuyển): sang phải, sang trái, xuống dưới, lên + Để xác định lỗi lấn - sai làn: Ta xét khoảng tương đối vật thể cần nhận diện lỗi với tập hợp điểm xác định, cách xác định vật thể có vị trí tương đối tập điểm xác định theo hướng di chuyển, chia làm trường hợp: 1) Xe chạm vạch: Hiệu vị trí tương đối vật thể với tập điểm xác định vạch = 2) Xe vượt vạch: Hiệu vị trí tương đối vật thể với lể hướng di chuyển sang trái từ xuống sau < => xe vượt vạch, ngược lại với hiệu vị trí tương đối hướng di chuyển sang phải lên ngày vượt qua ngưỡng dương xe vượt vạch Trường hợp áp dụng với vạch có luật trắng nét liền, vàng nét liền 3) Xe sai (không vượt vạch); Bắt đẩu từ điểm xuất phát hiệu vị trí tương đối vật thể có kết sau: lề trái (hoặc lể dưới) < vật thể < lể phải (hoặc trên), đồng thời tên phương tiện theo biển R412 R415 gán luật cho khác với nhãn phương tiện trả đánh dấu phương tiện sai 4) Xe sai (có vượt vạch): Kết hợp thuật toán b c thuật toán xử lý lỗi ỉhạm giao thông BiềnsổR.412a Biền số R.412b Biển số R.412I Biển sổ R.412C Biền sổ R.412g Bỉồn số R.412d Biển số R.412h Hình 2.7 4: Biển báo xe di duyển riêng Biền số R.415 Hình 2.7 5: Biển báo xe di duyển hỗn hợp + Xác định ngược chiều: Xét vị trí tương đối vật thể với điểm xuất phát Nếu vị trí tương đối giảm => xe ngược chiểu, vị trí tương đối tăng = > xe chiểu Kết hợp với thuật toán xác định hướng di chuyển để làm tăng tính xác 65 KHOA HỌC CƠNG NGHỆ Só 08/2022 Detector threshold: 0,4 Tên video STT Số lượng phương tiện giao thông Trong YOLOv4 video detected Độ xác Số lượng vi phạm Trong Hệ thống video phát Độ chín xác Video! mp4 345 440 92% 8091 Video2.mp4 652 740 91% 18 24 88°/ Cam RTSP Tổng số 745 991 85% 16 24 829 2978 1671 89% 36 52 839 Hình 2.17: Minh họa xe sai thục tế CÀI ĐẶT THỬ NGHIÊM MƠ HÌNH Mơ hình cài đặt thử nghiệm ngơn ngữ lập trình python thư viện hỗ trợ: Opencv, Pytorch, Tensorflow Mơ hình chạy máy tính ASUS core I5-9400F luồng 2.9Ghz tubo 3.8Ghz, card đồ hoạ NVIDIA GeForce GTX 1660,16G DDR4, hệ điều hành Win 10 - Win 11 Kết thử nghiệm: Quá trình chạy thử nghiệm video Rtsp streamming camera cho thấy hệ thống detect tracking loại phương tiên tốt Trong trường hợp nhiểu tơ có vị trí sát gần phân biệt đối tượng tỷ lệ bị dính đối tượng xảy thấp Đổi với đối tượng xa, hệ thống đảm bảo nhận diện loại phương tiện xác Các đối tượng bị che chắn vật thể cối hay cột diện trích xuất Xử lý việc vật thể bị phình to bóng khung có nắng cao đạt tỷ lệ xác cao Trong khung cao điểm, có nhiều phương tiện lưu thông, hệ thống vân phát lỗi đè vạch, lấn Kết chi tiết trình thử nghiệm sau: Hình 3.1: Hệ thống nhận diện vật thể trá kết quà trục tiếp video Hình 3.2: Nhận diện vói khung có ánh nắng cuờng độ cao Detector threshold: 0,25 Tên video STT Video1.mp4 Video2.mp4 Cam RTSP Tổng số Số lượng phương tiên giao thông Độ Trong YOLOV4 chinh video detected xác 345 344 99% 652 645 94% 754 745 97% 2978 1679 97% Số lượng vi phạm Độ Trong Hệ thống video phát xác 2 100% 18 19 98% 16 16 100% 36 40 98% Detector threshold: 0,3 Tên video STT Số lưọ ng phương tiện < jiao thơng Độ Trong YOLOV4 video detected xác Số lượng vi phạm Trong video Hệ thóng phát Độ xác Video1.mp4 345 443 93% 91% Video2.mp4 652 747 95% 18 20 91% Cam RTSP Tồng số 745 759 97% 16 18 91% 2978 1699 95% 36 41 91% 66 Hình 3.3: Hệ thống nhận diện xe máy vào đường chi dành cho xe bánh Hệ thống phát lỗi vi phạm giao thông dựa thuật học sâu nên tham số ảnh hưởng nhiều đến độ chín KHOA HỌC CƠNG NGHỆ Só 08/2022 c hệ thống giá trị ngưỡng Y0L0v4 (Score reshold) giá trị ngưỡng thấp (Score threshold = 0,25) Hệ ống nhận diện tốt vật thể, phương tiện lọc lính xác với ngưỡng 97 - 98% giá trị ngưỡng 0,3 (Score threshold - 0,3) Hệ thống lát nhiều phương tiện giao thông liều phương tiện bị nhận diện trùng - giảm độ xác la YOLOv4 từ 98% xuống 95%, kết phát vi lạm lỗi giao thông không thay đổi giá trị ngưỡng cao hơn: 0,4 (Score threshold = 0,4) )LOv4 nhiều vật thể bị nhân lên khiến kết bắt vi lạm bị sai số trùng lặp nhiểu Model YOLOv4 hoạt động tốt, nhận diện loại ỉ khác nhau, tiêu biểu: xe - car, xe tải xe bán tải - truck, ỉ buýt - bus, xe máy nói chung - motorbike, xe đạp - bicycle, ệ thống nhận diện người tham gia giao thơng đối íi phương tiện bánh hay người vỉa hè KẾT LUẬN Thông qua nghiên cứu, nhóm tác giả xây dựng lành cơng mơ hình thử nghiệm phát vi phạm giao lơng sai đường Qua trình chạy thử nghiệm, ta lấy hệ thống chạy ổn định, xử lý nhanh xác ường hợp vi phạm giao thơng đạt độ xác 91 % Ngồi ra, sản phẩm nghiên cứu hướng đến xử hạt lỗi vượt đèn đỏ Một số hạn chế liên quan tới điểu kiện lôi trường ánh sáng thu thập ảnh mẫu cho huấn luyện ần tìm hiểu kỹ để tăng độ xác q ình nhận dạng Lời cảm ơn: Nghiên cứu tài trợ Trường lại học Hàng hải Việt Nam Để tài mã số DT21 -22.56 Tài liệu tham khảo [1] Cezanne Camacho (2018), Convolutional Neural Networks, (https://cezannec.github.io/ Convolutional_ Jeural_Networks/) [2] J Yu, Y Jiang, z Wang, z Cao and T Huang (2016), Jnitbox:An advanced object detection network, in ACM MM [3] s Ren, K He, R Girshick and J Sun (2015), Faster -cnn: Towards realtime object detection with region proposal letworks, in NIPS, pp.91-99 [4], Bewley A, Ge z, ott L, Ramos F, Upcroft B (Aug 2016), ample online and realtime tracking, In: 2016 IEEE international zonference on image processing (ICIP), pp.3464-8 [5] Brooks J coco annotator (2019), https://github :om/jsbroks/coco-annotator/ [6] Chu p, Ling H FAMNet (2019), Joint learning of eature, afnity and multdimensional assignment for online vultiple object tracking Ngày nhận bài: 01/6/2022 Ngày chấp nhận đăng: 27/6/2022 Người phản biện: TS Nguyễn Trung Đức TS Trần Thị Hương 67 ... lại tập hợp đi? ??m nằm cạnh đa giác tức lể đường gọi tập hợp đi? ??m xác định - Dựa vào cơng thức ta tính hiệu khoảng cách tương đối vật thể (ở phương tiện tham gia giao thông) với lề đường cần đối... người tham gia giao thơng đối íi phương tiện bánh hay người vỉa hè KẾT LUẬN Thông qua nghiên cứu, nhóm tác giả xây dựng lành cơng mơ hình thử nghiệm phát vi phạm giao lơng sai đường Qua q trình... ống nhận diện tốt vật thể, phương tiện lọc lính xác với ngưỡng 97 - 98% giá trị ngưỡng 0,3 (Score threshold - 0,3) Hệ thống lát nhiều phương tiện giao thông liều phương tiện bị nhận diện trùng -