Nhận diện biển số xe máy, ô tô sử dụng mạng nơ ron nhân tạo

Bài viết Nhận diện biển số xe máy, ô tô sử dụng mạng nơ ron nhân tạo giới thiệu cách áp dụng mô hình nhận dạng vật thể Single Shot MultiBox (SSD) để phát hiện biển số và phát hiện ký tự, đồng thời đề xuất một mô hình phân loại hình ảnh để nhận dạng ký tự.

Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 NHẬN DIỆN BIỂN SỐ XE MÁY, Ô TÔ SỬ DỤNG MẠNG NƠ RON NHÂN TẠO Nguyễn Văn Nam Khoa Công nghệ Thông tin, Trường đại học Thủy lợi, email: nvnam@tlu.edu.vn GIỚI THIỆU CHUNG Nhận dạng biển số xe ô tô, xe máy tự động việc sử dụng công nghệ xử lý ảnh để đọc biển số xe từ hình ảnh thu camera giao thông Với phát triển mạnh mẽ công nghệ xử lý ảnh công nghệ mạng nơ ron nhân tạo cho thị giác máy tính, độ xác nhận diện cải thiện đáng kể đáp ứng nhu cầu thực tế Bài báo giới thiệu cách áp dụng mơ hình nhận dạng vật thể Single Shot MultiBox (SSD) để phát biển số phát ký tự, đồng thời đề xuất mơ hình phân loại hình ảnh để nhận dạng ký tự Hệ thống tổng thể cho kết nhận diện biển số với độ xác 86,5% Rất nhiều mạng nơ ron tích chập (Convolutional Neural Network) phát triển giới cho phép phân loại ảnh VGG, Resnet, EfficientNet, cho phép nhận dạng vật thể ảnh YOLOv3 (You Look Only Once) [2], FasterRCNN (Faste-Regional CNN) [3] hay SSD (Single Shot Multibox Detector) [1] Trong báo này, thực phát biển số phát ký tự mơ hình SSD Trên liệu PASCAL VOC, SSD500 có độ xác mAP 76,8% tốt so với YOLOv3 (66,4%) có tốc độ 22fps cao so với Faster-RCNN (7fps) PHƯƠNG PHÁP NGHIÊN CỨU Biển số xe giới Việt Nam bảng hợp kim nhôm sắt có dạng hình chữ nhật hình vng có in ký tự số ký tự chữ Biển số xe giới phân chia thành loại biển xe dòng biển xe hai dịng Quy trình nhận diện biển số xe máy, tơ mơ tả hình Quy trình gồm ba bước (1) phát biển số, (2) phát ký tự (3) nhận dạng ký tự Hai bước thực với SSD Bước cịn lại thực với mơ hình tự đề xuất Hình Các bước nhận dạng biển số phương tiện Hình Mơ hình nhận dạng vật thể SSD Kiến trúc mạng nơ ron nhân tạo sử dụng SSD (hình 2) bao gồm hai phần mạng nơ ron sở (baseline) VGG, Resnet, EfficientNet phần tầng tầng SSD hay gọi tầng phụ Phần mạng nơ ron sở tạo ánh xạ đặc trưng với kích cỡ khác Phần tầng SSD phụ thực việc hồi quy hình hộp bao đóng dự đốn xác suất xuất loại vật thể hộp bao đóng Tương tự YOLO, với ánh xạ đặc trưng 3838512, ảnh đầu vào coi lưới ô vuông 3838 Với ô 66 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 vng, có số hình chữ nhật neo (defaul boxes) khởi tạo với tâm trùng với tâm vng có hình dạng khác Quá trình huấn luyện trình tinh chỉnh hình dạng kích cỡ hình hộp đề xuất (prediction) để phù hợp với hình tham chiếu (ground-truth) cho với loại vật thể, xác suất hình hộp chứa loại đối tượng lớn sư sai lệnh vị trí kích cỡ hình dự đốn hình thật nhỏ Vị trí kích cỡ hình hộp bao đóng chuẩn hóa theo vị trí kích cỡ vng SSD sử dụng thuật toán NMS (nonmaximal suppression) để loại hình bao đóng có vị trí độ xác thấp Hàm mát SSD sau: L(x,c,l,g) = 1/N (Lconf (x,c) + α Lloc(x,l,g)) Trong đó: xpij = {1; 0} báo có hay khơng ghép cặp hộp bao đóng neo thứ i hình tham chiếu thứ j loại vật thể p; N - số hình chữ nhật neo ghép cặp; Lloc(x,l,g) - hàm mát vị trí tính hàm chuẩn tham số chuẩn hóa hộp dự đoán l hộp tham chiếu g Lconf (x,c) hàm mát độ tin cậy hàm sai số cross-entropy lớp đối tượng hai tầng mạng nơ ron kết nối đầy đủ có số lượng nơ ron tương ứng 500 10 (tương ứng với 10 ký tự số) Mơ hình phát biển số mơ hình phát ký tự biển số Mơ hình SSD mơ hình phân loại ký tự biển số cài đặt khung làm việc MXNET, cung cấp thư viện GluonCV hiệu cho mơ hình thị giác máy tính Cả hai mơ hình huấn luyện máy Tesla T4, sử dụng thuật toán tối ưu SGD (Stochastic Gradient Descent) với batch size 512, learning rate 0,001, weight decay 0,0005 momentum 0,9, số lượng epoch 200 SSD sử dụng để phát biển số, phát ký tự biển số Mô hình phát biển số có nhãn biển dịng (1-line) biển dịng (2-lines) Mơ hình phát ký tự bao gồm 31 nhãn gồm 10 chữ số 21 ký tự latinh sử dụng biển số xe Hình Mơ hình phân loại ký tự số Tương tự vậy, mơ hình phân loại ảnh ký tự chữ có cấu trúc tương tự có 21 đầu tương ứng với 21 ký tự biển số xe KẾT QUẢ NGHIÊN CỨU Chuẩn bị liệu Dữ liệu gán nhãn bao gồm 1000 ảnh biển số 6200 ảnh ký tự biển số cho 21 ký tự chữ 10 ký tự số Dữ liệu thu nhận từ camera giao thơng thực vào ban ngày Huấn luyện mơ hình Mơ hình nhận dạng ký tự Kết thử nghiệm Mơ hình nhận dạng ký tự số thể minh họa hình Đây mơ hình phân loại hình ảnh Đầu vào mơ hình ảnh RGB kích cỡ 2828 chứa ký tự số Mơ hình phân loại ký tự số bao gồm tầng tích chập (conv) với lọc 55, bước nhày số kênh 20 50; hai tầng gộp cực đại (max pooling) kích cỡ 22 bước nhảy Ánh xạ đặc trưng cuối có kích cỡ 4450 làm phẳng thành vecto chiều có kích cỡ 800 Cuối 67 Tuyển tập Hội nghị Khoa học thường niên năm 2020 ISBN: 978-604-82-3869-8 dạng biển số khơng cịn hình chữ nhật tương ứng với hình bao đóng gán nhãn Do tỷ lệ nhận nhầm biển số cao Đây nhược điểm cách tiếp cận Độ xác nhận diện biển số xe ô tô Ô tô Positive Negative True 29 False 4 KẾT LUẬN Precision = TP/ (TP + FP) = 85,3% Recall = TP/(TP + FN) = 87,9% F1-Score = * Precision * Recall/ (Precision+Recall) = 86,5% Độ xác nhận diện xe máy Xe máy Positive Negative True 57 False 20 13 Precision = TP/ (TP + FP) = 74% Recall = TP/(TP + FN) = 81% F1-Score = 77,5% Trong báo này, chúng tơi sử dụng mơ hình học sâu SSD (Single Shot Multibox Detector) để phát biển số, phát ký tự biển số Sau chúng tơi thiết kế mạng phân loại để nhận diện ký tự Việc nhận diện biển số thử nghiệm với 20 ảnh cho độ xác F1-Score 86,5% Kết khả quan để ứng dụng vào thực tế Tuy nhiên, cần phải có thêm nhiều liệu để tăng cường độ xác mơ hình TÀI LIỆU THAM KHẢO Đánh giá chung Phương pháp đề xuất có ưu điểm tốc độ nhận dạng cao: trung bình khoảng 30ms/ảnh; độ xác nhận dạng chấp nhận được: tỷ lệ F1-Score cho biển số xe máy, oto ban ngày tương ứng 77,5% 86,5% Tuy nhiên, độ dài chuỗi ký tự biển số trung bình chữ số Ngay độ xác nhận diện ký tự (character accuracy) cao đến 99% độ xác nhận diện chuỗi ký tự (sequence accuracy) đạt tới 91% Ngồi ra, góc hình khác nhau, hình [1] Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y & Berg, A C (2015) SSD: Single Shot MultiBox Detector (cite arxiv:1512.02325Comment: ECCV 2016) [2] Redmon, J & Farhadi, A (2018) YOLOv3: An Incremental Improvement (cite arxiv:1804.02767Comment: Tech Report) [3] Ren, S., He, K., Girshick, R B & Sun, J (2015) Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks In C Cortes, N D Lawrence, D D Lee, M Sugiyama & R Garnett (eds.), NIPS (p./pp 91-99) 68 ... tầng mạng nơ ron kết nối đầy đủ có số lượng nơ ron tương ứng 500 10 (tương ứng với 10 ký tự số) Mơ hình phát biển số mơ hình phát ký tự biển số Mơ hình SSD mơ hình phân loại ký tự biển số cài... tự biển số Mơ hình phát biển số có nhãn biển dịng (1-line) biển dịng (2-lines) Mơ hình phát ký tự bao gồm 31 nhãn gồm 10 chữ số 21 ký tự latinh sử dụng biển số xe Hình Mơ hình phân loại ký tự số. .. 978-604-82-3869-8 dạng biển số khơng cịn hình chữ nhật tương ứng với hình bao đóng gán nhãn Do tỷ lệ nhận nhầm biển số cao Đây nhược điểm cách tiếp cận Độ xác nhận diện biển số xe tơ Ô tô Positive Negative