Kỷ yếu Hội thảo khoa học cấp Trường 2022 Tiểu ban Điện-ĐTVT-CNTT Phương Pháp Nhận Diện Biển Số Xe Ô Tô Sử Dụng Học Máy Và Thư Viện OpenCV Phạm Minh Châu Khoa Điện-Điện tử viễn thông Trường Đại học Giao thơng vận tải Thành phố Hồ Chí Minh Thành phố Hồ Chí Minh, Việt Nam chau.pham@ut.edu.vn Tóm tắt-Ở nước ta nay, việc thực quản lý phương tiện giao thơng vơ phức tạp, cơng tác phát xử phạt vi phạm gặp nhiều khó khăn Để giải vấn đề trên, nhu cầu đặt cần có hệ thống tự động thực công việc nhận dạng biển số xe, có khả “đọc” “hiểu” biển số cách tự động Một hệ thống nhận dạng có nhiều ứng dụng thực tiễn như: Trạm cân xe tự động, trạm thu phí tự động, bãi gửi xe tự động Cũng hệ thống tự động khác, nhận dạng biển số xe bao gồm yêu cầu phần cứng phần mềm Phần cứng thiết bị thu nhận ảnh (camera), ảnh thu được phần mềm xử lý đưa vào nhận dạng Qua đó, bao gồm hai cơng đoạn: Tách biển số xe nhận dạng ký tự Bài báo nghiên cứu phương pháp nhận diện biển số xe ô tô kết hợp học máy thư viện mở OpenCV Từ khóa-Nhận diện biển số xe, học máy, OpenCV I GIỚI THIỆU Hệ thống nhận dạng biển số xe hệ thống có khả thơng qua hình ảnh, video, thiết bị ghi hình để phân tích hình ảnh xác định biển số xe Qua đó, xác định thông tin như: Chủ sở hữu xe, tốc độ xe, Phân loại ứng dụng nhận dạng biển số xe có nhiều cách thức khác Một cách đơn giản phân loại ứng dụng nhận dạng biển số xe thơng qua mục đích sử dụng Có thể chia ứng dụng nhận dạng biển số xe thành hai loại sau: Giới hạn vùng nhìn: Ảnh thu trực tiếp từ thiết bị ghi nhận ảnh kỹ thuật số Ảnh ghi nhận thường giới hạn vùng có biển số xe Các phương tiện giao thơng phải vận hành với tốc độ nằm phạm vi nhận diện để máy ghi nhận hình ảnh thu thập vùng biển số xe Nó thường ứng dụng trạm kiểm soát, bãi gửi xe tự động trạm gác cổng tự động Không giới hạn vùng nhìn: Hình ảnh thu khơng phụ thuộc vào góc độ, tập trung vào phần biển số Hình ảnh bao qt bao gồm đối tượng xung quanh người điều khiển, cây, đường phố… Nhưng yêu cầu vùng biển số phải đủ rõ để nhận dạng ký tự vùng Do khơng giới hạn vùng nhìn nên ảnh đầu vào thu từ thiết bị ghi hình (camera, máy ảnh…) Vì vậy, cần dị tìm ảnh, để xác định vùng biển số xe, sau tách vùng nhận dạng Tùy thuộc vào mục đích sử dụng mà kết nhận dạng truyền hay lưu trữ để phục vụ nhu cầu khác Do khơng phụ thuộc vào góc độ hình ảnh thu được, nên ứng dụng rộng rãi linh hoạt nhiều nơi vị trí điều tiết giao thông, phần đường giao nhau, hay dùng để kiểm sát phát hành vi vi phạm an toàn giao thông Máy quét, đèn chiếu, phận thu – tách hình ảnh, máy tính thiết bị khác Bài báo đề cập đến phương pháp VSM ứng dụng thư viện OpenVC để giải toán loại khơng giới hạn vùng nhìn, vậy, tác giả tập trung giải toán sau: Bài toán 1: Xác định vùng chứa biển số xe tách biển số; Bài toán 2: Cách ly ký tự biển số; Bài toán 3: Nhận dạng ký tự II PHƯƠNG PHÁP XÁC ĐỊNH BIỂN SỐ XE Việc tách biển số bước quan trọng trình nhận dạng xe, bao gồm hai giai đoạn chính: Giai đoạn 1: Định vị vị trí biển số ảnh gửi đến; Giai đoạn 2: Dùng giải thuật để cắt biển số xe khỏi ảnh chụp 102 Phạm Minh Châu Hình Thuật tốn dị tìm biển số A Tiền xử lý ảnh Các thao tác xử lý ảnh dùng thư viện OpenCV để chuẩn bị cho bước phân tích bao gồm: Chuyển ảnh đa cấp xám, ảnh màu dạng nhị phân cách chọn ngưỡng, giảm nhiễu để loại bỏ diệu không liên quan, phân đoạn để tách cắt thành phần ảnh cuối làm mảnh hay dò biên để dễ dàng xác định vùng, đặc trưng thích hợp đối tượng cần quan tâm [1] Đầu tiên, cần chuyển màu ảnh từ BGR sang HSV HSV biểu diễn màu dựa số liệu: H (Hue): Vùng chứa màu sắc; S (Saturation): Độ bão hịa; V (Value): Độ sáng Với HSV, dùng riêng giá trị độ sáng (V) muốn sử dụng ngưỡng độ sáng pixel để lọc ký tự, cịn màu GRAY khơng thể biểu diễn màu dựa chung giá trị Hình Ảnh khơng gian màu RGB Hình Ảnh khơng gian màu HSV Bước chuyển đổi ảnh màu ảnh xám sử dụng mã lệnh thư viện OpenCV: cvtColor(src, src_gray, CV_BGR2GRAY); kết thể qua hình Với mục đích tự động chọn ngưỡng cần thiết để tách ảnh làm hai phần thông tin ảnh thơng tin nền, vậy, bước chuyển ảnh qua nhị phân, ảnh đa cấp xám, thông tin tồn dạng nhị phân chẳng hạn chuỗi văn hay đối tượng ảnh, phương pháp nhị phân thông thường thực trước Để thực việc tách ngưỡng này, OpenCV cung cấp chức threshold 103 Phương pháp nhận diện biển số xe ô tơ sử dụng học máy thư viện OpenCV Hình Kết vẽ đường bao Hình Ảnh xám biến đổi C Xác định vùng chứa tách biển số xe Ở nước ta, biển số xe qui định đồng cho tỷ lệ chiều dài độ rộng loại xe Đối với loại xe có hàng ký tự 3.5 ≤ W / H ≤ 4.5, loại xe có hai hàng ký tự 0.8 ≤ W / H ≤ 1.4 Hình Ảnh nhị phân với threshold T = 150 B Tìm biển số phương pháp tìm đường biên FindContours Ta tìm đối tượng thơng qua vùng biên, khơng thuật toán cần đưa findContours thành hàm OpenCV hữu ích việc tìm đối tượng ảnh Sử dụng hàm findContours kiểm tra hoạt động dùng công cụ khác để đánh dấu vùng tìm Sau có binary Image với điểm ảnh đánh dấu, thực giải thuật contours nối điểm ảnh tạo thành đường bao qua vùng Countour trả tập hợp điểm (x,y) đường bao với đường bao khép kín, ta có vật thể Theo kết thực nghiệm, số vật đếm lớn 184 chắn có phần chứa biển số xe Tiếp theo, kết hợp với hàm vẽ đường bao ta kết theo hình Ta xác định vùng thỏa mãn tiêu chí ngưỡng tỉ lệ dài/rộng, có khả chứa biển số xe cao [2] Đối với số lượng ký tự biển số xe: Mỗi ký tự thường có tỉ lệ kích thước chiều rộng, chiều cao tương ứng với chiều dài chiều rộng biển số xe Chiều cao ký tự nhỏ 85% chiều cao biển số xe lớn 33% chiều cao biển Còn chiều rộng ký tự không lớn 20% chiều dài biển Bài toán phát biển số xe giải theo ba bước sau: Bước 1: Hình ảnh gửi tới máy tính, gọi hình ảnh đầu vào F(x,y); Bước 2: Từ F(x,y) phát triển vùng để tìm vùng có khả chứa biển số xe phương pháp dò biên Ta gọi tập vùng Sc = {Pbi(x,y)}; Bước 3: Xác định xác vùng chứa biển số xe, từ xác định tỉ lệ chiều dài với chiều rộng số ký tự biển số xe Kết toán hay tập ảnh chứa biển số xe, tạm gọi ảnh biển số xe ký hiệu Sbs = {Fbj(x,y)} - tập kết Sau tiến hành bước ta thu kết hình Với thơng số tọa độ sau: Hình Biển số xe sau tách cv2.drawContours(edges, contours, -1, (0,255,0), 3) 104 Phạm Minh Châu III CÁCH LY KÝ TỰ TRONG BIỂN SỐ IV NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ XE Số ký tự biển số xe nước ta thường 8, nên mục này, tác giả trình bày phương pháp cách ly ký tự biển số xe tách thành ảnh đơn chứa ký tự cho hai trường hợp biển dài biển vuông Những ký tự đơn lẻ khung hình chữ nhật có kích thước định ký tự sau cách ly Để nhận dạng ký tự này, ta sử dụng nhiều phương pháp khác nhau, từ đơn giản phương pháp sử dụng độ tương quan chéo (cross correlation) phương pháp sử dụng mơ hình học máy (machine learning) mạng Neuron nhân tạo, SVM … Đối với phương pháp trên, cần sưu tầm lượng mẫu kí tự định, từ vài trăm hàng nghìn mẫu, sau đưa vào huấn luyện Các bước tiến hành phương pháp SVM [3] sau: Trường hợp biển dài bước xử lý sau: Bước 1: Ngõ vào chương trình phân vùng ký tự ma trận binary biển số; Bước 2: Trước phân vùng ký tự, ta chia ma trận ảnh biển số thành hàng đưa vào chương trình phân vùng; Bước 3: Dựa vào tổng số pixel mức (mức màu trắng - màu ký tự, mức màu đen – màu nền) để phân chia thành nhiều ma trận ký tự từ ma trận biển số Tách ký tự thơng qua đặc tính hình thái học: 15 pixel < chiều rộng < 80 pixel; 30 pixel