Chương 3: Giải pháp nhận dạng biển số xe
3.1 Các phương pháp nhận dạng biển số xe
Cùng với sự phát triển của khoa học kỹ thuật và nhu cầu đi lại ngày càng tăng của các phương tiện giao thông. Với số lượng phương tiện giao thông lớn và không ngừng tăng lên đã làm nãy sinh nhiều vấn đề trong việc kiểm soát quản lý các phương tiện giao thông. Để giải quyết vấn đề này nhu cầu đặt ra là phải có hệ thống quản lý các phương tiện giao thông một các tự động hay con gọi là hệ thống giao thông thông minh (ITS - Intelligent Transportation Systems). Một trong những hệ thống như vậy là hệ thống tự động nhận dạng biển số xe, hệ thống có khả năng thu nhận hình ảnh cũng như đọc hiểu các biển số xe và lưu xuống cơ sở dữ liệu.
Như các hệ thống khác thì hệ thống như vậy cũng yêu cầu cả phần cứng lẫn phần mềm. Phần cứng có thành phần chính là camera có tác dụng thu nhận hình ảnh và chuyển về trung tâm xử lý. Phần mềm có tác dụng xử lý ảnh do camera chuyển về. với sự phát triển của công nghệ điện tử ngày nay thì camera dễ dàng có khả năng thu nhận hình ảnh . Vấn đề đặt ra ở đây và có tính quyết định đến hiểu quả của hệ thống xử lý ảnh là phần mềm xử lý ảnh. Do đó tôi tập trung nghiên cứu giải quyết vấn đề xử lý ảnh số để đưa ra chính xác việc nhận dạng biển số xe.
Với sự phổ biến của phương tiện giao thông tại Việt Nam là xe máy nên tôi đã tập trung vào đối tượng là biển số đăng ký xe máy để thu thập dữ liệu hình ảnh làm cơ sở cho việc xử lý nhận dạng.
Nôi dung chính của vấn đề là áp dụng các thuật toán phù hợp để xử lý hình ảnh thu nhận được tìm vùng chứa biển số, tách các ký tự trên bản số từ đó đưa vào xử lý nhận dạng để tìm ra kết quả.
Ảnh đầu vào Trích vùng biển số Tách các ký tự trên biển số
Nhận dạng ký tự Xử lý kết quả
Đề tài nhận dạng trực tuyến xe mô tô bao gồm các bước phát hiện biển số xe, chụp lại ảnh có chứa biển số, trích ảnh chứa ký tự và dùng thuật toán thích hợp nhận dạng các ký tự trong biển số thành các ký tự ASCII để máy tính có thể lưu trữ và xử lý được.
Như vậy hệ thống nhận dạng sẽ bao gồm: camera trực tuyến dùng để chụp ảnh xe, chương trình trích biển số, chương trình tách ký tự trong hình biển số, chương trình nhận dạng từng ký tự trong biển số
Có nhiều phương pháp khác nhau để thực hiện vấn đề này nhưng tất cả đều có thể quy về 3 phương pháp chính như sau :
- Phương pháp chuyển đổi Hough: phương pháp này dựa vào đặc trưng cạnh biên trích được, áp dụng các phương pháp xác định đường thẳng như phép biến đổi Hough để phát hiện các cập đường thẳng gần song song ghép thành một ảnh biển số.
- Phương pháp hình thái học: Phương pháp này dựa vào đặc trưng hình thái của biển số xe như màu sắc, độ sáng, sự đối xứng … để xác định và trích ra ảnh biển số.
- Phương pháp khớp mẫu: phương pháp này xem biển số là một đối tượng có khung nền riêng và sử dụng các cửa sổ dò để trích từng đối tượng đưa qua mạng noron (Neural network), trí tuệ nhân tạo (artificial intelligence) chẳng hạn để phân loại có phải là vùng biển số hay không.
3.1.1 Trích biển số xe
Đây là bước không thể thiếu trong bài toán nhận dạng biển số xe do đó có nhiều hướng để giải quyết bài toán này. Cụ thể có một số hướng tiếp cận chính như sau:
a) phương pháp chuyển đổi Hough Nội dung của phương pháp gồm các bước:
- Dò tìm đặc trưng biên ngang, dọc: làm nổi bật các viền bao của tất cả các đối tượng trong ảnh trong đó có viền bao biển số. Phương pháp là
sử dụng bộ lọc gradient để trích được các đặc trưng cạnh biên. Nghiên cứu này sử dụng bộ lọc sobel để tiến hành dò.
- Dùng chuyển đổi hough tìm các đoạn thẳng ngang dọc trên cơ sở của ảnh nhị phân biên cạnh thu được từ bước trên. Chọn các đường thẳng cách đều nhau 5 pixel để dò đường và loại bỏ các đường thẳng nhỏ hơn ngưỡng, cụ thể có ít hơn 30 pixel thuộc nó.
- Tách các đoạn thẳng ngang, dọc có thể là cạnh của biển số.
- Trích ứng viền biển số: thành lập các hình chữ nhật là ứng viền cho biển số với tiêu chí cụ thể là: các đoạn thẳng thu được sẽ qua đánh giá về kích thước:
80 < chiều rộng < 400 63 < chiều cao < 350
0.63 < chiều cao/ chiều rộng < 0.8
Ưu điểm : Không phụ thuộc vào màu sắc của biển số xe
Nhược điểm : Do hiện này biển số xe gắn máy ở nước ta không có đường bao hay do thời gian đường bao sẽ bị mờ nên rất khó ứng dụng phương pháp này.
Phụ thuộc rất lớn vào các trích đặc trưng biên cạnh dãn đến là các đoạn thẳng ứng viên thu được thường ngắn hơn nhiều so với chiều dọc cũng như chiều ngang của biển số.
b) Phương pháp hình thái học
Nội dung phương pháp: Dựa vào đặc trưng quan trọng là biển số xe máy có độ sáng (tức mức xám khi chuyển ảnh về dạng xám) là tương đối khác so với các vùng khác trong ảnh, cũng như sự phân bố mức xám là khá đồng đều trên biển số và vì vậy khi được nhị phân hóa, vùng biển số là một đối tượng có đặc thù hình thái, có thể phân biệt được với các vùng khác. Như vậy các bước thực hiện ở đây là:
Xác định ngưỡng xám. Thực chất là không có phương pháp nào chọn cho đúng ngưỡng xám để thực hiện. Thay vào đó, ngưỡng xám sẽ được quét trong một khoảng nào đó. Thông qua lược đồ xám ta nhận thấy vùng biển số
thường sẽ có độ sáng tương đối lớn (từ 130 đến 200) vì vậy ta sẽ xác định lược đồ xám lớn nhất trong khoảng này và ngưỡng xám cần chọn sẽ thuộc vùng này nhờ đó ta sẽ giảm được thời gian lặp trùng ngưỡng xám.
- Nhị phân hóa ảnh xám đầu vào với ngưỡng xám đã xác định.
- Lọc các nhiễu (salt and pepper noise) gây ảnh hưởng xấu tới đối tượng biển số.
- Gắn nhãn cho các ảnh còn lại trong ảnh nhị phân thu được.
- Trích các đối tượng ứng viên biển số theo tiêu chí cụ thể của biển số xe về chiều cao, chiều rộng , tỉ lệ các cạnh, diện tích, trọng tâm… cụ thể đã chọn :
7000 pixel ≤ diện tích ≤ 150000 pixel 0.68 ≤ chiều cao/ chiều rộng ≤ 0.8 Ưu điểm: Đơn giản
Chọn ra chính xác vùng biển số Nhược điểm: Thời gian xử lý lớn.
c) Phương pháp phân tích phổ tần số trên ảnh
Dựa trên kỹ thuật phân tích phổ Fourier được sử dụng rộng rãi trong lĩnh vực xử lý ảnh và thường áp sụng để tăng cường chất lượng ảnh. Trong luận văn này tôi sử dụng một hướng tiếp cận phân tích phổ tần số trên ảnh (Fast Fourier Transform) sẽ trình bày ở phần sau.
3.1.2 Cách ly các ký tự
Sau khi trích được vùng chứa biển số, ta thực hiện tách các ký tự từ ảnh thành từng ảnh đơn. Dạng chung của biển số xe mô tô hai bánh hiện nay là các ký tự sẽ có cùng kích cỡ, cùng hướng và xuất hiện trên hai dòng. Đây là đặc trưng rất quan trọng giúp ta đơn giản hóa bài toán này.
Hiện nay có một số thuật toán tách ký tự trên biển số khá hiệu quả như:
áp dụng phép chiếu đếm số điểm ảnh theo đường ngang và đường dọc, dựa vào đó xác định các điểm tách hoặc áp dụng thuật toán xác định các thành phần liên thông của từng ký tự trên ảnh đã được phân ngưỡng nhị phân.
Phương pháp: có nhiều phương pháp để thực hiện nhiệm vụ này như : tách tĩnh, lượng hóa vecto (vecto quantization), lược đồ chiếu ngang và dọc (vertical and horizontal projection), mạng noron (neural network), trí tuệ nhân tạo (AI), hình thái học (Morphology)
Phương pháp hình thái học: Mỗi 1 ký tự trên biển số sẽ là 1 đối tượng có đặc điểm hình thái học cụ thể như chiều cao, chiều rộng, tỉ lệ 2 chiều…
biến đổi tương đối ít ( nếu ảnh biển số đưa về cùng 1 kích cỡ) mà dựa vào đó ta có thể tách ra được cụ thể từng ký tự một. từ đó ta có thuật toán tách ký tự từ ảnh xám biển số sau đây:
- Đưa ảnh xám biển số về cùng độ phân giải sau đó thực hiện xóa biên ảnh biển số
- Xác định ngưỡng xám để nhị phân bức ảnh biển số. Khâu này rất quan trọng quyết định tính chính xác của việc nhận dạng ký tự. Ngưỡng xám được chọn theo các bước sau:
Nâng cao tính tương phản của ảnh biên biển số bằng thuật toán cân bằng hóa lược đồ xám ( histogram equalization )
Dùng thuật toán Otsu để xác định ngưỡng xám của bức ảnh mới này, đây là ngưỡng xám cần tìm.
Lọc nhiễu để loại bớt các đối tượng và gán nhãn cho các đối tượng còn lại.
Tách ra các ký tự thông qua đặc tính về hính thái học, cụ thể như sau : 8 pixel ≤ chiều rộng ≤ 45 pixel
45 pixel ≤ chiều cao ≤ 85 pixel
Ưu điểm: Không phụ thuộc vào độ nghiêng của biển số.
Không phụ thuộc vào nhiễu
Biển số có thể không làm sạch được nhưng vẫn nhận dạng chính xác
Nhược điểm: Phụ thuộc vào độ chính xác của ảnh nhị phân và có lấy hết được ảnh ký tự từ ảnh xám.
Phương pháp tách ký tự bằng phân thích biểu đồ mức xám:
Và trong luận văn này, tôi đã chọn phương pháp tách ký tự bằng phân tích biểu đồ mức xám (Histogram).
3.1.3 Nhận dạng ký tự
Có nhiều phương pháp nhận dạng ký tự đơn đã được nghiên cứu trong thời gian gần đây, đặc biệt là trên các ký tự chữ in. Vấn đề quan trọng trong nhận dạng ký tự đơn in là việc định loại font chữ , kiểu chữ; chất lượng ảnh nhận được có tốt hay không; và một vấn đề quan trọng nữa là khả năng học tăng cường để tự chỉnh lỗi trong quá trình nhận dạng cũng khá phức tạp.
Hiện nay có nhiều hướng tiếp cận để giải quyết bài toán này như:
a) Phương pháp hình thái học
Các ký tự đều có những đặc điểm hình thái đặc biệt có thể phân biệt với nhau chẳng hạn như “0” có lỗ trống ở giữa, “8” có 2 lỗ trống hay “X” đối xứng hai trục dọc và ngang… Đặc biệt ở khâu này được thực hiện trên cơ sở xây dựng cây nhị phân tối ưu của các đặc điểm hình thái nên đảm bảo tính khoa học và tính chính xác cao. Từ những đặc điểm trên thuật toán gồm các bước như sau:
Quan sát chọn ra các đặc tính phân biệt ký tự để xây dựng ma trận đặc tính.
Xây dựng cây nhị phân tối ưu từ ma trận đặc tính và tập ký tự thu được từ bước tách ký tự
Quan sát cây nhị phân và kiểm tra xem số đặc tính như vậy đã đủ để nhận dạng chưa, thiếu (dư) phải bổ sung ( bỏ đi) và quay lại bước đầu tiên.
Tiến hành nhận dạng các ký tự trên cơ sở cây nhị phân tối ưu tìm được.
b) Phương pháp nhận dạng bằng máy học
Phương pháp này ứng dụng các phương pháp như : Mạng neural, SVM, Mô hình Markov ẩn. Trong luận văn này tôi sử dụng mạng Neural để xây dựng module nhận dạng ký tự, và lý thuyết về mạng Neural và ứng dụng của nó