Template Matching là phương phỏp khỏ đơn giản, dựa trờn sự tương quan giữa mẫu đưa vào và mẫu cú sẵn trong cơ sở dữ liệu.
Ảnh đưa vào sau khi đó qua cỏc bước xử lý cơ bản, sẽđược đưa vào để tớnh tương quan với cỏc mẫu theo cụng thức : Cor = ∑ ∑ ∑ − = − = − − − = − − − − − − 1 0 1 0 2 2 1 0 ) ( . ) ( ) ).( ( N i N i i i N i i i y y x x y y x x (2-25)
Trong đú: cor là tương quan giữa hai mẫu (-1< cor <1) xi là giỏ trị của ảnh đưa vào tại vị trớ thứ i
yi là giỏ trị của ảnh mẫu tại vị trớ thứ i −
x là giỏ trị trung bỡnh của ảnh đầu vào −
y là giỏ trị trung bỡnh của ảnh mẫu
N là độ lớn của bức ảnh (chiều dài x chiều rộng)
- Corr(x,y) = 1 cú nghĩa là x và y cú tương quan mạnh mẽ với nhau và đồng biến.
- Corr(x,y) = -1 cú nghĩa là x và y cú tương quan mạnh mẽ với nhau nhưng nghịch biến.
- Corr(x,y) = 0 núi lờn rằng x và y hầu như khụng cú tương quan
- Giỏ trị của correlation càng gần +1 thỡ x và y càng tương đồng nhiều. Hai ảnh cú correlation là 0.946900 => cú nhiều điểm giống nhau
Hỡnh 2.16 Hỡnh thể hiện sự tuơng quan lớn Ngược lại hai ảnh cú correlation là 0.476787
Hỡnh 2.17. Hỡnh thể hiện tương quan thấp
Cơ sở của thuật toỏn là sự “giống nhau” của cỏc điểm ảnh, cho phộp chỳng ta tỡm một thấy một mẫu nhất định trong một ảnh lớn bằng cỏch quột tất cả cỏc pixel của tấm ảnh lớn. Vựng nào cú sự tương quan lớn nhất sẽđược quyết định là vựng giống với mẫu ảnh đưa vào
Hỡnh 2.18. Xỏc định một vựng ảnh trong một mẫu ảnh lớn
Để rừ hơn chỳng ta hóy xột cỏc vớ dụ sau sẽ thấy được khả năng ứng dụng của phương phỏp Template Matching trong quỏ trỡnh nhận dạng.
Ta cú cỏc mẫu sau đõy:
Hỡnh 2.19. Cỏc mẫu đối sỏnh Kết quả thu được bằng mụ phỏng Matlab
Hỡnh 2.20. Kết quả tương quan của ảnh 1 với mẫu - Với ảnh 2:
Hỡnh 2.21. Kết quả tương quan của ảnh 2 với mẫu - Với ảnh 3
- Với ảnh 4
Hỡnh 2.23. Kết quả tương quan của ảnh 4 với mẫu
Nếu ta lấy ngưỡng là 0.8 là cú thể nhận ra được cỏc ảnh1, 2, 3 ở cỏc vị trớ tương
ứng. Mặt khỏcvới giỏ trị ngưỡng như đó chọn thỡ ta cú thể kết luận mẫu đưa ra khụng xuất hiện trong ảnh 4.
Do thời gian cú hạn, và với yờu cầu xử lý nhanh của bài toỏn, vỡ vậy tụi chọn dựng phương phỏp template matching để nhận dạng ký tự. Đõy là một phương phỏp khỏ
CHƯƠNG 3. PHÂN TÍCH THIẾT KẾ MODULE THU NHẬN ẢNH VÀ CÁCH LY Kí TỰ TRONG HỆ THỐNG QUẢN Lí BIỂN SỐ XE 3.1. Quỏ trỡnh phõn vựng biển số xe
Hệ thống cú chức năng giao tiếp với camera thụng qua driver cung cấp sẵn. Module camera tự động nhận dạng chuyển động để lấy mẫu đưa vào hệ thống tỏch và nhận dạng biển số. Hệ thống xử lý thời gian thực, tớnh toỏn xử lý nhanh và khụng tốn nhiều tài nguyờn hệ thống nờn trong phần mềm sử dụng phương phỏp Histogram. Kết hợp với một số trường hợp kiểm thửđểđưa ra một số cỏch cú thể tỏch được cỏc ảnh cú chứa biển số khụng đỳng chuẩn. Hoặc ảnh bị nhiễu quỏ nhiều (bị lúa, độ sỏng của ảnh quỏ lớn).
Quỏ trỡnh thực hiện:
Hỡnh 3.1. Sơđồ khối của module phõn vựng biển số
Bước 1: Tiền xử lý
Ảnh mức xỏm chụp từ Camera, được đưa vào bước tiền xử lý gồm cỏc bước sau:
- Thay đổi lại kớch thước ảnh về kớch thước 400x300pixel bằng thuật toỏn nội suy tuyến tớnh. (Linear Interpolation - đó trỡnh bày ở chương 2)
- Chuyển ảnh vềảnh mức xỏm theo cụng thức : Y = R*0.287 + G*0.599 + B*0.114 (3-1)
trong đú Y là giỏ trị mức xỏm, R,G,B là giỏ trị màu của điểm ảnh đang xột - Lọc nhiễu bằng phương phỏp lọc trung vị (Median Filter)
Tiền xử lý Dũ biờn bằng phương phỏp Lấy Histogram theo phương Cắt dọc biển số Lấy Histogram theo phương Cắt ngang biển số Phõn vựng được biển số xe Ảnh mức ỏ
- Dón độ tương phản.
- Chuyển sang ảnh nhị phõn thớch nghi bằng phương phỏp Otsu.
Hỡnh 3.2. Ảnh mức xỏm và ảnh nhị phõn thớch nghi Bước 2: Dũ biờn bằng phương phỏp Canny
Bước 3: Lấy Histogram theo chiều dọc của ảnh để xỏc định vị trớ cắt ngang
Hỡnh 3.3. Lược đồ Histogram & ảnh sử dụng phương phỏp dũ biờn Canny.
Căn cứ vào đặc thự của biển số xe mỏy ở Việt Nam, cũng như vị trớ đặt camera, hai đường biờn ngang của biển sốđược xỏc định nếu thỏa món cỏc điều kiện như sau:
- Giỏ trị lớn nhất của lược đồ Histogram theo phương thẳng đứng Hmax_ver cú giỏ trị đủ lớn. Ở đõy chọn Hmax_ver = 8000.
- Hai đường biờn trờn và dưới này cỏch nhau khụng dưới ngưỡng T1. Ởđõy chọn T1 = 65 pixel. Hai vị trớ khụng được nhỏ quỏ 65pixel.
Hỡnh 3.4. Ảnh biển số sau khi đó cắt ngang và lược đồ Histogram theo phương nằm ngang
Bước 4:
Dũ biờn bằng phương phỏp Canny lần nữa với ảnh sau khi đó cắt ngang biển số
này, Lấy Histogram theo phương nằm ngang để tỡm vị trớ cắt dọc. Vị trớ cắt dọc thỏa món một sốđiều kiện sau:
- Giỏ trị lớn nhất của lược đồ Histogram theo phương ngang Hmax_hor cú giỏ trị đủ lớn. Ởđõy chọn Hmax_hor = 4000.
- Hai đường biờn dọc cỏch nhau khụng dưới ngưỡng T2. Chọn T2 = 88 pixel. Hai vị trớ khụng được nhỏ quỏ 88pixel.
Bước 5: Tỏch biển số ra khỏi ảnh, chuẩn húa kớch thước biển số về 240x180 pixel, sử dụng cho bước cỏch ly ký tự.
3.2. Quỏ trỡnh tỏch ký tự biển số
Sau khi biển số xe tỏch ra đó được chuẩn húa kớch thước, chỳng ta cú thể dựa vào cỏc đặc điểm hỡnh thỏi học cụ thể của từng ký tự như chiều cao, chiều rộng, tỷ lệ hai chiều… để cỏch ly cỏc ký tự từ vựng ảnh biển sốđưa vào.
Quỏ trỡnh thực hiện được mụ tả trong hỡnh sau:
Hỡnh 3.6. Sơđồ khối của quỏ trỡnh tỏch ký tự
- Dũ biờn ảnh với thuật toỏn Canny.
- Thực hiện lấy Histogram theo chiều dọc biển sốđể xỏc định được
điểm giữa cắt ngang biển số.
- Dũ tỡm điểm gạch nối ở giữa vựng trờn với số pixel 8 pixel < chiều rộng < 20 pixel để tỏch phần gạch nối khỏi ảnh.
Hỡnh 3.7. Lược đồ Histogram theo phương ngang và dọc và vị trớ Lấy Histogram
theo phương Y Chia ngang biển số
Lấy Histogram theo phương X. dũ tỡm gạch nối giữa Nhị phõn ảnh bằng phương phỏp Otsu Chia biển số thành 8 phần Tỏch từng ký tự với một sốđặc điểm hỡnh thỏi Cắt bỏ khoảng trắng và viền quanh ký tự Chuẩn húa kớch thước từng ký tự tỏch được
chia 2 và điểm gạch nối
- Sau khi đó tỏch phần gạch nối giữa, tiến hành lấy Histogram theo chiều dọc
để tiếp tục chia dọc biển số làm 4 phần, tức là chia biển số thành 8 phần.
Hỡnh 3.8. Chia biển số xe thành 8 phần
- Áp dụng thuật toỏn Otsu để xỏc định ngưỡng nhị phõn húa cho từng phần biển số sau khi cắt.
- Tỏch ra cỏc ký tự thụng qua đặc tớnh về hỡnh thỏi học cụ thể là: 10pixel < chiều rộng < 40pixel
60pixel < chiều cao < 75pixel
- Kết hợp với lược đồ chiếu dọc và ngang để tỡm cỏc vị trớ tỏch vựng chứa ký tự.
Hỡnh 3.9. Sơđồ chiếu ngang của 8 vựng trờn biển số
hợp với lược đồ xỏm theo phương dọc và phương ngang.
- Chuẩn húa kớch thước vựng ảnh sử dụng phương phỏp bicubic interpolation về 30x75pixel trước khi đưa vào module nhận dạng kớ tự.
3.3. Tớch hợp Module vào hệ thống thực nghiệm
Chức năng: lấy ảnh trực tiếp từ camera hoặc từ mảng lưu trữ cỏc ảnh mà module giao tiếp camera đưa vào và thực hiện cỏc kỹ thuật biến đổi ảnh từ cỏc định dạng cơ bản như JPEG, Bitmap, PNG… dón độ tương phản, thành ảnh mức xỏm, rồi chuyển thành ảnh nhị phõn, dũ biờn, tỏch biển số, tỏch cỏc ký tự, nhận dạng ký tự
bằng phương phỏp Template Matching.
Hỡnh 3.11. Giao diện chớnh của chương trỡnh
CHƯƠNG 4. KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.1. Thụng số làm việc của hệ thống nhận dạng
Để thống kờ việc nhận dạng ảnh đưa vào được chụp từ mỏy ảnh cho ảnh tốt ớt bị nhiễu bởi chuyển động hoặc bị mờ khi xe di chuyển. Ảnh cú kớch thước chuẩn 1600x1200 pixel. Ảnh được phõn loại làm 3 mức độ khỏc nhau:
• Ảnh cú chất lượng tốt(20 mẫu): đạt cỏc yờu cầu về độ tương phản, đủ sỏng, khụng bị nhiễuphự hợp với yờu cầu của hệ thống.
• Ảnh cú chất lượng trung bỡnh (20mẫu): độ tương phản tương đối, đủ sỏng,nhiễu ớt.
• Ảnh cú chất lượng thấp (20 mẫu): độ tương phản tương đối, thiếu sỏng, biển số khụng bị nghiờng mộo quỏ nhiều và bị mờ ớt do chụp rung tay (nhưng vẫn đủ
để cú thể nhận ra bằng mắt). Phần cứng:
- Yờu cầu phần cứng của hệ thống là một camera cú chất lượng tốt, cú khả năng chụp cỏc ảnh cho độ tương phản cao, ảnh thu được ớt bị nhiễu bởi chuyển
động nhất. Vị trớ đặt camera sao cho khi chụp ảnh biển số biển số khụng quỏ nhỏ và nghiờng cụ thểởđõy gồm cỏc yờu cầu:
- Camera cú chất lượng tốt, thu được ảnh cú cỏc chi tiết rừ, độ sỏng, độ tương phản đạt yờu cầu.
- Trong ảnh chỉ chứa 1 biển số
- Ảnh biển số trong ảnh khụng được nhỏ hơn 20% so với toàn bức ảnh - Ảnh biển số khụng được nghiờng quỏ 10 độ
- Biển số phải được qui chuẩn và khụng bị che lấp bởi cỏc đối tượng khỏc
- Một mỏy tớnh cú cấu hỡnh tương đối tốt, cụ thể trong hệ thống đó test với phần cứng của mỏy tớnh cú cấu hỡnh như sau:
- CPU: Intel Pentium E2200 Dual Core 2*2.2GHz, RAM: 1GB, HDD:160GB, cài hệđiều hành Windows XP/Vista.
Phần mềm:
Hệ thống cú camera với chức năng tựđộng phỏt hiện chuyển động trước vựng quan sỏt để lấy mẫu đưa vào hệ thống tỏch và nhận dạng biển số, sau đú chuyển chuỗi
biển số vừa nhận được sang giao diện quản lý cơ sở dữ liệu đối chiếu và tiến hành mở Barrier. Hệ thống nhận dạng biển sốđược viết bằng C++, giao diện quản lý cơ sở dữ liệu được viết bằng ngụn ngữ Visual Basic.Net, đõy là hai ngụn ngữ lập trỡnh rất mềm dẻo và cú tớnh ứng dụng trong thực tế tương đối cao.
4.2. Thống kờ và kết quả Module thu nhận ảnh từ Camera
Trong quỏ trỡnh thực nghiệm, nhúm chỳng tụi tiến hành giỏm sỏt sự hoạt động của camera, khi thay đổi hai yếu tố là tốc độ chuyển động của đối tượng trước vựng quan sỏt của camera và độ sỏng tại thời điểm chụp camera.
• Tốc độ chuyển động hỡnh ảnh trước camera
Vỡ sử dụng camera cú độ phõn giải khụng cao (Camera THT - High Pixels Web Cam cú độ phõn giải khoảng 2.0 MegaPixel) nờn khi chụp, hầu hết những bức ảnh
đều khụng đạt yờu cầu cho việc phõn vựng, tỏch ký tự và chuẩn húa ảnh biển số. Nhưng hệ thống vẫn luụn xỏc định chớnh xỏc khi cú chuyển động.
Bảng 4.1. Thống kờ thay đổi tốc độ vật thể chuyển động phớa trước Camera Tốc độ(Km/h) 0 ~ 35 35 ~ 50
Chất lượng ảnh Tốt Trung bỡnh
Nhận dạng vựng biển số Rất tốt Tốt • Độ sỏng phớa trước camera:
Vỡ khụng cú cụng cụđo mức độ sang của mụi trường nờn chỳng em chỉ dựa vào thực nghiờm và đưa ra những số liệu tương đối cho 50 tấm ảnh chụp bằng mỏy ảnh kỹ thuật số.
Bảng 4.2. Thống kờ chất lượng ảnh chụp của Camera tương ứng với mức độ sỏng Ánh sỏng chúi Ánh sỏng tốt Ánh sỏng vừa Ánh sỏng yếu Tốt Trung bỡnh Thấp Tốt Trung bỡnh Thấp Tốt Trung bỡnh Thấp Tốt Trung bỡnh Thấp 15/50 30/50 5/50 49/50 1/50 0/50 37/50 10/50 3/50 7/50 18/50 25/50
4.3. Thống kờ và kết quả Module phõn vựng biển số và tỏch ký tự 4.3.1. Với hệ thống chưa tớch hợp Camera 4.3.1. Với hệ thống chưa tớch hợp Camera
Tương tự cho hỡnh ảnh cỏc ký tự cỏch ly từ biển sốđó lấy mẫu được từ hỡnh vẽ
Sau khi thử nghiệm với cơ sở dữ liệu gồm 60 ảnh đầu vào, kết quả nhận dạng được thống kờ như trong Bảng 4.3, trong đú thống kờ độ chớnh xỏc của thuật toỏn khi nhận dạng ký tự, cũng nhưđộ chớnh xỏc nhận dạng cả biển số.
Bảng 4.3. Bảng thống kờ kết quả của module phõn tỏch biển số và ký tự
Số
lượng
ảnh
Chất lượng Tỏch được biển số Tỏch đủ được 8 ký tự
(cho modul nhận dạng) Kết quả thu được
20 tụt 19 95% 18 90% 18/20 90%
20 Trung bỡnh 17 85% 16 80% 16/20 80%
20 Thấp 14 70% 14 70% 14/20 70%
Tổng cộng 50/60 83% 48/60 80% 48/60 80%
Đối với module cỏch ly ký tự biển số trong tổng số 60 ảnh sốđưa vào, hệ thống cho kết quả cỏch ly ký tự chớnh xỏc đạt 83%. Với ảnh cú chất lượng tốt, hệ thống cú thể
đạt độ chớnh xỏc đến 95%. Tuy nhiờn với những ảnh cú chất lượng thấp trong cơ sở dữ liệu thỡ độ chớnh xỏc chỉ cũn khoảng 70%
• Đối với module cỏch ly ký tự, độ chớnh xỏc đạt cao nhất là 90% khi ảnh đầu vào cú chất lượng tốt, 80% khi ảnh đầu vào cú chất lượng trung bỡnh, và thấp nhất là 70%.
- Nếu xột trờn toàn bộảnh biển sốđầu vào, module này cú độ chớnh xỏc nhận dạng biển số 83% và cỏch ly ký tự khoảng 80%.
Trong phần tiếp theo, nhúm sẽ minh họa một số trường hợp khụng thể tỏch được biển số và ký tự
• Ảnh khụng tỏch được biển số
Những trường hợp sau khiến chương trỡnh khụng thể phõn vựng biển số: ảnh cú độ tương phản thấp, bị lúa ỏnh sỏng, biển số lại bị che lấp bởi viền khung xe quỏ dầy. Khoảng cỏch khụng phự hợp với kớch thước quy định so với vị trớ đặt camera, biển số bị mờ do cú nhiều bụi bẩn.
Hỡnh 4.1. Ảnh khụng thể tỏch được vựng biển số
• Ảnh khụng tỏch được ký tự:
Với ảnh biển số tỏch được từ bước trước nếu ảnh biển số bị lúa khỏ lớn, khi chuyến sang ảnh nhị phõn thỡ bị mất số như trong hỡnh sau thỡ quỏ trỡnh tỏch biển số bị lỗi do khụng tỡm được vị trớ chia 4 biển số.
Hỡnh 4.2. Ảnh khụng tỏch được cỏc ký tự
4.3.2. Với hệ thống tớch hợp Camera.
Hệ thống được test thử với 50 xe với biển số chuẩn khụng bị mờ, mộo hay nghiờng, tốc độ di chuyển của xe phự hợp với tốc độ chụp của camera. Ảnh đầu ra của camera cho ảnh với kớch thước chuẩn 1600x1200, với tập hợp 3 ảnh mẫu trờn một biển số xe. Ba ảnh mẫu này sẽđược vào hệ thống. Kết quả nhận dạng được cho trong bảng.
Bảng 4.4. Kết quả thống kờ của hệ thống đó bao gồm camera Số lượng xe mỏy Tỏch được biển số