Nghiên cứu xây dựng hệ thống nhận dạng biển số xe tự động

KHOA CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ THÔNG TIN... đó là nhữ ng món quà vô giá mà chúng em không thể nào quên , chúng em xin chân thành cả m ơ n các thầ y cô... TRÌNH BÀY KỸ THUẬ T RÚT

KHOA CÔNG NGHỆ THÔNG TIN

KHOA CÔNG NGHỆ THÔNG TIN

LỜ I CẢ M Ơ N

Y & YKiế n thứ c là 1 hành trang quan trọ ng trên con đư ờ ng vào đờ i củ a mỗ i chũng ta , vớ i kiế n thứ c ta có thể lao độ ng , làm việ c , nuôi số ng bả n thân , gia đình , làm ngư ờ i có ích cho xã hộ i vớ i mỗ i ngày trôi qua , nhữ ng kiế n thứ c dù là nhỏ bé cũ ng đề u giúp ích cho chúng ta , hoàn thiệ n con ngư ờ i chúng ta hơ n

Để có đư ợ c nguồ n kiế n thứ c hữ u ích trong biể n khơ i tri thứ c nhậ n loạ i , chúng em chân thành cả m ơ n các thầ y cô khoa công nghệ thông tin – trư ờ ng đạ i họ c mở Tp.Hồ Chí Minh đã dạ y dỗ chúng em nhữ ng tri thứ c hữ u ích trong ngành họ c củ a mình không chỉ

có thế , các thầ y cô còn dạ y dỗ , chỉ bả o cho chúng em nhữ ng kinh nghiệ m hế t sứ c quý giá trên con đư ờ ng vào đờ i đó là nhữ ng món quà vô giá mà chúng em không thể nào quên , chúng em xin chân thành cả m ơ n các thầ y cô

Đặ c biệ t cả m ơ n thầ y Lê Xuân Trư ờ ng , đã trự c tiế p hư ớ ng đẫ n em thự c hiệ n đồ án này , dư ớ i sự hư ớ ng dẫ n củ a thầ y nhóm em đã cơ bả n hoàn thành đư ợ c đồ án , thầ y đã giúp em nhiề u ý kiế n rấ t hữ u ích và tuyệ t vờ i em xin cả m ơ n thầ y

Như ng vẫ n còn đó nhữ ng thiế u sót và nhữ ng điề u cầ n họ c thêm để hoàn thiệ n hơ n

nữ a bả n thân mình , em mong sẽ luôn đư ợ c nhậ n thêm sự chỉ dạ y từ các thầ y , các cô hơ n

nữ a em xin đư ợ c gử i lờ i cả m ơ n chân thành đế n thầ y

Xin chúc các thầ y cô sứ c khỏ e dồ i dào và gặ t hái đư ợ c thêm nhiề u thành công trên con đư ờ ng giả ng dạ y củ a mình

NHẬ N XÉT CỦ A GIẢ NG VIÊN HƯ Ớ NG DẪ N

Y & Y

MỤ C LỤ C

CHƯ Ơ NG 1:TỔ NG QUAN

1.1 GIỚ I THIỆ U 6

1.2 MỤ C ĐÍCH LÀM ĐỀ TÀI 7

1.3 PHƯ Ơ NG PHÁP NGHIÊN CỨ U 7

1.4 BỐ CỤ C BÁO CÁO 8

CHƯ Ơ NG 2: XỬ LÝ NHẬ N DẠ NG BIỂ N SỐ 2.1 NHẬ N DẠ NG BIỂ N SỐ XE 9

2.1.1 TRÌNH BÀY KỸ THUẬ T RÚT TRÍCH BIỂ N SỐ XE 10

2.1.1.1 MỤ C ĐÍCH: 10

2.1.1.2 PHƯ Ơ NG PHÁP: 10

2.1.1.3 THỰ C HIỆ N: 11

2.1.1.3.1 GIỚ I HẠ N VÙNG BIỂ N SỐ : 11

2.1.1.3.2 CHUYỂ N Ả NH MÀU THÀNH Ả NH XÁM 12

2.1.1.3.3 LÀM MỜ VÀ MỊ N Ả NH 13

2.1.1.3.4 TÌM KIẾ M CÁC CẠ NH BẰ NG GIẢ I THUẬ T CANNY 14

2.1.1.3.5 THUẬ T TOÁN TÌM ĐƯ Ờ NG VIỀ N 16

2.1.1.3.6 SỬ DỤ NG PHƯ Ơ NG PHÁP HÌNH THÁI HỌ C 17

2.1.1.3.7 XÁC ĐỊ NH VÙNG BIỂ N SỐ 18

2.1.2 KIỂ M TRA BIỂ N SỐ XANH 19

2.1.3 TRÌNH BÀY KỸ THUẬ T CÁCH LY KÝ TỰ : 21

2.1.3.1 PHƯ Ơ NG PHÁP THỰ C HIỆ N: 21

2.1.4 TRÌNH BÀY KỸ THUẬ T NHẬ N DẠ NG KÝ TỰ : 23

2.1.4.1 PHƯ Ơ NG PHÁP 23

2.1.4.2 SO KHỚ P MẪ U (TEMPLATE MATCHING): 24

2.1.4.3 THỰ C HIỆ N: 24

2.1.4.4 TỔ NG KẾ T: 27

CHƯ Ơ NG3:Ứ NGDỤ NGDEMO 3 GIỚ I THIỆ U 28

3.1 VÀI HÌNH Ả NH MINH HỌ A 30

3.1.1 MỞ THƯ MỤ C Ả NH VÀ LOAD VÀO LISTBOX 30

3.1.2 LOAD Ả NH VÀO KHUNG VÀ THỰ C HIỆ N XÁC ĐỊ NH BIỂ N SỐ 31

CHƯ Ơ NG 4:TỔ NG KẾ T 4.1 Ư U ĐIỂ M 33

4.2 HẠ N CHẾ 33

4.3 HƯ Ớ NG PHÁT TRIỂ N 33

Chư ơ ng 1: TỔ NG QUAN

1.1 Giớ i thiệ u

Hiệ n nay , Sự gia tăng các phư ơ ng tiệ n giao thông tạ i Việ t Nam đang phát triể n vớ i

tố c độ chóng mặ t , sự thể hiệ n rõ rệ t nhấ t đó chính là hình ả nh các phư ơ ng tiệ n giao thông ngày càng đông đúc hơ n ở Việ t Nam , nhấ t là tạ i các thành phố lớ n như Hà Nộ i và TP.Hồ Chí Minh Điề u này tạ o nên 1 áp lự c lớ n đố i vớ i các nhà quả n lý đư ờ ng bộ trong

vấ n đề quả n lý các phư ơ ng tiệ n giao thông mà thự c tế đây là 1 trong nhữ ng vấ n đề nhứ c nhố i hiệ n nay củ a xã hộ i

Vớ i các hiệ n trạ ng trong việ c quả n lý các phư ơ ng tiệ n giao thông hiệ n nay thì việ c nghiên cứ u hệ thố ng nhậ n dạ ng biể n số xe tự độ ng có ý nghĩ a hế t sứ c quan trọ ng , Hệ thố ng này có thể đư ợ c ứ ng dụ ng vào nhiề u lĩ nh vự c khác nhau để trợ giúp công tác quả n

lý các phư ơ ng tiệ n giao thông nói chung Đặ c biệ t là tạ i các hệ thố ng đang bị quá tả i như

tạ i các bãi giữ xe công cộ ng …

Trên thế giớ i , đặ c biệ t tạ i các nư ớ c phát triể n như Mỹ , Hàn Quố c , Nhậ t Bả n … hệ thố ng nhậ n dạ ng biể n số xe tự độ ng đã đư ợ c phát triể n , các ứ ng dụ ng củ a hệ thố ng hế t

sứ c phổ biế n điể n hình là các bãi giữ xe thông minh

Tạ i Việ t Nam , các ứ ng dụ ng củ a hệ thố ng nhậ n dạ ng biể n số tự độ ng là hế t sứ c hiế m hoi ngay cả ở các thành phố lớ n như Hà Nộ i và TP.Hồ Chí Minh , nhữ ng nơ i có thể ứ ng

dụ ng đư ợ c hệ thố ng nhậ n dạ ng biể n số xe tự độ ng 1 cách hiệ u quả như các bãi giữ xe , các trạ m thu phí giao thông thì vẫ n hiệ n nay vẫ n còn đang thự c hiệ n 1 cách thủ công kém hiệ u quả và cồ ng kề nh

Để xây dự ng tố t 1 hệ thố ng nhậ n dạ ng biể n số xe tự độ ng thì yêu cầ u đặ t ra là phả i nhậ n dạ ng đư ợ c vùng biể n số xe mà ở đây nhóm thự c hiệ n sử dụ ng phư ơ ng pháp phát

hiệ n và làm nổ i cạ nh kế t hợ p vớ i phư ơ ng pháp hình thái họ c , cách ly các kí tự biể n số và nhậ n dạ ng biể n số bằ ng phư ơ ng pháp khớ p mẫ u kế t hợ p phư ơ ng pháp hình thái họ c

1.2 Mụ c đích làm đề tài

Hiệ n nay tạ i các Trạ m thu phí giao thông đư ờ ng bộ , các bãi giữ xe công cộ ng và đặ c biệ t là trong công tác phát hiệ n vi phạ m giao thông thì cách thự c hiệ n vẫ n nặ ng tính thủ công điề u này tạ o nên 1 áp lự c rấ t lớ n cho các nhà quả n lý , do đó đề tài này đư ợ c nghiên cứ u để phụ c vụ cho việ c thự c hiệ n công tác quả n lý các phư ơ ng tiệ n đư ợ c đư ợ c nhanh chóng , hiệ u quả , chính xác

• Thu phí giao thông : Việ c lắ p đặ t hệ thố ng nhậ n dạ ng biể n số xe tự độ ng tạ i

các trạ m thu phí giao thông tạ i các đư ờ ng cao tố c, quố c lộ có thể giúp hỗ trợ hoặ c tự độ ng việ c thu phí giao thông , đồ ng thờ i có thể thu thậ p các thông tin

về giao thông khác nhau …

• Bãi giữ xe tự độ ng : việ c lắ p đặ t hệ thố ng nhậ n dạ ng biể n số xe tự độ ng tạ i các bãi giữ xe tự độ ng sẽ giúp tự độ ng hóa hoàn toàn việ c thu phí giữ xe , hoặ c là

1 phầ n củ a hệ thố ng quả n lý bãi giữ xe , giúp giả m thờ i gian chờ đợ i vào bãi giữ …

• Quả n lý giao thông : hệ thố ng nhậ n diệ n biể n số xe tự độ ng đặ c biệ t có ích trong việ c phát hiệ n , điề u tiế t giao thông , phát hiệ n các vi phạ m giao thông Sau khi hoàn thành , hệ thố ng nhậ n dạ ng biể n số xe tự độ ng có thể đư ợ c kế t hợ p vớ i các hệ thố ng cụ thể đố i vớ i từ ng chứ c năng cụ thể để cho ra đờ i 1 hệ thố ng hoàn chỉ nh phụ c vụ các công tác quả n lý phư ơ ng tiệ n giao thông

1.3 Phư ơ ng pháp nghiên cứ u

Để có thể xây dự ng đư ợ c ứ ng dụ ng, các phư ơ ng pháp sau đã đư ợ c tìm hiể u và từ ng

bư ớ c áp dụ ng vào đề tài:

Chụ p ả nh xe có biể n số theo mộ t tiêu chuẩ n đặ t ra củ a phầ n mề m

Nghiên cứ u và ứ ng dụ ng Thuậ t toán khác nhau để phát hiệ n vùng chứ a biể n số xe theo các bư ớ c : giả m vùng dữ liệ u đầ u vào từ ả nh nguồ n sao cho vùng dữ liệ u đó có khả năng chứ a vùng biể n số xe cao nhấ t , lọ c nhiễ u trên vùng trích xuấ t , sử dụ ng thuậ t toán tìm kiế m cạ nh Canny , thuậ t toán làm việ c trên các vùng liên thông như thuậ t toán phát hiệ n viề n kế t hợ p phư ơ ng pháp hình thái họ c để phát hiệ n các vùng có khả năng là biể n

Chư ơ ng 1: Tổ ng Quan Giớ i thiệ u về đề tài, tình trạ ng ứ ng dụ ng hiệ n nay

Chư ơ ng 2: Xử lý nhậ n dạ ng biể n số , các thuậ t giả i , phư ơ ng pháp nhậ n dạ ng biể n số Chư ơ ng 3: Hình ả nh chư ơ ng trình Demo

Chư ơ ng 4: Kế t luậ n và hư ớ ng phát triể n củ a ứ ng dụ ng

Lư ợ c đồ các giai đoạ n xử lý Nhậ n Dạ ng Biể n Số Xe

Sau khi rút trích và xác đị nh màu biể n số , ta tiế n hành cách ly các kí tự trên biể n số sao cho chính xác , khít vớ i kí tự như ng cũ ng không cắ t mấ t phầ n nào củ a kí tự

Bư ớ c cuố i cùng là nhậ n dạ ng kí tự , so sánh , đố i chiế u các kí tự đã đư ợ c cách ly vớ i

bộ ả nh đố i chiế u , từ đó xác đị nh đư ợ c biể n số xe

2.1.1 Tr ình bày kỹ thuậ t r út tr ích biể n số xe

2.1.1.1 Mụ c đích:

Từ bộ ả nh nguồ n , ta sử dụ ng các kĩ thuậ t thích hợ p nhằ m xác đị nh vùng chứ a biể n số

xe , sao cho chính xác , có chấ t lư ợ ng tố t nhấ t nhằ m tạ o thuậ n lợ i cho quá trình cách ly

và nhậ n dạ ng kí tự ở các bư ớ c sau

2.1.1.2 Phư ơ ng pháp:

Có rấ t nhiề u phư ơ ng pháp khác nhau để thự c hiệ n nhiệ m vụ này Trong đồ án này sử

dụ ng phư ơ ng pháp phát hiệ n viề n kế t hợ p vớ i phư ơ ng pháp hình thái họ c để nhậ n dạ ng chính xác vùng ả nh chứ a biể n số và rút trích biể n số trong quá trình thự c hiệ n đồ án , giai đoạ n này chỉ đư ợ c sử dụ ng để tăng độ chính xác củ a toàn bộ quá trình nhậ n dạ ng biể n số xe lên mứ c cao nhấ t có thể Khi tiế n hành thử nghiệ m nhậ n dạ ng mà không trả i qua quá trình nhậ n dạ ng vùng biể n số xe , vẫ n có thể nhậ n diệ n đư ợ c các kí tự biể n số xe , tuy nhiên tỉ lệ nhậ n dạ ng chính xác không cao lắ m

Lư ợ c đồ sử lý tuầ n tự trả i qua 7 bư ớ c :

Biể u đồ dòng xử lý quá trình trích biể n số từ ả nh đầ u vào 2.1.1.3 Thự c hiệ n:

2.1.1.3.1 Giớ i hạ n vùng biể n số :

Kế thừ a từ Khóa luậ n tố t nghiệ p xây dự ng hệ thố ng bãi giữ xe tự ô tô củ a Võ Ngô Văn Xuân và Trầ n Hữ u Tâm thự c hiệ n , việ c giớ i hạ n vùng biể n số để làm giả m thờ i gian

xử lý ả nh đồ ng thờ i tăng tỉ lệ chính xác củ a việ c trích xuấ t biể n số xe

Do điề u kiệ n ả nh đầ u vào phả i thỏ a 1 số tính chấ t đặ c biệ t về hư ớ ng camera , chiề u xe vào, nên ta xác đị nh đư ợ c rằ ng vùng chứ a biể n số xe là vùng ở nử a dư ớ i hình , và đư ợ c thu hẹ p về bề ngang như ở hình minh họ a sau:

Hình 2.17 – Cách giớ i hạ n vùng biể n số

Ta có thể xây dự ng 1 module xử lý đặ c biệ t để tự độ ng nhậ n dạ ng vùng có khả năng

là biể n số xe cao nhấ t , như ng do độ phứ c tạ p khi xây dự ng module nên nhóm thự c hiệ n

đã không chọ n phư ơ ng pháp đó

2.1.1.3.2 Chuyể n ả nh màu thành ả nh xám

Ả nh sau khi đư ợ c giớ i hạ n sẽ tiế n hành chuyể n ả nh về đạ ng đa mứ c xám (Grayscale)

Để thự c hiệ n yêu cầ u này ta thư ờ ng áp dụ ng 1 trong nhữ ng công thứ c sau đây :

I( x , y ) = 0.3086 * Red( x , y ) + 0.6094 * Green( x , y ) + 0.0820 * Blue( x , y )

I( x , y ) = 0.299 * Red( x , y ) + 0.587 * Green( x , y ) + 0.114 * Blue( x , y )

Vớ i x,y là tọ a độ điể m ả nh cầ n chuyể n

Trong báo cáo sử dụ ng hàm thư việ n củ a Thư việ n xử lý ả nh mã nguồ n mở OpenCV:

cv::cvtColor(src_img , gray_img , CV_BGR2GRAY) trong đó :

• src_img : ả nh cầ n chuyể n sang đa mứ c xám

• gray_img : nơ i lư u giữ ả nh sau khi đã chuyể n sang đa mứ c xám

• CV_BGR2GRAY : Thông số chuyể n đổ i từ ả nh BGR sang ả nh đa mứ c xám

Ả nh sau khi chuyể n thành ả nh đa mứ c xám

2.1.1.3.3 Làm mờ và mị n ả nh

Bộ lọ c Gaussian đư ợ c sử dụ ng để làm giả m nhiễ u và giả m mứ c độ chi tiế t ( không mong muố n ) như các vùng bẩ n nhỏ trên biể n số , các hình ả nh bị hạ t nhằ m chuẩ n bị hình ả nh cho bư ớ c xử lý tiế p theo

o Lý thuyế t Bộ lọ c Gaussian:

Bộ lọ c Gaussian là 1 bộ lọ c làm mờ ả nh sử dụ ng lý thuyế t về hàm Gaussian (hay còn

đư ợ c biế t đế n là dạ ng phân phố i chuẩ n trong xác xuấ t thố ng kê) để tính toán việ c chuyể n

đổ i từ ng pixcel củ a hình:

Trong báo cáo sử dụ ng hàm xử lý củ a thư việ n xử lý ả nh mã nguồ n mở OpenCV cv::GaussianBlur(src_img , des_img , mask_size , sigmaX) trong đó :

• Src_img : ả nh nguồ n cầ n làm mờ

• Des_img : nơ i lư u giữ ả nh sau khi làm mờ bằ ng bộ lọ c Gaussian

• Mask_size : kích thư ớ c mặ t na lọ c

• sigmaX : độ lệ ch theo phư ơ ng ngang

Ả nh sau khi xử lý bằ ng bộ lọ c Gaussian

2.1.1.3.4 Tìm kiế m các cạ nh bằ ng giả i thuậ t Canny

Giả i thuậ t Canny đư ợ c sử dụ ng để tách ra các đư ờ ng nét là khung sư ờ n củ a bứ c ả nh , nhằ m chuẩ n bị cho bư ớ c lọ c bỏ các khung sư ờ n ả nh không phù hợ p ở bư ớ c sau

Giả i thuậ t Canny là phư ơ ng pháp tách đư ờ ng biên đư ợ c dùng khá phổ biế n theo toán

tử đạ o hàm Mà đạ o hàm lạ i chị u ả nh hư ở ng lớ n củ a nhiễ u , do đó , ở bư ớ c trên ta đã tiế n hành lọ c nhiễ u để đạ t đư ợ c hiệ u quả cao nhấ t trong việ c tách khung sư ờ n

Ư u điể m củ a thuậ t giả i canny so vớ i các phư ơ ng pháp tách sư ờ n ả nh khác là :

• Thuậ t toán nhậ n diệ n rấ t tố t các đư ờ ng thẳ ng góc cạ nh củ a các dữ liệ u hình

ả nh

• Các cạ nh đư ợ c đánh dấ u gầ n như giố ng vớ i các cạ nh trong ả nh thậ t

• 1 cạ nh trong hình chỉ đư ợ c đánh dấ u 1 lầ n không trùng lắ p, do đó tránh đư ợ c hiệ n tư ợ ng nhiễ u trùng lắ p

Trong ứ ng dụ ng sử dụ ng hàm Canny củ a thư việ n xử lý ả nh OpenCV :

Cv::Canny(src_img , des_img , threshold1 , threshold2) trong đó :

• Src_img : ả nh nguồ n , bắ t buộ c phả i là ả nh đa mứ c xám

• Des_img : Ả nh sau khi qua thuậ t giả i Canny

• Threshold1 , threshold2 : các thông số ngư ỡ ng củ a hàm , có thể điề u chỉ nh theo ý muố n

Lư u ý : giả i thuậ t Canny trong thu việ n xử lý ả nh OpenCV khi kế t thúc sẽ chuyể n kế t quả thành ả nh nhị phân (tứ c ả nh mà mỗ i pixcel chỉ mang 1 trong 2 giá trị màu là đen hoặ c trắ ng)

Hình 2.20 - Ả nh sau khi sử dụ ng giả i thuậ t Canny

2.1.1.3.5 Thuậ t toán tìm đư ờ ng viề n

Thuậ t toán tìm đư ờ ng viề n đư ợ c sử dụ ng để tìm ra chính xác các đư ờ ng nét nố i liề n

vớ i nhau , mà trong đó các thông tin về các điể m thuộ c đư ờ ng viề n đề u đư ợ c lư u giữ lạ i như : tọ a độ , số đư ờ ng viề n , kích cỡ đư ờ ng viề n tính theo khung chữ nhậ t , chiề u cao , chiề u rộ ng đư ờ ng viề n …

Giả i thuậ t về tìm kiế m đư ờ ng viề n chỉ sử dụ ng đư ợ c khi ả nh đầ u vào là ả nh nhị phân ,

ví dụ như ả nh đã qua sử lý bằ ng giả i thuậ t Canny , hoặ c ả nh đã đư ợ c chuyể n về ả nh nhị phân

Trong ứ ng dụ ng sử dụ ng hàm thư việ n củ a thư việ n xử lý ả nh OpenCV :

cv::findContours(src_img , contours , mode, method) trong đó :

• Src_img : ả nh cầ n lư u giữ lạ i các thông tin về các đư ờ ng viề n

• Contours : vecto lư u giữ thông tin các tọ a độ điể m củ a đư ờ ng viề n

• Mode , method : các chế độ lư u giữ , phư ơ ng thứ c tìm kiế m thông tin các tọ a

độ điể m củ a đư ờ ng viề n

Hình 2.22 - Ả nh sau khi áp dụ ng thuậ t toán tìm đư ờ ng viề n

2.1.1.3.6 Sử dụ ng phư ơ ng pháp hình thái họ c

Phư ơ ng pháp hình thái họ c tứ c là ta sẽ dự a vào đặ c trư ng củ a biể n số xe để nhậ n dạ ng biể n số xe như kích thư ớ c , màu sắ c , sự đố i xứ ng …

Tuy nhiên nhóm thự c hiệ n đồ án nhậ n thấ y rằ ng đố i vớ i các biể n số xe ô tô , có thể vì

1 lý do khách quan (các đư ờ ng nét nằ m chồ ng lấ n lẫ n nhau , độ sáng không đủ …) mà

đư ờ ng viề n không thể đư ợ c xác đị nh đầ y đủ (đứ t nét , rờ i rạ c) gây khó khăn cho việ c xác

đị nh vùng chứ a biể n số

Do đó nhóm thự c hiệ n tiế n hành xác đị nh trự c tiế p các đư ờ ng viề n có khả năng cao nhấ t là các kí tự biể n số , từ đó xác đị nh vùng chứ a các kí tự này , đó chính là vùng biể n

số

Để xác đị nh các đư ờ ng viề n có khả năng cao là kí tự , nhóm đã tiế n hành thử ở 15 ả nh

bấ t kì trong tậ p ả nh mẫ u và chọ n các tiêu chí để xác đị nh các đư ờ ng viề n như sau :

Và kế t quả đạ t đư ợ c là :