HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH

HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỔ XE THÔNG MINH HE THONG NHAN DANG BIEN SO XE UNG DUNG TRONG BAI DO XE THONG MINH

MỤC LỤC

MỤC LỤC 3

MỞ ĐẦU 8

BẢNG PHÂN CÔNG NHIỆM VỤ 12

CHƯƠNG 1: GIỚI THIỆU 13

1.1 GIỚI THIỆU CHƯƠNG 13

1.2 GIỚI THIỆU TỔNG QUAN BIỂN SỐ XE 13

1.2.1 Màu sắc và ký tự 14

1.2.2 Kích thước 15

1.2.3 Cỡ chữ và cách bố trí 15

1.2.4 Chất liệu 16

1.3 CÁC NGHIÊN CỨU LIÊN QUAN 16

1.3.1 Thu nhận hình ảnh 16

1.3.2 Trích xuất biển số xe 17

1.3.3 Cô lập ký tự 18

1.3.4 Nhận dạng 18

1.4 TỔNG QUAN VỀ BÃI ĐỖ XE THÔNG MINH 18

1.4.1 Hệ thống giám sát xe ra vào bãi đỗ 18

1.4.2 Điều kiện ảnh hưởng 19

1.4.3 Ứng dụng 20

1.5 KẾT LUẬN CHƯƠNG 21

CHƯƠNG 2: TIỀN XỬ LÝ ẢNH, PHƯƠNG PHÁP 22

TRÍCH XUẤT VÙNG BIỂN SỐ VÀ CÁC KÝ TỰ 22

2.1 GIỚI THIỆU CHƯƠNG 22

2.2 THU NHẬN ẢNH 22

2.3 TIỀN XỬ LÝ ẢNH 23

2.3.1 Chuyển ảnh sang dạng ảnh xám 23

2.3.2 xử lý nhiễu 25

2.3.3 Chuyển ảnh xám về dạng nhị phân 26

2.4 CHƯƠNG TRÌNH TÌM GÓC NGHIÊNG 28

2.4.1 Biến đổi radon 28

2.4.2 Tìm góc nghiêng và xoay 30

2.5 TRÍCH XUẤT VÙNG BIỂN SỐ 31

2.6 CÁCH LY VÀ SẮP XẾP KÝ TỰ 34

2.6.1 Chia biển số thành 2 hàng 34

2.6.2 Cắt các ký tự trong 2 hàng 35

2.7 KẾT LUẬN CHƯƠNG 37

CHƯƠNG 3: NHẬN DẠNG KÝ TỰ BIỂN SỐ XE 38

3.1 GIỚI THIỆU CHƯƠNG 38

3.2 TỔNG QUAN CÁC PHƯƠNG PHÁP NHẬN DẠNG KÝ TỰ 38

3.2.1 Phương pháp so khớp mẫu (template matching): 38

3.2.2 Phương pháp hình thái học (morphology) 38

3.2.3 Phương pháp mạng nơron (nơron network): 38

3.3 PHƯƠNG PHÁP ĐỐI SÁNH MẪU DỰA TRÊN ĐẶC TRƯNG 39

3.3.1 Tạo các mẫu 40

3.3.2 Tiến hành nhận dạng các ký tự 41

3.4 KẾT LUẬN CHƯƠNG 45

CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ 46

4.1 GIỚI THIỆU CHƯƠNG 46

4.2 CƠ SỞ DỮ LIỆU 46

4.2.1 Cơ sở dữ liệu của quá trình thử nghiệm và đánh giá hệ thống 46

4.2.2 Đặc điểm các biển số trong cơ sở dữ liệu 47

4.3 KẾT QUẢ 49

4.3.1 Kết quả nhận dạng: 49

4.3.2 Một số ký tự nhận dạng bị nhầm lẫn 51

4.3.3 Nguyên nhân nhận dạng không tốt 53

4.4 Đánh giá hệ thống (theo tiêu chí số ký tự nhận dạng đúng) ……… 54

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 56

TÀI LIỆU THAM KHẢO 58

PHỤ LỤC………6

Lý do chọn đề tài

MỞ ĐẦU

Cùng với sự tăng trưởng kinh tế trên toàn cầu là tốc độ phát triển cực nhanh sốlượng các loại phương tiện giao thông trên thế giới Điều đó gây ra một áp lực đối vớinhững người và cơ quan các cấp quản lý, cụ thể là làm cho công tác quản lý và giámsát sẽ khó khăn hơn

Xuất phát từ nhu cầu thực tế đặt ra, việc ứng dụng kỹ thuật xử lý ảnh vào hệthống kiểm soát giao thông và xe ra vào bãi đỗ dựa trên cơ sở nhận dạng biển sốphương tiện là giải pháp hữu hiệu giúp cho công tác quản lý, giám sát phương tiện trởnên thuận tiện đơn giản, an toàn hơn, giảm được nhân lực trong công tác quản lý Ở cácnước trên thế giới, các hệ thống tự động giám sát phương tiện dựa trên kỹ thuật xử lýảnh nhận dạng biển số từ lâu đã thu hút sự chú ý của cộng đồng nghiên cứu Hệ thốngnhận dạng biển số xe đã được ứng dụng rộng rãi ở các nước phát triển như TrungQuốc, Hàn Quốc, Hoa Kỳ và các nước châu Âu Tuy nhiên, đặc trưng của nghiên cứutrong lĩnh vực này là bị giới hạn trong một khu vực hoặc một quốc gia vì thiếu một tiêuchuẩn đăng ký biển số xe chung cho tất cả các nước

Tại Việt Nam, mật độ xe cơ giới lưu hành tăng rất nhanh, hàng năm số lượng xe

mô tô, xe gắn máy mới đưa vào lưu hành tăng khoảng 20%, xe ô tô mới tăng khoảng15% Chính sự gia tăng nhanh chóng này làm cho tình hình giao thông và việc quản lý

xe ở các bãi giữ xe ngày càng trở nên khó khăn, phức tạp đòi hỏi nhiều hơn nguồn nhânlực từ các cơ quan quản lý để đảm bảo quá trình giao thông diễn ra an toàn và thuậnlợi Trong trường hợp này, giải pháp hệ thống nhận dạng biển số xe nếu được ápdụng sẽ đơn giản hóa, tiết kiệm chi phí, tăng cường an ninh cho việc quản lý, giám sát

Mục tiêu nhiệm vụ nghiên cứu

Mục tiêu của đề tài là nghiên cứu, xây dựng hệ thống quản lý, giám sát xe ra vàobãi đỗ dùng kỹ thuật xử lý ảnh nhận dạng biển số xe giúp giảm hiệu quả tình trạng quátải, đảm bảo an toàn, giảm chi phí nhân công cho các bãi đỗ xe Bên cạnh đó đề tài cònmong muốn giúp cho mọi người có một cái nhìn toàn diện hơn về vai trò và khả năngứng dụng của công nghệ xử lý ảnh vào trong thực tế của đời sống xã hội

Đối tượng và phạm vi nghiên cứu

 Đối tượng nghiên cứu

Tập trung vào đối tượng nghiên cứu là kỹ thuật xử lý ảnh, thuật toán nhận dạngbiển số Xây dựng một phần mềm nhận dạng biển số với các chức năng nhận dạngchính xác biển số xe từ camera thu hình ảnh trực tiếp, lưu thông tin biển số xe và thờigian cụ thể khi xe qua hệ thống nhận dạng

 Phạm vi nghiên cứu

Từ yêu cầu đặt ra của bài toán, đề tài xác định phạm vi nghiên cứu: Trích chọnảnh từ dãy tín hiệu đầu vào là đoạn phim thu được từ camera Ảnh thu được sẽ đượctruyền vào máy tính Dữ liệu ảnh được xử lý nhiễu và thực hiện thuật toán phát hiện,trích xuất vùng tương ứng với biển số xe trên khung để xác định chính xác vùng connào là vùng biển số xe Từ đây, áp dụng phương pháp và kỹ thuật nhận dạng ký tự

để chuyển đổi hình ảnh của biển số sang giá trị văn bản Biển số xe và thời gian cụ thểdưới dạng văn bản sẽ được đưa vào cơ sở dữ liệu cho việc đối chiếu xe ra

o Tìm hiểu các thuật toán nhận dạng ký tự.

o Tìm hiểu cơ sở dữ liệu

 Nghiên cứu thực nghiệm – lắp đặt hệ thống

o Hệ thống nhận dạng sử dụng camera để thu ảnh phương tiện

o Nhận dạng vùng biển số theo phương pháp tìm thành phần liên thông lớn nhấttrong ảnh kết hợp đặc điểm hình thái học của biển số Việt Nam, sau khi thuđược vùng biển số tiến hành tách các ký tự trong biển số đó bằng cách tìm cácthành phần liên thông cho mỗi ký tự kết hợp đặc điểm hình thái học của kýtự: Chiều rộng < 22% chiều rộng của vùng biển số, chiều cao < 85 % và >33% chiều cao của vùng biển số Cuối cùng, nhận dạng các ký tự tách đượcdựa trên thuật toán so sánh khớp mẫu

o Biển số nhận dạng được và thời gian được lưu vào cơ sở dữ liệu để đối chiếu

xe ra

Kết quả dự kiến

 Nắm vững các kỹ thuật xử lý ảnh, thuật toán nhận dạng

 Xây dựng thành công hệ thống nhận dạng biển số xe máy với độ chính xác cao

Đặt tên đề tài

“HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE ỨNG DỤNG TRONG BÃI ĐỖ XE

THÔNG MINH”

Chương 1: GIỚI THIỆU

1.1 Giới thiệu chương

Chương này cung cấp cho người đọc cái nhìn tổng quan về đặc điểm của biển số

xe, hệ thống nhận dạng biển số xe, các công trình nghiên cứu trước đó và một số sảnphẩm thương mại tại Việt Nam

1.2 Giới thiệu tổng quan biển số xe

Biển số xe tiêu chuẩn xuất hiện đầu tiên vào năm 1893 bởi sở cảnh sát Paris – Pháp

và dần dần các năm sau đó ở nhiều nước khác Hình 1.1 là ví dụ mẫu hình ảnh của biển

số xe từ các nước khác nhau Nhìn chung, đặc trưng của biển số xe là đều có độ tươngphản cao giữa các ký tự và nền cơ bản Tuy nhiên, biển số xe ở một số nước có thểchứa các kết cấu nền và hình ảnh phức tạp, khó khai thác các thông tin về biển số xe

Hình 1.1 Mẫu hình ảnh biển số xe nước ngoài

Ở Việt Nam, biển kiểm số xe cơ giới được cơ quan công an cấp cho mỗi xe Biển số

xe được làm bằng hợp kim nhôm sắt, có dạng hình chữ nhật hoặc hơi vuông, trên đó có

Hình 1.2 Mẫu biển số xe máy Việt NamChúng ta tìm hiểu một số quy định chung cho biển số xe thông dụng tại Việt Namnhư sau:

1.2.1 Màu sắc và ký tự

 Màu xanh chữ trắng là biển xe của các cơ quan hành chính sự nghiệp Nếu trựcthuộc Chính phủ thì là biển xanh 80, các tỉnh thành thì theo số của các tỉnhthành tương ứng (xem phần dưới)

 Màu đỏ cấp cho xe quân đội, xe của các doanh nghiệp quân đội biển 80 màutrắng Biển số quân đội với 2 chữ cái đầu tiên là viết tắt, A-Quân đoàn; B-Bộ tưlệnh; H-Học viện; K-Quân khu; T-Tổng cục; Q-Quân chủng

 Màu vàng cấp cho xe thuộc bộ tư lệnh biên phòng

 Màu trắng với 2 chữ và năm số là biển cấp cho các đối tượng có yếu tố nướcngoài NG là xe ngoại giao NN là xe của các tổ chức, cá nhân nước ngoài.Màu trắng còn được cấp cho xe của khối cá nhân và doanh nghiệp, 2 số đầu theothứ tự các tỉnh, 5 số cuối là số thứ tự cấp ngẫu nhiên

1.2.2 Kích thước

Biển số xe máy được quy định dựa trên thông tư số 06/2009/tt-bca-c11 của Bộ

Công an bao gồm kích thước như sau:

Một biển gắn phía sau xe có kích thước: 140 mm × 190 mm như hình

Hình 1.3 Kích thước của biển số xe (Thông tư số 06/2009/TT-BCA-C11)

1.2.3 Cỡ chữ và cách bố trí

 Chiều cao của số và chữ: 55 mm

 Chiều rộng của số và chữ: 22 mm

 Chiều rộng của đường dây của số và chữ: 8 mm

 Khoảng cách giữa cách ký tự và đối tượng khác là 20 mm

Biển số xe máy bao gồm hai nhóm chữ và số được sắp xếp một cách đặc biệt nhưsau:

 Nhóm đầu tiên gồm hai con số cho biết cấp tỉnh nơi chiếc xe được đăng ký và số

theo quy định trên.

1.3 Các nghiên cứu liên quan

Phần này tổng quan về các nghiên cứu thực hiện từ trước cho đến nay trong lĩnhvực này và các kỹ thuật sử dụng trong phát triển một hệ thống nhận dạng biển số theocác giai đoạn sau đây:

1.3.1 Thu nhận hình ảnh

Thu hình ảnh là bước đầu tiên trong một hệ thống tự động nhận dạng biển số xeANPR và có một số cách để có được hình ảnh theo các phương pháp khác nhau của cáctác giả khác nhau:

Yan và cộng sự [7] sử dụng một thẻ thu lại hình ảnh chuyển đổi video tín hiệu hìnhảnh kỹ thuật số và tiền xử lý hình ảnh dựa trên phần cứng

Naito và cộng sự [9] phát triển một hệ thống cảm biến, trong đó sử dụng hai thiết

bị CCD (Charge Coupled Drive) và một lăng kính để phân chia một tia tới vào hai đènvới các cường độ khác nhau Tính năng chính của hệ thống này cảm nhận bao gồm cácđiều kiện chiếu sáng rộng từ hoàng hôn đến trưa dưới ánh nắng mặt trời và hệ thốngnày có khả năng các hình ảnh chụp xe chuyển động nhanh mà không làm mờ

Salgado và cộng sự [10] được sử dụng một hệ thống phụ có cảm biến CCD độphân giải cao với máy ảnh bổ sung với một số khả năng hoạt động kỹ thuật số mới.Kim và cộng sự [12] sử dụng một máy quay phim để có được các hình ảnh

Comelli [14] được sử dụng một máy ảnh truyền hình và một thẻ frame grabber để

có được các hình ảnh cho hệ thống ANPR

1.3.2 Trích xuất biển số xe

Trích xuất biển số xe là giai đoạn quan trọng nhất trong một hệ thống ANPR.Phần này thảo luận về một số nghiên cứu trước đây được thực hiện trong giai đoạn này:Hontani [13] đề xuất một phương pháp trích xuất cho các ký tự mà không cần biếttrước khi vị trí và kích thước hình ảnh Kỹ thuật này dựa trên phân tích tỉ lệ hình dạng

Trong phân tích tỉ lệ hình dạng, nghiên cứu sử dụng bộ lọc Gaussian.

Kim và cộng sự [12] sử dụng bộ lọc mạng nơron và bộ vi xử lý dựa trên sự kếthợp hai hình ảnh lọc để xác định vị trí biển số xe Hai mạng nơron sử dụng các bộ lọctheo chiều dọc và ngang

Lee và cộng sự [16] đã phát minh ra một phương pháp để trích xuất biển số phụthuộc vào màu sắc của biển số Trong phương pháp này, một mạng nơron được sử dụng

để chiết xuất màu sắc của một điểm ảnh HLS (Hue Lightness Saturation) và giá trị támđiểm ảnh lân cận Điểm có giá trị tối đa được chọn là một màu đại diện

Dong [15] trình bày phương pháp tiếp cận dựa trên biểu đồ cho giai đoạn tríchxuất biển số Kim G M [11] được sử dụng biến đổi Hough cho việc khai thác các biểnsố

Các thuật toán của phương pháp này bao gồm năm bước Bước đầu tiên làngưỡng nguồn hình ảnh màu xám quy mô, dẫn đến một hình ảnh nhị phân Sau đó,trong giai đoạn thứ hai ảnh thu được thông qua hai chuỗi song song để trích đườngngang và dọc Kết quả là một hình ảnh với các cạnh được nhấn mạnh Trong bước thứ

ba, hình ảnh sau đó được sử dụng là đầu vào biến đổi Hough, điều này tạo ra một danhsách các dòng và các giao điểm Bước thứ tư, các giao điểm này sau đó được phân tích

và tính đoạn thẳng Cuối cùng, danh sách các đoạn thẳng ngang và dọc kết hợp thànhvùng hình chữ nhật phù hợp với kích thước của một biển số được xác định là khu vựcứng cử viên Nhược điểm là, phương pháp này đòi hỏi bộ nhớ rất lớn và là tính toáncao

Morel [17] sử dụng phương trình vi phân từng phần (PDE) dựa trên mạng nơron

và logic mờ

1.3.4 Nhận dạng

Một số nghiên cứu trước đây trong việc nhận dạng của ký tự như sau:

Hasen [19] đề xuất một cách tiếp cận mô hình thống kê nhận dạng, nhưng kỹthuật của này không hiệu quả Cách tiếp cận này được dựa trên mô hình xác suất và sửdụng nhận dạng tiếp cận mô hình thống kê

Mei Yu [21] và Naito [9] được sử dụng phương pháp so khớp mẫu Có một mẫuriêng biệt cho mỗi ký tự đầu vào Sau đó, so sánh ký tự đầu vào hiện tại để tìm mộtmẫu trong đó phù hợp là tốt nhất

Hamami [20] thông qua một phương pháp tiếp cận cấu trúc cú pháp để nhận dạng

ký tự trong một tài liệu văn bản, kỹ thuật này có thể mang lại một kết quả tốt hơn khi

áp dụng vào việc công nhận các ký tự riêng lẻ Cách tiếp cận này được dựa trên cácphát hiện đặc trưng cấu trúc theo bốn hướng (lên, xuống, trái và phải), cho phép phânloại các ký tự vào các lớp khác nhau

1.4 Tổng quan về bãi đỗ xe thông minh

1.4.1 Hệ thống giám sát xe ra vào bãi đỗ

Hệ thống tự động nhận dạng biển số xe (ANPR-automated number platerecognition) là hệ thống thông qua các thiết bị ghi hình video và ảnh biển số xe để tiếnhành phân tích đọc biển số, kết quả được xác minh qua cơ sở dữ liệu địa phương hay

từ xa, từ đó xác định được thông tin phương tiện, chủ xe và được lưu trữ để tham khảo

về sau

Hình 1.4: Một hệ thống giám sát xe ra vào bãi đỗ điển hình

Một trong những ứng dụng quan trọng và phổ biến của việc tự động nhận dạngbiển số xe là hệ thống giám sát xe ra vào bãi đỗ

Đề tài đã thực hiện được một phần trong hệ thống điển hình đó là nhận dạng biển

số xe và lưu vào cơ sở dữ liệu

1.4.2 Điều kiện ảnh hưởng

Trong mô hình hệ thống này, khâu nhận dạng biển số xe đóng vai trò quan trọngnhất Nếu kết quả trích suất được không chính xác hay việc nhận dạng ở lối vào và lối

ra cho kết quả khác nhau thì hệ thống không đạt yêu cầu về tính an ninh

Kết quả nhận dạng không phải lúc nào cũng tuyệt đối, có thể phát sinh lỗi trong bất

kỳ giai đoạn nào của hệ thống nhận dạng biển số xe Ngoài ra, từ yêu cầu cụ thể phong

phẳng thì bao giờ việc nhận dạng cũng dễ hơn là một nơi mà khung cảnh hỗnđộn, người xe tấp nập.

 Điều kiện hiện trạng của biển số: không phải mọi biển số đều có hiện trạng mới,chúng có thể cong vênh, sơn có thể tróc, bạc màu, vấy bẩn

 Điều kiện về cách thức bố trí thiết bị: cách lắp đặt camera, tốc độ di chuyển của

xe, tốc độ bắt hình của camera cũng tạo ra những vấn đề không nhỏ

Những cải tiến gần đây trong công nghệ như camera hồng ngoại, máy ảnh có độphân giải cao và công nghệ sản xuất biển số xe với nền phản chiếu cao đã cải thiện tínhchính xác của hệ thống nhận dạng biển số xe Cảm biến và các thiết bị ngoại vi phầncứng được sử dụng để cải thiện việc thu lại hình ảnh và loại bỏ chi tiết không liên quan.Thiết bị tách ảnh theo thời gian (Frame Grabber) cho phép số hóa nhanh hình ảnh thuđược và máy tính với phần mềm nhận dạng biển số xe sẽ làm cho hệ thống có thể hoạtđộng được trong thời gian thực với độ chính xác cao

1.4.3 Ứng dụng

Hệ thống nhận dạng biển số xe đã được áp dụng từ lâu tại nhiều nơi trên thế giới,tuỳ theo mục đích thực tế khác nhau mà hệ thống được phát triển thêm các phần liênquan Các ứng dụng như:

 Thu phí giao thông: Lắp đặt hệ thống tại các trạm thu phí nhằm hỗ trợ hoặc tựđộng hóa công tác thu phí

 Các trạm gác cổng: Việc lắp đặt hệ thống sẽ tự động hóa công tác mở cổng cho

xe vào

 Trạm cân và rửa xe tự động hoàn toàn, kiểm soát lưu lượng giao thông

Ngoài ra, hệ thống còn được ứng dụng vào công tác chống trộm xe, điều tiết giaothông,.v.v

1.5 Kết luận chương

Trong chương này, việc tìm hiểu về biển số xe một số nước trên thế giới và ViệtNam nhằm mục đích phục vụ cho quá trình nhận dạng được tốt

Ngoài ra, chương 1 của đồ án còn tìm hiểu các bước nhận dạng, đưa ra các

phương pháp và các hướng tiếp cận nhằm có một cái nhìn tổng quát về nhận dạng biển

số xe

Chương này còn đưa ra mô hình tổng quan của một bãi đỗ xe thông minh, đưa

ra các ứng dụng của việc nhận dạng biển số và các khó khăn trong việc nhận dạng

Chương 2: TIỀN XỬ LÝ ẢNH, PHƯƠNG PHÁP

TRÍCH XUẤT VÙNG BIỂN SỐ VÀ CÁC KÝ TỰ

2.1 Giới thiệu chương

Chương này sẽ đưa ra các khái niệm cơ bản về ảnh số như độ phân giải, mức xám,ngưỡng của ảnh xám…

Ngoài ra trong chương này sẽ làm rõ từng bước, hướng tiếp cận, đưa ra thuật toán

từ việc thu nhận ảnh màu ở đầu vào qua các giai đoạn tiền xử lý, trích xuất vùng biển

bị ngoại vi (tín hiệu đầu vào từ phim, video và thiết bị ghi hình camera)

Image Acquisition Toolbox là tập hợp các hàm của MatLab có nhiệm vụ thu thậpảnh số từ các thiết bị thu hình Cụ thể là:

• Thu thập hình ảnh từ các thiết bị thu hình khác nhau, từ loại chuyên dụng đến loại rẻ tiền như WebCam (giao tiếp USB)

• Trình chiếu (preview) luồng dữ liệu video từ thiết bị thu hình

• Trích hình ảnh từ luồng dữ liệu video

• Thiết lập các callback cho các sự kiện khác nhau

• Chuyển dữ liệu hình ảnh vào không gian workspace của MatLab để xử lý ảnh tiếp theo

O(x,y)= IR(x,y) * 0.287 + IG(x,y) * 0.599 + IB(x,y) * 0.114

(0.1)

Với:

● x,y : tọa độ của điểm ảnh

● IR : thành phần màu đỏ tại màu I(x,y)

● IG : thành phần màu xanh lá tại màu I(x,y)

● IB : thành phần màu xanh dương tại màu I(x,y)

● O(x,y): màu đầu ra.

I(x,y) : màu đầu vào

Hình 2.1 Ảnh đầu vào

Hình 2.2 Ảnh chuyển về mức

xám

2.3.2 Xử lý nhiễu

Đề tài dùng bộ lọc trung vị để tiến hành xử lý nhiễu ở những bước đầu tiên Trướckhi tiến hành ta phải lọc nhiễu xuất hiện trong vùng biển số để nâng cao độ chính xáccủa các quá trình xử lý tiếp theo Phần lớn ảnh giảm chất lượng là do bị tác động bởinhiễu Nhiễu trong ảnh phát sinh do quá trình thu nhập ảnh, số hóa ảnh, hoặc trong quátrình truyền ảnh Ảnh nhiễu được mô hình bởi:

Với f(x,y) là điểm ảnh gốc, n(x,y) là thành phần nhiễu và g(x,y) là pixel bị nhiễu

Xác định được mô hình nhiễu thì có thể khôi phục được ảnh gốc

Lọc trung vị là một kĩ thuật lọc phi tuyến (non-linear) khá hiệu quả đối với hailoại nhiễu: nhiễu đốm (speckle noise) và nhiễu muối tiêu (salt-pepper noise) Kĩ thuậtnày là một bước rất phổ biến trong xử lý ảnh Bộ lọc trung vị có hiệu quả hơn nhânchập khi mục đích là loại bỏ nhiễu và giữ nguyên đường biên bao quanh đối tượng

Ý tưởng chính của thuật toán lọc trung vị như sau: sử dụng một cửa sổ lọc (matrận 3x3) quét qua lần lượt từng điểm ảnh của ảnh đầu vào Tại vị trí mỗi điểm ảnh lấygiá trị của các điểm ảnh tương ứng trong vùng 3x3 của ảnh gốc "lấp" vào ma trận lọc.Sau đó sắp xếp các điểm ảnh trong cửa sổ này theo thứ tự (tăng dần

hoặc giảm dần tùy ý) Cuối cùng, gán điểm ảnh nằm chính giữa (trung vị) của dãy giá trị điểm ảnh đã được sắp xếp ở trên cho giá trị điểm ảnh đang xét của ảnh đầu ra

Hình 2.3 Lọc trung vị

Sơ lược một cách ngắn gọn các bước của giải thuật:

 Quét cửa sổ lọc lên các thành phần của ảnh gốc; điền các giá trị được quét vào cửa sổ lọc

 Lấy các thành phần trong của sổ lọc để xử lý

 Sắp xếp theo thứ tự các thành phần trong cửa sổ lọc

 Lưu lại thành phần trung vị, gán cho ảnh ra

2.3.3 Chuyển ảnh xám về dạng nhị phân

Để chuyển hình ảnh mức xám về ảnh nhị phân ta đặt một ngưỡng (threshold) thíchhợp, điểm ảnh xám nào có giá trị bằng hoặc dưới ngưỡng thì đặt lại giá trị bằng 0 vàngược lại, ta đặt lại giá trị bằng 225 Ở đây, ngưỡng được tính tự động từ ảnh xám ởtrên theo phương pháp của Otsu

O(x,y) = { 0 nếu I(x,y) < T

1 nếu I(x,y) ≥ T

Với T là ngưỡng

Nếu sử dụng một giá trị T duy nhất cho toàn bộ bức ảnh, có nghĩa là công thức trên

áp dụng cho toàn ảnh trong quá trình phân hoạch thì ta gọi đó là cách dùng ngưỡngtoàn cục (Global Thresholding), ngược lại sử dụng ngưỡng khác nhau tùy theo từng

vùng

(Region) trong ảnh, T biến thiên theo từng vị trí khác nhau và được tính toán lại tại từngvùng ảnh, có nghĩa là công thức trên áp dụng cho từng vùng cục bộ của ảnh với T thayđổi thì đó gọi là phương pháp dùng ngưỡng cục bộ (Local Thresholding).

Như vậy với giải pháp phân hoạch ngưỡng trên ảnh, T là một nhân tố vô cùngquan trọng mang tính quyết định sự thành bại của thuật toán Otsu một thuật toán đơngiản để tính T phục vụ cho phân hoạch ảnh toàn cục

Otsu là tên một nhà nghiên cứu người Nhật đã nghĩ ra ý tưởng cho việc tínhngưỡng T một cách tự động (adaptive) dựa vào giá trị điểm ảnh của ảnh đầu vào nhằmthay thế cho việc sử dụng ngưỡng cố định (fixed hay const) Phương pháp này cho kếtquả là mỗi ảnh khác nhau có một ngưỡng tương ứng khác nhau bằng các bước xử lýnhư sau:

1 Chọn một giá trị khởi tạo cho T Nên chọn giá trị mang tính công thức, ví dụ T =(min + max) / 2, T = giá trị trung bình của toàn bộ ảnh, tránh dùng các giá trịmang tính định lượng thiết lập cứng

2 Phân hoạch ảnh sử dụng T kết quả của bước này sẽ tạo ra 2 nhóm điểm ảnh: G1chứa tất cả các điểm ảnh với giá trị (intensity) > T và G2 chứa các điểm ảnh vớigiá trị (intensity) ≤ T

3 Tính trung bình (Average hay Mean) m1 và m2 của các điểm ảnh thuộc G1 vàG2

4 Tính lại T dựa vào m1 và m2: T = (m1 + m2) / 2

5 Lặp lại bước 2 đến 4 cho tới khi nào giá trị chênh lệch giữa T cũ và T mới làkhông đáng kể (nhỏ hơn một giá trị cho trước ΔT) ΔT thường được sử dụng làsai số từ các phép tính toán trong quá trình xử lý Trong trường hợp này T đượctính ở 4 sẽ có phép sai số là 1 / 2 * (giá trị đơn vị của điểm ảnh)

Hình 2.4 Ảnh nhị phân

2.4 Chương trình tìm góc nghiêng

2.4.1 Biến đổi radon

Dùng để biến đổi các ảnh trong không gian 2 chiều với các đường thẳng thành miềnRadon, trong đó mỗi đường thẳng trong ảnh sẽ cho 1 điểm trong miền Radon

Công thức toán học của biến đổi Radon:

Phương trình trên biểu diễn việc lấy tích phân dọc theo đường thẳng s trên ảnh,trong đó ρ là khoảng cách của đường thẳng so với gốc tọa độ O, và θ là góc lệch so vớiphương ngang

Hình 2.5: Phương pháp biến đổi RadonTrong xử lý ảnh số, biến đổi Radon tính toán hình chiếu của ma trận ảnh dọc theo 1hướng xác định Hình chiếu của 1 hàm số2 chiều là f(x,y) la tập hợp các tích phânđường Hàm Radon tính toán tích phân đường dọc theo các tia song song theo cácphương khác nhau ( bằng cách xoay hệ trục tọa độ xung quanh O theo các giá trị θkhác nhau ), chiều rộng của các tia là 1 pixel Hình dưới đây biểu diễn 1 hình chiếu đơngiản theo 1 giá trị của góc θ.

Hình 2.6 Hình chiếu đơn giản theo góc θCông thức tổng quát trên có thểviết lại như sau:

Với:

2.4.2 Tìm góc nghiêng và xoay

Biển số được chụp với nhiều góc nghiêng khác nhau, do đó ta phải tìm gócnghiêng và xoay về phương thẳng Đây là việc rất quan trọng, vì nếu không quay vềphương thẳng thì khi cắt biển số sẽ bị phạm vào biển số Chúng ta xác định gócnghiêng bằng phương pháp biến đổi Radon Trước khi biến đổi Radon, ảnh chứa biển

số được biến đổi thành ảnh được tách biên nhị phân [1],[2]

Sau đó, ta tiến hành biến đổi Radon để tìm góc xoay Thực hiện biến đổi Radon vớigóc θ chạy trong khoảng ( 0: 180), ta sẽ được một ma trận với các điểm R(θ) với từnggóc θ và tọa độ pixel tương ứng

Sau khi biến đổi Radon, chúng ta xác định được góc Rmax, ứng với Rmax thì ta cóđược θ max và góc lệch là ( 90º - θ max) Sau đó ta sử dụng hàm Rotate trongMATLAB để xoay ảnh với góc lệch tìm được

Lưu đồ giải thuật chương trình xoay ảnh:

Hình 2.7 Lưu đồ giải thuật chương trình xoay ảnh

2.5 Trích xuất vùng biển số

Trích xuất vùng biển số là bước tiếp theo sau khi thu nhận ảnh Như chúng ta đãqui ước biển số là một tấm kim loại nhỏ có gắn các chữ số và đặt trước các xe với mụcđích xác định xe đó nhưng máy không hiểu điều này, máy không thể hiểu được cácđịnh nghĩa như xe, đường, biển số Vì vậy ta cần phải đưa ra các thông số phân tích vàđịnh nghĩa cho máy hiểu và xử lý

Đây là giai đoạn quan trọng nhất và khó khăn nhất Nó xác định tốc độ và mạnh mẽcủa hệ thống Một số nghiên cứu trích xuất vùng biển số được tiến hành trong nhiềunăm với các phương pháp khác nhau đã được đề xuất Trong đó, phổ biến có cácphương pháp dưới đây:

 Phương pháp dùng chuyển đổi Hough: dựa vào đặc trưng cạnh biên trích được,

áp dụng các phương pháp xác định đường thẳng như phép biến đổi Hough đểphát hiện các cặp đường thẳng gần song song ghép thành một ảnh biển số

 Phương pháp hình thái học: dựa vào đặc trưng hình thái của biển số xe như màusắc, độ sáng, sự đối xứng… để xác định và trích ra ảnh biển số

 Phương pháp khớp mẫu: xem biển số là một đối tượng có khung nền riêng và sửdụng các cửa sổ dò để trích từng đối tượng đưa qua mạng noron (neuralnetwork), trí tuệ nhân tạo (artificial intelligence) chẳng hạn để phân loại cóphải là vùng biển số hay không

Trong đồ án này sử dụng phương pháp hình thái hình học:

Nội dung của phương pháp: Dựa vào đặc trưng quan trọng là biển số xe máy có độsáng (tức mức xám khi chuyển bức ảnh về dạng xám) là tương đối khác so với cácvùng khác trong bức ảnh, cũng như sự phân bố mức xám là khá đồng đều trên biển số

và vì vậy khi được nhị phân hoá, vùng biển số là một đối tượng có đặc thù hình thái, cóthể phân biệt được với các vùng khác Như vậy các bước thực hiện ở đây là:

● Xác định ngưỡng xám Thực chất là không có phương pháp nào chọn cho

Hình 2.8 Ảnh xám đầu vào Hình 2.9 Lược đồ xám của ảnh xám

● Nhị phân hoá ảnh xám đầu vào với ngưỡng xám đã xác định.

o Lọc các nhiễu (salt and pepper noise) gây ảnh hưởng xấu tới đốitượng biển số

o Gắn nhãn cho các đối tượng còn lại trong ảnh nhị phân thu được

o Trích ra các đối tượng ứng viên biển số theo tiêu chí cụ thể của biển số

xe về chiều cao, chiều rộng, tỉ lệ các cạnh, diện tích, trọng tâm …

2 hàng trên và dưới, mục đích cách làm này nhằm nhận dạng đúng thứ tự vị trí các ký

tự nằm trên biển số Vì khi biển số bị nghiêng so với thực tế, thuật toán ta chọn hoạt