●
• Ý tưởng: Phương pháp nhận dạng dựa trên đặc điểm hình thái đặc biệt giữa các ký tự để phân biệt ký tự với nhau. Thực hiện trên cơ sở xây dựng cây nhị phân tối ưu của các đặc điểm hình thái từ ma trận đặc tính và tập ký tự thu được.
• Ưu điểm: Phù hợp với tập ký tự nhận dạng nhỏ.
• Nhược điểm: Phụ thuộc lớn vào việc xây ma trận đặc tính.
3.2.3 Phương pháp mạng nơron (neuron network):
● ●
• Ý tưởng: Phương pháp nhận dạng dựa trên sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con người với vô số các nơron được liên kết truyền thông với nhau qua mạng. Nó có khả năng học từ kinh nghiệm hay từ một tập mẫu. Việc huấn luyện cho mạng học là một vòng lặp duyệt qua lần lượt các ký tự ảnh giúp mạng nơron nhớ và nhận dạng các ký tự ảnh này. • Ưu điểm: Không tốn thời gian cho thủ tục tiền xử lý, làm mảnh ký tự, trích
trọn đặc trưng. Chỉ cần cung cấp một tập mẫu vào ra của dữ liệu mới cho pha huấn luyện là có thể bổ xung vào “bộ nhớ mạng” những kiểu dữ liệu mới mà không ảnh hưởng đến cấu trúc chương trình ban đầu.
• Nhược điểm: Phụ thuộc vào tập huấn luyện và việc chọn số lượng nơron đầu vào.
● Trong thực tế còn nhiều phương pháp khác với ưu và nhược điểm khác nhau. Tùy thuộc vào mục đích của hệ thống nhận dạng, yêu cầu về thời gian và tính chính xác của thuật toán mà mỗi hệ thống lựa chọn một phương pháp khác nhau. Trong đồ án này lựa chọn phương pháp đối sánh mẫu dựa trên đặc trưng vì thuật toán này cho thời gian xử lý nhanh, nhận dạng tốt các ký tự đứt nét...
3.3 Phương pháp đối sánh mẫu dựa trên đặc trưng
●
● Những phương pháp nhận dạng trên đều có những ưu và nhược điểm riêng. Mạng nơ-ron có rất nhiều ưu điểm trong việc nhận dạng ký tự. Tuy nhiên, vì số lượng ký tự trên biển số là không nhiều, để đảm bảo tốc độ xử lý, nghiên cứu đã dùng phương pháp “phương pháp đối sánh mẫu dựa trên đặc trưng” cho quá trình nhận dạng. Nhận dạng ký tự được đề xuất bới Jacob Rabinow vào những năm 1940 với tỷ lệ lỗi tương đối cao. Vì số lượng ký tự tăng nên cần phải có phương pháp thay thế và đối sánh mẫu dựa trên đặc trưng là một trong những giải pháp phù hợp để thực hiện trong việc nhận dạng ký tự bởi vì thuật toán đơn giản.
● ●
3.3.1 Tạo các mẫu
●
● Nhận dạng các ký tự có trong ảnh đối tượng. Mô hình nhận dạng biển số xe, dựa vào
● phương pháp đối sánh mẫu dựa trên đặc trưng.
●
● Xây dựng các mẫu vào các lớp khác nhau, sau đó gắn nhãn cho các lớp này.
●
● Trích chọn đặc trưng:
●
● Đây là bước biểu diễn các mẫu bằng các đặc trưng của đối tượng. Trong quá trình số liệu ảnh sẽ được thu gọn lại. Điều này hết sức cần thiết cho việc tiết kiệm bộ nhớ trong việc lưu trữ và thời gian tính toán. Một phương pháp trích chọn đặc trưng tốt nếu như nó trích chọn các đặc trưng của đối tượng mà các đặc trưng đó sẽ giúp cho việc phân biệt được các lớp mẫu khác nhau, đồng thời nó cũng biến đổi được các thuộc tính cố hữu của đối tượng hay do các thiết bị thu nhận ảnh tạo ra.
● Việc trích chọn các đối tượng đặc trưng của đối tượng là việc lựa chọn ra các yếu tố hình học. Sự biến đổi từng yếu tố riêng có thể làm thay đổi trật tự các đại lượng, điều này có thể làm ảnh hưởng đến việc phân lớp. Vấn đề này thường được giải quyết bằng một phép biến đổi tuyến tính thích hợp đối với các thành phần của vector đặc trưng.
● Qua thực nghiệm đã cắt ra từng kí tự của biển số và cho ra kích thước ảnh chuẩn của một kí tự là 42x24. Tiến hành lấy tất cả 26 mẩu kí tự chữ (A, B, C,….,Z) và 10 mẫu kí tự số (0, 1, 2,…, 9). Tổng cộng có 36 kí tự (42x24) được lưu vào trong một ma trận mẫu (templates). Màu đen tương ứng với bit 0, màu trắng tương ứng với bit 1.
● ● ● ● ● Hình 3.1 Ký tự được đưa về dạng ma trận 42x24 ● 3.3.2 Tiến hành nhận dạng các ký tự ●
● Các ký tự sau khi đã cách ly ta mang chúng phân thành các lớp giống như cách tạo ra các lớp mẫu. Như vậy, ta lựa chọn các lớp ký tự này so sánh lần lượt với các lớp có trong mẫu. Kết quả của mỗi lần so sánh tìm ra hệ số tương quan sau đó tiến hành lưu chúng cùng các lớp khác. Sau khi hoàn tất xong ta tiếp tục chọn trong các lớp xem lớp nào có hệ số tương quan lớn nhất, lớp này có tên gì tương ứng với ký tự nào ta xuất ra màn hình ký tự đó.
Bắt đầu Ảnh ký tự ở dạng ma trận Chọn hệ số tươngquan lớn nhất Đưa về kích thước [42x24] Xuất ký tự tươngứng Tính hệ số tương quan với tất cả mẫu
Kết thúc
So sánh các hệ số tương quan ●
●
● Thuật toán đối sánh mẫu dựa trên đặc trưng mà đề tài thực hiện:
● ●
●
● ●
● Hình 3.2: Thuật toán đối sánh mẫu dựa trên đặc trưng
● Thuật toán nhận dạng bao gồm các bước sau:
• Chuẩn hóa ảnh kí tự vừa cắt ra về kích thước 42x24.
• Dùng công thức tính hệ số tương quan để tính lần lượt với các mẫu. • Lưu các kết quả vừa tìm được vào trong một lớp.
• Tìm hệ số tương quan gần bằng 1 nhất trong lớp • Xuất ra kí tự tương ứng với lớp đó.
● ●
● Ảnh ký tự được biểu diễn dưới dạng bit có kích thước [42,24]
● ● ● ● ● ● Sau đó chuyển về dạng ma trận (0,1): ● ● ● ●
● Để nhận dạng, ký tự đã tách được so sánh với tất cả ký tự có trong mẫu. Công thức
● xác định hệ số tương quan:
●
●
● Trong đó Amn là giá trị pixel tại cột m và hàng n, Bmn là giá trị pixel tại cột m và hàng
● n. A̅ và B¯ là giá trị trung bình của ma trận A và B.
● ● ● Ví dụ: Gọi A là ma trận ảnh chứa kí tự cần nhận dạng là số 1, B là ma trận mẫu số 1, C là ma trận mẫu số 2. ● A= B=
● ●
● Kết quả hệ số tương quan giữa ma trận A với B và A với C: Corr2(A,B) =1
● Corr2(A,C) =0.3677
●
● Suy ra A và B là 2 ảnh giống nhau, Khi đó dựa vào ma trận mẩu B là kí tự nào thì xuất kí tự đó ra. Hoàn tất quá trình nhận dạng.
●
●
● Hình 3.3 Kết quả nhận dạng của chương trình bằng phương pháp đối sánh mẫu
● dựa trên đặc trưng
●
● 3.4 Kết luận chương
● Chương này đã đưa ra lý thuyết, các thuật toán cũng như ưu nhược điểm của các phương pháp đặc trưng trong nhận dạng ký tự. Đưa ra phương pháp so sánh khớp mẫu cùng giải thuật và các công thức liên quan.
● ●
● Chương 4:ĐÁNH GIÁ KẾT QUẢ
4.1 Giới thiệu chương
● Chương này sẽ đưa ra một cơ sở dữ liệu đủ lớn để thử nghiệm và đánh giá hệ thống nhận dạng biển số xe, sau đó sẽ đưa ra kết quả chạy thực nghiệm của hệ thống.
4.2 Cơ sở dữ liệu
● 4.2.1 Cơ sở dữ liệu của quá trình thử nghiệm và đánh giá hệ thống
● Cơ sở dữ liệu để thử nghiệm và đánh giá hệ thống ở đây là ảnh tự chụp trong các điều kiện ánh sang khác nhau, các loại biển số tốt xấu khác nhau, biển số bị mờ, biển số có gương bảo vệ, biển số bị xây sướt, biển số bị bụi bẩn bám, biển 4 số, biển 5 số…
● ● ●
●
● ● ●
●
●Hình 4.1 Các loại biển số trong cơ sở dữ liệu
4.2.2 Đặc điểm các biển số trong cơ sở dữ liệu
Mẫu tốt:
• Chụp rõ nét
● ●
• Các ký tự trên biển số không bị khung viền che khuất, không bị trầy xước.
●
●
● Hình 4.2: Một số biển số nhận dạng chính xác Mẫu xấu:
• Có lớp gương bảo vệ.
• Khung viền che khuất ký tự trên biển số. • Ánh sang chói trực tiếp.
• Màu biển số giống màu nền. • Ký tự trên biển số bị trầy xước. • Bụi che biển số.
● ● ● ● ● Hình 4.3 Một số biển số nhận dạng không chính xác ● ● 4.3 Kết quả 4.3.1KẾT QUẢ
Trong cơ sở dữ liệu 100 biển số được chụp ngẫu nhiên với các điều kiện khác nhau ( tổng cộng ):
● ● ● ● Số mẫu ● Số mẫu tách được ● Số mẫu không nhận ● Tỉ lệ nhận dạng ● đúng ● 100 ● 93 ● 8 ● 80% ● Bảng 4.1: Kết quả thử nghiệm ●
Trong cơ sở dữ liệu các biển số có gương bảo vệ phản chiếu ánh sáng:
● ● Số mẫu ● Số mẫu tách được ● Số mẫu không nhận ● Số mẫu nhận dạng ● đúng ● 10 ● 9 ● 1 ● 4
● Bảng 4.2: Kết quả trong cơ sở dữ liệu các biển số có gương bảo vệ
●
Trong cơ sở dữ liệu các biển số có gương bảo vệ bị biến đổi màu:
● ● Số mẫu ● Số mẫu tách được ● Số mẫu không nhận ● Số mẫu nhận dạng ● đúng ● 10 ● 10 ● 0 ● 8
●Bảng 4.3: Kết quả trong cơ sở dữ liệu biển số biến đổi màu
●
Trong cơ sở dữ liệu các biển số có khung viền bảo vệ che khuất ký tự trên biển số: ● ● Số mẫu ● Số mẫu tách được ● Số mẫu không nhận dạng ● Số mẫu nhận dạng ● đúng ● 10 ● 10 ● 0 ● 4
● Bảng 4.4: Kết quả cơ sở dữ liệu biển số có khung viền che ký tự
●
● Kết quả: từ cơ sở dữ liệu trên, với phương pháp nhận dạng đã trình bày ở chương 2 và chương 3, qua quá trình đánh giá và thử nghiệm, chúng em đã rút ra được kết quả:
Với các mẫu tốt thì tỉ lệ nhận dạng đúng là 90%. Với các mẫu xấu thì tỉ lệ nhận dạng đúng là 60%.
●
Biểu đồ so sánh tỉ lệ nhận dạng đúng sai giữa các cơ sở dữ liệu 100 90 80 70 60 50 40 30 20 10 0
Tổng cộngGương bảo vệ phản Gương bảo vệ biến Khung viền che khuấtBình thường chiếu ánh sángđổi màuký tự Tỉ lệ đúngTỉ lệ sai ● ● ● ● ●
● Hình 4.4: Biểu đồ so sánh tỉ lệ nhận dạng đúng sai giữa các cơ sở dữ liệu
●
4.3.2 Một số ký tự nhận dạng bị nhầm lẫn
Tổng cộngGương bảo vệ phản Gương bảo vệ biến Khung viền che khuấtBình thường chiếu ánh sángđổi màuký tự Tỉ lệ đúngTỉ lệ sai • Số 6 bị nhầm qua số 8 • Chữ H bị nhầm qua chữ M • Chữ E bị nhầm qua chữ F • Chữ B bị nhầm qua chữ D
● ● ● ● ● Hình 4.5 Ký tự E bị nhầm sang ký tự F ● ● ● Hình 4.6 Ký tự B bị nhầm sang ký tự D ● ● ● Hình 4.7 Ký tự 6 bị nhầm sang ký tự 8
● ●
4.3.3 Nguyên nhân nhận dạng không tốt
Biển số có gương bảo vệ làm ánh sáng phản chiếu lại nên khi thu nhận hình ảnh thì bị chói lóa
●
● Hình 4.8: Một số biển số có gương bảo vệ
●
Biển số có khung viền bảo vệ che mất ký tự trên biển số
●
● ●
Biển số có lớp nhựa bảo vệ bị đổi màu làm mờ biển số
●
●
● Hình 4.10: Một số biển số bị lớp nhựa bảo vệ làm mờ
●
4.4 Đánh giá hệ thống (theo tiêu chí số ký tự nhận dạng đúng)
Điều kiện tốt:
● Biển số trong cơ sở dữ liệu với điều kiện ánh sáng tốt, biển số rõ thì tỉ lệ nhận dạng đúng ● là 100%: ● ● Biển số ● Nhận dạng được ● Ký tự sai ● Số ký tự sai ●92B1-20482 ● 92B1-20482 ● Không có ● 0 ●43D1-37077 ● 43D1-37077 ● Không có ● 0 ● 47M9- 6470 ● 47M9-6470 ● Không có ● 0 ●43K1-20503 ● 43K1-20503 ● Không có ● 0 ● 38M1- 1529 ● 38M1-1529 ● Không có ● 0 ● 49T2- 8743 ● 49T2-8743 ● Không có ● 0
●74B1-07615 ● 74B1-07615 ● Không có ● 0 ●73G1-11088 ● 73G1-11088 ● Không có ● 0 ●92H1-09894 ● 92H1-09894 ● Không có ● 0 ● 82H2- 2291 ● 82H2-2291 ● Không có ● 0 ● ●
● ●
● Trong điều kiện ánh sáng tốt, biển số rõ, các ký tự độc lập thì hệ thống nhận dạng
● đúng gần như là 100%.
●
Điều kiện phức tạp:
● Biển số trong cơ sở dữ liệu với điều kiện phức tạp như ánh sáng không phù hợp (quá sáng, quá tối,…), biển số xe bị mờ, ký tự bị che khuất…
●
● Biển số ● Nhận dạng
được ● Ký tự sai ● Số ký tự sai
●43G1-19023 ● 43G1-18023 ● 9 ● 1 ● 43D1-221180 ● 43D1-22118 ● 0 ● 1 ●92D1-23155 ● 92D1-23155 ● Không có ● 0 ●43F1-19618 ● 43F1-19818 ● 6 ● 1 ●73E1-15831 ● 73F1-15831 ● E ● 1 ●43F1-05891 ● 43F1-85891 ● 0 ● 1 ● 92N6- 8849 ● 92M6-8849 ● N ● 1 ● 92L9- 1644 ● 92L9-1644 ● Không có ● 0 ● 43X2- 6355 ● 43X2-6355 ● Không có ● 0 ●43K1-19483 ● 43X1-19483 ● K ● 1 ● ●
●Bảng 4.6: Kết quả số ký tự nhận dạng đúng trong điều kiện phức tạp
●
● Trong điều kiện ánh sáng không phù hợp lúc sáng hoặc chiều, ánh sáng chiếu thẳng vào biển số, biển số bị mờ, ký tự trên biển số bị che khuất thì tỉ lệ nhận dạng đúng thấp, đôi khi còn mất ký tự.
●
● KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
● Sau thời gian thực hiện đề tài, luận văn đã hoàn thành được các công việc cơ bản sau đây:
• Nghiên cứu lý thuyết về hệ thống nhận dạng biển số, trình bày các ứng dụng cũng như những khó khăn gặp phải khi áp dụng hệ thống nhận dạng biển số vào thực tế.
• Nghiên cứu lý thuyết các kỹ thuật xử lý ảnh và phương pháp nhận dạng ký tự bằng so sánh khớp mẫu.
• Nghiên cứu các thuật toán tách biển số ra khỏi ảnh cũng như thiết lập các ràng buộc để lựa chọn biển số.
• Xây dựng được thuật toán có thể thích nghi với sự thay đổi của môi trường như nhiễu nhỏ.
• Kết quả nhận dạng toàn bộ chương trình chỉ ở mức chấp nhận được, khả năng sai lớn nhất của chương trình trong quá trình chạy thử nghiệm là nhận dạng sai kí tự. Chính vì vậy, khả năng nhận dạng của chương trình không thể chính xác tuyệt đối.
● Đề tài đã giải quyết được vấn đề cơ bản của bài toán nhận dạng biển số. Tuy nhiên việc xử lý các vấn đề xảy ra trong thực tế nhận dạng nhiều hơn rất nhiều. Do đó cần nghiên cứu phát triển thêm:
• Phát triển thuật toán nhận dạng với kết quả chính xác cao hơn như: dùng biến đổi Hough để nhận dạng vùng biển số, dùng mạng Nơ-ron để nhận dạng ký tự. • Tổng hợp một cơ sở dữ liệu lớn hơn, thu thập mẫu các ký tự trong tất cả các
trường hợp.Xem xét tất cả các trường hợp ghi nhận biển số xấu như hỏng, dính