Kỹ thuật nhận dạng ký tự in hoa và ứng dụng

i LỜI CẢM ƠN Trước hêt, xin bày tỏ lòng biết ơn sâu sắc đến Thầy PGS TSKH Nguyễn Xuân Huy, người tận tình bảo, hướng dẫn giúp đỡ tơi hồn thành luận văn Tơi xin chân thành cảm ơn đồng nghiệp Trung tâm phát triển hạ tầng Công nghệ thông tin Đà nẵng tạo điều kiện giúp đỡ thời gian làm luận văn Tôi xin chân thành cảm ơn Gia đình, Thầy Cơ Người bạn thân thiết động viên lúc khó khăn Mặc dù nỗ lực cố gắng để hoàn thành luận văn tốt nghiệp song chắn khơng thể tránh khỏi sai sót Vì vậy, mong bảo Thầy, Cơ giáo để luận văn hồn thiện Trân trọng cảm ơn! Lê Minh Hoàng ii LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc Lê Minh Hoàng iii MỤC LỤC Lời cảm ơn ii Lời cam đoan iii Mục lục iii Danh mục ký hiệu, chữ viết tắt vi Danh mục bảng vii Danh mục hình viii MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KÝ TỰ 1.1 Tổng quan xử lý ảnh số 1.1.1 Khái niệm ảnh số 1.1.2 Xử lý ảnh số 1.2 Tổng quan nhận dạng ký tự quang học 1.3 Các thành phần hệ thống nhận dạng ký tự 1.3.1 Quét quang học 1.3.2 Vị trí phân đoạn 1.3.3 Tiền xử lý 10 1.3.4 Trích chọn đặc trưng 11 1.3.5 Hậu xử lý 15 1.3.5.1 Nhóm 15 1.3.5.2 Phát lỗi hiệu chỉnh 16 1.4 Một số kỹ thuật ứng dụng nhận dạng ký tự 16 1.4.1 Nhận dạng theo phương pháp so sánh mẫu 16 1.4.2 Nhận dạng cấu trúc chữ 17 1.4.3 Nhận dạng mạng neural 18 1.4.4 Một số ứng dụng nhận dạng ký tự 18 1.5 Một số lỗi thường gặp hệ thống OCR 20 1.6 Đánh giá hiệu suất hệ thống OCR 21 1.7 Tổng kết chương 22 iv CHƯƠNG 2: NHẬN DẠNG KÝ TỰ BẰNG MẠNG NEURAL 23 2.1 Các khái niệm mạng neural 23 2.1.1 Mơ hình neural sinh vật 23 2.1.1.1 Cấu tạo neural sinh vật 23 2.1.1.2 Hoạt động 24 2.1.2 Mơ hình mạng neural nhân tạo 25 2.1.2.1 Các Neural nhân tạo 25 2.1.2.2 Mạng neural nhân tạo 27 2.2 Phân loại mạng neural 29 2.2.1 Mạng truyền thẳng 29 2.2.1.1 Mạng truyền thẳng lớp 29 2.2.1.2 Mạng truyền thẳng nhiều lớp 30 2.2.2 Mạng hồi quy 31 2.2.3 Mạng tự tổ chức (Self Origanizing Feature Maps - SOM) 31 2.2.4 Ứng dụng mạng neural 32 2.3 Mơ hình học mạng neural 33 2.4 Ứng dụng mạng neural việc nhận dạng ký tự 34 2.4.1 Số hóa ảnh 34 2.4.2 Mạng neural nhận dạng ký tự 36 2.5 Mô tả mạng neural việc nhận dạng ký tự 37 2.6 Tổng kết chương 38 CHƯƠNG 3: NHẬN DẠNG BIỂN SỐ XE 40 3.1 Tổng quan hệ thống 40 3.2 Tiền xử lý 41 3.2.1 Giảm nhiễu 41 3.2.2 Chuyển đổi màu 43 3.2.3 Phân ngưỡng 44 3.3 Phân vùng biển số 48 3.3.1 Ảnh tương quan 48 v 3.3.2 Phân vùng biển số 49 3.3.3 Lọc bỏ khung biển số 51 3.4 Nhận dạng ký tự 52 3.4.1 Tách ký tự khỏi biển số 52 3.4.2 Nhận dạng ký tự 54 3.5 Quá trình thực toán nhận dạng 58 3.6 Một số trường hợp không nhận dạng 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 63 TÀI LIỆU THAM KHẢO 64 vi DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT ANN Artificial Neural Network ICR Intelligent Character Recognition MICR Magnetic Ink Character Recognition MLP Multi-Layer Perceptron OCR Optical Character Recognition OMR Optical Mark Recognition SOM Self Origanizing Feature Maps vii DANH MỤC BẢNG Bảng 1.1 Đánh giá trích chọn đặc trưng Bảng 2.1 Giới thiệu số hàm kích hoạt mạng neural Bảng 3.1 Kết thực nghiệm viii DANH MỤC HÌNH Hình 1.1 Các bước xử lý ảnh số Hình 1.2 Các phạm vi khác nhận dạng ký tự Hình 1.3 Các thành phần hệ thống OCR Hình 1.4 Các ký hiệu bị suy biến Hình 1.5 Chuẩn hóa làm mịn ký tự Hình 1.6 Ví dụ minh họa quy vùng Hình 1.7 Các nét trích chọn từ chữ F, H N Hình 1.8 Các điểm kết thúc, điểm chạc ba Hình 2.1 Mơ hình neural sinh học Hình 2.2 Mơ hình neural Hình 2.3 Mơ hình hóa mơ hình neural Hình 2.4 Một neural nhân tạo Hình 2.5 Mơ hình mạng neural nhân tạo Hình 2.6 Mạng truyền thẳng lớp Hình 2.7 Mạng truyền thẳng nhiều lớp Hình 2.8 Mạng neural hồi quy Hình 2.9 Tiến trình số hóa ký tự Hình 2.10 Mơ hình lớp Perceptron với hai lớp ẩn Hình 2.11 Ví dụ mơ hình mạng neural nhận dạng ký tự quang học Hình 3.1 Quá trình nhận dạng biển số xe Hình 3.2 Ảnh trước xử lý giảm nhiễu Hình 3.3 Ảnh sau xử lý giảm nhiễu Hình 3.4 Ảnh sau chuyển qua ảnh mức xám Hình 3.5 Ảnh gốc trước phân ngưỡng Hình 3.6 Ảnh sau phân ngưỡng mức 70 Hình 3.7 Ảnh sau phân ngưỡng mức 80 ix Hình 3.8 Ảnh sau phân ngưỡng mức 90 Hình 3.9 Ảnh gốc xe có biển số màu xanh Hình 3.10 Ảnh sau phân ngưỡng mức 70 Hình 3.11 Ảnh sau phân ngưỡng mức 80 Hình 3.12 Ảnh sau phân ngưỡng mức 90 Hình 3.13 Mẫu Hình 3.14 Loại biển số dùng mẫu để quét Hình 3.15 Mẫu Hình 3.16 Loại biển số dùng mẫu để dị Hình 3.17 Mẫu Hình 3.18 Loại biển số dùng mẫu để quét Hình 3.19 Biển số sau phân vùng Hình 3.20 Biển số sau chuyển đổi ngược, lọc bỏ bo khung Hình 3.21 Biển số sau phân vùng Hình 3.22 Biển số sau chuyển đổi ngược, lọc bỏ bo khung Hình 3.23 Biển số cần tách Hình 3.24 Các ký tự sau tách từ biển số Hình 3.25 Biển số vng trước cắt đơi Hình 3.26 Biển số vng sau cắt đơi Hình 3.27 Tách ký tự nửa biển số vng Hình 3.28 Tách ký tự nửa biển số vng Hình 3.29 Các mẫu số sử dụng Hình 3.30 Các mẫu chữ sử dụng Hình 3.31 Mơ hình thiết kế mạng neural Hình 3.32 Ảnh sau thu nhận từ thiết bị Hình 3.33 Ảnh lọc để giảm nhiễu Hình 3.34 Ảnh chuyển qua mức xám phân ngưỡng Hình 3.35 Phân vùng lọc biển số xe Hình 3.36 Tách ký tự nhận dạng x Hình 3.37 Kết nhận dạng biển số thành cơng Hình 3.38 Khơng nhận dạng biển số hoạt động ban đêm Hình 3.39 Ký tự biển số bị thơng tin đinh ốc Hình 3.40 Ảnh bị nhận dạng sai vùng biển số bị nhiếu lớn 50 Biển số có dạng hình vng hình 3.15 sau: Hình 3.15 Mẫu Hình 3.16 Loại biển số dùng mẫu để dò Loại mẫu dùng cho nhận dạng biển có trắng chữ đen, có dạng hình vng có hai dịng chữ Nhận dạng biển số loại tương tự biển số hình chữ nhật cần phải tách thành hai dòng khác biệt Mẫu thứ ba: Các biển số màu xanh đỏ hình 3.17 sau: Hình 3.17 Mẫu Hình 3.18 Loại biển số dùng mẫu để quét 51 - Loại mẫu dùng để quét biển số có dạng xanh, chữ màu trắng Phương pháp nhận dạng loại biển giống với biển chữ nhật trắng, chữ đen 3.3.3 Lọc bỏ khung biển số Sau phân vùng biển số tiến hành lọc bỏ khung cho biển số xe trước tiến hành trình tách ký tự Việc lọc bỏ khung cho biển số xe nhằm mục đích loại bỏ nhiễu viền khung để việc tách ký tự dễ dàng Chúng ta lọc bỏ khung cách cắt bỏ khung viền Khi cắt bỏ khung viền khơng nên cắt q sâu, điều làm cho ký tự bị thiếu thơng tin dẫn đến q trình nhận dạng khơng xác Sau lọc bỏ viền khung, tiến hành bo khung cho biển số để đảm bảo độ xác cho việc tách ký tự Hình 3.19 3.20 minh họa cho biển số trước sau thực việc lọc bỏ bo sát khung Hình 3.19 Biển số sau phân vùng Hình 3.20 Biển số sau chuyển đổi ngược, lọc bỏ bo khung Trong trường hợp biển số xe hình vng: Hình 3.21 Biển số sau phân vùng 52 Hình 3.22 Biển số sau chuyển đổi ngược, lọc bỏ bo khung 3.4 Nhận dạng ký tự 3.4.1 Tách ký tự khỏi biển số Để trình nhận dạng ký tự dễ dàng, vùng biển số sau lọc bỏ khung cần tách thành ảnh nhỏ, ảnh chứa ký tự Có nhiều phương pháp để tách ký tự khỏi biển số Trong phần trình bày phương pháp tách ký tự cách chia khoảng phương pháp phù hợp với biển số có độ nhiễu cao Phương pháp dựa tỉ lệ khoảng cách phân bố ký tự biển số Từ ta chia biển số thành ảnh nhỏ theo khoảng cách tính tốn Đối với biển số hình chữ nhật, số lượng ký tự bao gồm sáu số, chữ dấu phân cách Khoảng cách ký tự giống nhay Vì biển số tách thành tám phần Kết tách minh họa hình 3.24 Hình 3.23 Biển số cần tách Hình 3.24 Các ký tự sau tách từ biển số Đối với biển số hình vuông, cần tách đôi biển số trước tách ký biển số vng có đặc điểm có hai dịng ký tự cách biển số, 53 tách đôi biển số ta hai nửa biển số có hình dạnh biển số hình chữ nhật Hình 3.25 3.26 minh họa cho biển số vuông trước cắt đôi sau cắt đơi Hình 3.25 Biển số vng trước cắt đơi Hình 3.26 Biển số vng sau cắt đôi Chúng ta bo sát khung cho hai phần biển số vừa cắt Sau tách ký tự phần Kết sau tách hình 3.27 3.28: Hình 3.27 Tách ký tự nửa biển số vng Hình 3.28 Tách ký tự nửa biển số vuông 54 3.4.2 Nhận dạng ký tự Các mạng neural nhân tạo mơ hình thống kê hệ thống giới thực xây dựng cách điều chỉnh tập hợp tham số Những tham số gọi trọng số, mơ tả mơ hình tạo thành ánh xạ từ tập hợp giá trị gọi đầu vào cho tập hợp liên kết giá trị, kết đầu Quá trình điều chỉnh trọng số xác – huấn luyện – ký tự biển số xe qua tập liệu mẫu cho đầu vào Sau trọng số thiết lập, mơ hình đưa câu trả lời cho giá trị đầu vào Một định giải vấn đề sử dụng phương pháp mạng neural ta cần phải thu thập liệu cho mục tiêu huấn luyện Tập hợp liệu huấn luyện bao gồm số trường hợp, trường hợp chứa giá trị đầu vào đầu khác Ta cần xác định xem biến sử dụng trường hợp cần thu thập Trên biển số xe, ta thấy ký tự in hoa Nên mẫu sử dụng bao gồm chữ in hoa số từ đến Bộ mẫu sử dụng hình 3.29 3.30 sau: Hình 3.29 Các mẫu số sử dụng 55 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Hình 3.30 Các mẫu chữ sử dụng Trong toán nhận dạng cho 36 ký tự thiết lập trên, hình ảnh ký tự bị biến dạng sử dụng để q trình huấn luyện có độ nhạy cảm thông qua tác dụng không mong muốn Ta thiết kế mạng Perceptron (MultiLayer Perceptron), loại mạng truyền thẳng sử dụng rộng rãi hệ thống nhận dạng ký tự hay nhận dạng tiếng nói Q trình huấn luyện q trình học với tập mẫu (Xs, Ts), s  1, N để điều chỉnh tập trọng số liên kết Giải thuật phổ biến mạng MLP giải thuật lan truyền ngược sai số Back Propagation:[3] - Bước1: Lan truyền xuôi đầu vào Xs={x1,x2,…, xn} qua mạng: * Đầu nơron j lớp ẩn: n yj=g(  w ii xi   j ) (1) i 1 * Đầu neural k lớp ra: m m n yk=g(  y j w jk ) =g(  w jk g ( wij xi   j )   k ) j 1 j 1 i 1 - Bước 2: Lan truyền ngược sai số: (2) 56 So sánh phần tử vectơ đầu thực Ys với phần tử tương ứng vectơ đầu mẫu Ts để tính sai lệch: ek=tk - yk Tổng bình phương sai số mạng ứng với mẫu học (Xs, Ts): Es  p ( yk  tk )  k 1 P số phần tử vectơ Ys Ts Thông tin sai số lan truyền ngược qua mạng để điều chỉnh lại giá trị trọng số vòng lặp thứ l: * Với liên kết nơron ẩn nơron ra: w jk  . k (l ) y j (l ) với  hệ số học, yj tính theo cơng thức (1)  k (l )  ek (l ).g k' ( y k (l )) w jk (l  1)  w jk (l )  w jk (3) * Với liên kết nơron vào neural ẩn: wij  . j (l ).xi m  j (l )  g 'j ( y j ).  k (l ).w jk (l  1) k 1 wij (l  1)  wij (l )  wij Sau hiệu chỉnh trọng số, mẫu Xs tiếp tục đưa vào mạng lần thứ (l+1) tiếp tục thuật toán hiệu chỉnh trọng số E<  cho trước số vòng lặp đạt đến mức định trước Mẫu đưa vào mạng trình huấn luyện lặp lại mạng học thuộc tất mẫu Lưu cấu hình mạng lại để sẵn sàng đưa vào sử dụng Hàm kích hoạt sử dụng mạng Perceptron nhiều lớp hàm sigmoid lưỡng cực: g(s)= , đạo hàm  , hàm sigmoid đơn cực g(s)=  s 1 e  e  s hai hàm là: g ' ( s )  g ( s )(1  g ( s )) 57 Quá trình huấn luyện mạng: Ta thiết kế mạng MPL có lớp: lớp vào bao gồm 209 nút tương ứng với 209 phần tử vector ma trận điểm ảnh, lớp ẩn có 36 nút xác định phương pháp chọn thử nghiệm lớp có 36 nút Tỉ lệ học tỉ lệ xung chọn thử nghiệm 0,2 0,8 Q trình huấn luyện hồn thành khoảng lặp lặp lại khoảng 20000 Khi q trình huấn luyện hồn thành, mạng neural thiết kế cách sử dụng trọng số thu hình 3.31 [12] 209 bit nhị phân đầu vào cho ký tự Hình 3.31 Mơ hình thiết kế mạng neural 58 3.5 Quá trình thực toán nhận dạng Ảnh xe thu từ thiết bị thu nhận ảnh hình 3.32 Hình 3.32 Ảnh sau thu nhận từ thiết bị Ảnh sau thu lọc để giảm nhiễu hình chuyển qua mức xám phân ngưỡng hình 3.33 3.34 sau: Hình 3.33 Ảnh lọc để giảm nhiễu 59 Hình 3.34 Ảnh chuyển qua mức xám phân ngưỡng Sau tiến hành việc phân vùng lọc biển số xe hình 3.35 Hình 3.35 Phân vùng lọc biển số xe Cuối ký tự biển số tách đưa vào nhận dạng hình 3.36 Hình 3.36 Tách ký tự nhận dạng 60 Kết sau nhận dạng minh họa hình 3.37: Hình 3.37 Kết nhận dạng biển số thành công 61 3.6 Một số trường hợp không nhận dạng Bên cạnh trường hợp nhận dạng tốt cịn số trường hợp nhận dạng chưa xác biển số như: - Không tách vùng biển số chất lượng ảnh đầu vào khơng tốt mơi trường bên ngồi tác động ví dụ hình 3.38 Hình 3.38 Không nhận dạng biển số hoạt động ban đêm - Không nhận dạng biển số không tách ký tự điều kiện tác động vào biển số bùn, đất, đinh, vít đóng biển số làm cho ký tự bị che khuất… làm thơng tin hình 3.39 Hình 3.39 Ký tự biển số bị thông tin đinh ốc 62 - Tách ký tự nhận dạng khơng xác biển số biển số mờ vùng biển số bị nhiễu lớn hình 3.40 Hình 3.40 Ảnh bị nhận dạng sai vùng biển số bị nhiếu lớn Kết thu sau thực nghiệm với 100 ảnh đầu vào mô tả bảng 3.1: Bảng 3.1 Kết thực nghiệm Kết Quả Số Lượng Ảnh Tỉ Lệ Tách thành công ký tự 92 92/100 Tách không thành công 8/100 Nhận dạng xác biển số 89 89/92 Nhận dạng sai biển số 3/92 63 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn tìm hiểu kỹ thuật xử lý ảnh số nhận dạng hình ảnh tìm hiểu hệ thống nhận dạng biển số xe phương pháp mạng neural Kết nhận dạng tốt với tập ảnh đầu vào áp dụng nhiều góc khác nhau, yếu tố quan trọng hệ thống nhận dạng thực tế Một số kết mà luận văn đạt được: - Tìm hiểu kỹ thuật xử lý ảnh số nhận dạng ký tự mạng neural - Tìm hiểu hệ thống nhận dạng biển số xe - Tìm hiểu thuật toán hệ thống nhận dạng biển số - Thử nghiệm thực tế ảnh đầu vào Một số hướng phát triển đề tài: - Thử nghiệm ảnh điều kiện xe hoạt động ban đêm - Thử nghiệm thêm phương pháp nhận dạng ký tự biển số bị mờ bị nét dính bùn cũ kỹ - Nhận dạng biển số từ file Video - Xây dựng hệ thống nhận dạng hoàn chỉnh phần cứng để sử dụng thực tế 64 TÀI LIỆU THAM KHẢO TÀI LIỆU TIẾNG VIỆT: [1] Nguyễn Thanh Bình, Võ Nguyên Quốc Bảo, Xử lý âm hình ảnh, Học viện cơng nghệ bưu viễn thơng, Hà Nội, 2007 [2]Nguyễn Quang Hoan, Nhập mơn trí tuệ nhân tạo, Học viện cơng nghệ bưu viễn thơng, Hà Nội, 2007 [3] Ngô Văn Sỹ, Nhận dạng ký tự quang học mạng Neural, Tạp chí khoa học cơng nghệ, Đại học Đà Nẵng, Số 4(27), 2008 TÀI LIỆU TIẾNG NƯỚC NGOÀI: [4] Line Eikvil, Optical Character Recognitiom, December 2001 [5] Girish Kumar Jha I.A.R.I., Artificial Neural Networks And Its Applications, New Delhi – 110 012, 2007 [6] Anderson, J A., An Introduction to neural netwworks, Prentice Hall, 2003 [7] Shashank Araokar, Visual Character Recognition using Artificial Neural Networks, University of Mumbai, India, 2006 [8] Christos Stergiou, Dimitrios Siganos, Neural Networks [9] Dong Xiao Ni, Application of Neural Networks to Character Recognition, Faculty Research Day, CSIS, Pace University, May 4th, 2007 [10] Haris Al-Qodri Maarif and Sar Sardy, Plate Number Recognition by Using Artificial Neural Network, University of Al-Azhar Indonesia, Jakarta 12100, 2006 [11] Anuja P.Nagare, License Plate Character Recognition System using Neural Network, University of Mumbai, India, July 2011 [12] Cemil Oz and Rasit Koker, Vehicle Licence Plate Recognition Using Artificial Neural Networks, Sakarya University, 2005 ... neural ứng dụng mạng neural việc nhận dạng ký tự quang học Nhận dạng ký tự toán lĩnh vực nhận dạng, nhiệm vụ từ ảnh đưa vào, hệ thống phải nhận dạng ký tự Ứng dụng mạng neural nhận dạng ký tự 39... pháp nhận dạng ký tự viết tay ký tự in nhận dạng, nhiên kết nhận dạng trực tiếp phụ thuộc vào chất lượng hình ảnh thu vào Hình 1.2 minh họa số phạm vi nhận dạng ký tự: [1,4] Nhận dạng ký tự Trực... thống nhận dạng ký tự ứng dụng cách rộng rãi thành công Tuy nhiên, cịn nhiều lĩnh vực ứng 20 dụng thành cơng nhận dạng ký tự hỗ trợ cho người khiếm thị, nhận dạng biển số tự động, xác minh nhận dạng