Nghiên cứu một số mô hình nhận dạng hình học và ứng dụng

ĐẠI HỌC QUỐC GIA TP.HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ VĂN QUANG NGHIÊN CỨU MỘT SỐ MÔ HÌNH NHẬN DẠNG HÌNH HỌC VÀ ỨNG DỤNG Chuyên ngành : Toán ứng dụng Mã số : 604636 LUẬN VĂN THẠC SĨ Tp Hồ Chí Minh, tháng 07 năm 2013 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA LUẬN VĂN THẠC SĨ NGHIÊN CỨU MỘT SỐ MƠ HÌNH NHẬN DẠNG HÌNH HỌC VÀ ỨNG DỤNG GIÁO VIÊN HƯỚNG DẪN NGÀNH TS.VŨ ĐỨC PHÚ CN BỘ MƠN QL CHUN PGS.TS NGUYỄN ĐÌNH HUY Tp Hồ Chí Minh, tháng 07 năm 2013 Lời cảm ơn Tôi xin cảm ơn thầy Vũ Đức Phú tận tình hướng dẫn giúp đỡ tơi hồn thành luận văn Qua biết ơn thầy cô mơn Tốn ứng dụng trường Đại Học Bách Khoa Thành Phố Hồ Chí Minh tận tâm truyền đạt kiến thức thời gian học qua Cảm ơn người thân bố mẹ vợ đại gia đình hổ trợ tinh thần vật chất, cảm ơn giúp đỡ bạn bè người xung quanh nhiệt tình tạo điều kiện tối đa cho tơi thực luận văn Tóm tắt luận văn Luận văn trình bày chương hướng vào hai phần : phần nhận dạng hình học phần ứng dụng xây dựng hệ thống nhận dạng biển số xe Trong chương giới thiệu phần tổng quan nhận dạng, tình hình phát triển ứng dụng giới Việt Nam qua thể lý tính thực tiễn đề tài Chương trình bày khái niệm ảnh, hệ thống xử lý ảnh, hệ thống camera, biển số xe để phục vụ cho nội dung chương 3, chương 4, chương Nội dung chương xoay quanh phương pháp chọn ngưỡng Otsu phục vụ cho trình biến đổi ảnh xám sang ảnh nhị phân, cần thiết cho ngõ vào thuật toán nhận dạng hình học ứng dụng nhận dạng, với vài ứng dụng nhỏ minh họa Chương chương tập trung vào kiến thức để nhận dạng hình học với hai vấn đề chủ yếu nhận dạng biên nhận đạng đường, có ví dụ ứng dụng minh họa Phần ứng dụng nhận dạng hình học để xây dựng hệ thống nhận dạng biển số xe hoàn chỉnh, đơn giản hiệu cao Lời cam đoan Tôi cảm đoan tự thực luận văn này, trích dẫn có ghi rõ, khơng đạo văn cơng trình khác Mục lục Giới thiệu tổng quan 1.1 Tình hình phát triển cơng nghệ nhận dạng hình ảnh Việt Nam giới 1.1.1 Nhận dạng vân tay (Fingerprint Recognition) 1.1.2 Nhận dạng tròng mắt (Iris Recognition) 1.1.3 Nhận dạng khuôn mặt (Face Recognition) 1.1.4 Nhận dạng tĩnh mạch bàn tay (Fingerprint Vein Recognition) 1.2 Nhu cầu thực tế khả phát triển nhận dạng hình ảnh 1.2.1 Nhu cầu 1.2.2 Khả phát triển 1.3 Các ví dụ thực tế nhận dạng biển số xe 1.3.1 Hệ thống nhận dạng biển số xe tự động (ANPR) 1.3.2 Một số ví dụ Việt Nam 1.4 Khả mở rộng điều kiện ứng dụng khác Kiến thức tổng quát xử lý ảnh 2.1 Kiến thức ảnh xử lý ảnh số 2.1.1 Hệ thống xử lý ảnh số 2.1.2 Khái niệm ảnh số 2.1.3 Khái niệm xử lý ảnh số 2.1.4 Xử lý ảnh số phần mềm MATLAB 2.2 Hệ thống camera quan sát 2.2.1 Các thành phần hệ thống camera quan 2.2.2 Nguyên lý hoạt động 2.3 Hệ thống nhận dạng biển số xe 2.3.1 Các loại biển số xe Việt Nam iv sát 1 10 12 12 12 13 15 17 20 20 22 22 22 2.3.2 Sơ đồ khối nguyên lý hoạt động hệ thống nhận dạng biển số xe 25 Các thuật toán xử lý ảnh ứng dụng 3.1 Các thuật toán xử lý ảnh nhị phân 3.1.1 Thuật toán ảnh nhị phân 3.2 Một số thuật toán đơn giản 3.2.1 Thuật toán tách đối tượng lồng 3.2.2 Thuật toán gióng thẳng ký tự 3.3 Ứng dụng hàng Nhận dạng hình học 4.1 Nhận dạng đường biên 4.1.1 Khái niệm đường biên phương pháp đường biên 4.1.2 Phương pháp gián tiếp 4.1.3 Phương pháp Canny 4.2 Nhận dạng khung 4.3 Ứng dụng Nhận dạng biển số xe 5.1 Chuyển thành ảnh xám 5.2 Cắt vùng biển số 5.3 Tiến hành lọc nhiễu 5.4 Chuyển sang ảnh đen trắng 5.5 Tách ký tự 5.6 Nhận dạng ký tự 5.6.1 Cơ sở toán học thuật toán 5.6.2 Kết thực đánh giá 5.7 Kết Kết luận TÀI LIỆU THAM KHẢO v 27 27 27 31 31 32 33 36 36 nhận dạng 36 37 42 44 49 52 52 53 54 54 55 55 55 57 59 62 63 Chương Giới thiệu tổng quan 1.1 Tình hình phát triển cơng nghệ nhận dạng hình ảnh Việt Nam giới Cơng nghệ nhận dạng hình ảnh có lịch sử lâu dài đặc biệt vào năm 70 kỷ trước với phát triển máy tính điện tử công nghệ cảm biến ảnh Tập trung chủ yếu vào cơng nghệ sau: Hình 1.1 - Các lĩnh vực nhận dạng 1.1.1 Nhận dạng vân tay (Fingerprint Recognition) • Dựa vào khác đặc trưng vân tay người • Nguyên lý hoạt động thuật tốn Hình 1.2 - Quy trình nhận dạng vân tay • Đánh giá Các nhà khoa học tìm thấy thành viên gia đình thường chia sẻ mơ hình dấu vân tay chung, dẫn đến niềm tin mơ hình thừa hưởng • Tình hình phát triển ứng dụng Nhận dạng vân tay công nghệ ứng dụng rộng rãi từ lâu giới – Quản lý công dân – Quản lý truy cập – Quản lý nhân viên – 1.1.2 Nhận dạng tròng mắt (Iris Recognition) • Sau nhận dạng vân tay nhân dạng tròng mắt phát triển lâu Với ý nghĩa sinh trắc học tương tự, kỹ thuật thực khác nhau, nhận diện vân tay so khớp mẫu, nhận dạng trịng mắt mã hóa • Ngun lý hoạt động thuật tốn Hình 1.3 - Quy trình nhận dạng trịng mắt • Đánh giá + Ưu điểm: – Tròng đen mắt quan nội tạng bảo vệ tốt chống lại thiệt hại – Mống mắt có kết cấu tốt mà giống dấu vân tay, khác biệt người lớn + Thiếu sót: – Dễ bị lừa hình ảnh mống mắt giả – Các máy quét khó để điều chỉnh cho nhiều người độ cao khác – Máy quét mống mắt có nhiều tốn so với số hình thức sinh trắc học, mật khác – Như với công nghệ sinh trắc học hình ảnh khác, nhận dạng mống mắt dễ bị chất lượng hình ảnh làm xác – Tiêu thụ rượu gây suy thối công nhận nguyên nhân làm giãn, co thắt gây biến dạng mống mắt mẫu • Tình hình phát triển ứng dụng – Vương Quốc Ả Rập Thống Nhất (UAE) dùng hệ thống nhận dạng tròng mắt để quản lý thị thực – Ấn Độ có dự án nhận dạng mống mắt cho sở liệu tỷ người dân – Nhận dạng tròng mắt ba công nghệ nhận dạng sinh trắc học tiêu chuẩn quốc tế ICAO để sử dụng hộ chiếu tương lai (hai công nghệ khác dấu vân tay nhận dạng khuôn mặt) plot(xy_long(:,1),xy_long(:,2),’LineWidth’,2,’Color’,’blue’); Hình 4.15 - Biến đổi Hough ảnh Hình 4.16 - Các đường thẳng dò 4.3 Ứng dụng Nhận dạng hình học : Cho hình H, gọi • a : khoảng cách lớn từ tâm đến biên • b : khoảng cách nhỏ từ tâm đến biên • Sk : diện tích vùng nhận dạng • d : độ lệch a b Hình 4.17 - Thơng số a, b hình Với Với Với Với hình hình hình hình chữ nhật tính diện tích S = 4b (a2 − b2 ) vng tính diện tích S = √ 4b2 (a −b ) thoi tính diện tích S = 2a2 b √ tam giác tính diện tích S = (a+b)3 49 Với hình elip tính diện tích S = abΠ Xét hệ số sau : Sk 4b2 Sk • Kelip = abΠ Sk • Kthoi = √ • Khv = (a −b2 ) 2a2 b • Ktgdeu = • Khcn = Sk √ (a+b)2 3 Sk 4b (a2 − b2 ) Tùy theo giá trị hệ số ta nhận dạng hình vẽ: - Nếu 0.95 < Khv < 1.05 : kết luận hình vng - Nếu 0.95 < Kelip < 1.05: kết luận hình elip - Nếu 0.95 < Kthoi < 1.05: kết luận hình thoi - Nếu 0.95 < Ktgdeu < 1.05: kết luận tam giác - Nếu 0.95 < Khcn < 1.05: kết luận hình chữ nhật Thuật tốn : • Dị biên đối tượng • Xác định tọa độ tâm đối tượng • Xác định khoảng cách từ điểm biên tới tâm • Xác định diện tích bao phủ • Tính hệ số hình • Kết luận 50 Kết : Hình 4.18 - Các hình nhận dạng Giải pháp đề xuất khác : Dùng biến đổi Hough để tính phương trình đường thẳng, dựa vào tham số vecto pháp tuyến để tìm số góc : • Ba góc : tam giác • Bốn góc tứ giác • Bốn góc vng hình chữ nhật • Hình trịn nhận dạng sử dụng biến đổi Hough để tìm đường trịn 51 Chương Nhận dạng biển số xe Quy trình nhận dạng biển số xe : Hình 5.1 - Quy trình nhận dạng biển số Ở bước sử dụng thuật toán giới thiệu chương trước : • Thuật toán chuyển ảnh màu ảnh xám • Thuật tốn chuyển ảnh xám thành ảnh nhị phân • Thuật tốn hình học ảnh (co giãn, quay, ) • Thuật tốn nhận dạng biên • Thuật tốn tìm đường thẳng Hough • Thuật tốn tách đối tượng Việc lựa chọn phương pháp có kết tốt cịn dựa vào thực tế thực nghiệm 5.1 Chuyển thành ảnh xám Những thuật toán cho việc cắt biển số, tách ký tự bước sau có ngõ vào ảnh xám, ảnh nhị phân Kết : 52 Hình 5.2 - Ảnh ban đầu 5.2 Hình 5.3 - Ảnh xám Cắt vùng biển số • Cơ sở thuật tốn: biển số tứ giác gần với hình bình hành, hình chữ nhật có kích thước lớn ảnh chứa biển sơ • Thực : – Dị biên với phương pháp Canny – Tìm đường thẳng sử dụng biến đổi Hough – Cắt tứ giác có diện tích lớn • Kết : Hình 5.4 - Ảnh xám ban đầu Hình 5.5 - Ảnh biên 53 Hình 5.6 - Đường thẳng Hough Hình 5.7 - Ảnh vùng biển số cắt xoay Một số trường hợp góc nhìn camera, vị trí biển số bị lệch nên hình dạng biển số thu khơng phải hình chữ nhật chuẩn, gây khó khăn cho việc tách nhận dạng ký tự Do sau cắt biển số ta thực thêm bước chỉnh biển số để thành hình chữ nhật chuẩn 5.3 Tiến hành lọc nhiễu • Kết : Hình 5.8 - Biển số ban đầu 5.4 Hình 5.9 - Biển số lọc nhiễu Chuyển sang ảnh đen trắng • Thuật tốn sử dụng : phân ngưỡng theo thực nghiệm • Kết : 54 Hình 5.10 - Biển số xám ban đầu Hình 5.11 - Biển số nhị phân 5.5 Tách ký tự • Thuật toán sử dụng : phương pháp toán tách đối tượng chương trước • Kết : Hình 5.12 - Các ký tự tách 5.6 5.6.1 Nhận dạng ký tự Cơ sở toán học thuật toán Căn việc nhận dạng ký tự nhận dạng đối tượng dựa vào hai hướng : • Tìm thuộc tính đặc trưng đối tượng để kết luận • So sánh với đối tượng mẫu để tìm giống Trong việc nhận dạng ký tự hướng thứ không hiệu quả, luận văn theo hướng thứ hai So sánh ký tự thu với ký tự mẫu so sánh hai ma trận hai ký tự Trong việc so sánh có hai phương pháp thường dùng: • Phương pháp so sánh trực tiếp hai ma trận ký tự : – Ưu điểm : Đơn giản, dễ cài đặt Tốc độ tính toán nhanh số trường hợp 55 – Nhược điểm : Độ xác khơng cao • Phương pháp dùng mạng Neural : so sánh với nhiều tập mẫu – Ưu điểm : Độ xác tốt – Nhược điểm : Lý thuyết cài đặt phức tạp Trong việc nhận dạng biển số, sau tinh chỉnh tách ký tự biển số việc so sánh hai ma trận cho kết xác cao Kết hợp với ưu điểm phương pháp so sánh trực tiếp hai ma trận ta có phương pháp đơn giản hiệu tốt Thuật toán so sánh hai ma trận : • Tính hệ số đo khác biệt kA • Xác định giá trị ngưỡng TA • Kết luận: – Nếu kA ≥ TA : kết luận hai ma trận giống – Nếu kA < TA : kết luận hai ma trận không giống Giá trị TA tính dựa vào thực nghiệm nhiều mẫu Trong số trường hợp có nhiều giá trị ngưỡng tương ứng với mức ý nghĩa Chẳng hạn trường hợp hai mức ngưỡng TAl TAh • Nếu kA ≥ TAh : kết luận hai ma trận giống • Nếu TAl ≤ kA < TAh : kết luận hai ma trận giống với mức α% • Nếu kA < TAl : kết luận hai ma trận không giống Giá trị kA có cách tính sau : • Cách đơn giản : so sánh phần tử Gọi AR ma trận ký tự thu Gọi AT ma trận ký tự mẫu Gọi Ak = AR − AT Lúc đó: kA xác định kA = Ak Đánh giá : – Đơn giản – Không thực hai ma trận so sánh có kích cỡ khác Nếu chuẩn hóa kích thước độ xác giảm 56 • Cách tính dựa vào hệ số tương quan hai ma trận (matrix correlation) kA = r : r= m m ¯ mn − B) ¯ − A)(B ¯2 ¯ n (Amn − A) (Bmn − B) n (Amn Với A¯ = mean(A), B¯ = mean(B).khi A, B vecto dãy chiều Hay A¯ = mean(A, :), B¯ = mean(B, :).khi A, B ma trận chiều Đánh giá : Đây cách lựa chọn luận văn – Đơn giản, độ xác cao – Thực hai ma trận so sánh có kích cỡ khác cách chuẩn hóa kích thước, hệ số r khơng thay đổi sau thay đổi kích thước Thuật toán nhận dạng ký tự : – Lưu tập ký tự mẫu Ci – Với ký tự thu được, tính hệ số kAi với tất ký tự Ci tập mẫu – Tính giá trị lớn KA hệ số kA – So sánh với ngưỡng cao TAh ngưỡng thấp TAl để kết luận, ký tự thu ký tự CK với mức chấp nhận tương ứng 5.6.2 Kết thực đánh giá • Thực : Với ngưỡng chọn : ngưỡng cao TAh = 0.7 ngưỡng thấp TAl = 0.4 – Với số : Hệ số tương quan với mẫu cao : r = 0.7069 • Đánh giá : Với phương pháp tính hệ số tương quan hai ma trận ảnh ký tự, với phơng chữ tương đồng độ xác tương đối cao Ngay áp dụng nhiều phông chữ khác biệt, hay ký tự thu có biến dạng lớn Với phơng Time New Roman : 57 Hình 5.13 - Phơng Time New Roman Với phông tạo từ ký tự biển số thực tế : Hình 5.14 - Phơng biển số Với phơng Book Antiqua : Hình 5.15 - Phơng Book Antiqua 58 5.7 Kết • Với tất ký tự nhận dạng có mức chấp nhận 100 % kết dễ dàng kết luận • Với mức chấp nhỏ thấp hơn, ta phải quay lại bước lọc nhiễu để lựa chọn lọc tối ưu hơn, sử dụng thêm số thuật toán tách đối tượng bị che hay lồng Giải pháp cuối can thiệp thủ công Hình 5.16 - Biển số xấu Một số kết thực nhận dạng : Hình 5.17 - Biển số 506-Z9479-NN Ký tự thu 59 Hình 5.18 - Biển số Hình 5.19 - Biển số Hình 5.20 - Biển số Hình 5.21 - Biển số tự tạo 29-X89283 Ký tự thu 50Z8428 Ký tự thu 49-N92222 Ký tự thu 50-V12012 Ký tự thu 60 Hình 5.22 - Biển số tự tạo Hình 5.23 - Văn chữ số Kết thực nghiệm : 50-S84582 Ký tự thu HOMNAYTROIMUATOQUA12239819400092 Ký tự thu Số biển số Sai ký tự Sai ký tự Đúng hoàn toàn 100 11 81 11% 6% 81% Bảng 4.1 - Kết kiểm tra thực tế 61 Kết luận Luận văn liên kết từ sở lý thuyết nhận dạng hình học sang việc ứng dụng nhận dạng biển số xe Trong phần lý thuyết, luận văn trình bày thêm cách chọn ngưỡng đơn giản, hiệu dựa vào kết thực nghiệm điều kiện sáng Ở phần nhận dạng biên cách xấp xỉ đạo cấp hai dựa phương pháp sai phân đề nghị Ở phần ứng dụng việc lựa chọn phương pháp so khớp nhận dạng ký tự dùng hệ số tương quan (matrix corelation) hai ma trận cách làm đơn giản, tốn học có kết tốt Việc hoàn chỉnh ứng dụng nhận dạng biển số với sở lý thuyết nghiêng toán học rõ ràng thể tính ứng dụng tốn học Trong số trường hợp kết nhận dạng chưa xác, điều cải thiện cách sử dụng thêm số thuật toán khác, hướng mà luận văn phát triển thêm, để đưa hệ thống nhận dạng biển số xe ứng dụng cho thực tế thương mại Một hướng phát triển luận văn mở rộng sang ứng dụng nhận dạng khác nhận dạng biển báo, nhận dạng mã số, nhận dạng đối tượng mang thơng tin khác, có hình dạng khác, có nói qua phần tổng quan Tài liệu tham khảo [1] Huang, Sheng, Chenqiang Gao, Shang Meng, Qiang Li, Changchuan Chen, and Chenyang Zhang "Circular road sign detection and recognition based on hough transform " In Image and Signal Processing (CISP), 2012 5th International Congress on,pp 1214-1218 IEEE, 2012 [2] Herout, Adam, Markéta Dubská, and Jirí Havel "Review of Hough Transform for Line Detection ." In Real-Time Detection of Lines and Grids, pp 3-16 Springer London, 2013 [3] Si, C H E N "The License Plate Image Binarization Based on Otsu Algorithm and Its MATLAB Realization ." Journal of Changchun Normal University (2012): 011 [4] Mallick, Rajendra Nath "Implementation of Canny Edge Detection Algorithm." PhD diss., 2012 [5] Bansal, Bindu, Jasbir Singh Saini, Vipan Bansal, and Gurjit Kaur "Comparison Of Various Edge Detection Techniques." Journal of Information and Operations Management 3, no (2012): 103-106 [6] Joshi, Shashidhar Ram, and Roshan Koju "Study and comparison of edge detection algorithms." In Internet (AH-ICI), 2012 Third Asian Himalayas International Conference on, pp 1-5 IEEE, 2012 63 ... vào thuật toán nhận dạng hình học ứng dụng nhận dạng, với vài ứng dụng nhỏ minh họa Chương chương tập trung vào kiến thức để nhận dạng hình học với hai vấn đề chủ yếu nhận dạng biên nhận đạng đường,... chương hướng vào hai phần : phần nhận dạng hình học phần ứng dụng xây dựng hệ thống nhận dạng biển số xe Trong chương giới thiệu phần tổng quan nhận dạng, tình hình phát triển ứng dụng giới Việt...ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA LUẬN VĂN THẠC SĨ NGHIÊN CỨU MỘT SỐ MƠ HÌNH NHẬN DẠNG HÌNH HỌC VÀ ỨNG DỤNG GIÁO VIÊN HƯỚNG DẪN NGÀNH TS.VŨ