Luận văn này tập trung vào tìm hiểu và nghiên cứu các phương pháp tiền xử lý hình ảnh, nhận dạng chữ từ hình ảnh. Để từ đó áp dụng vào nhận dạng các thông tin trên ảnh giấy chứng minh nhân dân. Cấu trúc Luận văn gồm 4 chương: Chương I: Tổng quan về xử lý ảnh. Trong chương này Luận văn nghiên cứu phần tổng quan của xử lý ảnh, và phạm vi ứng dụng của đề tài. Chương II: Một số thuật toán tiền xử lý ảnh. Chương này tập trung trình bày một số thuật toán cơ bản trong phân đoạn tiền xử lý ảnh. Chương III: Thuật toán phân tích chứng minh nhân dân. Trong chương này trình bày việc áp dụng các thuật toán tiền xử lý ảnh vào ảnh chứng minh nhân dân. Phân tích và nhận dạng thông tin trên ảnh chứng minh nhân dân. Chương IV: Cài đặt chương trình và đánh giá. Trình bày quy trình cài đặt phần mềm và kết quả thu được.
ĐỒ ÁN TỐT NGHIỆP Ứng dụng số kĩ thuật xử lý ảnh phân tích chứng minh thư nhân dân TÓM TẮT Nhận dạng xử lý ảnh lĩnh vực có nhiều ứng dụng thực tiễn như: hệ thống thông tin địa lý, y học, quân sự… Hiện nay, hầu hết thông tin cá nhân, cấp, giấy chứng nhận lưu dạng thẻ theo mẫu định Để giúp cho trình thu nhận liệu từ thẻ nhanh chóng xác, địi hỏi phải có chương trình nhận dạng xử lý hình ảnh cách xác Nhận thấy cấp thiết quan nhà nước công tác quản lý thông tin người dân ghi giấy chứng minh nhân dân Với mong muốn đóng góp phần vào cơng tác quản lý này, chúng em chọn đề tài “Ứng dụng số kĩ thuật xử lý ảnh phân tích chứng minh thư nhân dân” để thực Luận văn tập trung vào tìm hiểu nghiên cứu phương pháp tiền xử lý hình ảnh, nhận dạng chữ từ hình ảnh Để từ áp dụng vào nhận dạng thơng tin ảnh giấy chứng minh nhân dân Cấu trúc Luận văn gồm chương: Chương I: Tổng quan xử lý ảnh Trong chương Luận văn nghiên cứu phần tổng quan xử lý ảnh, phạm vi ứng dụng đề tài Chương II: Một số thuật tốn tiền xử lý ảnh Chương tập trung trình bày số thuật toán phân đoạn tiền xử lý ảnh Chương III: Thuật tốn phân tích chứng minh nhân dân Trong chương trình bày việc áp dụng thuật toán tiền xử lý ảnh vào ảnh chứng minh nhân dân Phân tích nhận dạng thông tin ảnh chứng minh nhân dân Chương IV: Cài đặt chương trình đánh giá Trình bày quy trình cài đặt phần mềm kết thu MỤC LỤC LỜI CAM ĐOAN Error! Bookmark not defined LỜI CẢM ƠN Error! Bookmark not defined TÓM TẮT .2 DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC SƠ ĐỒ, HÌNH ẢNH MỞ ĐẦU 10 CHƯƠNG I TỔNG QUAN VỀ XỬ LÝ ẢNH .12 1.1 Xử lý ảnh gì? 12 1.2 Hệ thống xử lý ảnh 12 1.3 Một số khái niệm liên quan 14 1.3.1 Phần tử ảnh 14 1.3.2 Mức xám 14 1.3.3 Ảnh 14 1.4 Một số định dạng ảnh 17 1.4.1 Ảnh BMP (Bitmap) 17 1.4.2 Ảnh JPEG (Joint Photographic Experts Group) 17 1.4.3 Ảnh GIF (Graphics Interchange Format) 17 1.4.4 Ảnh WMF (Windows Metafiles) .17 CHƯƠNG II MỘT SỐ THUẬT TOÁN TIỀN XỬ LÝ ẢNH .18 2.1 Nhị phân ảnh 18 2.2 Căn chỉnh độ nghiêng .25 2.2.1 Phương pháp dựa biến đổi Hough 26 2.2.2 2.2.4 Nhận xét 31 2.3 Các tốn tử hình thái (Morphological operations) 31 2.4 Kết chương .35 CHƯƠNG III THUẬT TỐN PHÂN TÍCH CHỨNG MINH NHÂN DÂN .36 3.1 Giới thiệu toán 36 3.2 Phân tích tách trường thơng tin .36 3.3 Tách trường thông tin mặt trước .38 3.4 Tách trường thông tin mặt sau 40 3.5 Nhận diện kí tự ảnh chứng minh nhân dân 41 CHƯƠNG IV CÀI ĐẶT CHƯƠNG TRÌNH VÀ ĐÁNH GIÁ KẾT QUẢ 44 4.1 Cài đặt chương trình 44 4.2 Kết thực nghiệm 47 KẾT LUẬN 50 KIẾN NGHỊ NHỮNG NGHIÊN CỨU TIẾP THEO .51 DANH MỤC TÀI LIỆU THAM KHẢO .52 PHỤ LỤC 54 DANH MỤC CÁC TỪ VIẾT TẮT Chứng minh nhân dân CMND DANH MỤC CÁC BẢNG Bảng 3.1 Đặc trưng cho trường thông tin mặt trước DANH MỤC CÁC SƠ ĐỒ, HÌNH ẢNH Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 10 Hình 11 Hình 12 Hình 13 Hình 14 Hình 15 Hình 16 Hình 17 Hình 18 Hình 19 Hình 20 Hình 21 Hình 22 Hình 23 Hình 24 Hình 25 Hình 26 Hình 27 Hình 28 Hình 29 Hình 30 Các giai đoạn xử lý ảnh Biểu diễn ảnh nhị phân mảng chiều Biểu diễn ảnh xám mảng chiều Ma trận biểu diễn mức xám thành phần RED Ma trận biểu diễn mức xám thành phần GREEN Ma trận biểu diễn mức xám thành phần BLUE Minh họa phương pháp Otsu Biến đổi Hough Phương pháp láng giềng gần Phương pháp chiếu nghiêng Phép giãn ảnh với phần tử cấu trúc 3x3 Phép co ảnh với phần tử cấu trúc 3x3 Phép toán opening Phép toán closing Mẫu giấy CMND Các thông tin cần tách mặt trước Nhận dạng trường số CMND Xác định vùng thông tin mặt trước Các trường thông tin cần tách mặt sau Tách trường thông tin mặt sau dựa vị trí dấu Các bước xử lý trường thơng tin q trình nhận dạng kí tự Kết nhận dạng trường thông tin mặt trước Kết nhận dạng trường thông tin mặt sau Giao diện phần mềm Giao diện đọc mặt trước giấy CMND Giao diện đọc mặt sau giấy CMND Giao diện đọc hai mặt giấy CMND Giao diện upload trực tiếp giấy CMND từ camera thiết bị Kết đọc ảnh CMND mặt trước Kết đọc ảnh CMND mặt sau MỞ ĐẦU Ngày nay, với phát triển mạnh mẽ công nghệ thông tin, đem lại ứng dụng to lớn nhiều lĩnh vực khác Công nghệ thông tin trở thành ngành công nghiệp mũi nhọn nhiều nước giới Bên cạnh đó, hình ảnh dạng liệu đóng vai trị quan trọng việc trao đổi, xử lý lưu giữ thông tin Trong việc quản lý, thu nhận xử lý thông tin với khối lượng ngày lớn, việc sử dụng phần mềm với cách nhập liệu thủ công tốn nhiều thời gian công sức, không đem lại hiệu mong muốn Thực tế, cơng dân việt nam có nhiều loại giấy tờ tùy thân (giấy phép lái xe, giấy chứng minh nhân dân, thẻ bảo hiểm,…), sử dụng nhiều lĩnh vực khác nhau: y tế, quản lý thông tin cá nhân quan nhà nước… Mặt khác, nhận thấy giấy chứng minh nhân dân loại giấy tờ quan trọng mà công dân việt nam từ 16 tuổi trở lên có sử dụng thường xuyên Giấy chứng minh nhân dân giúp quan nhà nước xác minh danh tính số vấn đề liên quan mang tính cá nhân người Giúp quan quản lý, khai thác, điều tra tội phạm cách dễ dàng Tuy nhiên, việc thu nhận thông tin hầu hết thực phương pháp thủ công dẫn tới sai sót q trình nhập liệu hiệu cơng việc chưa cao Do đó, việc xử lý thơng tin hình ảnh cần thiết, giúp cho việc thu nhận thông tin dễ dàng nhanh chóng hơn, liệu sai sót mang lại hiệu cao Đó mục tiêu đề tài phân tích xử lý thơng tin hình ảnh chứng minh nhân chúng em Để thực kiểm chứng đề tài chúng em gặp phải khơng khó khăn Chứng minh nhân dân chứa thông tin cá nhân quan trọng thường quan, tổ chức nhà nước tập trung cất giữ bảo mật để tránh bị kẻ xấu lợi dụng để thực mục đích xấu Do đó, việc thu thập liệu 10 chứng minh nhân dân việc khó khăn Và thế, việc thu thập giấy chứng minh chủ yếu thông qua ảnh chụp camera từ nhiều nguồn khác nhau, dẫn đến nguồn ảnh đầu vào không đồng kích thước, màu sắc, độ phân giải thông số kĩ thuật khác Kết bước xử lý hình ảnh đầu vào khó khăn 42 Các trường thơng tin cần tách mặt sau bao gồm: Dân tộc, Tôn giáo, Dấu vết riêng dị hình, Ngày cấp, Nơi cấp Mặt sau CMND có cấu trúc dạng bảng, trường thông tin phân bổ vào ô bảng: trường Dân tộc ô cùng, trường Ngày cấp Nơi cấp ô bên phải (Hinh 4) Do vậy, để tách trường thông tin yêu cầu cần xác định cấu trúc bảng sau tách trường thơng tin này, thuật toán gồm bước: Dùng phương pháp tia quay để xoay ảnh, dùng phương pháp tìm biên để crop ảnh Dùng thuật tốn xám hóa ảnh theo cơng thức Red – Green (nếu nhỏ gán 0) để làm bật lên vùng màu đỏ (Con dấu) Dùng thuật tốn tìm biên xác định hình chữ nhật so vị trí tương dấu để xác định khung chứa trường thơng tin (Dấu vết riêng dị hình) Hình 3.6 Tách trường thơng tin mặt sau dựa vị trí dấu Dùng phép tốn tỉ lệ để xác định trường thơng tin cịn lại: Dân tộc, Tôn giáo, Ngày cấp Nơi cấp 3.5 Nhận diện kí tự ảnh chứng minh nhân dân Sau có trường thơng tin tách ra, tiếp tục thực cơng việc nhận dạng kí tự thông qua bước sau: 43 Tiền xử lý ảnh phương pháp: khử nhiễu, tăng độ sáng, độ tương phản, lọc nền, nhị phân ảnh Hình 3.7 Các bước xử lý trường thông tin q trình nhận dạng kí tự Sau có ảnh nhị phân, tiếp tục sử dụng phương pháp nhận diện kí tự thư viện mã nguồn mở Tesseract ORC (đã huấn luyện chữ tiếng Việt) Kết thu chuỗi kí tự thơ Tiếp tục xử lý chuỗi kí tự thơ hàm kiểm tra lỗi tả (sử dụng thuật tốn tìm chuỗi tương đồng LevenshteinDistance qua từ điển) Xuất kết cuối Hình 3.8 Kết nhận dạng trường thông tin mặt trước 44 Hình 3.9 Kết nhận dạng trường thơng tin mặt sau 45 CHƯƠNG IV CÀI ĐẶT CHƯƠNG TRÌNH VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Cài đặt chương trình Chương trình viết ngơn ngữ C# môi trường Windows với thư viện Dotnetbar, Tesseract ORC, Aforge Chương trình bao gồm chức năng: - Nhận dạng trường thông tin giấy chứng minh nhân dân mặt trước, mặt sau hai mặt - Lưu lại trường thông tin đọc sau lần test để dễ dàng so sánh kiểm sốt thơng tin đọc - Có khả nhận liệu đầu vào trực tiếp camera thiết bị sử dụng Một số hình ảnh giao diện phần mềm: Hình 4.1 Giao diện phần mềm 46 Hình 4.2 Giao diện đọc mặt trước giấy CMND Hình 4.3 Giao diện đọc mặt sau giấy CMND 47 Hình 4.4 Giao diện đọc hai mặt giấy CMND 48 Hình 4.5 Giao diện upload trực tiếp giấy CMND từ camera thiết bị 4.2 Kết thực nghiệm Kết thực nghiệm cho thấy chương trình đọc xác thơng tin hai mặt giấy chứng minh nhân dân 49 Hình 4.6 Kết đọc ảnh CMND mặt trước Cần code email về: viettritue09@gmail.com 50 Hình 4.7 Kết đọc ảnh CMND mặt sau 51 KẾT LUẬN Các kết đạt Sau trình nghiên cứu cài đặt thử nghiệm Luận văn đạt số kết như: - Mặc dù nguồn cung cấp giấy chứng minh nhân dân khác nhau, dẫn đến thơng số hình ảnh khác phần mềm tiền xử lý tương đối xác ảnh, hỗ trợ cho giai đoạn đọc ảnh thuận lợi - Có thể đọc tương đối xác trường thơng tin: Số chứng minh nhân dân, họ tên, ngày sinh, nguyên quán, nơi thường trú, dân tộc, tôn giáo, đặc điểm nhận dạng, ngày cấp, nơi cấp hai mặt chứng minh nhân dân Một số hạn chế cần khắc phục Do thời gian thực ngắn, nên Luận văn nhiều điểm thiếu sót: - Đối với ảnh bị biến dạng, méo mó, có phức tạp, mờ trường thông tin dài, bị che khuất, phần mềm nhận dạng có - thể chưa xác Một số loại giấy chứng minh nhân dân làm trước năm 2007, trường thông tin chủ yến in máy đánh chữ nên khó để - nhận dạng Đối với kí tự có hình dáng tương tự nhau, phần mềm nhận dạng nhầm Ví dụ: kí tự ‘l’ số ‘1’, kí tự ‘O’ số ‘0’, số ‘1’ kí tự - ‘I’, kí tự ‘z’ số ‘2’, kí tự ‘S’ số ‘5’… Vì thời gian thực khóa luận ngắn nên phần mềm chưa tối ưu cách tốt nên thời gian thực thi chậm 52 KIẾN NGHỊ NHỮNG NGHIÊN CỨU TIẾP THEO Sau số kết đạt từ Luận văn, em xin đề xuất số cải tiến thuật toán tương lai: - Hiện tại, Luận văn dừng lại bước phân tích cấu trúc ảnh chứng minh nhân dân áp dụng thuật toán để lấy thơng tin ảnh Nhưng thuật tốn chưa tối ưu nên cịn nhiều sai sót dẫn tới việc số trường thông tin bị mờ, nhịe cho kết khơng xác Do để cải tiến phần mềm, cần thiết phải áp dụng kĩ thuật cao để dạy lại cho phần mềm trường hợp đọc - khơng xác: Mạng nơ-ron nhân tạo, thuật toán SVM… Xây dựng từ điển chuẩn để hỗ trợ cho phần nhận dạng từ cách - xác Nâng cấp phần mềm cách thêm chức nhận dạng trực tiếp - camera thay dùng ảnh có sẵn Tích hợp chức huấn luyện, áp dụng trí tuệ nhân tạo sâu - phần mềm Để hỗ trợ nhiều cho công tác quản lý sinh viên trường đại học, quản lý bệnh nhân bệnh viện… Phần mềm cần phát triển lên để linh hoạt nhận dạng loại hình ảnh khác như: thẻ sinh viên, thẻ bảo hiểm… 53 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Anh [1] W Niblack, “An Introduction to Digital Image Processing”, pp 115-116, Prentice Hall, 1986 [2] Z Zhang and C L Tan, “Restoration of images scanned from thick bound documents”, pp.1074-1077, Proc Int conf Image Processing, vol 1, 2001 [3] O‟Gorman, L.: The Document Spectrum for Page Layout Analysis IEEE Transactions on Pattern Analysis and Machine Intelligence 15 (1993), 1162-1173 [4] James R Parker 2007, “Algorithms for Image Processing and Computer Vision” 2nd ed, Wiley Publishing, 10475 Crosspoint Boulevard Indianapolis [5] Schaeffer, Jaron (June 22, 2010) "Google Drive Blog: Optical character recognition (OCR) in Google Docs" drive.googleblog.com Retrieved April 11, 2016 [6] Ray Smith (2007) "An Overview of the Tesseract OCR Engine" (PDF) Retrieved 2013-05-23 [7] Willis, Nathan (September 2006) "Google's Tesseract OCR engine is a quantum leap forward" Retrieved 2008-07-18 [8] Hjelmqvist, Sten (26 Mar 2012), Fast, “memory efficient Levenshtein algorithm” Tiếng Việt [9] Lê Đức Hiếu 2012, “Ứng dụng số kỹ thuật xử lý ảnh phân tích chứng minh thư nhân dân”, Thạc Sĩ, Công nghệ thông tin, ĐH Công nghệ 54 Website [10]http://www.aforgenet.com/articles/shape_checker/ [11] http://diendan.congdongcviet.com/threads/t67702 [12] http://www.aforgenet.com/framework/docs/ [13] http://www.stdio.vn/ [14] http://stackoverflow.com/ [15] http://vietocr.sourceforge.net/ [16] https://github.com/charlesw/tesseract [17] https://tesseract-ocr.googlecode.com/files/TesseractOSCON.pdf 55 PHỤ LỤC Một số hình ảnh kết thu sau đọc ảnh khác nhau: Cần code email về: viettritue09@gmail.com 56 ... tiền xử lý ảnh Chương tập trung trình bày số thuật toán phân đoạn tiền xử lý ảnh Chương III: Thuật tốn phân tích chứng minh nhân dân Trong chương trình bày việc áp dụng thuật toán tiền xử lý ảnh. .. tài ? ?Ứng dụng số kĩ thuật xử lý ảnh phân tích chứng minh thư nhân dân? ?? để thực Luận văn tập trung vào tìm hiểu nghiên cứu phương pháp tiền xử lý hình ảnh, nhận dạng chữ từ hình ảnh Để từ áp dụng. .. ảnh giấy chứng minh nhân dân Cấu trúc Luận văn gồm chương: Chương I: Tổng quan xử lý ảnh Trong chương Luận văn nghiên cứu phần tổng quan xử lý ảnh, phạm vi ứng dụng đề tài Chương II: Một số thuật