(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân

(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân(Luận văn thạc sĩ) Hệ thống trích xuất tự động thông tin từ ảnh căn cước công dân

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC THÀNH PHỐ HỒ CHÍ MINH NGUYỄN XN DƯƠNG HỆ THỐNG TRÍCH XUẤT TỰ ĐỘNG THƠNG TIN TỪ ẢNH CĂN CƯỚC CÔNG DÂN LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN MÃ SỐ: 60480201 TP HỒ CHÍ MINH THÁNG NĂM 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC THÀNH PHỐ HỒ CHÍ MINH NGUYỄN XUÂN DƯƠNG HỆ THỐNG TRÍCH XUẤT TỰ ĐỘNG THƠNG TIN TỪ ẢNH CĂN CƯỚC CÔNG DÂN LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN MÃ SỐ: 60480201 HƯỚNG DẪN KHOA HỌC: PGS TS PHẠM THẾ BẢO TP HỒ CHÍ MINH THÁNG NĂM 2019 LỜI CAM ĐOAN Tôi Nguyễn Xuân Dương tác giả luận văn “Hệ thống trích xuất tự động thông tin từ ảnh cước công dân” Tôi xin cam đoan cơng trình nghiên cứu riêng tôi, hướng dẫn nghiên cứu khoa học PGS TS Phạm Thế Bảo Các thông tin sử dụng luận văn, trích dẫn tơi có ghi đầy đủ, rõ ràng tài liệu tham khảo Các số liệu, kết thực nghiệm nêu luận văn trung thực chưa công bố thời gian gần Học viên bảo vệ thành công luận văn ngày 04 /06/2019, Hội đồng đánh giá luận văn thạc sĩ thành lập theo Quyết định số 116 /QĐ-ĐNT ngày 29/05/2019 Hiệu trưởng Trường ĐH Ngoại ngữ-Tin học TP HCM, với tham gia của: Chủ tịch hội đồng: PGS.TS Trần Văn Lăng Phản biện 1: TS Nguyễn Đức Cường Phản biện 2: PGS.TS Nguyễn Thanh Bình Có thể tìm hiểu Luận văn Thư viện Trường ĐH Ngoại ngữ-Tin học TP HCM, cổng thông tin điện tử, website đơn vị quản lý sau đại học Trường Tơi xin hồn toàn chịu trách nhiệm với cam kết Tác giả luận văn Nguyễn Xuân Dương LỜI CẢM ƠN Trước tiên tơi xin tỏ lịng tri ân, gởi lời cảm ơn sâu sắc đến PGS TS Phạm Thế Bảo tận tình hướng dẫn, giúp đỡ tơi suốt thời gian học tập, nghiên cứu tài liệu, hướng dẫn thực nghiệm để tơi hồn thành cơng trình nghiên cứu Tơi xin cảm ơn thầy cô giáo Khoa Công Nghệ Thông Tin, ban sau đại học trường Đại học Ngoại Ngữ Tin học TP Hồ Chí Minh trang bị cho tơi kiến thức cần thiết bổ ích, tạo điều kiện giúp đỡ, hướng dẫn trong thời gian học tập, nghiên cứu làm luận văn tốt nghiệp Do thời gian có hạn kiến thức cịn hạn chế nên luận văn khơng tránh khỏi sai sót, tơi mong nhận đóng góp bổ sung quý thầy cô giáo bạn để cơng trình nghiên cứu tơi sớm ứng dụng vào thực tế Cuối xin chân thành cảm ơn tất bạn đồng nghiệp đóng góp ý kiến hỗ trợ tơi q trình thực thành luận văn TP Hồ Chí Minh, tháng năm 2019 Nguyễn Xuân Dương DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Anh ngữ Việt ngữ CCCD Căn cước công dân CMND Chứng minh nhân dân ĐĐ Đặc điểm UBND Ủy ban nhân dân ANN Artificial Neural Network Mạng nơron nhân tạo ML Machine Learning Học máy AI Artificial Intelligence Trí tuệ nhân tạo RRN Recurrent Neural Network Mạng nơron tái phát DL Deep Learning Máy học chuyên sâu DNN Deep Neural Network Mạng Nơ ron chuyên sâu OCR Optical Character Recognition Nhận dạng ký tự MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp RGB Red Green Blue Mơ hình màu đỏ xanh lục NTSC National Teltevision System Hệ tiêu chuẩn video tương tự Committee DANH MỤC CÁC HÌNH ẢNH VÀ BẢNG BIỂU Hình 1.1 Mẫu “Căn cước công dân” 17 Hình 2.1 So sánh miền tầng số trước sau lọc băng thông thấp 25 Hình 2.2 Tầng số trước sau sử dụng lọc băng thông cao 26 Hình 2.3 Mơ hình mạng nơron 36 Hình 2.4 Đơn vị xử lý 37 Hình 2.5 Hàm đồng 38 Hình 2.6 Hàm bước nhị phân 39 Hình 2.7 Hàm Sigmoid 39 Hình 2.8 Hàm simoid lưỡng cực 40 Hình 2.9 Mạng nơron truyền thẳng nhiều lớp 41 Hình 2.10 Mạng nơron hồi quy nhiều lớp 42 Hình 2.11 Học có giám sát 43 Hình 2.12 Mạng nơron MPL tổng quát 47 Hình 3.1 Tiền xử lý ảnh mặt trước CCCD 50 Hình 3.2 Vùng thông tin cần tách mặt trước CCCD 53 Hình 3.3 Xác định vị trí thơng tin mặt trước thẻ CCCD 56 Hình 3.4 Các vùng thơng tin cần tách mặt sau 61 Hình 3.5 Tiền xử lý mặt sau CCCD 62 Hình 3.6 Xác định vùng thông tin mặt sau 63 Hình 3.7 Quá trình tách ký tự 66 Hình 3.8 Q trình tìm giới hạn kí tự 67 Hình 3.9 Q trình chia lưới kí tự 67 Hình 3.10 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị 68 Hình 4.1 Ảnh mặt trước CCCD bị nhòe 71 Hình 4.2 Ảnh mặt sau CCCD bị nhịe 72 Hình 4.3 Giao diện chương trình thực nghiệm 74 Hình 4.4 Trường hợp tách bị lỗi 78 Hình 4.5 Thẻ mặt sau CCCD chụp khơng chuẩn 79 Sơ đồ 1.1 Sơ đồ xử lý hệ thống xử lý 22 Bảng 3.1 Đặc trưng trường thông tin mặt trước CCCD 61 Bảng 4.1 Cấu hình máy tính 73 Bảng 4.2 Kết trích vùng ảnh CCCD 75 Bảng 4.3 Kết thực nghiệm tập liệu A1 76 Bảng 4.4 Kết thực nghiệm tập liệu A2 77 DANH MỤC CÁC THUẬT TỐN Thuật tốn 2.1 Lọc băng thông thấp Gauss 24 Thuật tốn 2.2 Lọc băng thơng cao Gauss 26 Thuật toán 2.3 Xoay ảnh 28 Thuật tốn 2.4 Xác định góc nghiêng dựa vào biến đổi Hough 29 Thuật tốn 2.5 Nhị phân hóa ảnh 30 Thuật toán 2.6 Phương pháp phân ngưỡng Niblack 32 Thuật toán 2.7 Phương pháp phân ngưỡng Otsu 33 Thuật tốn 2.8 Học có giám sát 44 Thuật toán 2.9 Thuận toán lan truyền ngược 45 Thuật toán 2.10 Xây dựng mạng nơ ron 47 Thuật tốn 3.1 Nhị phân hóa ảnh CCCD 50 Thuật toán 3.2 Hiệu chỉnh độ nghiêng ảnh tài liệu 51 Thuật toán 3.3 Phân đoạn vùng Số CCCD 54 Thuật tốn 3.4 Xác định vùng Trường Số CCCD 54 Thuật toán 3.5 Tìm tách trường Số CCCD 55 Thuật toán 3.6 Tách trường thông tin mặt trước thẻ CCCD 57 Thuật tốn 3.7 Tách ký tự thuộc dịng 58 Thuật toán 3.8 Xoá phần tiêu đề 60 Thuật tốn 3.9 Tách thơng tin mặt sau 64 Thuật tốn 3.10 Tách dịng: 65 Thuật toán 3.11 Tách kí tự: 65 Thuật tốn 3.12 Tìm giới hạn kí tự 66 Thuật toán 3.13 Ánh xạ vào ma trận 67 Thuật toán 3.14 Chuyển ma trận điểm ảnh sang ma trận giá trị 68 Thuật toán 3.15 Huấn luyện mạng nơ ron 68 Thuật tốn 3.16 Nhận dạng ảnh kí tự 69 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH ẢNH VÀ BẢNG BIỂU DANH MỤC CÁC THUẬT TOÁN MỤC LỤC GIỚI THIỆU TỔNG QUAN 12 1.1 Lý chọn đề tài 12 1.2 Mục đích nghiên cứu luận văn 13 1.2.1 Về khoa học 13 1.2.2 Về thực tiễn 13 1.3 Các phương pháp nghiên cứu 13 1.3.1 Phương pháp nghiên cứu lý thuyết 13 1.3.2 Phương pháp nghiên cứu thực nghiệm 14 1.3.3 Đề tài nhằm thực mục tiêu sau 14 1.3.4 Đối tượng luận văn 14 CHƯƠNG I: GIỚI THIỆU TỔNG QUAN BÀI TỐN TRÍCH XUẤT THƠNG TIN TỰ ĐỘNG TỪ ẢNH THẺ CĂN CƯỚC CÔNG DÂN 16 1.1 Giới thiệu thẻ cước công dân 16 1.2 Bài tốn trích xuất thông tin tự động từ thẻ CCCD 18 1.3 Các hướng tiếp cận 18 1.4 Các khó khăn thách thức 19 1.5 Đề xuất hướng giải toán 20 1.5.1 Tiền xử lý ảnh 21 1.5.2 Phân đoạn tách vùng liệu 21 1.5.3 Nhận dạng ký tự xuất thông tin vùng liệu 21 1.5.4 Phương pháp thực 21 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 22 2.1 Tiền xử lý 23 2.1.1 Bộ lọc thông thấp 23 2.1.2 Lọc băng thông cao 25 2.1.3 Bộ lọc High boost 27 2.2 Hiệu chỉnh độ nghiêng văn 27 2.2.1 Xác định góc nghiêng dựa biến đổi Hough 28 2.3 Nhị phân hóa ảnh 29 2.3.1 Phân loại phương pháp xác định ngưỡng T 31 2.3.2 Phương pháp xác định ngưỡng T theo Niblack 32 2.3.3 Phương pháp Otsu 33 2.3.4 Nhận xét 35 2.4 Tổng quan mạng nơron 35 2.4.1 Mạng nơron nhân tạo 35 2.4.2 Các đặc trưng mạng nơron 35 2.4.3 Các thành phần mạng nơron nhân tạo 36 2.4.4 Các cấu trúc mạng nơ ron 40 2.4.5 Mạng hồi quy 41 2.4.6 Huấn luyện mạng Nơron 42 2.4.7 Các phương pháp học 42 2.4.8 Mạng truyền thẳng 46 2.4.9 Kết luận chương 48 CHƯƠNG 3: XÂY DỰNG THUẬT TỐN PHÂN TÍCH 49 THẺ CĂN CƯỚC CÔNG DÂN 49 3.1 Tiền xử lý 49 3.1.1 Chuyển ảnh màu ảnh đa cấp xám 49 3.1.2 Làm trơn ảnh 50 3.1.3 Nhị phân hóa ảnh 50 10 Thuật toán 3.14 Chuyển ma trận điểm ảnh sang ma trận giá trị Bước 1: Bắt đầu từ phần tử (0,0) Bước 2: Tăng x giữ nguyên giá trị y chiều rộng ma trận − Ánh xạ phần tử tới phần tử mảng tuyến tính + Nếu điểm đen nhận giá trị + Ngược lại nhận giá trị − Nếu x = chiều rộng khởi động lại x tăng y Lặp lại (x,y)=( C_Rong, C_Cao) Hình 3.10 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị Sau chuyển ma trận điểm ảnh sang ma trận giá trị chúng tơi đề xuất thuật tốn 3.15 để huấn luyện mạng nơ ron Thuật toán 3.15 Huấn luyện mạng nơ ron Bước 1: Xây dựng mạng tương ứng với mơ hình tham số Bước 2: Khởi tạo giá trị trọng số với giá trị ngẫu nhiên Nạp file huấn luyện (cả ảnh đầu vào ảnh đầu mong muốn) Bước 3: Phân tích ảnh ánh xạ tất kí tự tìm thấy vào mảng chiều Bước 4: Đọc giá trị đầu mong muốn từ file chuyển đổi kí tự tới giá trị nhị phân Unicode lưu trữ riêng biệt Bước 5: Với kí tự: − Tính tốn giá trị đầu mạng Feed ForWard − So sánh với giá trị đầu mong muốn tương ứng với kí tự tính tốn lỗi − Truyền ngược giá trị từ đầu với liên kết điều chỉnh trọng số liên kết Bước 6: Chuyển sang kí tự lặp lại “6” hết kí tự 68 Bước 7: Tính tốn trung bình lỗi cho tất kí tự Bước 8: Lặp lại từ bước đến đạt số đưa vào số lần lặp tối đa − Với phạm vi lỗi đạt đến ngưỡng Nếu bỏ lặp lại − Ngược lại tiếp tục lặp lại Sau huấn luyên mạng nơ ron chúng tơi đề xuất thuật tốn 3.16 để nhận dạng ảnh ký tự Thuật tốn 3.16 Nhận dạng ảnh kí tự Bước 1: Nạp file ảnh Bước 2: Phân tích ảnh cho dịng kí tự Bước 3: Với dịng tách kí tự liên tiếp − Phân tích xử lý ảnh kí tự cho việc ánh xạ vào vectơ đầu vào − Đưa giá trị vector đầu vào cho mạng nơ ron tính tốn giá trị đầu − Chuyển đổi mã Unicode đầu từ nhị phân tới kí tự tương ứng trả dạng textbox vi lỗi đạt đến ngưỡng Hậu xử lý liệu Giai đoạn làm nhiệm vụ chuyển đổi giá trị Unicode sang dạng ký tự tương ứng Đây giai đoạn sau cùng, giai đoạn làm nhiệm vụ chuyển đổi giá trị sang dạng ký tự tương ứng xếp lại ký tự dạng văn theo dạng văn ban đầu 3.4 Kết luận chương Chương mô tả chi tiết phương pháp phân tích ảnh CCCD để tách trường thông tin yêu cầu Đối với mặt trước dựa vào việc tìm trường Số CCCD chứa số mầu đỏ, cịn mặt sau dựa vào phân tích cấu trúc bảng Sau tiền xử lý liệu đưa hệ thống mạng nơron huấn luyện tìm ký tự trích xuất thơng tin Trong chương mơ tả trình cài đặt đánh giá kết thực nghiệm giải pháp đưa tập ảnh CCCD thu thập 69 CHƯƠNG IV: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN Trong chương mô tả cách chi tiết trình cài đặt thử nghiệm thuật toán, đánh giá kết đạt liệu khác Dựa nội dung chi tiết quy trình phương pháp, thuật tốn trình bày chương 1,2 chương tiến hành xây dựng, cài đặt chương trình thử nghiệm Sau thử nghiệm đưa nhận xét, so sánh đánh giá kết nhận dạng ký tự rút trích thơng tin từ động từ thẻ CCCD 4.1 Xây dựng liệu Chúng tơi xây dựng tập liệu A có 100 ảnh CCCD chụp quét hai mặt trước sau với độ phân giải 1024 dpi, kiểu ảnh màu Các mẫu CCCD lấy từ nhiều tỉnh thành khác nhau.Trong tập liệu 100 ảnh CCCD gồm có 29 ảnh thẻ CCCD nữ, 71 ảnh thẻ CCCD nam, số ảnh thẻ CCCD chụp từ máy chụp ảnh 15 ảnh, số ảnh thẻ CCCD chụp từ điện thoại di động 20 ảnh, số ảnh thẻ CCCD quét từ máy quét 65 ảnh Trong tập liệu A gồm có 100 ảnh thẻ CCCD chia thành hai tâp liệu nhỏ tập gồm có tập A1 74 ảnh chuẩn, chụp, quét kích thước, liệu ảnh đầy đủ Tập A2 gồm có 26 ảnh ảnh chụp, qt khơng chuẩn, khơng kích thước, bị lem mực, màu sắc, bị mờ vv Trong tập liệu A1 (74 ảnh) chúng tơi chia gồm có 10 ảnh chụp máy ảnh, 15 ảnh chụp diện thoại di động, 49 ảnh quét máy Trong tập A1 tiếp tục phân làm hai tập liệu nhỏ tập liệu ảnh CCCD nam 50 ảnh tập liệu ảnh CCCD nữ 24 ảnh Trong 50 ảnh CCCD nam gồm có 10 ảnh chụp máy ảnh, 15 ảnh chụp diện thoại di động, 20 ảnh quét máy, 24 ảnh nữ có có ảnh chụp máy ảnh, ảnh chụp diện thoại di động, 15 ảnh quét máy Trong tập liệu A2 (26 ảnh) tiếp tục phân làm hai tập liệu nhỏ tập liệu ảnh CCCD nam 21 ảnh tập liệu ảnh CCCD nữ ... trường thông tin CCCD để điền vào biểu mẫu định dạng trước Do tơi xin đề xuất đề tài: ? ?Hệ thống trích xuất tự động thông tin từ ảnh cước công dân? ?? Hệ thống xây dựng có chức tự động trích xuất thơng... TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC THÀNH PHỐ HỒ CHÍ MINH NGUYỄN XN DƯƠNG HỆ THỐNG TRÍCH XUẤT TỰ ĐỘNG THƠNG TIN TỪ ẢNH CĂN CƯỚC CÔNG DÂN LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN MÃ SỐ: 60480201 HƯỚNG... quan tốn trích xuất thơng tin tự động từ ảnh thẻ cước công dân Trong chương giới thiệu tổng quan tốn 14 trích xuất thơng tin từ ảnh cước công dân, hướng tiếp cận, khó khăn thách thức, đề xuất hướng