TÁCH VÀ NHẬN DẠNG SỐ VIẾT TAY TRONG PHIẾU NHẬP DỮ LIỆU

Nghiên cứu xây dựng hệ thống nhập liệu tự động nhận dạng quang học ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THANH PHÚC TÁCH VÀ NHẬN DẠNG SỐ VIẾT TAY TRONG PHIẾU NHẬP DỮ LIỆU Ngành: Công nghê ̣ Thông tin Chuyên ngành: Công nghệ Phần mềm Mã số: 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Ngô Quốc Tạo Hà Nội – 2008 Trang i Nghiên cứu xây dựng hệ thống nhập liệu tự động nhận dạng quang học Tóm tắt Nhập liệu tự động toán ngày thu hút nhiều ý đầu tư nghiên cứu thật vấn đề quan trọng, cần thiết khả áp dụng rộng rãi vào thực tế hiệu mà mang lại Trong hệ thống này, khử nghiêng phân vùng ảnh phần có vai trò đặc biệt quan trọng Chức xác ảnh tách vùng nhập thông tin để làm đầu vào cho module nhận dạng chữ Dựa đặc điểm phân bố có hướng đồng form văn bản, sử dụng phương pháp phép chiếu để khử nghiêng ảnh phương pháp đạt độ xác cao ảnh có đặc trưng Cũng dựa đặc điểm kiểu form văn liệu nhập vào ô form( nghĩa nằm giới hạn đường thẳng), giải pháp đề cho phân vùng thông qua việc xác định đường thẳng kết hợp với sử dụng hệ tọa độ tương đối để xác định vùng nhập liệu Chúng tiến hành thực nghiềm nhiều kiểu form văn khác thu kết khả quan Từ khóa : detect skew angle, project profile method, form recognition Trang ii Nghiên cứu xây dựng hệ thống nhập liệu tự động nhận dạng quang học Abstract Automatic form data reading is an attractive subject to many researchers because of its importance and widely applicability Deskew and region extraction module plays an important role in this system Its funtion is to correct skewed images and extract regions of input data Its outputs are the inputs of the character recognition module Basing on the directional and equilateral distribution of form document images, we used project profile method to detect skew angle - for this method is highly accurate when applied to this kind of image On the other hand, in form documents, infomation is often entered into cells( surrounded by lines) Therefore, we extract entered information regions by detecting lines and using local co-ordination Experimental results on variety of form documents show that our approach has achieved good and accurate results Keywords : detect skew angle, project profile method, form recognition Trang iii Chương Giới thiệu Chương Giới Thiệu 1.1 Đặt vấn đề Nhận dạng toán xuât lâu đạt nhiều thành tựu to lớn Tuy nhiên nhận dạng văn bao gồm văn có lẫn chữ viết tay hay hình ảnh toán khó chưa thật có giải pháp hoàn chỉnh Để giải toán nhận dạng có nhiều xu hướng tiếp cận khác tương ứng với loại văn khác Trong đó, nhập liệu tự động phương pháp tiếp cận nhận dạng văn kiểu form Càng ngày, nhu cầu xử lý liệu người máy tính tăng lên Chính lý đó, toán nhập dự liệu tự động ngày thu hút nhiều ý đầu tư Nó vượt khuôn khổ lĩnh vực nghiên cứu dần áp dụng vào thực tế khả áp dụng rộng rãi hiệu mà mang lại Trên giới, có nhiều ứng dụng liên quan đến vấn đề nhận dạng văn hay nhập liệu tự động Có thể kể đến : sản phẩm FineReader, Scan To Office hãng ABBYY, Smart scan Xpress Pegasus Image, ứng dụng chấm thi tự động …Ở Việt Nam có ứng dụng nhận dạng văn VNDocR Viện Công nghệ Thông tin hay ImageScan CardPro Đây ứng dụng nhận dạng chữ in Việc nhận dạng chữ viết tay thách thức Một số nghiên cứu nhận dạng chữ viết tay thực Viện CNTT Bộ môn Công nghệ Phần mềm Tuy nhiên ứng dụng nhiều hạn chế khả nhận dạng chữ viết tay chưa đạt độ xác cần thiết để áp dụng rộng rãi thực tế Cùng với phát triển công nghệ thông tin nay, thuật toán nhận dạng ngày xác đưa kết đáng tin cậy Ngay chữ viết tay đạt đuợc độ xác cao với điều kiện nhận dạng chữ riêng biệt chữ viết đẹp Với văn thông thường ta khó đạt điều Tuy nhiên, Các form nhập liệu kiểu văn có cấu trúc ta đưa số quy tắc ràng buộc để tăng độ xác cho việc nhận dạng - chẳng hạn như: chữ viết riêng rẽ ô riêng biệt vùng nhập liệu Mặt khác, việc nhận dạng không cần thiết phải tiến hành toàn ảnh tài liệu mà giới hạn Trang Chương Giới thiệu vùng nhập liệu Đặc điểm cho phép ta tiếp cận toán cách có hiệu hơn, chẳng hạn sử dụng thông tin sẵn có từ thiết kế form làm tham số nhận dạng Một khía cạnh khác nhận dạng form tài liệu liệu nhận dạng vùng form phải tự động gắn vào trường liệu xác định ứng dụng Bài toán nhập liệu tự động từ form tài liệu gồm vấn đề sau :  Quản trị form bao gồm : thiết kế form nhập liệu ; quản lý lưu trữ tự động tham số form để cung cấp liệu cho trình nhận dạng sau nhanh tin cậy ; tích hợp với sở liệu  Nhận dạng vùng liệu (bài toán phát phân vùng liệu)  Nhận dạng chữ viết tay vùng liệu ; xử lý từ vựng ghi nhận vào sở liệu  Nhưng trước hết phải tiền xử lý ảnh để làm tốt ảnh, phục vụ cho trình nhận dạng, đảm bảo độ tin Hình 1: Sơ đồ hệ thống Với số lượng công việc vậy, đề tài chung chia làm hai phần :  Các giải pháp tối ưu cho tiền xử lý ảnh Đinh Văn Phương thực  Khử nghiêng văn phương pháp phép chiếu phân vùng ảnh Nguyễn Thanh Phúc thực Trang Chương Giới thiệu Khóa luận giới hạn tập trung trình bày việc khử nghiêng văn phép chiếu phân vùng ảnh - giải pháp thực nghiệm Bao gồm công việc cụ thể sau :  Các thuật toán xử lý form văn : - Thuật toán xác định góc xoay dựa phép chiếu - Thuật toán xác định đường thẳng văn phục vụ cho việc xác định vùng nhận dạng - Phân vùng ảnh dựa đường thẳng xác định  Thực nghiệm - Thử nghiệm độ xác thuật toán - Đánh giá kết quả, hiệu thuật toán nhận xét  Kết luận Cũng cần nói thêm rằng, đề tài đặt dự án nghiên cứu phối hợp Trung tâm Nghiên cứu Phát triển Phần mềm Bộ môn Công nghệ Phần mềm để đến thương phẩm Một phần mềm đóng gói đạt tính thương mại cần xem tiêu chuẩn cao giải pháp pháp phần mềm 1.2 Nội dung cấu trúc khóa luận Bài toán mà thực hệ thống chung toán xác định góc nghiêng phân vùng ảnh Nắm bắt khó khăn đặc trưng toán này, áp dụng giải pháp có độ xác cao việc xác định góc nghiêm sử dụng phương pháp phép chiếu, đồng thời sử dụng đường thẳng có form để phân vùng, tách riêng vùng cần xử lý Với nội dung trình bày lý thuyết xử lý ảnh, phương pháp xác định góc nghiêng, phương pháp phân vùng lựa chọn giải pháp áp dụng vào toán, khóa luận tổ chức sau : Trang Chương Giới thiệu Chương 1: Giới thiệu Phần đầu chương giới thiệu toán nhập liệu tự động nói chung: tình hình Việt Nam giới, thành tựu đạt lĩnh vực nhận dạng chữ viết, khó khăn đặc trưng toán nhận dạng form nhập liệu so với toán nhận dạng khác Phần giới thiệu hệ thống chung mà nhóm tiến hành nghiên cứu xây dựng : Nghiên cứu xây dựng hệ thống nhập liệu tự động nhận dạng quang học, phạm vi giới hạn quy trình giải toán Từ nêu lên nội dung mà nghiên cứu thực toán chung thông qua việc trình bày nội dung cấu trúc khóa luận Chương 2: Tổng quan số phương pháp khử nghiêng phân vùng ảnh Chương hai trình bày phương pháp khử nghiêng phân vùng ảnh , khái niệm tầm quan trọng khử nghiêng phân vùng ảnh nhận dạng form Xác định ưu nhược điểm miền áp dụng phương pháp để từ lựa chọn giải pháp thích hợp Chương 3: Đề xuất giải pháp khử nghiêng phân vùng ảnh Chương trình bày phần việc mà thực đề tài chung : Giải pháp cho việc khử nghiêng ảnh phép chiếu phân vùng ảnh Nội dung chương tập chung vào :  Phân tích đặc trưng ảnh dạng form nhập liệu từ đưa giải pháp cho việc xác định góc nghiêng phân vùng ảnh  Quy trình thực giải pháp  Đánh giá ưu nhược điểm phương pháp Chương 4: Thực nghiệm Chương bốn mô tả chi tiết trình thực nghiệm với phương pháp khử nghiêng phép chiếu phân vùng ảnh với thực nghiệm hệ thống chung Đồng thời chương đề cập đến trình thu thập xây dựng sở liệu ảnh dạng form sử dụng cho thực nghiệm Trang Chương Giới thiệu Chương 5: Kết luận Chương năm tổng kết lại kết đạt chưa đạt trình nghiên cứu thực khóa luận Từ nêu lên kết cần hướng tới hướng nghiên cứu, phát triển Trang Chương Giới thiệu Chương Tổng quan số phương pháp khử nghiêng phân vùng ảnh 2.1 Một số phương pháp khử nghiêng ảnh Văn bị nghiêng xảy trình quét vào máy tính hay copy, điều ảnh hưởng đến toàn đối tượng có văn vùng mà ta cần phải nhận dạng Văn bị nghiêng điều tránh khỏi, nhiều trường hợp gây ảnh hưởng không tốt đến độ xác kết phân vùng nhận dạng ký tự Cũng có số phương pháp phân vùng ảnh không yêu cầu văn phải có góc nghiêng không [4,13] Tuy nhiên phương pháp đòi hỏi góc nghiêng văn nằm khoảng giới hạn cho phép Bên cạnh đó, đơn giản hóa vấn đề dẫn tới phức tạp hóa tốn thời gian xử lý nhiệm vụ khác Do xác lại góc nghiêng ảnh việc làm tất yếu phải thực trước tiến hành phân vùng nhận dạng ảnh Hình 2: (a) ảnh sau khử nhiễu tách nền; (b) ảnh sau khử nghiêng Một văn có nhiều đặc trưng so với loại hình ảnh khác đặc trưng hướng, cấu trúc phân bố đối tượng Từ có số phương pháp Trang Chương Giới thiệu xác định góc nghiêng cho ảnh văn Dưới chi tiết số phương pháp mà cho tiêu biểu Tài liệu tham khảo Tài liệu tham khảo tiếng Việt [1] N.T.M Ánh, Đ.V Cường, N.T Hoài Ứng dụng mạng Neural nhận dạng văn bản., Khoa Công Nghệ, ĐHQGHN NCKH SV 2004 [2] Lương Mạnh Bá, Nguyễn Thanh Thủy Nhập môn xử lý ảnh số Nhà xuất khoa học kỹ thuật 5/1999, tr143-144 [3] Phan Văn Thuận, Ứng dụng nhận dạng xử lý kết điều tra, Luận văn tốt nghiệp ngành công nghệ thông tin – Đại Học Quốc Gia Hà Nội, Khoa Công Nghệ, 2004, tr21-22 Tài liệu tham khảo tiếng Anh [4] A Antonacopoulos and R.T Ritchings, Representation and Classification of Complex-shaped Printed Regions Using White Tiles, In: Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, Canada, 1995, tr.1132-1135 [5] Bo Yuan, Leong Keong Kwoh, and Chew Lim Tan Finding Best-Fit BoundingBoxes Center of Remote Imaging, Sensing and Processing National University of Singapore, Singapore 119260 ; Department of Computer Science, School of Computing National University of Singapore, Singapore 117543 2001, tr2 [6] Dipti Deodhare, NNR Ranga Suri, R.Amit Preprocessing and Image Enhancement Algorithms for a Form-based Intelligent Character Recognition System International Journal Of Computer Science & Application, Vol II, No II, pp 131-144 2005 tr131-135 [7] D X Le, G Thoma Document Skew Angle Detection Algorithm Proc 1993 SPIE Symposium on Aerospace and Remote Sensing - Visual Information Processing II, Orlando, FL April 14-16, 1993, Vol 1961, tr 251-262 [8] E.Kavallieratou, D.C.Balcan, M.F.Popa, N.Fakotakis IEEE member Handwritten text localization in skewed documents University of Bucharest 14, Academiei Trang Chương Giới thiệu St., 79543 Bucharest, RomaniaWire Communications Laboratory University of Patras, 26500 Patras, Greece Int Conference on Document Analysis and Recognition, ICDAR'99 1999, tr 705 – 708 [9] Fu Chang, Chien-Hsing Chou, and Shih-Yu Chu A New Approach to Estimation of Document Skew Angles Based on Piecewise Linear Approximation of Line Objects Institute of Information Science, Academia Sinica, Taipei, Taiwan, R.O.C NSC93-2422-H-001-0004 CVGIP( Graphical Models and Image Processing), 2004, tr1-3 [10] Hanchuan Peng, Member, IEEE, Fuhui Long, and Zheru Chi, Member, IEEE Document Image Recognition Based on Template Matching of Component Block Projections IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.25, NO.9, SEPTEMBER 2003 tr1188-1192 [11] Junichi Kanai, Andrew D Bagdanov Projection profile based skew estimation algorithm for JBIG compressed images IJDAR(1998), tr43-51 [12] J L Chen and H J Lee An efficient algorithm for form structure extraction using strip projection Pattern Recognition, 31(9): 1353–1368, May 1998 tr1353–1368 [13] K Etemad, D Doermann, and R Chellappa, Multiscale Segmentation of Unstructured Document Pages Using Soft Decision Integration, IEEE Trans on Pattern Recognition and Machine Intelligence, Vol 19, No 1, 1997, tr 92-96 [14] Oleg Okun, Matti Pietik¨ainen and Jaakko Sauvola Robust Skew Estimation on Low-Resolution Document Images Machine Vision and Media Processing Group, Infotech Oulu and Dept of EE, University of Oulu Tr1-4 [15] R Cattoni, T Coianiz, S Messelodi, and C M Modena Geometric layout analysis techniques for document image understanding: a review Technical report, IRST, Trento, Italy, 1998 tr5 [16] Shamik Sural, CMC Ltd 28 Camac Street, Calcutta 700 016, India ; P.K.Das, Dept of CSE Jadavpur University, Calcutta 700 032, India A Document Image Analysis System on Parallel Processors tr2-3 Trang Chương Giới thiệu [17] Yue Lu, Chew Lim Tan A nearest-neighbor chain based approach to skew estimation in document images Pattern Recognition Letters 24 (2003)2315– 2323, Department of Computer Science, School of Computing National University of Singapore, Kent Ridge, Singapore 117543, 2003, tr2315-2319 [18] Z.Shi, V.Govindaraju, Skew Detection for Complex Document Images Using Fuzzy Run length, Proc Of the Seventh Int Conf on Document Analysis and Recognition, ICDAR’03 tr1-4 Trang