Nhận dạng các biểu mẫu tài liệu

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ PHAN VĂN THUẬN NHẬN DẠNG CÁC BIỂU MẪU TÀI LIỆU Chuyên ngành: Công nghệ thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SỸ NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGÔ QUỐC TẠO HÀ NỘI – 2007 LỜI CẢM ƠN! Luận văn kết đạt đƣợc sau hai năm học cao học (2004-2006) trƣờng Đại học Công Nghệ - Đại học Quốc Gia Hà Nội trình nghiên cứu, công tác Trung tâm nghiên cứu phát triển Công nghệ phần mềm, Đại học Công nghệ, ĐHQGHN Trƣớc tiên xin gửi lời biết ơn chân thành tới PGS TS Ngô Quốc Tạo Thạc sỹ Nguyễn Tiến Sỹ, ngƣời thầy truyền đạt cho kiến thức Xử lý ảnh nhận dạng, ngƣời thầy dìu dắt, hƣớng dẫn cho ý kiến quý báu, lời khuyên bổ ích suốt trình tìm hiểu hoàn thành luận văn Tôi xin bày tỏ lòng biết ơn đến thầy cô Trƣờng Đại học Công nghệ dạy dỗ suốt hai năm học cao học vừa qua Tôi xin gửi lời cảm ơn đến Trung tâm nghiên cứu phát triển Công nghệ Phần mềm, nơi tạo điều kiện cho học tập suốt thời gian học cao học Tôi xin bày tỏ lòng cám ơn sâu sắc đến anh chị, bạn bè lớp K11T2 cho lời động viên, góp ý giúp đỡ trình học tập thực luận văn Tôi xin cảm ơn thầy, anh chị bạn Trung tâm nghiên cứu phát triển Công nghệ phần mềm cho lời động viên, khích lệ, góp ý sâu sắc định hƣớng để sớm hoàn thành luận văn Xin cảm ơn Khoa Công nghệ thông tin, Trƣờng Đại học Công nghệ, ĐHQGHN tạo điều kiện tốt cho học tập công tác suốt trình học tập làm luận văn Cuối xin bày tỏ lòng biết ơn sâu sắc tới gia đình, nơi ủng hộ, giúp đỡ bên hoàn cảnh khó khăn Hà Nội, tháng 11/2007 Phan Văn Thuận LỜI CAM ĐOAN Tôi xin cam đoan kết đạt đƣợc luận văn sản phẩm riêng cá nhân tôi, không chép lại ngƣời khác Luận văn kết trình học tập, nghiên cứu làm việc nghiêm túc suốt hai năm cao học Trong toàn nội dung luận văn, điều đƣợc trình bày kết nghiên cứu cá nhân kết tổng hợp từ nhiều nguồn tài liệu khác Những kết nghiên cứu cá nhân đƣợc rõ ràng luận văn Các thông tin tổng hợp hay kết lấy từ nhiều nguồn tài liệu khác đƣợc trích dẫn cách đầy đủ hợp lý Tất tài liệu tham khảo có xuất xứ rõ ràng đƣợc trích dẫn hợp pháp Tôi xin hoàn toàn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, tháng 11/2007 Phan Văn Thuận MỤC LỤC MỞ ĐẦU CHƢƠNG - Tổng quan 1.1 Đặt vấn đề 1.2 Nội dung cấu trúc luận văn 10 CHƢƠNG - Khái quát số phƣơng pháp phân vùng ảnh khử nghiêng Error! Bookmark not defined 2.1 Tổng quan xử lý biểu mẫu Error! Bookmark not defined 2.1.1 Các đặc trƣng biểu mẫu Error! Bookmark not defined 2.1.2 Quá trình xử lý biểu mẫu dựa Ngôn ngữ mô tả biểu mẫu Error! Bookmark not defined 2.1.3 Quá trình xử lý biểu mẫu dựa đăng ký biểu mẫu (Form registration) Error! Bookmark not defined 2.1.4 Hệ thống xử lý biểu mẫu Error! Bookmark not defined 2.2 Các kỹ thuật thƣờng đƣợc sử dụng nhận dạng cấu trúc biểu mẫu Error! Bookmark not defined 2.2.1 Chỉnh độ nghiêng văn biểu mẫu Error! Bookmark not defined 2.2.1.1 2.2.1.2 Phân tích hình ảnh phép chiếu Error! Bookmark not defined Xác định góc nghiêng dựa vào biến đổi Hough Error! Bookmark not defined 2.2.1.3 2.2.1.4 2.2.1.5 Phân cụm hàng xóm gần Error! Bookmark not defined Sự tƣơng quan đƣờng thẳng Error! Bookmark not defined Một số kỹ thuật tính góc nghiêng khác Error! Bookmark not defined 2.2.1.6 Bảng tổng kết thuật toán xác định góc nghiêng .Error! Bookmark not defined 2.2.2 Phân tích trang Error! Bookmark not defined 2.2.2.1 2.2.2.2 Các kỹ thuật phân vùng ký tự Error! Bookmark not defined Các kỹ thuật phân vùng trang văn Error! Bookmark not defined 2.2.2.3 Các kỹ thuật kết hợp phân vùng/phân lớp Error! Bookmark not defined 2.2.2.4 2.2.2.5 Các kỹ thuật phân lớp khối Error! Bookmark not defined Bảng tổng kết kỹ thuật phân tích trang Error! Bookmark not defined CHƢƠNG - Đề xuất giải pháp sử dụng biểu mẫu động Error! Bookmark not defined 3.1 Hệ thống xử lý biểu mẫu động Error! Bookmark not defined 3.1.1 Giới thiệu hệ thống xử lý biểu mẫu Error! Bookmark not defined 3.1.2 So sánh với phƣơng pháp truyền thống Error! Bookmark not defined 3.1.3 Phƣơng pháp nhân dạng Error! Bookmark not defined 3.1.4 Thiết kế hệ thống Error! Bookmark not defined 3.1.4.1 3.1.4.2 3.1.4.3 3.1.4.4 Kiến trúc hệ thống Error! Bookmark not defined Hệ thống chuẩn bị biểu mẫu Error! Bookmark not defined Hệ thống xử lý biểu mẫu Error! Bookmark not defined Ứng dụng Error! Bookmark not defined 3.2 Các thuật toán xử lý ảnh áp dụng cho xử lý biểu mẫu động Error! Bookmark not defined 3.2.1 Khái niệm biểu mẫu động Error! Bookmark not defined 3.2.2 Lƣợc đồ xử lý biểu mẫu động Error! Bookmark not defined 3.2.3 Các phƣơng pháp tách chữ viết tay khỏi khung điền .Error! Bookmark not defined 3.2.3.1 3.2.3.2 Tìm hiểu thuật toán tách Error! Bookmark not defined Tách chữ viết tay khỏi khung điền Error! Bookmark not defined 3.2.4 Xác định vị trí khung điền Error! Bookmark not defined 3.2.4.1 3.2.4.2 Phƣơng pháp chiếu Error! Bookmark not defined Phƣơng pháp bỏ qua khoảng trắng Error! Bookmark not defined 3.2.5 Xác định thông tin ẩn chứa khung điền Error! Bookmark not defined 3.3 Các thuật toán khác áp dụng cho biểu mẫu động Error! Bookmark not defined 3.3.1 Thuật toán bóc viền Error! Bookmark not defined 3.3.2 Thuật toán xác định góc nghiêng Error! Bookmark not defined 3.3.2.1 3.3.2.2 Thuật toán sử dụng phép chiếu Error! Bookmark not defined Thuật toán sử dụng đƣờng thẳng dày Error! Bookmark not defined 3.4 Thực nghiệm Error! Bookmark not defined 3.4.1 Môi trƣờng thực nghiệm Error! Bookmark not defined 3.4.2 Thực nghiệm thuật toán biểu mẫu động Error! Bookmark not defined 3.4.2.1 Thực nghiệm tách chữ viết tay khỏi khung điền Error! Bookmark not defined 3.4.2.2 Thực nghiệm xác định vị trí khung điền thông tin .Error! Bookmark not defined 3.4.2.3 Thực nghiệm xác định cấu trúc điểm nhỏ khung Error! Bookmark not defined 3.4.3 Thực nghiệm thuật toán khác Error! Bookmark not defined 3.4.3.1 Xác định góc nghiêng ảnh theo phƣơng pháp chiếu Error! Bookmark not defined 3.4.3.2 Thực nghiệm nhận dạng đƣờng thẳng dày Error! Bookmark not defined Kết luận Error! Bookmark not defined o TÀI LIỆU THAM KHẢO 12 DANH MỤC HÌNH ẢNH Hình 2.1: Lược đồ trình xử lý biểu mẫu dựa Ngôn ngữ mô tả biểu mẫu Error! Bookmark not defined Hình 2.2: Một hệ thống xử lý biểu mẫu văn Error! Bookmark not defined Hình 2.3: (a) Ảnh trước khử nghiêng; (b) Ảnh sau khử nghiêng Error! Bookmark not defined Hình 2.4: (a), (b), (c) : Các đối tượng ảnh ; (d), (e), (f) : Phân cụm đối tượng [17] Error! Bookmark not defined Hình 3.1 Phân tách chữ viết tay khung Error! Bookmark not defined Hình 3.2 Hệ thống biểu mẫu động Error! Bookmark not defined Hình 3.3: Data set Error! Bookmark not defined Hình 3.4: Vùng mã hóa thông tin Error! Bookmark not defined Hình 3.5: Một minh họa biểu mẫu động Error! Bookmark not defined Hình 3.6: Luồng xử lý Error! Bookmark not defined Hình 3.7: Hình ảnh chấm nhỏ Error! Bookmark not defined Hình 3.8: Một cấu trúc khung Error! Bookmark not defined Hình 3.9: Một biểu mẫu động Error! Bookmark not defined Hình 3.10: Một số cấu trúc chấm nhỏ Error! Bookmark not defined Hình 3.11: Một lược đồ xử lý biểu mẫu động Error! Bookmark not defined Hình 3.12 : Khung trước tách Error! Bookmark not defined Hình 3.13 : Khung sau tách chữ viết tay Error! Bookmark not defined Hình 3.14 : Chữ viết tay sau tách khung Error! Bookmark not defined Hình 3.15 : Phép chiếu theo chiều ngang Error! Bookmark not defined Hình 3.16 : Phép chiếu khung theo chiều dọc Error! Bookmark not defined Hình 3.17 : Phép chiếu theo chiều dọc điểm ảnh Error! Bookmark not defined Hình 3.18: Ảnh scan có đường viền màu đen Error! Bookmark not defined Hình 3.19: Các kiểu hình dạng khác cụm, màu tương ứng với cụm Error! Bookmark not defined Hình 3.20: Mô tả điểm lân cận trực tiếp Error! Bookmark not defined Hình 3.21: Mô tả điểm lân cận Error! Bookmark not defined Hình 3.22: Mô tả điểm nối Error! Bookmark not defined Hình 3.23: Ảnh scan có đường viền màu đen ảnh sau bóc viền đen Error! Bookmark not defined Hình 3.24: (a) Ảnh scan, đường màu đỏ đường chiếu góc nghiêng θ (b) Ảnh xấp xỉ hình bình hành Error! Bookmark not defined Hình 3.25: (a) Ảnh scan (b) (c) (d) Ảnh đường chiếu đen trắng góc nghiêng -2.50, -3.50, 20 Error! Bookmark not defined Hình 3.26: (a) Ảnh scan (b) Ảnh sau xác góc nghiêng Error! Bookmark not defined Hình 3.27 Ảnh trước sau xoay chiều Error! Bookmark not defined Hình 3.28 Phiếu trả lời quét ngược chiều Error! Bookmark not defined MỞ ĐẦU Nhập liệu tự động toán ngày thu hút nhiều ý đầu tƣ nghiên cứu thật vấn đề quan trọng, cần thiết khả áp dụng rộng rãi vào thực tế nhƣ hiệu mà mang lại Trong toán này, khử nhiễu, khử nghiêng phân vùng ảnh phần có vai trò đặc biệt quan trọng Chức xác ảnh, tách vùng đƣợc nhập thông tin, tách chữ viết tay khỏi khung điền thông tin để làm đầu vào cho module nhận dạng chữ Trong luận văn trình bày phƣơng pháp sử dụng “cấu trúc chấm nhỏ” để tạo khung điền thông tin Cấu trúc chấm nhỏ đƣợc tạo nhiều chấm nhỏ đoạn thẳng nhỏ Phƣơng pháp có đặc điểm bật sau:  Không cần thiết kế biểu mẫu có màu sắc mà tách ký tự chữ viết tay khỏi khung điền  Dễ dàng tách phần chữ viết tay khỏi khung điền cách nhanh chóng dễ dàng thuật toán xử lý ảnh đơn giản, đặc biệt trƣờng hợp chữ viết tay đè lên khung  Chi phí cho xử lý biểu mẫu thấp  Không cần biết trƣớc vị trí logic khung điền chữ tìm cách xử lý tự động ký tự khung Chúng tiến hành thực nghiệm nhiều mẫu biểu mẫu động thu đƣợc kết khả quan Từ khóa – Xử lý ảnh, Phân tích trang tài liệu, Nhận dạng, Biểu mẫu, Phép toán hình thái, Active form 10 CHƢƠNG - Tổng quan 1.1 Đặt vấn đề Trong thực tế, công việc nhập liệu chiếm chi phí lớn khối lƣợng liệu phải nhập công sức bỏ để đảm bảo việc nhập có độ xác cao Vì từ lâu vấn đề nhập liệu tự động đƣợc đầu tƣ nhiều Nguồn liệu phổ biến văn giấy, giải pháp chủ yếu phải lấy ảnh nhận dạng Nhận dạng toán xuất lâu đạt đƣợc nhiều thành tựu to lớn Tuy nhiên nhận dạng văn bao gồm văn có lẫn chữ viết tay hay hình ảnh toán khó chƣa thật có giải pháp hoàn chỉnh Trên giới, có nhiều ứng dụng liên quan đến vấn đề nhận dạng văn hay nhập liệu tự động Có thể kể đến nhƣ : sản phẩm FineReader, Scan To Office hãng ABBYY, Smart scan Xpress Pegasus Image, ứng dụng chấm thi tự động …Ở Việt Nam có ứng dụng nhận dạng văn nhƣ VNDocR Viện Công nghệ Thông tin hay ImageScan CardPro Đây ứng dụng nhận dạng chữ in Việc nhận dạng chữ viết tay thách thức Một số nghiên cứu nhận dạng chữ viết tay đƣợc thực Viện CNTT Bộ môn Công nghệ Phần mềm Tuy nhiên ứng dụng nhiều hạn chế khả nhận dạng chữ viết tay chƣa đạt đƣợc độ xác cần thiết để áp dụng rộng rãi thực tế Có hai đối tƣợng văn cần nhận dạng có đặt trƣng khác đòi hỏi có phƣơng pháp xử lý khác Đó nhận dạng văn phi cấu trúc nhận dạng văn kiểu biểu mẫu với liệu chữ đƣợc xếp vùng xác định Cùng với phát triển công nghệ xử lý ảnh nay, thuật toán nhận dạng ngày xác đƣa đƣợc kết đáng tin cậy Ngay chữ viết tay đạt đƣợc độ xác cao với điều kiện nhận dạng chữ riêng biệt chữ viết đẹp Với văn thông thƣờng, ta khó đạt 13 Chƣơng trình bày phần việc mà thực đề tài chung: Giải pháp sử dụng hệ thống xử lý biểu mẫu động cho việc phân vùng ảnh tách chữ viết tay Nội dung chƣơng tập trung vào:  Đƣa khái niệm biểu mẫu động hệ thống xử lý biểu mẫu động  Trình bày thuật toán ứng dụng cho việc nhận dạng biểu mẫu động  Đánh giá ƣu nhƣợc điểm thuật toán  Mô tả chi tiết trình thực nghiệm thuật toán đề xuất Chƣơng 4: Kết luận Chƣơng bốn tổng kết lại kết đạt đƣợc việc cần đƣợc tiếp tục thực tƣơng lai 14 o TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt STT [1] Phan Văn Thuận & Ngô Quốc Tạo:“ Kết hợp số kỹ thuật xử lý ảnh nâng cao cho xử lý biểu mẫu động ứng dụng”, Hội thảo khoa học quốc gia lần thứ 3-Nghiên cứu cở ứng dụng công nghệ thông tin, 10-2007 [2] Phan Văn Thuận & Đào Thanh Khiết: “Xử lý tự động phiếu điều tra”, Khóa luận tốt nghiệp, đại học Công nghệ, đại học Quốc gia Hà nội, 5-2004 [3] Trần Thanh Phúc & Đinh Văn Phƣơng: “ Nghiên cứu xây dựng hệ thống nhập tài liệu tự động nhận dạng quang học”, Khóa luận tốt nghiệp , đại học Công nghệ, đại học Quốc gia Hà nội, 5-2006 Tài liệu tiếng Anh STT [4] Yoji Maeda, Masaki Nakagawa: Design of paper based user interface for editing document, Proc SPIE, Vol.4307, pp184- 192 (2001) [5] http://www.parc.com/solutions/dataglyphs/ [6] Koichi Kise, Yasuo Miki, Keinosuke Matsumoto: Backgrounds as Information Carriers for Printed Documents, Proc.15th ICPR’2000, Vol.4, pp380-384 (2000.9) [7] Bilan Zhu, Masaki Nakagawa: Informationd Encoding Into and Decoding From Dot Texture for Active Form, Proc ACM Symposium on Document Engineering, pp105- 144 (2003.11) [8] Taro SHIMAMURA Bilan ZHU Atsushi MASUDA Motoki ONUMA Takeshi SAKURADA Masaki NAKAGAWA: “A Prototype of An Active Form System”, Seventh International Conference on Document Analysis and Recognition (ICDAR), Edinburgh, Scotland, pp921-925 (2003.8) 15 [9] Koichi Kise, Yasuo Miki, Keinosuke Matsumoto: Backgrounds as Information Carriers for Printed Documents, Proc.15th ICPR’2000, Vol.4, pp380-384 (2000.9) [10] Bilan Zhu, Taro Shimamura, Masaki Nakagawa:Document processing methods for active form, Proc of the 3rd IASTED International Conference Visualation, Image and Image processing, September 8-10 -2003, Spain [11] S.V Rice, F.R Jenkins, and T.A Nartker The Fifth Annual Test of OCR Accuracy Technical Report TR-96-01, Information Science Research Institute, University of Nevada, Las Vegas, April 1996 [12] RM Haralick Document Image Understanding: Geometric and Logical Layout In IEEE Computer Society Con] Computer Vision and Pattern Recognition (CVPR), pages 385390, Seattle, Washington, 1994 [13] Y.Y Tang, S.\\I Lee, and C.Y Suen Automatic Document Processing: a Survey Pattern Recognition, 29(12):19311952, 1996 [14] A.K Jain and B Yu Document Representation and Its Application to Page Decomposition Technical Report MSUCPS:TR96-63, Michigan State University, East Lansing, MI, December 1996 [15] L O'Gorman and R Kasturi Dowment Image Analysis IEEE Computer Society Press, Los Alamitos, CA, 1995 [16] F Fignoni, S Messelodi, and C.M Modena Review of the State of the Art in Optical Character Recognition Part 1: Machine Printed Documents Technical Report #9607-03, IRST, Trento, Italy, June 1996 [17] J.M White and G.D Rohrer Image Thresholding for Optical Character Recognition and Other Apllications Requiring Character Image Extraction IBM Journal of Besercl; and Development, 27(4):400411, July 1983 [18] T Taxt, P.J Flynn, and A.K Jain Segmentation of Document Images IEEE Transaction on Pattern Analysis and Machine Intelligence, 1(12):13221329, December 1989 [19] L O'Gorman Binarization and Multithresholding of Document Images 16 Using Connectivity CVGIP: Graphical Models and Image Processing, 56(6):494506, 1994 [20] H.-S Don A Noise Attribute Thresholding Method for Document Image Binarization In Proc of the 3th International Conference on Document Analysis and Recognition, pages 231234, Montreal, Canada, August 1995 [21] Y Liu and S.N Srihari Document Image Binarization Based on Texture Features IEEE Transactions on Pattern Analysis and lldachine Intelligence, 19(5):540544, May 1997 [22] J Sauvola, T Seppanen, S Haapakoski, and M Pietikainen Adaptive Document Binarization In Proc of the 4th International Conference on Dowment Analysis and Recognition, pages 147152, Ulm, Germany, August 1997 [23] P.W Palumbo, P Swarninathan, and S.N Srihari Document image binarization: Evaluation of algorithms In Proc of SPIE Symposium Applications of Digital Image Processing IX, volume 697, pages 278 285, San Diego, California, August 1986 [24] O.D Trier and T Taxt Evaluation of Binarization Methods for Document Images IEEE Transactions on Pattern Analysis and lldachine Intelligence, 17(3):312315, March 1995 [25] A.T Abak, U Baris, and B Sankur The Performance Evaluation of Thresholding Algorithms for Optical Character Recognition In Proc of the 4th International Conference on Dowment Analysis and Recognition, pages 697700, Ulm, Germany, August 1997 [26] \"1 Post! Detection of linear oblique structures and skew scan in digitized documents In Proc of the 8th International Conference on Pattern Recognition, pages 687689, Paris, France, 1986 [27] H.S Baird The skew angle of printed documents In Proc of the Conference Society of Photographic Scientists and Engineers, volume 40, pages 2124, Rochester, NY, May, 20-21 1987 17 [28] G Ciardiello, G Scafuro, M.T Degrandi, M.R Spada, and M.P Roccotelli An experimental system for office document handling and text recognition In Proc of the 9th International Conference on Pattern Recognition, volume 2, pages 739743, Roma, Italy, November, 14-17 1988 [29] Y Ishitani Document Skew Detection Based on Local Region Complexity In Proc of the 2nd International Conference on Dowment Analysis and Recognition, pages 4952, 'I'sukuba, Japan, October 1993 IEEE Computer Society [30] A Bagdanov and J Kanai Projection Profile Based Skew Estimation Algorithm for JBIG Compressed Images In Proc of the 4th International Conference on Dowment Analysis and Recognition, pages 401405, Ulm, Germany, August 1997 [31] S.N Srihari and V Govindaraju Analysis of Textual Images Using the Hough Transform Machine Vision and Applications, 2(3):141 153, 1989 [32] S Hinds, J Fisher, and D D'Amato A document skew detection method using run-length encoding and the Hough transform In Proc of the 10th International Conference on Pattern Recognition, pages 464468, Atlantic City, NJ, June, 17-21 1990 [33] A.L Spitz Skew Determination in CCITT Group Compressed Document Images In Proc of the Symposium on Document Analysis and Information Retrieval, pages 1125, Las Vegas, 1992 [34] D.S Le, G.R Thoma, and H Wechsler Automated Page Orientation and Skew Angle Detection for Binary Document Images Pattern Recognition, 27(10):13251344, 1994 [35] Y Min, S.-B Cho, and Y Lee A Data Reduction Method for Efficient Document Skew Estimation Based on Hough Transformation In Proc of the 13th International Conference on Pattern Recognition, pages 732736, Vienna, Austria, August 1996 IEEE Press [36] U Pal and B.B Chaudhuri An improved document skew angle estimation 18 technique Pattern Recognition Letters, 17(8):899904, July 1996 [37] B Yu and A.K Jain A Robust and Fast Skew Detection Algorithm for Generic Documents Pattern Recognition, 29(10):15991629, 1996 [38] A Hashizume, P.S Yeh, and A Rosenfeld A method of detecting the orientation of aligned components Pattern Recognition Letters, 4:125132, 1986 [39] L O'Gorman The Document Spectrum for Page Layout Analysis IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(11):11621173, 1993 [40] R Smith A Simple and Efficient Skew Detection Algorithm via Text Row Accumulation In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 11451148, Montreal, Canada, August 1995 [41] T Akiyama and N Hagita Automated Entry System for Printed Documents Pattern Recognition, 23(11):11411154, 1990 [42] H Yan Skew Correction of Document Images Using Interline CrossCorrelation CVGIP: Graphical Models and Image Processing, 55(6):538543, November 1993 [43] B Gatos, N Paparnarkos, and C Charnzas Skew Detection and Text Line Position Determination in Digitized Documents Pattern Recognition, 30(9):15051519, 1997 [44] J Sauvola and M Pietikainen Skew Angle Detection Using Texture Direction Analysis In Proc of the 9th Scandinavian Conference on Image Analysis, pages 10991106, Uppsala, Sweden, June 1995 [45] C Sun and D Si Skew and Slant Correction for Document Images Using Gradient Direction In Proc ofthe 4th International Conference on Document Analysis and Recognition, pages 142146, Ulm, Germany, August 1997 [46] S Chen and RM Haralick An Automatic Algorithm for Text Skew 19 Estimation in Document Images Using Recursive Morphological transforms In Proc of the first IEEE International Conference on Image Processing, pages 139143, Austin, Texas, 1994 [47] H K Aghajan, B H Khalaj, and T Kailath Estimation of skew angle in text-image analysis by SLIDE: subspace-based line detection Machine Vision and Applications, 7:267276, 1994 [48] H.S Baird Anatomy of a Versatile Page Reader Proc of the IEEE, 80(7):10591065, 1992 [49] P.V.C Hough Methods and means for recognizing complex patterns US Patent #3,069,654, December 18, 1962 [50] E.R Davies Machine Vision: Theory, Algorithms, Practicalities Academic Press, 1992 [51] S Chen and RM Haralick Recursive Erosion, Dilation, Opening and Closing Transforms IEEE Transaction on Image Processing, 4(3):335345, March 1995 [52] A.P Dias Minimum Spanning Trees for Text Segmentation In Proc of Fifth Annual Symposium on Dowment Analysis and Information Retrieval, Las Vegas, Nevada, 1996 [53] H.S Baird Global-tn-Local Layout Analysis In Proc of the IAPR Workshop on Syntactic and Structnrol Pattern Recognition, pages 136 147, Pont-a-Mousson, France, September 1988 [54] H.S Baird, S.E Jones, and S.J Fortune Image Segmentation using ShapeDirected Covers In Proc of the 10th International Conference on Pattern Recognition, Atlantic City, NJ, June, 17-211990 [55] H.S Baird Background Structure in Document Images In Advances in Stmctural and Syntactic Pattern Recognition, pages 253269 World Scientific, Singapore, 1992 [56] J Ha, RM Haralick, and LT Phillips Document Page Decomposition by the Bounding-Box Projection Technique In Proc 0/ the 3th International 20 Conference on Dowment Analysis and Recognition, Montreal, Canada, August 1995 [57] S Chen, RM Haralick, and LT Phillips Extraction of Text Layout Structures on Document Images based on Statistical Characterization In ISe1T/SPIE Symposium on Electronic Imaging Science and Technology, Dowment Recognition II, pages 128139, San Jose', USA, 1995 [58] E.G Johnston SHORT NOTE: Printed Text Discrimination Computer Graphics and Image Processing, 3:8389, 1974 [59] F Heines and J Lichter Layout extraction of mixed mode documents Machine Vision and Applications, 7:237246, 1994 [60] O Deforges and D Barba Segmentation of Complex Documents Multilevel Images: a Robust and Fast Text Bodies-Headers Detection and Extraction Scheme In Proc 0/ the 3th International Conference on Document Analysis and Recognition, pages 770773, Montreal, Canada, August 1995 [61] P Parodi and G Piccioli An Efficient Pre-Processing of MixedContent Document Images for OCR Systems In Proc 0/ the 13th International Conference on Pattern Recognition, pages 778782, Vienna, Austria, August 1996 IEEE Press [62] M.B.H Ali, F Fein, F Heines, T Jager, and A Weigel Document Analysis at DFKL Part 1: Image Anlysis and Text Recognition Technical Report RR95-02, German Research Center for Artificial Intelligence (DKFI), Kaiserslautern, Germany, March 1995 [63] K.J Wong, RG Casey, and F.M Wahl Document Analysis System IBM Journal 0/ Resercli and Development, 26(6):647656, 1982 [64] G Nagy and S.C Seth Hierarchical Representation of Optically Scanned Documents In Proc 0/ the 7th International Conference on Pattern Recognition, pages 347349, Montreal, Canada, 1984 [65] D Wang and S.N Srihari Classification of Newspaper Image Blocks Using Texture Analysis Computer Vision, Graphics and Image Processing, 21 47:327352, 1989 [66] G Nagy, S Seth, and M Viswanathan A Prototype Document Image Analysis System for Technical Journals Computer, 25(7):1022, 1992 [67] M Krishnamoorthy, G Nagy, S Seth, and M Viswanathan Syntactic Segmentation and Labeling of Digitized Pages from Technical Journals IEEE Transactions on Pattern Analysis and lldachine Intelligence, 15(7):737747, 1993 [68] D Sylwester and S Seth A Trainable, Single-Pass Algorithm for Column Segmentation In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 615618, Montreal, Canada, August 1995 [69] T Pavlidis and J Zhou Page Segmentation and Classification CVGIP: Graphical Models and Image Processing, 54(6):484496, 1992 [70] A.K Jain and S Bhattacharjee Text Segmentation using Gabor filters for automatic document processing lldachine Vision and Applications, 5(3):169184, 1992 [71] Y.Y Tang, H Ma, X Mao, D Liu, and C.Y Suen A New Approach to Document Analysis Based on Modified Fractal Signature In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 567570, Montreal, Canada, August 1995 [72] N Normand and C Viani-Gaudin A Background Based Adaptive Page Segmentation Algorithm In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 138141, Montreal, Canada, August 1995 [73] K Kise, O Yanagida, and S Takarnatsu Page Segmentation Based on Thinning of Background In Proc of the 13th International Conference on Pattern Recognition, pages 788792, Vienna, Austria, August 1996 IEEE Press [74] O.T Akindele and A Belaid Page Segmentation by Segment Tracing In Proc of the 2nd International Conference on Dowment Analysis and 22 Recognition, pages 341344, 'Tsnkuba, Japan, October 1993 IEEE Computer Society [75] L.A Fletcher and R Kasturi A Robust Algorithm for Text String Separation from Mixed Text/Graphics Images IEEE Transactions on Pattern Analysis and Machine Intelligence, 10(6):910918, 1988 [76] A.A Zlatopolsky Automated document segmentation Pattern Recognition Letters, 15(7):699704, July 1994 [77] S.-Y Wang and T Yagasaki Block Selection: A Method for Segmenting Page Image of Various Editing Styles In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 128133, Montreal, Canada, August 1995 [78] A Simon, J.-C Pret, and A.P Johnson A Fast Algorithm for BottomUp Document Layout Analysis IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(3):273277, 1997 [79] T Saitoh and T Pavlidis Page Segmentation without Rectangle Assumption In Proc of the 11th International Conference on Pattern Recognition, pages 277280, The Hague, 1992 [80] Y Hirayama A Block Segmentation Method For Document Images with Complicated Column Structures In Proc of the 2nd International Conference on Dowment Analysis and Recognition, pages 91 94, T'sukuba, Japan, October 1993 IEEE Computer Society [81] S Tsujimoto and H Asada Major components of a Complete Text Reading System Proceedings of the IEEE, 80(7):11331149, 1992 [82] F Lebourgeois, Z Bublinski, and H Emptoz A Fast and Efficient Method For Extracting Text Paragraphs and Graphics from Unconstrained Documents In Proc of the 11th International Conference on Pattern Recognition, pages 272276, The Hague, 1992 [83] W Scherl, F Wahl, and H Fuchsberger Automatic Separation of Text, Graphic and Picture Segments in Printed Material In E.S Gelsema and L.N 23 Kanal, editors, "Pattern Recognition in Practice", pages 213221 NorthHolland, Amsterdam, 1980 [84] J Sauvola and M Pietikainen Page Segmentation and Classification using fast Feature Extraction and Connectivity Analysis In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 11271131, Montreal, Canada, August 1995 [85] A.K Jain and Y Zhong Page Layout Segmentation based on Texture Analysis Pattern Recognition, 29(5):743770, 1996 [86] K Etemad, D.S Doermann, and R Chellappa Multiscale Segmentation of Unstructured Document Pages Using Soft Decision Integration IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(1):9296, January 1997 [87] F.Y Shih and S.S Chen Adaptive Document Block Segmentation and Classification IEEE Transactions on Systems, Man, and Cybernetics, 26(5):797802, 1996 [88] R Sivararnaakrishnan, LT Phillips, J Ha, S Subrarnanium, and RM Haralick Zone Classification in a Document using the Method of Feature Vector Generation In Proc of the 3th International Conference on Document Analysis and Recognition, pages 541544, Montreal, Canada, 1995 [89] D.X Le, G.R Thoma, and H Wechsler Classification of Binary Document Images into Textual or Nontextual Data Blocks using Neural Network Models Machine Vision and Applications, 8:289304, 1995 [90] O Deforges and D Barba A Fast Multiresolution Text-line and Non Textline Structure Extraction and Discrimination Scheme for Document Image Analysis In Proc of the International Conference on Image Processing, pages 134138, Austin, Texas, 1994 [91] D Ittner Automatic Inference of Textline Orientation In Proc of the Second Annual Symposium on Document Analysis and Information 24 Retrieval, Las Vegas, Nevada, 1993 [92] J Fisher, S Hinds, and D D'Amato A Rule-Based System For Document Image Segmentation In Proc of the 10th International Conference on Pattern Recognition, pages 567572, Atlantic City, NJ, June, 17-21 1990 [93] N Amamoto, S Torigoe, and Y Hirogaki Block segmentation and Text Area Extraction of Vertically/Horizontally Written Document In Proc of the 2nd International Conference on Dowment Analysis and Recognition, pages 341344, Tsukuba, October 1993 IEEE Computer Society [94] G Nagy, S.C Seth, and S.D Stoddard Document analysis with an expert system In Proceedings Pattern Recognition in Practice II, Amsterdam, The Neaderlands, June, 19-21 1985 [95] K.S Fu Applications of Pattern Recognition CRC Press, Boca Raton, FL, 1982 [96] LT Phillips, S Chen, and R.M Haralick English Document Database Standard In Proc of the 2nd International Conference on Dowment Analysis and Recognition, pages 478483, Tsukuba, Japan, October 1993 IEEE Computer Society [97] G Nagy At the Frontiers of OCR Proceedings of the IEEE, 80(7):10931100, 1992 [98] J Kanai, S.V Rice, and T.A Nartker A Preliminary Evaluation of Automatic Zoning Technical Report TR-93-02, Information Science Research Institute, University of Nevada, Las Vegas, April 1993 [99] J Kanai, T.A Nartker, S.V Rice, and G Nagy Performance Metrics for Document Understanding Systems In Proc of the 2nd International Conference on Dowment Analysis and Recognition, pages 424427, 'Tsnkuba, Japan, October 1993 IEEE Computer Society [100] J Kanai, S.V Rice, T Nartker, and G Nagy Automated Evaluation of OCR Zoning IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(1):8690, January 1995 25 [101] S Randriamasy, L Vincent, and B Wittner An Automatic Benchmarking Scheme for Page Segmentation In L Vincent and T Pavlidis, editors, SPIE/SPSE Dowment Recognition, volume 2181, San Jose', CA, February 1994 SPIE [102] B.A Yanikoglu and L Vincent Ground-truthing and Benchmarking Document Page Segmentation In Proc of the 3th International Conference on Dowment Analysis and Recognition, pages 601604, Montreal, Canada, August 1995 [103] B.A Yanikoglu and L Vincent Pink Panther: A Complete Environment for Ground-truthing and Benchmarking Document Page Segmentation Technical report, Xerox Desktop Document Systems, February 1996 [104] J Ha, LT Phillips, and R.M Haralick Document Page Decomposition Using Bounding Boxes of Connected Components of Black Pixels In ISf?1T/SPIE Symposium on Electronic Imaging Science and Technology, Dowment Recognition II, pages 140151, San Jose', USA, 1995 [105] J Liang, R Rogers, RM Haralick, and LT Phillips UW-ISL Document Image Analysis Toolbox: An Experimental Environment In Proc of the 4th International Conference on Dowment Analysis and Recognition, pages 984988, Ulm, Germany, August 1997 [106] E Ukkonen Algorithms for approximate string matching Information and Control, 64:100118, 1985 [107] S Latifi How can permutations be used in the evaluation of zoning algorithms? International Journal of Pattern Recognition and Artificial Intelligence, 10(3):223237, 1996 [108] Adobe Systems Inc Post.Script Language Reference Manual, 2nd edition, December 1990 [109] J.M Smith and RS Stutely SGML: The Users' Guide to ISO 8879 Chichester/New York: Ellis Horwood/Halsted, 1988 [110] Horak Office document architecture and office document interchange 26 formats: current status of international standardization IEEE Computer, 18(10):5060, October 1985 [111] P Mancino Can the Open Document Architecture (ODA) Standard Change the World of Information Technology? A study of the Documentation Standard Open Document Architecture (ODA, ISO 8613) for Information Technology Master's thesis, Politecnico di Torino, Rijen, The Netherlands/Stockholm, Sweden: Ericsson Telecom, September 1994 [112] Adobe Systems Inc Portable Dowment Format Reference Manual, November 1996 [113] A Dengel, R Bleisinger, R Hoch, F Fein, and F Hoenes From Paper to Office Document Standard Representation Computer, 25(7):6367, July 1992 [114] RAF Technology Inc DAFS: Dowment Attribute Format Specification, 1995 [115] J Liang, R Rogers, B Chanda, LT Phillips, and R.M Haralick From Image to Desktop Publishing: a Complete Document Understanding System Working paper, 1995 [116] J Schiirmann, N Bartneck, T Bayer, J Franke, E Mandler, and M Oberlander Document Analysis -From Pixels to Contents Proceedings of the IEEE, 80(7):11011119, 1992 [117] J Higashino, H Fujisawa, Y Nakano, and M Ejiri A knowledgebased segmentation method for document understanding In Proc of the 8th International Conference on Pattern Recognition, pages 745 748, Paris, France, 1986 [118] D Derrien-Peden Frame-based System for Macro-typographical Structure Analysis in Scientific Papers In Proc of the lst International Conference on Docurneni Analysis and Recognition, pages 311319, France, September 1991 [119] S.N Srihari, C Wang, P Palumbo, and J Hull Recognizing Address 27 Blocks on Mail Pieces: Specialized Tools and Problem-Solving Architecture AI Magazine, 8(4):2540, Winter 1987 [120] C Wang and S.N Srihari A Framework for Object Recognition in a Visual Complex Environment and its Application to Locating Address Blocks on Mail Pieces International Journal of Computer Vision, 2:125151, 1988 [121] P.S Yeh, S Antoy, A Litcher, and A Rosenfeld Address Location on Envelopes Pattern Recognition, 20(2):213227, 1987 [122] G.E Kopec and P.A Chou Document Image Decoding Using Markov Source Models IEEE Transactions on Pattern Analysis and lldachine Intelligence, 16(6):602617, June 1994 [123] A.C Kam and G.E Kopec Document Image Decoding by Heuristic Search IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(9):945950, September 1996 [124] F Esposito, D Malerba, and G Semeraro Multistrategy Learning for Document Recognition Applied Artificial Intelligence, 8(1):3384, 1994 [125] F Bapst, R Brugger, and R Ingold Towards an Interactive Document Structure Recognition System Internal working paper, University of Fribourg (Switzerland), April 1995 [126] Yuan Y.Tang: Document analysis and recognition by computers, Handbook of Pattern recognition and Computer Vision, pp 000-000 @ Word Scientific Publishing Company [...]... cận bài toán một cách có hiệu quả hơn, chẳng hạn có thể sử dụng các thông tin sẵn có từ thiết kế biểu mẫu làm tham số nhận dạng Một khía cạnh khác của nhận dạng biểu mẫu tài liệu là các dữ liệu nhận dạng đƣợc của mỗi vùng của biểu mẫu sẽ phải đƣợc tự động gắn vào một trƣờng dữ liệu xác định của ứng dụng Luận văn này chỉ giới hạn tập trung trình bày về quá trình nhận dạng các vùng dữ liệu, trích chọn... đƣợc điều này Tuy nhiên, các biểu mẫu nhập liệu là kiểu văn bản có cấu trúc và ta có thể đƣa ra một số quy tắc ràng buộc để tăng độ chính xác cho việc nhận dạng chẳng hạn nhƣ: các chữ đƣợc viết riêng rẽ trên các ô riêng biệt của các vùng nhập liệu Mặt khác, việc nhận dạng chữ viết không cần thiết phải tiến hành trên toàn bộ ảnh của tài liệu mà chỉ giới hạn ở những vùng nhập dữ liệu Đặc điểm này cũng... chung: Giải pháp sử dụng hệ thống xử lý biểu mẫu động cho việc phân vùng ảnh và tách chữ viết tay Nội dung của chƣơng tập trung vào:  Đƣa ra các khái niệm về biểu mẫu động và hệ thống xử lý biểu mẫu động  Trình bày các thuật toán cơ bản ứng dụng cho việc nhận dạng biểu mẫu động  Đánh giá ƣu và nhƣợc điểm của các thuật toán này  Mô tả chi tiết quá trình thực nghiệm các thuật toán đã đề xuất Chƣơng 4:... module nhận dạng chữ tiếng Việt Cụ thể, chúng tôi đề xuất sử dụng biểu mẫu động” và các thuật toán xử lý trên biểu mẫu động, bao gồm xác định các khung điền thông tin, tách chữ viết tay ra khỏi khung điền, mã hóa thông tin vào khung điền, giải mã các thông tin từ khung điền dựa vào cấu trúc các điểm nhỏ Thêm vào đó, chúng tôi cũng sẽ đề xuất một số thuật toán hỗ trợ để nâng cao tỉ lệ nhận dạng đúng Các. .. đƣợc trong lĩnh vực nhận dạng chữ viết, những khó khăn cũng nhƣ các đặc trƣng của bài toán nhận dạng biểu mẫu nhập dữ liệu so với các bài toán nhận dạng khác Phần tiếp theo giới thiệu về hệ thống chung mà chúng tôi đang tiến hành nghiên cứu và xây dựng: nghiên cứu và xây dựng hệ thống nhập dữ liệu tự động bằng nhận dạng hình ảnh, phạm vi giới hạn và quy trình giải quyết bài toán Từ đó nêu lên nội dung... trình bày về các phƣơng pháp phân vùng ảnh, khử nghiêng, các khái niệm và tầm quan trọng của khử nghiêng và phân vùng ảnh trong nhận dạng biểu mẫu Chƣơng này cũng xác định các ƣu nhƣợc điểm và phạm vi áp dụng của mỗi phƣơng pháp để từ đó lựa chọn giải pháp thích hợp Chƣơng 3: Đề xuất giải pháp sử dụng biểu mẫu động 13 Chƣơng này trình bày về phần việc chính mà tôi đã thực hiện trong đề tài chung: Giải... lý biểu mẫu, phân vùng và tách ra đƣợc các chữ viết tay để nhận dạng Với nội dung chính là trình bày những lý thuyết cơ bản về tiền xử lý ảnh, phân vùng ảnh khóa luận đƣợc tổ chức nhƣ sau: Chƣơng 1: Tổng quan Phần đầu của chƣơng giới thiệu về bài toán nhập dữ liệu tự động nói chung: tình hình Việt Nam và thế giới, các thành tựu đã đạt đƣợc trong lĩnh vực nhận dạng chữ viết, những khó khăn cũng nhƣ các. .. số thuật toán hỗ trợ để nâng cao tỉ lệ nhận dạng đúng Các giải pháp thực nghiệm bao gồm các công việc cụ thể nhƣ sau:  Các thuật toán xử lý biểu mẫu động : - Thuật toán xác định các khung điền thông tin - Thuật toán tách chữ viết tay ra khỏi khung điền thông tin và ngƣợc lại - Thuật toán giải mã các thông tin  Các thuật toán nâng cao độ chính xác: - Thuật toán bóc biên - Thuật toán chỉnh độ nghiêng... xác của các thuật toán - Đánh giá kết quả, hiệu quả của thuật toán và nhận xét 1.2 Nội dung và cấu trúc của luận văn Bài toán con đƣợc thực hiện trong khoá luận này là bài toán phân vùng ảnh và tách ra đƣợc các chữ viết tay để phục vụ cho module nhận dạng chữ viết tay Nắm bắt đƣợc khó khăn cũng nhƣ những đặc trƣng của bài toán này, chúng tôi đã áp dụng một giải pháp mới, đó là sử dụng biểu mẫu động,... xuất Chƣơng 4: Kết luận Chƣơng bốn tổng kết lại những kết quả đạt đƣợc và những việc cần đƣợc tiếp tục thực hiện trong tƣơng lai 14 o TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt STT [1] Phan Văn Thuận & Ngô Quốc Tạo:“ Kết hợp một số kỹ thuật xử lý ảnh nâng cao cho xử lý biểu mẫu động và ứng dụng”, Hội thảo khoa học quốc gia lần thứ 3-Nghiên cứu cở bản và ứng dụng công nghệ thông tin, 10-2007 [2] Phan Văn