(LUẬN VĂN THẠC SĨ) Tách và nhận dạng số viết tay trong phiếu nhập dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THANH PHÚC TÁCH VÀ NHẬN DẠNG SỐ VIẾT TAY TRONG PHIẾU NHẬP DỮ LIỆU LUẬN VĂN THẠC SĨ Hà Nội – 2008 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THANH PHÚC TÁCH VÀ NHẬN DẠNG SỐ VIẾT TAY TRONG PHIẾU NHẬP DỮ LIỆU Ngành: Công nghê ̣ Thông tin Chuyên ngành: Công nghệ Phần mềm Mã số: 60 48 10 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Ngô Quốc Tạo Hà Nội – 2008 TIEU LUAN MOI download : skknchat@gmail.com i MỤC LỤC MỤC LỤC i MỘT SỐ THUẬT NGỮ ANH-VIỆT iii DANH MỤC HÌNH VẼ iv DANH MỤC BẢNG vi MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Nội dung cấu trúc khóa luận Mở đầu Chương 1: Đề xuất giải pháp tiền xử lý ảnh Chương 2: Đề xuất giải pháp phân vùng nhận dạng ảnh Chương 3: Xây dựng hệ thống tích hợp Chương 4: Thực nghiệm Kết luận CHƢƠNG – ĐỀ XUẤT GIẢI PHÁP TIỀN XỬ LÝ ẢNH 1.1 Lọc nhiễu nhị phân hoá Mô tả thuật toán 1.2 Xác định góc nghiêng ảnh 11 1.2.1 Phương pháp xác định góc nghiêng dựa phép chiếu 13 1.2.2 Phương pháp xác định góc nghiêng dựa block 18 CHƢƠNG – ĐỀ XUẤT GIẢI PHÁP PHÂN VÙNG VÀ NHẬN DẠNG ẢNH 21 2.1 Tách vùng nhập liệu ảnh 21 2.1.1 Đặc trưng toán 21 2.1.2 Xác định vùng nhập liệu dựa mốc quy chiếu 22 2.1.3 Xác định vùng dựa vào vị trí tương đối đến các mốc quy chiếu form 23 2.1.4 Xác định vùng nhận dạng dựa vị trí tương đối đến đường thẳng 29 2.2 Nhận dạng vùng nhập liệu 42 2.2.1 Nhận dạng vùng đánh dấu 43 2.2.2 Nhận dạng vùng nhập liệu dạng số 48 CHƢƠNG - XÂY DỰNG HỆ THỐNG TÍCH HỢP 55 3.1 Phân tích tốn 55 3.2 Xây dựng hệ thống 62 3.2.1 Xác định đối tượng 62 3.2.2 Mơ hình khái niệm 63 3.2.3 Biểu đồ quy trình thiết kế, nhận dạng 67 CHƢƠNG – THỰC NGHIỆM 72 4.1 Môi trường thực nghiệm 72 TIEU LUAN MOI download : skknchat@gmail.com ii 4.2 Thực nghiệm Lọc nhiễu, tách tìm ngưỡng nhị phân hóa 72 4.3 Thực nghiệm xác định góc nghiêng ảnh dựa phép chiếu 73 4.4 Thực nghiệm xác định góc nghiêng ảnh dựa block 75 4.5 Thực nghiệm phân vùng ảnh dựa block 76 4.6 Thực nghiệm phân vùng ảnh dựa đường thẳng 77 4.6.1 Thực nghiệm 1: Xác định đường thẳng 77 4.6.2 Thực nghiệm 2: Tìm cặp đường thẳng ảnh scan với ảnh mẫu 78 4.6.3 Thực nghiệm 3: Xác định vùng cần nhận dạng 78 4.6.4 Thực nghiệm 4: tìm kích thước trung bình ảnh 79 4.7 Thực nghiệm nhận dạng 80 4.7.1 Thực nghiệm nhận dạng ô đánh dấu 80 4.7.2 Thực nghiệm nhận dạng số 81 4.8 Thực nghiệm tích hợp thành phần 81 KẾT LUẬN 83 TÀI LIỆU THAM KHẢO 85 TIEU LUAN MOI download : skknchat@gmail.com iii MỘT SỐ THUẬT NGỮ ANH-VIỆT Thuật ngữ Giải nghĩa Black run Tập hợp điểm đen liên tiếp kề theo chiều thẳng đứng theo chiều ngang ảnh Block Một cụm đối tượng coi liền kề Bounding Box Hình hộp bao quanh đối tượng hay khối đối tượng Deskew Khử nghiêng DPI Dots per inch – Số lượng điểm inch Form Recognition Nhận dạng form Object Là tập hợp điểm đen liền kề để tạo nên đối tượng chữ cái, đường thẳng, điểm, … Region Extraction Tách vùng Resolution Độ phân giải Skewed Image Ảnh bị nghiêng TIEU LUAN MOI download : skknchat@gmail.com iv DANH MỤC HÌNH VẼ Hình 1-1: Lƣợc đồ mức xám ảnh Hình 1-2: Đồ thị biến đổi mức xám Hình 1-3: Ảnh trƣớc (a) sau biến đổi lần (b) Hình 1-4: (a) Ảnh scan; (b) Ảnh sau lần lọc thứ nhất; (c) Ảnh sau lần lọc cuối cùng; (d) Ảnh sau nhị phân hóa 11 Hình 1-5: (a) ảnh sau khử nhiễu tách nền; (b) ảnh sau khử nghiêng 12 Hình 1-6: (a)ảnh với góc nghiêng không; (b) đồ thị phép chiếu ngang ảnh (a) 13 Hình 1-7: (a) ảnh với góc nghiêng 50; (b) đồ thị phép chiếu ngang ảnh (a) 13 Hình 1-8: (a) Ảnh scan, đƣờng màu đỏ đƣờng chiếu góc nghiêng θ (b) Ảnh đƣợc xấp xỉ hình bình hành 15 Hình 1-9: (a) Ảnh scan (b) (c) (d) Ảnh đƣờng chiếu đen trắng góc nghiêng 2.5, -3.5, 15 Hình 1-10: (a) Ảnh scan (b) Ảnh sau xác góc nghiêng 17 Hình 1-11: Một phần ảnh mẫu với block lề phải 18 Hình 1-12: block mẫu block bị nghiêng ảnh scan 19 Hình 1-13: (a) ảnh scan bị nghiêng; (b) đối tƣợng tìm đƣợc ảnh; (c) sau loại đối tƣợng lớn, bé; (d) sau loại đối tƣợng rỗng; (e) sau loại đối tƣợng không sát lề; (f) xấp xỉ đƣờng thẳng qua block 20 Hình 2-1: form mẫu vùng nhập liệu đƣợc định nghĩa 21 Hình 2-2: Form sau đƣợc in ra, điền thơng tin scan vào máy tính 22 Hình 2-3: (a) ảnh gốc; (b) ảnh scan sau tiền xử lý 23 Hình 2-4: Nội suy block bị 25 Hình 2-5: Khoảng cách block mẫu ảnh scan 25 Hình 2-6: Tƣơng ứng mốc quy chiếu ảnh scan mẫu 26 Hình 2-7: Mốc quy chiếu gần đến vùng nhập liệu 27 Hình 2-8: Vùng tìm kiếm đƣợc xác định ảnh 27 Hình 2-9: Vùng nhập liệu đƣợc sử dụng làm mốc quy chiếu 28 Hình 2-10: Cập nhật khoảng cách đến mốc quy chiếu gần 28 Hình 2-11: (a)ảnh sau tiền xử lý; (b)ảnh sau lọc black run ngắn theo chiều ngang (c) ảnh sau hợp cách black run dài theo chiều ngang; (d) ảnh sau lọc black run ngắn theo chiều thẳng đứng (e)ảnh sau hợp black run dài theo chiều thẳng đứng (f)các đƣờng thẳng xác định đƣợc ảnh 30 Hình 2-12: (a) đƣờng thẳng mờ bị đứt doạn (b) đƣờng thẳng xác định đƣợc tính đến mật độ 31 Hình 2-13: xác định nhầm đƣờng thẳng phân bố không đƣờng 31 Hình 2-14: chia đƣờng thẳng thành đoạn ngắn tính mật độ đoạn 32 Hình 2-15: Ảnh cần xác định kích thƣớc font chữ trung bình 36 Hình 2-16: Hình chữ nhật bao đối tƣợng tìm đƣợc ảnh 36 Hình 2-17: Hình chữ nhật bao quanh đối tƣợng chữ tìm đƣợc ảnh 36 Hình 2-18: Đối tƣợng tạo black run 37 TIEU LUAN MOI download : skknchat@gmail.com v Hình 2-19: gán nhãn đối tƣợng ảnh nhị phân 38 Hình 2-20: ảnh sau giảm bớt điểm đen 39 Hình 2-21: Kết xác định đối tƣợng 40 Hình 2-22: Hình chữ nhật bao quanh đơi tƣợng tìm đƣợc 40 Hình 2-23: (a) vùng nhập liệu ảnh mẫu; (b) ảnh scan; (c) đƣờng thẳng gần vùng nhập liệu nhất; (d) kết tách vùng ảnh scan 42 Hình 2-24: Những kiểu vùng nhập liệu giải luận văn 43 Hình 2-25: Vùng đánh dấu trả lời câu hỏi thi trắc nghiệm 43 Hình 2-26: Kết phép chiếu theo chiều ngang 44 Hình 2-27: Các phân đoạn tiềm 45 Hình 2-28: Các phân đoạn tìm đƣợc 45 Hình 2-29: (a) Kết phép chiếu theo chiều dọc, (b) phân đoạn tiềm năng, (c) phân đoạn tìm đƣợc 45 Hình 2-30: Vùng nhập số 48 Hình 2-31: (a) vùng tìm kiếm bị đƣờng bao; (b) vùng tìm kiếm đƣợc mở rộng 48 Hình 2-32: Các đƣờng thẳng vùng 49 Hình 2-33: Các đƣờng thẳng sau bƣớc 49 Hình 2-34: Các đƣờng thẳng sau bƣớc 49 Hình 2-35: Các đƣờng đứng xác định đƣợc sau bƣớc 49 Hình 2-36: Kết tách đƣờng thẳng bƣớc 3,4 50 Hình 2-37: Vùng nhập số mẫu ảnh scan 50 Hình 2-38: Ảnh trƣớc sau lọc nhiễu 51 Hình 2-39: Hình bao xác định đƣợc ảnh 51 Hình 2-40: Các nét tạo nên số dạng nét thẳng 51 Hình 2-41: Các số mẫu từ đến 51 Hình 2-42: Các nét ngang 52 Hình 2-43: Các nét đứng 52 Hình 3-1: Mẫu form nhập liệu “Sample Dta Etry Form” 57 Hình 3-2: Mẫu form nhập liệu “Sample Data Entry Form” có sử dụng block 58 Hình 3-3: Mẫu form nhập liệu “Mẫu Dữ Liệu Số” với block vùng định danh form 59 Hình 3-4: Mẫu form nhập liệu “Mẫu Phiếu Trả Lời Bài Thi Trắc Nghiệm” 60 Hình 3-5: Mẫu form nhập liệu “Phiếu Đánh giá môn học” 61 Hình 3-6: Mơ hình khái niệm 64 Hình 3-7: Quy trình thiết kế mẫu phiếu 68 Hình 3-8: Vùng mã form ảnh 69 Hình 3-9: Quy trình nhận dạng mẫu phiếu chƣa biết mã phiếu 70 Hình 3-10: Quy trình nhận dạng mẫu phiếu biết mã phiếu 71 Hình 4-2: Vùng cần xác định bị lệch so với vùng xác định thực tế 79 Hình 4-3: (a) Ảnh mẫu (b) Kết thu đƣợc sau phân vùng 79 Hình 4-1: (a) ảnh thử nghiệm; (b) Một phần ảnh đƣợc phóng to 80 TIEU LUAN MOI download : skknchat@gmail.com vi DANH MỤC BẢNG Bảng 1: Bảng phân loại ảnh 72 Bảng 2: Lọc nhiễu 73 Bảng 3: Góc nghiêng với ảnh 150DPI 74 Bảng 4: độ lệch trung bình so với góc thực tế 74 Bảng 5: So sánh hiệu phƣơng pháp phép chiếu tối ƣu với phƣơng pháp phép chiếu 75 Bảng 6: Kết xác định góc nghiêng block 76 Bảng 7: Thời gian xâc định block 76 Bảng 8: Độ xác phƣơng pháp tách vùng dựa block 77 Bảng 9: Độ xác phƣơng pháp xác định đƣờng thẳng 77 Bảng 10: Độ xác phƣơng pháp ghép cặp đƣờng thẳng tập mẫu tập ảnh 78 Bảng 11: Độ xác phƣơng pháp tách vùng dựa đƣờng thẳng 79 Bảng 12: Kết xác định kích thƣớc trung bình đối tƣợng 80 Bảng 13: Thời gian xác định kích thƣớc trung bình 80 Bảng 14: Độ xác phƣơng pháp tách vùng dựa đƣờng thẳng 81 Bảng 15: Kết thực nghiệm nhận dạng số 81 Bảng 16: Kết thực nghiệm tích hợp 82 TIEU LUAN MOI download : skknchat@gmail.com MỞ ĐẦU 1.1 Đặt vấn đề Nhận dạng toán xuất lâu đạt nhiều thành tựu Tuy nhiên nhận dạng văn bao gồm văn có lẫn chữ viết tay hình ảnh ln tốn khó mà chưa thật có giải pháp hồn chỉnh Để giải toán nhận dạng có nhiều xu hướng tiếp cận khác tương ứng với loại văn khác nhau, nhập liệu tự động phương pháp tiếp cận nhận dạng văn kiểu form nhập liệu Càng ngày nhu cầu xử lý liệu người máy tính tăng lên Chính lý tốn nhập dự liệu tự động ngày thu hút nhiều ý đầu tư Nó vượt ngồi khn khổ lĩnh vực nghiên cứu dần áp dụng vào thực tế khả áp dụng rộng rãi hiệu mà mang lại Trên giới, có nhiều ứng dụng liên quan đến vấn đề nhận dạng văn hay nhập liệu tự động Có thể kể đến : sản phẩm FineReader, Scan To Office hãng ABBYY, Smart scan Xpress Pegasus Image, ứng dụng chấm thi tự động …Ở Việt Nam có ứng dụng nhận dạng văn VNDocR Viện Công nghệ Thông tin hay ImageScan CardPro Đây ứng dụng nhận dạng chữ in Việc nhận dạng chữ viết tay thách thức Đã có số nghiên cứu nhận dạng chữ viết tay chữ viết tay tiếng Việt đề tài "Ứng dụng mạng Neural nhận dạng văn bản"[1] Tuy nhiên nghiên cứu nhiều hạn chế khả nhận dạng chữ viết tay chưa đạt độ xác cần thiết để áp dụng thực tế cách rộng rãi Cùng với phát triển công nghệ thông tin nay, thuật tốn nhận dạng ngày xác đưa kết đáng tin cậy Ngay chữ viết tay đạt độ xác cao với điều kiện nhận dạng chữ riêng biệt chữ viết đẹp Với văn thơng thường ta khó đạt điều Tuy nhiên, Các form nhập liệu kiểu văn có cấu trúc ta đưa số quy tắc ràng buộc để tăng độ xác cho việc nhận dạng - chẳng hạn như: chữ viết riêng rẽ ô riêng biệt vùng nhập liệu Mặt khác, việc nhận dạng không cần thiết phải tiến hành toàn ảnh tài liệu mà giới hạn vùng nhập liệu Đặc điểm cho phép ta tiếp cận toán cách hiệu hơn, chẳng hạn sử dụng thơng tin sẵn có từ form mẫu định dạng vùng nhập liệu, kích thước ơ,…làm tham số nhận dạng Một khía cạnh khác nhận dạng form nhập liệu liệu nhận dạng vùng form phải tự động gắn vào trường liệu xác định ứng dụng TIEU LUAN MOI download : skknchat@gmail.com Bài toán nhập liệu tự động từ form tài liệu bao gồm vấn đề sau :  Quản trị form: thiết kế form nhập liệu ; quản lý lưu trữ tự động tham số form để cung cấp liệu cho trình nhận dạng sau nhanh chóng tin cậy ; tích hợp với sở liệu  Nhận dạng vùng liệu (bài toán phát phân vùng liệu)  Nhận dạng chữ viết tay vùng liệu ; xử lý từ vựng ghi nhận vào sở liệu  Nhưng trước hết phải tiền xử lý ảnh để làm tốt ảnh, phục vụ cho trình nhận dạng, đảm bảo độ tin Hình 0-1: Sơ đồ hệ thống Luận văn giới hạn trình bày giải pháp bao gồm công việc cụ thể sau :  tiền xử lý ảnh để làm tốt ảnh, phục vụ cho trình nhận dạng, đảm bảo độ tin cậy - Thuật toán lọc nhiễu, khử nhị phân hóa ảnh - Thuật tốn xác định góc nghiêng dựa phép chiếu - Thuật tốn xác định góc nghiêng dựa block  Tách vùng nhập liệu (bài toán phát phân vùng liệu) - Thuật toán xác định đường thẳng văn phục vụ cho việc xác định vùng nhận dạng TIEU LUAN MOI download : skknchat@gmail.com 74 Bảng 3: Góc nghiêng với ảnh 150DPI Góc thực Kết ảnh với độ phân giải 150 DPI Kết ảnh với độ phân giải 300 DPI 5 5.1 5.1 5.1 5.2 5.2 5.2 5.3 5.2 5.2 5.4 5.4 5.4 5.5 5.5 5.5 5.6 5.5 5.6 5.7 5.7 5.7 5.8 5.8 5.8 5.9 5.9 5.9 6.1 6.0 Qua kết thực nghiệm ta thấy với ảnh bé, góc nghiêng xác định đạt độ xác ±0.30 đến ±0.20, Với ảnh lớn độ xác cao nhiều Điều điểm ảnh có tọa độ nguyên, ta sử dụng đường chiếu theo phương pháp Bresenham đường chiếu khơng phải đường thẳng hồn tồn Ảnh lớn đường chuẩn cho kết xác Kết thu độ lệch trung bình (0) so với góc thực tế: Bảng 4: độ lệch trung bình so với góc thực tế Phƣơng pháp phép chiếu tối ƣu (0 ) Cat 0.11 Cat 0.05 Cat 0.03 Cat 0.03 Cat 0.03 Total 0.04 TIEU LUAN MOI download : skknchat@gmail.com 75 Trong thực tế sai số ±0.10 việc xác định góc nghiêng hồn tồn chấp nhận Với kết thực nghiệm cho ta thấy áp dụng phương pháp phép chiếu hệ thống hợp lý Chúng thực kiểm thử hiệu với ảnh 100 DPI, 150 DPI, 200 DPI, 300 DPI, kết thu bảng Bảng 5: So sánh hiệu phƣơng pháp phép chiếu tối ƣu với phƣơng pháp phép chiếu Phƣơng pháp phép chiếu tối ƣu (ms) Phƣơng pháp phép chiếu(ms) 100 12.81 64.53 150 25.63 132.40 200 31.15 259.17 300 41.34 517.12 DPI Thực nghiệm cho thấy độ xác phương pháp phép chiếu tối ưu phương pháp phép chiếu gần nhau, tốc độ xử lý tối ưu thuật toán tham số nhanh đáng kể 4.4 Thực nghiệm xác định góc nghiêng ảnh dựa block Thực nghiệm xác định góc nghiêng ảnh cài đặt theo phương pháp xác định block mục 1.2.2 thực nghiệm ảnh, ảnh thực kiểm thử với 300 góc nghiêng khác – góc nghiêng lệch 0.1o, khoảng góc nghiêng lớn ±15o, khoảng góc phù với máy scan dạng batch job Tổng số ảnh thử nghiệm 2100 ảnh Kết thử nghiệm số góc nghiêng ảnh thi trắc nghiệm có độ phân giải 150DPI 300DPI TIEU LUAN MOI download : skknchat@gmail.com 76 Bảng 6: Kết xác định góc nghiêng block Góc thực Kết ảnh 150 DPI Kết ảnh 300 DPI 5 5.1 5.1 5.1 5.2 5.2 5.2 5.3 5.2 5.3 5.4 5.4 5.4 5.5 5.5 5.5 5.6 5.6 5.6 5.7 5.7 5.7 5.8 5.8 5.8 5.9 5.9 5.9 6 Block đặt bên lề ảnh có khoảng cách block block cuối lớn đường thẳng xấp xỉ qua tâm block dài, độ xác cao Qua thử nghiệm thấy tìm góc nghiêng block cho kết với sai số độ nghiêng ảnh ±0.030, phương pháp tin cậy không việc xác định góc nghiêng mà block cịn xác định đầy đủ Kiểm thử hiệu với ảnh 150 DPI , 300 DPI, kết thu bảng Bảng 7: Thời gian xâc định block DPI Phƣơng pháp xác định block (ms) 150 12.45 300 31.17 4.5 Thực nghiệm phân vùng ảnh dựa block Tập liệu cần để kiểm thử cho module xác định vùng nhập liệu dựa vị trí tương đối đến block gồm ảnh loại bảng Phương pháp sử dụng block làm mốc quy chiếu tác giả sử dụng để nhận dạng thi trắc nghiệm số kỳ thi "Kỳ thi tốt nghiệp phổ thông trung học Hải Dương" chứng minh tính hiệu áp dụng TIEU LUAN MOI download : skknchat@gmail.com 77 thực tế Trong khuôn khổ luận văn này, phương pháp phát triển thêm lên thực nghiệm 1000 ảnh với kiểu form góc nghiêng khác Kết kiểm thử với ảnh 150 DPI , 300 DPI thu kết bảng Bảng 8: Độ xác phƣơng pháp tách vùng dựa block DPI Sai số xác định tỉ lệ co giãn Sai số xác định vị trí vùng(pixel) 150 0.02 2.25 300 0.01 3.85 Sai số ảnh bị co giãn không scan, co giãn block ảnh khơng đánh giá xác hồn tồn co giãn tồn ảnh Do vùng tìm kiếm cần mở rộng để hạn chế việc thông tin 4.6 Thực nghiệm phân vùng ảnh dựa đƣờng thẳng Tập liệu dùng kiểm thử cho module xác định vùng nhập liệu dựa vị trí tương đối đến đường thẳng bao gồm ảnh loại 3, bảng Tôi sử dụng 15 ảnh mẫu( form) để tạo 240 ảnh kiểm thử 4.6.1 Thực nghiệm 1: Xác định đƣờng thẳng Với tập ảnh thực nghiệm chia làm loại : Loại gồm ảnh có tập đường thẳng với độ dày pixel Loại gồm ảnh có tập đường thẳng với độ dày ≥ pixel Thực kiểm thử độ xác cho việc xác định đầy đủ đường thẳng ảnh scan so với ảnh mẫu Bảng 9: Độ xác phƣơng pháp xác định đƣờng thẳng DPI Độ xác – Loại 1(%) Độ xác – Loại 2(%) 100 73.35 96.14 150 87.61 99.15 200 91.53 99.45 300 97.11 99.66 Kết thực nghiệm thu cho thấy, để đạt độ xác cao nên sử dụng ảnh có độ dày đường thẳng tối thiểu pixel TIEU LUAN MOI download : skknchat@gmail.com 78 Khi kiểm thử với tập đường pixel, với góc nghiêng lớn, sau xác định góc nghiêng xoay lại ảnh, đường thẳng có dạng cưa bị đứt đoạn xác định đoạn thẳng ngắn, dễ bị khử đi, dẫn tới việc số đường thẳng Trong với tập đường thẳng có độ dày pixel sau xoay lại, đường thẳng bị đứt đoạn, tạo đoạn thẳng dài, nhận dạng đầy đủ đường thẳng 4.6.2 Thực nghiệm 2: Tìm cặp đƣờng thẳng ảnh scan với ảnh mẫu Trong phần thực nghiệm này, trước tiên thực kiểm thử với ảnh scan, sau với ảnh scan chúng tơi kẻ thêm đường nhiễu xóa bớt đường thẳng ngang dọc, đảm bảo ảnh có đường thẳng ngang đường thẳng dọc, số đường thêm vào bớt phải khơng q ¼ số đường có ảnh mẫu Thực nghiệm với đường thẳng ngang đường thẳng đứng cho kết bảng : Bảng 10: Độ xác phƣơng pháp ghép cặp đƣờng thẳng tập mẫu tập ảnh Độ xác (%) Ảnh sau scan 99.17 Ảnh scan thêm đường thẳng 99.17 Ảnh scan xóa bớt đường thẳng 98.33 Ảnh scan thêm, bớt đường thẳng 97.25 4.6.3 Thực nghiệm 3: Xác định vùng cần nhận dạng Chúng ta thực việc phân vùng cách xác định vị trí cục vùng cần nhận dạng so với vị trí đường thẳng gần theo chiều dọc theo chiều ngang Trong số trường hợp vùng cần nhận dạng nằm xa đường thẳng thực nghiệm thấy vị trí vùng thường bì dịch chuyển so với vị trí ban đầu, dẫn tới bị phần nhỏ vùng( hình 4-2) TIEU LUAN MOI download : skknchat@gmail.com 79 Hình 4-1: Vùng cần xác định bị lệch so với vùng xác định thực tế Sai số ảnh bị co giãn không scan, co giãn đường thẳng ảnh không đánh giá xác hồn tồn co giãn tồn ảnh Do vùng tìm kiếm cần mở rộng để hạn chế việc thơng tin Hình 4-2: (a) Ảnh mẫu (b) Kết thu đƣợc sau phân vùng Kết kiểm thử với ảnh 150 DPI , 300 DPI thu kết bảng 11 Bảng 11: Độ xác phƣơng pháp tách vùng dựa đƣờng thẳng DPI Sai số xác định tỉ lệ co giãn Sai số xác định vị trí vùng(pixel) 150 0.02 2.15 300 0.01 3.60 4.6.4 Thực nghiệm 4: tìm kích thƣớc trung bình ảnh Thực nghiệm thực ảnh có nhiều chữ với nhiều loại font chữ khác nhau, nhiều đối tượng khác nhau, bao gồm hình ảnh Ảnh dùng để thử nghiệm phải có độ nghiêng khơng Mục đích bước xử lý để đánh giá chung kích thước đối tượng khơng cần đề cao độ xác Mặc dù chữ đối tượng phổ biến kích thước trung bình tìm khơng thiết đối tượng TIEU LUAN MOI download : skknchat@gmail.com 80 Kết thu sau : Bảng 12: Kết xác định kích thƣớc trung bình đối tƣợng Font chữ phổ biến Kích thƣớc font chữ Kích thƣớc trung bình xác định đƣợc theo chiều thẳng đứng( pixel) Kích thƣớc trung bình xác định đƣợc theo chiều thẳng ngang( pixel) 12 11 Times New Roman Hình 4-3: (a) ảnh thử nghiệm; (b) Một phần ảnh đƣợc phóng to Hiệu xử lý : Bảng 13: Thời gian xác định kích thƣớc trung bình DPI Thời gian xử lý(ms) 150 11.02 200 17.75 300 31.61 Thời gian xử lý chủ yếu nằm thời gian tìm đối tượng ảnh Thơng qua cải tiến thuật toán thay đổi cách thức đọc ảnh – lưu lại chuỗi điểm đen liền kề mảng để tính tốn thay đọc trực tiếp ảnh, hiệu phương pháp tăng lên đáng kể so với trước 4.7 Thực nghiệm nhận dạng 4.7.1 Thực nghiệm nhận dạng ô đánh dấu Các vùng đánh dấu sử dụng để thực nghiệm lấy từ mẫu phiếu thi trắc nghiệm cat 5( bảng 1) số thi thử số kỳ thi Nhận dạng tiến hành 1000 ảnh Kết thực nghiệm cho thấy phương pháp đề xuất TIEU LUAN MOI download : skknchat@gmail.com 81 luận văn giải hai vấn đề nhận dạng vùng đánh dấu : tơ mờ, tẩy xóa Các ngưỡng nhận dạng kiểm sốt người thực thi chương trình, giúp cho việc chấm thi thêm xác linh hoạt Với số vùng diện tích thí sinh tơ q so với diện tích ơ, phương pháp cho kết khơng xác Thực nghiệm mẫu phiếu thi với 60 câu cho kết : Bảng 14: Độ xác phƣơng pháp tách vùng dựa đƣờng thẳng DPI Độ xác nhận dạng(%) Thời gian tách ơ(ms) Thời gian nhận dạng(ms) 150 99.9% 8.11 9.42 300 99.9% 21.05 23.76 4.7.2Thực nghiệm nhận dạng số Các chữ số sử dụng để kiểm thử phương pháp đề luận văn thu thập thông qua mẫu phiếu "Mẫu liệu số", thiết kế module thiết kế mẫu phiếu, tách riêng số bở module tách vùng trình bày chương Mười ảnh phiếu thu sau scan, ảnh bao gồm 300 số, tổng cộng 3000 số số từ đến Kết nhận dạng trênh ảnh với độ phân giải 150DPI 300DPI cho bảng 15 Bảng 15: Kết thực nghiệm nhận dạng số DPI Độ xác nhận dạng(%) Thời gian nhận dạng(ms) 150 99.85% 34.69 300 99.89% 44.21 4.8 Thực nghiệm tích hợp thành phần Lần thực nghiệm tơi thực xử lý tích hợp phần như: Nạp ảnh, xử lý nhiễu, xác góc quay, xử lý phân vùng, nhận dạng Thực nghiệm thực mẫu "Phiếu đánh giá môn học" với 10 ảnh, Kết hiệu cho bảng TIEU LUAN MOI download : skknchat@gmail.com 82 Bảng 16: Kết thực nghiệm tích hợp DPI Nạp ảnh (ms) Lọc Xác Xoay nhiễu định góc ảnh (ms) (ms) xoay (ms) Xử lý phân vùng (ms) Nhận dạng Tổng thời gian (ms) 150 28.70 15.23 32.18 31.29 17.57 5.24 130.21 300 110.31 67.10 42.03 115.46 78.71 12.70 426.31 TIEU LUAN MOI download : skknchat@gmail.com 83 KẾT LUẬN Qua trình nghiên cứu nhập liệu tự động phương pháp quang học, chúng tơi tìm giải pháp thích hợp đặc điểm văn dạng form nhập liệu để từ tiến hành cài đặt module cần thiết cho trình tiền xử lý ảnh như: lọc nhiễu tách nền; xác góc nghiêng ảnh; xác định vùng nhập liệu, nhận dạng vùng nhập liệu Bên cạnh module xử lý ảnh, module quản trị form xây dựng để quản trị thông tin liên quan đến mẫu phiếu Trong trình nghiên cứu nhiều dạng form văn khác nhau, bao gồm văn tiếng Việt tiếng Anh với việc nghiên cứu so sánh nhiều thuật tốn, chúng tơi lựa chọn, cải tiến đưa số giải pháp riêng cài đặt thành công thuật toán tiền xử lý, phân vùng nhận dạng ảnh Việc tách nhiễu tỏ hiệu cho ảnh có mức xám lớn Xác định góc nghiêng ảnh scan với độ phân giải 200, 300 DPI cho độ xác nhỏ 0.1, tốc độ xử lý nhanh cỡ 0.04 – 0.07 (s) Việc xác định vùng cho kết khả quan Đối với mẫu có sử dụng block bên lề làm mốc quy chiếu, độ xác việc xác định vùng với nhiều mẫu form lên đến 100% Trên văn dạng Form với đường thẳng có độ dày tối thiểu pixel, phân vùng dựa đường thẳng cho độ xác cao ≥ 99%, thời gian thực thi cỡ 0.045 – 0.1 (s) tùy thuộc vào số đường thẳng xác định ảnh scan tập mẫu Giải pháp cho việc phân vùng dựa việc xác định đường thẳng ngang thẳng đứng ảnh scan tỏ hiệu trường hợp có nhiễu mát thơng tin góp phần đáng kể vào kết nhận dạng chung Module nhận dạng tận dụng tối đa thông tin cấu trúc ảnh, cho kết với độ xác 99.9% nhận dạng đánh dấu Khi so sánh trực tiếp với máy chấm thi trắc nghiệm, phương pháp nhận dạng đề xuất luận văn tỏ mạnh mẽ nhiều trường hợp bị tơ mờ tẩy xóa Đối với nhận dạng số viết tay dựa khung độ xác 99.8% Với độ xác cao việc tiền xử lý ảnh, xác định vùng nhận dạng Hệ thống hồn tồn áp dụng rộng rãi thực tế Module quản trị form xây dựng nhằm hỗ trợ cho việc thiết kế nhận dạng Với hỗ trợ module này, ảnh đối chiếu mã tự động cho phép xử lý form với nhiều mặt giấy thi phiếu điều tra dài Cùng với kết đạt được, hệ thống số hạn chế module phân vùng dựa đường thẳng làm việc tốt với đường thẳng TIEU LUAN MOI download : skknchat@gmail.com 84 có độ dày tối thiểu pixel, ngồi số phần việc chưa thực để đưa sản phẩm thật "hồn chỉnh" Vì vậy, thời gian tới, tơi dự định tiếp tục nghiên cứu, cải tiến hồn thiện hệ thống với mục đích cuối tạo sản phẩm hồn thiện áp dụng thực tế góp phần đáng kể vào xu hướng số hóa nước ta Các công việc nghiên cứu tiếp như: - Xây dựng module nhận dạng chữ viết tiếng việt - Nâng cao hiệu độ xác cho module tiền xử lý ảnh phân vùng TIEU LUAN MOI download : skknchat@gmail.com 85 TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt [1] N.T.M Ánh, Đ.V Cường, N.T Hoài (2004) "Ứng dụng mạng Neural nhận dạng văn bản", NCKH SV 2004, Khoa Công Nghệ - ĐHQGHN [2] Lương Mạnh Bá, Nguyễn Thanh Thủy (1999), Nhập môn xử lý ảnh số, Nhà xuất khoa học kỹ thuật, tr.75-76, 51-53 [3] Nguyễn Thanh Phúc, Đinh Văn Phương (2006), “Nghiên cứu xây dựng hệ thống nhập liệu tự động phương pháp nhận dạng quang học”, NCKH SV 2006, Khoa Công Nghệ - ĐHQGHN, tr.5-9, 10-15, 15-22 [4] Phan Văn Thuận (2004), Ứng dụng nhận dạng xử lý kết điều tra, Luận văn tốt nghiệp ngành công nghệ thông tin – Đại Học Quốc Gia Hà Nội, Khoa Công Nghệ, tr.21-22 Tài liệu tham khảo tiếng Anh [5] A Antonacopoulos and R.T Ritchings (1995), “Representation and Classification of Complex-shaped Printed Regions Using White Tiles”, Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, Canada, pp.1132-1135 [6] A Bagdanov and J Kanai (1997), “Projection Profile Based Skew Estimation Algorithm for JBIG Compressed Images”, Proceedings of the 4th International Conference on Document Analysis and Recognition, Ulm, Germany, pp 401-405 [7] A Hashizume, P.-S Yeh, and A Rosenfeld (1986), “A Method of Detecting the Orientation of Aligned Components”, Pattern Recognition Letters, Vol 4, No 2, pp 125- 133 [8] A.L Spitz (1992), “Skew Determination in CCITT Group Compressed Document Images”, Proceedings of Symposium on Document Analysis and Information Retrieval, Las Vegas, Nevada, USA, pp 11-25 [9] B Yu and A Jain (1996), “A Robust and Fast Skew Detection Algorithm for Generic Documents”, Pattern Recognition, Vol 29, No 10, pp 1599-1629 [10] Bo Yuan, Chew Lim Tan(2007), “Convex hull based skew estimation”, Pattern Recognition, Volume 40 , Issue 2, pp 456-475 TIEU LUAN MOI download : skknchat@gmail.com 86 [11] Dipti Deodhare, NNR Ranga Suri, R.Amit (2005) “Preprocessing and Image Enhancement Algorithms for a Form-based Intelligent Character Recognition System”, International Journal Of Computer Science & Application, Vol 2, No 2, pp 131-144 [12] D.P Lopresti (2000), “String Techniques for Detecting Duplicates in Document Databases”, International Journal on Document Analysis and Recognition, Vol 2, No 4, pp 186-199 [13] D X Le, G Thoma (1993) , “ Document Skew Angle Detection Algorithm” Proc 1993 SPIE Symposium on Aerospace and Remote Sensing - Visual Information Processing II, Orlando, FL, Vol 1961, pp 251-262 [14] D.S Le, G.R Thoma, and H Weschler (1994), “Automated Page Orientation and Skew Angle Detection for Binary Document Images”, Pattern Recognition, Vol 27, No 10, pp 1325-1344 [15] E.Kavallieratou, D.C.Balcan, M.F.Popa, N.Fakotakis (1999), “ Handwritten text localization in skewed documents”, Int Conference on Document Analysis and Recognition, ICDAR'99, pp 705 – 708 [16] Fu Chang, Chien-Hsing Chou, and Shih-Yu Chu (2004), “A New Approach to Estimation of Document Skew Angles Based on Piecewise Linear Approximation of Line Objects”, Graphical Models and Image Processing , Institute of Information Science, Academia Sinica, Taipei, Taiwan, pp.1-3 [17] Fu Chang Kung-Hao Liang Tzu-Ming Tan Wen-Liang Hwan (1999), “Binarization of document images using Hadamard multiresolutionanalysis”, Document Analysis and Recognition, ICDAR'99, pp 157-160 [18] Elise Gabarra1 Contact Information and Antoine Tabbone, " Combining Global and Local Threshold to Binarize Document of Images", Pattern Recognition and Image Analysis, Volume 3523/2005, pp.371-378 [19] H.-F Jiang, C.-C Han, and K.-C Fan (1997), “A Fast Approach to the Detection and Correction of Skew Documents”, Pattern Recognition Letters, Vol 18, No 7, pp 675-686 [20] H Peng, F Long, Z Chi, and W Siu (2001), “Document Template Matching Based on Component Block List”, Pattern Recognition Letters, Vol 22, No 9, pp 1033-1042 [21] Hanchuan Peng, Member, IEEE, Fuhui Long, and Zheru Chi, (2003) “ Document Image Recognition Based on Template Matching of Component TIEU LUAN MOI download : skknchat@gmail.com 87 Block Projections”, Ieee Transactions On Pattern Analysis And Machine Intelligence, Vol 25, No 9, pp.1188-1192 [22] H.S Baird (1987), “The Skew Angle of Printed Documents”, Proceedings of SPSE 40th Symposium on Hybrid Imaging Systems, Rochester, New York, USA, pp 21-24 [23] Junichi Kanai, Andrew D Bagdanov (1998), “Projection profile based skew estimation algorithm for JBIG compressed images”, International Journal on Document Analysis and Recognition 98, pp.43-51 [24] J Sauvola*, M PietikaKinen (1999), “Adaptive document image binarization”, Pattern Recognition , 33, pp 225-236 [25] K Etemad, D Doermann, and R Chellappa (1997), “Multiscale Segmentation of Unstructured Document Pages Using Soft Decision Integration”, IEEE Trans on Pattern Recognition and Machine Intelligence, Vol 19, No 1, pp 92-96 [26] Keiko Kakanishi, Kenichi Kazumi, Kitahiro Kaneda, Hiroki Fukuda (2007), “Form Recognition System, Form Recognition Method, Program and Storage Medium” United State Patent, pp 5-10 [27] K Fan and M Chang (1998), “Form Document Identification Using Line Structure Based Features”, Proc Fourth Int’l Conf Pattern Recognition, Vol 2, pp 1098- 1100 [28] K R Arvind, Jayant Kumar and A G Ramakrishnan (2007), “Entropy Based Skew Correction of Document Images”, Pattern Recognition and Machine Intelligence, Volume 4815/2007, pp 495-502 [29] K Sugawara (1997), “Weighted Hough Transform on a Gridded Image Plane”, Proceedings of the 4th International Conference on Document Analysis and Recognition, Ulm, Germany, pp 701-704 [30] L O’Gorman (1993), “The Document Spectrum for Page Layout Analysis”, IEEE Trans on Pattern Analysis and Machine Intelligence, Vol 15, No 11, pp 1162- 1173 [31] Oleg Okun, Matti Pietikăainen and Jaakko Sauvola (1999), “Robust Skew Estimation on Low-Resolution Document Images” Proceedings of the Fifth International Conference on Document Analysis and Recognition, ICDAR '99 , pp.1-4 TIEU LUAN MOI download : skknchat@gmail.com 88 [32] R Cattoni, T Coianiz, S Messelodi, and C M Modena (1998), “ Geometric layout analysis techniques for document image understanding: a review”, Technical report, IRST, Trento, Italy, pp.5 [33] Scott G.Van Sickle, David Grossberg (2004), “Method and system for form recognition and digitized image processing”, U.S.Patent, pp 4-10 [34] S.N Srihari and V Govindaraju (1989), “Analysis of Textual Images Using the Hough Transform”, Machine Vision and Applications, Vol 2, No 3, pp 141-153 [35] Shamik Sural, P.K.Das (1997), “A Document Image Analysis System on Parallel Processors”, Proceedings Fourth International Conference on HighPerformance Computing, 1997, pp 527-532 [36] T Pavlidis and J Zhou (1992), Page Segmentation and Classification, Computer Vision, Graphics and Image Processing: Graphical Models and Image Processing, Vol 54, No 6, pp 484-496 [37] Yue Lu, Chew Lim Tan (2003), “A nearest-neighbor chain based approach to skew estimation in document images”, Pattern Recognition Letters 24 (2003)2315–2323, Department of Computer Science, School of Computing National University of Singapore, Kent Ridge, Singapore 17543, pp.23152319 [38] Z.Shi, V.Govindaraju (2003), “Skew Detection for Complex Document Images Using Fuzzy Run length”, Proc Of the Seventh Int Conf on Document Analysis and Recognition, ICDAR’03, pp 1-4 TIEU LUAN MOI download : skknchat@gmail.com ... nhận dạng form nhập liệu so với toán nhận dạng khác Phần giới thiệu hệ thống mà tiến hành nghiên cứu xây dựng : Tách nhận dạng số viết tay phiếu nhập liệu với quy trình nhập liệu tự động nhận dạng. .. dụng nhận dạng văn VNDocR Viện Công nghệ Thông tin hay ImageScan CardPro Đây ứng dụng nhận dạng chữ in Việc nhận dạng chữ viết tay thách thức Đã có số nghiên cứu nhận dạng chữ viết tay chữ viết tay. .. chiếu Sau tách vùng nhập liệu ảnh, vùng nhận dạng Trong khuôn khổ luận văn trình bày nhận dạng số viết tay dạng nét thẳng ô đánh dấu đối tượng nhập liệu phổ biến Nội dung chương tập trung vào: 