Phương pháp nhận dạng chữ viết tay tiếng việt dựa trên mô hình mạng nơron

1 Lời cám ơn Đầu tiên, xin gửi lời cám ơn sâu sắc tới cán hướng dẫn khoa học, thầy giáo PGS.TS Đinh Mạnh Tường, người bảo tận tình, truyền thụ cho tơi kiến thức để hồn thành luận văn tốt nghiệp Tơi xin bày tỏ lời cám ơn tới thầy cô giáo giảng dạy suốt thời gian học cao học trường đại học Công nghệ - ĐHQG Hà Nội Những tri thức thầy cô truyền đạt thực giúp nhiều việc nghiên cứu khoa học công tác Tôi xin chân thành cám ơn tình cảm, giúp đỡ chuyên môn thầy giáo, bạn đồng nghiệp Khoa Công nghệ thông tin, Trường ĐH Thuỷ Lợi Cuối xin gửi lời cám ơn sâu sắc tới tất người thân gia đình bạn bè tơi Họ thực nguồn động viên vô tận công việc sống Học viên thực luận văn Trần Thị Minh Hoàn Mục lục Lời cám ơn Mục lục Danh mục bảng Danh mục hình vẽ, đồ thị MỞ ĐẦU CHƢƠNG TỔNG QUAN 13 1.1 Quy trình chung hệ nhận dạng chữ 13 1.1.1 Phân lớp mẫu 13 1.1.2 Cấu trúc hệ thống nhận dạng văn 14 1.2 Mạng nơron nhiều lớp MLP thuật toán lan truyền ngược 17 1.2.1 Cấu trúc nơron 17 1.2.2 Cấu trúc Perceptron 19 1.2.3 Kiến trúc mạng nhiều lớp truyền thẳng (MLP) 20 1.2.4 Quá trình huấn luyện mạng MLP 22 1.2.5 Ưu, nhược điểm mạng MLP 29 1.3 Trích chọn đặc trưng ảnh 31 1.3.1 Phương pháp trích chọn đặc trưng ảnh theo hướng hình học (Gradient) 32 1.3.2 Phương pháp trích chọn đặc trưng ảnh theo cấu trúc (structural) 36 1.3.3 Phương pháp trích chọn đặc trưng ảnh theo tính lồi lõm (Concavity) 40 1.4 Kết luận 44 CHƢƠNG NHẬN DẠNG TỪ DỰA TRÊN MƠ HÌNH ĐA MẠNG KẾT HỢP VỚI THỐNG KÊ NGỮ CẢNH 46 2.1 Việt Áp dụng trích chọn đặc trưng ảnh nhận dạng chữ viết tay tiếng 49 2.2 Việt Mơ hình đa mạng nơron áp dụng nhận dạng chữ viết tay tiếng 50 2.2.1 Khó khăn giải pháp đề xuất 50 2.2.2 Phân nhóm kí tự 53 2.2.3 Xây dựng hệ thống đa mạng 53 2.2.4 Ðánh giá ưu, nhược điểm mơ hình đa mạng 60 2.3 Bộ thống kê ngữ cảnh 61 2.3.1 Các khái niệm sử dụng thống kê 61 2.3.2 Thuật toán kiểm tra mức độ hợp lý ký tự xâu 63 2.3.3 Thuật toán lựa chọn từ danh sách từ ứng cử viên 64 2.4 Quá trình nhận dạng từ 65 2.4.1 Phương pháp nhận dạng 65 2.4.2 Cấu trúc liệu sử dụng trình nhận dạng 66 2.4.3 Q trình xác định vị trí cắt khác ảnh đầu vào 68 2.4.4 Thuật toán nhận dạng từ 70 2.5 Ðánh giá khả nhận dạng mơ hình 76 2.6 Kết luận 76 CHƢƠNG CHẾ CÀI ĐẶT HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY HẠN 78 3.1 Quy trình hoạt động hệ thống 78 3.2 Quá trình tiền xử lý 80 3.2.1 Tiền xử lý trước phân tích ảnh văn cần nhận dạng 80 3.2.2 Căn chỉnh độ lệch trang văn 80 3.2.3 Lọc nhiễu 85 3.2.4 Phân ngưỡng 86 3.2.5 Tiền xử lý trước nhận dạng kí tự 86 3.3 Quá trình phân vùng ảnh 87 3.3.1 Tách dòng văn 88 3.3.2 Tách từ 89 3.4 Quá trình nhận dạng 91 3.5 Quá trình hậu xử lý 91 3.6 Kết luận 91 CHƢƠNG HẠN CHẾ THỬ NGHIỆM HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY 92 4.1 Môi trường thử nghiệm 92 4.2 Dữ liệu kết thử nghiệm 92 4.2.1 KẾT LUẬN Thử nghiệm nhận dạng chữ viết tay 92 95 I TÓM TẮT CÁC KẾT QUẢ ĐẠT ĐƯỢC CỦA LUẬN VĂN 95 II NHỮNG VẤN ĐỀ CHƯA ĐẠT ĐƯỢC 96 III HƯỚNG PHÁT TRIỂN 96 TÀI LIỆU THAM KHẢO 97 Danh mục bảng Bảng 1.1: Một số hàm kích hoạt thường dùng mơ hình mạng nơron .19 Bảng 1.2: Mặt nạ Sobel theo hai hướng X Y .33 Bảng 1.3: Kết thu tìm đặc trưng hướng cho phần thứ ảnh 36 Bảng 1.4: Vị trí tương đối điểm ảnh X tám điểm ảnh lân cận .37 Bảng 1.5: Các luật đặc trưng theo cấu trúc điểm ảnh 38 Bảng 2.1: Phân nhóm ký tự tiếng Việt dựa đặc trưng ảnh 52 Bảng 4.1: Kết thực nghiệm .94 Danh mục hình vẽ, đồ thị Hình 1.1: Qui trình chung hệ thống nhận dạng chữ 14 Hình 1.2: Cấu trúc nơron .17 Hình 1.3: Cấu trúc Perceptron 20 Hình 1.4: Mơ hình mạng MLP lớp .21 Hình 1.5: Ảnh ban đầu ảnh sau bao 33 Hình 1.6: Ảnh chia làm 4*4 phần 36 Hình 1.7: Hướng lượng tử thành 12 giá trị 37 Hình 1.8: Số điểm đen vùng .41 Hình 1.9: Số điểm đen liên tục theo chiều thẳng đứng, ngang 42 Hình 1.10: Ví dụ điểm lồi lõm lỗ trống có ảnh .44 Hình 2.1: Sơ đồ hoạt động tổng quát mơ hình nhận dạng 48 Hình 2.2: Cấu trúc hệ thống đa mạng .54 Hình 2.3: Cấu trúc mạng nơron hai lớp truyền thẳng .55 Hình 2.4: Quá trình lưu trữ kết nhận dạng 67 Hình 2.5: Kết thực thuật tốn xác định vị trí cắt ảnh đầu vào 70 Hình 2.6: Kết tốn nhận dạng lần thực .74 Hình 2.7: Cây kết cuối tạo thuật tốn nhận dạng 75 Hình 3.1: Qui trình nhận dạng hệ thống .79 Hình 3.2: Ảnh đầu vào đầu thuật toán chỉnh độ lệch trang văn 85 Hình 3.3: Kiểu nhiễu đốm nhiễu vạch thường gặp nhận dạng 85 Hình 3.4: Kết việc hiệu chỉnh kích thước ảnh .87 Hình 3.5: Sơ đồ thuật tốn tách dòng văn 88 Hình 3.6: Sơ đồ thuật tốn tách từ dòng văn .90 MỞ ĐẦU Nhận dạng chữ hệ thống nhận dạng nhằm mục đích tự động hố q trình thu nhận thơng tin dạng chữ, nhiệm vụ hệ thống từ dạng thông tin thu nhận (các ảnh chữ qua máy scan, chữ viết trực tiếp hình ) hệ thống phân tích, xếp, gạn lọc, phân loại chúng, dùng kỹ thuật riêng biệt để xử lý nhằm phục vụ cho ứng dụng cụ thể người Ðây vấn đề gặp nhiều khó khăn chữ viết đa dạng Ngồi yếu tố cơng nghệ, chữ viết dân tộc có đặc thù riêng cần phải quan tâm nghiên cứu, tìm giải pháp nhằm nhận dạng chữ viết hiệu Ngày nhận dạng chữ trở thành ứng dụng quan trọng đời sống xã hội người Nhận dạng chữ viết ứng dụng để tự động hoá số cơng việc văn phòng lưu trữ văn bản, phân loại thư tín, nhận dạng mã sản phẩm hệ thống tự động nhiều ứng dụng khác xã hội.v.v nhằm giảm bớt cơng việc nhàm chán đòi hỏi nhiều thời gian công sức người Nhận dạng chữ chia thành hai khía cạnh nhận dạng chữ in nhận dạng chữ viết tay Nhận dạng chữ in để phục vụ cho công tác đọc tự động văn bản, đẩy nhanh việc nhập thông tin vào máy Hiện nay, toán nhận dạng chữ in giải gần trọn vẹn giới có sản phẩm có giá trị thực tế cao, hệ nhận dạng chữ in dựa mơ hình mạng nơron bốn lớp hai tác giả J Wang J.S.N Jean giới thiệu [12] hệ thống nhận dạng ký tự sử dụng mạng nơron tăng tốc độ lên 20 lần so với đơn mạng mà nhận dạng xác ký tự từ 99.8% đến 99.9%, tỷ lệ gần tối đa hệ nhận dạng nhanh chóng áp dụng vào nhiều ứng dụng, sản phẩm FineReader hãng ABBYY nhận dạng xác cách tối đa, chúng chuyển đổi file dạng pdf, ảnh từ máy quét máy kỹ thuật số thành văn soạn thảo sửa đổi [5], sản phẩm OmniPage hãng ScanSoft nhận dạng chữ tiếng Anh, sản phẩm VnDOCR Viện Công nghệ Thông tin nhận dạng chữ Việt in với độ xác tới 99%, Song, với tốn nhận dạng chữ viết tay vấn đề trở nên phức tạp lối viết tự người khác nhau, đặc biệt chữ viết tay, khác nguyên nhân sau:  Các kí tự văn bản, chữ viết tay thường có kích thước khác Thậm chí, ký tự văn người viết nhiều có độ rộng, hẹp, cao, thấp khác nhau,  Với nhiều người viết khác chữ viết có độ nghiêng khác (chữ nghiêng nhiều, ít, chữ nghiêng trái, phải)  Các ký tự từ văn chữ viết tay hầu hết người viết thường bị dính khó xác định phân cách chúng  Các văn chữ viết tay có trường hợp dính dòng (dòng bị dính chồng lên dòng trên)  Đặc biệt chữ tiếng Việt có dấu, ký tự khác dấu phần thân giống nhau, việc nhận dạng dễ nhầm lẫn ký tự với  Số lượng ký tự tiếng Việt nhiều so với số lượng ký tự tiếng Anh, ký tự cần khác dấu khác nhau, việc nhận dạng phải làm việc nhiều nhớ nhiều đặc điểm Với khó khăn trên, nói thời điểm chưa có giải pháp đủ tốt để giải trọn vẹn toán nhận dạng chữ viết tay Hiện giới Việt Nam có số nhóm nghiên cứu đầu tư nhiều thời gian cho nhận dạng chữ viết tay thu số kết Song, kết áp dụng cách hạn chế lĩnh vực hẹp, số nhóm điển hình kể đến nhóm nghiên cứu D‟Amato, E Kuebert, A Lawson với nhận dạng địa chữ viết tay bưu điện [3] Nhóm nghiên cứu N Gorski, V Anisimov, E Augustin, O Baret, D Price, J Simon với việc kiểm tra tài khoản hệ thống ngân hàng [4] nhóm nghiên cứu J.Hull, T.k.Ho, J.Favata, V.Govindaraju S.N.Srihari trung tâm nghiên cứu nhận dạng phân tích văn trường Đại học Tổng hợp New York cài đặt hệ thống chuyên nhận dạng địa thư bưu điện [17], hệ thống nhận dạng chữ viết tay trực tuyến hạn chế Giovanni Seniy, Nasser Nasrabadiz, Rohini Srihariy, trung tâm nghiên cứu phân tích nhận dạng tài liệu, khoa kỹ thuật máy tính điện tử, đại học New York [19] Như vậy, việc tìm lời giải khả thi cho toán nhận dạng chữ viết tay vấn đề cấp thiết phức tạp, cần đầu tư nhiều thời gian công sức người Trong luận văn không kỳ vọng giải trọn vẹn toán nhận dạng chữ viết tay tiếng Việt mà hy vọng đóng góp thêm phương pháp khả thi để giải lớp toán lĩnh vực nhận dạng chữ viết tay Bài toán đặt luận văn “Phƣơng pháp nhận dạng chữ viết tay tiếng Việt dựa mơ hình mạng nơron ” Trong phần tập trung vào vấn đề trích chọn đặc trưng nhận dạng chữ sau tách khỏi từ, giai đoạn quan trọng mục đích hệ nhận dạng chữ viết, giải vấn đề dính chữ từ, với viết luận văn này, tơi mong muốn đóng góp thêm giải pháp khả thi để giải lớp toán toán nhận dạng chữ viết tay tiếng Việt từ tạo sở để xây dựng phát triển sản phẩm nhận dạng văn viết tay tiếng Việt hoàn chỉnh với số ràng buộc định Để giải tốn chúng tơi đặt ràng buộc sau đoạn văn viết tay đầu vào hệ nhận dạng (đây coi phạm vi toán):  Dấu mũ ký tự viết tiếng Việt phải thẳng đứng so với nguyên âm từ, không cách xa so với ký tự  Chữ viết tay xem xét chữ số chữ tiếng Anh, tiếng Việt  Các ký tự văn cần nhận dạng không nghiêng 10 Sở dĩ, lựa chọn mạng nơron làm công cụ để thực thuật tốn nhận dạng lẽ mơ hình mạng nơron xây dựng theo nguyên tắc mô hoạt động não người nên thích hợp với tốn nhận dạng so với cơng cụ khác mạng nơron có ưu điểm vượt trội sau:  Có thể nhận dạng ảnh bị nhiễu, mạng nơron coi xấp xỉ vạn  Khi cung cấp tập mẫu ký tự huấn luyện, mạng có khả học thích nghi với mẫu  Mạng có khả nhận dạng ký tự nhiều người khác nhau, tức chúng có khả đưa kết mang tính tổng qt hố  Có khả xử lý vectơ vào có phần bị hỏng tức có khả dung thứ lỗi  Quá trình học mạng tương đối dài trình nhận dạng lại nhanh Trên sở đó, nội dung luận văn tập trung chủ yếu vào số vấn đề sau:  Khảo sát cách tiếp cận nhận dạng dựa mơ hình mạng nơron  Đánh giá khả nhận dạng ưu nhược điểm mạng nhiều lớp truyền thẳng MLP (Multilayer Perceptrons)  Áp dụng phương pháp trích chọn đặc trưng phù hợp ký tự trước đưa vào mơ hình mạng nơron để xử lý  Đề xuất mơ hình đa mạng nơron thích hợp cho nhận dạng ký tự viết tay tiếng Việt  Đề xuất mơ hình nhận dạng từ dựa kết hợp nhận dạng ký tự với thống kê ngữ cảnh  Xây dựng hệ thống nhận dạng ký tự chữ viết tay Với nội dung trên, cấu trúc luận văn gồm phần sau Chương 1: Tổng quan nhận dạng chữ dựa mơ hình mạng nơron 85 a) ảnh đầu vào bị nghiêng b) ảnh sau chỉnh độ lệch Hình 3.2: Ảnh đầu vào đầu thuật toán chỉnh độ lệch trang văn 3.2.3 Lọc nhiễu Hai loại nhiễu thường gặp nhận dạng ảnh nói chung nhận dạng chữ nói riêng nhiễu đốm nhiễu vạch (thể Hình 3.3) Hình 3.3: Kiểu nhiễu đốm nhiễu vạch thƣờng gặp nhận dạng Ðể lọc nhiễu, áp dụng phương pháp lọc trung vị (median filter) kết hợp với khử miền liên thơng nhỏ có kích thước hình chữ nhật Phương pháp lọc trung vị thích hợp để khử nhiễu đốm Tuy nhiên, nhiễu vệt phương pháp khơng hiệu Trong trường hợp sử dụng phương pháp khử miền liên thơng nhỏ hình chữ nhật Ý tưởng phương pháp sau :  Xác định vùng liên thông ảnh  Với vùng liên thơng có diện tích nhỏ (nhỏ ngưỡng đó, đảm bảo khơng bị nhầm lẫn dấu sắc, dấu huyền tiếng Việt), kiểm tra xem miền liên thơng có hình dạng chữ nhật hay khơng dựa vào hình bao Nếu tiến hành xóa vùng liên thông Việc kiểm tra xem 86 miền liên thơng có hình dạng chữ nhật hay khơng để đảm bảo thuật tốn khơng xóa dấu có nghia, ví dụ dấu nặng “.” v.v 3.2.4 Phân ngƣỡng Chức có nhiệm vụ chuyển ảnh đa cấp xám (ảnh grey, ảnh màu) ảnh nhị phân (ảnh đen trắng) Phương pháp phân ngưỡng cài đặt phương pháp sử dụng hàm phân ngưỡng 1 I‟(x,y) =  0 if I ( x, y )  T otherwise Trong đó, I(x,y) giá trị điểm ảnh tới vị trí (x,y) ảnh nguồn, I‟(x,y) giá trị điểm ảnh tương ứng ảnh đích, T ngưỡng, giá trị ngưỡng chọn cố định trước tuỳ chọn theo vùng ảnh xét (trường hợp đơn giản nhất, chọn T=0) 3.2.5 Tiền xử lý trƣớc nhận dạng kí tự Nhiệm vụ chủ yếu khối tiền xử lý giai đoạn này hiệu chỉnh kích thước ảnh kí tự Với mơ hình nhận dạng xây dựng chương 3, ảnh đầu vào nhận dạng kí tự tách từ ảnh từ tới vị trí khác Vì kích thước ảnh đầu vào khác nhau, để xử lý giai đoạn tiếp theo, ta cần phải đưa chúng kích thước chuẩn Ngồi tiền xử lý có chức xố nhiễu, nối nét đứt,v.v Trong mơ hình nhận dạng ký tự, chúng tơi quy định kích thước ảnh chuẩn 20x20 Phương pháp hiệu chỉnh ảnh dựa việc xác định trọng tâm ảnh, sau xác định khoảng cách lớn từ tâm ảnh đến cạnh trên, dưới, trái, phải hình chữ nhật bao quanh ảnh Thơng qua khoảng cách lớn ta xác định tỷ lệ co, giãn ảnh gốc so với kích thước chuẩn Từ hiệu chỉnh kích thước ảnh theo tỷ lệ co, giãn Như vậy, thuật toán ln đảm bảo tính cân co giãn ảnh, ảnh không bị biến dạng, không bị lệch Kết phương pháp thể hình 3.4 87 ảnh kích thước 20x20 ảnh kích thước 40x40 Hình 3.4: Kết việc hiệu chỉnh kích thƣớc ảnh 3.3 Q trình phân vùng ảnh Như đề cập chương I, chất việc phân vùng ảnh phân loại vùng thông tin ảnh, chẳng hạn như: Vùng chữ phần tiêu đề, vùng chữ phần nội dung, vùng bảng, vùng cơng thức, vùng ảnh, v.v Q trình phân vùng ảnh chữ viết tay thường phức tạp nhiều so với in lẽ chữ viết tay chữ viết tự nên khoảng cách dòng, từ kí tự thường khơng cố định chí nhiều khơng thể xác định (trường hợp dòng, từ hay kí tự bị dính lồng nhau) Tuy nhiên, giới hạn mặt thời gian nên luận văn không kỳ vọng giải vấn đề khó chữ viết tay Mục tiêu đặt xây dựng nhận dạng ký tự có khả giải tốt vấn đề nhận dạng xác kí tự Vấn đề dính dòng dính từ khơng phải trọng tâm giải luận văn, giả thiết việc tách từ tách dòng văn đầu vào khả thi nói cách khác dòng từ phải có khoảng cách định, khơng dính hay lồng Ngồi ra, để đơn giản bớt q trình phân vùng ảnh, xem xét văn có cấu trúc đơn giản – văn chứa vùng chữ Khi tồn văn coi khối đồng công việc phân đoạn ảnh tập trung chủ yếu phân tách dòng tách từ 88 3.3.1 Tách dòng văn Với giới hạn toán đặt trên, q trình tách dòng thực dựa biểu đồ tần xuất theo chiều ngang khối chữ Đối với thuật toán tọa độ khối chữ xác định từ bước phân vùng ảnh Các bước thuật tốn tách dòng tách từ thể chi tiết hình 3.5 Hình 3.5: Sơ đồ thuật tốn tách dòng văn 89 Bước đầu tiên, thuật toán xác định biểu đồ tần suất theo chiều ngang khối chữ Bước xác định vị trí tâm dòng chữ dựa biểu đồ tần suất ngang khối chữ, tâm dòng chữ lấy mặc định đỉnh khối chữ Tiếp theo, xuất phát từ vị trí tâm dòng chữ vừa tìm được, ta xác đường giới hạn phía đường giới hạn phía dòng chữ, để xác định đường giới hạn dòng chữ, trước hết ta xác vị trí vùng thung lũng phía (vùng mà hướng histogram có đổi chiều) gần với tâm xét (giả sử ta gọi vị trí x), sau ta tiến hành tìm kiếm dải trắng dài vùng [x độ rộng dải tìm kiếm, x + độ rộng dải tìm kiếm], dải trắng dài dòng chữ Với cách làm tương tự, ta xác định đường giới hạn phía dòng chữ Căn hai đường phân cách vừa tìm được, ta xác định biên dòng chữ Cuối cùng, ta tiến hành tách dòng chữ theo biên tìm 3.3.2 Tách từ Trong qui trình nhận dạng chữ in, sau bước tách dòng bước tách từ nhận dạng kí tự Song, chữ viết tay việc tách nhận dạng kí tự thường cho kết khơng cao lẽ thường khơng thể xác định xác đường giới hạn kí tự, hầu hết người viết, ký tự dòng thường bị dính chí lồng Giải pháp đưa xử lý tồn từ thay xử lý riêng rẽ kí tự Để tách từ, phương pháp thích hợp sử dụng tách theo miền liên thông kết hợp với tiêu chuẩn đối sánh khoảng cách kí tự Thuật tốn tách từ mơ tả chi tiết hình 3.6, bao gồm hai cơng đoạn chính:  Xác định vùng liên thơng  Đối sánh khoảng cách nhỏ hai vùng liên thông: khoảng cách nhỏ ngưỡng  vùng liên thơng phía trước đó, trường hợp ngược lại, ta tiến hành tách vùng liên thơng phía trước khỏi vùng xét cập nhật vùng liên thông vào vùng xét 90 Hình 3.6: Sơ đồ thuật tốn tách từ dòng văn Khoảng cách hai vùng liên thơng tính khoảng cách hai hình chữ nhật bao hai vùng liên thơng Với giả thiết chữ viết văn không nghiêng, hình chữ nhật bao vùng ảnh (vùng liên thông) xác định dựa biểu đồ tần suất theo chiều dọc khối chữ 91 Do chữ viết tay thường viết tự khơng có kích thước cố định nên việc lựa chọn ngưỡng đối sánh θ thường mang tính kinh nghiệm Ở chúng tơi lựa chọn θ =2/5 kích thước trung bình kí tự 3.4 Q trình nhận dạng Sau ảnh ký tự tách khỏi ảnh văn đầu vào, chúng gửi đến nhận dạng ký tự Quá trình nhận dạng cụ thể trình bày phần 2.2 Sau trình nhận dạng kết thúc, toàn liệu nhận dạng chuyển đến trình hậu xử lý 3.5 Quá trình hậu xử lý Do hạn chế mặt thời gian nên chưa tập trung nhiều vào giai đoạn hậu xử lý Ngoài ra, hệ thống làm việc với file văn có cấu trúc khơng phức tạp nên việc cài đặt tái tạo lại văn không tập trung 3.6 Kết luận Trong chương này, luận văn thể bước cần thực hệ thống nhận dạng chữ viết tay hạn chế cách tương đối cụ thể Quá trình thực hệ thống chia thành ba giai đoạn: giai đoạn tiền nhận dạng, giai đoạn nhận dạng giai đoạn hậu nhận dạng 92 CHƢƠNG THỬ NGHIỆM HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY HẠN CHẾ Trong chương này, luận văn mô tả cách chi tiết trình thử nghiệm kết thử nghiệm hệ thống với tập liệu khác 4.1 Mơi trường thử nghiệm Chương trình cài đặt ngơn ngữ Visual C++ 8.0 Chương trình thử nghiệm hệ điều hành Window XP, máy tính PC tốc độ 1,5GHz, nhớ 256MB RAM 4.2 Dữ liệu kết thử nghiệm Ở đây, tiến hành thử nghiệm: Nhận dạng kí tự viết tay tiếng Việt viết hoa rời rạc sau lọc bỏ dấu Chúng nhận xét chữ viết tay tiếng Việt sau tách dấu có dạng chữ tiếng Anh, ký tự viết tay trích chọn đặc trưng theo phương pháp GSC sử dụng mạng nơron để phân nhóm 4.2.1 Thử nghiệm nhận dạng chữ viết tay Sau tự thu thập mẫu chữ viết tay, tác giả tiến hành huấn luyện với ký tự khoảng 40 mẫu đạt kết tương đối khả quan, với việc sử dụng phương pháp trích chọn đặc trưng hợp lý, kết thu với chữ test 90% Giao diện chƣơng trình nhận dạng 93 Hình 4.1: Giao diện chƣơng trình nhận dạng Trong chương trình, có số chức để huấn luyện Chức Learning / MakeSample tạo file chứa mẫu để chương trình nhận dạng, Chức File/ New tạo mạng với số lớp ẩn số nơron lớp ẩn tuỳ ý Chức Learning / Start bắt đầu huấn luyện mạng sai số E đạt đến ngưỡng cho phép huấn luyện dừng lại Kết thực nghiệm Chữ số mẫu số mẫu nhận độ xác A 40 37 93% B 41 37 90% C 40 38 95% D 42 37 88% E 41 37 90% F 40 36 90% 94 G 41 37 90% H 41 36 88% I 40 38 95% J 40 38 95% K 42 37 88% L 40 36 90% M 41 37 90% N 42 37 88% O 42 35 83% P 40 36 90% Q 40 36 90% R 40 38 95% S 40 36 90% T 40 37 93% U 41 37 90% V 41 36 88% W 40 37 93% X 41 37 90% Y 40 36 90% Z 41 36 88% Bảng 4.1: Kết thực nghiệm 95 KẾT LUẬN I TÓM TẮT CÁC KẾT QUẢ ĐẠT ĐƯỢC CỦA LUẬN VĂN Qua thời gian nghiên cứu thực luận văn, thấy đạt kết sau đây: 1) Xây dựng đƣợc mơ hình mạng nơron đa mạng kết hợp trích chọn đặc trƣng GSC với việc nhận dạng kí tự viết tay rời rạc có độ xác cao tốc độ nhận dạng nhanh Đây mơ hình mạng cải tiến từ mơ hình mạng nơron hai lớp truyền thẳng Với việc bổ sung thêm lớp trích chọn đặc trưng đối tượng phù hợp Mạng đảm bảo tính chất quan trọng sau đây:  Kết nhận dạng mạng không bị ảnh hưởng đầu vào bị dịch chuyển bị nghiêng  Mạng không nhạy cảm với nhiễu ảnh đầu vào sử dụng phương pháp trích chọn đặc trưng phù hợp, lựa chọn đặc trưng đối tượng để ký tự loại có đặc trưng giống  Tốc độ tính tốn mạng chấp nhận 2) Đề xuất mơ hình nhận dạng từ hiệu để giải vấn đề dính chữ nhận dạng chữ viết tay Chúng tơi nhận thấy mơ hình nhận dạng đề xuất luận văn hướng tiếp cận khả thi để giải vấn đề dính chữ nhận dạng chữ viết tay Chất lượng nhận dạng mơ hình đảm bảo yếu tố:  Trong trình nhận dạng, tất vị trí cắt có ảnh đầu vào xét đến mà không bỏ qua vị trí  Việc tích hợp q trình kiểm tra mức độ hợp lý vào trình nhận dạng giúp ta phát loại bỏ vị trí cắt khơng hợp lý (các vị trí cắt sai) q trình nhận dạng 96  Việc chọn từ dựa tần suất xuất xác suất xuất từ đảm bảo cho ln ln chọn từ hợp lý (tương ứng với giải pháp phân đoạn tốt nhất) II NHỮNG VẤN ĐỀ CHƯA ĐẠT ĐƯỢC Do bị giới hạn mặt thời gian nên bên cạnh kết đạt được, luận văn có số hạn chế sau: 1) Do sở liệu mẫu chữ thu thập cong hạn chế mặt số lượng mẫu tính đa dạng mẫu việc thử nghiệm nhận dạng chữ viết tay rời rạc không dấu thử nghiệm nhận dạng từ chưa nhiều 2) Luận văn xem xét đến văn có cấu trúc đơn giản: khối ký tự rời rạc Tuy nhiên phần quan trọng hệ thống nhận dạng III HƯỚNG PHÁT TRIỂN Dựa kết đạt hạn vấn đề tồn tại, tơi xin đề xuất số hướng phát triển thời gian tới nhằm nâng cao chất lượng nhận dạng hệ thống đồng thời nới lỏng bớt điều kiện ràng buộc đầu vào hệ thống 1) Tiến hành thu thập thêm mẫu chữ viết tay nhằm xây dựng tập liệu đủ tốt để huấn luyện mạng 2) Tiến hành nghiên cứu sâu đặc trưng chữ viết tay nhằm hoàn thiện tập đường cong đặc trưng điều nâng cao hiệu trình xác định vị trí cắt từ 3) Bổ sung thêm phần phân tích cú pháp phân tích ngữ nghĩa câu để lựa chọn xác kết trả mạng nơron 97 TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt [1] Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử Lý Ảnh Số, Nhà Xuất Khoa Học kỹ thuật [2] Nguyễn Thị Thanh Tân Nhận dạng chữ viết tay hạn chế dựa mơ hình mạng nơron kết hợp với thống kê ngữ cảnh Luận văn thạc sỹ, ĐHQGHN Tài liệu tham khảo tiếng Anh [3] A Lawson, D D‟Amato, E Kuebert, Results from a performance evaluation of handwritten address recognition systems for the United States Postal Service, Proceedings of the International Workshop on Frontiers in Handwriting Recognition, Amsterdam, 2000, pp 189–198 [4] Augustin, N Gorski, V Anisimov, , O Baret, D Price, J Simon, A2iA check reader: a family of bank check recognition systems, in Proceedings of the International Conference on Document Analysis and Recognition, Vol 1, Bangalore, 1999, pp 523–526 [5] abbyy.com [6] Anil K Jain, Fundamentals Digital Image Processing, Prentice Hall Information and System Sciences Series [7] AZahour, B.Taconet and A.Faure (1992), “Machine Recognition of Arabic Cursive Writing”, From Pixels To Features III Frontiers in Handwriting Recognition, 289-296 [8] Beffert, H and Shinghal (1989), “Skeletonizing binary patterns on the omogeneous mulptiprocessor”, Journal of Pattern Recognition and Artificial Intelligence, vol 3, No.2, pp.207-216 [9] Carl Grant Looney (1997), Pattern Recognition Using Neural Networks, Oxford University Press 98 [10] C.J.Wells, L.J.Evett, P.E.Whitby, and Whitrow, fast dictionary loookup for contextual work recognition, Pattern Recognition [11] Denis Ricard, Helle Hvid Hansen, Mike Wozniewski, Linear Feature Extraction andDescription, McGill University [12] Jean J.Neural Networks, Wang J., Multiresolution neural networks for omnifont character recognition, IEEE International Conference on Volume , Issue , 1993 [13] Hornik, K., M.Stinchcommbe, and H.White (1989), Multilayer feed–forward networks are universal approximator, Neural Network, 259-366 [14] Ioannis Andreadis, Maria I Vardavoulia, Gerasimos Louverdis and Nikolaos Papamarkos, Colour image skeletonisation, Democritus University of Thrace [15] J.Camillerapp, G.Lorette, G.Menier, H,Oulhadj and J.C.Petttier (1992), Off- line and On-line Methods For HandwritingRecognition, From Pixels To Features III Frontiers in Handwriting Recognition, 273-288 [16] J.C.Simon (eds.), S.Impedovo, Cursive Words Recognition, From Pixels to Features III - Frontiers in Handwriting Recognition, Elsevier Publ., 1992 [17] J.J Hull, T.K.Ho, J.Favata, V.Govindaraju and S.N.Srihari, Combination of handwritten word recognition algorithms, From Pixels ToFeatures III Frontiers in Handwriting Recognition,1992 [18] G.Kokkinakis, E.Kavallieratou, N.Fakotakis, Skew angle estimation in document processing using Cohen’s class distributions, Wire Communications Laboratory, University of Patras [19] Giovanni Seniy, Nasser Nasrabadiz, Rohini Srihariy, An On-Line Cursive Word Recognition System, Center of Excellence for Document Analysis and Recognition, Department of Electrical and Computer Engineering, State University of New York at Bu_alo Bu_alo, NY 14260 99 [20] Govindaraju V., Favata J., Srihari S.N., Hull J.J., Ho T.K., Combination of segmentation-based and wholistic handwritten word recognition algoriths, From Pixel to Features III Frontiers in Handwriting Recognition, 1992, 261-72 [21] S.Sathiya Keerthi and Dr P.K Sadasivan Neural Networks Prentice Hall, tr.1-142 [22] ftp://ftp.sas.com/pub/neural/FAQ.html [23] M.Bishhop, Christopher Neuron networks for Pattern recognition Oxford University Press ... toán nhận dạng chữ viết tay tiếng Việt mà hy vọng đóng góp thêm phương pháp khả thi để giải lớp toán lĩnh vực nhận dạng chữ viết tay Bài toán đặt luận văn “Phƣơng pháp nhận dạng chữ viết tay tiếng. .. hợp cho nhận dạng ký tự viết tay tiếng Việt  Đề xuất mơ hình nhận dạng từ dựa kết hợp nhận dạng ký tự với thống kê ngữ cảnh  Xây dựng hệ thống nhận dạng ký tự chữ viết tay Với nội dung trên, ... mơ hình đa mạng nơron thích hợp cho nhận dạng chữ viết tay tiếng Việt  Quá trình xây dựng thống kê ngữ cảnh  Đánh giá khả nhận dạng mơ hình Chương 3: Cài đặt hệ thống nhận dạng chữ viết tay