III. Minh hoạ một số kết quả
1. Định dạng và lấy thơng tin từ biểu mẫu
Aûnh phiếu đăng kí mơn học bước đầu thử nghiệm được lưu dạng file *.bmp, scan với độ phân giải 300 dpi và kích thước 100%. Aûnh quét vào cho phép độ nghiêng vừa phải từ 10 – 50. Ta cĩ quy trình định dạng và lấy thơng tin từ
biểu mẫu được thực hiện như sau:
Bước 1: Tìm kiếm dấu hiệu định vị biểu mẫu.
Bước 2: Loại bỏ các vùng thơng tin in trước bằng cách so khớp với mặt nạ
mẫu.
Bước 3: Lấy thơng tin vùng dữ liệu.
a. Tìm kiếm dấu hiệu định vị biểu mẫu:
Dấu hiệu định vị biểu mẫu là một điểm chuẩn trong biểu mẫu, dựa vào
điểm chuẩn này ta sẽ xác định toạđộ của các vùng dữ liệu cịn lại. Aûnh phiếu đăng kí mơn học Kết quả nhận dạng Aûnh từng kí tự Mẫu vectơ đặc trưng Định dạng và lấy thơng tin từ biểu mẫu Xác định véctơ đặc trưng của kí tự Nhận dạng véctơ đặc trưng
Toạ độ điểm chuẩn được sử dụng trong chương trình là giao điểm giữa lề
trái biểu mẫu và đường thẳng ngang qua tiêu đề của biểu mẫu.
Việc xác định lề trái và đường thẳng ngang qua tiêu đề của biểu mẫu dựa vào sự biến thiên năng lượng mức xám của biểu mẫu:
Nếu ta kiểm tra biểu mẫu từ trái sang phải thì lề trái của biểu mẫu chính là vùng cĩ mức năng lượng thay đổi cao đầu tiên.
Tương tự nếu xét theo hướng ngang từđầu biểu mẫu đến cuối biểu mẫu thì tiêu đề ngang của biểu mẫu là vùng cĩ mức năng lượng thay đổi cao đầu tiên.
Ta cĩ hình minh hoạ:
Hình minh hoạ xác định điểm chuẩn trong biểu mẫu.
Điểm chuẩn Lề trái Lề tiêu đề Vùng dữ liệu
Căn cứ vào điểm chuẩn ta định vị toạđộ từng ơ của của vùng dữ liệu gồm: các ơ chứa mã số sinh viên, các ơ chứa thơng tin đăng kí mơn học.
Tọa độ các ơ này đã được xác định trước so với điểm chuẩn vừa nêu, ta xem các ơ đĩ như một mặt nạ mẫu.
c. Lấy thơng tin vùng dữ liệu:
Aûnh kí tự trong mỗi ơ vuơng nhỏ lần lượt được cắt ra, chuẩn bị xử lý để
xác định véctơđặc trưng.
Chú ý cần phải loại bỏ nhiễu gây ra bởi các đường khung xung quanh kí tự
trước khi đưa vào bộ xử lý lấy đặc trưng của kí tự.
Cách giải quyết: ta cĩ thế căn cứ vào mật độ phân bố của các điểm đen trên
đường chạy lân cận của 4 cạnh khung kí tự, tỉ số phân bố số điểm đen và điểm trắng trên mỗi đường chạy này đểphân biệt đâu là nhiễu do khung xung quanh kí tự gây ra.
Ví dụ:
Hình minh hoạ kí tự bị nhiễu do cắt phạm đường khung.
Sau khi loại bỏ hiện tượng nhiễu này, ảnh kí tựđược đưa vào bộ xác định véctơ đặc trưng để xử lý và rút ra vectơđặc trưng cho kí tự cần nhận dạng.
2. Xác định vectơđặc trưng của kí tự:
Trươc tiên, ảnh kí tự được lọc nhiễu, chỉnh nghiêng, và chuẩn hố về kích thước chuẩn 80x56.
Sau đĩ, tiến hành xác định véctơđặc trưng kí tự như trong chương trình thử
nghiệm nhận dạng chữ viết tay vừa nêu, dựa trên cơ sở lý thuyết đã trình bày ở
phần II, chương III.
Như vậy với mỗi kí tự ta sẽ xác định được một véctơ đặc trưng mơ tả đường biên cĩ dạng sau:
X=(x1, x2, ...xn), n=216.
Trong đĩ n là số chiều của véctơ X, hay cịn là sốđặc trưng của kí tự.
3. Nhận dạng véctơđặc trưng:
Chương trình sử dụng mạng nơron trong phần ứng dụng nhận dạng chữ viết tay để tiến hành phân lớp các kí tự.
Nhiễu do cắt phạm khung ơ vuơng của
Do đặc điểm dữ liệu cần phân lớp chỉ gồm các kí tự số, và một số kí tự viết hoa, nên số lớp kí tựđược thu nhỏ lại, điều này nâng cao khả năng nhận biết và độ
chính xác của mạng.
Cụ thể mạng huấn luyện cho 20 lớp kí tự gồm : Kí tự số: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9.
Kí tự chữ hoa: B, C, D, H, K, L, N, P, S, T.
Mạng được huấn luyện sau 50.000 học kì với tập mẫu gồm 2051 véctơ đặc trưng của kí tự, hệ số 0.08. Kết quả khả năng phân lớp của mạng là tương đối tốt.
Nhận xét:
Cĩ những vị trí mà ta biết trước chắc chắn dữ liệu là kí tự chữ hay kí tự số, do đĩ cĩ thể sử dụng ràng buộc này để tăng độ chính xác cho việc phân lớp của mạng.
III. Minh hoạ một số kết quả:
Hình minh hoạ kết quả lấy thơng tin phiếu đăng kí mơn học.
Hình minh hoạ kết quả xử lí phiếu đăng kí mơn học
CHƯƠNG IV
ĐÁNH GIÁ KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
I. Nhận xét chung:
Nhìn chung đồ án đã hồn thành về mặt cơ bản nội dung đã đề ra. Đĩ là sự
kết hợp giữa xử lí ảnh và lý thuyết nhận dạng nhằm giải quyết một phần bài tốn nhận dạng chữ viết tay và phát triển một số ứng dụng dựa trên kết quả đã đạt
được. Mặc dù hết sức cố gắng, song sai sĩt là điều khơng tránh khỏi.
Để đánh giá chính xác hiệu quả của chương trình cần nhiều thời gian và những kiểm nghiệm thực tế. Theo ý kiến chủ quan em, trong quá trình thử nghiệm và cài đặt chương trình cĩ thể rút ra những nhận xét sau:
Ưu điểm:
Khả năng nhận dạng các kí tự chữ số và kí tự chữ cái viết hoa là tương đối tốt, với trạng thái viết thoải mái, bình thường và kiểu chữ viết khơng phức tạp.
Điều này cho thấy hướng đi của lý thuyết đề ra là hợp lý, làm nền tảng cơ sở cho sự phát triển ứng dụng sau này của hệ thống.
Việc tách các kí tự ra khỏi văn bản tương đối chính xác.
Ta chỉ mất nhiều thời gian cho quá trình huấn luyện mạng, song quá trình nhận dạng thì đơn giản và nhanh chĩng.
Với cơ sở lý thuyết đã nêu và những thử nghiệm cho thấy dựa vào đĩ ta cĩ thể xây dựng được nhiều ứng dụng khác nhau.
Nhược điểm:
Chương trình đang ở mức thử nghiệm, chưa áp dụng vào thực tế.
Hệ thống cài đặt cịn hạn chế về giao diện, việc quản lí bộ nhớ chưa được chú trọng, cụ thể cần phải thay đổi định dạng file ảnh lưu trữ vì kích thước định dạng file *.bmp là quá lớn.
hình phân lớp với nhau.
Bên cạnh đặc trưng mơ tảđường biên của kí tự ta cần quan tâm đến một số đặc trưng hình học khác như :
- Kích thước theo phương x, y và tỷ lệ của chúng. - Chu vi, diện tích của kí tự.
- Số các lỗ của kí tự.
- Số euler = (Số thành phần liên thơng ) – (Số lỗ của kí tự).
Một vấn đề khác chưa được đề cập đến đĩ là nhận dạng các kí tự viết tay cĩ dấu.
Các vấn đề này vẫn đang được tìm hiểu và thử nghiệm song song với việc phát triển những ứng dụng dựa trên kết quảđạt được nhằm hồn thiện chương trình.
III. Lời cám ơn:
Từđồ án này em đã bước đầu nắm được một số vấn đề xung quanh bài tốn xử lý, nhận dạng ảnh chữ viết tay và phát triển ứng dụng. Qua đây, em xin gửi lời cám ơn chân thành đến thầy Nguyễn Đình Thuân (giáo viên hướng dẫn), đã tận tình chỉ bảo, tạo điều kiện thuận lợi, động viên giúp em hồn thành nội dung đồ án này, cám ơn các bạn sinh viên đã đĩng gĩp nhiều ý kiến quý báu giúp chương trình hồn thiện hơn.
PHẦN IV
PHỤ LỤC GIỚI THIỆU GIAO DIỆN
CHƯƠNG TRÌNH
A. CHƯƠNG TRÌNH THỬ NGHIỆM NHẬN DẠNG KÍ TỰ VIẾT TAY VÀ PHIẾU ĐĂNG KÍ MƠN HỌC. TAY VÀ PHIẾU ĐĂNG KÍ MƠN HỌC.
Chức năng:
- Chọn ứng dụng cần thử nghiệm: nhận dạng kí tự, chữ số, nhận dạng phiếu
đăng kí mơn học.
- Nạp trọng số tương ứng cho ứng dụng cần thử nghiệm. - Nạp mẫu và huấn luyện mạng nơron.
Hình 2. Form nhận dạng: chức năng nạp ảnh, hoặc viết trực tiếp vào vùng trắng để nhận dạng cho ra kết quả.
Chức năng lấy véctơđặc trưng hướng đường biên của mẫu học.
Hình 3. Form minh hoạ tiến trình luyện mạng của mạng nơron.
B. CHƯƠNG TRÌNH THỬ NGHIỆM NHẬN DẠNG VĂN BẢN TIẾNG VIỆT CHỮ IN. TIẾNG VIỆT CHỮ IN.
Chức năng:
Nạp dữ liệu, nhận dạng ảnh văn bản bằng phương pháp đối sánh.
Hình 2. Form nhận dạng ảnh văn bản, chức năng nhận dạng ảnh văn bản và cho ra kết quả.
TÀI LIỆU THAM KHẢO
[1]. “ Nhập mơn xử lý ảnh số”, Lương Mạnh Bá – Nguyễn Thanh Thủy, Nhà xuất bản Khoa Học Kỹ Thuật, 1999.
[2]. “ Nhận dạng chữ viết tay rời tiếng Việt”, luận án thạc sĩ, Phạm Đại Xuân, Đại học Khoa Học Tự Nhiên TPHCM.
[3]. “ Một số phương pháp mới để giải quyết các bài tốn trong nhận dạng tiếng Việt”, luận văn thạc sĩ khoa học, Nguyễn Trí Tuấn, Đại học Khoa Học Tự
Nhiên TPHCM.
[4]. “ Xử lý ảnh và video số”, Nguyễn Kim Sách, Nhà xuất bản Khoa Học Kỹ Thuật.
[5]. “ Mạng nơron phương pháp và ứng dụng”, Nguyễn Đình Thúc, Nhà xuất bản Giáo Dục, 2000 .
[6]. “ Nhận dạng cảm xúc mặt người”, luận văn tốt nghiệp đại học, Ngơ Trung Thành, Đại học Khoa Học Tự Nhiên TPHCM.
[7]. “ Ứng dụng mạng nơron nhân tạo trong hệ thống xử lý biểu mẫu tự động”, Hồng Kiếm (Khoa cơng nghệ thơng tin Đại học Khoa Học Tự Nhiên
TPHCM), Nguyễn Hồng Sơn - Đào Minh Sơn ( Trung tâm máy tính, Cục xuất nhập cảnh, Bộ cơng an).
[8]. “ Giáo trình lý thuyết và bài tập Borland Delphi”, Lê Phương Lan --
Hồng Đức Hải, Nhà xuất bản Giáo Dục, 2000. [9]. “ Practical computer vision using C “, J.R.Parker. [10]. Ebook: “Pattern_Recognition_with_Neural_Networks_in_C++”. [11]. “Extraction of Data from Preprinted Forms” A.Ltaylor, R.Fritzson, J.A.Pastor, Machine Vision Applications, vol.5, pp.211-222,1992. [12]. “ Open CV”, Intel open source computer vision library. MỤC LỤC Trang Lời nĩi đầu ... 1 Nhận xét của giáo viên ... 2 Phần I: Tổng quan và cơ sở lý thuyết tiền xử lý ảnh kí tự... 3 Chương I: Tổng quan ... 4 I. Giới thiệu bài tốn ... 4 II. Cấu trúc nội dung của đồ án ... 5 Chương II: Cơ sở lý thuyết tiền xử lý ảnh kí tự ... 6 I. Lọc mịn ảnh ... 6 II. Nhị phân ảnh ... 6
III. Đánh nhãn thành phần liên thơng ... 8
1. Tách liên thơng bằng kỹ thuật đệ quy ... 8
2. Giải thuật cải tiến ... 9 IV. Chỉnh nghiêng ... 11 V. Chuẩn kích thước ... 12 VI. Lấp khoảng trống ảnh bằng phép đĩng morphology ... 12 1. Một sốđịnh nghĩa ... 12 2. Phép giãn ... 13 3. Phép co ... 13 4. Phép đĩng ... 13
2. Dị biên và mã hốđường biên ... 14
3. Xác định hướng của điểm biên ... 15
4. Làm trơn đường biên ... 15
Chương III: Rút đặc trưng ... 18
I. Giới thiệu đặc trưng hướng ... 18
II. Chia ơ... 18
III. Đặc trưng hướng của đường biên ... 19
Phần II: Các mơ hình nhận dạng ... 20
Chương I: Giới thiệu các mơ hình phân lớp, nhận dạng ... 21
I. Khái quát tình hình nghiên cứu, ứng dụng lý thuyết nhận dạng ... 21 II. Một số khái niệm về nhận dạng ... 22 1. Nhận dạng ... 22 2. Tập mẫu nhận dạng ... 22 3. Độđồng dạng và dị dạng ... 22 4. Khoảng cách đối tượng ... 22
III. Một số thuật tốn phân lớp ... 23
1. Xếp lớp khoảng cách cực tiểu ... 23
2. Thuật tốn hàm thế ... 23
3. Phương pháp LDA (Linear Discriminant Analysis) ... 24
Chương II: Phân lớp dựa trên mạng nơron lan truyền ngược ... 28
I. Giới thiệu ... 28 II. Hoạt động... 29 1. Trạng thái ánh xạ ... 29 2. Trạng thái học ... 32 a. Phương pháp giảm gradient ... 32 b. Cập nhật trọng số theo phương pháp giảm gradient ... 32 c. Quy tắc tính đạo hàm lỗi ... 33
3. Một vài kỹ thuật luyện mạng... 36
a. Học theo lơ ... 36
b. Ngăn chặn quá khớp ... 36
Phần III: Kết quả thử nghiệm ... 37
Chương I: Minh hoạứng dụng giải thuật tách thành phần liên thơng trong bài tốn nhận dạng ảnh văn bản ... 38
I. Nhận dạng một văn bản ... 38
II. Minh hoạ chương trình ... 39
Chương II: Chương trình nhận dạng kí tự viết tay ... 40
I. Giới thiệu chương trình ... 40
II. Thực hiện chương trình ... 40
2. Trích chọn đặc trưng ... 41
3. Bộ phân lớp ... 41
III. Minh hoạ một số kết quả ... 46
Chương III: Ứng dụng xử lý phiếu đăng kí mơn học ... 52
I. Giới thiệu ... 52
II. Thực hiện chương trình ... 54
1. Định dạng và lấy thơng tin từ biểu mẫu... 54
a. Tìm dấu hiệu định vị biểu mẫu ... 54
b. Loại bỏ thơng tin in trước bằng cách so khớp với mặt nạ mẫu ... 56
c. Lấy thơng tin vùng dữ liệu ... 56
2. Xác định véctơ đặc trưng của ký tự ... 56
3. Nhận dạng véc tơ đặc trưng ... 57
III. Minh hoạ một số kết quả ... 58
Chương IV: Đánh giá kết luận và hướng phát triển của đề tài 62 I. Nhận xét chung... 62
II. Hướng phát triển ... 62
III. Lời cám ơn ... 63
Phần IV: Phụ lục giới thiệu giao diện chương trình ... 64
A. Chương trình thử nghiệm nhận dạng kí tự viết tay và phiếu đăng kí mơn học ... 65
B. Chương trình thử nghiệm nhận dạng văn bản tiếng Việt chữ in... ... 67
Tài liệu tham khảo:... ... 68