tìm hiểu bài toán nhận dạng ký tự viết tay và phát triển ứng dụng

tìm hiểu bài toán nhận dạng ký tự viết tay và phát triển ứng dụng tài liệu, giáo án, bài giảng , luận văn, luận án, đồ á...

NỘI DUNG BÁO CÁO

GỒM 3 PHẦN

PHẦN I : GIỚI THIỆU VỀ BÀI TOÁN

PHẦN II : TRÌNH BÀY CƠ SỞ LÝ THUYẾT PHẦN III : TRÌNH BÀY CÀI ĐẶT MỘT SỐ ỨNG DỤNG MINH HỌA

PHẦN I : GIỚI THIỆU BÀI TOÁN

THỬ NGHIỆM

A LÝ THUYẾT XỬ LÝ ẢNH MỘT SỐ THUẬT TOÁN TIỀN XỬ LÝ ẢNH

I Lọc mịn ảnh : dùng lọc trung bình, tác dụng hạn chế nhiễu muối tiêu

Ví dụ: sử dụng nhân lọc như sau:

II Nhị phân ảnh : tìm giá trị ngưỡng để phân mức xám ảnh thành 2 mức

Theo Otsu giá trị ngưỡng được xác định như sau:

2 1 1

* 1

1

max

arg

v v

v v

1 0

dv v p v





Trong đó :

* 1

v

III Tách liên thông: Quét ảnh từ trái sang phải và từ trên xuống dưới, các

pixel đen liên thông với nhau sẽ được gán chung một nhãn, nếu gặp liên thông mới thì nhãn mới sẽ được gán.

* * * * * * * 1 1 1 1 2 2 2 * * * * * * * 1 1 1 2 2 2 2 * * * * * * * * * 1 1 1 1 2 2 2 2 2 * * * * * 1 1 ? * * * * * * * * *  * * * * * * *

* * * * * * * * * * * * * * * * * * * *

Minh họa

1 1 1 1 2 2 2 1 1 1 1 1 1 1 1 1 1 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3  1 1 1 1 1 1 2 .

4 4 3 3 3 3 2 2 4 4 3 3 3 3 2 2 4 4 3 3

IV Chỉnh nghiêng: biến đổi tuyến tính toạ độ điểm ảnh



-+ (x,y)=tan-1(Gy/Gx)

Gy ,Gx là kết quả xoắnđiểm ảnh với nhân Sx, Sy

0

-1 0 1 -2 0 2 -1 0 1

VI Lấp khoảng trống ảnh bằng phép đóng morphology:

Sau khi phóng ảnh, ảnh có thể bị rời rạc, răng cưa biên Để khắc phục tình trạng này ta dùng phép đóng để lấp các khoảng trống làm đầy ảnh.

VII Lấy đường biên và làm trơn đường biên:

Phát hiện biên:

Bằng cách nhân chập ảnh với phần tử có cấu trúc:

Duyệt đường biên :

Đường biên kí tự được duyệt theo cách sau:

Bước 1: quét ảnh đến khi gặp điểm ảnh đen Gọi là pixel 1

Bước 2: Lặp

Nếu “ điểm ảnh hiện thời là đen ” thì “dò ngược”

Ngược lại “sang phải”

Đến khi gặp “pixel 1”

Mã hoá hướng điểm biên:

Sau khi duyệt đường biên, ta tiến hành mã hoá hướng các điểm trên đường biên theo 8 hướng sau:

Quy ước:

0

1

2 3

Làm trơn đường biên:

Duyệt theo đường biên, nếu hai điểm liên tiếp trên đường biên có hiệu số hướng lớn hơn 1 thì hiệu chỉnh để hiệu số hướng bằng 1

B RÚT ĐẶC TRƯNG CỦA KÍ TỰ

I Chia ơ: ảnh sau khi tiền xử lí được chia thành các ơ vuơng nhỏ 8x8 Gom 4 ơ

kích thước 8x8 thành ơ 16x16, các ơ 16x16 phủ lên nhau theo hướng ngang và dọc Trong mỗi ơ 16x16 ta chia làm 4 vùng A, B, C, D:

n

m

D C B A

Vùng A :kích thước 4x4 Vùng B :kích thước 8x8 Vùng C :kích thước 12x12 Vùng D :kích thước 16x16

II Véctơ đặc trưng: đặc trọng số vùng A, B, C, D tương ứng 4, 3, 2, 1 Gọi xj là một loại đặc trưng, xj được tính cho 1 ơ 16x16 như sau:

x j =4x j (A) + 3x j (B) + 2x j (C) + x j (D)

Với mỗi ơ 16x16 ta rút 4 đặc trưng xj (j=1,2,3,4), xj tính như trên

Aûnh kí tự được mơ tả x1: số điểm biên cĩ hướng 0 0 hay (180 0 )

X=(x 1 , x 2 , x 3 , x 4 …x n ) x2: số điểm biên cĩ hướng 45 0 hay (-135 0 )

Với n=k*4 , k là tổng số ơ 16x16 x3: số điểm biên cĩ hướng 90 0 hay (-90 0 )

xếp chồng lên nhau x4: số điểm biên cĩ hướng 135 0 hay (-45 0 )

LÝ THUYẾT NHẬN DẠNG

 PHƯƠNG PHÁP LDA (Linear Disciminant Analysis)

PHÂN LỚP BẰNG MẠNG NƠRON

I Giới thiệu:

Mạng nơron tổng quát có cấu trúc phân lớp,

gồm 3 lớp:

Lớp nhập: nhận giá trị bên ngoài vào

Lớp xuất : lớp cuối cùng, sẽ xuất ra kết quả

Lớp ẩn : các lớp còn lại (có thể không có)

Quá trình nhận dạng của mạng là quá trình

ánh xạ một mẫu x từ không gian các đặc trưng

vào không gian các lớp

II Hoạt động:

Chỉ có thể ở một trong hai trạng thái: trạng thái ánh xạ và trạng thái học.

Trạng thái ánh xạ: thông tin sẽ được lan truyền tiến từ các nút nhập đến các

nút xuất và một mẫu x sẽ được ánh xạ thành một kết quả z

Trạng thái học: các trọng số của kết nối sẽ được điều chỉnh theo một thuật

toán học để mạng có thể xấp xỉ được một hàm mong muốn nào đó Thuật toán lan

truyền ngược là một thuật toán hiệu quả cho quá trình học của mạng.

Minh hoạ mạng nơron

III Giải thuật luyện mạng:

Quá trình học của mạng theo thuật toán lan truyền ngược sẽ lặp đi lặp lại các thao tác sau:

- Lan truyền tiến: tính kết xuất y của mạng với một mẫu x

- Lan truyền ngược : tính sai số giữa kết xuất y và giá trị đích t và lan truyền

ngược sai số này lại để cập nhật trọng số cho mạng

Quá trình học của mạng sẽ dừng khi mạng đạt được một độ lỗi nhất định, hoặc sau giới hạn số lần lặp

Để thay đổi trọng số của mạng nhằm cực tiểu hàm lỗi có thể dùng phương pháp

giảm gradient gồm các bước sau:

- Chọn ngẫu nhiên một điểm x0 trong không gian trọng số

- Tính độ dốc của hàm lỗi tại x0.

-Di chuyển điểm x0 theo hướng dốc nhất của hàm lỗi

Quá trình tính độ dốc và di chuyển điểm x0 được lặp đi lặp lại cho đến khi x0 tiến đến giá trị làm cho hàm lỗi cực tiểu

Ta có công thức cập nhật trọng số theo phương pháp giảm gradient:

) ( )

( )

1

w

E t

w t

w

ij

ij ij

E : hàm lỗi

Ta có hàm lỗi sai số trung bình bình phương được sử dụng là:

K N

t

z E

N n

K k

kn kn

.

)

( 2

Tk : ánh xạ của Xk qua mạng

K : số mẫu học

N : số chiều của vectơ outputM: số chiều của vectơ inputTrong đó :

1 )

(

Mục đích ánh xạ mẫu trong

0.2 0.4 0.6 0.8 1

Đồ thị

PHẦN III

MỘT SỐ ỨNG DỤNG MINH HỌA

THỬ NGHIỆM

TÁCH LIÊN THÔNG TRONG NHẬN DẠNG VĂN BẢN

Nhận dạng văn bản, là một trong những bài toán có liên quan đến nhận dạng kí tự Với cơ sở lý thuyết vừa nêu ta hoàn toàn có thể xây dựng được ứng dụng này

Tập liên thông

đã được xử lý

Các liên thông

đã được sắp xếp theo hàng

Trật tự các liên thông trên hàng được xếp lại

Vị trí các liên thông đã được xếp đúng Văn bản có thể hiệu chỉnh

II Thực hiện: nhận dạng văn bản chứa kí tự font Vni-Times, size 12, không

nghiêng

Xử lý kí tự được thực hiện như sau:

Chuẩn hoá vào lưới ô vuông kích thước 56x48 Xác định đặc trưng như sau:

Chia khung chữ thành nhiều ô vuông kích thước 8x8, trên mỗi ô vuông xác định 4 đặc trưng:

- Tổng số pixel có hướng 0 hoặc 4

- Tổng số pixel có hướng 1 hoặc 5

- Tổng số pixel có hướng 2 hoặc 6

- Tổng số pixel có hướng 3 hoặc 7

Hướng của pixel được xác định so với pixel ở trung tâm của ô vuông kích

thước 8x8 Với một ảnh kí tự ta có được 7x6x4=168 đặc trưng.

X=(x1, x2, …xn) , n=168.

Giải thuật nhận dạng:

Tìm một mẫu trong số các mẫu lưu trữ có đặc trưng gần giống nhất với mẫu cần nhận dạng Hàm “gần giống ” dựa vào hàm tính khoảng cách ơclit giữa hai véctơ

Hình minh hoạ kết quả.

THỬ NGHIỆM NHẬN DẠNG KÍ TỰ VIẾT TAY RỜI RẠC

I Giới thiệu: Chương trình nhận dạng kí tự viết tay, bước đầu thử nghiệm xây dựng bộ nhận dạng cho 2 lớp kí tự:

Lớp kí tự chữ cái: A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U,

V, W, X, Y, Z, a, b, d,e, f, g, h, i, j, k, l, m, n, q, r, s, t, v, x, y

Lớp kí tự số: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9

II Thực hiện chương trình:

Ta cĩ quy trình xử lý như sau:

Aûnh đầu vào  lọc ảnh  nhị phân hố  tách các liên thơng chữ  chỉnh

nghiêng  chuẩn hĩa kích thước  tìm biên  rút đặc trưng trên đường biên 

qua bộ phân lớp  quyết định lớp của ảnh nhận dạng  xuất kết quả theo định

dạng trật tự kí tự trên hàng

Như vậy:

Trong quá trình tiền xử lí, ảnh của kí tự được chuẩn hố về kích thước chuẩn

được chọn là 80x56

Sau khi phát hiện biên và mã hố đường biên, véctơ đặc trưng của kí tự được

xác định như lý thyết đã mơ tả về xác định đặc trưng ở phần B mục xác định đặc trưng của kí tự, từ đĩ ta cĩ X=(x1 , x2 ,… xn) với n=216

Bộ nhận dạng được xây dựng là mạng nơron 2 lớp: 1 lớp vào và 1 lớp

ra Với giải thuật lan truyền ngược và kỹ thuật giảm gradient, chọn

Kết quả:

Minh họa nhận dạng kí tự chữ cái.

Minh họa nhận dạng kí tự số

ỨNG DỤNG XỬ LÝ PHIẾU ĐĂNG KÍ MƠN HỌC

I Giới thiệu: chương trình xử lí phiếu đăng kí mơn học cĩ nhiệm vụ nhận

dạng thơng tin được rút ra từ biểu mẫu, nhằm tiết kiệm chi phí cho việc đăng

kí mơn học

Aûnh phiếu đăng kí mơn học:

Từ phiếu này ta rút ra các thơng tin:

- Mã số sinh viên (MSSV).

- Mã mơn học huỷ bỏ, mã lớp huỷ bỏ mơn này.

- Mã mơn học lại, mã lớp học lại mơn này

- Mã mơn học vượt, mã lớp học vượt mơn này

Như vậy:

Từ các thơng tin trên ta cĩ thể xác định yêu cầu đăng kí mơn học của mỗi sinh viên.

II Quy trình xử lý: thơng tin cần lấy trong phiếu được tạo bởi các kí tự số và kí tự chữ:

Kết quả nhận dạng

Aûnh từng kí tự

Mẫu vectơ đặc trưng

Định dạng và lấy thơng tin

từ biểu mẫu

Xác định véctơ đặc trưng của kí tự

Nhận dạng véctơ đặc trưng

Định dạng và lấy thơng tin từ biểu mẫu:

Tìm kiếm dấu hiệu định vị biểu mẫu, lấy thơng tin trong vùng dữ liệu bằng cách so

khớp với mặt nạ biểu mẫu

Ta có kết quả xử lý và nhận dạng:

NHẬN XÉT VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI

Việc tách kí tự tương đối chính xác.

Chương trình mạng lại nhiều ứng dụng thực tiễn.

Nhược điểm:

Hệ thống còn hạn chế về giao diện, việc quản lí bộ nhớ chưa được chú trọng, cần thay đổi định dạng file ảnh lưu trữ.

II Hướng phát triển:

Tiếp tục nghiên cứu, quan tâm các yếu tố đặc trưng khác để tăng chính xác

cho nhận dạng như các đặc trưng: chu vi, diện tích, số các lỗ của kí tự…v.v.

Mở rộng bộ nhận dạng cho các kí tự có dấu và phát triển các ứng dụng khác.

III Lời cám ơn:

Từ đồ án này em đã bước đầu nắm được một số vấn đề xung quanh bài

toán xử lý, nhận dạng ảnh chữ viết tay và phát triển ứng dụng Qua đây, em

xin gửi lời cám ơn chân thành đến thầy Nguyễn Đình Thuân ( giáo viên

hướng dẫn), đã tận tình chỉ bảo, tạo điều kiện thuận lợi, động viên giúp em hoàn thành nội dung đồ án này, cám ơn các bạn sinh viên đã đóng góp nhiều ý kiến quý báu giúp chương trình hoàn thiện hơn

TÀI LIỆU THAM KHẢO

[1] “ Nhập môn xử lý ảnh số”, Lương Mạnh Bá – Nguyễn Thanh Thủy, Nhà xuất bản Khoa Học Kỹ Thuật, 1999 [2] “ Nhận dạng chữ viết tay rời tiếng Việt”, luận án thạc sĩ, Phạm Đại Xuân, Đại học Khoa Học Tự Nhiên TPHCM.

[3] “ Một số phương pháp mới để giải quyết các bài toán trong nhận dạng tiếng Việt”, luận văn thạc sĩ khoa học, Nguyễn Trí Tuấn, Đại học Khoa Học Tự Nhiên TPHCM.

[4] “ Xử lý ảnh và video số”, Nguyễn Kim Sách, Nhà xuất bản Khoa Học Kỹ Thuật.

[5] “ Mạng nơron phương pháp và ứng dụng”, Nguyễn Đình Thúc, Nhà xuất bản Giáo Dục, 2000

[6] “ Nhận dạng cảm xúc mặt người”, luận văn tốt nghiệp đại học, Ngô Trung Thành, Đại học Khoa Học Tự Nhiên TPHCM.

[7] “ Ứng dụng mạng nơron nhân tạo trong hệ thống xử lý biểu mẫu tự động”, Hoàng Kiếm (Khoa công nghệ thông tin Đại học Khoa Học Tự Nhiên TPHCM), Nguyễn Hồng Sơn - Đào Minh Sơn ( Trung tâm máy tính, Cục xuất nhập cảnh, Bộ công an).

[8] “ Giáo trình lý thuyết và bài tập Borland  Delphi”, Lê Phương Lan Hoàng Đức Hải, Nhà xuất bản Giáo Dục,