Tìm hiểu bài toán nhận dạng kí tự viết tay và phát triển ứng dụng

Nhận dạng kí tự viết tay phát triển ứng dụng LỜI NĨI ĐẦU Nhận dạng kí tự, đặc biệt kí tự viết tay tốn có nhiều ứng dụng thực tiễn Về mặt lý thuyết, chưa có phương pháp hồn chỉnh cho cho tốn tính phức tạp, biến dạng liệu đầu vào Những năm gần đây, vơí phát triển lý thuyết nhận dạng, công nghệ xử lý ảnh, có nhiều nghiên cứu mang lại số kết cho tốn nhận dạng kí tự viết tay, từ mở hàng loạt ứng dụng thực tế Mục tiêu đồ án nhằm giới thiệu cách tiếp cận tốn nhận dạng chữ viết tay với số ràng buộc, nhằm bước đưa vào ứng dụng thực tiễn Mặc dù cố gắng, song thời gian có hạn hạn chế thân nên đồ án cịn thiếu sót, mong tiếp tục nhận bảo Thầy, Cô ý kiến đóng góp bạn sinh viên để đồ án hồn thiện Em xin chân thành cảm ơn Nha Trang Ngày 10 tháng năm 2003 SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng NHẬN XÉT CỦA GIÁO VIÊN Giáo viên nhận xét PHẦN I SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng TỔNG QUAN VÀ CƠ SỞ LÝ THUYẾT TIỀN XỬ LÝ ẢNH KÍ TỰ CHƯƠNG I TỔNG QUAN I Giới thiệu tốn: Nhận dạng kí tự, đặc biệt kí tự viết tay tốn có nhiều ứng dụng thực tế Máy tính xử lí, nhận dạng biểu mẫu, phiếu điều tra tự động, cách ta tiết kiệm nhiều chi phí thời gian, cơng sức chi phí khác cho việc nhập liệu Ngày với phát triển mặt lý thuyết, cơng nghệ, có nhiều hướng cho việc giải tốn như: nhận dạng kí tự dựa cấu trúc hay cách tiếp cận khác dùng: logic mờ, giải thuật di truyền, mơ hình xác suất thống kê, mơ hình mạng nơ ron Đặc biệt năm gần mơ hình mạng nơron quan tâm nhiều khả tổng hợp mơ hình phát triển tốc độ xử lí máy tính Trên giới có nhiều chương trình nhận dạng chữ viết (chữ in viết tay) thứ tiếng Anh, Nga, v.v hệ OMNIPAGE, READWRITE, WORD-SCAN, Ở Việt Nam có số hệ WORC cơng SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng ty 3C, VIET-IN công ty SEATIC, VNDOCR Viện Công Nghệ Thông Tin, Image Scon Trung Tâm Tự Động Hóa Thiết Kế, hệ WINGIS cơng ty DolfSoft Nhìn chung, sản phẩm phần mềm nhận dạng văn Tiếng Việt chữ in nước ta thu kết khả quan, đặc biệt phần mềm VNDOCR sử dụng rộng rãi quan nhà nước Riêng phần nhận dạng kí tự viết tay nghiên cứu phát triển nhằm phục vụ cho yêu cầu khác đọc xử lý biểu mẫu: hố đơn, phiếu điều tra Với mục tiêu tìm hiểu tốn nhận dạng ảnh kí tự viết tay khơng trực tuyến (off-line), đồng thời sử dụng kết vào việc xử lí phiếu đăng kí mơn học Trường Đại Học Thuỷ Sản Nha Trang Nội dung đồ án thử nghiệm xây dựng chương trình nhận dạng ảnh kí tự viết tay nêu trên, cách sử dụng mạng nơron để nhận dạng kí tự, dựa tập mẫu kí tự mã hố đặc trưng đường biên Trong trình tìm hiểu lý thuyết xây dựng chương trình, em tham khảo nhiều nguồn tài liệu, ý tưởng xác định véc tơ đặc trưng kí tự viết tay sử dụng đồ án tham khảo từ luận án thạc sĩ “ Nhận dạng chữ viết tay rời Tiếng Việt”, tác giả Phạm Đại Xuân, Đại học khoa học tự nhiên Thành Phố Hồ Chí Minh II Cấu trúc, nội dung đồ án: Nội dung đồ án chia làm phần: Phần I: Giới thiệu tổng quan sở lý thuyết tiền xử lí ảnh kí tự, gồm chương: Chương 1: Giới thiệu tổng quan Chương 2: Giới thiệu sở lí thuyết tiền xử lí ảnh kí tự Chương 3: Giới thiệu cách xác định đặc trưng kí tự Phần II: Giới thiệu mơ hình nhận dạng, gồm chương Chương 1: Giới thiệu số kĩ thuật phân lớp: đối sánh, sử dụng hàm thế, phương pháp LDA Chương 2: Giới thiệu mơ hình mạng nơ ron cho tốn nhận dạng Phần III: Giới thiệu số ứng dụng đánh giá kết luận gồm chương Chương 1: Giới thiệu ứng dụng kĩ thuật tách liên thơng cho việc tách liên thơng kí tự văn Chương 2: Xây dựng, đánh giá chương trình nhận dạng kí tự viết tay Chương 3: Đưa kết vào ứng dụng xây dựng chương trình xử lí phiếu đăng kí mơn học cho sinh viên trường Đại học Thuỷ Sản Nha Trang Chương 4: Đánh giá kết luận nêu hướng phát triển đề tài Phần IV : Phụ lục giới thiệu giao diện chương trình SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng CHƯƠNG II CƠ SỞ LÝ THUYẾT TIỀN XỬ LÍ ẢNH KÍ TỰ I Lọc mịn ảnh: Lọc mịn ảnh lọc thông thấp, giá trị điểm ảnh trung bình trọng số điểm ảnh lân cận, hay giá trị điểm ảnh kết trình xoắn (convole) điểm ảnh lân cận với nhân Nhân có kích thước tuỳ ý 3x3, 5x5, kích thước nhân lớn nhiều điểm lân cận ảnh hưởng vào điểm ảnh kết Ví dụ số nhân lọc mịn ảnh sau: 1 1 1 1 1 1 1 1 1 1 1 1 1/9 1/10 1/12 Lọc mịn ảnh có tác dụng hạn chế ảnh nhiễu muối tiêu II Nhị phân ảnh: Nhị phân ảnh mức xám tìm giá trị ngưỡng cho điểm ảnh có giá trị lớn ngưỡng gọi trắng(nền) điểm ảnh có giá trị nhỏ ngưỡng gọi đen (đối tượng) Tiêu chuẩn xác định ngưỡng thường sử dụng sử dụng sai số bình phương trung bình giá trị mẫu v mức tái thiết r(v) (ký hiệu MSE) Ta có:    E e = E v  r v    v  r v 2 pv dv 2 Trong p(v) hàm mật độ xác suất biến ngẫu nhiên v, coi xấp xỉ histogram ảnh Với số cho trước L mức xám MSE biểu diễn bởi:   E e2   j 1  v  v  pv dv j j SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Do r(v)=rj số đoạn [vj , vj+1] Với p(v) cho trước số mức tái thiết L cố định, mức định vj , j= 1…L-1 mức tái thiết rj , j=0 L-1 cực tiểu hố MSE tuân theo quan hệ sau: vj  r j 1  r j j  L  v j 1  vpv dv rj  vj j  L  v j 1 v dv có cách giải dạng khép kín tồn trừ Tuy nhiên, pkhông chấp nhận sốv phép xấp xỉ Bây ta xem xét trường hợp ngoại lệ quan trọng với L=2 Đó trường hợp nhị phân hố ảnh Khi MSE trở thành: j v1    v  r  pv dv E e2  v0 v2   v  r1  pv dv v1 Giả sử p(v) ước lượng từ histogram v0, v2 tương ứng với vmin, vmax Còn lại ba tham số cần tính tốn r0, r1, v1 Tham số v1 gọi ngưỡng nhị phân hố Hơn r0(v1) r1(v1) cực tiểu MSE, với giá trị cho trước vj, đơn giản giá trị trung bình đoạn tương ứng: v1  vpv dv r0 v1   v0 v1  pv dv v0 v2  vpv dv r1 v1   v1 v2  pv dv v1 Như đủ để biến đổi v1 từ v0 đến v2 MSE tính cách thay r0 r1 r0(v1) r1(v1) tương ứng chọn vl* cho MSE cực tiểu Otsu đề nghị cách tương tự tiêu chuẩn đơn giản mặt tính tốn dựa phân tích biệt số Trong cơng thức này, MSE tương đương với phương sai lớp W2(v1) Nếu W2(v1) bổ sung vào phương sai lớp SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng B2(v1), ta tồn biến đổi T2( độc lập v1) Như vậy, thay cực tiểu MSE, giải thuật Otsu cực đại phương sai lớp:  v1*  arg max p0 v1  v1    T   p1 v1 1 v1    T   Trong đó: p v1    v1  p1 v1     v1   v1    v1   v1     v1  1 v1   T   v1   T   v  v max  Và v1  v1    p v dv v0 v1  v1    vpv dv v Biểu thức đơn giản thành :   T  v1    v1 2  v  arg max     v1 1   v1   * Thật ra, tồn số tiêu chuẩn lượng hố khác, chẳng hạn entropy, histogram mức xám Histogram tính từ tồn ảnh từ lân cận địa phương giới hạn xung quanh ảnh xét III Đánh nhãn thành phần liên thơng: Khái niệm liên thơng kí tự xem tập hợp điểm ảnh liền tạo nên kí tự, mục tiêu giải thuật lọc kí tự có ảnh Tách liên thông kĩ thuật đệ quy : Để tách liên thông ta nghĩ đến kỹ thuật đệ quy cấp (tại bước có tối đa lựa chọn tiếp theo) Quy ước : Điểm (x, y) : cho biết giá trị điểm toạ độ (x, y) =1 màu chữ =0 màu Height : Chiều cao ảnh Width : Chiều rộng ảnh Ta có giải thuật sau: // Đưa tất điểm liên thông với Điểm(x,y) vào liên thông t Procedure Chonvao((x,y) :điểm, t :liênthông) Begin If (Điểm(x, y)=1) AND (NOT đã_xét[x,y]) then Begin Them_vao_lien_thong(t,(x, y)); SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Đã_xét[x, y] :=True ; For i :=x-1 to x+1 For j:= y-1 to y+1 If ( i x) or (jy) then Chonvao((i, j),t); End; End ; // Ta có thủ tục tách liên thông đệ quy sau : Procedure TáchLiênThôngĐQ(VAR LT: Danh_Sách_Liên_Thông) Begin T:= t:= For j:=1 to Height For i:=1 to Width đã_xét[i, j]:=False; For j:=1 to Height For i:=1 to Width If (Điểm(x, y)=1) AND( NOT Đã_xét[i, j]) then Begin Chonvao( (i, j ),t); Thêm _liên_thông_vào_Danh_Sách(T, t) ; t := ; End ; End; Nhận xét: Thuật tốn có ý nghĩa minh hoạ chất tách liên thông Ta không chọn thuật tốn cài đặt chi phí đệ quy q cao, chưa kể tốc độ thực Giải thuật cải tiến: Để gán nhãn cho thành phần liên thông ta duyệt theo đường chạy Kỹ thuật gán cho thành phần liên thông ảnh nhị phân nhãn riêng biệt Nhãn thường số tự nhiên đến tổng số thành phần liên thông ảnh input Giải thuật phát biểu sau: Quét ảnh từ trái sang phải từ xuống Trong dòng thứ chứa pixel đen, nhãn gán cho đường chạy liên tục pixel đen Với pixel đen dòng tiếp theo, pixel lân cận dòng trước pixel bên trái xem xét (hình vẽ a ) Nếu pixel lân cận gán nhãn, nhãn tương tự gán cho pixel đen thời; ngược lại, nhãn chưa sử dụng chọn Thủ tục sử dụng dịng cuối ảnh Lúc kết thúc tiến trình này, thành phần liên thơng chứa pixel có nhãn khác xem xét lân cận pixel đen, chẳng hạn pixel “?” (trong hình c), pixel lân cận trái lân cận dịng trước gán nhãn cách riêng biệt (Trong ví dụ này, sử dụng nhãn lân cận trái) Một tình phải xác định ghi lại Sau SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng tiến trình quét ảnh, việc gán nhãn hồn tất cách “thống mâu thuẫn nhãn” gán lại nhãn chưa sử dụng Để minh hoạ ta có hình biểu diễn sau: P PP L? Hình a lân cận “?” P= dòng trước; L=lân cận trái * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *  1 1 1 1 1 1 ? * * * * * * * * * Hình b Aûnh ban đầu 1 1 1 1 1 1 4 4 4 2 2 2 2 2 1 1 3 3 2 2 2 2 2 * * * * * * * * * * Hình c Tiến trình gán nhãn  1 1 1 1 1 1 3 3 3 1 1 1 1 1 1 1 2 2 Hình d nghiêng: Sau quét đầy đủ Hình e Kết sau IV Chỉnh Chỉnh nghiêng ảnh phép biến đổi tuyến tính toạ độ điểm ảnh Trước hết ta phải xác định góc nghiêng tổng thể đối tượng, ta dịch chuyển điểm ảnh đối tượng theo phương ngang tuỳ theo giá trị góc nghiêng tổng thể giá trị y điểm + - Hình a Hình b Chuyển gớc toạ độ trọng tâm ảnh hình b Góc nghiêng kí tự qui ước tính góc từ trục tung, hướng bên trái có giá trị dương, hướng bên phải có giá trị âm SVTH : NguyễnĐình Cường Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Góc nghiêng tổng thể kí tự hướng trung bình điểm ảnh đối tượng có giá trị góc khoảng –450 đến 450 theo quy ước tính góc Các điểm ảnh đối tượng có hướng ngồi khoảng –450 đến 450 khơng tính Giả sử gọi  góc nghiêng tổng thể kí tự , điểm ảnh đối tượng p(x,y) (trong hệ toạ độ ) có toạ độ p(x’ ,y’) (trong hệ toạ độ ) với : x '  x  tg    y y'  y Để tính góc nghiêng tổng thể ta phải tính hướng điểm ảnh đối tượng Hướng điểm ảnh đối tượng tính nhờ vào vectơ gradient điểm ảnh Vectơ gradient điểm ảnh (x, y)là:  f  G x   x  f      f  G y     y  Độ lớn vectơ gradient (x,y) tính bởi: f  G x2  G y2 Hướng vectơ gradient tại(x,y) tính bởi:  Gy    x, y   tan 1   Gx  Gx Gy kết xoắn (convolve) với nhân Sobel Sx Sy: -1 -2 -1 -1 0 -2 2 -1 Sy Sx Hình Các nhân lọc Sobel Chú ý: góc tính theo gradient điểm ảnh đối tượng góc so với trục x xét điểm có hướng vectơ gradient thoả khoảng [450,1350] hay [-1350,-450] V Chuẩn kích thước: Chuẩn kích thước ảnh kí tự kích thước cố định phóng sát bốn biên ảnh Phóng ảnh thực phép biến đổi sau: f s  x, y   f x s x , y s y  Với (x, y) toạ độ điểm ảnh sau phóng sx ,sy tỷ lệ phóng theo trục x y tương ứng, fx(x,y) giá trị điểm ảnh kết ứng với giá trị toạ độ (x, y) Chú ý: SVTH : NguyễnĐình Cường Trang 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng b Loại bỏ thông tin in trước cách so khớp với mặt nạ mẫu: Căn vào điểm chuẩn ta định vị toạ độ ô của vùng liệu gồm: ô chứa mã số sinh viên, ô chứa thông tin đăng kí môn học Tọa độ ô xác định trước so với điểm chuẩn vừa nêu, ta xem mặt nạ mẫu c Lấy thông tin vùng liệu: nh kí tự vng nhỏ cắt ra, chuẩn bị xử lý để xác định véctơ đặc trưng Chú ý cần phải loại bỏ nhiễu gây đường khung xung quanh kí tự trước đưa vào xử lý lấy đặc trưng kí tự Cách giải quyết: ta vào mật độ phân bố điểm đen đường chạy lân cận cạnh khung kí tự, tỉ số phân bố số điểm đen điểm trắng đường chạy đểphân biệt đâu nhiễu khung xung quanh kí tự gây Ví dụ: Nhiễu cắt phạm khung vng biểu mẫu Hình minh hoạ kí tự bị nhiễu cắt phạm đường khung Sau loại bỏ tượng nhiễu này, ảnh kí tự đưa vào xác định véctơ đặc trưng để xử lý rút vectơ đặc trưng cho kí tự cần nhận dạng Xác định vectơ đặc trưng kí tự: Trươc tiên, ảnh kí tự lọc nhiễu, chỉnh nghiêng, chuẩn hố kích thước chuẩn 80x56 Sau đó, tiến hành xác định véctơ đặc trưng kí tự chương trình thử nghiệm nhận dạng chữ viết tay vừa nêu, dựa sở lý thuyết trình bày phần II, chương III Như với kí tự ta xác định véctơ đặc trưng mô tả đường biên có dạng sau: X=(x1, x2, xn), n=216 Trong n số chiều véctơ X, hay cịn số đặc trưng kí tự Nhận dạng véctơ đặc trưng: Chương trình sử dụng mạng nơron phần ứng dụng nhận dạng chữ viết tay để tiến hành phân lớp kí tự SVTH : NguyễnĐình Cường Trang 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Do đặc điểm liệu cần phân lớp gồm kí tự số, số kí tự viết hoa, nên số lớp kí tự thu nhỏ lại, điều nâng cao khả nhận biết độ xác mạng Cụ thể mạng huấn luyện cho 20 lớp kí tự gồm : Kí tự số: 0, 1, 2, 3, 4, 5, 6, 7, 8, Kí tự chữ hoa: B, C, D, H, K, L, N, P, S, T Mạng huấn luyện sau 50.000 học kì với tập mẫu gồm 2051 véctơ đặc trưng kí tự, hệ số   0.08 Kết khả phân lớp mạng tương đối tốt Nhận xét: Có vị trí mà ta biết trước chắn liệu kí tự chữ hay kí tự số, sử dụng ràng buộc để tăng độ xác cho việc phân lớp mạng III Minh hoạ số kết quả: nh phiếu đăng kí mơn học điền đầy đủ thơng tin SVTH : NguyễnĐình Cường Trang 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Kết xử lí: SVTH : NguyễnĐình Cường Trang 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Hình minh hoạ kết lấy thơng tin phiếu đăng kí mơn học nh phiếu đăng kí mơn học ghi trực tiếp chương trình SVTH : NguyễnĐình Cường Trang 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Kết xử lí: SVTH : NguyễnĐình Cường Trang 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Hình minh hoạ kết xử lí phiếu đăng kí mơn học CHƯƠNG IV ĐÁNH GIÁ KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI I Nhận xét chung: Nhìn chung đồ án hồn thành mặt nội dung đề Đó kết hợp xử lí ảnh lý thuyết nhận dạng nhằm giải phần tốn nhận dạng chữ viết tay phát triển số ứng dụng dựa kết đạt Mặc dù cố gắng, song sai sót điều khơng tránh khỏi Để đánh giá xác hiệu chương trình cần nhiều thời gian kiểm nghiệm thực tế Theo ý kiến chủ quan em, trình thử nghiệm cài đặt chương trình rút nhận xét sau: Ưu điểm: Khả nhận dạng kí tự chữ số kí tự chữ viết hoa tương đối tốt, với trạng thái viết thoải mái, bình thường kiểu chữ viết không phức tạp Điều cho thấy hướng lý thuyết đề hợp lý, làm tảng sở cho phát triển ứng dụng sau hệ thống Việc tách kí tự khỏi văn tương đối xác Ta nhiều thời gian cho trình huấn luyện mạng, song trình nhận dạng đơn giản nhanh chóng Với sở lý thuyết nêu thử nghiệm cho thấy dựa vào ta xây dựng nhiều ứng dụng khác Nhược điểm: Chương trình mức thử nghiệm, chưa áp dụng vào thực tế Hệ thống cài đặt hạn chế giao diện, việc quản lí nhớ chưa trọng, cụ thể cần phải thay đổi định dạng file ảnh lưu trữ kích thước định dạng file *.bmp lớn II Hướng phát triển: SVTH : NguyễnĐình Cường Trang 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Để nâng cao hiệu quả, độ xác nhận dạng ta phối hợp nhiều mơ hình phân lớp với Bên cạnh đặc trưng mơ tả đường biên kí tự ta cần quan tâm đến số đặc trưng hình học khác : - Kích thước theo phương x, y tỷ lệ chúng - Chu vi, diện tích kí tự - Số lỗ kí tự - Số euler = (Số thành phần liên thông ) – (Số lỗ kí tự) Một vấn đề khác chưa đề cập đến nhận dạng kí tự viết tay có dấu Các vấn đề tìm hiểu thử nghiệm song song với việc phát triển ứng dụng dựa kết đạt nhằm hồn thiện chương trình III Lời cám ơn: Từ đồ án em bước đầu nắm số vấn đề xung quanh tốn xử lý, nhận dạng ảnh chữ viết tay phát triển ứng dụng Qua đây, em xin gửi lời cám ơn chân thành đến thầy Nguyễn Đình Thuân (giáo viên hướng dẫn), tận tình bảo, tạo điều kiện thuận lợi, động viên giúp em hồn thành nội dung đồ án này, cám ơn bạn sinh viên đóng góp nhiều ý kiến q báu giúp chương trình hồn thiện SVTH : NguyễnĐình Cường Trang 55 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng PHẦN IV PHỤ LỤC GIỚI THIỆU GIAO DIỆN CHƯƠNG TRÌNH A CHƯƠNG TRÌNH THỬ NGHIỆM NHẬN DẠNG KÍ TỰ VIẾT TAY VÀ PHIẾU ĐĂNG KÍ MƠN HỌC SVTH : NguyễnĐình Cường Trang 56 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Hình Form chương trình Chức năng: - Chọn ứng dụng cần thử nghiệm: nhận dạng kí tự, chữ số, nhận dạng phiếu đăng kí mơn học - Nạp trọng số tương ứng cho ứng dụng cần thử nghiệm - Nạp mẫu huấn luyện mạng nơron Hình Form nhận dạng: chức nạp ảnh, viết trực tiếp vào vùng trắng để nhận dạng cho kết Hình Form lấy đặc trưng mẫu học SVTH : NguyễnĐình Cường Trang 57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Chức lấy véctơ đặc trưng hướng đường biên mẫu học Hình Form minh hoạ tiến trình luyện mạng mạng nơron B CHƯƠNG TRÌNH THỬ NGHIỆM NHẬN DẠNG VĂN BẢN TIẾNG VIỆT CHỮ IN Hình Form chương trình SVTH : NguyễnĐình Cường Trang 58 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Chức năng: Nạp liệu, nhận dạng ảnh văn phương pháp đối sánh Hình Form nhận dạng ảnh văn bản, chức nhận dạng ảnh văn cho kết TÀI LIỆU THAM KHẢO [1] “ Nhập môn xử lý ảnh số”, Lương Mạnh Bá – Nguyễn Thanh Thủy, Nhà xuất Khoa Học Kỹ Thuật, 1999 [2] “ Nhận dạng chữ viết tay rời tiếng Việt”, luận án thạc sĩ, Phạm Đại Xuân, Đại học Khoa Học Tự Nhiên TPHCM [3] “ Một số phương pháp để giải tốn nhận dạng tiếng Việt”, luận văn thạc sĩ khoa học, Nguyễn Trí Tuấn, Đại học Khoa Học Tự Nhiên TPHCM [4] “ Xử lý ảnh video số”, Nguyễn Kim Sách, Nhà xuất Khoa Học Kỹ Thuật [5] “ Mạng nơron phương pháp ứng dụng”, Nguyễn Đình Thúc, Nhà xuất Giáo Dục, 2000 [6] “ Nhận dạng cảm xúc mặt người”, luận văn tốt nghiệp đại học, Ngô Trung Thành, Đại học Khoa Học Tự Nhiên TPHCM [7] “ Ứng dụng mạng nơron nhân tạo hệ thống xử lý biểu mẫu tự động”, Hồng Kiếm (Khoa công nghệ thông tin Đại học Khoa Học Tự Nhiên SVTH : NguyễnĐình Cường Trang 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng TPHCM), Nguyễn Hồng Sơn - Đào Minh Sơn ( Trung tâm máy tính, Cục xuất nhập cảnh, Bộ cơng an) [8] “ Giáo trình lý thuyết tập Borland Delphi”, Lê Phương Lan -Hồng Đức Hải, Nhà xuất Giáo Dục, 2000 [9] “ Practical computer vision using C “, J.R.Parker [10] Ebook: “Pattern_Recognition_with_Neural_Networks_in_C++” [11] “Extraction of Data from Preprinted Forms” A.Ltaylor, R.Fritzson, J.A.Pastor, Machine Vision Applications, vol.5, pp.211-222,1992 [12] “ Open CV”, Intel open source computer vision library MỤC LỤC Trang Lời nói đầu Nhận xét giáo viên Phần I: Tổng quan sở lý thuyết tiền xử lý ảnh kí tự Chương I: Tổng quan I Giới thiệu tốn II Cấu trúc nội dung đồ án Chương II: Cơ sở lý thuyết tiền xử lý ảnh kí tự I Lọc mịn ảnh II Nhị phân ảnh III Đánh nhãn thành phần liên thông Tách liên thông kỹ thuật đệ quy Giải thuật cải tiến IV Chỉnh nghiêng 11 V Chuẩn kích thước 12 VI Lấp khoảng trống ảnh phép đóng morphology 12 Một số định nghĩa 12 Phép giãn 13 Phép co 13 Phép đóng 13 VII Lấy đường biên làm trơn đường biên 14 SVTH : NguyễnĐình Cường Trang 60 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Phát biên 14 Dò biên mã hố đường biên 14 Xác định hướng điểm biên 15 Làm trơn đường biên 15 Chương III: Rút đặc trưng 18 I Giới thiệu đặc trưng hướng 18 II Chia ô 18 III Đặc trưng hướng đường biên 19 Phần II: Các mơ hình nhận dạng 20 Chương I: Giới thiệu mơ hình phân lớp, nhận dạng 21 I Khái quát tình hình nghiên cứu, ứng dụng lý thuyết nhận dạng 21 II Một số khái niệm nhận dạng 22 Nhận dạng 22 Tập mẫu nhận dạng 22 Độ đồng dạng dị dạng 22 Khoảng cách đối tượng 22 III Một số thuật tốn phân lớp 23 Xếp lớp khoảng cách cực tiểu 23 Thuật tốn hàm 23 Phương pháp LDA (Linear Discriminant Analysis) 24 Chương II: Phân lớp dựa mạng nơron lan truyền ngược 28 I Giới thiệu 28 II Hoạt động 29 Trạng thái ánh xạ 29 Trạng thái học 32 a Phương pháp giảm gradient 32 b Cập nhật trọng số theo phương pháp giảm gradient 32 c Quy tắc tính đạo hàm lỗi 33 Một vài kỹ thuật luyện mạng 36 a Học theo lô 36 b Ngăn chặn khớp 36 Phần III: Kết thử nghiệm 37 Chương I: Minh hoạ ứng dụng giải thuật tách thành phần liên thông tốn nhận dạng ảnh văn 38 I Nhận dạng văn 38 II Minh hoạ chương trình 39 Chương II: Chương trình nhận dạng kí tự viết tay 40 I Giới thiệu chương trình 40 II Thực chương trình 40 Tiền xử lý 41 SVTH : NguyễnĐình Cường Trang 61 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng Trích chọn đặc trưng 41 Bộ phân lớp 41 III Minh hoạ số kết 46 Chương III: Ứng dụng xử lý phiếu đăng kí mơn học 52 I Giới thiệu 52 II Thực chương trình 54 Định dạng lấy thông tin từ biểu mẫu 54 a Tìm dấu hiệu định vị biểu mẫu 54 b Loại bỏ thông tin in trước cách so khớp với mặt nạ mẫu 56 c Lấy thông tin vùng liệu 56 Xác định véctơ đặc trưng ký tự 56 Nhận dạng véc tơ đặc trưng 57 III Minh hoạ số kết 58 Chương IV: Đánh giá kết luận hướng phát triển đề tài62 I Nhận xét chung 62 II Hướng phát triển 62 III Lời cám ơn 63 Phần IV: Phụ lục giới thiệu giao diện chương trình 64 A Chương trình thử nghiệm nhận dạng kí tự viết tay phiếu đăng kí mơn học 65 B Chương trình thử nghiệm nhận dạng văn tiếng Việt chữ in 67 Tài liệu tham khảo: 68 Mục lục: 69 SVTH : NguyễnĐình Cường Trang 62 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng SVTH : NguyễnĐình Cường Trang 63 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... tự viết tay phát triển ứng dụng CHƯƠNG II CHƯƠNG TRÌNH NHẬN DẠNG KÍ TỰ VIẾT TAY I Giới thiệu chương trình: Chương trình nhận dạng kí tự viết tay khơng trực tuyến, ảnh kí tự nhận dạng thu nhận. .. luanvanchat@agmail.com Nhận dạng kí tự viết tay phát triển ứng dụng II Minh hoạ chương trình: Chương trình sau minh hoạ cho nhận dạng văn chứa kí tự font VniTimes, size 12.Việc nhận dạng kí tự thực sau: Kí tự chuẩn... Nhận dạng kí tự viết tay phát triển ứng dụng CHƯƠNG I MINH HỌA ỨNG DỤNG GIẢI THUẬT TÁCH THÀNH PHẦN LIÊN THÔNG TRONG BÀI TỐN NHẬN DẠNG ẢNH VĂN BẢN Trước xây dựng chương trình nhận dạng kí tự viết