NGHIÊN CỨU HIDDEN MARKOV MODEL VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ VIẾT TAY

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG BÁO CÁO LUẬN VĂN NGÀNH KHOA HỌC MÁY TÍNH BÁO CÁO LUẬN VĂN NGÀNH KHOA HỌC MÁY TÍNH Tên đề tài: Nghiên cứu Hidden Markov Model ứng dụng nhận dạng chữ viết tay Họ tên HV : Nguyễn Thị Hà Phương www.themegallery.com Cán hướng dẫn : TS Huỳnh Hữu Hưng Đà Nẵng, ngày dd/MM/2013 Nội dung trình bày Đặt vấn đề Mục đích ý nghĩa đề tài Giải pháp đề xuất Mơ hình Markov ẩn Xây dựng ứng dụng Đánh giá kết đạt Định hướng phát triên Đặt vấn đề  Hiện nay, bảng biểu, bảng điểm, giấy tờ, công văn, thảo viết tay nhiều việc nhập liệu tay tốn nhiều cơng sức thời gian, việc nhận dạng để đọc liệu tự động vào máy tính cần thiết - Nhận dạng chữ in - Nhận dạng chữ viết tay  Đã có số phương pháp nhận dạng chữ viết tay, phương pháp Hidden Markov Model (HMM) sử dụng nhiều nơi có kết khả quan Mục đích ý nghĩa  Mục đích: Nghiên cứu ứng dụng HMM nhận dạng chữ viết tay  Ý nghĩa khoa học:  Nghiên cứu kỹ thuật nhận dạng chữ viết tay  Đánh giá kỹ thuật nhận dạng Hiểu vận dụng HMM nhận dạng chữ viết tay  Ý nghĩa thực tiễn:  Hiểu kiến thức nhận dạng xử lý ảnh  Nắm thao tác đề tài  Tìm hiểu nhiều mẫu chữ viết tay phục vụ nhận dạng Nhiệm vụ đề tài  Nghiên cứu mơ hình Hidden Markov Model  Nghiên cứu chữ viết tay  Nghiên cứu kỹ thuật nhận dạng chữ viết tay  Vận dụng môi trường Matlab, mô hình HMM để nhận dạng chữ viết tay Phác thảo mơ hình kiến trúc hệ thống Dữ liệu chữ viết tay Chữ viết tay cần nhận dạng Tiền xử lý Tiền xử lý Trích rút đặc trưng Trích rút đặc trưng Huấn luyện hệ thống Nhập liệu Huấn luyện Hệ thống huấn luyện Nhận dạng Kết nhận dạng Quá trình nhận dạng  Tiền xử lý: để loại bỏ phần nhiễu ảnh  Trích rút đặc trưng: ký tự có đặc trưng riêng để nhận dạng  Huấn luyện hệ thống: huấn luyện cho hệ thống học ký tự tiếng Anh  Nhận dạng: ảnh ký tự đưa vào hệ thống, sau so sánh với mẫu hệ thống kết nhận dạng Phương pháp Hidden Markov Model Mơ hình HMM định nghĩa ba λ = ( A, B, π ) Trong đó:  N, số trạng thái mơ hình Ký hiệu trạng thái thời điểm t St  M, số ký hiệu quan sát riêng lẻ trạng thái Ký hiệu riêng lẻ V={v1, v2 vM}  A={aij}, xác suất chuyển đổi trạng thái aij =P[St+1 =j\St =i]  B={bj(k)}, xác suất quan sát ký hiệu k trạng thái j bj(k)}=P[ot =vk \St =j] π = {π i } , xác suất trạng thái ban đầu π i =P[q =i] t Bài toán tung đồng xu  Xét mơ hình HMM (trong thí nghiệm tung đồng xu) với thành phần: N: Số trạng thái (F/B, F: măặt phải, B: măặt trái) M: Số chuỗi quan sát riêng lẻ (H/T) A={aij} B={bj(k)} Bài tốn tính xác suất λ  Cho , làm để tính xác suất chuỗi quan sát O1, O2, O3, , OT (Chuỗi: HTTHHHT)  Giải quyết: Giả sử biết chuỗi trạng thái Q Tính: = bq1(O1) bq2(O2) bqT(OT) Ta có: O = HP (O / QHλ ) T T , H H T - Nếu Q = F B B F B F F = bF (H) bF (T) bB (T) bF(H) bF(H) bB(H) bB(T) = P (F a/ Q, λ ) a a a O a a Với Q có xác suất riêng Vì vâặy tổng P (Q, λ ) tất chuỗi Q tính: FF FB BF FF FB BB quan sát O=HTTHHHT P(O \ λ ) = ∑ P (O, Q \ λ ) = ∑ P (Q \ λ ) P (O \ Q, λ ) all all Bài tốn tính xác suất  Sử dụng thủ tục tiến (forward) để tính xác suất:  Tung đồng xu ngẫu nhiên, ta có O = H T T H  Ban đầu:α1(i ) = π i bi (O1) N  Phương pháp quy nạp αt +1( j ) = [ ∑ αt (i )aij ]b j (Ot +1) t =1  Kết thúc: N P (O \ λ ) = ∑ αt (i ) = α ( F ) + α ( B) 4 i =1 Bài tốn tìm ngược  Cho chuỗi quan sát O = O1 O2 OT λ Làm để lựa chọn chuỗi trạng thái Q = q1 q2 qt ? Giải quyết: - Đầu tiên, chạy thủ tục Forward backward không cùng - Lưu vết điểm điểm - Tung đồng xu: Ta kết lần tung H T T H H H T α1(F) α2(F) α3(F) α4(F) α5(F) α6(F) α7(F) α1(B) α2(B) α3(B) α4(B) α5(B) α6(B) α7(B) β1(F) β2(F) β3(F) β4(F) β5(F) β6(F) β7(F) β1(B) β2(B) β3(B) β4(B) β5(B) β6(B) β7(B) Bài tốn tìm ngược αt (i ) βt (i ) γ t (i ) = N ∑ α t ( j ) βt ( j ) j =1  Đưa xác suất dự báo thời điểm  Giá trị lớn Forward, Backward tối đa hoá số trạng thái dự báo xác (đồng xu)  Sử dụng thuâặt toán Viterbi: F F* H T B* B F T B* F H B* Bài toán ước lượng tham số  Với mơ hình này, ước lượng tham số giá trị P (O \ λ ) lớn λ = ( A, B, π )  Giải toán: Sử dụng thuâặt toán Baunm-Welch - Giá trị ban đầu ngẫu nhiên: λ = ( A, B, π ) - Thực hiêặn Viterbi dựa vào λ O - Câặp nhâặt λ = ( A, B, π ) π : q0 F B chuỗi Viterbi A: Tần suất F/B chuyển đổi chuỗi Viterbi B: Tần suất H/T giới hạn bởi F/B Điều kiện ràng buộc mẫu chữ  Chữ viết gồm chữ từ A đến Z viết số kiểu font hạn chế Không bay bướm, không nghiêng Mẫu sai Mẫu Điều kiện ràng buộc mẫu chữ  Chữ viết phải rõ ràng, không cẩu thả, nét Đặc biệt cần có khác ký tự có nét tương đồng Chữ viết nét nhận dạng  Chữ viết lệch nét Chữ viết nét nhận dạng Một số kỹ thuật nhận dạng HMM  Trích rút đặc trưng n xc = ∑ xt n t =1 n yc = ∑ yt n t =1  yt +1 − yt  θt = arctan x −x    t +1 t  Một số kỹ thuật nhận dạng HMM  Phân đoạn đường thẳng cho cấu trúc liên kết HMM S2 S1 S3 3 S1 S2 S3 S4 S5 Codeword: 14 8 Một số kỹ thuật nhận dạng HMM  Huấn luyện hệ thống:  Lưu codeword vào CSDL  Xây dựng mơ hình HMM: λ = ( A, B, π ) - Ma trận chuyển đổi trạng thái A: NxN, A={aij} aij=(số chuyển đổi từ Si sang Sj)/(Tổng số chuyển đổi từ Si) - Ma trận quan sát B: NxM, B={bim} bim= (Số lần quan sát vM đầu ra)/(Tổng số lần lặp Si) π i = (10 0 ) T a11 S1 B1(O1) B1(O2)… a12 S2 B2(O1) B2(O2)… a44=1 a33 a22 a23 a34 S3 B3(O1) B3(O2)… S4 B4(O1) B4(O2)… Một số kỹ thuật nhận dạng HMM  Nhận dạng: Sử dụng thuật toán Viterbi  Khởi tạo: δ (i ) = π b (ot ) 1≤ i ≤ N ii ψ1(i) =  Vòng lặp: δ t ( j ) = max [δ t −1(i )aij ]b j (ot ) 1≤i≤ N 2≤t ≤T ψ t ( j ) = arg max [δ t −1(i )aij ] 1≤i≤ N  * Vòng lặp: P = max [δT (i )] 1≤i≤ N  Đường dẫn tìm ngược: * qt = ψ ( q* ) t=T-1, T-2 t +1 t +1 1≤ j ≤ N * qT = arg max [δ T (i )] 1≤i≤ N Cài đặt thực nghiệm  Giao diện chương trình Đánh giá kết đạt TT Ký tự Mẫu học Mẫu Kết Hiệu suất nhận dạng nhận dạng A 110 30 29 96,7% C 157 30 30 100% L 120 30 29 96,7%  Số mẫu nhận dạng cịn  tỷ lệ đạt 96,73%  Nhận dạng sai chủ yếu chữ viết không quy định trích lọc đặc trưng sai nhận dạng sai  CSDL tăng  thời gian xử lý tốc độ tính tốn khơng bị ảnh hưởng lớn Kết luận  Trình bày tổng quát kiến thức tảng lĩnh vực xử lý ảnh  Nghiên cứu đặc trưng ảnh, thuật toán nhận dạng…  Nghiên cứu ứng dụng thành cơng mơ hình Markov ẩn  Xây dựng chương trình thực nghiệm nhận dạng chữ viết tay với hiệu suất nhận dạng cao  Kết thử nghiệm nhận dạng mô hình Markov ẩn xây dựng từ tập CSDL chữ viết tay  Nghiên cứu phương pháp nâng cao chất lượng ảnh Hướng phát triển  Xây dựng thêm mơ hình Markov ẩn ký tự cịn lại bảng chữ  Tạo thêm nhiều mẫu chữ  Tiếp tục nghiên cứu hệ thống thành dây chuyền tự động ứng dụng vào toán thực tế ... đích: Nghiên cứu ứng dụng HMM nhận dạng chữ viết tay  Ý nghĩa khoa học:  Nghiên cứu kỹ thuật nhận dạng chữ viết tay  Đánh giá kỹ thuật nhận dạng Hiểu vận dụng HMM nhận dạng chữ viết tay ... việc nhận dạng để đọc liệu tự động vào máy tính cần thiết - Nhận dạng chữ in - Nhận dạng chữ viết tay  Đã có số phương pháp nhận dạng chữ viết tay, phương pháp Hidden Markov Model (HMM) sử dụng. .. thức nhận dạng xử lý ảnh  Nắm thao tác đề tài  Tìm hiểu nhiều mẫu chữ viết tay phục vụ nhận dạng Nhiệm vụ đề tài  Nghiên cứu mơ hình Hidden Markov Model  Nghiên cứu chữ viết tay  Nghiên cứu