Nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế bằng mô hình SVM (Support Vector Machines)

Đại học Thái Nguyên tr-ờng đại học công nghệ thông tin truyền thông nguyễn quang huy nghiên cứu ph-ơng pháp nhận dạng chữ viết tay hạn chế mô h×nh svm (support vector machines) LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Ngun - 2014 Số hóa Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ Đại học Thái Nguyên tr-ờng đại học công nghệ thông tin truyền thông nguyễn quang huy nghiên cứu ph-ơng pháp nhận dạng chữ viết tay hạn chế mô hình svm (support vector machines) Chuyên ngành: KHOA HC MY TNH MÃ số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ng-êi h-íng dÉn khoa häc: PGS-TS NGƠ QUỐC TẠO Thái Ngun - 2014 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ i LỜI CÁM ƠN Để đạt đƣợc kết trình nghiên cứu luận văn, học viên xin chân thành cảm ơn thầy PGS TS Ngô Quốc Tạo ln tận tình bảo, hƣớng dẫn giúp đỡ em suốt trình làm luận văn Học viên xin cảm ơn thầy cô giáo trƣờng Đại học Công nghệ thông tin Truyền thông hƣớng dẫn tạo điều kiện cho em suốt thời gian học tập trƣờng Học viên xin chân thành cảm ơn thầy giáo Hội đồng xét duyệt luận văn tốt nghiệp lớp cao học CK11A năm 2014 - Đợt nhận xét góp ý để luận văn em đƣợc hồn thiện Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế mơ hình SVM (Support Vector Machines)” tự nghiên cứu hồn thành dƣới hƣớng dẫn PGS-TS Ngơ Quốc Tạo Các kết đạt đƣợc trình nghiên cứu hoàn toàn trung thực khách quan Tôi xin chịu trách nhiệm lời cam đoan Thái Nguyên, ngày 05 tháng 05 năm 2014 Ngƣời cam đoan Học viên Nguyễn Quang Huy Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Thuật ngữ, Giải thích chữ viết tắt SVM Support Vector Machine (Máy véc tơ hỗ trợ) MMH Maximum Marginal Hyperplane (Siêu phẳng có biên độ lớn nhất) HMM Markov Model (Mơ hình Markov ẩn) Kernel Hàm nhân Bộ mẫu chữ số viết tay NIST - Viện Công nghệ Tiêu chuẩn Quốc MNIST gia Hoa Kỳ (National Institute of Standard and Technology of the United States) NN Neuron Network (Mạng nơ ron) OCR Optical Character Recognition (nhận dạng chữ quang học) QP Quadratic Programing (quy hoạch toàn phƣơng) USPS United States Postal service VC Vapnik – Chervonenkis Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iv DANH MỤC CÁC HÌNH Hình 1.1 Các giai đoạn trình xử lý nhận dạng ảnh Hình 1.2 Nhị phân hóa ảnh Hình 1.3 Nhiễu đốm nhiễu vệt Hình 1.4 Chuẩn hóa kích thƣớc ảnh ký tự “A” “P” Hình 1.5 (a) Ảnh gốc, (b) Ảnh sau đƣợc làm trơn biên Hình 1.6 Làm mảnh chữ Hình 1.7 Hiệu chỉnh độ nghiêng văn 10 Hình 1.8 Tách dịng chữ dựa histogram theo chiều ngang khối chữ 10 Hình 1.9 Xác định khoảng cách hai kí tự hai từ dựa histogram theo chiều thẳng đứng dòng chữ 11 Hình 1.10 Mơ hình mạng nơron nhân tạo 17 Hình 1.11 Mơ hình mạng MLP lớp 17 Hình 1.12 Phân lớp mạng nơron 18 Hình 1.13 a) Các lớp phân tách tuyến tính b)Siêu phẳng tối ƣu biên lề tƣơng ứng, vectơ hỗ trợ 19 Hình 1.14 Ánh xạ điểm liệu khơng thể phân tách tuyến tính vào khơng gian số chiều lớn phân tách đƣợc tuyến tính 20 Hình 1.15 a) One-vs-One b) One-vs-All 21 Hình 2.1 Với điểm khơng thẳng hàng R2 ln tách đƣợc đƣờng thẳng 25 Hình 2.2 Phân lớp siêu phẳng 26 Hình 2.3 Đƣờng phân chia tập liệu gồm hai thuộc tính 27 Hình 2.4 Một liệu hai chiều đƣợc phân chia tuyến tính 28 Hình 2.5 Hai siêu phẳng phân chia tuyến tính với biên độ 29 Hình 2.6 Đƣờng biểu diễn H1 H2 Đƣờng màu đỏ khoảng cách Euclidean hai điểm 2, đƣờng màu xanh khoảng cách Euclidean nhỏ 30 Hình 2.7 Các support vector SVM 31 Hình 2.8 Trƣờng hợp khơng gian chiều vẽ đƣờng thẳng phân chia lớp 35 Hình 2.9 Bƣớc 1- Học để xây dựng mơ hình phân lớp 37 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ v Hình 2.10 Bƣớc - Kiểm tra đánh giá 38 Hình 2.11 Mơ hình nhận dạng chữ viết tay rời rạc 45 Hình 2.12 Trích chọn đặc trƣng trọng số vùng 45 Hình 2.13 Kiến trúc hệ nhận dạng chữ viết tay tiếng Việt 48 Hình 2.14 Chuẩn hóa ảnh: (a) Ảnh gốc, (b) Xác định vùng liên thông đánh thứ tự vùng liên thông 49 Hình 2.15 Chuẩn hóa vùng liên thơng 49 Hình 2.16 Q trình trích chọn đặc trƣng 51 Hình 3.1 Các bƣớc trình nhận dạng văn mơ hình SVM 55 Hình 3.2 Các mẫu chữ số viết tay trích từ tập tập liệu USPS MNIST 59 Hình 3.3 Giao diện chƣơng trình 61 Hình 3.4 Hộp thoại tiền xử lý 61 Hình 3.5 Hộp thoại trích chọn đặc trƣng 62 Hình 3.6 Hộp thoại lƣu file mơ hình huấn luyện 62 Hình 3.7 Hộp thoại chọn file ảnh cần nhận dạng 63 Hình 3.8 Hộp thoại thông báo kết nhận dạng 63 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Biết sử dụng phƣơng pháp nhận dạng đóng vai trị quan trọng xử lý ảnh, phân tích tài liệu văn bản, đặc biệt dạng văn viết tay Hiện nay, nhu cầu cần nhận dạng nội dung văn từ ảnh lớn thiết thực Để nâng cao độ tin cậy phƣơng pháp phân tích nhận dạng có cơng trình nghiên cứu theo hƣớng ứng dụng lớp tốn đánh giá lựa chọn thơng tin để lựa chọn tổ hợp thông tin chất lƣợng cao trƣớc tiến hành phân tích nhận dạng Cũng từ đề xuất cách tiếp cận giải toán nhận dạng xử lý số liệu văn thu đƣợc kết tốt Nhận dạng chữ viết đặc biệt nhận dạng chữ viết tay tốn có nhiều ứng dụng thực tế Máy tính xử lý, nhận dạng biểu mẫu, phiếu điều tra tự động, cách ta tiết kiệm đƣợc nhiều chi phí thời gian, cơng sức nhƣ chi phí khác cho việc nhập liệu Ngày với phát triển mặt lý thuyết, cơng nghệ, có nhiều hƣớng cho việc giải toán nhận dạng chữ viết dựa cấu trúc hay cách tiếp cận khác nhƣ dùng: logic mờ, giải thuật di truyền, mơ hình xác suất thống kê, mơ hình Markov ẩn HMM (Hidden Markov Models), mơ hình mạng nơron NN (Neural Network Model), mơ hình SVM (Support Vector Machine) Thuật toán phân lớp yếu tố có vai trị định đến chất lƣợng hệ thống nhận dạng Các phƣơng pháp nhận dạng truyền thống nhƣ đối sánh mẫu, nhận dạng cấu trúc đƣợc ứng dụng phổ biến hệ thống nhận dạng thu đƣợc thành công định Tuy vậy, với trƣờng hợp văn đầu vào có chất lƣợng khơng tốt (nhiễu, đứt nét, dính nét ) thuật tốn tỏ không hiệu Để khắc phục điều này, năm gần nhiều nhóm nghiên cứu sử dụng thuật tốn phân lớp dựa mơ hình SVM cho tốn nhận dạng nói chung nhận dạng chữ viết Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ tay nói riêng Trong luận văn này, học viên xin trình bày thuật tốn SVM việc nhận dạng chữ viết tay hạn chế MỤC LỤC LỜI CÁM ƠN i LỜI CAM ĐOAN ii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii DANH MỤC CÁC HÌNH iv MỞ ĐẦU MỤC LỤC Chƣơng GIỚI THIỆU VỀ CHỮ VIẾT VÀ NHẬN DẠNG CHỮ VIẾT 1.1 Trình bày lịch sử nhận dạng chữ viết tay 1.2 Giới thiệu hƣớng tiếp cận việc nhận dạng chữ viết tay 1.2.1 Nhận dạng chữ in 1.2.2 Nhận dạng chữ viết tay 1.3 Tiền xử lý 1.3.1 Nhị phân hóa ảnh 1.3.2 Lọc nhiễu 1.3.3 Chuẩn hóa kích thƣớc ảnh 1.3.4 Làm trơn biên chữ 1.3.5 Làm đầy chữ 1.3.6 Làm mảnh chữ 1.3.7 Điều chỉnh độ nghiêng văn 1.4 Khối tách chữ 10 1.4.1 Tách chữ theo chiều nằm ngang thẳng đứng 10 1.4.2 Tách chữ dùng lƣợc đồ sáng 11 1.5 Trích chọn đặc trƣng .11 1.5.1 Biến đổi toàn cục khai triển chuỗi 12 1.5.2 Đặc trƣng thống kê 13 1.5.3 Đặc trƣng hình học hình thái 14 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1.6 Huấn luyện nhận dạng .15 1.7 Hậu xử lý 15 1.8 Một số thuật toán phân lớp nhận dạng chữ viết tay .16 1.8.1 Giới thiệu 16 1.8.2 Các mơ hình nhận dạng chữ viết tay 16 1.8.3 Đánh giá, so sánh phƣơng pháp nhận dạng chữ 22 Chƣơng MƠ HÌNH SVM VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ 25 2.1 Giới thiệu chung .25 2.2 Lý thuyết chiều VC (Vapnik Chervonenkis dimension) 26 2.3 Hàm phân lớp 27 2.4 Siêu phẳng phân cách .28 2.5 Support vector 30 2.6 SVM với liệu không nhiễu 32 2.7 SVM với liệu có nhiễu 34 2.8 Biên độ (Margin) 34 2.9 Phân lớp liệu tuyến tính khơng tuyến tính 35 2.10 Sự cần thiết SVM nhận dạng chữ viết tay hạn chế 37 2.10.1 Học máy có giám sát 37 2.10.2 Phân lớp liệu 37 2.10.3 Nhận xét 40 2.10.4 Bài toán cho mơ hình SVM 40 2.10.5 Xây dựng mơ hình học cho SVM 43 46 2.11.1 Tiền xử lý 46 2.11.2 Trích chọn đặc trƣng 47 2.11.3 Lựa chọn thuật toán huấn luyện phân lớp 47 2.11.4 Thuật toán nhận dạng chữ viết tay rời rạc 47 2.12 Áp dụng SVM vào nhận dạng chữ Việt viết tay rời rạc .49 2.12.1 Tiền xử lý 49 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 56 Chƣơng – CHƢƠNG TRÌNH THỬ NGHIỆM 3.1 Giới thiệu hệ nhận dạng dùng LIBSVM LibSVM thƣ viện đơn giản dễ sử dụng, hiệu cho SVM để phân lớp (C-SVC, nu-SVC), hồi quy (epsilon-SVR, nu-SVR), ƣớc lƣợng phân phối (one-class SVM) hỗ trợ phân lớp đa lớp (multi-class classification) Với mục đích cho phép ngƣời sử dụng dễ dàng sử dụng SVM vào ứng dụng cụ thể họ Hệ thực nghiệm đƣợc xây dựng để thực công việc tiến hành nhận dạng ảnh đầu vào chứa ký tự số từ đến ký tự hoa từ A đến Z đƣa kết Để hệ thống nhận dạng đƣợc theo nhƣ yêu cầu theo nhƣ lý thuyết trình bày chƣơng trƣớc hệ thống cần phải trích chọn đặc trƣng chữ đƣợc huấn luyện trƣớc Sau tiến hành huấn luyện xong từ ta đƣa mẫu thực nghiệm vào lúc hệ thống phải nhận dạng đƣợc ký tự đƣợc học ký tự gần với ký tự đƣợc học (nhƣng ký tự đƣợc học nhận dạng 100%) Tiến trình hệ thống cụ thể mô tả sau: - Tiền xử lý: ảnh sau quét vào thƣờng bị suy biến chất lƣợng thiết bị quét, nguồn sáng hay nhiễu cần phải có bƣớc xử lý sơ để tăng cƣờng khôi phục ảnh để làm bật số đặc trƣng ảnh nhƣ lọc nhiễu, quay ảnh,… Ngoài ra, xử lý sơ thực chuyển từ ảnh màu ảnh hai mức xám để phục vụ cho việc phân vùng tách chữ - Chức trích chọn đặc trƣng, huấn luyện: Đầu tiên ta phải đọc liệu học đầu vào từ sở liệu mà ta tạo Khi liệu đƣợc truyền vào mơ hình SVM bên phần huấn luyện, thủ tục huấn luyện lƣu lại tham số huấn luyện đƣa vào - Chức nhận dạng: Ảnh đầu vào nhận dạng ảnh với cỡ tiêu chuẩn (27x27), ảnh đƣợc qua vài bƣớc tiền xử lý (nếu cần thiết) sau đƣợc tƣơng tác với chức huấn luyện Tại giá trị ảnh vào đƣợc tính tốn đƣa định ký tự số ký tự đƣợc học, thực q trình đốn xem ký tự đƣa vào giống ký tự số ký tự đƣợc huấn luyện Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 57 3.2 Các chức hệ nhận dạng Hình 3.1 Các bước trình nhận dạng văn mơ hình SVM - Ảnh đầu vào: có đƣợc máy quét ảnh (scanner) từ nguồn - Tiền xử lý: + Đầu vào: ảnh văn gốc + Đầu ra: ảnh ký tự - Trích chọn đặc trƣng, huấn luyện - Nhận dạng ký tự mơ hình SVM - Đầu ra: ký tự đƣợc nhận dạng 3.3 Sử dụng libsvm-3.18 LIBSVM - A Library for Support Vector Machines (Version 3.18) tìm thấy địa chỉ: http://www.csie.ntu.edu.tw/~cjlin/libsvm/ Trong libsvm-3.18 có nhiều file phục vụ cho chƣơng trình nhận dạng, có hai file mà học viên sử dụng luận văn svm-train.exe svmpredict.exe Sau cách sử dụng LIBSVM: Định dạng file liệu huấn luyện file test là: : : Trong đó: Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 58 giá trị đích tập huấn luyện Đối với việc phân lớp, số nguyên xác định lớp Đối với hồi qui, số thực số nguyên số thực Các nhãn file liệu test đƣợc sử dụng để tính tốn độ xác lỗi Ta tạo file test có tập data nhƣ sau : 2:12 3:34 5: 74 6:22 5:85 4:94 6: 17 3:123 File test đƣợc lƣu dƣới dạng text (*.t) Trong đó: số , số 2, 3, 4,5,6 index, số 12, 123, 34, 17, value Ví dụ: thực huấn luyện nhận dạng với tệp mnist Gõ “svm-train.exe mnist.train” chƣơng trình đọc liệu huấn luyện xuất file mơ hình “mnist.train.model” Sau ta gõ “svm-predict.exe mnist.test mnist.train.model output.txt” để xem tỉ lệ phân lớp tập huấn luyện File output chứa giá trị dự đốn mơ hình Có số chương trình ứng dụng Libsvm : svm-scale: Đây công cụ việc xác định file liệu vào svm-toy: Đây giao diện đồ họa đơn giản thể liệu phân tách SVM mặt phẳng Ta kích vào cửa sổ để vẽ điểm liệu Sử dụng nút “change” để chọn lớp 2, nút “load” để đọc liệu từ file, nút “save” để lƣu liệu vào file, nút “run” để thu đƣợc mơ hình SVM nút “clear” để xóa cửa sổ Chú ý rằng, nút “load” “save” áp dụng cho truờng hợp phân lớp, không áp dụng cho trƣờng hợp hồi qui Sử dụng svm-train: svm-train [options] train.txt tạo file train.txt.model để phục vụ cho việc dự đốn Trong options thành phần sau: -s svm_type: kiểu SVM (mặc định 0) Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 59 C-SVC nu-SVC one-class SVM epsilon-SVR nu-SVR -t kernel_type: kiểu hàm kernel (mặc định 2) linear: u'*v polynomial: (gamma*u'*v + coef0)^degree radial basis function: exp(-gamma*|u-v|^2) sigmoid: tanh(gamma*u'*v + coef0) -d degree: bậc hàm kernel (mặc định 3) -g gamma: giá trị gamma hàm kernel (mặc định 1/số đặc trƣng) -r coef0: giá trị coef0 kernel function (mặc định 0) -c cost: tham số c C-SVC, epsilon-SVR, and nu-SVR (mặc định 1) -n nu: tham số nu nu-SVC nu-SVR (mặc định 0.5) -p epsilon: giá trị epsilon hàm epsilon-SVR (mặc định 0.1) -m cachesize: kích thƣớc cache nhớ tính theo MB (mặc định 100) -e epsilon: thiết lập tiêu chuẩn cuối chấp nhận đƣợc (mặc định 0.001) -wi weight: tham số C lớp i tới trọng số weight*C C-SVC (mặc định 1) -v n: cho phép tách ngẫu nhiên liệu thành n phần tính tốn độ xác có hiệu lực giao phần Giá trị k tùy chọn -g nghĩa số thuộc tính liệu đầu vào Tùy chọn -v phân chia ngẫu nhiên liệu thành n phần Sử dụng svm-predict: svm-predict [options] test_file train.txt.model output_file options là: (default 0); model_file file mơ hình đƣợc sinh svm-train test_file file liệu test mà ta muốn đánh giá svm-predict đƣa kết chứa file output.txt Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 60 Ví dụ: \windows\svm-train.exe -s -c -t -g -r -d data_file Huấn luyện lớp phân loại với hàm kernel đa thức (u’v+1)^3 C=1 Với tham số: -s=0 cho ta biết loại SVM trƣờng hợp C-SVC -c=1 tham số C-SVC -t=1 cho ta biết hàm kernel hàm đa thức với hàm đa thức tổng quát nhƣ sau: (gamma*u'*v + coef0)^degree -g=1 gamma đa thức -r=1 coef0 tong đa thức -d=3 cho biết bậc đa thức Khi svmtrain.exe tạo cho ta file data_file.model, sử dụng file dùng lệnh \windows\svm-predict test_file data_file.model output_file để dự đoán kết nhận dạng tỉ lệ lỗi 3.4 Kết chạy thử nghiệm tập liệu libsvm Để có kết chạy thử nghiệm sử dụng hai câu lệnh: “\windows\svm-train [options] train.t” tạo file train.t.model để phục vụ cho việc dự đoán “\windows\svm-predict test.t train.t.model output.txt” để dự đốn độ xác ƣớc lƣợng lỗi Phần tiến hành cài đặt thử nghiệm liệu chữ số viết tay USPS MNIST, tập liệu đƣợc lấy từ trang web: http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/ Đây liệu chuẩn đƣợc sử dụng để đánh giá hiệu phƣơng pháp nhận dạng chữ viết tay Bộ liệu USPS bao gồm 7291 mẫu dùng để huấn luyện 2007 mẫu khác để nhận dạng, mẫu ảnh đa cấp xám kích thƣớc 16x16 Bộ liệu MNIST bao gồm 60.000 mẫu huấn luyện 10.000 mẫu khác để nhận dạng, mẫu ảnh kích thƣớc 28×28 (hình 3.2) Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 61 (a) Các mẫu tập USPS (b) Các mẫu tập MNIST Hình 3.2 Các mẫu chữ số viết tay trích từ tập tập liệu USPS MNIST 3.4.1 Kết thực nghiệm đƣợc tiến hành tập liệu mnist Bảng kết khai thác tập liệu mnist Độ xác SVM Kernel Kernel type type degree C-SVC Polynomial(t=1) (def) C-SVC Polynomial 0.01 98.05(9805/10000) C-SVC Polynomial 0.1 98.05(9805/10000) C-SVC Polynomial 0.4 98.05(9805/10000) C-SVC Polynomial 0.7 98.05(9805/10000) C-SVC Polynomial 0.1 98.05(9805/10000) C-SVC Polynomial 0.1 98.05(9805/10000) C-SVC Polynomial 0.1 98.05(9805/10000) C-SVC Polynomial 98.05(9805/10000) C-SVC Polynomial (def) 97.91(9791/10000) C-SVC Polynomial 97.37(9737/10000) C-SVC Polynomial 0.1 97.37(9737/10000) C-SVC Polynomial 96.65(9665/10000) C-SVC Polynomial 95.88(9588/10000) C-SVC Polynomial 94.73(9473/10000) C-SVC Polynomial 1 92.55(9255/10000) Số hóa Trung tâm Học liệu Gamma Coef0 (%) (def) 98.05(9805/10000) http://www.lrc-tnu.edu.vn/ 62 C-SVC Linear (t=0) 93.64(9364/10000) C-SVC Polynomial 1 92.55(9255/10000) C-SVC Polynomial 0.1 9.74(974/10000) C-SVC Polynomial 10 9.74(974/10000) C-SVC Polynomial 11 9.74(974/10000) 3.4.2 Kết thực nghiệm đƣợc tiến hành tập liệu usps Bảng kết khai thác tập liệu usps Svm type Kernel type Kernel Gamma degree in kernel Coef Độ xác(%) C-SVC Linear (t=0) Def (3) Def Def (0) 93.0244(1867/2007) C-SVC Polynomial (t=1) 0.01 95.2666(1912/2007) C-SVC Polynomial (t=1) 0.01 94.6687(1900/2007) C-SVC Polynomial (t=1) 0.01 92.9248(1865/2007) C-SVC Polynomial (t=1) 1 95.2167(1911/2007) C-SVC Polynomial 95.2666(1912/2007) C-SVC Polynomial 0.1 95.1669(1910/2007) C-SVC Polynomial 95.2666(1912/2007) C-SVC Radial basis(t=2) 0.1 85.7(1720/2007) C-SVC Radial basis(t=2) 0.2 63.9263(1283/2007) C-SVC T=2 0.9 28.9985(582/2007) C-SVC T=2 0.01 94.9676(1906/2007) C-SVC T=2 28.6497(575/2007) C-SVC T=2 0.001 92.2272(1851/2007) C-SVC T=2 0.009 94.8181(1903/2007) C-SVC T=2 0.0001 86.7962(1742/2007) C-SVC T=2 0.09 87.2446(1751/2007) C-SVC Radial basic(t=2) 0.02 95.3164(1913/2007) C-SVC T=2 0.05 94.1704(1890/2007) C-SVC T=2 0.03 95.2167(1911/2007) C-SVC T=2 0.02 95.3164(1913/2007) C-SVC T=2 default 93.7718(1882/2007) Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 63 C-SVC T=2 Số hóa Trung tâm Học liệu 0.1 85.7(1720/2007) http://www.lrc-tnu.edu.vn/ 64 3.5 Chƣơng trình nhận dạng 3.5.1 Chức chƣơng trình Hình 3.3 Giao diện chương trình - Tiền xử lý (Convert Color Image to Black & white): Chuyển đổi ảnh từ ảnh màu sang ảnh nhị phân chuẩn hóa kích thƣớc ảnh với kích cỡ 16x16 - Trích chọn đặc trƣng (Convert BMP to Wavelet Haar): Sử dụng thuận toán Wavelet Haar để lấy đặc trƣng ảnh từ ảnh nhị phân - Huấn luyện (Train SVM): Sử dụng SVM để tạo file mô hình sau huấn luyện từ file đặc trƣng thu đƣợc - Nhận dạng (Test SVM): Chọn file ảnh ký tự để nhận ký kự dạng từ file mơ hình có 3.5.2 Chức Tiền xử lý: - Chọn menu Convert Color Image to Black & White, xuất hộp thoại: Hình 3.4 Hộp thoại tiền xử lý Nút Filter thực chức tiền xử lý, kết thu đƣợc ảnh đen trắng Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 65 3.5.3 Chức trích chọn đặc trƣng - Chọn menu Convert BMP to Wavelet Haar, xuất hộp thoại: Hình 3.5 Hộp thoại trích chọn đặc trưng Nút Convert thực chức trích chọn đặc trƣng từ file ảnh nhị phân, ví dụ nhƣ file có tên “Dac_trung.txt” 3.5.4 Huấn luyện Chọn menu Train SVM, xuất hộp thoại yêu cầu chọn file chứa thông tin đặc trƣng, mở file “Dac_trung.txt” Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 66 Hình 3.6 Hộp thoại lưu file mơ hình huấn luyện Sau đó, u cầu nhập tên file mơ hình để huấn luyện, ví dụ nhƣ “Huan_luyen.txt” 3.5.4 Nhận dạng Chọn menu Test SVM, xuất cửa sổ yêu cầu chọn file ảnh ký tự nhƣ hình dƣới: Hình 3.7 Hộp thoại chọn file ảnh cần nhận dạng Tiếp theo, chọn file mơ hình đƣợc huấn luyện, nhƣ file “Huan_luyen.txt” Kết nhận dạng đƣa thông báo nhƣ sau: Hình 3.8 Hộp thoại thơng báo kết nhận dạng Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 67 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 68 KẾT LUẬN VÀ ĐỀ NGHỊ - Mục tiêu luận văn đƣa ra: + Tìm hiểu nhận dạng chữ viết + Tìm hiểu phƣơng pháp phân lớp + Nghiên cứu phƣơng pháp SVM + Nghiên cứu nhận dạng chữ viết tay hạn chế sử dụng mơ hình SVM + Thiết kế chƣơng trình thực nghiệm nhận dạng chữ viết tay hạn chế - Kết luận văn đạt đƣợc: Sau trình nghiên cứu, tìm hiểu em hoàn thành luận văn với kết đạt đƣợc nhƣ mục tiêu đề là: + Hiểu rõ cách nhận dạng chữ viết tay hạn chế + Hiểu đƣợc mơ hình phân lớp SVM + Biết ứng dụng mơ hình SVM vào nhận dạng chữ viết tay + Biết cách sử dụng phƣơng pháp SVM khai thác thƣ viện libsvm để huấn luyện, dự đoán tỷ lệ nhận dạng + Thiết kế đƣợc chƣơng trình nhận dạng ký viết tay không dấu hạn chế - Hƣớng phát triển đề tài tƣơng lai: + Tiếp tục nghiên cứu phƣơng pháp SVM ngôn ngữ lập trình để phát triển thành phần mềm nhận dạng đƣợc chữ viết tay nói chung viết tay tiếng Việt theo ký tự văn Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 69 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Anh Phƣơng, Ngô Quốc Tạo, Lƣơng Chi Mai (20-21/05/2006), “Ứng dụng SVM cho toán phân lớp nhận dạng”, Kỷ yếu Hội thảo khoa học Quốc gia lần thứ ba nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông (ICT.rda 06), nhà xuất Khoa học Kỹ thuật Hà nội, tr 393-400 [2] Phạm Anh Phƣơng, Ngơ Quốc Tạo, Lƣơng Chi Mai (10-2008), “Trích chọn đặc trƣng wavelet Haar kết hợp với SVM cho việc nhận dạng chữ viết tay tiếng Việt”, Tạp chí Cơng nghệ Thông tin Truyền thông, ISSN 0866-7039, kỳ (20), tr 36-42 [3] Phạm Anh Phƣơng (2008), “Áp dụng số chiến lƣợc SVM đa lớp cho toán nhận dạng chữ viết tay hạn chế”, Tạp chí khoa học Đại học Huế, ISSN 1859-1388, (45), tr 109-118 Tiếng Anh [4] Christopher J C Burges (1998), “A Tutorial on Support Vector Machines for Pattern Recognition”, Data Mining and Knowledge Discovery, ISSN:1384-5810, Vol 2, (No 2), pp 121-167 [5] Chih-Chung Chang and Chil-Jen Lin (2004), “LIBSVM: a Library for Support Vector Machines”, National Taiwan University [6] G Vamvakas, B Gatos, I Pratikakis, N Stamatopoulos, A Roniotis and S.J Perantonis (February 2007), "Hybrid Off-Line OCR for Isolated Handwritten Greek Characters", The Fourth IASTED International Conference on Signal Processing, Pattern Recognition, and Applications (SPPRA 2007), ISBN: 978-0-88986-646-1, Innsbruck, Austria, pp 197-202 [7] H Bunke, M Roth, E G Schukat-Talamazzani (1994), “Off-line Recognition of Cursive Script Produced by Cooperative Writer”, in Proc 12th Int.Conf Pattern Recognition, pp 146-151, Jerusalem, Israel [8] H Nishida (July 1995), “Structural Feature Extraction Using Multiple Bases”, Computer Vision and Image Understanding, vol.62 no1, pp 78-89 [9] J X Dong, A Krzyzak and C Y Suen (2003), “A Fast SVM Training Algorithm”, International Journal of Pattern Recognition and Artificial Intelligence, vol 17, (no 3), pp 367 – 384 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 70 [10] J Platt (1999), “Fast Training of Support Vector Machines Using Sequential Minimal Optimization”, In Advences in Kernel Methods - Support Vector Learning, Cambridge, M.A, MIT Press, pp 185-208 [11] J Rocha, T Pavlidis (1994), “A Shape Analysis Model”, IEEE Trans Pattern Analysis and Machine Intelligence, vol.16, no.4, pp.394-404 [12] Mohamed Cheriet, Nawwaf Kharma, Cheng-Lin Liu And Ching Y Suen (2007), “Character Recognition Systems: A Guide for Students and Practioners”, A John Wiley & Sons, inc., publication [13] M Cote, E Lecolinet, M Cheriet, C Y Suen (1998), “Reading of Cursive Scripts Using A Reading Model and Perceptual Concepts, The PERCEPTO System”, Int Journal Document Analysis and Recognition, vol.1, no.1, pp.3-17 [14] M Okamoto, K Yamamoto (1997), “On-line Handwriting Character Recognition Method with Directional Features and Direction Change Features”, in Proc 4th Int Conf Document Analysis and Recognition, Ulm, Germany, pp.926-930 [15] N Arica, F T Yarman Vural (2000), “One Dimensional Representation Of Two Dimensional Information For HMM Based Handwritten Recognition”, Pattern Recognition Letters, vol.21 (6-7), pp.583-592 [16] Nello Cristianini and John Shawe-Taylor (2000), “An Introduction to Support Vector Machines and other kernel-based learning methods”, Cambridge University Press [17] R Collobert and S Bengio (2001), “Svmtorch: Support Vector Machines for Large-scale Regression Problems”, The Journal of Machine Learning Research, Vol 1, pp 143 – 160 [18] Shubhangi D C (2009), “Handwritten English Character And Digit Recognition Using Multiclass SVM Classifier And Using Structural Micro Features”, International Journal of Recent Trends in Engineering, Vol 2, No [19] T Joachims (1998), “Making large-Scale Support Vector Machine Learning Practical”, in Advances in Kernel Methods - Support Vector Learning, B Schölkopf and C Burges and A Smola (ed.), MIT-Press, Cambridge, MA Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ... mềm tƣơng tự Còn nhận dạng chữ viết tay offline nghiên cứu nhận dạng chữ viết tay tự nhiên nhận dạng chữ viết tay hạn chế Nhận dạng chữ viết tay tự nhiên dùng để xử lý văn viết tay thơng thƣờng,... VỀ CHỮ VIẾT VÀ NHẬN DẠNG CHỮ VIẾT 1.1 Trình bày lịch sử nhận dạng chữ viết tay 1.2 Giới thiệu hƣớng tiếp cận việc nhận dạng chữ viết tay 1.2.1 Nhận dạng chữ in 1.2.2 Nhận. .. phát triển: nhận dạng chữ viết tay trực tuyến (online) chữ viết tay ngoại tuyến (offline) Trong nhận dạng chữ viết tay trực tuyến viết lên hình máy tính chuyển hình ảnh viết tay thành dạng text