Kỹ thuật svm trong nhận dạng phiếu điểm

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌ VŨ THỊ THU HUYỀN KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠ : TS Nguyễn Văn Vinh Thái Nguyên – 2013 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn i LỜI CAM ĐOAN Tên là: Vũ Thị Thu Huyền Lớp: Cao học Cơng nghệ thơng tin K10B Khố học: 2011 - 2013 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 Cơ sở đào tạo: Trƣờng Đại học Công nghệ thông tin Truyền thông Thái Nguyên Giáo viên hƣớng dẫn: TS Nguyễn Văn Vinh Cơ quan công tác: Trƣờng Đại học Công nghệ Thông tin Truyền thông Đại học Thái Nguyên Tôi xin cam đoan tồn nội dung đƣợc trình bày luận văn kết tìm hiểu nghiên cứu riêng tơi, q trình nghiên cứu luận văn “Kỹ thuật SVM nhận dạng phiếu điểm” kết liệu đƣợc nêu hồn tồn trung thực Mọi thơng tin trích dẫn đƣợc tn theo luật sở hữu trí tuệ, có liệt kê rõ ràng tài liệu tham khảo Tôi xin chịu hoàn toàn trách nhiệm với nội dung đƣợc viết luận văn Thái Nguyên, ngày 18 tháng 09 năm 2013 HỌC VIÊN Vũ Thị Thu Huyền Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn ii LỜI CẢM ƠN Luận văn đƣợc thực Trƣờng Đại học Công nghệ Thông tin Truyền Thông - Đại học Thái Nguyên dƣới hƣớng dẫn thầy TS Nguyễn Văn Vinh Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Nguyễn Văn Vinh, trƣờng Đại học Công nghệ - ĐH Quốc gia Hà Nội, ngƣời tận tình hƣớng dẫn giúp đỡ để em hồn thành tốt luận văn Em xin gửi lời cảm ơn chân thành đến thầy cô giáo Trƣờng Đại học Công nghệ Thông tin Truyền Thông - Đại học Thái Nguyên, thầy cô giáo nhiệt tình giảng dạy, truyền đạt kiến thức cho em suốt trình học tập trƣờng nhƣ trình làm luận văn Cuối em xin gửi lời cảm ơn đến gia đình, bạn bè, đồng nghiệp ngƣời động viên, giúp đỡ tạo điều kiện cho em trình học tập hoàn thành luận văn Thái Nguyên, ngày 18 tháng 09 năm 2013 HỌC VIÊN Vũ Thị Thu Huyền Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ vii LỜI MỞ ĐẦU CHƢƠNG KHÁI QUÁT VỀ NHẬN DẠNG VÀ KỸ THUẬT SVM 1.1 Khái quát nhận dạng 1.1.1 Khái niệm nhận dạng 1.1.2 Một số kỹ thuật nhận dạng 1.1.2.1 Nhận dạng dựa theo miền không gian 1.1.2.2 Nhận dạng theo phƣơng pháp thống kê 1.1.2.3 Nhận dạng dựa vào khoảng cách 1.1.2.3 Nhận dạng dựa theo cấu trúc 1.1.3 Kết hợp kỹ thuật nhận dạng 10 1.1.3.1 Kiến trúc 11 1.1.3.2 Kiến trúc song song 11 1.1.3.3 Kiến trúc lai ghép 11 1.1.4 Một số khó khăn nhận dạng 12 1.2 Kỹ thuật SVM nhận dạng 13 1.2.1 Kỹ thuật SVM 13 1.2.2 Một số ứng dụng SVM .14 1.2.2.1 Chẩn đốn Virus máy tính 14 1.2.2.2 Phân loại email .15 1.2.2.3 Nhận dạng mặt ngƣời 17 1.2.2.4 Nhận dạng chữ viết tay 17 1.3 Kết luận 19 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn iv CHƢƠNG KỸ THUẬT SVM TRONG NHẬN DẠNG PHIẾU ĐIỂM 21 2.1 Thuật toán SVM 21 2.1.1 Phân lớp nhị phân 21 2.1.2 Phân nhiều lớp 29 2.1.2.1 Chiến lƣợc chống (OVO: One - versus - One) 29 2.1.2.2 Chiến lƣợc chống phần lại (OVR: One - versus - Rest) 30 2.1.2.3 Chiến lƣợc phân cấp .30 2.2 Các thuật toán huấn luyện SVM 31 2.2.1 Thuật toán chặt khúc .31 2.2.2 Thuật toán phân rã 32 2.2.3 Thuật toán SMO 32 2.2.3.1 Tối ƣu hai nhân tử Lagrange 33 2.2.3.2 Tối ƣu theo phƣơng pháp heuristic 34 2.2 Nhận dạng phiếu điểm với SVM .35 2.2.1 Đặc trƣng phiếu điểm .35 2.2.2 Nhận dạng phiếu điểm 37 2.2.2.1 Tiền xử lý .38 2.2.2.2 Phân đoạn trích chọn đặc trƣng .41 2.2.2.3 Huấn luyện nhận dạng 41 2.2.2.4 Hậu xử lý 41 2.3 Kết luận 42 CHƢƠNG THIẾT KẾ CHƢƠNG TRÌNH VÀ KẾT QUẢ THỬ NGHIỆM .43 3.1 Phân lớp với SVM 43 3.2 Nhận dạng phiếu điểm .45 3.2.1 Huấn luyện 48 3.2.2 Nhận dạng .49 3.3 Đánh giá kết .50 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 53 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn v TÀI LIỆU THAM KHẢO .54 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Ý nghĩa Viết tắt NNSRM Nearest Neighbor Rule-based Structural Risk Minimization OVO One - versus - One OVR One - versus - Rest PCA Principal Component Analysis PLD Picture Language Description QP Quadratic Programing RBF Radius Basic Function SMO Sequential Minimal Optimization SVM Support Vector Machine Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn vii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Sơ đồ tổng quát hệ thống nhận dạng ảnh Hình 1.2 Các từ vựng ngơn ngữ hình thức PLD Hình 1.3 Các phép tốn ngơn ngữ LCD 10 Hình 1.4 Mơ hình nhận dạng chữ viết tay rời rạc .18 Hình 2.1 Phân lớp tuyến tính 21 Hình 2.2 Phân nhiều lớp với SVM 29 Hình 2.3 Mẫu phiếu điểm thi viết 36 Hình 2.4 Mẫu phiếu điểm thƣờng xuyên 37 Hình 2.5 Nhị phân hóa ảnh 38 Hình 2.6 Lọc nhiễu 38 Hình 2.7 Chuẩn hóa kích thƣớc ảnh số “4” “6” .39 Hình 2.8 Làm trịn biên chữ .40 Hình 2.9 Làm mảnh chữ 40 Hình 2.10 Hiệu chỉnh độ nghiêng phiếu điểm 41 Hình 2.11 Tách thơng tin phiếu điểm 41 Hình 3.1 Chƣơng trình mơ phân lớp .43 Hình 3.2 Mô phân lớp nhị phân với SVM 44 Hình 3.3 Phân nhiều lớp với SVM (trƣớc phân lớp) 44 Hình 3.4 Phân nhiều lớp với SVM (sau phân lớp) 45 Hình 3.5 Một mẫu liệu huấn luyện .45 Hình 3.6 Phiếu điểm cần nhận dạng 46 Hình 3.7 Mơ hình hệ thống nhận dạng phiếu điểm 47 Hình 3.8 Huấn luyện Support Vector theo liệu mẫu 48 Hình 3.9 Các support vector 48 Hình 3.10 Nhận dạng chữ số với SVM .49 Hình 3.11 Nhận dạng phiếu điểm 50 Hình 3.12 Xử lý phiếu điểm .50 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn viii Hình 3.13 Nhận dạng phiếu điểm 50 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn MỞ ĐẦU Các phƣơng pháp thống kê gần thƣờng đƣợc đề cập tới lĩnh vực xử lý ngôn ngữ tự nhiên, thị giác máy, nhận dạng tiếng nói, … xem nhƣ chọn lựa có cải tiến phƣơng pháp truyền thống phƣơng pháp tận dụng đƣợc lƣợng liệu khổng lồ ngày tăng lên sức mạnh tính tốn máy tính [10] Các phƣơng pháp học theo thống kê đặc biệt thích hợp với lĩnh vực thị giác máy nhƣ nhận dạng xác định đối tƣợng hiệu [13] Một phƣơng pháp Máy hỗ trợ vector (Support Vector Machine - SVM) SVM phƣơng pháp máy học đƣợc giới thiệu từ năm 1995 ngày trở nên phổ biến việc ứng dụng vào lĩnh vực nhƣ: xử lý ảnh, xử lý ngôn ngữ, thị giác máy, … [10], [13] SVM đƣợc xây dựng, mở rộng phân tích dựa lý thuyết cách chặt chẽ Ƣu điểm SVM so với phƣơng pháp khác cách giải vấn đề mang tính tồn cục phƣơng pháp khác mang tính cục Tăng cƣờng khả SVM cách chọn hàm thích hợp hàm có khả học liệu phức tạp phân chia phi tuyến (ví dụ hàm đa thức (Polynomial), hàm bán kính (RBF) hàm Perceptron (mạng nơron lớp) thƣờng đƣợc dùng nhƣ hàm xấp xỉ) để phát triển thành công cụ phân lớp Các toán nhận dạng đƣợc nghiên cứu nhiều bao gồm nhận dạng mẫu hình học (vân tay, mặt ngƣời, hình khối,…), nhận dạng tiếng nói nhận dạng ký tự viết Nhận dạng ký tự viết bao gồm hai kiểu nhận dạng ký tự in nhận dạng ký tự viết tay Cho đến toán nhận dạng ký tự in đƣợc giải trọn vẹn với đời nhiều hệ thống nhận dạng đạt tới độ xác gần nhƣ tuyệt đối Nhận dạng ký tự viết tay vấn đề thách thức nhà nghiên cứu, toàn chƣa thể giải trọn vẹn đƣợc phụ thuộc nhiều vào ngƣời viết biến đổi đa dạng cách viết trạng thái tinh thần ngƣời viết Hiện nay, có nhiều kỹ thuật học máy đƣợc ứng dụng cho toán nhận dạng chữ viết tay cho kết đầy triển vọng [11], [14] Một kỹ thuật Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 41 Hình 2.10.Hiệu chỉnh độ nghiêng phiếu điểm 2.2.2.2 Phân đoạn trích chọn đặc trưng Khối có nhiệm vụ tách ký tự khỏi phiếu điểm Chỉ phiếu điểm đƣợc tách lập dịng (ứng với thơng tin điểm sinh viên) cô lập ký tự đơn khỏi tổng thể hệ thống nhận dạng ký tự Trích chọn đặc trƣng đóng vai trị quan trọng hệ thống nhận dạng Trong trƣờng hợp đơn giản nhất, ảnh đa cấp xám ảnh nhị phân đƣợc sử dụng cho việc nhận dạng Tuy nhiên, hầu hết hệ nhận dạng, để giảm độ phức tạp tăng độ xác thuật tốn phân lớp địi hỏi đặc trƣng đƣợc trích chọn phải rút gọn lại nhỏ tốt nhƣng phải đảm bảo đƣợc thông tin ký tự Với mục tiêu này, tập đặc trƣng đƣợc trích chọn cho lớp cho phân biệt đƣợc với lớp khác Hình 2.11 Tách thơng tin phiếu điểm 2.2.2.3 Huấn luyện nhận dạng Tập liệu huấn luyện sau qua khâu tiền xử lý trích chọn đặc trƣng đƣợc đƣa vào máy huấn luyện phân lớp SVM Sau kết thúc trình huấn luyện, hệ thống lƣu lại giá trị tham số hàm định phân lớp để phục vụ cho việc nhận dạng sau 2.2.2.4 Hậu xử lý Đây công đoạn cuối trình nhận dạng phiếu điểm Có thể hiểu hậu xử lý bƣớc ghép nối kí tự, điểm nhận dạng chuyển vào sở liệu lƣu trữ điểm sinh viên, đồng thời phát lỗi nhận dạng sai cách Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 42 kiểm tra giá trị số báo danh, số phách, điểm số dựa miền giá trị chúng Việc phát lỗi, sai sót nhận dạng bƣớc góp phần đáng kể vào việc nâng cao chất lƣợng nhận dạng phiếu điểm 2.3 Kết luận SVM đƣợc đánh giá hƣớng tiếp cận nhận diện chữ viết tay đạt độ xác cao Hạn chế lớn SVM tốc độ phân lớp chậm, tùy thuộc vào số lƣợng support vector Mặt khác, giai đoạn huấn luyện SVM địi hỏi nhớ lớn, toán huấn luyện với số lƣợng mẫu lớn gặp trở ngại vấn đề lƣu trữ Dù vậy, SVM đƣợc đánh giá phƣơng pháp học máy tiên tiến đóng góp nhiều thành cơng lĩnh vực khai phá liệu nhƣ lĩnh vực nhận dạng Chƣơng trình bày hệ thống mô phân lớp với SVM, nhận dạng phiếu điểm với SVM Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 43 CHƢƠNG THIẾT KẾ CHƢƠNG TRÌNH VÀ KẾT QUẢ THỬ NGHIỆM 3.1 Phân lớp với SVM Xét ví dụ tốn phân lớp nhị phân chƣơng Có tập hợp điểm màu đỏ điểm màu xanh nhƣ hình vẽ; ta phải tìm đƣờng ngăn cách cho điểm đỏ điểm xanh nằm hai bên khác Hình 3.1 Chương trình mơ phân lớp Chƣơng trình phân lớp điểm màu đƣợc xây dựng ngơn ngữ lập trình C#, NetFramework 4.0, thƣ viện OpenCLTemplate.dll, Cloo.dll dựa thuật toán phân lớp nhị phân với SVM trình bày chƣơng Module xây dựng support vector nhƣ sau: float[] features = new float[] { 1, 2, }; float classification = 4; TrainingUnit u = new TrainingUnit(features, classification); float[] features2 = new float[] { 1, 2, }; float classification2 = 2; TrainingUnit u2 = new TrainingUnit(features2, classification2); float[] features3 = new float[] { 1, 2, }; float classification3 = 1; TrainingUnit u3 = new TrainingUnit(features3, classification3); TrainingSet TSet = new TrainingSet(); Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 44 TSet.addTrainingUnit(u); TSet.addTrainingUnit(u2); TSet.addTrainingUnit(u3); MultiClassSVM SVM = new MultiClassSVM(TSet); Tiến hành phân lớp ta đƣợc kết nhƣ sau: Hình 3.2 Mơ phân lớp nhị phân với SVM Phân nhiều lớp: Giả sử ta có tập hợp điểm màu đỏ, màu xanh màu xanh dƣơng, chƣơng trình tiến hành phân tập hợp điểm thành vùng khác Hình 3.3 Phân nhiều lớp với SVM (trước phân lớp) Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 45 Hình 3.4 Phân nhiều lớp với SVM (sau phân lớp) 3.2 Nhận dạng phiếu điểm Nhƣ trình bày phần trên, ứng dụng hiệu SVM nhận dạng chữ viết tay Qua tìm hiểu, nghiên cứu kỹ thuật SVM, tác giả xây dựng chƣơng trình mơ nhận dạng chữ số, chữ số viết tay phiếu điểm Input: Tập liệu huấn luyện gồm chữ số từ đến 9, phiếu điểm Output: Nhận dạng giá trị điểm phiếu điểm Tập liệu huấn luyện: ảnh chữ số viết tay đƣợc nhị phân hóa, có kích thƣớc 32x32 Hình 3.5 Một mẫu liệu huấn luyện Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 46 Phiếu điểm cần nhận dạng: Là ảnh scan phiếu điểm đƣợc sử dụng trƣờng Đại học Công nghệ thông tin truyền thông, Đại học Thái Nguyên Hình 3.6 Phiếu điểm cần nhận dạng Chƣơng trình mô nhận dạng phiếu điểm đƣợc xây dựng dựa ngơn ngữ lập trình C#, NetFramework 4.0, thƣ viện AForge.NET (AForge.NET Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 47 Framework đƣợc thiết kế mở, cung cấp cho nhà phát triển, nhà nghiên cứu lĩnh vực khoa học máy tính, trí tuệ nhân tạo, xử lý ảnh,…) Mơ hình chức hệ thống Huấn luyện Nhận dạng Support vectors số viết tay Hệ thống nhận dạng phiếu điểm Quản lý Nhận dạng Support vectors phiếu điểm Hình 3.7 Mơ hình hệ thống nhận dạng phiếu điểm Quy trình hệ thống nhận dạng phiếu điểm: Đầu tiên, tập liệu huấn luyện gồm chữ số viết tay đƣợc đọc vào chƣơng trình Mỗi mẫu tập liệu huấn luyện đƣợc gán giá trị tƣơng ứng với số từ đến Chƣơng trình tiến hành tạo Support vectors phân lớp giá trị số với số lại Sau tạo Support vectors, chức quản lý Support vectors cho phép xem Support vectors tạo đƣợc, số lƣợng, trọng số phân lớp giá trị số từ tập liệu mẫu Sau huấn luyện tạo Support vectors xong, ta tiến hành thử nghiệm nhận dạng số viết tay Chức nhận dạng số viết tay đƣợc xây dựng gồm vùng chính: vùng viết số (sử dụng chuột máy tính), vùng biểu đồ thị kết phân lớp, vùng kết nhận dạng tìm đƣợc Chức nhận dạng phiếu điểm gồm công đoạn: Chọn phiếu điểm: Lựa chọn phiếu điểm cần nhận dạng Xử lý phiếu điểm: Loại bỏ nhiễu ảnh phiếu điểm, trích chọn vùng hiển thị điểm ảnh Nhận dạng: Sử dụng Support vectors tạo để nhận dạng điểm phiếu Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 48 3.2.1 Huấn luyện Dữ liệu huấn luyện gồm 500 ảnh chữ số viết tay đƣợc nhị phân hóa lƣu file dulieuhuanluyen.txt Mỗi liệu mẫu đƣợc lƣu lần lƣợt từ xuống dƣới gồm 33 dòng 32 cột Dòng đến dòng 32 biểu diễn giá trị nhị phân ảnh mẫu, dòng thứ 33 giá trị ảnh mẫu Module huấn luyện nhƣ sau: Hình 3.8 Huấn luyện Support Vector theo liệu mẫu Các Support vector đƣợc xây dựng dựa vào liệu huấn luyện Hình 3.9 Các support vector Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 49 3.2.2 Nhận dạng Sau xây dựng support vector phân lớp chữ số từ đến 9, ta tiến hành nhận dạng với liệu test gồm 500 chữ số Kết nhƣ sau: Hình 3.10 Nhận dạng chữ số với SVM Với liệu này, chƣơng trình nhận dạng 95% giá trị trùng với giá trị ảnh Nhận dạng phiếu điểm: Khơng tính tổng qt, để đơn giản hóa, chƣơng trình giả sử cần nhận dạng điểm số có chữ số Với điểm đƣợc viết dƣới dạng thập phân, ta lấy phần nguyên điểm để nhận dạng Chọn phiếu điểm cần nhận dạng Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 50 Hình 3.11 Nhận dạng phiếu điểm Xử lý nhiễu, tách hàng mang giá trị điểm Hình 3.12 Xử lý phiếu điểm Tiến hành nhận dạng Hình 3.13 Nhận dạng phiếu điểm 3.3 Đánh giá kết Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 51 Với tập liệu huấn luyện gồm 500 chữ số viết tay từ đến 9, số lƣợng Support vectors tạo đƣợc 1471 Kết thử nghiệm nhƣ sau: Nhận dạng số viết tay trực tiếp chƣơng trình: Giá trị số Số lần thử Nhận dạng Tỉ lệ xác 140 115 82.14 % 140 123 87.86 % 140 110 78.57 % 140 105 75.00 % 140 107 76.43 % 140 117 83.57 % 140 125 89.29 % 140 127 90.71 % 140 132 94.29 % 140 123 87.86 % Nhận dạng phiếu điểm: Điểm số Số hóa Trung tâm Học liệu Kết nhận dạng Chính xác 1 8 http://lrc.tnu.edu.vn 52 Điểm số Kết nhận dạng Chính xác 1 1 1 0 Nhận xét: Với liệu mẫu gồm 500 chữ số viết tay Chƣơng trình nhận dạng chữ số viết tay trực tiếp với độ xác 84.54% Tuy nhiên với chữ số viết tay từ phiếu điểm, kết nhận dạng đạt độ xác 42.85% Một số lý khiến độ xác kết nhận dạng cịn thấp: Tập liệu huấn luyện nhỏ (500 mẫu) Chữ số viết tay đa dạng, phong phú, tùy thuộc cách viết ngƣời, để trình nhận dạng đạt kết xác cần tập liệu huấn luyện lớn nhiều Vấn đề tiền xử lý ảnh phiếu điểm, loại bỏ nhiễu, trích trọn đặc trƣng chƣa xác Do giới hạn mặt thời gian, nội dung đề tài, trình độ cịn hạn chế tác giả, nên việc tiền xử lý ảnh phiếu điểm để nhận dạng chƣa đƣợc giải triệt để dẫn đến việc nhận dạng chƣa xác Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 53 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Những kết mà luận văn đạt đƣợc Về mặt lý thuyết Tìm hiểu thành phần kiểu kiến trúc nhận dạng, phân biệt đƣợc số phƣơng pháp nhận dạng Nắm đƣợc ý nghĩa việc học hay tích luỹ, có vai trị to lớn quy tắc học, mơ hình học thuật toán học nhiều khả ứng dụng khác Kỹ thuật SVM, thuật toán SVM, ứng dụng SVM thực tế Nắm đƣợc quy trình chung xây dựng hệ thống nhận dạng Về mặt thực tiễn Đƣa phƣơng pháp xử lý với ký tự số viết tay rời rạc, xây dựng hệ thống nhận dạng ký tự số viết tay rời rạc sử dụng kỹ thuật SVM Xây dựng đƣợc chƣơng trình minh họa Tuy biết điều thu nhận đƣợc phần nhỏ ngành nghiên cứu lớn, tự nhận thấy gặt hái đƣợc thành công định giai đoạn nghiên cứu Hƣớng phát triển Bên cạnh kết đạt đƣợc, có vấn đề chƣa đƣợc luận văn giải hay đề cập tới Trong thời gian tới tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đƣợc đặt nhƣ sau: - Nâng cao hiệu độ xác hệ thống nhận dạng ký tự số viết tay rời rạc - Xây dựng đƣợc hệ thống nhận dạng chữ viết tay tiếng Việt sử dụng kỹ thuật SVM Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 54 TÀI LIỆU THAM KHẢO Tiếng việt [1] Phạm Anh Phƣơng, Ngô Quốc Tạo, Lƣơng Chi Mai (2008), Trích chọn đặc trưng wavelet Haar kết hợp với SVM cho việc nhận dạng chữ viết tay tiếng Việt, Tạp chí Cơng nghệ thơng tin truyền thông, ISSN 0866-7039, kỳ 3, 10-2008 [2] Đỗ Năng Tồn, Phạm Việt Bình (2007), Giáo trình Xử lý ảnh, Đại học Thái Nguyên [3] Phạm Anh Phƣơng, Lê Thanh Long, Võ Văn Lƣờng, Nhận dạng chữ viết tay rời rạc sở phương pháp máy véc tơ tựa, Kỷ yếu Hội nghị khoa học, Đại học Duy Tân [4] Lƣơng Mạnh Bá, Nguyễn Thanh Thủy (2008), Nhập môn xử lý ảnh số, Đại học Bách Khoa Hà Nội [5] Nguyễn Thị Vân (2011), Tìm hiểu SVM nhận dạng chữ viết tay hạn chế, Đại học Công nghệ Hà Nội [6] Nguyễn Thị Hải Yến (2007), Phân lớp bám giám sát ứng dụng thuật toán SVM vào phân lớp trang WEB, Khóa luận tốt nghiệp đại học, Đại học Công nghệ, Đại học quốc gia Hà Nội Tiếng Anh [7] Andrew W.More,(2001), Support Vector Machines, Associate professor School of Coputer Science Camegie Mellon University [8] Nello Cristiannini and John Shawe-Taylor (2000), An Introduction to Support Vector Machines anh other kernel-based learning methods, Cambridge University Press [9] H.Bunke, M.Roth, E G Schukat-Talamazzani (1994), Off-line Recognition of Cursive Script Produced by Cooperative Writer, in Proc 12th Int.Conf.Pattern Recognition, Jerusalem, Israel [10] Yaser S Abu-Mostafa, Malik Magdon-Ismail, Hsuan-Tien Lin “Learning from data” 2012 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn 55 [11] Rafael M O Cruz, George D C Cavalcanti and Tsang Ing Ren Handwritten Digit Recognition Using Multiple Feature Extraction Techniques and Classifier Ensemble In proceddings of 17th International Conference on Systems, Signals and Image Processing 2010 [12] Xiao-Xiao Niu and Ching Y Suen “A novel hybrid CNN-SVM classifier for recognizing handwritten digits” Pattern Recognition, Volume 45, Issue 4, April, 2012, Pages 1318-1325 [13] Boguslaw Cyganek “Object Detection and Recognition in Digital Images: Theory and Practice” Wiley Editor, First edition, August, 2013 [14] Cheng-Lin Liu, Kazuki Nakashima, Hiroshi Sako, Hiromichi Fujisawa “Handwritten digit recognition: benchmarking of state-of-the-art techniques” Pattern Recognition 36 (2003) 2271 - 2285 [15] Chih-Chung Chang and Chil-Jen Lin, “LIBSVM: a Library for Support Vector Machines”, National Taiwan University, 2004 Số hóa Trung tâm Học liệu http://lrc.tnu.edu.vn ... lƣợc SVM, ứng dụng thực tế SVM Chƣơng 2: Kỹ thuật SVM nhận dạng phiếu điểm Giới thiệu kỹ thuật SVM, thuật toán SVM Đặc trƣng phiếu điểm, kỹ thuật SVM nhận dạng phiếu điểm Chƣơng 3: Thiết kế chƣơng... Khái quát nhận dạng kỹ thuật SVM Trình bày lý thuyết nhận dạng, kỹ thuật SVM nhận dạng: khái niệm nhận dạng, phƣơng pháp nhận dạng Các vấn đề ứng dụng nhận dạng Giới thiệu sơ lƣợc SVM, ứng dụng... CHƢƠNG KHÁI QUÁT VỀ NHẬN DẠNG VÀ KỸ THUẬT SVM 1.1 Khái quát nhận dạng 1.1.1 Khái niệm nhận dạng 1.1.2 Một số kỹ thuật nhận dạng 1.1.2.1 Nhận dạng dựa theo miền