Trung tâm Thư viện và Tri thức số - Library and Digital Knowledge Center

Tìm hiểu Các hàm nhân trong Máy vector hỗ trợ và đánh giá hiệu quả trong bài toán Nhận dạng chữ số viết tay ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CHU VĂN VINH TÌM HIỂU HÀM NHÂN TRONG MÁY VECTOR HỖ TRỢ VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ Hà Nội 2014 2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CHU VĂN VINH TÌM HIỂU HÀM NHÂN TRONG MÁY VECTOR HỖ TRỢ VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ Ngành CÔNG NGHỆ THÔNG TIN Chuyên ngành KỸ THUẬT[.]

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CHU VĂN VINH TÌM HIỂU HÀM NHÂN TRONG MÁY VECTOR HỖ TRỢ VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CƠNG NGHỆ CHU VĂN VINH TÌM HIỂU HÀM NHÂN TRONG MÁY VECTOR HỖ TRỢ VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ Ngành CÔNG NGHỆ THÔNG TIN Chuyên ngành KỸ THUẬT PHẦN MỀM Mã số 60 48 01 03 NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Nguyễn Văn Vinh Hà Nội - 2014 LỜI CẢM ƠN Trƣớc tiên tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Nguyễn Văn Vinh, giảng viên Khoa Công nghệ thông tin - Trƣờng Đại học Công nghệ - Đại học Quốc Gia Hà Nội Trong thời gian học làm luận văn tốt nghiệp, thầy dành nhiều thời gian q báu tận tình bảo, hƣớng dẫn việc nghiên cứu, thực luận văn Tôi xin đƣợc cảm ơn thầy giáo, giáo giảng dạy tơi q trình học tập làm luận văn Các thầy cô giúp tơi hiểu thấu đáo lĩnh vực mà nghiên cứu để vận dụng kiến thức vào cơng tác Xin cảm ơn bạn bè, đồng nghiệp thành viên gia đình tạo điều kiện tốt nhất, động viên, cổ vũ tơi suốt q trình học tập nghiên cứu để hoàn thành luận văn tốt nghiệp Hà Nội, tháng 08 năm 2014 Học viên thực Chu văn Vinh LỜI CAM ĐOAN Tôi xin cam đoan rằng, kết nghiên cứu tơi có giúp đỡ lớn thầy hƣớng dẫn đồng nghiệp quan Các nội dung nghiên cứu kết đề tài hoàn toàn trung thực Trong luận văn, tơi có tham khảo đến số tài liệu số tác giả đƣợc liệt kê phần tài liệu tham khảo cuối luận văn Hà Nội, tháng 08 năm 2014 Học viên thực Chu văn Vinh MỤC LỤC DANH SÁCH BẢNG DANH SÁCH HÌNH VẼ DANH MỤC CÁC CHỮ VIẾT TẮT LỜI MỞ ĐẦU 10 Chƣơng 1: THUẬT TOÁN MÁY VECTOR HỖ TRỢ 13 1.1 Phƣơng pháp học máy 13 1.1.1 Thuật tốn học máy có giám sát 13 1.1.2 Thuật toán học máy không giám sát 13 1.1.3 Thuật toán học máy bán giám sát 13 1.2 Thuật toán Máy vector hỗ trợ 14 1.2.1 Nhận dạng mẫu phân lớp siêu phẳng 14 1.2.2 Siêu phẳng tối ƣu 15 1.2.3 Phân lớp lề mềm 18 1.2.4 Máy vector hỗ trợ đa lớp 20 Chƣơng 2: CÁC HÀM NHÂN TRONG MÁY VECTOR HỖ TRỢ 21 2.1 Phân lớp liệu 21 2.1.1 Hàm nhân Đa thức - Polynomial 22 2.1.2 Hàm nhân Gaussian 23 2.1.3 Hàm nhân Sigmoid 24 2.2 Phát tri thức hồi quy 25 2.2.1 Phát tri thức 25 2.2.2 Hồi quy 25 2.3 Xác định tham số cho hàm nhân 26 2.3.1 Lý thuyết tổng quát 26 2.3.2 Thẩm định chéo 28 2.3.3 Tìm kiếm dạng lƣới – Grid Search 30 2.4 Các ứng dụng hàm nhân 30 2.4.1 Nhận dạng ảnh 31 2.4.2 Nhận dạng chữ viết tay 31 2.4.3 Tin sinh học 31 Chƣơng 3: ỨNG DỤNG CỦA HÀM NHÂN TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY 33 3.1 Bài toán nhận dạng chữ viết tay 33 3.1.1 Tiền xử lý 34 3.1.2 Tách chữ 35 3.1.3 Trích chọn đặc trƣng 35 3.1.4 Huấn luyện nhận dạng 36 3.1.5 Hậu xử lý 38 3.2 Ứng dụng hàm nhân nhận dạng chữ số viết tay 38 3.2.1 Tiền xử lý trích chọn đặc trƣng 38 3.2.2 Huấn luyện nhận dạng 39 3.2.3 Lựa chọn mơ hình 43 Chƣơng 4: CÀI ĐẶT VÀ THỬ NGHIỆM CHƢƠNG TRÌNH 45 4.1 Cài đặt chƣơng trình 45 4.2 Thử nghiện chƣơng trình 46 4.2.1 Thử nghiệm với hàm nhân 47 4.2.2 Thử nghiệm so sánh hàm nhân 49 4.2.3 Thử nghiệm với độ lớn mẫu huấn luyện 49 4.3 So sánh với kết khác 49 KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 52 DANH SÁCH BẢNG Bảng 3.1: Tỷ lệ lỗi áp dụng thuật toán nhận dạng với chữ số [6] 30 Bảng 3.2: Tổng hợp cặp số để đƣa ký tự vào nhận dạng .40 Bảng 4.1: Kết thử nghiệm 2000 mẫu với hàm nhân Gaussian 47 Bảng 4.2: Kết tỷ lệ nhận dạng thử nghiệm 2000 mẫu với hàm nhân Polinomial 48 Bảng 4.3: Kết tỷ lệ nhận dạng thử nghiệm 2000 mẫu với hàm nhân Sigmoid .48 Bảng 4.4: Kết thử nghiệm nhận dạng 2000 mẫu với ba hàm nhân khác 49 Bảng 4.5: Kết thử nghiệm với số lƣợng liệu mẫu huấn luyện khác 49 Bảng 4.6: Một số kết thực nghiệm tập liệu MNIST [11] .50 DANH SÁCH HÌNH VẼ Hình 1.1: Một phân chia siêu phẳng (w, b) cho tập liệu huấn luyện hai chiều [4] .15 Hình 1.2: Cực đại lề siêu phẳng với vector hỗ trợ [4] 16 Hình 1.3: Đồ thị biểu diễn giá trị α [4] 18 Hình 1.4: Phân lớp lề mềm [4] 19 Hình 2.1: Phép chiếu liệu khơng phân chia tuyến tính sang khơng gian nhiều chiều làm cho phân chia tuyến tính [4] .22 Hình 2.2: Sự khác đƣờng phân chia lớp siêu phẳng sử dụng hàm nhân tuyến tính hàm nhân đa thức [2] 24 Hình 2.3: Ảnh hƣởng độ lớn giá trị σ đến vector hỗ trợ độ mềm siêu phẳng phân cách [2] 26 Hình 2.4: Sự ảnh hƣởng độ lớn giá trị (trục hoành) tới tỷ lệ lỗi (trục tung) huấn luyện liệu Máy vector hỗ trợ hàm nhân [6] .27 Hình 2.5: Bên trái: Tỷ lệ lỗi tổng quát giảm dần số mẫu tăng dần với trƣờng hợp lựa chọn ngẫn nhiên lựa chọn chủ động [6] 29 Hình 3.1 Quá trình nhận dạng chữ viết tay 32 Hình 3.2: Hình ảnh chữ số viết tay đầu vào đƣợc mã hóa thành ma trận 32x32 bit nhị phân [5] 39 Hình 3.3 Mơ hình hóa máy xử lý phân lớp nhị phân [5] .39 Hình 3.4: Kết nhận dạng máy với phân lớp nhị phân [5] 40 Hình 4.1: Giao diện chƣơng trình ứng dụng 45 DANH MỤC CÁC CHỮ VIẾT TẮT Từ viết tắt SVM SMO DNA SV ||w||2 RBF on-line off-line Kernel Ý nghĩa Support Vector Machine Sequential Minimum Optimization Deoxyribo Axit Nucleic Support Vector Radial Basic Function Giải thích Tiếng Việt Máy vector hỗ trợ Tối ƣu tối tiểu Phần tử acid nucleic Vector tựa Chuẩn Euclide siêu phẳng Hàm Radial Trực tuyến Ngoại tuyến Hàm nhân 10 LỜI MỞ ĐẦU Đặt vấn đề, giới thiệu toán Ngày với phát triển mạnh mẽ khoa học kỹ thuật, đặc biệt phát triển mạng máy tính tồn cầu, lƣợng lớn liệu đƣợc tạo thƣờng xuyên hàng ngày nhằm đáp ứng nhu cầu thiếu ngƣời thơng tin Chúng ta đƣợc sống xã hội bùng nổ thông tin, ứng dụng công nghệ thông tin vào lĩnh vực đời sống xã hội Thông tin đƣợc thể dƣới nhiều dạng khác nhƣ: văn bản, hình ảnh, âm cần đƣợc nhận dạng, xếp, phân loại để ngƣời dễ dàng nhận biết tìm kiếm Học máy lĩnh vực trí tuệ nhân tạo, liên quan đến việc nghiên cứu xây dựng kỹ thuật cho phép hệ thống học tự động từ liệu để giải vấn đề cụ thể Phƣơng pháp học máy thƣờng đƣợc áp dụng toán nhƣ: nhận dạng, phân lớp liệu, xử lý ngôn ngữ, tin sinh học Các phƣơng phƣơng pháp học máy thƣờng đƣợc sử dụng rộng rãi Mạng nơ-ron nhân tạo, máy vector hỗ trợ, k-láng giềng gần nhất, Naive Bayes, mơ hình hỗn hợp Gauss Trong đó, thuật tốn máy vector hỗ trợ (Support Vector Machine) phƣơng pháp tiên tiến, đƣợc đánh giá cao tính hiệu việc nhận dạng phân lớp liệu Nội dung thuật tốn máy vector hỗ trợ tìm siêu phẳng phân cách tối ƣu để phân chia liệu tuyến tính làm hai lớp khác Trong thuật toán máy vector hỗ trợ, hàm nhân tham số đóng vai trò quan trọng, ảnh hƣởng đến tốc độ xử lý huấn luyện tính xác thuật tốn với tốn phân lớp liệu khơng tuyến tính Bài tốn lựa chọn hàm nhân tham số tốt vấn đề mở, tốn khó thuật tốn máy vector hỗ trợ Trong nhiều phƣơng pháp đề xuất, thuật tốn tìm kiếm dạng lƣới thẩm định chéo phƣơng pháp thông dụng để tìm hàm nhân tham số tốt khoảng giá trị đƣợc xác định trƣớc Trên thực tế, máy vector hỗ trợ đƣợc cài đặt kiểm chứng cho kết nhận dạng, phân loại tốt với toán nhƣ: nhận dạng hình ảnh, nhận dạng chữ viết tay, phân loại văn bản, nhận dạng âm Bài toán nhận dạng chữ viết tay vấn đề kinh điển công nghệ thông tin đa dạng thơng tin đầu vào thuật tốn cịn q trình hồn thiện để đến kết xác 38 3.1.5 Hậu xử lý Hậu xử lý bƣớc cuối trình nhận dạng văn Từ ký tự riêng lẻ đƣợc nhận dạng bƣớc trƣớc, bƣớc tiến hành ghép nối ký tự thành từ, câu, đoạn văn để tái lại văn đồng thời phát sai sót dựa cấu trúc ngữ nghĩa từ nhận dạng đƣợc Về mặt tổng quan ý nghĩa văn đƣợc nhận dạng, việc phát lỗi, sai sót nhận dạng nhƣ sai sót văn đầu vào làm nâng cao chất lƣợng nhận dạng độ tin cậy hệ thống [3] Từ đầu trình nhận dạng, bƣớc hậu xử lý thông thƣờng so khớp kết với từ điển để đƣa kết luận Trong hệ thống nhận dạng chữ viết nhận dạng tiếng nói, để kiểm tra tả, ngƣời ta thƣờng sử dụng mơ hình ngơn ngữ thống kê n-Grams đƣợc áp dụng thành công 3.2 Ứng dụng hàm nhân nhận dạng chữ số viết tay Nhƣ ta trình bày trên, trình nhận dạng chữ viết tay phải trải qua nhiều bƣớc để đƣa kết luận cuối cùng, nhiên, khn khổ luận văn có hạn nhƣ mục đích tìm hiểu hàm nhân máy vector hỗ trợ nên phần trình bày bƣớc quan trọng là: trích chọn đặc trƣng, huấn luyện nhận dạng Mơ hình tổng qt hệ thống nhận dạng chữ viết tay rời rạc đƣợc mơ tả nhƣ hình dƣới đây: Dữ liệu huấn luyện Tiền xử lý Dữ liệu nhận dạng Huấn luyện sử dụng hàm nhân Mơ hình huấn luyện Nhận dạng Kết nhận dạng Trích chọn đặc trƣng Hình 3.2: Mơ hình nhận dạng chữ viết tay rời rạc sử dụng SVM 3.2.1 Tiền xử lý trích chọn đặc trƣng Để dễ dàng trình xử lý, nhận dạng chữ số viết tay, hình ảnh chữ số viết tay đầu vào đƣợc mã hóa dƣới dạng nhị phân nhƣ hình dƣới đây: 39 Hình 3.3: Hình ảnh chữ số viết tay đầu vào mã hóa thành ma trận 32x32 bit nhị phân Trong bƣớc trích chọn đặc trƣng, ký tự đƣợc biểu diễn dƣới dạng vector đặc trƣng Mục đích việc trích chọn đặc trƣng trích chọn tập thuộc tính, với điều kiện mơ tả ký tự tốt với thuộc tính mơ tả tạo đặc trƣng giống với nhiều thể ký tự Thông thƣờng, ký tự đƣợc trích chọn dựa đặc trƣng sau:  Đặc trƣng thống kê: o Trọng số vùng: Ảnh ký tự đƣợc chia thành N x N vùng Tổng số điểm đen vùng đƣợc tạo thành vector đặc trƣng o Biểu đồ chiếu: Ý tƣởng phƣơng pháp chiếu điểm đen ảnh chiều theo hƣớng ngang, dọc hai đƣờng chéo thành dãy tín hiệu chiều Ƣu điểm đặc trƣng không phụ thuộc vào nhiễu, nhiên phụ thuộc vào độ nghiêng chữ o Lát cắt khoảng cách: Ký tự đầu vào đƣợc mơ tả số lát cắt với dòng cột, ta đếm đƣợc khoảng cách nét ký tự so với biên ngồi  Đặc trƣng cấu trúc: Nó phụ thuộc vào đặc trƣng topo đặc trƣng hình học ký tự, ví dụ: hệ số hình dạng, điểm gạch chéo, vòng lặp, điểm nhánh, nét chữ hƣớng, uốn cong hai điểm 3.2.2 Huấn luyện nhận dạng 3.2.2.1 Máy vector hỗ trợ đa lớp Nhƣ chúng tơi trình bày phần 1.2.4, để áp dụng đƣợc máy vector hỗ trợ với nhiều lớp khác nhau, ta cần phải chia toán phân lớp thành 40 toán với cặp lớp cụ thể Một cách cụ thể tổng quát hóa, để nhận biết đƣợc chữ số đầu vào thuộc chữ số từ đến 9, ta áp dụng máy vector hỗ trợ trƣờng hợp sau: 0 0 0 0 0 1 1 9 3 3 4 4 5 6 7 9 Bảng 3.1: Tổng hợp cặp số để đưa ký tự vào nhận dạng, ví dụ nhận dạng số 0, có tổng số nhận dạng lượt lớn Do vậy, trình nhận dạng chữ viết tay áp dụng hàm nhân máy vector hỗ trợ dựa theo mơ hình sau: Tiền xử lý Đầu vào Trích chọn đặc trƣng SVM SVM SVM n Quyết định Kết Hình 3.4: Mơ hình huấn luyện nhận dạng chữ viết tay sử dụng SVM Đối với trình huấn luyện liệu, máy vector hỗ trợ có nhiệm vụ huấn luyện liệu với vector đặc trƣng cặp ký tự sau đƣợc trích chọn đặc trƣng Trong đó, áp dụng hàm nhân để ánh xạ vector đặc trƣng vào khơng gian để tìm vector hỗ trợ phân lớp siêu phẳng máy vector hỗ trợ (tƣơng ứng cặp số) Đối với trình nhận dạng liệu, ký tự sau đƣợc trích chọn đặc trƣng, đƣợc đƣa vào máy vector hỗ trợ Tại máy vector hỗ trợ này, tính hàm dấu để nhận biết đƣợc ký tự thuộc lớp Tỷ lệ ký tự đƣợc phân lớp cao kết nhận dạng ký tự đầu vào 41 Do q trình đƣa trích chọn đặc trƣng vào máy vector hỗ trợ độc lập với nên ta áp dụng phƣơng pháp xử lý song song cài đặt để tăng tốc độ tính tốn 3.2.2.2 Huấn luyện liệu Có nhiều phƣơng pháp để huấn luyện liệu đầu vào, phƣơng pháp thuật tốn tối ƣu tối tiểu (Sequential Minimal Optimization – SMO), thuật toán tối ƣu dành riêng dành cho phƣơng pháp máy vector hỗ trợ J Patt đƣa vào năm 1998 SMO thuật toán đơn giản để giải toán tối ƣu bậc cách nhanh chóng mà khơng cần lƣu trữ ma trận Gram khơng cần thiết phải giải tốn tối ƣu bậc bƣớc Tƣ tƣởng thuật toán phân rã toán tối ƣu bậc tổng quát thành toán con, sử dụng định lý Osuma để đảm bảo hội tụ [3] SMO giải toán tối ƣu với kích thƣớc nhỏ Tại bƣớc lặp, SMO chọn hai nhân tử Lagrange để giải quyết, tìm giá trị tối ƣu cho hai nhân tử cập nhật lại tham số SVM Ƣu điểm thuật tốn tối ƣu hai nhân tử Lagrange phƣơng pháp phân tích, ta khơng cần giải tối tối ƣu bậc Mặt khác, SMO không cần lƣu trữ ma trận Gram, tốn huấn luyện SVM với số lƣợng mẫu liệu lớn không cần khơng gian nhớ lớn, sử dụng máy tính bình thƣờng [3] Thuật tốn SMO thực hai việc chính: Giải tốn tối ƣu cho hai nhân tử Lagrange phƣơng pháp phân tích chọn hai nhân tử để tối ƣu phƣơng pháp lựa chọn heuristic Khơng tính tổng qt toán, giải sử tối ƣu hai phần tử αi, αj từ tập phƣơng án trƣớc đó: α1odd, α2odd, α3, , αl (để khởi tạo, ta gán αold = 0) [3] l Do  y i 1 i i  0, nên ta có: y11  y2  y11old  y2 2old  Const Cố định αi khác, hàm mục tiêu trở thành hàm hai biến đƣợc viết lại: LD  1    Const  ( y1 y2 x1T x112  y2 y2 x2T x2 22  y1 y2 x1T x21 2  l   2   i yi xiT  y1 x11  y2 x2   Const )  i3  42 Đặt K11 = x1Tx1, K22 = x2Tx2, K12 = x1Tx2 η = 2K12 – K11 – K22 (tính tốn chi tiết tham khảo [3]) Tiếp tục cố định α1, hàm mục tiêu trở thành hàm biến theo α2: LD   22  y E1old  E2old   2old   Const Trong đó:     l E old i   y k  kold K xk , xi   b  yi k 1 odd Vì hàm mục tiêu chứa E1 – E2odd nên khơng cần phải tính b bƣớc lặp Tiếp tục, ta lấy đạo hàm cấp cấp hai theo α2: Cho đạo hàm cấp 0, ta có: Vì α2 phải thỏa mãn ràng buộc ≤ α2 ≤ C nên giá trị α2 phải cắt xén để đảm bảo đáp án khả thi: Low ≤ α2 ≤ Hight Trong đó:  Nếu y1 # y2 thì: Low = max(0, α2odd – α1odd ) Hight = min(C, C - α1odd + α2odd)  Nếu y1 = y2 thì: Low = max(0, α1odd + α2odd – C) Hight = min(C, α1odd + α2odd) Và giá trị α1 tính đƣợc từ α2 nhƣ sau: α1 = α1odd + y1 y2 (α2odd - α2) Việc chọn hai nhân tử αi, αj cho toán tối ƣu thuật toán SMO đƣợc thực nhƣ sau [3]:  Ở vịng lặp ngồi chọn αi; vòng lặp chọn αj cho | Ej - Ei | đạt cực đại 43  Ở vòng lặp ngoài, lần lƣợt duyệt qua tất mẫu vector tựa (các mẫu có < αi < C) (ƣu tiên duyệt qua vector tựa, khơng tìm thấy duyệt tồn mẫu) để chọn mẫu vi phạm điều kiện KKT  Với αi đƣợc chọn, vịng lặp tìm kiếm mẫu αj cho | Ej - Ei | đạt cực đại Đầu tiên, duyệt qua vector tựa, khơng tìm đƣợc duyệt qua tồn mẫu 3.2.3 Lựa chọn mơ hình Nhƣ chúng tơi trình bày phần 2.3, việc lựa chọn hàm nhân tham số ảnh hƣởng lớn đến xác thuật toán thời gian xử lý Để chọn đƣợc hàm nhân tham số tốt (trong khoảng giá trị xác định trƣớc) cho toán nhận dạng chữ số viết tay, ta cần phải thực tìm kiếm dạng lƣới thẩm định chéo lần lƣợt với hàm nhân, tham số để lựa chọn đƣợc mơ hình tốt (lựa chọn đƣợc hàm nhân tham số tốt khoảng giá trị xác định trƣớc) Thuật toán tìm kiếm dạng lƣới với tham số hàm nhân đƣợc cài đặt nhƣ sơ đồ dƣới đây: i=0 Tỷ lệ tốt = i++ i < Max Đ Kết luận giá trị i tỷ lệ tốt S Thẩm định chéo Tỷ lệ tốt < Tỷ lệ thẩm định chéo S Đ Chọn giá trị i Cập nhật tỷ lệ tốt Hình 3.5: Sơ đồ thuật tốn tìm kiếm dạng lưới với giá trị tham số hàm nhân 44 Thuật toán thẩm định chéo đƣợc cài đặt nhƣ sơ đồ dƣới đây: fold = n i=0 Tỷ lệ trung bình = i++ i