1 Giới thiệu về SVM Định nghĩa dùng để phân chia dữ liệu thành các nhóm riêng biệt ứng dụng nhận dạng tiếng nói, phân loại văn bản, phân tích dữ liệu gen, phương pháp support vector machine là tìm một.
1 Giới thiệu SVM - Định nghĩa: dùng để phân chia liệu thành nhóm riêng biệt - ứng dụng: nhận dạng tiếng nói, phân loại văn bản, phân tích liệu gen,…… - phương pháp support vector machine tìm siêu phẳng (hyperplane) để phân tách điểm liệu - siêu phẳng chia không gian thành miền khác miền chứa loại liệu - - Vấn đề đặt có nhiều siêu phẳng phải chọn tối ưu 1.1 Nhắc lại khoảng cách từ điểm tới mặt phẳng + không gian chiều, khoảng cách từ điểm (x 0, y0) tới đường thẳng w1x+w2y+b=0 xác định |w1 x +w y +b| √w +w 2 + khơng gian chiều khoảng cách từ điểm có toạ độ (x0,y0,z0) tới mặt phẳng có phương trình w1x+w2y+w3z+b=0được xác định bởi: |w1 x +w y + w3 z0 + b| √w + w + w 2 2 + tổng quát không gian d chiều, khoảng cách từ điểm (vector) (x 10, x20, xd0) tới siêu phẳng (hyperplane) có phương trình: w1x1+w2x2+…+wdxd+b=0 (wT.X0+b)=0 |w1 x 10 +w x 20+ …+w d x d +b| |wT x +b| = ||w||2 √ w12+ w22 +…+ w2d Với x0 = [x10, x20, xd0]T, w = [w1+w2+…+wd]T 1.2 Xây dựng toán - Margin lớp định nghĩa khoảng cách từ điểm gần lớp tới mặt phân chia - Ý tưởng SVM margin lớp phải phải lớn - Lúc margin tính bằng: T Margin=min y n ( w x +b) ||w||2 Với y n=± nhãn điểm liệu - Việc margin rộng mang lại hiệu ứng phân lớp tốt Vì phân chia lớp rạch rịi Bài tốn tối ưu SVM tìm đương phân chia cho margin lớp lớn Bài toán tối ưu Bài tốn tối ưu SVM việc tìm w b cho margin đạt giá trị lớn Nhận xét quan trọng ta thay vector hệ số w bơi kw b bới kw k số dương mặt phân chia khơng thay đổi, tức khoảng cách từ điểm đến mặt phân chia không đổi, tức margin khơng đổi Dựa tính chất này, ta giả sử: y n ( w x 0+ b ) =1 với điểm nằm gần mặt phân chia T Với n ta ln có : y n ( w T x 0+ b ) ≥ Vậy tốn tối ưu đưa tốn tối ưu có ràng buộc sau đây: Bằng biến đổi đơn giản, ta đưa toán toán đây: 1− y n ( w x +b ) ≤ T Ở đây, lấy nghịch đảo hàm mục tiêu, bình phương để hàm khả vi, nhân với 1/2 để biểu thức đạo hàm đẹp Trong toán, hàm mục tiêu norm, nên hàm lồi Các hàm bất đẳng thức ràng buộc hàm tuyến tính theo w và b, nên chúng hàm lồi Vậy tốn tối ưu (3)(3) có hàm mục tiêu lồi, hàm ràng buộc lồi, nên tốn lồi Hơn nữa, một Quadratic Programming Thậm chí, hàm mục tiêu là strictly convex vì ||w||22=wTIw và I ma trận đơn vị - ma trận xác định dương Từ suy nghiệm cho SVM là duy Đến tốn giải cơng cụ hỗ trợ tìm nghiệm cho Quadratic Programing, ví dụ CVXOPT Tuy nhiên, việc giải toán trở nên phức tạp số chiều d của không gian liệu số điểm liệu N tăng lên cao Người ta thường giải bài toán đối ngẫu của toán