2 Support Vector Machine
2.2.3Tối ưu húa trong khụng gian đặc trưng
Cho K là một kernel. Giả sử rằng, cỏc quan sỏt trong L là được tỏch tuyến tớnh trong khụng gian đặc trưng tương ứng với kernek K. Khi đú, bài toỏn tối ưu đối ngẫu là tỡm α và β0 để
cực đại FD(α) =1T nα− 1 2α THα (2.59) với ràng buộc α ≥ 0, αTy = 0, (2.60) trong đú, y= (y1, ..., yn)T,H = (Hij) và Hij = yiyjK(xi,xj) = yiyjKij, i, j = 1,2, ..., n. (2.61) Bởi vỡ K là một kernel, ma trận Gram K = (Kij) là xỏc định khụng õm và như vậy cũng là ma trận H với cỏc phần tử được xỏc định trong (2.61). Do đú, hàm FD(α) là lồi. Vỡ vậy, chỳng ta sẽ cú lời giải duy nhất với bài toỏn tối ưu ràng buộc. Nếu αb và βb0 giải bài toỏn này thỡ quy tắc quyết định SVM là sign{fb(x)}, trong đú b f(x) = βb0+X i∈sv b αiyiK(x,xi) (2.62) là siờu phẳng tỏch tối ưu trong khụng gian đặc trưng tương ứng với kernel K. Trong trường hợp khụng tỏch được, sử dụng kernel K, bài toỏn đối ngẫu của bài toỏn tối ưu 1 norm soft-margin là tỡm α để
cực đại FD∗(α) =1Tnα− 1
2α
THα (2.63) với ràng buộc 0≤ α ≤C1n, αTy= 0, (2.64) trong đú y và H được xỏc định phớa trờn. Với 1 lời giải tối ưu, cỏc điều kiện Karush- Kuhn- Tucker (2.41) - (2.46) vẫn đỳng cho bài toỏn gốc. Vỡ vậy một lời giảiα cho bài toỏn này phải thỏa món tất cả cỏc điều kiện. May mắn là việc kiểm tra một tập cỏc điều kiện đơn giản hơn cũng thỏa món: chỳng ta phải kiểm tra rằng α thỏa món (2.64) và (2.41) đỳng cho tất cả cỏc điểm trong đú