2 Support Vector Machine
2.2.4SVM là một phương phỏp quy chuẩn
Phương phỏp SVM cũng cú thể được coi là một giải phỏp cho bài toỏn quy chuẩn cụ thể. Cho f ∈ HK là khụng gian Hilbert kernel tỏi tạo tương ứng với kernekK với chuẩn bỡnh phươngkfk2
HK trong HK.
Xột sai số phõn loại yi−f(xi), trong đú yi ∈ {−1,+1}. Khi đú
|yi−f(xi)|= |yi(1−yif(xi))| = |1−yif(xi)| = (1−yif(xi))+, i = 1,2, ..., n
(2.65) trong đú (x)+ = max{x,0}.
Định nghĩa 2.2.8. Đại lượng (1−yif(xi))+ mà cú thể bằng 0 nếu tất cả cỏc
xi được phõn loại đỳng thỡ được gọi là hàm tổn thất hinge.
Hỡnh 2.5: Hàm tổn thất Hinge (1−yf(x))+ cho y=−1và y= +1.
Chỳng ta mong muốn tỡm f ∈ HK để cực tiểu phiờn bản phạt của tổn thất
hinge. Cụ thể chỳng ta muốn tỡm f ∈ HK để cực tiểu 1 2 n X i=1 (1−yif(xi))++λkfk2HK, λ > 0. (2.66) Sau khi cực tiểu f được tỡm thấy thỡ quy tắc phõn loại SVM là C(x) =
Tiờu chuẩn tối ưu (2.66) khụng khả vi do hỡnh dạng của hàm tổn thất hinge. May mắn là, chỳng ta cú thể viết lại bài toỏn dưới 1 dạng khỏc và giải quyết nú. Chỳng ta bắt đầu từ thực tế rằng mỗi f ∈ H cú thể được viết một cỏch khụng duy nhất dưới dạng tổng của 2 số hạng
f(ã) =fk(ã) +f⊥(ã) =
n
X
i=1
αiK(xi,ã) +f⊥(ã), (2.67) trong đú fk ∈ HK là phộp chiếu của f lờn khụng gian con HK của H và f⊥ là thuộc khụng gian con vuụng gúc với HK; nghĩa là f⊥(ã), K(xi,ã)
H = 0, i = 1,2, ..., n. Chỳng ta cú thể viết f(xi) thụng qua tớnh chất tỏi tạo như sau
f(xi) = hf(ã), K(xi,ã)i=D
fk(ã), K(xi,ã)E
+
f⊥(ã), K(xi,ã)
. (2.68) Bởi vỡ số hạng thứ 2 trờn khụng gian Hilbert tỏi tạo bằng 0 nờn
f(x) = n X i=1 αiK(xi,x), (2.69) độc lập vớif⊥, trong đú chỳng ta đó sử dụng (2.67) và hK(xi,ã), K(xj,ã)iHK = K(xi,xj). Bõy giờ từ (2.67), ta cú kfk2HK = kX i αiK(xi,ã) +f⊥k2HK = kX i αiK(xi,ã)k2HK +kf⊥k2HK ≥ kX i αiK(xi,ã)k2HK, (2.70) với dấu bằng xảy ra khi và chỉ khif⊥ = 0, trong trường hợp đú bất kỳf ∈ HK
mà cực tiểu (2.66) sẽ thừa nhận 1 biểu diễn dạng (2.69). Từ (2.70), chỳng ta cú kfk2 HK = P i P jαiαjK(xi,xj) = kβk2, trong đú β = Pn
i=1αφ(xi). Nếu khụng gian HK bao gồm cỏc hàm tuyến tớnh cú dạng
f(x) = β0 +φ(x)Tβ với kfk2
HK = kβk2 thỡ bài toỏn tỡm f trong (2.66) tương đương với tỡm β0, β để cực tiểu 1 n n X i=1 (1−yi(β0+φ(xi)Tβ))++λkβk2. (2.71)
Do đú, ở (2.66) mà khụng khả vi do hàm tổn thất hinge sẽ cú thể được tớnh toỏn lại trong thuật ngữ của việc giải quyết bài toỏn tối ưu lề mềm chuẩn 1 (1 - norm soft - margin) (2.33) - (2.34).