2 Support Vector Machine
2.2.4 SVM là một phương phỏp quy chuẩn
Phương phỏp SVM cũng cú thể được coi là một giải phỏp cho bài toỏn quy chuẩn cụ thể. Cho f ∈ HK là khụng gian Hilbert kernel tỏi tạo tương ứng với kernekK với chuẩn bỡnh phươngkfk2
HK trong HK.
Xột sai số phõn loại yi−f(xi), trong đú yi ∈ {−1,+1}. Khi đú
|yi−f(xi)|= |yi(1−yif(xi))| = |1−yif(xi)| = (1−yif(xi))+, i = 1,2, ..., n
(2.65) trong đú (x)+ = max{x,0}.
Định nghĩa 2.2.8. Đại lượng (1−yif(xi))+ mà cú thể bằng 0 nếu tất cả cỏc
xi được phõn loại đỳng thỡ được gọi là hàm tổn thất hinge.
Hỡnh 2.5: Hàm tổn thất Hinge (1−yf(x))+ cho y=−1và y= +1.
Chỳng ta mong muốn tỡm f ∈ HK để cực tiểu phiờn bản phạt của tổn thất
hinge. Cụ thể chỳng ta muốn tỡm f ∈ HK để cực tiểu 1 2 n X i=1 (1−yif(xi))++λkfk2HK, λ > 0. (2.66) Sau khi cực tiểu f được tỡm thấy thỡ quy tắc phõn loại SVM là C(x) =
Tiờu chuẩn tối ưu (2.66) khụng khả vi do hỡnh dạng của hàm tổn thất hinge. May mắn là, chỳng ta cú thể viết lại bài toỏn dưới 1 dạng khỏc và giải quyết nú. Chỳng ta bắt đầu từ thực tế rằng mỗi f ∈ H cú thể được viết một cỏch khụng duy nhất dưới dạng tổng của 2 số hạng
f(ã) =fk(ã) +f⊥(ã) =
n
X
i=1
αiK(xi,ã) +f⊥(ã), (2.67) trong đú fk ∈ HK là phộp chiếu của f lờn khụng gian con HK của H và f⊥ là thuộc khụng gian con vuụng gúc với HK; nghĩa là f⊥(ã), K(xi,ã)
H = 0, i = 1,2, ..., n. Chỳng ta cú thể viết f(xi) thụng qua tớnh chất tỏi tạo như sau
f(xi) = hf(ã), K(xi,ã)i=D
fk(ã), K(xi,ã)E
+
f⊥(ã), K(xi,ã)
. (2.68) Bởi vỡ số hạng thứ 2 trờn khụng gian Hilbert tỏi tạo bằng 0 nờn
f(x) = n X i=1 αiK(xi,x), (2.69) độc lập vớif⊥, trong đú chỳng ta đó sử dụng (2.67) và hK(xi,ã), K(xj,ã)iHK = K(xi,xj). Bõy giờ từ (2.67), ta cú kfk2HK = kX i αiK(xi,ã) +f⊥k2HK = kX i αiK(xi,ã)k2HK +kf⊥k2HK ≥ kX i αiK(xi,ã)k2HK, (2.70) với dấu bằng xảy ra khi và chỉ khif⊥ = 0, trong trường hợp đú bất kỳf ∈ HK
mà cực tiểu (2.66) sẽ thừa nhận 1 biểu diễn dạng (2.69). Từ (2.70), chỳng ta cú kfk2 HK = P i P jαiαjK(xi,xj) = kβk2, trong đú β = Pn
i=1αφ(xi). Nếu khụng gian HK bao gồm cỏc hàm tuyến tớnh cú dạng
f(x) = β0 +φ(x)Tβ với kfk2
HK = kβk2 thỡ bài toỏn tỡm f trong (2.66) tương đương với tỡm β0, β để cực tiểu 1 n n X i=1 (1−yi(β0+φ(xi)Tβ))++λkβk2. (2.71)
Do đú, ở (2.66) mà khụng khả vi do hàm tổn thất hinge sẽ cú thể được tớnh toỏn lại trong thuật ngữ của việc giải quyết bài toỏn tối ưu lề mềm chuẩn 1 (1 - norm soft - margin) (2.33) - (2.34).