Chương 1 TỔNG QUAN VỀ MÁY VECTƠ TỰA SVM
1.5 Bài toán phân loại ựa lớp
Với lý thuyết học thống kê và nền tảng toán học chặt chẽ, phương pháp SVM ban ựầu ựược xây dựng ựể phân loại bài toán hai lớp (yi ∈ − +{ 1, 1}). Tuy nhiên bài toán phân loại ựa lớp có thể ựược giải quyết bằng việc kết hợp nhiều SVM lại với nhau.
Xét một tập các ựối tượng {X X1, 2,...,Xn} mỗi ựối tượng thuộc một trong k
lớp cho trước L = {L L1, 2,...,Lk}.
Sau ựây là một số chiến lược thường ựược áp dụng cho bài toán SVM phân loại ựa lớp:
1.5.1 ChiDn l.3c mt chi phEn còn lBi (OVR: One Ờ Versus Ờ Rest)
đây là chiến lược ựơn giản nhất cho bài toán phân loại nhiều lớp. để phân loại các ựối tượng này thành k lớp bằng phương pháp SVM, ta xây dựng k máy SVM
i
SVM phân loại lớp L ii( = 1,..,k) với các lớp còn lại. Với chiến lược này,
i
SVM sẽ ựược huấn luyện trên toàn bộ tập mẫu (các mẫu của lớp thứ i với tất cả các mẫu của các lớp còn lại) ựể phân lớp. Vì vậy, khi xây dựng các máy phân lớp, các mẫu huấn luyện buộc phải ựánh lại nhãn: các mẫu của lớp thứ i sẽ ựược gán nhãn là 1, còn các mẫu của các lớp còn lại sẽ ựược gán nhãn là -1.
Giả sử X = (a a1, ,...,2 am) là một vectơ ựặc trưng của một ựối tượng bất kì. để xác ựịnh X thuộc lớp nào trong k lớp ựã cho, ta sử dụng SVM1 ta sẽ biết ựược X thuộc lớp L1 hay thuộc (k −1) lớp còn lại. Nếu X không thuộc lớp L1, sử dụng SVM2 ta sẽ biết ựược X thuộc lớp L2 hay thuộc (k −2) nhóm còn lại. Quá trình này tiếp tục cho ựến khi ta xác ựịnh ựược X thuộc lớp nào.
Ưu ựiểm của chiến lược này là số máy phân lớp ắt, do ựó tốc ựộ phân lớp nhanh hơn. Tuy nhiên, dù số máy phân lớp ắt nhưng mỗi lần huấn luyện phân lớp thì toàn bộ tập mẫu ựều tham gia huấn luyện, do ựó thời gian huấn luyện tăng lên ựáng kể. Nhược ựiểm chắnh của chiến lược này là nếu một mẫu khi bị phân lớp sai thì sẽ không có cơ hội ựể thực hiện lại, do ựó ựộ chắnh xác phân lớp của chiến lược này không cao.
1.5.2 ChiDn l.3c mt chi mt (OVO: One Ờ Versus Ờ One)
Chiến lược phân lớp một chọi một do John Platt và Nello Cristianini ựưa ra. Trong chiến lược này, các lớp không phải là kết quả phân loại ựược loại trừ dần dần. Ứng với mỗi cặp lớp i j, , một SVM i j( , ) ựược thiết lập chỉ dựa trên những mẫu của hai lớp này (i là lớp −1, j là lớp +1). đặc ựiểm của SVM này là nếu mẫu thử có kết quả âm thì không kết luận ựược mẫu này thuộc lớp i mà chỉ có thể kết luận ựược mẫu này không thuộc lớp j và ngược lại.
Hình 1-9. SVM loại trừ trong phân lớp một chọi một
Với cách tiếp cận của chiến lược này, nếu cần phân loại mẫu vào một trong k lớp thì cần xác ựịnh 1+ +2 ...+(k −1) = k k( −1 / 2) siêu phẳng phân lớp. Do ựó
Không kết luận ựược mẫu thuộc lớp 4 mà chỉ kết luận mẫu không thuộc lớp 1
Xét chiến lược một chọi một trong trường hợp cụ thể gồm 4 lớp phân loại 2 3 4 1 3 4 2 4 3 4 1 2 not 1 not 2
not 3 not 2 not 1 not 3
2 4 3 4 1 2 1 2 3 4 1 vs 2 2 vs 3 1 vs 3 2 vs 4 3 vs 4 1 vs 4
Hình 1-10. Chiến lược một chọi một loại trừ trong mọi trường hợp xảy ra
Khi bắt ựầu phân loại, SVM( )1,2 sẽ ựược thực hiện ựể xem cần loại trừ lớp 1
hay lớp 2. Nếu mẫu không thuộc lớp 2 thì SVM( )1, 3 sẽ ựược thực hiện tiếp theo, còn ngược lại thì SVM( )2, 3 sẽ ựược thực hiện. Cứ loại trừ dần dần như vậy cho ựến khi chỉ còn một lớp cuối cùng và ựó cũng chắnh là kết quả của việc xét phân lớp (Hình 1-10).
Ưu ựiểm của chiến lược này là mỗi lần huấn luyện phân lớp thì chỉ cần tập mẫu của hai lớp ựược chọn tham gia huấn luyện, do ựó thời gian huấn luyện nhanh. Ngoài ra, với chiến lược này còn tồn tại nhiều siêu phẳng tách khác nhau cho mỗi cặp lớp. Do ựó, nếu một mẫu thuộc một lớp bị phân lớp sai thì mẫu ựó vẫn còn cơ hội ựược phân lớp ựúng nhờ vào các máy phân lớp còn lại, do ựó chiến lược này ựạt kết quả phân lớp khá chắnh xác.