Xuất phát từ mục đích đi tìm siêu phẳng tối ưu cho tập huấn luyện phân chia được, ta đã chuyển vấn đề về dạng tối ưu hóa có ràng buộc và tìm cách giải quyết bằng cách sử dụng biến đối ngẫu.
Trong dạng biến đổi đối ngẫu, chúng ta sử dụng vector đối ngẫu
) ,..., , ( 1* 2* * * N
và dùng nó cho việc khôi phục mặt phẳng tối ưu (w*,b*)
. Mỗi thành phần của vector đối ngẫu được liên kết với một ràng buộc, có hai ràng buộc (điều kiện Karush-Kuhn-Tucker):
Các ràng buộc mà (i 0) là các ràng buộc tích cực. Các ràng buộc mà i 0
là các ràng buộc không tích cực.
Trong trường hợp này, ràng buộc thứ i được thể hiện dưới dạng:
0 1 ) (wx b yi i với mọi i = 1,2,…N.
Ràng buộc này thể hiện những điểm xi
nằm ở phần "tốt" của siêu phẳng phân biệt và khoảng cách của nó từ siêu phẳng lớn hơn một lề nào đó. Hơn nữa, ràng
buộc này là "tích cực" khi và chỉ khi khoảng cách này đúng bằng lề. Chỉ có các ràng buộc tích cực tương ứng với các điểm mà khoảng cách từ nó đến siêu phẳng đúng bằng giá trị lề. Những điểm đặc biệt này (những điểm có vòng tròn xung quanh hình 15) gọi là các vector hỗ trợ. Đặc trưng của chúng là các ràng buộc tương ứng với nó là tích cực (i 0)trong khi các ràng buộc ứng với các điểm khác là không tích cực.
Hình 15. Các vector hỗ trợ
Bằng cách bỏ đi các điểm ứng với (i 0)trong phương trình xác định *
w
ta có
*
w
là tổ hợp tuyến tính của các vector hỗ trợ. Điều này dẫn tới một số hệ quả sau:
Tính chất thưa: Số lượng các vector hỗ trợ có thể rất nhỏ so với kích thước của tập huấn luyện.
Siêu phẳng tối ưu không bị ảnh hưởng bởi các đối tượng học không phải là
vector hỗ trợ