Naïve Bayes là bộ phân lớp xác suất, với các dữ liệu và các lớp, nó là một mô hình xác suất có điều kiện và khả năng dự đoán trước khi lớp có thể xảy ra nhất. Trong khi đó, Support vector machine(SVM) là một phương pháp phân lớp tuyến tính (linear classifier), với mục đích xác định một siêu phẳng (hyperplane) để phân tách hai lớp của dữ liệu. SVM được đề cử bởi V.Vapnik và các đồng nghiệp của ông vào những năm 1970 ở Nga, và sau đó đã trở nên nổi tiếng và phổ biến vào những năm 1990.
Xét bài toán phân lớp hai phân lớp với tập dữ liệu mẫu:
{ |𝑖 1 2 3 𝑁| }
Trong đó:
- là một vectơ đầu vào
- yi là một nhãn lớp (giá trị đầu ra), {1,-1}
- =1: lớp dương (positive); =-1: lớp âm (negative)
Khi đó sẽ tồn tại nhiều mặt phẳng phân tách, SVM lựa chọn mặt siêu phẳng phân tách có lề (margin) lớn nhất. Lý thuyết học máy đã chỉ ra rằng một mặt siêu phẳng phân tách như thế sẽ tối thiểu hóa giới hạn lỗi (phân lớp) mắc phải.
Hình 13 - Siêu mặt phẳng phân tách[3] SVM xác định một hàm phân tách tuyến tính:
f(x) = wx +b (3.1)
Trong đó w là vectơ trọng số các thuộc tính và b là một giá trị thực. Khi thay đổi w và b thì hướng và khoảng cách từ gốc tọa độ đến mặt siêu phẳng thay đổi.
Bộ phân lớp nhị phân được xác định thông qua dấu của f(x): = { 1 1 (3.2) - Nếu = 1 thì thuộc vào lớp dương
- Nếu = -1 thì thuộc vào lớp âm
Học máy SVM là một họ các mặt siêu phẳng phụ thuộc vào các tham số w, b. Mục tiêu của SVM là ước lượng w, b để cực đại lề hóa giữa lớp dương và lớp âm. Các giá trị của lề cho chúng ta các mặt siêu phẳng khác nhau.