Trong trường hợp tổng quát, thực tế mặt phân hoạch cĩ thể là một mặt phi tuyến bất kỳ (Hình 4-4). Giả sử các mẫu xi thuộc khơng gian Rn, khơng gian này
được gọi là khơng gian giả thiết (hypothesis space). Để tìm mặt phi tuyến trong khơng gian này, cĩ thể áp dụng một thủ thuật là ánh xạ các vector mẫu xi từ Rn vào một khơng gian Rd cĩ số chiều lớn hơn (d > n, d cĩ thể bằng ∞). Rd được gọi là
khơng gian đặc trưng (feature space). Sau đĩ áp dụng phương pháp SVM tuyến tính
để tìm ra một siêu phẳng phân hoạch khơng gian đặc trưng Rd. Siêu phẳng này sẽ tương ứng với mặt phi tuyến trong khơng gian Rn.
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 42
Hình 11. Phân tách phi tuyến nhưng chuyển đổi khơng gian để trở về tuyến tính
a)Hàm nhân – nhân
Ánh xạ từ khơng gian Rn vào khơng gian Rd: Gọi ánh xạ được áp dụng là , như vậy:
Ví dụ: x = (x1, x2) R2. Định nghĩa hàm ánh xạ như sau:
Với ánh xạ trên thì mặt hình vuơng [-1, 1]×[-1,1] trong khơng gian R2 sẽ trở
thành một mặt cong trong khơng gian R3 như trong hình dưới. Bây giờ dùng một mặt phẳng trong khơng gian R3 này sẽ cĩ thể thực hiện chia mặt cong trên thành hai phần (mà trong khơng gian R2 phải dùng một đường cong mới cĩ được kêt quả phân chia tương ứng).
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 43
Ấp dụng siêu phẳng phân hoạch mềm (soft-margin hyperlane trong khơng gian Rd cho các mẫu thì siêu phẳng này sẽ là:
Và từ đĩ cũng cĩ hàm phân hoạch là trong khơng gian Rn là hàm hợp .
Đây là một hàm phi tuyến.
Cách tiếp cận trên gặp phải một vấn đề là hàm cĩ thể cĩ số chiều rất lớn (nếu khơng gian Rd cĩ d lớn). Và do đĩ tiêu tốn thời gian nhiều trong các phép. Tuy nhiên, cĩ thể nhận xét rằng trong các phép tính chỉ xuất hiện dưới dạng tích vơ
hướng, tức là dạng mà khơng xuất hiện đơn lẻ. Đây là một nhận xét quan trọng trong việc tìm ra quy tắc sau:
Thay vì sử dụng dạng tường minh của thỉ chỉ cần sử dụng hàm biểu diễn giá trị vơ hướng .
Đặt K(x,y) = , K(x,y) được gọi là hàm hạt nhân (nhân function)
Như vậy là chỉ cần biết dạng của hàm hạt nhân K(x,y) mà khơng cần biết cụ
thể ánh xạ . Lúc đĩ hàm nhận dạng trở thành:
Tuy nhiên khơng thể chọn tuỳ ý hàm K(x,y) mà phải chọn K(x,y) sao cho tồn tại một hàm mà K(x,y) = . Điều kiện để đảm bảo vấn đề này là điều kiện
Mercer. Sau đây là một ví dụ về K và :
Với x = (x1, x2) R2, thì K(x,y) =
Tĩm lại phương pháp SVM phi tuyến là tìm một hàm nhân K(x,y) để tìm ra u và b. Cuối cùng xây dựng hàm nhận dạng đối với một mẫu thử x* nào đĩ là:
Cịn một vấn đề là tìm hàm nhân K(x,y) như thế nào. Rõ ràng đây là một vấn
đề phụ thuộc vào bài tốn nhận dạng. Đối với những bài tốn nhận dạng đơn giản
trong đĩ sự phân bố các mẫu của hai lớp {-1, 1} khơng quá phức tạp thì cĩ thể tìm hàm K(x,y) đơn giản sao cho số chiều của là khơng quá lớn.
Việc chọn hàm K(x,y) sao cho phù hợp là cần thiết vì nếu cứ chọn K(x,y) phức tạp thì phải trả giá là VC dimension lớn dù rằng cĩ được Empirical Risk nhỏ.
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 44
Hình 13. Phân hoạch phi tuyến cĩ nhiễu
Trong ví dụ ở trên, hàm nhân là (1 + x.y)2. Trường hợp này tập mẫu vẫn bị
phân hoạch cĩ lỗi (được đánh dấu bởi các dấu X, Empirical Risk ≠ 0). Lỗi này cĩ thể do nhiễu. Do đĩ đây là hàm phân hoạch ứng với nhân này là phù hợp nhất. Việc tìm những hàm nhân phức tạp để Empirical Risk = 0 là khơng cần thiết và khơng
đúng (vì nĩ sẽ xem lỗi như là một mẫu đúng).
b)Một số ví dụ về hàm nhân
Tiêu chuẩn đầu tiên để chọn một hàm nhân K là phải tồn tại để K(x,y) = tức K phải thoả điều kiện Mercer.
Giả sử cĩ l điểm mẫu, thành lập một ma trận K kích thước l × l như sau: Kij =
K(xi,xj); i,j = 1, 2,…,l. Người ta đã chứng minh rằng nếu K là hàm nhân thì ma trận
K là ma trận nửa xác định dương (semipositive define, các trị riêng của ma trận ≥
0).
Một số đặc tính của hàm nhân là:
Nếu K1(x,y), K2(x,y) là các hàm nhân thì K3(x,y) cũng là hàm nhân với:
● ● ●
Từ các cơng thức trên ta cĩ thể suy ra một số hàm nhân như sau:
i)Hàm đa thức:
Chiều của khơng gian đặc trưng ứng với nhân này là . Nhân này cĩ thể chuyển tất cả các mặt cong bậc p trong khơng gian Rn thành siêu phẳng trong
Luận văn tốt nghiệp Nghiên cứu giải thuật NB trong bài tốn TC
Trang 45
ii) Hàm bán kinh căn bản Gaussian RBF (Radial Basis Function)
Chiều của khơng gian đặc trưng ứng với nhân này là ∞. Do đĩ nĩ cĩ thể
chuyển một mặt cong bất kỳ trong khơng gian Rn thành siêu phẳng trong khơng
gian đặc trưng.
Hình 14. Chuyển thành siêu phẳng với hàm Gaussian RBF
Ngồi ra hàm nhân này cĩ một đặc điểm là x và y khơng liên hệ với nhau qua
tích vơ hướng mà là theo khoảng các Euclid ||x - y||2.