7. Nội dung luận văn
2.3.3. Trường hợp phân tách phi tuyến
Trong các ứng dụng thực tế, thơng thường các tập dữ liệu phân tách phi tuyến, vì vậy địi hỏi các máy huấn luyện phải sử dụng các hàm phân lớp mạnh hơn so với các hàm tuyến tính. Phần này sẽ mở rộng bài tốn phân lớp SVM trong trường hợp tập dữ liệu huấn luyện khơng khả tách tuyến tính.
Với tập dữ liệu khơng khả tách tuyến tính, cĩ thể ánh xạ chúng sang một khơng gian khác với số chiều cao hơn sao cho trong khơng gian mới này, các điểm dữ liệu sẽ khả tách tuyến tính, hoặc cĩ thể phân tách với ít lỗi hơn so với trường hợp sử dụng khơng gian ban đầu.
Ví dụ cho ánh xạ biến đổi:
Φ: RD → H x ↦ Φ(x)
Trong đĩ RD là khơng gian đầu vào, H là khơng gian cĩ số chiều lớn hơn D (chiều của H cũng cĩ thể vơ hạn).
Đối với dữ liệu khơng khả tách tuyến tính trong khơng gian RD thì mục tiêu của bài tốn là tìm cách ánh xạ chúng sang khơng gian H sao cho ở trong khơng gian này chúng khả tách tuyến tính, H được gọi là khơng gian đặc trưng. Như vậy, hàm mục tiêu LD cĩ thể viết lại:
LD = ∑ αi−1
2∑l yiαiΦ(xi). Φ(xj)
i,j=1 l
i=1 (2.45)
Một vấn đề nảy sinh là làm thế nào để xử lý độ phức tạp tính tốn xuất hiện trong (2.59) khi tích vơ hướng Φ(xi). Φ(xj)cĩ số chiều rất lớn? Để giải quyết vấn đề này, một giải pháp hiệu quả khác là thay thế tích vơ hướng Φ(xi). Φ(xj)bằng một hàm nhân (kernel) K nào đĩ, giả sử Φ(xi). Φ(xj) = K(Xi, Xj). Với giải pháp này thì khơng cần phải tính trực tiếp tích vơ hướng Φ(xi). Φ(xj) mà chỉ cần tính thơng qua hàm nhân
K(Xi, Xj).
Bằng cách thay thế tích vơ hướng Φ(xi). Φ(xj) bởi một hàm nhân thích hợp, bài tốn hồn tồn cĩ thể thực hiện được thơng qua ánh xạ phi tuyến từ khơng gian đầu vào sang khơng gian đặc trưng với số chiều cao hơn và việc tìm khoảng cách lề cực đại sẽ được thực hiện gián tiếp trong khơng gian đặc trưng mà khơng cần phải xác định rõ ánh xạ Φ.