5. Ý nghĩa khoa học và thực tiễn của đề tài
2.3. Các loại hàm kernel đƣợc sử dụng trong SVM
Tham số hàm kernel là một trong các tham số quan trọng và luôn cần đƣợc quan tâm nhất khi làm việc với SVM. Có nhiều loại tham số kernel quyết định tính đúng đắn và chính xác khi xây dựng mô hình SVM và để tối ƣu hóa mô hình, cần chọn lựa kernel phù hợp và tốt nhất.
Ý tƣởng cơ bản của Kernel SVM và các phƣơng pháp kernel nói chung là tìm một phép biến đổi sao cho dữ liệu ban đầu là không phân biệt tuyến tính đƣợc biến sang không gian mới. Ở không gian mới này, dữ liệu trở nên phân biệt tuyến tính.
Xét ví dụ dƣới đây với việc biến dữ liệu không phân biệt tuyến tính trong không gian hai chiều thành phân biệt tuyến tính trong không gian ba chiều bằng cách giới thiệu thêm một chiều mới:
a) Dữ liệu của hai classes là không phân biệt tuyến tính trong không gian hai chiều.
b) Nếu coi thêm chiều thứ ba là một hàm số của hai chiều còn lại , các điểm dữ liệu sẽ đƣợc phân
bố trên 1 parabolic và đã trở nên phân biệt tuyến tính . Mặt phẳng màu vàng là mặt phân chia, có thể tìm đƣợc bởi Hard/Soft Margin SVM.
c) Giao điểm của mặt phẳng tìm đƣợc và mặt parabolic là một đƣờng ellipse, khi chiếu toàn bộ dữ liệu cũng nhƣ đƣờng ellipse này xuống không gian hai chiều ban đầu, ta đã tìm đƣợc đƣờng phân chia hai classses.
Hình 2.6: Ví dụ về Kernel SVR.
Nói một cách ngắn gọn, Kernel SVM là việc đi tìm một hàm số biến đổi dữ liệu từ không gian đặc trưng ban đầu thành dữ liệu trong một không gian mới bằng hàm số Trong ví dụ này, hàm đơn giản là giới thiệu
thêm một chiều dữ liệu mới (một đặc trƣng mới) là một hàm số của các đặc trưng đã biết. Hàm số này cần thỏa mãn mục đích của chúng ta: trong không gian mới, dữ liệu giữa hai classes là phân biệt tuyến tính hoặc gần như phần biệt tuyến tính. Khi đó, ta có thể dùng các bộ phân lớp tuyến tính thông thƣờng nhƣ PLA, Logistic Regression, hay Hard/Soft Margin SVM.
Nếu phải so sánh, ta có thể thấy rằng hàm biến đổi tƣơng tự nhƣ activation functions trong Neural Networks. Tuy nhiên, có một điểm khác biệt ở đây là: trong khi nhiệm vụ của activation function là phá vỡ tính tuyến tính của mô hình, hàm biến đổi đi biến dữ liệu không phân biệt tuyến tính thành phân biệt tuyến tính. Nhƣ vậy là để đạt đƣợc mục đích chung, ta có hai cách nhìn khác nhau về cách giải quyết.
Các hàm thƣờng tạo ra dữ liệu mới có số chiều cao hơn số chiều của dữ liệu ban đầu, thậm chí là vô hạn chiều. Nếu tính toán các hàm này trực tiếp, chắc chắn chúng ta sẽ gặp các vấn đề về bộ nhớ và hiệu năng tính toán. Có một cách tiếp cận là sử dụng các kernel functions mô tả quan hệ giữa hai điểm dữ liệu bất kỳ trong không gian mới, thay vì đi tính toán trực tiếp từng điểm dữ liệu trong không gian mới. Kỹ thuật này đƣợc xây dựng dựa trên quan sát về bài toán đối ngẫu của SVM.
( ) đƣợc định nghĩa trong công thức (2.14) làm hàm kernel. Giá trị của nó bằng với tích bên trong của hai vector và trong không gian đặc trƣng và ( ):
( ) ( ) (2.14) ( ) đƣợc sử dụng trong kỹ thuật SVM để ánh xạ không gian đầu vào thành một không gian đặc trƣng cao tầng thông qua một số ánh xạ phi tuyến tính đã chọn một tiền nghiệm và đƣợc sử dụng để xây dựng siêu phẳng phân tách tối ƣu trong không gian đặc trƣng. Điều này làm cho nó có thể xây
dựng các bề mặt quyết định tuyến tính trong không gian đặc trƣng thay vì xây dựng các bề mặt quyết định phi tuyến tính trong không gian đầu vào. Có một số loại hàm kernel đƣợc sử dụng trong SVM. Các kiểu SVM đƣợc xây dựng là một chức năng của hàm kernel đã chọn và ảnh hƣởng đến thời gian tính toán của việc thực hiện SVM.