b. Phân loại các kỹ thuật học máy
2.3.4. Thuật tốn SVM phi tuyến phân lớp nhị phân
Siêu phẳng phân tách dữ liệu:
(2.31) Để phân lớp một ví dụ mới chỉ cần tính sign( ) như với lề cứng.
2.3.4.Thuật tốn SVM phi tuyến phân lớp nhị phân
Trong thực tế các tập dữ liệu huấn luyện cĩ ranh giới quyết định là khơng tuyến tính vì vậy rất khĩ giải quyết. Tuy nhiên cĩ thể chuyển tập dữ liệu huấn luyện này về dạng tuyến tính quen thuộc bằng cách ánh xạ dữ liệu này sang một khơng gian lớn hơn gọi là khơng gian đặc trưng (feature space). Với khơng gian đặc trưng phù hợp thì dữ liệu huấn luyện sau khi ánh xạ sẽ trở tuyến tính và phân tách dữ liệu sẽ ít lỗi hơn so với khơng gian ban đầu. Phương pháp SVM phi tuyến cĩ thể phân thành hai bước như sau:
Bước 1: Chuyển đổi khơng gian dữ liệu ban đầu sang một khơng gian đặc trưng khác (thường cĩ số chiều lớn hơn), khi đĩ dữ liệu huấn luyện cĩ thể phân tách tuyến tính được.
Bước 2: Áp dụng các cơng thức như với SVM tuyến tính.
Giả sử dữ liệu xi ban đầu thuộc khơng gian Rn ta sử dụng một hàm ánh xạ ϕ để chuyển tập dữ liệu xi sang khơng gian Rm.
Tập huấn luyện ban đầu
T = {(x1, y1), (x2, y2), …, (xn, yn)} Được ánh xạ thành tập
Hình 2.6. Ánh xạ từ khơng gian 2 chiều sang khơng gian 3 chiều
Như ví dụ trong hình 2.6 [5], trong khơng gian 2 chiều khơng thể tìm được một siêu phẳng phân tách dữ liệu thành hai phần riêng biệt. Tuy nhiên, sau khi ánh xạ dữ liệu huấn luyện từ khơng gian R2 sang khơng gian R3 thì dễ dàng xác định được ngay siêu phẳng phân tách dữ liệu. Khi đĩ xi trong khơng gian R2 sẽ tương ứng với ϕi trong khơng gian R3. Bài tốn tối ưu trở thành:
Với ràng buộc:
Bài tốn đối ngẫu Lagrange tương ứng là:
(2.32)
Siêu phẳng phân tách dữ liệu:
Việc chuyển đổi khơng gian trực tiếp sẽ gặp vấn đề về chi phí thời gian nếu số chiều của khơng gian đầu vào là quá lớn, hoặc một số trường hợp với số chiều khơng gian đầu vào nhỏ nhưng vẫn tạo ra khơng gian đặc trưng cĩ số chiều lớn. May mắn là ϕ(x) chỉ xuất hiện dưới dạng tích vơ hướng ϕ(x).ϕ(z) mà khơng xuất hiện riêng rẽ. Chính vì vậy sử dụng hàm nhân cĩ thể giải quyết được vấn đề này.
Hàm nhân cĩ một số tính chất như sau:
- Một hàm nhân K được xác định khi tồn tại ϕ sao cho K(x,y) = ϕ(x).ϕ(y).
- Giả sử cĩ m điểm mẫu, ta lập một ma trận Ki,j = K(xixj) với i,j=1,…m.
Người ta chứng minh được rằng: Nếu K là hàm nhân thì ma trận Ki,j sẽ là ma trận nửa xác định dương (cĩ các giá trị riêng của ma trận ≥ 0).
- Nếu K1(x,y) và K2(x,y) là hàm nhân thì K3(x,y) cũng là hàm nhân
Việc lựa chọn hàm nhân phụ thuộc vào từng ứng dụng cụ thể. Đối với phân loại văn bản nên sử dụng các hàm nhân đa thức với số bậc thấp vì số chiều đặc trưng của chúng đã đủ lớn. Một số hàm nhân thường được sử dụng đĩ là:
Hàm nhân đa thức: K(x,y) = (x.y + c)d với d là bậc đa thức. Chiều của khơng gian đặc trưng tương ứng với hàm nhân này là q = . Hàm nhân K(x,y) này cĩ thể chuyển tất cả các mặt cong bậc d trong khơng gian Rn
thành một siêu phẳng trong khơng gian đặc trưng.
Chiều của khơng gian đặc trưng với hàm nhân này là nên nĩ cĩ thể chuyển mặt cong bất kì trong khơng gian Rn thành một siêu phẳng trong khơng gian đặc trưng.
Hàm nhân tuyến tính (Linear Kernel) K(x,y) = (xT.y)d.