Trong những năm gần đõy, Kernel Method được nghiờn cứu và ỏp dụng thành cụng trong nhiều lĩnh vực. Những phương thức học dựa vào Kernel thuộc lớp giải thuật học nhõn tạo (state-of-the-art), trong số đú giải thuật được biết nhiều nhất là mỏy hỗ trợ vectơ. Theo cỏch tiếp cận này, cỏc đối tượng dữ liệu được ỏnh xạ vào khụng gian với số chiều rất lớn, trong đú thụng tin về mối quan hệ phụ thuộc nhau (tớch trong) được sử dụng để xõy dựng cỏc lớp, xử lớ hồi quy, hoặc tạo ra cỏc luật phõn cụm, v.v...
3.3.2 Fisher Kernel
[14]Giả sử cú mụ hỡnh xỏc suất tổng quỏt p(d|). Hệ số nhõn Fisher chớnh là gradient của log p(d|), viết hỡnh thức như sau:u(d,)logp(d|), trong đú p(d|) là hàm mật độ xỏc suất, là tham số[14].
D Z W P(zk|dj) P(wi|zk) P(dj) D Z W P(dj|zk) P(wi|zk) P(zk)
Theo Gartner cú thể thiết lập mối quan hệ giữa cỏc kernel theo tớch trong (inner product) trong khụng gian Hilbert. Do đú cần phải cú một hàm để chuyển đổi từ khụng gian thụng tin sang khụng gian Hilbert. Như vậy cú thể định nghĩa Fisher Kernel là tớch trong giữa hai hệ số nhõn Fisher bằng cỏch thực hiện ỏnh xạ từ khụng gian thụng tin sang khụng gian Hilbert.
Gọi I() là ma trận thụng tin Fisher (ma trận này định nghĩa cấu trỳc hỡnh học của mụ hỡnh). Khi đú Fisher Kernel theo tham số ước lượng cú dạng như sau: ( ; ˆ), (ˆ) ( ; ˆ) ) , (di dn u di I 1u dn K CT 3.12
Vậy ta cú thể hiểu Fisher Kernel là hàm đo độ tương tự giữa hai đối tượng. Giỏ trị nhõn là lớn nếu thụng tin về hai đối tượng đú là tương tự nhau và ngược lại thỡ giỏ trị đú sẽ dần về khụng. Do đú cú thể hiểu nhõn như là độ đo khoảng cỏch mặc dự nú khụng được xem là một metric và được sử dụng làm độ đo tương tự.