Stuart Andrews và cộng sự đề xuất phương pháp MISVM [3] giải bài toán đa thể hiện trên cơ sở phát triển từ phương pháp máy véc tơ hỗ trợ SVM. Đặc điểm của bài toán đa thể hiện: một túi được gán nhãn “dương” nếu túi đó chứa ít nhất một thể hiện “dương”, túi được gán nhãn “âm” nếu tất cả thể hiện trong túi là “âm”. Ý tưởng chính của đề xuất là chuyển đổi thiết lập dữ liệu đa thể hiện thành thiết lập dữ liệu đơn thể hiện, trong đó gán nhãn của các túi dương cho các thể hiện bên trong túi đó, và nhãn của các thể hiện trong các túi âm đều là nhãn âm. Mục tiêu là xây dựng một siêu phẳng giữa hai lớp sao cho khoảng cách từ siêu phẳng đến các điểm (thể hiện) gần siêu phẳng nhất của hai lớp đạt cực đại.
Ta có tập dữ liệu huấn luyện với cặp thể hiện - nhãn ( , ) ∈ × . Xây dựng hàm ánh xạ : → , trong đó = {−1,1}. Các thể hiện được nhóm thành
các túi, mỗi túi sẽ được gán tương ứng một nhãn (không phải thể hiện nào cũng có nhãn). Ta có tập các thể hiện 1,2, … , được nhóm thành các túi 1, … , , với = { : ∈ }, ⊆ {1,2, … , }. Mỗi túi được gán một nhãn . Trong đó, nếu = −1 thì = −1 ∀ ∈ và không có thể hiện dương nào trong túi . Ngược lại, nếu = 1 thì tồn tại ít nhất một ∈ với = 1. Với lưu ý, nhãn của túi âm là nhãn chung cho tất cả các thể hiện trong túi đó, với túi dương chỉ có thể biết được có ít nhất một thể hiện có nhãn dương. Thông thường, có thể xác định được mối quan hệ giữa nhãn của thể hiện với nhãn của túi bằng cách
tính = max hoặc bằng ràng buộc tuyến tính sau: ∈
+1
≥ 1, ∀ sao cho
∑
∈ 2
Hình 2.6: Ví dụ phân lớp với MISVM [3]
Từ bài toán tối ưu của máy vec tơ hỗ trợ ban đầu, ta xây dựng mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện như sau:
min min 1 ‖ ‖{ } , , 22 + ∑
Sao cho: ∀ : ( , + ) ≥ 1 − , ≥ 0,〈 〉 ràng buộc tuyến tính (*). (2.19)
∈ {−1,1} và thỏa mãn
Với phương pháp máy vec tơ hỗ trợ ban đầu, ta biết trước nhãn của thể hiện trong dữ liệu huấn luyện. Với mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện, nhãn của thể hiện (thể hiện không thuộc về bất kỳ một túi âm nào) được xem như các biến số nguyên chưa biết. Vì vậy, trong mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện, việc cực đại hóa khoảng cách kết hợp với gán các nhãn cũng tương tự như kết hợp tìm ra siêu phẳng.
Hình 2.6 là minh họa cho ý tưởng phân lớp của phương pháp MISVM. Đó là, tìm ra một hàm phân tách đa thể hiện (MI-separating) tuyến tính sao cho có ít
nhất một thể hiện dương của các túi dương thuộc về nửa không gian dương, và tất cả các thể hiện âm thuộc về nửa không gian âm. Trong Hình 2.6, các thể hiện âm được biểu diễn bằng dấu “-“, các thể hiện dương được biểu diễn bởi các số.
Stuart Andrews và cộng sự [3] cũng giới thiệu một giải thuật tối ưu heuristic để tìm siêu phẳng tối ưu trong không gian đặc trưng nhằm cực đại hóa khoảng cách giữa hai lớp. Mã giả của giải thuật tối ưu heuristic được minh họa trong Hình 2.7.
Hình 2.7: Mã giả giải thuật tối ưu heuristic của phương pháp MISVM [3] Nhìn chung, giải thuật tối ưu heuristic (Hình 2.7) gồm hai bước chính. Bước đầu tiên, từ các nhãn cho trước, ta sử dụng phương pháp SVM để tìm ra hàm phân tách tối ưu. Bước tiếp theo, từ hàm phân tách có được, ta cập nhật lại giá trị của nhãn cho một số hữu hạn các thể hiện (chỉ các thể hiện thuộc túi dương). Ngoài ra, còn có bước cập nhật giá trị nhãn cho các túi có một thể hiện. Có một lưu ý, việc khởi tạo giá trị các nhãn ở dòng 1 của giải thuật là cho các thể hiện của từng túi dương.