Stuart Andrews và cộng sự đề xuất phương pháp MISVM [3] giải bài toán đa thể hiện trên cơ sở phát triển từ phương pháp máy véc tơ hỗ trợ SVM. Đặc điểm của bài toán đa thể hiện: một túi được gán nhãn “dương” nếu túi đó chứa ít nhất một thể hiện “dương”, túi được gán nhãn “âm” nếu tất cả thể hiện trong túi là “âm”. Ý tưởng chính của đề xuất là chuyển đổi thiết lập dữ liệu đa thể hiện thành thiết lập dữ liệu đơn thể hiện, trong đó gán nhãn của các túi dương cho các thể hiện bên trong túi đó, và nhãn của các thể hiện trong các túi âm đều là nhãn âm. Mục tiêu là xây dựng một siêu phẳng giữa hai lớp sao cho khoảng cách từ siêu phẳng đến các điểm (thể hiện) gần siêu phẳng nhất của hai lớp đạt cực đại.
Ta có tập dữ liệu huấn luyện với cặp thể hiện - nhãn (𝑥𝑖, 𝑦𝑖) ∈ 𝑅𝑑 × 𝑌. Xây dựng hàm ánh xạ 𝑓: 𝑅𝑑 → 𝑌, trong đó 𝑌 = {−1,1}. Các thể hiện được nhóm thành các túi, mỗi túi sẽ được gán tương ứng một nhãn (không phải thể hiện nào cũng có nhãn). Ta có tập các thể hiện 𝑥1, 𝑥2, … , 𝑥𝑛 được nhóm thành các túi 𝐵1, … , 𝐵𝑚, với 𝐵𝐼 = {𝑥𝑖: 𝑖 ∈ 𝐼}, 𝐼 ⊆ {1,2, … , 𝑛}. Mỗi túi 𝐵𝐼 được gán một nhãn 𝑌𝐼. Trong đó, nếu 𝑌𝐼 = −1 thì 𝑦𝑖 = −1 ∀𝑖 ∈ 𝐼 và không có thể hiện dương nào trong túi 𝐵𝐼. Ngược lại, nếu 𝑌𝐼 = 1 thì tồn tại ít nhất một 𝑥𝑖 ∈ 𝐵𝐼 với 𝑦𝑖 = 1. Với lưu ý, nhãn của túi âm là nhãn chung cho tất cả các thể hiện trong túi đó, với túi dương chỉ có thể biết được có ít nhất một thể hiện có nhãn dương. Thông thường, có thể xác định được mối quan hệ giữa nhãn 𝑦𝑖 của thể hiện với nhãn 𝑌𝐼 của túi bằng cách tính 𝑌𝐼 = max
𝑖∈𝐼 𝑦𝑖 hoặc bằng ràng buộc tuyến tính sau: ∑ 𝑦𝑖+1
2
𝑖∈𝐼 ≥ 1, ∀𝐼 sao cho 𝑌𝐼 = 1 và 𝑦𝑖 = −1, ∀𝐼 sao cho 𝑌𝐼 = −1 (*) Xây dựng hàm phân tách đa thể hiện (MI-separating) 𝑓: 𝑋 → 𝑅 đối với tập dữ liệu đa thể hiện nếu 𝑠𝑔𝑛 max
Hình 2.6: Ví dụ phân lớp với MISVM [3]
Từ bài toán tối ưu của máy vec tơ hỗ trợ ban đầu, ta xây dựng mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện như sau:
min
{𝑦𝑖} min
𝑤,𝑏,𝜉 1
2‖𝑤‖2 + 𝐶 ∑ 𝜉𝑖 𝑖 (2.19) Sao cho: ∀𝑖: 𝑦𝑖(〈𝑤, 𝑥𝑖〉 + 𝑏) ≥ 1 − 𝜉𝑖, 𝜉𝑖 ≥ 0, 𝑦𝑖 ∈ {−1,1} và thỏa mãn ràng buộc tuyến tính (*).
Với phương pháp máy vec tơ hỗ trợ ban đầu, ta biết trước nhãn 𝑦𝑖 của thể hiện 𝑥𝑖 trong dữ liệu huấn luyện. Với mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện, nhãn 𝑦𝑖 của thể hiện 𝑥𝑖 (thể hiện 𝑥𝑖 không thuộc về bất kỳ một túi âm nào) được xem như các biến số nguyên chưa biết. Vì vậy, trong mô hình máy vec tơ hỗ trợ của bài toán đa thể hiện, việc cực đại hóa khoảng cách kết hợp với gán các nhãn cũng tương tự như kết hợp tìm ra siêu phẳng.
Hình 2.6 là minh họa cho ý tưởng phân lớp của phương pháp MISVM. Đó là, tìm ra một hàm phân tách đa thể hiện (MI-separating) tuyến tính sao cho có ít
nhất một thể hiện dương của các túi dương thuộc về nửa không gian dương, và tất cả các thể hiện âm thuộc về nửa không gian âm. Trong Hình 2.6, các thể hiện âm được biểu diễn bằng dấu “-“, các thể hiện dương được biểu diễn bởi các số.
Stuart Andrews và cộng sự [3] cũng giới thiệu một giải thuật tối ưu heuristic để tìm siêu phẳng tối ưu trong không gian đặc trưng nhằm cực đại hóa khoảng cách giữa hai lớp. Mã giả của giải thuật tối ưu heuristic được minh họa trong Hình 2.7.
Hình 2.7: Mã giả giải thuật tối ưu heuristic của phương pháp MISVM [3] Nhìn chung, giải thuật tối ưu heuristic (Hình 2.7) gồm hai bước chính. Bước đầu tiên, từ các nhãn cho trước, ta sử dụng phương pháp SVM để tìm ra hàm phân tách tối ưu. Bước tiếp theo, từ hàm phân tách có được, ta cập nhật lại giá trị của nhãn cho một số hữu hạn các thể hiện (chỉ các thể hiện thuộc túi dương). Ngoài ra, còn có bước cập nhật giá trị nhãn cho các túi có một thể hiện. Có một lưu ý, việc khởi tạo giá trị các nhãn ở dòng 1 của giải thuật là cho các thể hiện của từng túi dương.
