Phần này được dành giới thiệu các mô hình dùng co-training trong máy học VSSVM. Đầu tiên là sự kết hợp của co-training trong VSSVM được thể hiện trong mô hình thứ nhất, ở đây hai bộ học VSSVM1 và VSSVM2 được xây dựng trong hai không gian giả thuyết khác nhau. Trong mô hình thứ hai hai bộ học VSSVM1 và VSSVM2 được xây dựng dựa trên hai hàm nhân khác nhau. Mỗi bộ học với tập dữ liệu huấn luyện riêng L1 và L2, nhưng ban đầu cùng được khởi tạo bằng tập dữ liệu huấn luyện L, tập dữ liệu đã được gán nhãn.
Input: Một mẫu x để phân lớp,
Tập dữ liệu huấn luyện I+, I- ,
Hàm nhân và tham số nhân của hàm nhân p, Tham số C của SVM.
Output: Phân lớp cho x.
Xây dựng một siêu phẳng Nếu ⌐cons( ), ) thì
trả về 0; Xây dựng một siêu phẳng ; Xây dựng một siêu phẳng ; Nếu ⌐cons( ) và cons( thì trả về giá trị +1; Nếu cons( ) và ⌐cons( thì trả về giá trị -1;
Mô hình thứ nhất
Hình 20. Mô hình thứ nhất co-training trong VSSVM
Rõ ràng quá trình học sẽ không thể tiến hành được nếu một trong hai bộ phân lớp VSSVM rỗng, hay không còn giả thuyết nào thỏa mãn phân tách đúng tất cả các mẫu . Nếu điều kiện cả hai bộ phân lớp cùng không rỗng được thỏa mãn thì quá trình học còn được duy trì. Lúc đầu quá trình huấn luyện hai bộ học này là quá trình học có giám sát (học trên tập huấn luyện đã gán nhãn).
Tư tưởng của mô hình thứ nhất là thử quá trình học trên tập các mẫu giàu thông tin I1 (Infomative instances) của bộ học VSSVM1 và tập các mẫu giàu thông I2 của bộ học VSSVM2. Dùng bộ học một VSSVM
1 phân lớp tập I2 dựa trên phân bố Dl và Dùng bộ học hai VSSVM
2 phân lớp tập I1 dựa trên phân bố Dl. Sau đó
Trong thực nghiệm đơn giản, Stijn Vanderlooy [40] đã lấy 25 mẫu trong không gian 2 chiều để test mô hình một và kết quả được tính dựa trên 3 thông số chính, số mẫu được phân lớp đúng, số mẫu phân lớp sai, và số mẫu chưa được phân lớp. Kết quả như sau:
Đầu vào: L là tập huấn luyện đã được gán nhãn
Đầu ra: Hai bộ phân lớp VSSVM1, VSSVM2.
Quá trình huấn luyện: L1=L; L2 =L
Dùng L1 huấn luyện VSSVM1, dùng L2 huấn luyện VSSVM2
Lặp n lần hoặc đến khi đạt tới ngưỡng cho trước: - Tìm tập mẫu giầu thông tin I1cho VSSVM1
- Dùng bộ phân lớp VSSVM2 phân lớp tập I1 theo phân bố Dl
- Đưa một tập con các mẫu mới được gán nhãn vào L1 sao cho không có sung đột trong dự đoán và không làm cho VSSVM1 rỗng (sụp đổ).
-Tìm tập mẫu giầu thông tin I2 cho VSSVM2
- Dùng bộ phân lớp VSSVM1 phân lớp tập I2 theo phân bố Dl
- Đưa một tập con các mẫu mới được gán nhãn vào L2 sao cho không có sung đột trong dự đoán và không làm cho VSSVM2 rỗng (sụp đổ).
Số mẫu Tỉ lệ %
Mẫu phân lớp đúng 18 72%
Mẫu phân lớp sai 1 4%
Mẫu chưa được phân lớp 6 24%
Bảng 2. Kết quả huấn luyện khi không dùng co-training- Model 1
Số mẫu Tỉ lệ %
Mẫu phân lớp đúng 17 68%
Mẫu phân lớp sai 1 4%
Mẫu chưa được phân lớp 7 28%
Bảng 3. Kết quả huấn luyện khi dùng co-training với một lần lặp – Model 1
Nhìn vào hai bảng kết quả trên ta thấy co-training trong trường hợp này đã làm giảm độ chính xác trong phân lớp từ 72% xuống còn 68% sau một lần lặp. Điều đó chứng tỏ việc sử dụng các mẫu giàu thông tin là không hiệu quả. Từ đó tác giả xây dựng nên mô hình thứ hai cũng dựa trên mô hình thứ nhất, xong các mẫu giàu thông tin ở đây không được dùng như trong mô hình thứ nhất.
Mô hình thứ hai
Mô hình thứ hai được xây dựng dựa trên mô hình thứ nhất, điểm khác giữa hai mô hình là trong mô hình thứ hai hai tham số p và C được tìm kiếm và sử dụng. Thêm nữa, các mẫu giàu thông tin không được sử dụng trong mô hình này. Trong thực nghiệm sử dụng 2 hàm nhân khác nhau cho hai bộ học VSSVMi. Cũng với bộ dữ liệu gồm 25 mẫu trong không gian hai chiều, kết quả của mô hình thứ hai như sau:
Số mẫu Tỉ lệ %
Mẫu phân lớp đúng 24 96%
Mẫu phân lớp sai 0 0%
Mẫu chưa được phân lớp 1 4%
Bảng 4. Kết quả huấn luyện khi không dùng co-training –Model 2
Số mẫu Tỉ lệ %
Mẫu phân lớp đúng 23 92%
Mẫu phân lớp sai 1 4%
Mẫu chưa được phân lớp 1 4%
Bảng 5. Kết quả huấn luyện khi dùng co-training với một lần lặp – Model 2
Từ kết quả của mô hình thứ hai ta thấy rõ ràng việc tìm kiếm hai tham số p và C đã tốt hơn cho việc tăng miền bao phủ miền nghiệm và cho kết quả tốt hơn so với mô thứ nhất. Ta thấy co-training một lần lặp vẫn chưa đủ để cho kết quả tốt hơn học giám sát trong cùng mô hình, song với kết quả này của một phương pháp bán giám sát là chấp nhận được.
3.1.6. Kết luận
VSSVMs là một hướng tiếp cận trong phân lớp đáng tin, đây là sự kết hợp giữa Support Vector Machines và Version Space nhằm tăng miền bao phủ miền nghiệm đúng trong quá trình phân lớp. Việc sử dụng phương pháp co-training trong huấn
luyện 2 bộ học VSSVM1 và VSSVM2 nhằm giảm số mẫu phân lớp sai và tăng số mẫu phân lớp đúng trong bài toán là hoàn toàn có thể.