3. 5 Kết luận
3.4.5. Kết quả thực nghiệm COREG
Theo [49], tác giả đã nghiên cứu áp dụng phương pháp co-training cho bài toàn hồi quy nửa giám sát với 3 cấu hình sử dụng cho hai bộ học hồi quy như sau :
Config-1 Config-2 Config-3
k1= k2 =3, khoảng cách D1 là euclidean, khoảng cách D2 là Mahalanobis. k1=3, k2 = 5, hai khoảng cách D1 và D2 cùng là khoảng cách Mahalanobis k1=5, k2 =3, khoảng cách D1 là euclidean, khoảng cách D2 là Mahalanobis. Bảng 12. Các cấu hình sử dụng cho 2 bộ học
Với dữ liệu tổng hợp gồm 10 hàm toán học được sử dụng là các hàm được liệt kê ở bảng dưới :
Bảng 13. Bộ dữ liệu tổng hợp
Và 5 tập dữ liệu trên thực tế đã được công bố và sử dụng rộng rãi trong nhiều ứng dụng khác được cho trong bảng dưới đây (bộ dữ liệu này luôn có sẵn trên mạng).
Mỗi bộ dữ liệu được phân ngẫu nhiên thành các tập đã gán nhãn, chưa gán nhãn và tập dữ liệu kiểm thử (test) theo một tỉ lệ nhất định. Khoảng 25% là dữ liệu test, 75% còn lại là dữ liệu được sử dụng làm dữ liệu huấn luyện (training data - LU). Và trong tập dữ liệu huấn luyện này thì U có thể chiếm 10%, 30% hoặc 50%.
Mỗi tập dữ liệu được test thử bằng 100 lần chạy, thuật toán đánh giá kết quả trên tỉ lệ phân chia ngẫu nhiên giữa dữ liệu đã gán nhãn/dữ liệu chưa gán nhãn/ dữ liệu test. Tại mỗi vòng lặp giá trị MSE được ghi lại, trong thực nghiệm số vòng lặp được giới hạn ở 100 vòng, và con số ngẫu nhiên các dữ liệu được xử lý mỗi lần là 100. Tuy nhiên trong thực tế, thuật toán có thể kết thúc trước khi đạt được 100 vòng lặp, trong trường hợp này thì giá trị cuối cùng của MSE được sử dụng để tính giá trị trung bình của MSE trong các vòng lặp còn lại.
Dựa trên đánh giá độ cải tiến của giá trị MSE, được tính bằng tỉ lệ của hiệu (MSE đầu – MSE cuối)/MSE đầu, trong đó MSE đầu là sai số bình phương trung bình của bộ học hồi quy giám sát (không sử dụng bất kỳ một dữ liệu chưa gán nhãn nào), còn MSE cuối là sai số bình phương trung bình của bộ học hồi quy bán giám sát. Kết quả này được thống kê trên bảng 15 bên dưới với cả ba cấu hình tác giả đã đề xuất.
Bảng 15. So sánh MSE của COREG với phƣơng pháp học có giám sát trên 3 cấu hình
Kết quả chỉ ra rằng COREG luôn thực hiện tốt hơn đáng kể so với đánh giá hồi quy giám sát ban đầu. Điều đó chứng tỏ rằng COREG có thể sử dụng được để mở rộng tập dữ liệu chưa gán nhãn nhằm cải tiến đánh giá của bộ học hồi quy trên tất cả các cấu hình đưa ra.
Cũng từ bảng trên ta thấy, với cùng một độ phân chia dữ liệu gán nhãn cho hai bộ học thì COREG thực hiện tốt nhất trên cấu hình 1 (config-1). Config-1 tốt hơn config-2 cũng dễ hiểu bởi khi k nhỏ thì tập lân cận gần nhất chính là tập con của tập lân cận gần nhất khi k lớn. Do đó để thiết lập sự khác nhau giữa hai bộ học, thì việc dùng hai khoảng cách metric khác nhau sẽ hiệu quả hơn việc dùng hai giá trị k khác nhau. Song config-1 cũng tốt hơn config-3 vì có thể mặc dù cả hai thông số khoảng cách metric và giá trị k đều hỗ trợ trong việc tận dụng dữ liệu chưa gán nhãn nhưng đôi khi sự kết hợp giữa một số cặp lại trở nên không hiệu quả như mong muốn. Do đó để quyết định sử dụng cặp (k, D) nào cho thật hiệu quả thì thực sự cần thêm nhiều nghiên cứu.
Các tác giả [49] cũng đưa ra kết quả so sánh giữa COREG với một số thuật toán bán giám sát khác như ARTRE, SELF1 và SELF2.
Trong đó ARTRE là thuật toán mang dáng dấp của co-training, chỉ có khác ở chỗ ARTRE là co-training không sử dụng sự phân tách độc và đầy đủ tự nhiên của dữ liệu mà các khung nhìn mới này được tạo ra từ các thuộc tính ban đầu [26]. Ví dụ trong trường hợp dữ liệu có một thuộc tính x1 thì khung nhìn x2
là: x2 =1- x1. Với trường hợp dữ liệu có d thuộc tính thì khung nhìn x2 là: x2 =Ax1, trong đó A là ma trận
dxd với các phần tử mang một trong 3 giá trị 1, 0 hoặc -1. ARTRE sử dụng cấu hình
k=3, D là khoảng cách euclidean, và kết quả cuối là giá trị trung bình MSE của hai bộ học.
SELF1 là thuật toán self-training dùng một bộ học, qua mỗi vòng lặp nó tự tìm thêm cho chính nó một dữ liệu chưa gán nhãn sao cho làm cực đại giá trị của trong (3.15). SELF1 cũng sử dụng cấu hình k=3, D là khoảng cách euclidean.
SELF2 là thuật toán self-training dùng hai bộ học hồi quy, cấu hình cho hai bộ học là D1= euclidean, D2= Mahalanobis, k1=k2 =3. SELF2 khác COREG ở chỗ hai bộ
học này đưa ra quyết định lựa chọn và bổ sung dữ liệu chưa gán nhãn ở mỗi vòng lăp cho để phục vụ cho chính nó chứ không phục vụ cho bộ học kia.
Trong thực nghiệm số vòng lặp được thiết lập cho cả 3 thuật toán này cũng bằng số vòng lặp thiết lập trong COREG, T=100. Ngoài ra để việc so sánh được chính xác thì sai số bình phương tối thiểu của bộ học giám sát (LABELED) cũng được đưa vào như một cơ sở. Bộ học này sử dụng cấu hình k =3 và lấy kết quả tốt nhất của bộ học kNN trên hai thông số khoảng cách metric D1= euclidean, D2= Mahalanobis.
Sai số bình phương tối thiểu của bộ học giám sát (LABELED) và các tỉ số tương ứng giữa COREG, ARTRE, SELF1, SELF2 với LABELED khi kiểm thử với bộ dữ liệu tổng hợp gồm 10 hàm số trong bảng 13 với 3 tỉ lệ phân chia dữ liệu đã gán nhãn 10%, 30%, 50% lần lượt được liệt kê trong bảng 16 phía dưới. Trên bảng này, giá trị tại các cột 4, 5, 6 càng nhỏ thì chứng tỏ phương pháp đó càng tốt và các giá trị được in đậm là các giá trị tốt nhất so với các giá trị khác trên cùng một hàng (cùng bộ dữ liệu test). Nhìn vào đó ta thấy, chỉ có duy nhất một trường hợp (đối với hàm plane khi tỉ lệ dữ liệu đã gán nhãn là 10%) COREG có kết quả tồi hơn của LABELED còn lại với tất cả các trường hợp khác COREG luôn là phương pháp tốt nhất so với tất cả các phương pháp được so sánh.
Bảng 16. So sánh giá trị MSE của các phƣơng pháp với học có giám sát trên bộ dữ liệu tổng hợp
Đối với tập dữ liệu trong thế giới thực, gồm 5 nguồn dữ liệu, xem trên bảng 14, các tác giả cũng kiểm thử tương tự và đánh giá kết quả theo đúng các thông số với trường hợp dữ liệu tổng hợp. Bảng 17 bên dưới liệt kê các kết quả này.
Bảng 17. So sánh giá trị MSE của các phƣơng pháp với học có giám sát trên bộ dữ liệu thực.
Nhìn vào bảng 17 bên trên ta thấy COREG vẫn là phương pháp tốt nhất trong tất cả các phương pháp được so sánh, phương pháp này cho 8/15 trường hợp test có kết quả tốt nhất và luôn có giá trị trung bình tốt nhất ở tất cả các trường hợp có tỉ lệ phân chia dữ liệu gán nhãn (10%, 30%, 50%). Và quan trọng hơn nó luôn cho kết quả tốt hơn của phương pháp giám sát (LABELED), trong khi đó mặc dù ARTRE có 6/15 trường hợp đạt kết quả tốt nhất những vẫn có 3 trường hợp cho kết quả kém hơn kết quả của LABELED. SELF1 là phương pháp kém nhất luôn cho kết quả kém hơn LABELED. SELF2 là phương pháp có vẻ chấp nhận được so với LABELED vì chỉ có một trường hợp cho kết quả tồi hơn kết quả của LABELED, tuy vật SELF2 cũng chỉ có 1/15 trường hợp cho kết quả tốt nhất.
CHƯƠNG 4. ỨNG DỤNG COTRAINING NÂNG CAO CHẤT LƯỢNG MẠNG NỘI SUY RBF
Chương này dành phần 4.1 để giới thiệu tóm tắt các kiến thức cơ bản về mạng nơron dựa trên kỹ thuật hàm cơ sở bán kính (chi tiết hơn xem [8,9]). Một đề xuất ứng dụng co-training để cải tiến chất lượng mạng RBF được giới thiệu trong phần 4.2. Phần 4.3 là kết quả thực nghiệm và so sánh. Một số kết luận được đưa ra trong phần 4.4.