Kích thƣớc tập
huấn luyện
Phƣơng pháp Số đánh giá cho trƣớc của tập kiểm tra
5 10 20 100 ngƣời dùng KPC 0.378 0.337 0.328 GentleBoost 0.350 0.322 0.291 MC-Boost 0.329 0.305 0.292 200 ngƣời dùng KPC 0.361 0.330 0.318 GentleBoost 0.333 0.314 0.284 MC-Boost 0.314 0.299 0.289 300 ngƣời dùng KPC 0.348 0.336 0.317 GentleBoost 0.325 0.304 0.279 MC-Boost 0.308 0.298 0.283
Bảng 2.6. Kết quả thử nghiệm với EachMovieKích thƣớc tập Kích thƣớc tập
huấn luyện Phƣơng pháp
Số đánh giá cho trƣớc của tập kiểm tra
5 10 20 1000 ngƣời dùng KPC 0.559 0.474 0.449 GentleBoost 0.515 0.455 0.421 MC-Boost 0.492 0.460 0.429 2000 ngƣời dùng KPC 0.528 0.450 0.422 GentleBoost 0.495 0.424 0.393 MC-Boost 0.484 0.419 0.393 6000 ngƣời dùng KPC 0.521 0.437 0.378 GentleBoost 0.477 0.408 0.362 MC-Boost 0.452 0.397 0.365
Kết quả sai số phân loại MAE trên cả hai bộ dữ liệu cho thấy, dù số lƣợng dữ liệu biết trƣớc nhiều hay ít (số đánh giá biết trƣớc trong tập dữ liệu kiểm tra N=5, 10, 20) phƣơng pháp GentleBoost và MC-Boost đều cho lại giá trị MAE
nhỏ hơn phƣơng pháp KPC. Điều đó chứng tỏ, việc sử dụng gốc quyết định
trong trích chọn đặc trƣng của thuật toán GentleBoost lựa chọn đƣợc phƣơng án phân loại tốt hơn so với KPC.
Trong trƣờng hợp đủ dữ liệu, cụ thể là khi biết trƣớc nhiều đánh giá của ngƣời dùng trong tập kiểm tra (N=20), phƣơng pháp GentleBoost cho kết quả tốt hơn so với MC-Boost. Có thể giải thích kết quả này là do GentBoost chọn đƣợc đặc trƣng tối ƣu hơn đối với từng bài toán phân loại, trong khi MC-Boost chỉ chọn đƣợc đặc trƣng tối ƣu cho cả nhóm bài toán phân loại.
Tuy nhiên, khi dữ liệu ít đi, cụ thể là khi chỉ biết trƣớc 5 hoặc 10 đánh giá của ngƣời dùng kiểm tra thì MC-Boost cho sai số MAE nhỏ hơn so với
GentleBoost trong đa số trƣờng hợp. Lý do chủ yếu là do MC Boost cho phép kết hợp thông tin từ những ngƣời dùng tƣơng tự với ngƣời dùng kiểm tra thông qua các đặc trƣng chung và do vậy giảm đƣợc ảnh hƣởng của việc thiếu nhãn phân loại.
2.4.5. Phân tích kết quả
Để thấy rõ sự nổi trội của mô hình, chúng tôi lấy giá trị trung bình MAE
của 10 lần kiểm nghiệm ngẫu nhiên trong tập dữ liệu kiểm tra để tiến hành một paired t-test [58]. Các tham số thống kê so sánh giữa KPC với GentleBoost và MC-Boost bao gồm:
Tham số DF (Degree of Freedom) là số bậc tự do của paired t-test.
Tham số Mean là trung bình độ lệch giữa KPC và phƣơng pháp so sánh.
Tham số SD (Standard Deviation) là độ lệch chuẩn giữa KPC và phƣơng pháp so sánh.
Tham số SE (Standard Error) là lỗi chuẩn đƣợc tính theo độ lệch chuẩn của KPC và phƣơng pháp so sánh.
Tham số t và p là giá trị kiểm nghiệm của pair t-test đƣợc tính theo bậc tự do, trung bình độ lệch, và lỗi chuẩn giữa các phƣơng pháp. Giá trị
p<0.05 phản ánh pháp KPC có giá trị MAE lớn hơn GentleBoost và MC-Boost ít nhất 5%.
Kết quả kiểm nghiệm các tham số thống kê giữa KPC với GentleBoost và MC-Boost ứng với từng bộ dữ liệu huấn luyện của tập MovieLens đƣợc thể hiện trong các Bảng 2.7, Bảng 2.8 và Bảng 2.9. Kết quả kiểm nghiệm các tham số thống kê giữa KPC với GentleBoost và MC-Boost ứng với từng bộ dữ liệu huấn luyện của tập EachMovie đƣợc thể hiện trong các Bảng 2.10, Bảng 2.11 và Bảng 2.12. Giá trị p (p-value) trong tất cả các bộ dữ liệu huấn luyện đều nhỏ hơn 0.05. Điều đó chứng tỏ, trên 5% giá trị MAE của phƣơng pháp KPC lớn hơn
GentleBoost và MC-Boost. Nói cách khác, GentleBoost và MC-Boost cho lại kết quả phân loại tốt hơn KPC.