CHƯƠNG 6 MƠ HÌNH GỢI Ý TÀI NGUYÊN HỌC TẬP
6.5. Mơ tả dữ liệu thực nghiệm
6.6.1. Kết quả thực nghiệm trên các tậpdữ liệu về tài nguyên học tập
Các kết quả thử nghiệm được trình bày bao gồm mối quan hệ giữa RMSE và số lượng nơ-ron được trình bày trong Hình 6.4, mối quan hệ giữa số nhân tố tiềm ẩn (thuộc tính) và độ lỗi được thể hiện trong Hình 6.5, trong khi đĩ hiệu suất của giai đoạn huấn luyện và giai đoạn kiểm tra trong quá trình học được trình bày ở Hình 6.6.
Quan sát hai biểu đồ ở Hình 6.4 (biểu diễn cho tập dữ liệu dataset 1 và dataset 3) cho thấy các mơ hình khá tương đồng. Khi số lượng nơ-ron tăng thì hiệu suất của mơ hình đạt đến giá trị tốt nhất (độ lỗi RMSE nhỏ nhất), sau đĩ tiếp tục tăng số nơ-ron thì độ lỗi bắt đầu tăng dần và cĩ xu hướng bão hịa. Đối với tập dữ liệu dataset 1, độ lỗi RMSE thấp nhất đạt được với khoảng 100 nơ-ron. Kết quả này cũng tương tự trên tập dữ liệu dataset 3.
Hình 6.4: Mối quan hệ giữa RMSE và số nơ-ron
Hình 6.5 biểu diễn mối quan hệ giữa số nhân tố tiềm ẩn và độ lỗi RMSE của hai tập dữ liệu mẫu dataset 1 và dataset 3.
Biểu đồ cho thấy số nhân tố tiềm ẩn cĩ sự tương đồng giữa hai tập dữ liệu, khi K bằng 10 thì mơ hình cĩ độ lỗi RMSE tốt nhất. Điều này cho thấy khả năng giảm chiều đáng kể của kỹ thuật DMF. Chẳng hạn, ở dataset 3 thay vì xây dựng ma trận cho tồn
bộ dữ liệu với kích thước (105.283 x 340.556) chiều thì ở đây chỉ sử dụng kích thước (105.283 x 10) cho user và (340.556 x 10) cho item.
Hình 6.5: Mối quan hệ giữa RMSE và số nhân tố tiềm ẩn cho mơ hình DMF
Trong khi đĩ, Hình 6.6 trình bày độ lỗi của các tiếp cận trong quá trình học và kiểm thử. Như hình vẽ, độ lỗi huấn luyện và kiểm tra của mơ hình MF cĩ xu hướng hội tụ sau 4 đến 6 epochs, trong khi đĩ mơ hình DMF bão hịa sớm và hội tụ chỉ sau 2 epochs. Các tập dữ liệu khác cũng cho kết quả tương tự. Điều đĩ cho thấy mơ hình khơng tốn quá nhiều thời gian để huấn luyện trên các tập dữ liệu lớn.
Hình 6.6: So sánh độ lỗi trong quá trình học và kiểm thử của hai mơ hình MF và DMF
trên tập dữ liệu Ratings
Ngồi ra, độ đo RMSE được dùng để đánh giá với các phương pháp khác của hệ thống gợi ý (baselines) trên 5 tập dữ liệu được mơ tả. Mỗi tập dữ liệu được đánh giá độ đo trên tồn bộ tập dữ liệu gốc và tập dữ liệu được giữ lại những người dùng/tài nguyên học tập cĩ ít nhất 5 ratings. Mơ hình DMF cũng được so sánh với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average, User-kNN CF và Matrix Factorization ở độ đo RMSE trên các tập dữ liệu. Chẳng hạn, kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý đối với hai tập dữ liệu ratings (dataset 1) và ratings-Books (dataset 3) được biểu diễn như các Hình 6.7 và Hình 6.8.
Hình 6.7: So sánh RMSE giữa các phương pháp trên dataset 1 (ratings)
Hình 6.8: So sánh RMSE trên dataset 3 (ratings-Books)
Kết quả cho thấy mơ hình gợi ý DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Ngồi ra, đối với các tập dữ liệu lọc giữ lại users/books cĩ ít nhất 5 ratings, hầu hết kết quả ghi nhận được thì độ đo RMSE tốt hơn nhiều so với các tập dữ liệu gốc ban đầu do khắc phục được tình trạng thưa (spare) của dữ liệu. Kết quả này cũng tương tự cho các tập dữ liệu cịn lại.
Tuy nhiên, đối với phương pháp User-kNN, một số tập dữ liệu khơng thể học được do giới hạn về tài nguyên bộ nhớ. Chẳng hạn, mặc dù thực nghiệm triển khai trên máy chủ cĩ 320 GB RAM và CPU 72 core nhưng tập dữ liệu ratings-Books (dataset 3) và tập dữ liệu Related-Article Recommendation (dataset 4) thì phương pháp User-kNN khơng thể học được.