CHƯƠNG 6 MƠ HÌNH GỢI Ý TÀI NGUYÊN HỌC TẬP
6.5. Mơ tả dữ liệu thực nghiệm
6.6.2. Kết quả thực nghiệm trên các tập dữ liệu về kết quả học tập
Tương tự như các tập dữ liệu về tài nguyên học tập, thực nghiệm này cũng đánh giá mơ hình DMF sử dụng độ đo lỗi phổ biến RMSE. Việc đánh giá được sử dụng trên 3 tập dữ liệu gồm tồn bộ tập dữ liệu gốc (Student Performance), tập dữ liệu được giữ lại ít nhất 10 mẫu tin kết quả học tập trên mỗi sinh viên, tức là user/course cĩ ít nhất 10 ratings (Student Performance 10), và tập dữ liệu giữ lại ít nhất 20 mẫu tin kết quả học tập trên mỗi sinh viên (Student Performance 20). Chúng tơi cũng so sánh mơ hình DMF với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average và Matrix Factorization đối với ba tập dữ liệu này.
Kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý được so sánh giữa tập dữ liệu gốc ban đầu và từng tập dữ liệu giảm chiều được biểu diễn như Hình 6.9 và Hình 6.10.
Kết quả các thực nghiệm cho thấy DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Đối với những tập dữ liệu với users/courses cĩ ít nhất 10 ratings và 20 ratings thì độ lỗi RMSE của mơ hình DMF đều nhỏ hơn các phương pháp khác, tức là mơ hình dự đốn kết quả học tập bằng kỹ thuật DMF hiệu quả hơn các phương pháp cịn lại do khắc phục được tình trạng thưa dữ liệu. Ngồi ra, kết quả cũng cho thấy khi tình trạng thưa dữ liệu được khắc phục tốt hơn (10 ratings so với 20 ratings) thì mơ hình DMF cho kết quả cũng tốt theo. Chẳng hạn, nếu như tập dữ liệu gốc cĩ độ lỗi RMSE là 0,7451 thì tập dữ liệu lọc ít nhất 10 ratings và tập dữ liệu cĩ ít nhất 20 ratings cho độ lỗi RMSE tương ứng giảm dần là 0,7011 và 0,6915.
Hình 6.9: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 10 ratings
Hình 6.10: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 20 ratings
Hiệu suất giữa mơ hình DMF và MF của giai đoạn huấn luyện và giai đoạn kiểm tra trong quá trình học của tập dữ liệu về kết quả học tập của sinh viên cũng được quan sát. Chẳng hạn, Hình 6.11 trình bày độ lỗi trong quá trình học và kiểm thử đối với tập dữ liệu Student Performance. Hình vẽ cho thấy độ lỗi huấn luyện và kiểm tra của mơ hình MF cĩ xu hướng hội tụ sau 6 đến 8 epochs, trong khi đĩ mơ hình DMF bão hịa sớm và hội tụ chỉ sau khoảng 3 epochs, tức là ít tiêu tốn thời gian để huấn luyện. Các tập dữ liệu cĩ ít nhất 10 ratings và 20 ratings cũng cĩ kết quả tương tự.
Hình 6.11: So sánh độ lỗi trong quá trình học và kiểm thử của hai mơ hình MF và
DMF trên tập dữ liệu Student Performance
Đối với dữ liệu về tài nguyên học tập, các kết quả dự đốn xếp hạng cĩ thể sử dụng cho gợi ý tài nguyên học tập. Cụ thể, khi cĩ kết quả dự đốn, hệ thống cĩ thể sắp xếp các tài nguyên học tập dựa trên điểm xếp hạng tương ứng với từng user, sau đĩ đưa ra gợi ý tài nguyên học tập phù hợp cho người học đĩ. Khi một người dùng đăng nhập vào hệ thống quản lý tài nguyên học tập, các tài nguyên học tập cĩ dự đốn xếp hạng tốt nhất (chẳng hạn tốp 5 hoặc 10) được cung cấp cho người dùng. Trong trường hợp người dùng khơng đăng nhập, hệ thống cĩ thể cung cấp tốp 5 hoặc tốp 10 tài nguyên học tập cĩ xếp hạng dự đốn trung bình tốt nhất dựa trên tất cả người dùng. Tương tự đối với dữ liệu về kết quả học tập, sau khi cĩ kết quả dự đốn ta cĩ thể sử dụng để gợi ý mơn học cho người học.
6.7. Tổng kết chương
Trong chương này, mơ hình phân rã ma trận sâu DMF được mở rộng từ mơ hình phân rã ma trận chuẩn MF để gợi ý tài nguyên học tập đã được đề xuất. Mơ hình được kiểm chứng trên hai nhĩm dữ liệu gồm các tập dữ liệu về tài nguyên học tập và các tập dữ liệu về kết quả học tập của sinh viên (dữ liệu về mơn học) của một trường đại học và so sánh mơ hình đề xuất với các phương pháp khác của hệ thống gợi ý. Kết quả cho thấy mơ hình DMF cĩ hiệu suất dự đốn khá tốt so với các kỹ thuật khác trên cùng một tập dữ liệu. Từ kết quả dự đốn xếp hạng cĩ thể gợi ý tài nguyên học tập hay gợi ý mơn học phù hợp với từng người học.
Kết quả thực nghiệm cũng cho thấy mơ hình DMF cĩ thể hoạt động tốt trên nhiều tập dữ liệu khác nhau, đặc biệt đối với các tập dữ liệu đã được giảm chiều. Thực nghiệm cho thấy độ lỗi của mơ hình DMF cĩ xu hướng bão hịa và hội tụ sớm hơn mơ hình MF truyền thống, điều này giúp cải thiện đáng kể thời gian huấn luyện mơ hình.