CHƯƠNG 4: DỰ ĐOÁN KẾT QUẢ HỌC KỲ SAU BẰNG KỸ THUẬT HỌC SÂU VỚI MẠNG NƠ-RON ĐA TẦNG
4.4 Đánh giá kết quả
4.4.1 Dữ liệu huấn luyện và kiểm tra
Dữ liệu thu thập được đã được phân chia thành hai phần: tập huấn luyện và tập kiểm tra theo thứ tự thời gian. Phần dữ liệu điểm từ giai đoạn ban đầu được sử dụng làm tập huấn luyện, trong khi phần từ giai đoạn sau được dùng làm tập kiểm tra. Tập huấn luyện bao gồm 3.637.657 mẫu từ học kỳ 1 của năm học 2007-2008 đến học kỳ 1 của năm học 2018-2019, chiếm tỷ lệ 95%, trong khi tập kiểm tra có 191.222 mẫu thu thập từ học kỳ 2 của năm học 2018-2019, chiếm tỷ lệ 5%. Mục đích của việc chia dữ liệu như vậy là để mô phỏng thực tế: dựa trên lịch sử điểm của sinh viên để dự đoán cho các môn trong học kỳ tiếp theo.
Phân phối của dữ liệu theo thang điểm từ 0 đến 4 được thể hiện rõ qua Hình 4.8 và Hình 4.9 Kết quả cho thấy phần lớn dữ liệu tập trung ở các điểm trên 3.0, trong khi các điểm khác có tỷ lệ ít hơn. Tính đồng đều của phân phối điểm giữa tập huấn luyện và tập kiểm tra là khá tương đồng, điều này cung cấp một cơ sở đáng tin cậy để đánh giá chất lượng của mô hình.
52
Hình 4.8 Phân phối dữ liệu của tập huấn luyện
Hình 4.9 Phân phối dữ liệu của tập kiểm tra
53 4.4.2 Các độ đo dùng để đánh giá
Để đánh giá mô hình trên, nghiên cứu này sử dụng hai độ đo phổ biến là RMSE (root mean square error) và MAE (mean absolute error).
Trong đó, Yi là giá trị dự đoán mẫu thứ i và Ŷi là giá trị thực tế của mẫu thứ i, n là số mẫu dùng để đánh giá.
4.4.3 Các cơ sở tham chiếu và phương pháp dùng để so sánh
Các điểm tham chiếu được sử dụng để so sánh kết quả bao gồm:
- User Average: Dự đoán dựa trên điểm trung bình của từng sinh viên.
- Item Average: Dự đoán dựa trên điểm trung bình của từng môn học.
Ngoài ra, chúng tôi cũng so sánh với các phương pháp đã được sử dụng thành công trong dự đoán kết quả học tập, bao gồm:
- Collaborative Filtering, như Item-kNN, mà chi tiết về các phương pháp này đã được mô tả trong các nghiên cứu của (Thai-Nghe và Schmidt- Thieme, 2015; Khanal et al., 2019).
- Một kỹ thuật tiên tiến trong lĩnh vực Hệ thống gợi ý là Matrix Factorization (Koren et al., 2009), đã được sử dụng thành công trong dự đoán kết quả học tập.
54 4.4.4 Kết quả thực nghiệm
Để giảm thiểu tính ngẫu nhiên của thuật toán, mỗi phương pháp đã được thực hiện 10 lần và kết quả trung bình của độ lỗi trên 10 lần chạy được tính toán (chi tiết được minh họa trong Hình 4.8 và Hình 4.9). Kết quả cho thấy mô hình đề xuất đã cải thiện đáng kể độ lỗi so với các phương pháp trước đó được sử dụng trong dự đoán kết quả học tập. Trong số các phương pháp được thử nghiệm, mô hình MLP đạt kết quả tốt nhất ở cả hai độ đo, đặc biệt là với độ đo MAE, nơi mà nó vượt trội so với các phương pháp khác.
Trong khi đó, mô hình dựa vào điểm trung bình của sinh viên cho kết quả kém nhất, và mô hình ItemKNN có kết quả gần tương đương với mô hình đề xuất. Trái lại, kết quả của mô hình Matrix Factorization đứng ở vị trí "trung bình" trong tất cả các phương pháp được khảo sát.
Kết quả này nhấn mạnh tầm quan trọng của việc dự đoán kết quả học tập trong việc xác định và hỗ trợ kịp thời các sinh viên gặp khó khăn, từ đó tránh được tình trạng cảnh báo học vụ và nguy cơ bỏ học. Ngoài ra, dự đoán kết quả học tập cũng giúp xác định các sinh viên giỏi để tạo điều kiện cho việc bồi dưỡng và đào tạo chất lượng, từ đó mang lại lợi ích to lớn cho sinh viên, gia đình và xã hội.
55
Hình 4.10 Độ lỗi RMSE giữa các phương pháp
Hình 4.11 Độ lỗi MAE giữa các phương pháp
56