Nhĩm điểm Very good (4,0) Good (3,5) Fair (2,5-3,0) Poor (0-2,0) Tổng cộng
Các thuộc tính đầu vào cho mơ hình học tập được mơ tả trong Bảng 5.2. Dữ liệu thu thập cũng được qua tiền xử lý trước khi chạy mơ hình dự đốn, bao gồm các cơng việc như sau: loại bỏ các thuộc tính dư như tên sinh viên, tên mơn học, tên giảng viên; loại bỏ các mẫu tin thừa hoặc nhiễu như mơn sinh viên đăng ký học nhưng chưa được kiểm tra, các mơn học miễn; loại bỏ các mơn học khơng đủ số lượng đăng ký; chuyển đổi định dạng từ giá trị văn bản thành giá trị số.
5.4.3. Kết quả thực nghiệm
5.4.3.1. Các phương pháp khác của hệ thống gợi ý và độ đo đánh giá
Để so sánh, các phương pháp khác của hệ thống gợi ý (gọi là baselines) như User Average (dự đốn dựa trên kết quả trung bình của từng sinh viên), Item Average (dự đốn dựa trên kết quả trung bình của từng mơn học) và với các phương pháp khác của lọc cộng tác từ nghiên cứu của các nhĩm tác giả khác (Thai-Nghe et al., 2011; Iqbal et
al., 2017) khi cho rằng kỹ thuật nổi bật của hệ thống gợi ý là phân rã ma trận (Matrix
Factorization - MF) (Khanal et al., 2020). Đây là kỹ thuật được áp dụng khá thành cơng trong dự đốn kết quả học tập của sinh viên. Các phương pháp này trình bày ở phần 2.5.3 về một số kỹ thuật trong hệ thống gợi ý.
Hai độ đo phổ biến là RMSE (Root Mean Square Error) và MAE (Mean Absolute Error) được sử dụng để đánh giá các mơ hình. Các độ đo được tính trung bình trên 10 lần chạy. Các độ đo MAE và RMSE được biểu diễn như sau:
RMSE = �
MAE =
mẫu của dữ liệ u dùng để đánh giá.
Trong đĩ, yi
5.4.3.2. Kết quả thực nghiệm
Trong nghiên cứu này, các thơng số kỹ thuật gồm server 72 core và 320 GB RAM được cài đặt hệ điều hành Ubuntu 20.4; ngơn ngữ lập trình Python 3.7 cùng với các thư viện của deep learning hỗ trợ các tiến trình triển khai các thực nghiệm. Ngồi ra, thư viện hệ thống gợi ý mã nguồn mở MyMediaLite được sử dụng, kết hợp với nền tảng Mono chạy trên Ubuntu để kiểm chứng mơ hình đề xuất và thực nghiệm trên các phương pháp khác của hệ thống gợi ý.
Kết quả thực nghiệm với hai độ đo RMSE và MAE được trình bày ở Hình 5.10. GroupMLP trình bày việc sử dụng bốn mơ hình khác nhau cho bốn nhĩm theo năng lực học tập của sinh viên. MLP trình bày việc sử dụng một mơ hình để dự đốn kết quả học tập của tất cả sinh viên. Rõ ràng việc sử dụng mơ hình dự đốn theo các nhĩm năng lực học tập của sinh viên cĩ kết quả được cải thiện đáng kể. Cả hai độ lỗi MAE và RMSE cải thiện hơn 75%.
Hình 5.10: So sánh RMSE và MAE giữa GroupMLP và MLP
Ngồi ra, mơ hình GroupMLP cũng được so sánh với các phương pháp khác của hệ thống gợi ý. Kết quả trình bày ở Hình 5.11 cho thấy GroupMLP hoạt động tốt hơn so với các phương pháp khác của hệ thống gợi ý (baselines) với hai độ đo MAE và RMSE cho kết quả cải thiện hơn 70%.
Như vậy, chúng ta thấy mơ hình dự đốn kết quả học tập theo nhĩm năng lực học tập cĩ sự cải thiện kết quả so với mơ hình dự đốn kết quả học tập dựa trên tồn bộ dữ liệu sinh viên do khắc phục được tình trạng "cào bằng", thay vì dùng một mơ hình dự đốn cho tồn bộ sinh viên thì chúng ta chia ra bốn mơ hình, mỗi mơ hình dự đốn cho những sinh viên cĩ năng lực học tập tương đồng nhau.
Hình 5.11: Kết quả độ đo RMSE và MAE giữa GroupMLP và các baselines
Ngồi sử dụng kỹ thuật MLP dự đốn kết quả học tập của các mơn học tiếp theo dựa vào điểm các mơn học trước đĩ với dữ liệu được chia theo từng nhĩm năng lực học tập của sinh viên, một mơ hình đốn khác dựa trên điểm tích lũy (GPA) để chia thành
bốn mơ hình khác nhau (bao gồm xuất sắc/Excellent, giỏi/Very good, khá/Good và trung bình/Fairly) sử dụng giải thuật rừng ngẫu nhiên (Random Forest - RF) cũng được đề xuất. Với cách tiếp cận này, sau khi huấn luyện và thu được bốn mơ hình, để dự đốn điểm của sinh viên cho một mơn học ở một học kỳ cụ thể, điểm trung bình các mơn học mà sinh viên đạt được trong các học kỳ trước được tính tốn, sau đĩ áp dụng mơ hình tương ứng với mức điểm của sinh viên. Kết quả cho thấy mơ hình đề xuất cho kết qua dự đốn khá tốt theo từng nhĩm năng lực học tập. Nội dung này được trình bày chi tiết ở Phụ lục 2 của luận án.
Tuy nhiên, đối với các mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên và mơ hình dự đốn dựa trên từng nhĩm năng lực học tập của sinh viên thì việc chia dữ liệu huấn luyện và kiểm tra theo thời gian, các kỹ thuật của hệ thống gợi ý cĩ thể gặp phải “vấn đề khởi đầu lạnh” (cold-start problem), tức là sinh viên và mơn học mới cĩ thể xuất hiện trong tập kiểm tra nhưng chưa được huấn luyện trước đĩ. Vì vậy, để khắc phục vấn đề này, luận án đề xuất xây dựng mơ hình dự đốn kết quả học tập theo từng sinh viên, sẽ trình bày ở phần tiếp theo.
5.5. Mơ hình dự đốn kết quả học tập theo từng sinh viên
Các phần trước đã đề cập mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên và mơ hình dự đốn dựa trên từng nhĩm năng lực học tập của sinh viên. Trong nghiên cứu này, cách tiếp cận xây dựng mơ hình dự đốn kết quả học tập theo từng sinh viên sử dụng các kỹ thuật học sâu khác với bộ nhớ ngắn dài hạn LSTM (Long Short Term Memory) và mạng nơ-ron truyền thẳng MLP được sử dụng. Kỹ thuật học sâu LSTM được đề xuất do đã cĩ nhiều thành cơng khi xây dựng mơ hình dự đốn với dữ liệu ở dạng tuần tự theo thời gian (sequence hay time series) từ kỹ thuật này (Brownlee, 2018). Đối với mạng MLP, ngồi việc so sánh với mạng LSTM, nghiên cứu này muốn cĩ cái nhìn tổng thể về việc sử dụng mạng MLP giữa mơ hình dự đốn chia theo năng lực học tập và dự đốn chia theo từng sinh viên riêng biệt.
5.5.1. Mơ tả dữ liệu thực nghiệm và tiền xử lý dữ liệu
Để thực nghiệm, tập dữ liệu về kết quả học tập của sinh viên của một số đơn vị đào tạo (chủ yếu khối khoa học kỹ thuật) của một trường đại học được sử dụng. Dữ liệu kết quả học tập được lấy từ năm 2017 đến năm 2019 với hơn 1 triệu mẫu tin. Nghiên cứu này sử dụng 4 thuộc tính quan trọng của tập dữ liệu làm dữ liệu đầu vào cho bộ nhớ ngắn dài hạn LSTM gồm điểm trung bình tích lũy đạt được đến học kỳ trước, điểm trung bình tích lũy đạt được ở học kỳ trước, tổng số tín chỉ tích lũy đến học kỳ trước và điểm mơn học.
Dữ liệu được tiền xử lý trước khi thực nghiệm kiểm chứng mơ hình. Cụ thể gồm các bước như sau: (1) sắp xếp dữ liệu theo từng sinh viên và theo thứ tự thời gian từ học kỳ đầu đến học kỳ cuối; (2) loại bỏ các thuộc tính dữ liệu khơng ảnh hưởng tích cực cho
mơ hình, giữ lại các thuộc tính cần thiết; (3) loại bỏ dữ liệu gây nhiễu như điểm được miễn (-2), điểm chưa hồn thành mơn học (-1), điểm rút mơn học (-5), những trường hợp sinh viên đăng ký nhưng khơng tham gia học tập (null), xử lý những thuộc tính khơng đủ thơng tin như khơng gán ID người dạy, mơn học khơng tổ chức giảng dạy do cĩ dưới 15 sinh viên đăng ký...
Để đa dạng hĩa nguồn dữ liệu, tập dữ liệu gốc với hơn 1 triệu mẫu tin là kết quả học tập từng mơn học của sinh viên được chia thành 2 tập dữ liệu mới lần lượt giữ lại những sinh viên cĩ ít nhất 10 mẫu tin và 20 mẫu tin kết quả học tập. Các bảng dữ liệu sau khi tiền xử lý thu được số mẫu tin như Bảng 5.6.