CHƯƠNG 5 MƠ HÌNH DỰ ĐỐN KẾT QUẢ HỌC TẬP
5.5. Mơ hình dự đốn kết quả học tập theo từng sinh viên
5.5.2. Mơ hình đề xuất và chuẩn hĩa dữ liệu
Trong nghiên cứu này, các mơ hình dự đốn kết quả học tập của từng sinh viên sử dụng bộ nhớ ngắn dài hạn LSTM và mạng nơ-ron truyền thẳng đa tầng MLP được đề xuất. Cụ thể, sử dụng kết quả học tập của sinh viên ở các mơn học trước để dự đốn cho các mơn học kế tiếp. Sau khi dữ liệu được sắp xếp kết quả học tập theo trình tự thời gian của từng sinh viên, tiến hành nhĩm các sinh viên riêng. Với đầu vào mỗi bước thời gian (ở bước thời gian trước), dự đốn cho đầu ra là điểm mơn học tiếp theo (bước thời gian hiện tại). Để thực hiện mơ hình dự đốn sử dụng mạng LSTM, cần chuẩn hĩa dữ liệu đầu vào. Quá trình chuẩn hĩa dữ liệu đầu vào gồm bước sau:
Bước 1: Sắp xếp sinh viên theo StudentID, đọc dữ liệu mỗi sinh viên vào bộ nhớ, trong đĩ điểm là giá trị cần dự đốn (như Hình 5.12).
Hình 5.12: Ví dụ các mẫu tin của một sinh viên
Bước 2: Sau khi đọc dữ liệu mỗi sinh viên vào bộ nhớ ta cĩ được mảng giá trị của các mẫu tin, khi đĩ xĩa bỏ thuộc tính StudentID.
Bước 3: Các giá trị đầu vào lớn cĩ thể làm chậm quá trình học và hội tụ của mạng học sâu và kéo dài thời gian huấn luyện mơ hình. Vì thế, dữ liệu được cho qua hàm Tanh để thu nhỏ (scale) về một khoảng giá trị nhất định (từ -1 đến 1) trước khi đưa vào mạng. Hình 5.13 minh họa dữ liệu trước (a) và sau sử dụng hàm Tanh (b).
(a) (b)
Hình 5.13: Các giá trị mẫu tin được thu nhỏ
Cột cuối của Hình 5.13 (b) là các điểm mơn học theo trình tự thời gian của một sinh viên. Nếu xem các giá trị này ở thời gian (t-1) thì ta cần để dự đốn giá trị (điểm) ở thời gian t. Mơ hình mạng LSTM giúp giải quyết bài tốn này. Dữ liệu đầu vào Var1(t- 1) và giá trị cần dự đốn Var1(t) được mơ tả như Hình 5.14.
Hình 5.14: Dữ liệu cho mơ hình đơn biến LSTM
5.5.2.1. Kiến trúc mạng LSTM
Kiến trúc bộ nhớ ngắn dài hạn LSTM được mơ tả như Hình 5.15. Mạng LSTM được đề xuất nhận đầu vào là luồng dữ liệu bước thời gian cĩ trình tự (Sequences of time steps). Tầng LSTM cĩ 50 nơ-ron, một tầng ẩn kết nối dày đặc (Dense Layer) cĩ 1 nơ-ron cho kết quả của dự đốn là giá trị trong khoảng từ 0 đến 4.
Hình 5.15: Kiến trúc mạng LSTM
Để giảm thiểu các vấn đề về quá khớp (overfitting), kỹ thuật early stopping được sử dụng. Kỹ thuật này sẽ dừng việc học nếu sau 5 epochs liên tục khơng cải thiện được
kết quả (độ lỗi khơng biến động quá 0,01), ngược lại, quá trình học sẽ tiếp tục với 10 epochs. Kỹ thuật này cũng giúp giảm thiểu đáng kể thời gian huấn luyện của mơ hình. Hàm tối ưu được sử dụng là Adam.
5.5.2.2. Kiến trúc mạng MLP
Mơ hình dự đốn kết quả học tập sử dụng mạng nơ-ron đa tầng MLP được đề xuất. Kiến trúc mạng MLP được mơ tả như Hình 5.16. Kiến trúc này gồm một tầng input, 5 tầng ẩn (hidden layer) và một tầng output. Tầng input chứa các thuộc tính của dữ liệu đầu vào. Tầng ẩn đầu tiên cĩ 9 nơ-ron sử dụng hàm kích hoạt là ReLU, tầng ẩn thứ hai và thứ ba cĩ 27 nơ-ron sử dụng hàm kích hoạt là sigmoid, tầng ẩn thứ tư cĩ 9 nơ-ron sử dụng hàm kích hoạt là ReLU, tầng ẩn thứ năm cĩ 1 nơ-ron cho giá trị đầu ra trong khoảng từ 0 đến 4.
Hình 5.16: Kiến trúc mạng MLP
Tương tự kiến trúc LSTM, kỹ thuật early stopping cũng được sử dụng. Kỹ thuật này sẽ dừng việc học sau 5 epochs liên tục khơng cải thiện được kết quả, ngược lại, quá trình học sẽ tiếp tục với 10 epochs. Hàm tối ưu cũng sử dụng là Adam.
5.5.3. Kết quả thực nghiệm
Để đánh giá mơ hình, nghiên cứu này sử dụng phương pháp tính độ lỗi phổ biến là độ lỗi trung bình bình phương RMSE (Root Mean Square Error). Cơng thức tính độ lỗi RMSE như sau:
RMSE =�𝑛𝑛 �1 (𝑦𝑦𝑖𝑖− 𝑦𝑦�𝑖𝑖)2 𝑐𝑐
𝑖𝑖=1
5.4 Trong đĩ, yi là điểm thực tế ở mẫu thứ i, 𝑦𝑦�𝑖𝑖 là điểm số dự đốn tương ứng; n là số mẫu của dữ liệu dùng để đánh giá. Thực nghiệm chạy mơ hình dự đốn trên từng sinh viên, vì vậy độ lỗi RMSE được tính là trung bình RMSE của tất cả sinh viên.
Với kiến trúc bộ nhớ ngắn dài hạn LSTM, việc huấn luyện được thực hiện cho từng sinh viên. Do số mẫu trên mỗi sinh viên khơng quá lớn nên chúng ta lấy 90% mẫu tin đầu tiên làm tập huấn luyện và 10% mẫu tin cịn lại làm tập kiểm tra (dữ liệu đã được sắp xếp theo trình tự thời gian). Trong khi đĩ, ở kiến trúc MLP việc huấn luyện trên tất cả các sinh viên. Cách thực hiện như sau, với mỗi sinh viên lấy 90% mẫu tin đầu tiên cho vào cùng một tập huấn luyện, lấy 10% mẫu tin cịn lại vào cùng một tập kiểm tra.
Các điểm mơn học được nhĩm theo thang điểm chữ như quy chế học vụ để dễ dàng quan sát về phân phối dữ liệu (trong xây dựng mơ hình dự đốn vẫn giữ nguyên thang điểm số). Nhìn chung, độ lệch về các thang điểm giữa tập huấn luyện và kiểm tra là khơng quá lớn. Tuy nhiên, tỷ lệ điểm B+ và điểm A ở tập kiểm tra cĩ xu hướng tăng hơn so với tập huấn luyện, điều này cho thấy sinh viên cĩ dấu hiệu cải thiện kết quả học tập ở các học kỳ sau so với các học kỳ đầu khĩa. Kết quả phân phối điểm khá cân bằng này cĩ thể ảnh hưởng tích cực đến chất lượng các mơ hình dự đốn. Hình 5.17 mơ tả phân phối các mức điểm của tập huấn luyện và tập kiểm tra của tập dữ liệu lọc lấy ít nhất 10 mẫu tin sinh viên.
(a) (b)
Hình 5.17: Phân phối các mức điểm ở tập huấn luyện (a) và tập kiểm tra (b) của tập dữ
liệu lọc lấy 10 mẫu tin điểm sinh viên
Kết quả dự đốn sử dụng độ đo RMSE với hai kiến trúc bộ nhớ ngắn dài hạn LSTM và mạng nơ-ron đa tầng MLP được thể hiện ở Bảng 5.7.
Bảng 5.7: Kết quả dự đốn với độ đo RMSE ở hai kiến trúc LSTM và MLP
Dataset LSTM MLP Mơ tả
StudentPerformance10 0,505 0,536 Tập dữ liệu kết quả học tập, mỗi sinh viên cĩ 10 mẫu tin trở lên StudentPerformance 20 0,513 0,526 Tập dữ liệu kết quả học tập, mỗi
sinh viên cĩ 20 mẫu tin trở lên Kết quả cho thấy mơ hình LSTM dự đốn đạt hiệu suất tốt hơn mơ hình MLP trên cùng mỗi tập dữ liệu. Điều này cho thấy mạng LSTM hoạt động khá tốt trên dữ liệu cĩ yếu tố chuỗi thời gian.
Tuy nhiên, đối với mơ hình LSTM, tập dữ liệu chứa ít nhất 20 mẫu tin cĩ độ đo RMSE tăng (tuy nhiên tăng khơng đáng kể) so với tập dữ liệu chứa ít nhất 10 mẫu tin. Điều này cĩ thể giải thích là do độ đo RMSE phụ thuộc vào trung bình độ đo RMSE của mơ hình cho từng sinh viên ở hai tập dữ liệu này. Ở tập dữ liệu chứa ít nhất 10 mẫu tin cho mỗi sinh viên cĩ 30.820 sinh viên riêng biệt. Điều này cĩ nghĩa là chúng ta huấn luyện 30.820 mơ hình riêng biệt, sau đĩ lấy độ đo RMSE trung bình của 30.820 mơ hình đĩ. Trong khi đĩ, ở tập dữ liệu chứa ít nhất 20 mẫu tin cho mỗi sinh viên thì cĩ 1.182 sinh viên riêng biệt. Điều này cĩ nghĩa là độ đo RMSE là trung bình của 1.182 mơ hình. Việc độ đo RMSE tăng như đề cập trên cĩ thể do mơ hình huấn luyện cho các sinh viên
cĩ RMSE tốt cĩ nhiều trong tập dữ liệu chứa ít nhất 10 mẫu tin sinh viên khơng xuất hiện trong tập dữ liệu chứa ít nhất 20 mẫu tin sinh viên.
Với mơ hình sử dụng kiến trúc MLP, kết quả khá tốt so với huấn luyện một mơ hình cho tất cả sinh viên như nghiên cứu ở phần trước. Điều này cĩ thể lý giải do việc sắp xếp dữ liệu theo từng sinh viên (tức là nhĩm lại theo từng sinh viên) đã tránh được vấn đề khởi đầu lạnh (cold-start problem). Ngồi ra, khi tăng số mẫu tin lên 20 cho mỗi sinh viên thì hiệu suất của mơ hình được cải thiện hơn (độ lỗi RMSE giảm). Điều này cĩ thể lý giải do mơ hình MLP sử dụng chung một tập huấn luyện và một tập kiểm tra, sắp xếp theo mã số sinh viên, khi tăng số mẫu tin cho mỗi sinh viên thì mơ hình học được tốt hơn, dẫn đến kết quả dự đốn được cải thiện.
5.6. Tổng kết chương
Trong chương này, cách tiếp cận xây dựng mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên sử dụng mạng nơ-ron tích chập CNN đã được trình bày. Kỹ thuật tiền xử lý dữ liệu QTF được sử dụng trước khi đưa vào mơ hình học dự đốn. Bên cạnh đĩ, luận án này cũng trình bày một cách tiếp cận khác là xây dựng mơ hình dự đốn kết quả học tập theo nhĩm năng lực học tập sử dụng mạng nơ-ron truyền thẳng đa tầng MLP nhằm khắc phục vấn đề cĩ thể xảy ra là dùng dữ liệu của sinh viên cĩ kết quả học tập kém để dự đốn cho sinh viên cĩ kết quả học tập tốt, làm giảm mức độ chính xác của mơ hình dự đốn. Cũng cùng cách tiếp cận dự đốn dựa trên nhĩm năng lực học tập của sinh viên, tuy nhiên thay vì chia bốn nhĩm năng lực học tập dựa vào điểm mơn học như mơ hình MLP, đối với mơ hình sử dụng kỹ thuật rừng ngẫu nhiên RF dựa vào điểm tích lũy. Một cách tiếp cận dự đốn kết quả học tập khác của luận án là xây dựng mơ hình dự đốn kết quả học tập theo từng sinh viên sử dụng bộ nhớ ngắn dài hạn LSTM và mạng MLP. Đây là cách tiếp cận nhằm khắc phục “vấn đề khởi đầu lạnh”.
Các kết quả thực nghiệm cho thấy các mơ hình được đề xuất gồm mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên, mơ hình dự đốn theo nhĩm năng lực học tập và mơ hình dự đốn theo từng sinh viên cho kết quả dự đốn khá tốt và được cải thiện dần theo trình tự các cách tiếp cận nêu trên. Điều này cho thấy các mơ hình và kỹ thuật được đề xuất, đặc biệt là các kỹ thuật học sâu cĩ thể áp dụng thực tế cho dự đốn kết quả học tập, từ đĩ cĩ thể sử dụng cho gợi ý mơn học phù hợp cho sinh viên.
Để cĩ kết quả học tập tốt, ngồi việc dự đốn kết quả mà người dùng cĩ thể đạt được, một vấn đề khác mà người học quan tâm là làm thế nào cĩ thể chọn lựa mơn học hay tài nguyên học tập (như sách, giáo trình, bài giảng…) phù hợp nhằm đáp ứng nhu cầu học. Chương tiếp theo sẽ đề xuất cách tiếp cận xây dựng mơ hình gợi ý tài nguyên học tập nhằm đáp ứng tốt nhất năng lực của người học.