Stt Tên thuộc tính
Các thuộc tính dữ liệu đầu vào
1 CGPA 2 CGPA-PreSemester 3 CourseID 4 TotalCredit 5 EnglishMark_l1 6 EnglishMark_l2 7 EnglishMark_l3 8 EntranceMark_s1 9 EntranceMark_s2
Stt Tên thuộc tính 10 EntranceMark_s3 11 EntranceYear 12 Faculty 13 FieldOfStudy 14 Gender 15 GPA-Semester 16 HighSchoolPlace 17 LecturerID 18 Semester 19 NumberOfCredits 20 StudentID Thuộc tính dự đốn 21 Mark
Với các thuộc tính khác nhau của dữ liệu được phân bố đa dạng, các phép chuyển đổi QTF được đề xuất (Pedregosa et al., 2012) để chuyển đổi tất cả các giá trị sang dãy giá trị nhất định giúp các giải thuật học sâu cĩ thể hội tụ được, nhằm cải thiện hiệu suất của các mơ hình dự đốn.
Hình 5.4 là một ví dụ của Khoa Phát triển Nơng thơn. Hình 5.4(a) là kết quả của trước và sau khi chuyển đổi thuộc tính CGPA-PreSemester; Hình 5.4(b) minh họa phân bố dữ liệu với các dãy dữ liệu khác nhau của một số thuộc tính trước khi chuyển đổi và phân bố dữ liệu của tất cả các thuộc tính này sau khi được chuyển đổi sử dụng QTF với thang đo từ 0 đến 1.
5.3.4. Kết quả thực nghiệm
5.3.4.1. Cài đặt các siêu tham số và mơi trường thực nghiệm
Trong nghiên cứu này, các siêu tham số cho kiến trúc học sâu CNN được thực nghiệm tìm kiếm. Để giảm thiểu vấn đề overfitting, kỹ thuật early stopping được sử dụng với 5 epochs liên tục, kết quả khơng cải thiện thì dừng học, giải thuật thực hiện tối đa 500 epochs. Các hàm tối ưu Adam và RMSprop được sử dụng. Tốc độ học cho các mơ hình là 0,0001 kích thước batch size 16000...
Để thực nghiệm, các thơng số kỹ thuật được cài đặt như sau: một server 72 core và 320 GB RAM, hệ điều hành Ubuntu 20.4. Các thực nghiệm được cài đặt và lập trình trên mơi trường Python 3.7, sử dụng các thư viện deep learning như Tensorflow, Scikit-Learn, keras, Numpy và Matplotlib để hỗ trợ tiến trình triển khai các thực nghiệm.
Trong nghiên cứu này, độ đo phổ biến để đánh giá mơ hình là sai số tuyệt đối trung bình MAE (Mean Absolute Error) được sử dụng. Độ đo này được tính trung bình trên 5 lần chạy. Độ đo MAE được biểu diễn như biểu thức 5.1.
MAE = 1
�| − � |
mẫu của dữ liệ u dùng để đánh giá.
Trong đĩ, yi là điểm thực tế ở mẫu thứ i,
5.3.4.2. Thực nghiệm dự đốn kết quả học tập với mạng nơ-ron tích chập CNN, hàm tối ưu Adam, sử dụng và khơng sử dụng phép biến đổi dữ liệu
Phần này trình bày thực nghiệm trên mơ hình dự đốn kết quả học tập sử dụng kỹ thuật học sâu với mạng nơ-ron tích chập CNN. Thực nghiệm cũng so sánh chạy mơ hình khi khơng sử dụng hoặc cĩ sử dụng phép biến đổi dữ liệu QTF. Hàm tối ưu được sử dụng là Adam.
Kết quả thể hiện trong Bảng 5.3 cho thấy dữ liệu qua phép biến đổi QTF cho kết quả dự đốn cĩ độ sai số khá tốt khi cĩ 16 tập dữ liệu đang xét cĩ độ đo MAE đều nhỏ hơn 0,8 (dự đốn trên thang điểm 4), cá biệt cĩ độ đo MAE nhỏ hơn 0,5 khi sử dụng kiến trúc CNN. Từ kết quả này, kỹ thuật QTF được sử dụng làm phép biến đổi dữ liệu để tiến hành thực nghiệm tiếp theo.
Bảng 5.3: Kết quả dự đốn kết quả học tập với độ đo MAE sử dụng mạng nơ-ron tích
chập CNN, phép biến đổi QTF và hàm tối ưu Adam
Dataset
Sư phạm
Mơi trường và Tài nguyên thiên nhiên Kinh tế
Ngoại ngữ
Dataset
Khoa học Xã hội và Nhân văn Thủy sản
Luật
Khoa học Chính trị
Nghiên cứu phát triển ĐBSCL Nơng nghiệp
Nghiên cứu và phát triển CNSH Giáo dục thể chất
Cơng nghệ
Cơng nghệ Thơng tin và Truyền thơng Khoa học Tự nhiên
Phát triển Nơng thơn
5.3.4.3. Thực nghiệm dự đốn kết quả học tập với mạng nơ-ron tích chập CNN, các hàm tối ưu Adam và RMSprop, sử dụng phép biến đổi dữ liệu QTF
Trong thực nghiệm này, mạng nơ-ron tích chập CNN để xây dựng các mơ hình dự đốn kết quả học tập tiếp tục được sử dụng, với dữ liệu được biến đổi bằng kỹ thuật QTF. Tuy nhiên, ngồi việc sử dụng hàm tối ưu Adam, hàm tối ưu RMSprop cũng được đề xuất sử dụng để so sánh, đánh giá khách quan hơn về mơ hình đề xuất. Kết quả thực nghiệm trình bày như Bảng 5.4.
Bảng 5.4: Kết quả dự đốn kết quả học tập với độ đo MAE sử dụng mơ hình học sâu
CNN, phép biến đổi QTF và hai hàm tối ưu Adam và RMSprop
Dataset
Sư phạm
Mơi trường và Tài nguyên thiên nhiên Kinh tế
Ngoại ngữ
Khoa học Xã hội và Nhân văn Thủy sản
Luật
Khoa học Chính trị
Nghiên cứu phát triển ĐBSCL Nơng nghiệp
Nghiên cứu và phát triển CNSH Giáo dục thể chất
Cơng nghệ
Cơng nghệ Thơng tin và Truyền thơng Khoa học Tự nhiên
Kết quả thực nghiệm ở Bảng 5.4 cho thấy với mơ hình dự đốn sử dụng mạng nơ-ron tích chập CNN thì hàm tối ưu RMSprop cho kết quả dự đốn tốt hơn Adam trên hầu hết tập dữ liệu đang xét (13/16 tập dữ liệu), khi sử dụng kết hợp với phép biến đổi dữ liệu QTF. Kết quả này cho thấy hàm tối ưu RMSprop cĩ khả năng phù hợp khi sử dụng dữ liệu một chiều (1D) và cĩ tính chất trình tự (sequence time).
Từ kết quả này chúng ta cĩ một số nhận xét như sau: Kết quả dự đốn ở Khoa Cơng nghệ đạt hiệu suất thấp cĩ thể được giải thích là do sự phân bố dữ liệu khơng đồng đều ở tập train và tập test, thể hiện ở Hình 5.5 và Hình 5.6. Sự phân bố này cho thấy giữa tập train và tập test tồn tại một số khác biệt lớn về tỷ lệ mức điểm 3,5 so với các mức điểm cịn lại.
Hình 5.5: Phân bố các mức điểm trên tập huấn luyện của Khoa Cơng nghệ
Hình 5.6: Phân bố các mức điểm trên tập kiểm tra của Khoa Cơng nghệ
Ngồi ra, kết quả dự đốn cĩ hiệu suất thấp ở tập dữ liệu của Khoa Phát triển Nơng thơn cĩ thể là do dữ liệu trong tập train thậm chí cịn ít số mẫu trong tập test: tập train cĩ 101.039, chiếm tỷ lệ 49,52% so với tập test cĩ 102.994 mẫu, chiếm tỷ lệ 50,48%. Điều này cĩ thể mơ hình khơng cĩ đủ dữ liệu để học, dẫn đến hiệu quả dự đốn thấp hơn các tập dữ liệu khác.
Với phép biến đổi QTF, hàm tối ưu RMSprop và Adam, mơ hình sử dụng mạng nơ-ron tích chập CNN cũng được thực nghiệm để dự đốn kết quả học tập trên tồn bộ tập dữ liệu chứa hơn 3,8 triệu mẫu tin được thu thập từ tất cả các đơn vị đào tạo của Trường Đại học Cần Thơ. Tập huấn luyện bao gồm 2.584.462 mẫu (67,5%) là điểm sinh viên từ năm 2007 đến 2016, và tập kiểm tra gồm 1.244.417 mẫu (32,5%) là điểm từ năm 2017 đến 2019. Kết quả thực nghiệm đánh giá mơ hình với độ đo MAE được trình bày như Hình 5.7.
Kết quả cho thấy, sử dụng hàm tối ưu Adam cho kết quả tốt hơn so với hàm tối ưu RMSprop khi sử dụng mơ hình dự đốn với kiến trúc mạng nơ-ron tích chập CNN. Điều này cĩ thể được lý giải khi chúng ta sử dụng tồn bộ tập dữ liệu thì tính chất trình tự của dữ liệu bị hạn chế, vì vậy hàm RMSprop chưa phát huy được thế mạnh của nĩ.
Hình 5.7: Độ đo MAE sử dụng mạng CNN với hàm tối ưu RMSprop và Adam trên
tồn tập dữ liệu
Mặc dù vậy, các kết quả thực nghiệm này thấy rằng mơ hình dự đốn kết quả học tập sử dụng mạng nơ-ron tích chập CNN cho kết quả dự đốn khá tốt, với độ đo MAE đều nhỏ hơn 0,65 (trên thang điểm 4). Tùy theo tập dữ liệu chúng ta cĩ thể tìm kiếm các siêu tham số để mơ hình dự đốn cho kết quả tối ưu, chẳng hạn tìm kiếm hàm tối ưu, kỹ thuật tiền xử lý và biến đổi dữ liệu, các tham số học của mơ hình dự đốn sử dụng kỹ thuật học sâu,…
Tuy nhiên, việc sử dụng một mơ hình cho tất cả sinh viên cĩ thể gặp phải vấn đề là dùng dữ liệu của sinh viên cĩ kết quả học tập kém để dự đốn cho sinh viên cĩ kết quả học tập tốt, từ đĩ kết quả cĩ thể sẽ giảm mức độ chính xác. Vì thế, luận án đề xuất xây dựng mơ hình dự đốn kết quả học tập dựa theo các nhĩm năng lực học tập của sinh viên. Mơ hình này sẽ trình bày ở phần tiếp theo.
5.4. Mơ hình dự đốn kết quả học tập theo nhĩm năng lực học tập
Phần trước chúng tơi đã đề cập mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên, bao gồm dữ liệu tách theo từng đơn vị đào tạo và dữ liệu của cả trường
trong trường đại học đa ngành. Nghiên cứu này đề xuất cách tiếp cận xây dựng các mơ hình dự đốn kết quả học tập theo từng nhĩm năng lực học tập của sinh viên.
Trong cách tiếp cận này, một kỹ thuật học sâu khác với mạng nơ-ron truyền thẳng đa tầng (Multilayer Perceptron - MLP) được đề xuất sử dụng để xây dựng mơ hình dự đốn kết quả học tập sinh viên trong các học kỳ tiếp theo dựa trên kết quả đạt được của các học kỳ trước đĩ. Chúng tơi đề xuất kỹ thuật học sâu này lý do MLP thích hợp cho các vấn đề dự đốn phân loại. Ngồi ra, kiến trúc MLP khá phù hợp với dữ liệu dạng bảng (tabular format), chẳng hạn tập tin dạng CSV như tập dữ liệu cho mơ hình này (Brownlee, 2018).
5.4.1. Mơ hình đề xuất
Một cách tiếp cận của mơ hình dự đốn được đề xuất như sơ đồ tổng quát ở Hình 5.8. Đầu tiên, các tập dữ liệu thực tại hệ thống quản lý sinh viên của một trường đại học được thu thập, sau đĩ dữ liệu được tiền xử lý để loại bỏ nhiễu cũng như các thuộc tính dư thừa. Cách tiếp cận truyền thống thường sử dụng tồn bộ tập dữ liệu để xây dựng mơ hình dự đốn (như mơ tả ở dưới cùng của Hình 5.8) nhằm dự đốn cho tất cả các sinh viên (ký hiệu là MLP).
Tuy nhiên, cần cĩ cách tiếp cận mới để dự đốn theo từng nhĩm học lực của sinh viên, tránh việc sử dụng dữ liệu một cách "cào bằng" dẫn đến các trường hợp sử dụng dữ liệu của sinh viên cĩ thành tích tốt dự đốn cho sinh viên cĩ thành tích kém và ngược lại. Nghiên cứu này đề xuất sử dụng bốn mơ hình dự đốn cho bốn nhĩm sinh viên cĩ học lực tương tự dựa trên điểm số mà sinh viên đạt được (như mơ tả ở phần trên của Hình 5.8).
Hình 5.8: Sơ đồ tổng quát của phương pháp tiếp cận
Kiến trúc MLP được mơ tả như Hình 5.9. Các thuộc tính đầu vào được mơ tả như Bảng 5.2. Kiến trúc MLP gồm tầng input, 5 tầng ẩn và tầng output. Tầng input gồm các nơ-ron chứa các thuộc tính dữ liệu. Bốn tầng ẩn đầu tiên chứa 256 nơ-ron; tầng ẩn thứ năm chứa 8 nơ-ron biểu diễn 8 mức điểm của điểm hệ 4. Tầng output cĩ 1 nơ-ron là điểm cần dự đốn cĩ giá trị từ 0 đến 4.
Hình 5.9: Mơ tả kiến trúc MLP được đề xuất
Để giảm các vấn đề về quá khớp (overfitting), kỹ thuật dropout với tỷ lệ là 0,015 được sử dụng. Ngồi ra, kỹ thuật early stopping cũng được xem xét thực hiện, nếu trong việc học khơng cải thiện được kết quả trong 5 epochs liên tục thì quá trình học sẽ dừng lại. Ngược lại, việc học tiếp tục tới 500 epochs. Mạng được triển khai với hàm tối ưu Adam, sử dụng batch size là 255 và tốc độ học mặc định là 0,001.
5.4.2. Mơ tả dữ liệu
Để đánh giá mơ hình đề xuất, dữ liệu thực tế từ hệ thống quản lý sinh viên của Trường Đại học Cần Thơ được thu thập. Dữ liệu thu thập liên quan đến sinh viên, mơn học, điểm và các thơng tin khác từ năm 2007 đến 2019 với hơn 3,8 triệu mẫu tin, mỗi mẫu là kết quả của một sinh viên đối với một mơn học nào đĩ. Các thuộc tính của tập dữ liệu tương tự như Bảng 5.2. Dữ liệu được chia theo thời gian, tập train và tập test cĩ tỷ lệ lần lượt là 2/3 và 1/3.