Stt Dataset
1 Student Performance
2 Student Performance 10
Tập dữ liệu Student Performance 10 và Student Performance 20 cĩ thể được xem là các tập dữ liệu khắc phục tình trạng thưa dữ liệu; hai tập dữ liệu này cũng được sử dụng cho nghiên cứu xây dựng mơ hình dự đốn kết quả học tập được trình bày ở chương trước.
6.6. Kết quả thực nghiệm
Nhiên cứu này triển khai thực nghiệm đánh giá mơ hình DMF trên mơi trường Google Colab được cài sẵn các thư viện của deep learning; ngơn ngữ sử dụng là Python 3.7. Google Colab được liên kết với Google Drive để đọc và lưu dữ liệu. Ngồi ra, thư viện hệ thống gợi ý mã nguồn mở MyMediaLite với nền tảng Mono chạy trên hệ điều hành Ubuntu cũng được sử dụng để kiểm thử với các phương pháp khác của hệ thống gợi ý. Độ đo đánh giá mơ hình là độ lỗi RMSE.
6.6.1. Kết quả thực nghiệm trên các tập dữ liệu về tài nguyên học tập
Các kết quả thử nghiệm được trình bày bao gồm mối quan hệ giữa RMSE và số lượng nơ-ron được trình bày trong Hình 6.4, mối quan hệ giữa số nhân tố tiềm ẩn (thuộc tính) và độ lỗi được thể hiện trong Hình 6.5, trong khi đĩ hiệu suất của giai đoạn huấn luyện và giai đoạn kiểm tra trong quá trình học được trình bày ở Hình 6.6.
Quan sát hai biểu đồ ở Hình 6.4 (biểu diễn cho tập dữ liệu dataset 1 và dataset 3) cho thấy các mơ hình khá tương đồng. Khi số lượng nơ-ron tăng thì hiệu suất của mơ hình đạt đến giá trị tốt nhất (độ lỗi RMSE nhỏ nhất), sau đĩ tiếp tục tăng số nơ-ron thì độ lỗi bắt đầu tăng dần và cĩ xu hướng bão hịa. Đối với tập dữ liệu dataset 1, độ lỗi RMSE thấp nhất đạt được với khoảng 100 nơ-ron. Kết quả này cũng tương tự trên tập dữ liệu dataset 3.
Hình 6.4: Mối quan hệ giữa RMSE và số nơ-ron
Hình 6.5 biểu diễn mối quan hệ giữa số nhân tố tiềm ẩn và độ lỗi RMSE của hai tập dữ liệu mẫu dataset 1 và dataset 3.
Biểu đồ cho thấy số nhân tố tiềm ẩn cĩ sự tương đồng giữa hai tập dữ liệu, khi K bằng 10 thì mơ hình cĩ độ lỗi RMSE tốt nhất. Điều này cho thấy khả năng giảm chiều đáng kể của kỹ thuật DMF. Chẳng hạn, ở dataset 3 thay vì xây dựng ma trận cho tồn
bộ dữ liệu với kích thước (105.283 x 340.556) chiều thì ở đây chỉ sử dụng kích thước (105.283 x 10) cho user và (340.556 x 10) cho item.
Hình 6.5: Mối quan hệ giữa RMSE và số nhân tố tiềm ẩn cho mơ hình DMF
Trong khi đĩ, Hình 6.6 trình bày độ lỗi của các tiếp cận trong quá trình học và kiểm thử. Như hình vẽ, độ lỗi huấn luyện và kiểm tra của mơ hình MF cĩ xu hướng hội tụ sau 4 đến 6 epochs, trong khi đĩ mơ hình DMF bão hịa sớm và hội tụ chỉ sau 2 epochs. Các tập dữ liệu khác cũng cho kết quả tương tự. Điều đĩ cho thấy mơ hình khơng tốn quá nhiều thời gian để huấn luyện trên các tập dữ liệu lớn.
Hình 6.6: So sánh độ lỗi trong quá trình học và kiểm thử của hai mơ hình MF và DMF
trên tập dữ liệu Ratings
Ngồi ra, độ đo RMSE được dùng để đánh giá với các phương pháp khác của hệ thống gợi ý (baselines) trên 5 tập dữ liệu được mơ tả. Mỗi tập dữ liệu được đánh giá độ đo trên tồn bộ tập dữ liệu gốc và tập dữ liệu được giữ lại những người dùng/tài nguyên học tập cĩ ít nhất 5 ratings. Mơ hình DMF cũng được so sánh với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average, User-kNN CF và Matrix Factorization ở độ đo RMSE trên các tập dữ liệu. Chẳng hạn, kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý đối với hai tập dữ liệu ratings (dataset 1) và ratings-Books (dataset 3) được biểu diễn như các Hình 6.7 và Hình 6.8.
Hình 6.7: So sánh RMSE giữa các phương pháp trên dataset 1 (ratings)
Hình 6.8: So sánh RMSE trên dataset 3 (ratings-Books)
Kết quả cho thấy mơ hình gợi ý DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Ngồi ra, đối với các tập dữ liệu lọc giữ lại users/books cĩ ít nhất 5 ratings, hầu hết kết quả ghi nhận được thì độ đo RMSE tốt hơn nhiều so với các tập dữ liệu gốc ban đầu do khắc phục được tình trạng thưa (spare) của dữ liệu. Kết quả này cũng tương tự cho các tập dữ liệu cịn lại.
Tuy nhiên, đối với phương pháp User-kNN, một số tập dữ liệu khơng thể học được do giới hạn về tài nguyên bộ nhớ. Chẳng hạn, mặc dù thực nghiệm triển khai trên máy chủ cĩ 320 GB RAM và CPU 72 core nhưng tập dữ liệu ratings-Books (dataset 3) và tập dữ liệu Related-Article Recommendation (dataset 4) thì phương pháp User-kNN khơng thể học được.
6.6.2. Kết quả thực nghiệm trên các tập dữ liệu về kết quả học tập
Tương tự như các tập dữ liệu về tài nguyên học tập, thực nghiệm này cũng đánh giá mơ hình DMF sử dụng độ đo lỗi phổ biến RMSE. Việc đánh giá được sử dụng trên 3 tập dữ liệu gồm tồn bộ tập dữ liệu gốc (Student Performance), tập dữ liệu được giữ lại ít nhất 10 mẫu tin kết quả học tập trên mỗi sinh viên, tức là user/course cĩ ít nhất 10 ratings (Student Performance 10), và tập dữ liệu giữ lại ít nhất 20 mẫu tin kết quả học tập trên mỗi sinh viên (Student Performance 20). Chúng tơi cũng so sánh mơ hình DMF với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average và Matrix Factorization đối với ba tập dữ liệu này.
Kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý được so sánh giữa tập dữ liệu gốc ban đầu và từng tập dữ liệu giảm chiều được biểu diễn như Hình 6.9 và Hình 6.10.
Kết quả các thực nghiệm cho thấy DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Đối với những tập dữ liệu với users/courses cĩ ít nhất 10 ratings và 20 ratings thì độ lỗi RMSE của mơ hình DMF đều nhỏ hơn các phương pháp khác, tức là mơ hình dự đốn kết quả học tập bằng kỹ thuật DMF hiệu quả hơn các phương pháp cịn lại do khắc phục được tình trạng thưa dữ liệu. Ngồi ra, kết quả cũng cho thấy khi tình trạng thưa dữ liệu được khắc phục tốt hơn (10 ratings so với 20 ratings) thì mơ hình DMF cho kết quả cũng tốt theo. Chẳng hạn, nếu như tập dữ liệu gốc cĩ độ lỗi RMSE là 0,7451 thì tập dữ liệu lọc ít nhất 10 ratings và tập dữ liệu cĩ ít nhất 20 ratings cho độ lỗi RMSE tương ứng giảm dần là 0,7011 và 0,6915.
Hình 6.9: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 10 ratings
Hình 6.10: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 20 ratings
Hiệu suất giữa mơ hình DMF và MF của giai đoạn huấn luyện và giai đoạn kiểm tra trong quá trình học của tập dữ liệu về kết quả học tập của sinh viên cũng được quan sát. Chẳng hạn, Hình 6.11 trình bày độ lỗi trong quá trình học và kiểm thử đối với tập dữ liệu Student Performance. Hình vẽ cho thấy độ lỗi huấn luyện và kiểm tra của mơ hình MF cĩ xu hướng hội tụ sau 6 đến 8 epochs, trong khi đĩ mơ hình DMF bão hịa sớm và hội tụ chỉ sau khoảng 3 epochs, tức là ít tiêu tốn thời gian để huấn luyện. Các tập dữ liệu cĩ ít nhất 10 ratings và 20 ratings cũng cĩ kết quả tương tự.
Hình 6.11: So sánh độ lỗi trong quá trình học và kiểm thử của hai mơ hình MF và
DMF trên tập dữ liệu Student Performance
Đối với dữ liệu về tài nguyên học tập, các kết quả dự đốn xếp hạng cĩ thể sử dụng cho gợi ý tài nguyên học tập. Cụ thể, khi cĩ kết quả dự đốn, hệ thống cĩ thể sắp xếp các tài nguyên học tập dựa trên điểm xếp hạng tương ứng với từng user, sau đĩ đưa ra gợi ý tài nguyên học tập phù hợp cho người học đĩ. Khi một người dùng đăng nhập vào hệ thống quản lý tài nguyên học tập, các tài nguyên học tập cĩ dự đốn xếp hạng tốt nhất (chẳng hạn tốp 5 hoặc 10) được cung cấp cho người dùng. Trong trường hợp người dùng khơng đăng nhập, hệ thống cĩ thể cung cấp tốp 5 hoặc tốp 10 tài nguyên học tập cĩ xếp hạng dự đốn trung bình tốt nhất dựa trên tất cả người dùng. Tương tự đối với dữ liệu về kết quả học tập, sau khi cĩ kết quả dự đốn ta cĩ thể sử dụng để gợi ý mơn học cho người học.
6.7. Tổng kết chương
Trong chương này, mơ hình phân rã ma trận sâu DMF được mở rộng từ mơ hình phân rã ma trận chuẩn MF để gợi ý tài nguyên học tập đã được đề xuất. Mơ hình được kiểm chứng trên hai nhĩm dữ liệu gồm các tập dữ liệu về tài nguyên học tập và các tập dữ liệu về kết quả học tập của sinh viên (dữ liệu về mơn học) của một trường đại học và so sánh mơ hình đề xuất với các phương pháp khác của hệ thống gợi ý. Kết quả cho thấy mơ hình DMF cĩ hiệu suất dự đốn khá tốt so với các kỹ thuật khác trên cùng một tập dữ liệu. Từ kết quả dự đốn xếp hạng cĩ thể gợi ý tài nguyên học tập hay gợi ý mơn học phù hợp với từng người học.
Kết quả thực nghiệm cũng cho thấy mơ hình DMF cĩ thể hoạt động tốt trên nhiều tập dữ liệu khác nhau, đặc biệt đối với các tập dữ liệu đã được giảm chiều. Thực nghiệm cho thấy độ lỗi của mơ hình DMF cĩ xu hướng bão hịa và hội tụ sớm hơn mơ hình MF truyền thống, điều này giúp cải thiện đáng kể thời gian huấn luyện mơ hình.
CHƯƠNG 7. KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO7.1. Kết luận 7.1. Kết luận
Học tập mở đã và đang trở thành phong trào đổi mới trong giáo dục. Cùng với sự phát triển rất nhanh của cơng nghệ thơng tin và cơng nghệ hỗ trợ giáo dục trực tuyến, nhu cầu học tập mở và học tập mở ngày càng gia tăng, trong đĩ cĩ học tập trực tuyến nhằm ứng phĩ với những thay đổi của thực tế. Nhu cầu tìm kiếm và gợi ý tài nguyên học tập khơng thể thiếu trong mơi trường học mở nĩi chung và các hệ thống quản lý tài nguyên học tập nĩi riêng, giúp người học tìm kiếm và sử dụng tài nguyên học tập được hiệu quả, đặc biệt trong bối cảnh tài nguyên học tập ngày càng đa dạng và khơng ngừng gia tăng, người dạy và người học khĩ tiếp xúc nhau do nhiều nguyên nhân, trong đĩ cĩ tình trạng dịch bệnh. Vấn đề tìm kiếm và gợi ý là chủ đề khơng mới, tuy nhiên trong lĩnh vực giáo dục, đặc biệt là khai thác tài nguyên học tập theo hướng tiếp cận bằng các kỹ thuật tiên tiến nhằm giải quyết các vấn đề đặt ra trong thực tế cần được nghiên cứu trong bối cảnh hiện nay. Vì vậy, luận án “Xây dựng mơ hình tìm kiếm và gợi ý tài nguyên học tập” được thực hiện.
Để thực hiện được mục tiêu tổng quát của luận án là xây dựng các mơ hình tìm kiếm và gợi ý tài nguyên học tập, luận án đã đề xuất các mơ hình phân loại, tìm kiếm tài nguyên học tập, dự đốn kết quả học tập (hay dự đốn kết quả sử dụng tài nguyên) và gợi ý tài nguyên học tập với các kỹ thuật khác nhau nhằm giải quyết các vấn đề tồn tại cần được nghiên cứu. Nội dung chính của luận án tập trung nghiên cứu xây dựng mơ hình phân loại tài nguyên học tập, từ đĩ xây dựng mơ hình tìm kiếm tài nguyên học tập cĩ quan tâm đến vấn đề ngữ nghĩa cĩ phân loại truy vấn và tài nguyên học tập được xây dựng sẵn; xây dựng các mơ hình dự đốn xếp hạng kết quả học tập và gợi ý tài nguyên học tập, từ đĩ đề xuất những tài nguyên học tập phù hợp với năng lực của người học. Các kết quả của luận án cĩ thể được tĩm tắt như sau:
Nghiên cứu đã đề xuất mơ hình phân loại tài nguyên học tập dựa trên tiếp cận kỹ thuật học sâu với mạng nơ-ron truyền thẳng đa tầng MLP. Các tập dữ liệu được sử dụng từ nhiều nguồn, ngơn ngữ khác nhau, mỗi tập dữ liệu cĩ số lớp, số mẫu khác nhau để việc đánh giá phân loại tài nguyên học tập được khách quan và phù hợp với thực tế. Độ đo AUC được sử dụng làm phép đo đánh giá mơ hình phân loại phù hợp với dữ liệu ở dạng mất cân bằng (số lớp, số mẫu). Thực nghiệm cũng so sánh cách tiếp cận kỹ thuật học sâu với các kỹ thuật học máy khác, kết quả cho thấy cách tiếp cận mới bằng kỹ thuật học sâu cho kết quả phân loại tài nguyên học tập khả thi và hiệu quả hơn các kỹ thuật học máy truyền thống khác trên cùng tập dữ liệu.
Nghiên cứu cũng đề xuất hai cách tiếp cận tìm kiếm tài nguyên học tập cĩ quan tâm vấn đề ngữ nghĩa dựa trên sự tương đồng về nội dung văn bản, là sự kết hợp giữa độ tương đồng ngữ nghĩa của văn bản và độ tương đồng thứ tự của từ trong văn bản, và
dựa trên mạng ngữ nghĩa ontology. Ở mỗi cách tiếp cận, truy vấn và tài nguyên học tập được phân loại để xác định lĩnh vực nhằm thu hẹp khơng gian tìm kiếm trước khi tìm trên lĩnh vực tương ứng của tài nguyên học tập được xây dựng sẵn. Kết quả thực nghiệm cho thấy các cách tiếp cận này cĩ khả thi để xây dựng mơ hình tìm kiếm tài nguyên học tập, đặc biệt là tìm kiếm cĩ quan tâm vấn đề ngữ nghĩa. Đây là hướng tiếp cận mới cần được tiếp tục nghiên cứu trong thời gian tới.
Nghiên cứu đề xuất các mơ hình dự đốn kết quả học tập sử dụng các kỹ thuật học sâu gồm mơ hình dự đốn kết quả học tập trên tồn bộ dữ liệu sinh viên sử dụng mạng nơ-ron tích chập CNN, mơ hình dự đốn theo nhĩm năng lực học tập sử dụng mạng nơ-ron truyền thẳng đa tầng MLP và rừng ngẫu nhiên RF, và mơ hình dự đốn theo từng sinh viên sử dụng bộ nhớ ngắn dài hạn LSTM. Phép biến đổi dữ liệu QTF được sử dụng để tiền xử lý dữ liệu giúp cho các giải thuật học sâu cĩ thể hội tụ được tốt hơn. Kết quả thực nghiệm cho thấy các mơ hình đề xuất cho kết quả dự đốn khá tốt và được cải thiện dần theo trình tự các cách tiếp cận nêu trên. Điều này cho thấy các mơ hình và kỹ thuật được đề xuất, đặc biệt là các kỹ thuật học sâu rất cĩ tiềm năng để xây dựng các mơ hình dự đốn kết quả học tập hay tài nguyên học tập nĩi chung.
Nghiên cứu đề xuất mơ hình gợi ý tài nguyên học tập sử dụng kỹ thuật phân rã ma trận sâu DMF được mở rộng từ kỹ thuật phân rã ma trận chuẩn MF. Mơ hình được kiểm chứng với hai nhĩm dữ liệu gồm các tập dữ liệu về tài nguyên học tập và các tập dữ liệu về kết quả học tập của sinh viên ở một trường đại học. Mơ hình DMF cũng được so sánh với các kỹ thuật khác của hệ thống gợi ý. Kết quả cho thấy mơ hình DMF cĩ hiệu suất dự đốn xếp hạng khá tốt so với các kỹ thuật khác, từ đĩ cĩ thể gợi ý tài nguyên học tập hay mơn học phù hợp với từng người học.
7.2. Hướng nghiên cứu tiếp theo
Ngồi các kết quả đạt được như trên, luận án cịn một số hạn chế nhất định cần tiếp tục nghiên cứu trong thời gian tới.
Luận án đã đề xuất hai các tiếp cận tìm kiếm tài nguyên học tập dựa trên độ tương đồng văn bản và dựa trên mạng ngữ nghĩa. Trong thời gian tới, việc nghiên cứu phương pháp đánh giá hiệu quả của mơ hình tìm kiếm dựa trên mạng ngữ nghĩa ontology là cần thiết. Ngồi ra, việc so sánh hiệu quả tìm kiếm giữa hai cách tiếp cận này cũng cần được xem xét. Một giải pháp nhằm tăng khả năng xử lý dữ liệu tìm kiếm cũng cần được nghiên cứu sâu hơn trong bối cảnh dữ liệu tìm kiếm ngày đa dạng và khơng ngừng gia tăng.
Cần triển khai thực nghiệm trên nhiều tập dữ liệu khác nhau đối với các mơ hình