CHƯƠNG 6 MƠ HÌNH GỢI Ý TÀI NGUYÊN HỌC TẬP
6.2. Khái quát về vấn đề gợi ý tài nguyên học tập
Thực tế, bài tốn dự đốn xếp hạng và gợi ý khơng thể tách rời nhau. Để gợi ý thì cần cĩ kết quả dự đốn xếp hạng, từ kết quả dự đốn cĩ thể chọn ra các kết quả cĩ hạng tốt nhất để gợi ý. Trong lĩnh vực giáo dục, dự đốn kết quả học tập hay dự đốn việc sử dụng hiệu quả tài nguyên học tập là tiền đề để gợi ý tài nguyên học tập phù hợp với từng người học.
Nghiên cứu này đề xuất mơ hình gợi ý tài nguyên học tập sử dụng hai nhĩm dữ liệu gồm (1) các tập dữ liệu về tài nguyên học tập và (2) các tập dữ liệu về kết quả học tập của sinh viên của một trường đại học.
6.2.1. Đối với dữ liệu về tài nguyên học tập
Bài tốn gợi ý tài nguyên học tập được phát biểu (Problem formulation) như sau: Gọi u là user/người học, i là item/tài nguyên học tập (learning resource) như sách, tạp chí, bài báo và r là feedback/phản hồi của u trên learning resource i (xếp hạng/ratings). Một cách tổng quát, gợi ý tài nguyên học tập cĩ thể được ánh xạ thành vấn đề dự đốn hạng trong hệ thống gợi ý, được biểu diễn như sau:
Người học, người đọc hoặc sinh viên → User Tài nguyên học tập (sách, tạp chí, bài báo) → Item Feedback (xếp hạng, số lần view, click chuột) → Ratings
Giai đoạn dự đốn: Cho trước một tập dữ liệu D(u, i, r), chúng ta mong muốn
xây dựng mơ hình dự đốn để dự đốn giá trị xếp hạng của tài nguyên học tập mà người học chưa đọc (các ơ rỗng trong ma trận của Hình 6.1).
Giai đoạn gợi ý: Sau khi cĩ kết quả dự đốn, chúng ta sắp xếp giá trị xếp hạng
theo thứ tự tăng dần và chọn tốp N tài nguyên học tập cĩ xếp hạng cao nhất để gợi ý (N cĩ thể là 3, 5 hoặc giá trị khác tùy thuộc vào hệ thống gợi ý).
6.2.2. Đối với dữ liệu về mơn học
Đối với dữ liệu về mơn học (kết quả học tập của người học đối với mơn học), bài tốn gợi ý mơn học được phát biểu như sau: Gọi u (user) là người học; i (item) là mơn học mà người học tham gia học; r (rating) là điểm của mà người học đạt được. Một cách tổng quát, bài tốn gợi ý mơn học cĩ thể được ánh xạ thành vấn đề dự đốn xếp hạng trong hệ thống gợi ý, được biểu diễn như sau:
Người học → User Mơn học → Item
Điểm → Ratings
Giai đoạn dự đốn: Cho trước một tập dữ liệu D(u, i, r), chúng ta mong muốn xây dựng mơ hình dự đốn nhằm dự đốn kết quả học tập của người học, cụ thể là dự đốn điểm mơn học của người học.
Giai đoạn gợi ý: Sau khi cĩ kết quả dự đốn, chọn tốp N mơn học cĩ điểm dự đốn
cao nhất để gợi ý cho người học (N là số lượng mơn học tùy theo quy định của quy chế học vụ).
Hình 6.1: Ma trận biểu diễn dữ liệu trong RS (user-item-rating matrix) 6.3. Mơ hình gợi ý tài nguyên học tập bằng mơ hình phân rã ma trận sâu
Nghiên cứu này đề xuất mơ hình gợi ý sử dụng phân rã ma trận sâu DMF (Deep Matrix Factorization) như mơ tả chi tiết ở Hình 6.2. Mơ hình này được đề xuất dựa trên các nghiên cứu trước đĩ (Guo et al., 2017; Zhang, F. et al., 2018) gợi ý về dữ liệu khuyết khơng ngẫu nhiên và hiệu quả kinh doanh dựa trên tỷ lệ nhấp chuột.
Mơ hình DMF cĩ bốn tầng. Một tầng đầu vào (input layer) mơ tả người dùng/tài nguyên học tập hiện tại; một tầng nhúng (embedding layer) để nhúng các thuộc tính người dùng và tài nguyên học tập (các yếu tố tiềm ẩn). Các thuộc tính nhúng này được nối với nhau làm đầu vào cho tầng mạng nơ-ron truyền thẳng đa tầng (Multilayer Perceptron - MLP). Cuối cùng, một tầng đầu ra (output layer) cho kết quả giá trị xếp
hạng được dự đốn. MLP cĩ 128 nút (nơ-ron), tuy nhiên, chúng ta cĩ thể thiết lập số lượng tầng ẩn khác nhau (chẳng hạn thêm nhiều tầng hơn) và số lượng nơ-ron khác nhau phụ thuộc vào các tập dữ liệu khác nhau. Trong nghiên cứu này, số nút được chọn bằng phương pháp tìm kiếm siêu tham số (hyper-parameter). Mạng được triển khai với hàm tối ưu Adam, sử dụng batch size là 256 và tốc độ học mặc định là 0,001.
Hình 6.2: Framework của mơ hình DMF
Ngồi ra, để kiểm chứng mơ hình học sâu DMF, mơ hình ma trận phân rã chuẩn (MF) được đề xuất như Hình 6.3.
Thay vì sử dụng mạng nơ-ron đa tầng MLP như trong mơ hình DMF thì ở mơ hình MF chuẩn chỉ thực hiện một phép tính tích vơ hướng (Dot product) giữa hai véc-tơ đặc trưng người dùng và tài nguyên học tập từ tầng nhúng.
Trong mơ hình DMF, tầng nhúng (embedding layer) làm nhiệm vụ ánh xạ véc-tơ thưa cĩ số chiều lớn vào một khơng gian véc-tơ cĩ số chiều thấp hơn đồng thời véc-tơ dày đặc hơn và bảo tồn các mối quan hệ ngữ nghĩa tồn tại trong dữ liệu ban đầu. Kết quả của quá trình nhúng là véc-tơ đặc tính ẩn (latent factor vector) mơ tả về người dùng hoặc tài nguyên học tập. Dữ liệu gốc được tầng nhúng ánh xạ vào khơng gian véc-tơ tiềm ẩn thu được các véc-tơ dày đặc hơn, chúng ta cĩ thể sử dụng tích vơ hướng của hai véc-tơ này để tính tốn giá trị xếp hạng của người dùng như mơ hình MF hoặc các véc- tơ tiềm ẩn được nối lại với nhau để tạo thành véc-tơ đặc tính mới phục vụ cho tính tốn tiếp theo bằng kỹ thuật MLP như mơ hình DMF.
6.4. Các phương pháp trong hệ thống gợi ý
Nghiên cứu này tập trung vào vấn đề dự đốn xếp hạng trong hệ thống gợi ý. Cĩ nhiều kỹ thuật trong dự đốn xếp hạng, tuy nhiên phần này đề xuất các phương pháp phổ biến của hệ thống gợi ý để làm cơ sở (baselines) so sánh với mơ hình DMF được trình bày chi tiết ở phần 2.5.3 về một số kỹ thuật trong hệ thống gợi ý.
6.5. Mơ tả dữ liệu thực nghiệm
Mơ hình được kiểm chứng dựa trên hai nhĩm dữ liệu thực nghiệm, gồm các tập dữ liệu về tài nguyên học tập và các tập dữ liệu về kết quả học tập của sinh viên của một trường đại học. Các mơ hình được đánh giá, so sánh với các kỹ thuật khác của hệ thống gợi ý.
Các tập dữ liệu về tài nguyên học tập: gồm 5 tập dữ liệu mơ tả việc đánh giá (ratings) tài nguyên học tập (item) của người dùng (user). Số lượng người dùng, tài nguyên học tập và xếp hạng của các tập dữ liệu này được mơ tả trong Bảng 6.1.
Bảng 6.1: Mơ tả 5 tập dữ liệu đầy đủ
Stt Dataset #user #item #ratings
1 Ratings 53.424 10.000 981.756
2 LibraryThings 70.618 385.251 1.387.125
3 BX-Book-ratings 105.283 340.556 1.149.780
4 Related-Article Recommendation 2.663.825 7.224.279 48.879.167
5 Ratings-Books 8.026.324 2.330.066 22.507.155
Các tập dữ liệu này được mơ tả vắn tắt như sau: Tập dữ liệu Ratings (Spachtholz, 2017) chứa tất cả xếp hạng của người dùng về sách/book (tổng số 980.000 ratings, cho 10.000 books, từ 53.424 users). Tập dữ liệu này giới thiệu và mơ tả lọc cộng tác. Tập dữ liệu BX-Book-ratings (Bhatia, 2020) chứa các xếp hạng sách, gồm 105.283 users,
với 1.149.780 ratings (tiềm ẩn và tường minh) của 340.556 sách. Tập dữ liệu Ratings- Books (McAuley, 2018) chứa xếp hạng sản phẩm sách của Amazon, được cập nhật vào năm 2018 bao gồm user, item, ratings và timestamp. Tập dữ liệu Related-Article Recommendation (Joeran et al., 2018) dựa trên dữ liệu từ hệ thống gợi ý trong thư viện điện tử và phần mềm quản lý tài liệu tham khảo. Tập dữ liệu lấy từ sách, chứa 2.663.825 users, 7.224.279 books và 48.879.167 ratings. Tập dữ liệu LibraryThings (McAuley, 2019) bao gồm xếp hạng cũng như các mối quan hệ xã hội giữa những người dùng, bao gồm 70.618 users, 1.387.125 ratings, 385.251 books.
Các tập dữ liệu này khá thưa (sparse), tức là người dùng hoặc tài nguyên học tập cĩ thể chỉ cĩ một vài xếp hạng. Vấn đề này là thách thức cho phương pháp học máy. Để so sánh, nghiên cứu này đã trình bày phiên bản khác của các tập dữ liệu này bằng cách giữ lại những người dùng/tài nguyên học tập cĩ ít nhất 5 ratings. Phiên bản mới của các tập dữ liệu này được trình bày trong Bảng 6.2.
Bảng 6.2: Mơ tả 5 tập dữ liệu cĩ ít nhất 5 ratings
Stt Dataset #user #item #5ratings
1 Ratings 32.492 10.000 916.880
2 LibraryThings 25.930 41.900 802.957
3 BX-Book-ratings 19.109 34.751 573.305
4 Related-Article Recommendation 2.368.923 2.225.631 37.145.643
5 Ratings-Books 622.558 596.401 9.389.719
Các tập dữ liệu về kết quả học tập của sinh viên: Gồm 3 tập dữ liệu về kết quả
học tập của sinh viên được sử dụng ở mục 5.5 về mơ hình dự đốn kết quả học tập theo từng sinh viên. Tập dữ liệu thứ nhất (Student Performance) là kết quả học tập của sinh viên của một số đơn vị đào tạo của một trường đại học. Trong khi đĩ, tập dữ liệu thứ hai là kết quả học tập của sinh viên được giữ lại ít nhất 10 mẫu tin (10 mơn học) cho mỗi sinh viên. Tương tự, tập dữ liệu thứ ba lọc giữ lại ít nhất 20 mẫu tin cho mỗi sinh viên. Các tập dữ liệu được mơ tả như Bảng 6.3, trong đĩ user là sinh viên, item là mơn học và ratings là điểm của mơn học mà sinh viên đạt được.
Bảng 6.3: Mơ tả các tập dữ liệu kết quả học tập của sinh viên
Stt Dataset #user #item #ratings Mơ tả
1 Student Performance 94.087 4.836 1.046.515 Dữ liệu gốc được thu thập
2 Student Performance 10 30.820 3.516 472.003 Giữ lại ít nhất 10 record/sinh viên 3 Student Performance 20 1.182 485 16.590 Giữ lại ít nhất 20
Tập dữ liệu Student Performance 10 và Student Performance 20 cĩ thể được xem là các tập dữ liệu khắc phục tình trạng thưa dữ liệu; hai tập dữ liệu này cũng được sử dụng cho nghiên cứu xây dựng mơ hình dự đốn kết quả học tập được trình bày ở chương trước.
6.6. Kết quả thực nghiệm
Nhiên cứu này triển khai thực nghiệm đánh giá mơ hình DMF trên mơi trường Google Colab được cài sẵn các thư viện của deep learning; ngơn ngữ sử dụng là Python 3.7. Google Colab được liên kết với Google Drive để đọc và lưu dữ liệu. Ngồi ra, thư viện hệ thống gợi ý mã nguồn mở MyMediaLite với nền tảng Mono chạy trên hệ điều hành Ubuntu cũng được sử dụng để kiểm thử với các phương pháp khác của hệ thống gợi ý. Độ đo đánh giá mơ hình là độ lỗi RMSE.
6.6.1. Kết quả thực nghiệm trên các tập dữ liệu về tài nguyên học tập
Các kết quả thử nghiệm được trình bày bao gồm mối quan hệ giữa RMSE và số lượng nơ-ron được trình bày trong Hình 6.4, mối quan hệ giữa số nhân tố tiềm ẩn (thuộc tính) và độ lỗi được thể hiện trong Hình 6.5, trong khi đĩ hiệu suất của giai đoạn huấn luyện và giai đoạn kiểm tra trong quá trình học được trình bày ở Hình 6.6.
Quan sát hai biểu đồ ở Hình 6.4 (biểu diễn cho tập dữ liệu dataset 1 và dataset 3) cho thấy các mơ hình khá tương đồng. Khi số lượng nơ-ron tăng thì hiệu suất của mơ hình đạt đến giá trị tốt nhất (độ lỗi RMSE nhỏ nhất), sau đĩ tiếp tục tăng số nơ-ron thì độ lỗi bắt đầu tăng dần và cĩ xu hướng bão hịa. Đối với tập dữ liệu dataset 1, độ lỗi RMSE thấp nhất đạt được với khoảng 100 nơ-ron. Kết quả này cũng tương tự trên tập dữ liệu dataset 3.
Hình 6.4: Mối quan hệ giữa RMSE và số nơ-ron
Hình 6.5 biểu diễn mối quan hệ giữa số nhân tố tiềm ẩn và độ lỗi RMSE của hai tập dữ liệu mẫu dataset 1 và dataset 3.
Biểu đồ cho thấy số nhân tố tiềm ẩn cĩ sự tương đồng giữa hai tập dữ liệu, khi K bằng 10 thì mơ hình cĩ độ lỗi RMSE tốt nhất. Điều này cho thấy khả năng giảm chiều đáng kể của kỹ thuật DMF. Chẳng hạn, ở dataset 3 thay vì xây dựng ma trận cho tồn
bộ dữ liệu với kích thước (105.283 x 340.556) chiều thì ở đây chỉ sử dụng kích thước (105.283 x 10) cho user và (340.556 x 10) cho item.
Hình 6.5: Mối quan hệ giữa RMSE và số nhân tố tiềm ẩn cho mơ hình DMF
Trong khi đĩ, Hình 6.6 trình bày độ lỗi của các tiếp cận trong quá trình học và kiểm thử. Như hình vẽ, độ lỗi huấn luyện và kiểm tra của mơ hình MF cĩ xu hướng hội tụ sau 4 đến 6 epochs, trong khi đĩ mơ hình DMF bão hịa sớm và hội tụ chỉ sau 2 epochs. Các tập dữ liệu khác cũng cho kết quả tương tự. Điều đĩ cho thấy mơ hình khơng tốn quá nhiều thời gian để huấn luyện trên các tập dữ liệu lớn.
Hình 6.6: So sánh độ lỗi trong quá trình học và kiểm thử của hai mơ hình MF và DMF
trên tập dữ liệu Ratings
Ngồi ra, độ đo RMSE được dùng để đánh giá với các phương pháp khác của hệ thống gợi ý (baselines) trên 5 tập dữ liệu được mơ tả. Mỗi tập dữ liệu được đánh giá độ đo trên tồn bộ tập dữ liệu gốc và tập dữ liệu được giữ lại những người dùng/tài nguyên học tập cĩ ít nhất 5 ratings. Mơ hình DMF cũng được so sánh với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average, User-kNN CF và Matrix Factorization ở độ đo RMSE trên các tập dữ liệu. Chẳng hạn, kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý đối với hai tập dữ liệu ratings (dataset 1) và ratings-Books (dataset 3) được biểu diễn như các Hình 6.7 và Hình 6.8.
Hình 6.7: So sánh RMSE giữa các phương pháp trên dataset 1 (ratings)
Hình 6.8: So sánh RMSE trên dataset 3 (ratings-Books)
Kết quả cho thấy mơ hình gợi ý DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Ngồi ra, đối với các tập dữ liệu lọc giữ lại users/books cĩ ít nhất 5 ratings, hầu hết kết quả ghi nhận được thì độ đo RMSE tốt hơn nhiều so với các tập dữ liệu gốc ban đầu do khắc phục được tình trạng thưa (spare) của dữ liệu. Kết quả này cũng tương tự cho các tập dữ liệu cịn lại.
Tuy nhiên, đối với phương pháp User-kNN, một số tập dữ liệu khơng thể học được do giới hạn về tài nguyên bộ nhớ. Chẳng hạn, mặc dù thực nghiệm triển khai trên máy chủ cĩ 320 GB RAM và CPU 72 core nhưng tập dữ liệu ratings-Books (dataset 3) và tập dữ liệu Related-Article Recommendation (dataset 4) thì phương pháp User-kNN khơng thể học được.
6.6.2. Kết quả thực nghiệm trên các tập dữ liệu về kết quả học tập
Tương tự như các tập dữ liệu về tài nguyên học tập, thực nghiệm này cũng đánh giá mơ hình DMF sử dụng độ đo lỗi phổ biến RMSE. Việc đánh giá được sử dụng trên 3 tập dữ liệu gồm tồn bộ tập dữ liệu gốc (Student Performance), tập dữ liệu được giữ lại ít nhất 10 mẫu tin kết quả học tập trên mỗi sinh viên, tức là user/course cĩ ít nhất 10 ratings (Student Performance 10), và tập dữ liệu giữ lại ít nhất 20 mẫu tin kết quả học tập trên mỗi sinh viên (Student Performance 20). Chúng tơi cũng so sánh mơ hình DMF với các phương pháp khác trong hệ thống gợi ý như Global Average, User Average, Item Average và Matrix Factorization đối với ba tập dữ liệu này.
Kết quả độ đo RMSE giữa mơ hình DMF và các phương pháp khác trong hệ thống gợi ý được so sánh giữa tập dữ liệu gốc ban đầu và từng tập dữ liệu giảm chiều được biểu diễn như Hình 6.9 và Hình 6.10.
Kết quả các thực nghiệm cho thấy DMF cho kết quả khá tốt so với các phương pháp khác của hệ thống gợi ý. Đối với những tập dữ liệu với users/courses cĩ ít nhất 10 ratings và 20 ratings thì độ lỗi RMSE của mơ hình DMF đều nhỏ hơn các phương pháp khác, tức là mơ hình dự đốn kết quả học tập bằng kỹ thuật DMF hiệu quả hơn các phương pháp cịn lại do khắc phục được tình trạng thưa dữ liệu. Ngồi ra, kết quả cũng cho thấy khi tình trạng thưa dữ liệu được khắc phục tốt hơn (10 ratings so với 20 ratings) thì mơ hình DMF cho kết quả cũng tốt theo. Chẳng hạn, nếu như tập dữ liệu gốc cĩ độ lỗi RMSE là 0,7451 thì tập dữ liệu lọc ít nhất 10 ratings và tập dữ liệu cĩ ít nhất 20 ratings cho độ lỗi RMSE tương ứng giảm dần là 0,7011 và 0,6915.
Hình 6.9: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 10 ratings
Hình 6.10: So sánh RMSE trên tồn bộ dataset và dataset giữ lại 20 ratings
Hiệu suất giữa mơ hình DMF và MF của giai đoạn huấn luyện và giai đoạn kiểm