Time-coded là cơ chế thu thập phản hồi ẩn (implicit feedbacks) có vai trò rất quan
trọng trong xenoNews. Bởi vì nó cho phép hệ thống thu thập thêm được rất nhiều đánh giá của người đọc, một cách tự động.
Trong xenoNews, có 2 ngưỡng thời gian được chọn sử dụng, vượt qua ngưỡng này, hệ thống tự xác định người dùng có quan tâm đến nội dung bài viết:
- Các bài viết ngắn dưới 700 ký tự: giá trị ngưỡng time-coded là 22 giây. - Các bài viết còn lại: 35 giây.
Để đánh giá hiệu quả của cơ chế này, một thử nghiệm nhỏ được tiến hành. Hệ thống lần lượt hiển thị từ bài báo đầu tiên họ đã đánh giá trong thử nghiệm trước. Hệ thống thông báo cho người dùng biết: trước đây họ đã phản hồi như thế nào với bài viết đó (quan tâm, hoặc không quan tâm):
- Nếu trước đó kết quả đánh giá là “không quan tâm”, họ được yêu cầu bấm nút “Chuyển tới bài tiếp” ngay.
- Nếu phản hồi trước đó là “quan tâm”, họ được yêu cầu đọc bài viết như bình thường. Nhưng nếu họ vẫn chưa đọc xong đọc mà cơ chế time-coded đã đạt giá trị ngưỡng, hệ thống tự động nhảy sang bài báo tiếp theo. Người dùng vẫn có quyền chuyển sang bài tiếp nếu họ đọc xong trước khi cơ chế time-coded đạt điều kiện cần.
Kết quả thử nghiệm được thể hiện trong Bảng 4.2.
Bảng 4.2: Kết quả đánh giá tự động của cơ chế phản hồi ẩn Time-coded
Predicted Negative Predicted Positive
2245 5 Positive Cases FN: user:“interesting”+xenoNew:”Irrelevant” 19 TP: user:“interesting”+xenoNew:”Relevant” 2089 Từ bảng trên, ta tính được: 2089 99.8% 2089 5 TP Precision TP FP ; 2089 99.1% 2089 19 TP Recall TP FN
Kết quả rất cao trên là dễ hiểu, bởi vì số lượng tin “siêu ngắn” (dưới 700 ký tự, tương đương 4-5 câu trong tiếng Việt) là ít, khi đó có thể người dùng đã đọc xong nhưng thời gian đọc chưa đủ để time-coded quyết định bài viết đó có nên đưa vào lớp “Relevant” hay không. Hơn nữa, cũng chỉ thi thoảng mới xảy ra trường hợp: tuy bài viết không được quan tâm nhưng hệ thống lại coi là “Relevant” – có liên quan đến sở thích của người dùng, ví dụ: họ có thể bị xao nhãng trong khi duyệt tin và không tắt bài viết, hay chuyển sang bài tiếp theo ngay.
Kết luận
Trong luận văn này, tôi đã trình bày về chức năng, thiết kế cũng như các thuật toán của một hệ thống thích nghi - xenoNews, có khả năng “học” được sở thích của người dùng thông qua việc họ đọc tin tức hằng ngày, từ đó gợi ý các tin bài phù hợp trong những ngày tiếp theo. xenoNews sử dụng hướng tiếp cận dựa trên nội dung, đa-chiến- lược để mô hình hoá thông tin ngắn hạn, dài hạn của độc giả một cách riêng biệt, kết hợp với các luật tự mô tả của họ, tạo nên một Hồ sơ người dùng lai. Qua thử nghiệm, từng mô hình đã thể hiện rõ vai trò của mình trong việc nâng cao hiệu năng tổng thể của hệ thống. Ngoài ra, tôi cũng đã nghiên cứu và sử dụng thói quen tương tác của người dùng để thiết kế website đọc tin – front-end của hệ thống. Một cơ chế thu thập phản hồi ẩn, tự động -
time-coded cũng được cài đặt và chứng tỏ sự hữu ích của mình, dựa trên kết quả thử nghiệm.
Nghiên cứu trong luận văn chỉ là bước đầu để xây dựng dịch vụ gợi ý tin tức, do vậy vẫn còn nhiều vấn đề cần giải quyết. Phản hồi của người dùng, qua thời gian sử dụng dài đang tiếp tục được thu thập, nhằm đánh giá chính xác hơn hiệu quả của hệ thống. Bên cạnh đó, tôi cũng mong muốn nghiên cứu sâu hơn vấn đề thuật toán xử lý, cũng như giao diện và chức năng website, nâng cao trải nghiệm cho người sử dụng.
Mặc dù bản mẫu hệ thống chọn lọc tin tức dựa trên nội dung của tôi hoạt động khá hiệu quả. Nhưng tôi tin rằng việc nghiên cứu các vấn đề sau, tích hợp thêm vào xenoNews sẽ giúp hệ thống hoạt động còn tốt hơn nữa:
- Sử dụng thêm thông tin hợp tác: hướng tiếp cận gợi ý dựa trên hợp tác tỏ ra khá
hứa hẹn, có khả năng kết hợp với hệ thống hiện tại, tạo nên một hệ thống lai. Tuy nhiên để nghiên cứu và thử nghiệm thì hiện tại tôi cần thêm thời gian và lượng người sử dụng.
- Cơ chế thu thập phản hồi: như đã nói, phản hồi của người dùng đóng vai trò đặc
biệt quan trọng trong hệ thống. Việc nghiên cứu thêm các cơ chế thu thập phản hồi ẩn (implicit feedbacks), đặc biệt là dạng phản hồi “không quan tâm” của người dùng sẽ được nghiên cứu kỹ hơn trong tương lai.
Phụ lục
Một số ảnh minh hoạ giao diện Website
Minh hoạ PL.1: Giao diện hiển thị tin dạng List
Tài liệu tham khảo
[1] M. Pazzani and D. Billsus, “Learning and Revising User Profiles : The
Identification of Interesting Web Sites,” Machine Learning 27, pp. 313–331, 1997.
[2] W. Hill, L. Stead, M. Rosenstein, and G. Furnas, “Recommending and Evaluating choices in a Virtual Community of use,” Proceedings of CHI’95.
[3] M. Balabanovic and Y. Shoham, “Fab: Content-based, Collaborative
Recommendation,” Communications of the ACM, vol. 40, no. 3, pp. 66–72, 1997.
[4] K. Lang, “NewsWeeder: Learning to filter news,” Proceedings of the Twelfth
International Conference on Machine Learning, pp. 331–339, 1995.
[5] J. S. Breese, D. Heckerman, and C. Kadie, “Empirical analysis of predictive algorithms for collaborative filtering,” Proceedings of 14th Conference on Uncertainty in Artificial Intelligence, 1998.
[6] J. Delgado and N. Ishii, “Memory-Based Weighted-Majority Prediction for Recommender Systems,” ACM SIGIR’99 Workshop on Recommender Systems:
Algorithms and Evaluation, 1999.
[7] L. H. Ungar and D. P. Foster, “Clustering Methods for Collaborative Filtering,”
Papers from 1998 Workshop. Technical Report WS-98-08. AAAI Press, 1998.
[8] G. Shani, D. Heckerman, and R. I. Brafman, “An MDP-Based Recommender System,” Proceedings of 18th Conference on Uncertainty in Artificial Intelligence, vol. 6, pp. 1265–1295, 2002.
[9] D. M. Pennock, S. Lawrence, and C. L. Giles, “Collaborative Filtering by
Personality Diagnosis: A Hybrid Memory- and Model-Based Approach,” IJCAI’99
Workshop: Machine Learning for Information Filtering, 1999.
[10] K. Yu, A. Schwaighofer, V. Tresp, X. Xu, and H. Kriegel, “Probabilistic Memory- based Collaborative Filtering,” IEEE Transactions on Knowledge and Data
Engineering, vol. 16, no. 1, pp. 56–69, 2004.
[11] M. Claypool, A. Gokhale, T. Miranda, P. Murnikov, D. Netes, and M. Sartin, “Combining content-based and collaborative filters in an online newspaper,” ACM
[12] M. J. Pazzani, “A Framework for Collaborative, Content-Based and Demographic Filtering,” Artificial Intelligence Review, pp. 393–408, 1999.
[13] P. Melville, R. J. Mooney, and R. Nagarajan, “Content-Boosted Collaborative Filtering for Improved Recommendations,” Proceedings of the 18th National
Conference on Artificial Intelligence, Edmonton, Canada, 2002.
[14] I. Soboroff and C. Nicholas, “Combining content and collaboration in text
filtering,” IJCAI’99 Workshop: Machine Learning for Information Filtering, 1999.
[15] C. Basu, H. Hirsh, and W. Cohen, “Recommendation as classification: Using social and content-based information in recommendation,” Recommender Systems. Papers
from 1998 Workshop. Technical Report WS-98-08. AAAI Press, 1998.
[16] A. I. Schein, A. Popescul, L. H. Ungar, and D. M. Pennock, “Methods and Metrics for Cold-Start Recommendations,” Proceedings of the 25th Annual International
ACM SIGIR Conference, 2002.
[17] N. Belkin, “User Modeling in Information Retrieval,” Sixth International
Conference on User Modeling, 1997.
[18] N. Belkin, J. Kay, and C. Tasso, “Special Issue on User Modeing and Information Filtering,” User Modeling and User Adapted Interaction, 1997.
[19] G. Webb, “Special issue on Machine Learning for User Modeling,” User Modeling
and User Adapted Interaction, vol. 8, no. 1–2, 1998.
[20] D. Billsus and M. J. Pazzani, “User Modeling for Adaptive News Access,” User