4. Bố cục của luận án
2.4.2.Dữ liệu thử nghiệm
Thuật toán lọc cộng tác đƣợc thử nghiệm trên hai bộ dữ liệu EachMovie
(www.reserch.compaq.com/SRC/eachmovie/) và MovieLens
cứu sử dụng phổ biến trong những nghiên cứu về lọc cộng tác [11, 15, 16, 17, 18, 21, 27, 29, 38, 39, 52, 56, 57, 95, 96, 106, 107].
Mặc dù có lọc cộng tác là vấn đề đƣợc quan tâm nghiên cứu và đã có ứng dụng thƣơng mại, tuy nhiên số bộ dữ liệu chuẩn dùng để đánh giá thuật toán lọc cộng tác không nhiều nhƣ đối với trƣờng hợp học máy nói chung. Lý do chủ yếu là do việc thu thập sở thích khách hàng đòi hỏi nhiều thời gian, phƣơng pháp lấy ý kiến hợp lý, đồng thời không đƣợc vi phạm hạn chế về thông tin cá nhân. Do vậy, hầu hết nghiên cứu về lọc cộng tác chỉ có thể tiếp cận và sử dụng hai bộ dữ liệu EachMovie và MovieLens để đánh giá thuật toán lọc. Trong phạm vi luận án, đây cũng là hai bộ dữ liệu đƣợc sử dụng cho các thử nghiệm.
EachMovie đƣợc xây dựng bởi trung tâm nghiên cứu hệ thống thông tin của hãng Compaq. Bộ dữ liệu này gồm 72916 ngƣời dùng, 1628 bộ phim với 2811983 đánh giá, các mức đánh giá đƣợc cho từ 1 đến 6 (chính xác là 0.0, 0.2, 0.4, 0.6, 0.8, 1.0) , trung bình số lƣợng phim ngƣời dùng chƣa đánh giá là 97.6%. Hai mức đánh giá cao nhất (0.8 và 1.0) đƣợc biến đổi thành ―thích‖ (+1), bốn mức đánh giá còn lại đƣợc biến đổi thành ―không thích‖ (1). Phƣơng pháp biến đổi này dựa trên những phân tích thực nghiệm của Billsus và Pazzani [29]. Vào tháng 10 năm 2004, hãng Compaq sát nhập với HP và đã ngừng cung cấp bộ dữ liệu EachMovie phục vụ công việc nghiên cứu. Bộ dữ liệu thực hiện ở đây
đƣợc chúng tôi thu thập trƣớc tháng 10 năm 2004.
MovieLens là cơ sở dữ liệu đƣợc xây dựng bởi nhóm nghiên cứu GroupLens của trƣờng đại học Minnesota. MovieLens có 6040 ngƣời dùng, 3900 bộ phim, 1000209 đánh giá, các mức đánh giá cho từ 1 đến 5, trung bình số lƣợng phim ngƣời dùng chƣa đánh giá là 95.7%. Dựa trên những phân tích thực nghiệm của Billsus và Pazzani [29], hai mức đánh giá cao nhất (4, 5) đƣợc biến đổi thành ―thích‖, các mức còn lại thành ―không thích‖.