Dữ liệu thử nghiệm

Một phần của tài liệu Luận án Lọc cộng tác và lọc nội dung (Trang 65 - 67)

Thuật toán lọc cộng tác được thử nghiệm trên hai bộ dữ liệu EachMovie (www.reserch.compaq.com/SRC/eachmovie/) và MovieLens (www.grouplens.org/node/12). Đây là hai bộ dữ liệu được cộng đồng nghiên

cứu sử dụng phổ biến trong những nghiên cứu về lọc cộng tác [11, 15, 16, 17, 18, 21, 27, 29, 38, 39, 52, 56, 57, 95, 96, 106, 107].

Mặc dù có lọc cộng tác là vấn đềđược quan tâm nghiên cứu và đã có ứng dụng thương mại, tuy nhiên số bộ dữ liệu chuẩn dùng đểđánh giá thuật toán lọc cộng tác không nhiều nhưđối với trường hợp học máy nói chung. Lý do chủ yếu là do việc thu thập sở thích khách hàng đòi hỏi nhiều thời gian, phương pháp lấy ý kiến hợp lý, đồng thời không được vi phạm hạn chế về thông tin cá nhân. Do vậy, hầu hết nghiên cứu về lọc cộng tác chỉ có thể tiếp cận và sử dụng hai bộ dữ liệu EachMovie và MovieLens đểđánh giá thuật toán lọc. Trong phạm vi luận án, đây cũng là hai bộ dữ liệu được sử dụng cho các thử nghiệm.

EachMovie được xây dựng bởi trung tâm nghiên cứu hệ thống thông tin của hãng Compaq. Bộ dữ liệu này gồm 72916 người dùng, 1628 bộ phim với 2811983 đánh giá, các mức đánh giá được cho từ 1 đến 6 (chính xác là 0.0, 0.2, 0.4, 0.6, 0.8, 1.0) , trung bình số lượng phim người dùng chưa đánh giá là 97.6%. Hai mức đánh giá cao nhất (0.8 và 1.0) được biến đổi thành “thích” (+1), bốn mức đánh giá còn lại được biến đổi thành “không thích” (−1). Phương pháp biến đổi này dựa trên những phân tích thực nghiệm của Billsus và Pazzani [29]. Vào tháng 10 năm 2004, hãng Compaq sát nhập với HP và đã ngừng cung cấp bộ dữ liệu EachMovie phục vụ công việc nghiên cứu. Bộ dữ liệu thực hiện ở đây được chúng tôi thu thập trước tháng 10 năm 2004.

MovieLens là cơ sở dữ liệu được xây dựng bởi nhóm nghiên cứu GroupLens của trường đại học Minnesota. MovieLens có 6040 người dùng, 3900 bộ phim, 1000209 đánh giá, các mức đánh giá cho từ 1 đến 5, trung bình số lượng phim người dùng chưa đánh giá là 95.7%. Dựa trên những phân tích thực nghiệm của Billsus và Pazzani [29], hai mức đánh giá cao nhất (4, 5) được biến đổi thành “thích”, các mức còn lại thành “không thích”.

Một phần của tài liệu Luận án Lọc cộng tác và lọc nội dung (Trang 65 - 67)