Khai thác tính bất ngờ trong tư vấn thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Út KHAI THÁC TÍNH BẤT NGỜ TRONG TƯ VẤN THƠNG TIN LUẬN VĂN THẠC SĨ MÁY TÍNH Thành phố Hồ Chí Minh - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Út KHAI THÁC TÍNH BẤT NGỜ TRONG TƯ VẤN THƠNG TIN Chun ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN AN TẾ Thành phố Hồ Chí Minh - 2017 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn khoa học TS Nguyễn An Tế Các thông tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, trích dẫn theo quy định Kết nghiên cứu luận văn hoàn toàn trung thực, khách quan chưa sử dụng hay công bố cơng trình nghiên cứu khác TP Hồ Chí Minh tháng năm 2017 Học viên Nguyễn Thị Út LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ lòng biết ơn chân thành sâu sắc đến Thầy Nguyễn An Tế - giảng viên hướng dẫn luận văn Trong trình tìm hiểu nghiên cứu đề tài, tơi gặp nhiều khó khăn, nhờ Thầy ln động viên, hết lịng hướng dẫn giúp đỡ nên tơi hồn thành luận văn Tơi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô – Trường Đại học Sư phạm TP.HCM tận tâm dạy dỗ truyền đạt kiến thức quý báu q trình học tập Đồng thời, tơi xin cảm ơn Ban chủ nhiệm khoa Công nghệ Thông tin phòng Sau đại học hỗ trợ tạo điều kiện cho thời gian qua Cuối cùng, tơi xin bày tỏ lịng biết ơn sâu sắc đến gia đình ln động viên giúp đỡ tơi suốt q trình học tập thực luận văn TP Hồ Chí Minh tháng năm 2017 Học viên thực Nguyễn Thị Út MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục hình vẽ Chương GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Mục tiêu luận văn 1.3 Nội dung thực 1.4 Bố cục luận văn Chương HỆ THỐNG TƯ VẤN 2.1 Các hệ thống tư vấn 2.1.1 Phương pháp lọc theo nội dung (Content based Filtering - CbF) 2.1.2 Phương pháp lọc cộng tác (Collaborative Filtering - CF) 10 2.1.3 Lai ghép phương pháp 18 2.2 Các hệ thống tư vấn theo hướng bất ngờ 20 Chương CHẤT LƯỢNG CỦA THÔNG TIN TƯ VẤN 23 3.1 Độ xác (precision) 24 3.2 Độ đa dạng (diversity) 26 3.3 Độ lạ (novelty) 27 3.4 Độ ngạc nhiên (unexpectedness) 29 3.5 Độ bất ngờ (serendipity) 30 3.5.1 Định nghĩa tính bất ngờ 33 3.5.2 Độ đo bất ngờ 34 3.5.3 Các thuật toán tư vấn theo hướng bất ngờ 35 Chương TƯ VẤN THÔNG TIN BẤT NGỜ DỰA TRÊN CÁCH TIẾP CẬN LAI GHÉP 40 4.1 Cách tiếp cận lai ghép để tạo thông tin tư vấn bất ngờ 40 4.2 Độ đo tính bất ngờ danh sách tư vấn 41 4.3 Các bước tạo danh sách tư vấn bất ngờ dựa HASR 46 Chương THỰC NGHIỆM 48 5.1 Qui trình thực nghiệm 48 5.1.1 Dữ liê ̣u 49 5.1.2 Phương pháp thực 49 5.1.3 Độ đo sử dụng để so sánh hiệu thuật toán 51 5.2 Kết thực nghiệm phân tích 52 5.2.1 Thực nghiệm 1: So sánh độ bất ngờ thuật toán 52 5.2.2 Thực nghiệm 2: So sánh độ xác thuật tốn 53 5.2.3 Thực nghiệm 3: So sánh F-measure 54 5.2.4 Thực nghiệm 4: Phân tích tác động β độ đo F-measure tác động α độ đo bất ngờ 56 Chương TỔNG KẾT 58 6.1 Kết luận 58 6.2 Hướng phát triển 58 TÀI LIỆU THAM KHẢO 61 DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT CbF Content – based Filtering CF Collaborative Filtering HASR Hybrid Approach for Serendipitous Recommendation IF Information Filtering IR Information Retrieval RS Recommender System DANH MỤC CÁC BẢNG Bảng 2.1 Minh họa ma trận đánh giá 11 Bảng 3.1 Phân biệt tính bất ngờ với tính lạ ngạc nhiên 31 Bảng 4.1 Ví dụ ma trận đánh giá 43 Bảng 4.2 Một ví dụ khác ma trận đánh giá 45 DANH MỤC CÁC HÌNH VẼ Hình 2.1 Minh họa hai cách thành lập cộng đồng G(u) NSD u 13 Hình 2.2 Cách tiếp cận hệ thống tư vấn điển hình 22 Hình 2.3 Cách tiếp cận hệ thống tư vấn bất ngờ 22 Hình 3.1 Ví dụ điểm số ratings tư vấn phim 25 Hình 3.2 Sơ đồ biểu diễn mối quan hệ tính chất items 32 Hình 3.3 Sơ đồ bước thực thuật toán SRH 35 Hình 3.4 Sơ đồ bước thực thuật toán Inno 37 Hình 4.1 Thể ma trận đánh giá đồ thị 44 Hình 4.2 Thể khác ma trận đánh giá 45 Hình 4.3 Các bước cách tiếp cận HASR 46 Hình 5.1 So sánh độ bất ngờ thuật toán 52 Hình 5.2 So sánh độ xác thuật tốn 54 Hình 5.3 So sánh F-measure thuật toán 55 Hình 5.4 Tác động β đến độ đo cân E-measure 56 Hình 5.5 Tác động α độ bất ngờ tư vấn 57 Chương GIỚI THIỆU Chương trình bày số vấn đề thúc đẩy việc tìm hiểu tiến hành nghiên cứu việc khai thác tính bất ngờ tư vấn thơng tin Tiếp theo đó, chương mở đầu giới thiệu mục tiêu, nội dung nghiên cứu bố cục trình bày luận văn 1.1 Đặt vấn đề Với phát triển nhanh chóng phổ biến Internet, ngày có nhiều thơng tin tràn ngập mạng Internet Đối mặt với khối lượng thông tin khổng lồ vậy, khó khăn cho người sử dụng (NSD) việc chọn lọc thông tin phù hợp với nhu cầu thật cá nhân Các hệ thống tư vấn (Recommender Systems - RSs) triển khai ứng dụng nhiều lĩnh vực khác đóng vai trị quan trọng việc giảm bớt vấn đề tải thông tin [34] cách cung cấp cho NSD thông tin hàng hoá hay dịch vụ (gọi chung items) phù hợp với đặc trưng hay nhu cầu riêng cá nhân RSs áp dụng thành công nhiều lĩnh vực khác nhau, từ ứng dụng truyền thống ban đầu tư vấn phim MovieLens Netflix, tư vấn sách Amazon ứng dụng tư vấn gần du lịch, mối quan hệ mạng xã hội, thương mại di động, nghệ thuật, học trực tuyến, y khoa, … [22], [30], [31] Nhiều cơng trình nghiên cứu đề xuất cách tiếp cận cho RS đa số chia thành hai loại chính: Phương pháp lọc dựa vào nội dung (Content based Filtering CbF) phương pháp lọc dựa vào cộng tác (Collaborative Filtering - CF) [22], [30], [31] 51 5.1.3 Độ đo sử dụng để so sánh hiệu thuật toán Để đánh giá hiệu thực các thuật toán, độ đo phải kể đến độ xác Mặc dù độ xác khơng phải mục tiêu độ đo quan trọng việc đánh giá chất lượng tư vấn Luận văn sử dụng độ đo xác phổ biến Normalized Root Mean Square Error (NRMSE) để đo độ sai lệch rating dự đoán rating thật (𝑟𝑢,𝑖 − 𝑟̂𝑢,𝑖 ) 𝑁𝑅𝑀𝑆𝐸 = √ ∑ |𝑟𝑚𝑎𝑥 − 𝑟𝑚𝑖𝑛 | |𝑇| (5 1) (𝑖,𝑗)∈𝑇 Trong công thức (5.1), T liệu kiểm thử, 𝑟̂𝑢,𝑖 rating dự đoán NSD u item i 𝑟𝑢,𝑖 rating thật mà NSD u đánh giá cho item i Trong thực nghiệm luận văn, độ bất ngờ độ xác tính tốn top 5, top 10, top 15, top 20, top 25 top 30 danh sách tư vấn NRMSE thực chất phiên RMSE, chuẩn hóa phạm vi thang điểm đánh giá nên kết xếp hạng thuật toán dựa theo NRMSE giống với kết mà RMSE xếp hạng thuật tốn Bên cạnh đó, độ đo E-measure sử dụng để ước lượng mức độ cân độ xác độ bất ngờ [33] cách tiếp cận HASR Tham số β công thức (5.2) sử dụng để điều khiển cân độ xác độ bất ngờ 𝐸 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 1 β( ) + (1 − β)( ) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 serendipity (5 2) Lưu ý, độ xác độ bất ngờ thường có tính chất trái ngược nhau: độ xác cao thường dẫn đến độ bất ngờ thấp ngược lại [13] Độ đo F-measure xem trường hợp đặc biệt E-measure β = 0.5 Hiện này, độ đo F-measure biết đến với tên gọi độ đo F1 (F1-score) 52 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 5.2 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 serendipity = 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + serendipity 1 + 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 serendipity (5 3) Kết thực nghiệm phân tích Luận văn tiến hành thực nghiệm để trả lời cho câu hỏi Q1, Q2, Q3 Q4 nêu lên phần đầu Chương Phần 5.2 trình bày kết đạt với phân tích chi tiết có liên quan 5.2.1 Thực nghiệm 1: So sánh độ bất ngờ thuật toán Kết thực nghiệm thể Hình 5.1 cho thấy cách tiếp cận lai ghép HASR luận văn đề xuất có độ bất ngờ cao so với hai thuật toán SRH thuật toán Inno hầu hết trường hợp kích thước danh sách tư vấn Đặc biệt top danh sách tư vấn, thuật toán luận văn đề xuất cải thiện độ bất ngờ lên đến 7.6% so với phương pháp SRH 3.4% so với thuật tốn Inno Hình 5.1 cho thấy xu hướng độ bất ngờ giảm dần theo kích thước tăng dần danh sách tư vấn Điều có nghĩa kích thước danh sách tăng chứa nhiều thơng tin “chính xác”, gần gũi với sở thích hay nhu cầu NSD SERENDIPITY 0.38 HASR 0.37 SRH 0.36 Inno 0.35 0.34 0.33 0.32 0.31 0.30 0.29 TOP TOP 10 TOP 15 TOP 20 TOP 25 TOP 30 Hình 5.1 So sánh độ bất ngờ thuật toán 53 Riêng top 20 độ bất ngờ cách tiếp cận lai ghép HASR luận văn đề xuất thấp 0.56% so với thuật toán Inno độ lệch nhỏ Sau phân tích liệu, điều giải thích sau: thứ nhất, liệu ban đầu chia ngẫu nhiên nên chọn top 20 NSD có rating dự đốn cao xuất NSD có độ tương đồng với phim thấp nhiều so với NSD lại danh sách tư vấn NSD rơi vào top 20 cách tiếp cận HASR đề xuất, làm cho độ bất ngờ thấp thuật tốn Inno Mặc dù, trình bày trên, nội dung phim gần gũi với profile NSD, hay nói cách khác, khoảng cách profile NSD chủ đề phim xa độ bất ngờ tăng, qua trình thực nghiệm, luận văn nhận thấy thành phần thứ (dựa CF) độ đo bất ngờ dựa cách tiếp cận HASR (4.1) có ảnh hưởng nhiều đến độ bất ngờ so với thành phần thứ hai (dựa CbF) (xem thực nghiệm 4) Điều có nghĩa phim mà cộng đồng NSD đánh giá cao làm cho phim có khả bất ngờ nhiều so với khoảng cách profile NSD với nội dung phim Nhìn chung, độ bất ngờ dựa vào cách tiếp cận lai ghép HASR luận văn đề xuất cải thiện nhiều so với thuật toán khác Đây câu trả lời tích cực cho câu hỏi Q1 phần đầu Chương 5.2.2 Thực nghiệm 2: So sánh độ xác thuật tốn Một danh sách tư vấn có độ bất ngờ cao xác khơng có nhiều ý nghĩa chưa làm hài lịng NSD Do đó, luận văn tiến hành thực nghiệm để phân tích độ xác cách tiếp cận HASR so với thuật toán khác Khi xem xét câu hỏi Q2 liên quan đến hiệu thực thuật toán đề xuất, kết so sánh độ xác thuật tốn Hình 5.2 cho thấy cách tiếp cận HASR luận văn đề xuất đạt hiệu cao thuật toán khác (giá trị NMRSE thấp độ xác cao) Cụ thể, top 10 độ xác cách tiếp cận HASR cao 25.9% so với thuật toán Inno 13.1% so với thuật toán SRH 54 0.45 NRMSE 0.40 0.35 HASR 0.30 SRH Inno 0.25 0.20 0.15 0.10 0.05 TOP TOP 10 TOP 15 TOP 20 TOP 25 TOP 30 Hình 5.2 So sánh độ xác thuật toán Sở dĩ cách tiếp cận HASR cho độ xác cao so với thuật tốn cơng thức độ đo bất ngờ (4.1) cách tiếp cận đề xuất có xét đến đánh giá NSD cộng đồng NSD xét, để đảm bảo phim có nội dung khác lạ so với profile NSD người cộng đồng ưa thích, tránh tình trạng tư vấn phim mẻ lệch hướng so với sở thích NSD Vì vậy, độ xác cách tiếp cận HASR đảm bảo tư vấn theo hướng bất ngờ Riêng top 15 cách tiếp cận HASR có độ xác thấp 0.9% so với thuật tốn SRH Điều giải thích số trường hợp NSD thuật tốn SRH đánh giá xác thể loại phim nên dẫn đến độ xác khả quan vượt qua cách tiếp cận HASR top 15 với mức độ 5.2.3 Thực nghiệm 3: So sánh F-measure Đối với câu hỏi Q3 trình bày mục 5.1.3, độ đo F-measure sử dụng để phối hợp độ xác độ bất ngờ Mục đích luận văn cải thiện độ bất ngờ bảo đảm độ xác phù hợp, đó, để cân hai độ đo mục tiêu luận văn làm cho độ lệch độ xác độ bất ngờ nhỏ tốt Vì thế, luận văn lấy phần bù độ xác (1-precision) kết hợp với độ bất ngờ để độ bất ngờ tăng độ xác tăng độ lệch hai độ đo đảm 55 bảo mức thấp Chính vậy, luận văn tiến hành so sánh độ đo F-measure để đánh giá hiệu thực độ đo dựa cách tiếp cận HASR xét đến độ xác độ bất ngờ lúc Kết so sánh F-measure cách tiếp cận HASR với thuật toán SRH thuật tốn Inno thể Hình 5.3 Dựa vào Hình 5.3, ta thấy cách tiếp cận HASR đa số có giá trị F-measure cao hai thuật tốn lại Cụ thể, top danh sách tư vấn, độ đo F-measure cách tiếp cận HASR cải thiện 3.8% so với với thuật toán SRH 1.6% so với thuật toán Inno Tuy nhiên, vị trí top 20, cách tiếp cận HASR có F-measure thấp gần với thuật tốn Inno Điều giải thích sau: luận văn chọn ngưỡng β = 0.5 xem xét vai trò độ bất ngờ độ xác tương đương q trình đánh giá chất lượng tư vấn Từ thực nghiệm ta thấy độ bất ngờ cách tiếp cận HASR giảm sút top 20, mà F-measure lại kết hợp độ bất ngờ độ xác Do đó, có chênh lệch nhẹ độ đo F-measure top 20 cách tiếp cận HASR so với thuật toán Inno Tuy nhiên, độ đo F-measure cách tiếp cận HASR cao hẳn so với thuật toán SRH hầu hết trường hợp 0.46 0.44 0.42 F-MEASURE HASR 0.40 SRH 0.38 Inno 0.36 0.34 0.32 0.30 TOP TOP 10 TOP 15 TOP 20 TOP 25 TOP 30 Hình 5.3 So sánh F-measure thuật toán 56 5.2.4 Thực nghiệm 4: Phân tích tác động β độ đo E-measure tác động α độ đo bất ngờ Câu hỏi Q3 mở rộng thêm sau: HASR đạt hiệu cao lấy giá trị β = 0.5, với giá trị khác β sao? Để trả lời phần mở rộng Q3, luận văn tiến hành phân tích độ đo E-measure theo giá trị khác β Kết thực nghiệm thể Hình 5.4 0.57 0.54 E-MEASURE 0.51 0.48 HASR 0.45 SRH 0.42 Inno 0.39 0.36 0.33 0.30 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Hình 5.4 Tác động β đến độ đo cân E-measure Hình 5.4 cho thấy HASR đạt hiệu cao với giá trị β biến thiên từ 0.1 đến Dựa vào Hình 5.4 ta thấy giá trị β tăng độ đo E-measure tăng ba thuật tốn Với β = 0.1 thuật tốn đề xuất có E-measure cao 4% so với thuật toán SRH cao thuật toán Inno 1% Giá trị β tăng E-measure cao so với thuật toán SRH tiến tới gằn thuật tốn Inno Kết thực nghiệm Hình 5.4 giúp cho việc xác định vai trị (mức độ quan trọng) phương pháp CF CbF cách tiếp cận lai ghép HASR tùy theo lĩnh vực ứng dụng Ví dụ, hệ thống trọng nhiều đến cộng đồng cách tiếp cận CF chọn giá trị β tiến 1, hệ thống dựa CbF chọn giá trị β tiến 57 Ngoài ra, để trả lời cho câu hỏi Q4, luận văn tiến hành thực nghiệm cho thay đổi giá trị α công thức dựa vào cách tiếp cận HASR (4.1), để tìm hiểu tác động α ảnh hưởng tới độ bất ngờ tư vấn Kết thực nghiệm Hình 5.5 cho thấy xu hướng độ bất ngờ tăng dần α tiến gần Điều có nghĩa mức độ ảnh hưởng NSD cộng đồng có ảnh hưởng nhiều so với khoảng cách profile NSD với nội dung phim 0.50 0.45 HASR SERENDIPITY 0.40 SRH 0.35 Inno 0.30 0.25 0.20 0.15 0.10 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Hình 5.5 Tác động α độ bất ngờ tư vấn Thực nghiệm giúp cho việc xác định mức độ quan trọng hai thành phần độ đo bất ngờ (4.1) dựa cách tiếp cận HASR tùy theo nhu cầu NSD Nếu NSD mong muốn khám phá tư vấn hoàn tồn lạ với mà họ thể trước đó, lựa chọn có NSD cộng đồng đánh giá cao hay khơng chọn α tiến gần Ngược lại, NSD muốn có danh sách tư vấn bảo đảm độ xác đem lại nhiều bất ngờ chọn α tiến gần 58 Chương TỔNG KẾT Chương trình bày kết luận kết đạt luận văn đồng thời phác thảo số hướng phát triển luận văn tương lai 6.1 Kết luận Về mặt lý thuyết, luận văn đề xuất cách tiếp cận lai ghép HASR CbF CF để tạo danh sách thông tin tư vấn theo hướng bất ngờ Ý tưởng tảng cách tiếp cận lai ghép đề xuất luận văn là: item xem bất ngờ NSD chưa biết trước cộng đồng NSD đánh giá cao có độ tương đồng thấp so với với profile NSD Cách tiếp cận HASR thể qua hai độ (4.1), (4.2) bước tạo danh sách tư vấn bất ngờ Về mặt thực nghiệm, luận văn sử dụng liệu chuẩn MovieLens 100K để phân tích hiệu cách tiếp cận HASR đề xuất so với hai thuật tốn trình bày mục 3.5.3 Kết thực nghiệm cho thấy HASR đạt hiệu khả quan độ bất ngờ lẫn độ xác 6.2 Hướng phát triển Trong tương lai luận văn dự kiến tiếp tục nghiên cứu số hướng phát triển sau: Nghiên cứu cải tiến danh sách tư vấn bất ngờ cách sau: a Đa dạng hóa cơng thức độ đo tính bất ngờ, ví dụ như: 𝑟̂𝑢,𝑖 𝑢 ⃗)−1 ) 𝑠𝑒𝑟(𝑢, 𝑖) = ( + 𝑒 distance(𝑝⃗⃗⃗⃗⃗⃗,𝑖 𝑠 b Thử nghiệm thêm Cách Cách phần 4.3 59 Nghiên cứu cách áp dụng cách tiếp cận lai ghép HASR đề xuất hệ thống tư vấn thông tin theo ngữ cảnh Độ đo mà luận văn đề xuất dựa giả định sở thích NSD khơng phụ thuộc vào yếu tố ngữ cảnh (không gian, thời gian, …) Tuy nhiên, thực tế cho thấy có nhiều yếu tố thời tiết, tâm trạng, địa điểm ảnh hướng đến mức độ ưa thích NSD items [1], [25], [26], [27], [28] Ví dụ, NSD thích nghe nhạc nhẹ vào buổi tối nhạc sôi động đầy sức sống vào buổi sáng Việc gợi ý hát theo thời gian ngày hiệu nhiều việc làm hài lòng NSD Đây hướng đầy hứa hẹn cho việc đánh giá tư vấn bất ngờ Nhiều RSs nhắm đến việc dự đoán đánh giá NSD dành cho items dựa vào đánh giá có sẵn trước Ngược lại, RSs dựa vào ngữ cảnh, xem xét thêm thông tin ngữ cảnh liên quan đến việc tạo tư vấn Định nghĩa tính bất ngờ nên xem xét đến yếu tố ngữ cảnh thành phần tính bất ngờ phụ thuộc vào ngữ cảnh Một item xem bất ngờ hôm qua khơng có nghĩa ngày mai cịn bất ngờ Do đó, tính bất ngờ bao gồm liên quan, mẻ ngạc nhiên ngữ cảnh cho trước [4] Việc tận dụng yếu tố ngữ cảnh hiệu việc tư vấn items bất ngờ, RSs dựa vào ngữ cảnh hướng đến việc tư vấn items liên quan đến NSD ngữ cảnh cụ thể Bằng cách sử dụng ngữ cảnh, RS tư vấn items khác với mà NSD thường đánh cịn có liên quan, tư vấn phù hợp với tình cụ thể Nghiên cứu cách áp dụng cách tiếp cận lai ghép HASR đề xuất RSs xuyên lĩnh vực (cross-domain) Hầu hết RSs tạo tư vấn dựa vào lĩnh vực Các hệ thống tư vấn xuyên lĩnh vực tận dụng liệu từ nhiều lĩnh vực khác Ví dụ, RS xuyên lĩnh vực sử dụng thông tin từ lĩnh vực tư vấn sách để cải thiện tư vấn torng lĩnh vực phim [12] 60 Một số RSs xuyên lĩnh vực cải tiến độ bất ngờ tư vấn cách tận dụng thông tin từ nhiều lĩnh vực để suy items mà NSD quen thuộc Việc tận dụng thơng tin giúp cho việc khám phá thêm sở thích khác NSD dẫn đến tư vấn bất ngờ Ngoài ra, việc sử dụng thơng tin từ nhiều lĩnh vực giúp tư vấn nhiều items có liên quan đến NSD để cải tiến độ bất ngờ, mức độ liên quan thành phần tính bất ngờ Hơn nữa, RSs xun lĩnh vực chứa thơng tin ngữ cảnh Chính vậy, ta áp dụng thuật toán tư vấn theo ngữ cảnh cải tiến độ bất ngờ  61 TÀI LIỆU THAM KHẢO Tiếng Việt Nguyễn Thúy Ngọc (2013), Tăng cường phong phú chất lượng hệ thống tư vấn, Luận văn thạc sĩ ngành Hệ thống thông tin, Trường Đại học Khoa học Tự nhiên, TP Hồ Chí Minh Tiếng Anh Adamopoulos, P., Tuzhilin, A (2014), “On Unexpectedness in Recommender Systems: Or How to Better Expect the Unexpected”, ACM Transactions on Intelligent Systems and Technology, 5(54) Adomavicius, G., and Tuzhilin, A (2005), “Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions”, IEEE Transaction on Knowledge and data engineering, 16(6), pp.734–749 Adomavicius, G., Tuzhilin, A., (2011), “Context-Aware Recommender Systems”, Recommender Systems Handbook, Ricci, F., Rokach, L., Shapira, B., Kantor, P.B (eds.), pp.217–253 Akiyama, T., Obara, K and Tanizaki, M (2010), “Proposal and evaluation of serendipitous recommendation method using general unexpectedness”, CEUR Workshop Proceedings, 676(Prsat), pp.3–10 Breese, J S., Heckerman, D., and Kadie, C (1998), “Empirical analysis of predictive algorithms for collaborative filtering”, UAI’98 Proceedings of the Fourteenth Conference on Uncertainty in Artificial Intelligence, pp.43–52 Burke, R (2007), “Hybrid Web Recommender Systems”, The Adaptive Web, Methods and Strategies of Web Personalization, LNCS 4321, pp.377–408 62 Castells P., Hurley N.J., V S (2015), “Novelty and Diversity in Recommender Systems”, In Recommender Systems Handbook, Second Edition, pp 881–918 Castells, P., Vargas, S., and Wang, J (2009), “Novelty and Diversity Metrics for Recommender Systems: Choice, Discovery and Relevance”, Proceedings of International Workshop on Diversity in Document Retrieval (DDR), pp.29–37 10 Cremonesi, P., Turrin, R., Airoldi, F., (2011), “Hybrid Algorithms for Recommending New Items”, Proc of the 2nd International Workshop on Information Heterogeneity and Fusion in Recommender Systems, pp 33–40 ACM 11 Desrosiers, C and Karypis, G (2011), “A Comprehensive Survey of Neighborhoodbased Recommendation Methods”, Recommender Systems Handbook, pp.107– 144 12 Fern´andez-Tob´ıas, I., Cantador, I., Kaminskas, M., Ricci, F., (2012), “Crossdomain recommender systems: A survey of the state of the art”, in: Proceedings of the 2nd Spanish Conference on Information Retrieval, pp 187–198 13 Ge, M., Delgado-Battenfeld, C and Jannach, D (2010), “Beyond accuracy: Evaluating Recommender Systems by Coverage and Serendipity”, Proceedings of the Fourth ACM Conference on Recommender Systems, pp.257-260 14 Herlocker, J L., Konstan, J A., Terveen, L G and Riedl, J T (2004), “Evaluating collaborative filtering recommender systems”, ACM Transactions on Information Systems, (22), pp.5–53 15 Herlocker, J L., Konstan, J and Riedl, J (2000), “Explaining collaborative filtering recommendations”, Proceedings of the 2000 ACM Conference on Computer Supported Cooperative Work, pp.241–250 63 16 Huan Yu, Ying Wang, Yaning Fan, Sachula Meng, and R H (2018), “Accuracy Is Not Enough: Serendipity Should Be Considered More”, Innovative Mobile and Internet Services in Ubiquitous Computin, pp.230–241 17 Iaquinta, L., De Gemmis, M., Lops, P., Semeraro, G., Filannino, M and Molino, P (2008), “Introducing serendipity in a content-based recommender system”, Proceedings 8th International Conference on Hybrid Intelligent Systems, HIS 2008, pp 168–173 18 Kaminskas, M and Bridge, D (2014), “Measuring Surprise in Recommender Systems”, RecSys REDD 2014: International Workshop on Recommender Systems Evaluation: Dimensions and Design, (69), pp.2–7 19 Karypis, G., Sarwar, B., Konstan, J., and Riedl, J (2001), “Item-based Collaborative Filtering Recommendation Algorithms”, Proceeding of the 10th international conference on the World Wide Web, pp 285-295 20 Kawamae, N (2010), “Serendipitous Recommendations via Innovators”, Proceeding of the 33rd International ACM SIGIR, 218–225 21 Kotkov, D., Wang, S., and Veijalainen, J (2016), “A survey of serendipity in recommender systems”, Knowledge-Based Systems 22 Montaner, M., López, B., De, J L., and Rosa, L (2003), “A Taxonomy of Recommender Agents on the Internet”, Artificial Intelligence Review, (19), pp.285–330 23 MovieLens datasets https://grouplens.org/datasets/movielens/100k/ 24 Nguyen An Te, Denos Nathalie and Berrut Catherine, “Improving New User Recommendations with Rule based Induction on Cold User Data”, Proceeding of the 1st ACM Conference on Recommendation Systems, USA 64 25 Nguyen Thuy Ngoc and Nguyen An Te (2013), “Context-aware Recommendation Based on Multi-Criteria Communities”, The IADIS International Conference Applied Computing, Fort Worth, Texas, USA 26 Nguyen Thuy Ngoc and Nguyen An Te (2013), “Towards Context-aware Recommendations: Strategies for Exploiting Multi-criteria Communities”, The 9th IEEE International Conference on Collaborative Computing: Networking, Applications and Worksharing (CollaborateCom 2013), Austin, Texas, USA 27 Nguyen Thuy Ngoc and Nguyen An Te (2014), “Enrichment of Multi-criteria Communities for Context-aware Recommendations”, EAI Endorsed Transactions on Context-aware Systems and Applications, Vol.14(1) 28 Nguyen Thuy Ngoc and Nguyen An Te (2015), “Weighing the role of multi-criteria communities for recommender systems”, International Journal of Intelligent Engineering Informatics, Vol.3(4), pp 330 – 348 29 Rana, C (2013), “New dimensions of temporal serendipity and temporal novelty in recommender system”, Advances in Applied Science Research, 4(1), pp.151– 157 30 Ricci, F., Rokach, L., and B Shapira (2011), “Introduction to Recommender Systems Handbook”, Recommender Systems Handbook, F Ricci, L Rokach, B Shapira, and P B Kantor, first edition, Springer, pp.77-118 31 Ricci, F., Rokach, L., Shapira, B and P B Kantor (2015), Recommender Systems Handbook, Second Edition, Springer US 32 Senthil Prakash, T., Dr Thangaraj, P., (2011) “IMine: Index Support for Item Set Mining in Item Set Extraction”, International Conference on Advanced Computer Technology (ICACT), Proceedings published by International Journal of Computer Applications® (IJCA) 65 33 Shani, G., and Gunawardana, A (2011), “Evaluating Recommendation Systems”, Recommender Systems Handbook, F Ricci, L Rokach, B Shapira, and P B Kantor, second edition, Springer, pp.265-308 34 Sridharan, S (2014), Introducing serendipity in recommender systems through collaborative methods, Master's thesis, Rhode Island 35 Su, X., and Khoshgoftaar, T M (2009), “A Survey of Collaborative Filtering Techniques”, Advances in Artificial Intelligence 36 Vaishnavi, S (2013), “Ranking Technique to Improve Diversity in Recommender Systems”, International Journal of Computer Applications, 68(2), pp.20–25 37 Yamazaki, J., and Nakajima, S (2017), “Serendipity-Oriented Recommender System Considering Product Awareness in Communities”, Proceedings of the International MultiConference of Engineers and Computer Scientists, Vol I, HongKong 38 Zhang, Y C., Seaghdha, D O., Quercia, D., Jambor, T., (2012), “Auralist: Introducing serendipity into music recommendation”, Proceedings of the 5th ACM International Conference on Web Search and Data Mining, ACM, New York, NY, USA, pp.13-22 39 Zhang, L., Peng, L F., and Phelan, C A (2014), “Novel recommendation of userbased collaborative filtering”, Journal of Digital Information Management, 12(3), pp.165–175 40 Zheng, Q (2014), Making serendipity recommendation by providing less obvious item, PhD thesis, Hong Kong