Khai thác sự đa dạng trong tư vấn thông tin liên lĩnh vực

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Đặng Thị Hà KHAI THÁC SỰ ĐA DẠNG TRONG TƯ VẤN THÔNG TIN LIÊN LĨNH VỰC LUẬN VĂN THẠC SĨ MÁY TÍNH Thành phố Hồ Chí Minh – 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Đặng Thị Hà KHAI THÁC SỰ ĐA DẠNG TRONG TƯ VẤN THÔNG TIN LIÊN LĨNH VỰC Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN AN TẾ Thành phố Hồ Chí Minh – 2018 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu thân tơi hướng dẫn khoa học TS Nguyễn An Tế Các thông tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, trích dẫn theo quy định Kết nghiên cứu luận văn hoàn toàn trung thực, khách quan chưa sử dụng hay cơng bố cơng trình nghiên cứu khác Tp Hồ Chí Minh tháng năm 2018 Học viên Đặng Thị Hà LỜI CẢM ƠN Đầu tiên, tơi xin bày tỏ lịng biết ơn sâu sắc đến Thầy Nguyễn An Tế − giảng viên hướng dẫn luận văn Trong q trình tìm hiểu nghiên cứu, tơi gặp nhiều khó khăn, nhờ Thầy ln tận tình hướng dẫn động viên nên tơi hồn thành luận văn Tơi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô − khoa Công nghệ thông tin – Trường Đại học Sư phạm TP HCM truyền đạt kiến thức quý báu cho q trình học tập Đồng thời, tơi xin gửi lời cảm ơn đến Ban chủ nhiệm khoa Công nghệ thông tin − Trường Đại học Sư phạm TP HCM hỗ trợ tạo điều kiện cho thời gian qua Cuối cùng, xin bày tỏ lịng biết ơn sâu sắc gia đình động viên giúp đỡ suốt trình học tập thực luận văn TP HCM tháng năm 2018 Học viên thực Đặng Thị Hà MỤC LỤC Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục hình vẽ Chương GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Mục tiêu luận văn 1.3 Nội dung thực đối tượng nghiên cứu 1.4 Tóm tắt đóng góp luận văn 1.5 Bố cục luận văn Chương HỆ THỐNG TƯ VẤN 2.1 Khái niệm dùng hệ thống tư vấn 2.2 Một số cách tiếp cận 11 2.2.1 Tiếp cận theo nội dung (CbF) 12 2.2.2 Tiếp cận theo cộng tác (CF) 13 2.2.3 Tiếp cận theo lai ghép (hybrid) 16 2.3 Những lợi ích hệ thống tư vấn 17 2.4 Các vấn đề hệ thống tư vấn 18 2.5 Các kỹ thuật hệ thống tư vấn 19 2.5.1 Kỹ thuật K-NN dùng Users/Items 19 2.5.2 Kỹ thuật phân rã ma trận SVD 20 2.5.3 Kỹ thuật xử lý liệu 22 2.6 Độ đo tương đồng NSD 25 2.7 Đánh giá hệ thống tiếp cận tư vấn liên lĩnh vực 28 2.7.1 Nghi thức kiểm tra 28 2.7.2 Tiêu chí đánh giá 28 2.7.3 Thuật tốn tính độ lỗi hệ thống tư vấn 30 Chương MÔ HÌNH TƯ VẤN LIÊN LĨNH VỰC 32 3.1 Hệ thống tư vấn liên lĩnh vực 32 3.2 Bài toán tư vấn liên lĩnh vực 35 3.3 Thuật toán tư vấn liên lĩnh vực CRF 36 Chương KHAI THÁC SỰ ĐA DẠNG TRONG TƯ VẤN THÔNG TIN LIÊN LĨNH VỰC 45 4.1 Cơ sở đề xuất thuật toán CRF cải tiến 45 4.2 Thuật toán tư vấn liên lĩnh vực CRF cải tiến 46 4.3 Giải pháp ánh xạ hồ sơ NSD theo giải thuật CRF cải tiến 47 4.3.1 Thuật toán ánh xạ NSD lĩnh vực S  T CRF cải tiến 48 4.3.2 Thuật toán ánh xạ NSD T  S CRF cải tiến 54 4.3.3 Các bước tạo danh sách tư vấn cho NSD theo thuật toán CRF cải tiến 56 Chương THỰC NGHIỆM 59 5.1 Cơ sở liệu thực nghiệm 59 5.2 Quy trình thực nghiệm 62 5.3 Kết thực nghiệm bàn luận 63 5.3.1 Kết thực nghiệm 1: Thống kê theo độ đo RMSE cho Amazon sách-phim 63 5.3.2 Kết thực nghiệm 2: Thống kê theo độ đo MAE cho Amazon sách-phim 65 5.3.3 Kết thực nghiệm 3: Thống kê theo độ đo CBD cho Amazon sách-phim 67 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 6.1 Kết luận 70 6.2 Hướng phát triển 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT Cross Recommendation Framework Collaborative Filtering Content-based Filtering Người Sử Dụng Matrix Factorization Recommender Hệ thống tư vấn (recommender system) DANH MỤC CÁC BẢNG Bảng Ma trận đánh giá theo NSD Bảng 2 Ma trận ước lượng đánh giá theo sản phẩm Bảng Ma trận đánh giá phim Bảng Ma trận đánh giá sách Bảng Ma trận đánh giá sách sau chuẩn hóa Bảng 2.6 Ma trận đánh giá phim Bảng Ma trận đánh giá phim sau chuẩn hóa Bảng Ma trận đánh giá sách trước chuẩn hóa Bảng Ma trận đánh giá sách Bảng Ma trận đánh giá phim Bảng 4 Ma trận đánh giá phim Bảng Mô tả CSDL Sách Phim Amazo Bảng Kết thực nghiệm theo độ đo RMSE Bảng Kết thực nghiệm theo độ đo MAE Bảng 4.Kết thực nghiệm t DANH MỤC HÌNH VẼ Hình 1 Tư vấn liên lĩnh vực Hình Các thành phần hệ thống tư vấn 11 Hình 2 Minh họa hệ thống tư vấn - lọc cộng tác 13 Hình Cách tính khoảng cách Manhattan 27 Hình Ví dụ minh họa khái niệm lĩnh vực mức [22] 34 Hình Nhiệm vụ hệ thống tư vấn liên lĩnh vực [22] 36 Hình 3 Sơ đồ bước thực thuật toán CRF 37 Hình Tạo danh sách tư vấn cho NSD có đánh giá chung S T (uc∈US-T) 41 Hình Tạo danh sách tư vấn cho NSD có đánh giá lĩnh vực S (uc ∈US -US-T) 42 Hình Tạo danh sách tư vấn cho NSD có đánh giá lĩnh vực T (uc ∈UT-US-T) 43 Hình Mơ hình ánh xạ hồ sơ NSD CRF cải tiến 48 Hình Phân bố NSD Phim-Sách CSDL Amazon 62 Hình Kết thực nghiệm theo độ đo RMSE 65 Hình Kết thực nghiệm theo độ đo MAE 67 Hình Kết thực nghiệm theo độ đo CBD 69 Chương GIỚI THIỆU Chương trình bày số vấn đề thúc đẩy luận văn tìm hiểu tiến hành nghiên cứu hệ thống tư vấn liên lĩnh vực Tiếp theo đó, chương mở đầu giới thiệu mục tiêu, nội dung nghiên cứu tóm tắt kết đạt luận văn 1.1 Đặt vấn đề Từ nhiều năm nay, đời hệ thống Google, Netflix, Amazon giúp giải nhu cầu thông tin nhiều lĩnh vực sống ngày Thông thường, sau cung cấp vài từ khóa hay điều kiện lựa chọn sản phẩm thể nhu cầu, người sử dụng (NSD) nhận danh sách nhiều thông tin hay sản phẩm có liên quan [18] Lúc này, NSD phải đối mặt với vấn đề tải thông tin (information overload) nghĩa danh sách kết trả chứa nhiều thơng tin (có lên đến hàng triệu thơng tin) họ phải tốn nhiều thời gian, công sức để loại bỏ thông tin không phù hợp chọn lọc lại thật có ích NSD tinh chế lại tập từ khóa hay điều kiện lựa chọn để thu hẹp danh sách thông tin kết quả, vấn đề mấu chốt hệ thống đồng nhu cầu cá nhân lĩnh vực tương ứng [2] Nhìn chung, danh sách kết chứa thơng tin có liên quan khơng số khơng phù hợp với NSD Ví dụ, thời điểm mà giáo sư hay chuyên gia sinh viên ngành công nghệ thông tin nhập từ khóa giống hai nhận danh sách kết giống nhau, có phần danh sách phù hợp với người khơng phù hợp với người trình độ nhu cầu hai đối tượng khác Hệ thống tư vấn (Recommender Systems) mang lại nhiều ý nghĩa to lớn, giúp cho NSD vượt qua tình trạng q tải thơng tin trở thành công cụ 60 triệu đánh giá Các thực nghiệm luận văn thực liệu 100K đánh giá để tạo danh sách tư vấn liên lĩnh vực Chi tiết mô tả CSDL 100K trình bày bảng 5.1 phía Các thực nghiệm tiến hành máy PC với cấu sau: CPU Core i5 - 2330M 2.20 GHz, 16 GB RAM Luận văn chọn phương pháp thực nghiệm off-line giống hầu hết công trình lĩnh vực tư vấn việc đánh giá tốc độ xử lý (thời gian chạy thuật toán) không cần thiết Để đánh giá hiệu thuật toán tư vấn, luận văn sử dụng độ đo RMSE, MSE, MAE, CBD (xem mục 2.7.2 chương 2) tiêu chuẩn đánh giá độ xác cho thuật toán 61 Bảng Mô tả CSDL Sách Phim Amazon Số thứ tự Trong tập liệu thu thập 100K đánh giá phim 100K đánh giá sách Amazon UMOVIE có 59 222 NSD UBOOK có 64377 NSD Như NSD thực 1-2 đánh giá lĩnh vực khoảng 60K NSD thuộc lĩnh vực có 3297 (hơn 2%) NSD có đánh giá phim sách Qua đó, thấy thực tế NSD không cung cấp nhiều đánh giá cho hệ thống (ví dụ Amazon) hay 62 cho lĩnh vực (phim-sách Amazon) (xem hình 5.1) Hình Phân bố NSD Phim-Sách CSDL Amazon 5.2 Quy trình thực nghiệm Quy trình chuẩn bị cho thực nghiệm luận văn bao gồm công việc: ‐ Download liệu hàng triệu đánh giá NSD Amazon sách phim Các liệu lưu định dạng file văn dung lượng lớn mở chương trình soạn thảo văn thơng thường Notepad++ ‐ Rút trích 100K đánh giá đổ vào CSDL SQL Server 2014 Trong trình chuyển đổi liệu, số liệu bị lỗi định dạng hay có ký tự đặc biệt gặp ngoại lệ (Exception) Windows SQL Server bỏ qua Vì vậy, CSDL 100K Amazon sách chuyển vào SQL Server có 99945 đánh giá NSD (55 errors) Tương tự, cho phim 99973 đánh giá NSD Các bước quy trình thực nghiệm bao gồm việc thiết lập tham số, thực nghiệm theo giải thuật: giải thuật tư vấn lĩnh vực, giải thuật CRF, CRF cải tiến luận văn cho sách phim cuối sử dụng nghi thức hold-out: chia tách tập liệu thành hai phần, phần dùng để học phần dùng để kiểm tra 63 theo hai tỷ lệ chia 50%: 50% 65%: 35% Hệ thống tư vấn CRF luận văn sử dụng thuật toán lọc cộng tác theo cách tiếp cận dựa vào nhớ lĩnh vực đơn sách phim (xem mục 3.3) Trong thuật toán lọc cộng tác (CF), việc tư vấn items cho NSD dựa theo đánh giá từ cộng đồng NSD Cộng đồng NSD bao gồm người chia sẻ sở thích hay mối quan tâm với NSD Để tìm láng giềng gần NSD, luận văn sử dụng độ đo mức độ tương đồng Pearson với khoảng cách Manhattan 5.3 Kết thực nghiệm bàn luận Như trình bày phần trên, luận văn tiến hành thực nghiệm để kiểm chứng giả định việc tư vấn hai lĩnh vực giúp giải phần vấn đề hệ thống tư vấn (xem mục 2.4 chương 2) mà giúp tăng hiệu hệ thống tư vấn Trong biểu đồ hình 5.2, 5.3, 5.4 TV1_sách kết thuật toán tư vấn dựa lĩnh vực sách, TV1_phim kết thuật toán tư vấn dựa lĩnh vực phim, CRF kết thuật toán tư vấn liên lĩnh vực CRF, CRF_cải tiến kết thuật toán tư vấn liên lĩnh vực CRF cải tiến, Tr50-Ts50 kết thực nghiệm chia tách tập liệu thành hai phần 50% (dùng để huấn luyện) 50% (dùng để kiểm tra), tương tự cho ký hiệu Tr65-Ts65 kết thực nghiệm chia tách tập liệu thành hai phần 65% (dùng để huấn luyện) 35% (dùng để kiểm tra) 5.3.1 Kết thực nghiệm 1: Thống kê theo độ đo RMSE cho Amazon sáchphim Với liệu 100K Amazon, kết thực nghiệm thể bảng 5.2 (theo hai tỷ lệ phân chia 50% huấn luyện 50% kiểm tra 65% huấn luyện 35% kiểm tra) cho thấy cách tiếp cận liên lĩnh vực cho sai số theo độ đo RMSE thấp so với cách tiếp cận dựa lĩnh vực Phương pháp cải tiến luận văn giúp giảm sai sót tư vấn so với phương pháp CRF gốc 64 Bảng Kết thực nghiệm theo độ đo RMSE cho Amazon 100K Thuật toán Thuật toán tư vấn dựa lĩnh vực sách Thuật toán tư vấn dựa lĩnh vực phim Thuật toán tư vấn liên lĩnh vực CRF Thuật toán tư vấn liên lĩnh vực CRF cải tiến Kết thực nghiệm thể biểu đồ hình 5.2 cho thấy kết tư vấn thuật toán dựa hai lĩnh vực tốt thuật toán dựa lĩnh vực theo độ đo RMSE Như vậy, khai thác hệ thống tư vấn liên lĩnh vực sách phim tối ưu khai thác hai hệ thống tư vấn sách hệ thống tư vấn phim riêng biệt (Q1) Đồng thời biểu đồ thực nghiệm hình 5.2 thuật toán CRF cải tiến luận văn đề nâng cao hiệu cho hệ thống tư vấn CSDL 100K Amazon (Q3) 65 0.355 0.35 0.38 0.375 0.37 0.365 0.36 0.345 Tr 50 Ts 50 Tr 65 Ts 35 TV1_phim CRF CRF_cải tiến TV1_sách Hình Kết thực nghiệm theo độ đo RMSE 5.3.2 Kết thực nghiệm 2: Thống kê theo độ đo MAE cho Amazon sáchphim Với liệu 100K Amazon, kết thực nghiệm thể bảng 5.3 (theo hai tỷ lệ phân chia 50% huấn luyện 50% kiểm tra 65% huấn luyện 35% kiểm tra) cho thấy cách tiếp cận liên lĩnh vực cho sai số theo độ đo MAE thấp so với cách tiếp cận dựa lĩnh vực Phương pháp cải tiến luận văn giúp giảm sai sót tư vấn so với phương pháp CRF gốc 66 Bảng Kết thực nghiệm theo độ đo MAE Amzon 100K Thuật toán Thuật toán tư vấn dựa lĩnh vực sách Thuật toán tư vấn dựa lĩnh vực phim Thuật toán tư vấn liên lĩnh vực CRF Thuật toán tư vấn liên lĩnh vực CRF cải tiến Kết thực nghiệm thể biểu đồ hình 5.3 cho thấy kết tư vấn thuật toán dựa hai lĩnh vực tốt thuật toán dựa lĩnh vực theo độ đo MAE Rõ ràng phối hợp hai lĩnh vực cho kết tư vấn phù hợp với NSD xét nhu cầu lĩnh vực Cụ thể, xét đánh giá sách CRF CRF cải tiến tốt thuật toán tư vấn sách Kết tương tự so sánh liên lĩnh vực với đơn lĩnh vực phim (Q2) Đồng thời biểu đồ thực nghiệm thuật toán CRF cải tiến đề xuất luận văn nâng cao hiệu cho hệ thống tư vấn CSDL 100K Amazon Như vậy, theo hai độ đo RMSE MAE thuật toán đề xuất cho kết khả quan (Q3) 67 0.33 0.345 0.34 0.335 0.325 0.32 0.315 0.31 Tr50-Ts50 Tr65-Ts35 TV1_sách TV1_phim CRF CRF_cải tiến Hình Kết thực nghiệm theo độ đo MAE 5.3.3 Kết thực nghiệm 3: Thống kê theo độ đo CBD cho Amazon sáchphim Với liệu 100k Amazon, kết thực nghiệm thể bảng 5.4 (theo hai tỷ lệ phân chia 50% huấn luyện 50% kiểm tra 65% huấn luyện 35% kiểm tra) cho thấy thuật tốn liên lĩnh vực cho kết overfit mơ hình cao thuật toán tư vấn lĩnh vực Trong thuật tốn cải tiến luận văn giúp làm giảm overfit mơ hình học thống kê so với thuật toán CRF gốc so với thuật toán tư vấn lĩnh vực nhờ vào trình ánh xạ hồ sơ NSD thuật toán cải tiến 68 Bảng Kết thực nghiệm theo độ đo CBD Amazon 100K Thuật toán Thuật toán tư vấn dựa lĩnh vực sách Thuật toán tư vấn dựa lĩnh vực phim Thuật toán tư vấn liên lĩnh vực CRF Thuật toán tư vấn liên lĩnh vực CRF cải tiến Kết thực nghiệm thể biểu đồ hình 5.4 cho thấy kết tư vấn thuật toán dựa hai lĩnh vực khơng tốt thuật tốn dựa lĩnh vực theo độ đo CBD Tuy nhiên, biểu đồ thực nghiệm hình 4.5 thuật toán CRF cải tiến đề xuất nâng cao hiệu cho hệ thống tư vấn CSDL 100K Amazon so với thuật toán gốc Kết tư vấn lĩnh vực sách cho kết tốt hành vi lựa chọn sách NSD biến đổi theo thời gian so với phim Hay nói cách khác tính bất ngờ tư vấn sách mà cao khơng xác với CSDL thu thập Amazon Books 0.24 0.235 0.23 0.275 0.225 0.27 0.22 0.265 0.26 0.255 0.25 0.245 69 CRF CRF_cải tiến Tr50-Ts50 Tr65-Ts35 Hình Kết thực nghiệm theo độ đo CBD 70 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương trình bày kết luận kết đạt luận văn đồng thời nêu số hướng phát triển luận văn tương lai 6.1 Kết luận Cách tiếp cận tư vấn liên lĩnh vực hướng nghiên cứu nâng cao Về mặt lý thuyết, luận văn khảo sát toán tư vấn hướng tiếp cận có liên quan, thách thức lĩnh vực tư vấn: NSD mới, sản phẩm mới, liệu thưa Đồng thời, luận văn nghiên cứu hướng tiếp cận liên lĩnh vực thuật tốn CRF nhằm mục đích tư vấn thơng tin cho NSD lĩnh vực Thuật toán CRF khai thác mối liên hệ lĩnh vực thông qua đánh giá NSD chung lĩnh vực từ xây dựng ánh xạ NSD từ lĩnh vực nguồn sang NSD tương ứng lĩnh vực mục tiêu: f(NSD): ULĩnh vực nguồn  ULĩnh vực mục tiêu Hơn nữa, luận văn áp dụng cải tiến thuật toán CRF cho hệ thống tư vấn liên lĩnh vực có xét đến yếu tố thuộc tính items Cụ thể, luận văn chia lĩnh vực nguồn S thành lĩnh vực nhỏ (luận văn đề xuất chia thành hai lĩnh vực SA SB), chia lĩnh vực mục tiêu T thành hai lĩnh vực TC TD Bài toán liên lĩnh vực CRF ánh xạ từ lĩnh vực ST (hoặc ngược lại) cải tiến thành toán tư vấn liên lĩnh vực ánh xạ từ {SA, SB}{TC, TD} (hoặc ngược lại) Về mặt thực nghiệm, luận văn sử dụng liệu chuẩn Amazon để phân tích hiệu thuật toán CRF cải tiến so với cách thuật toán lĩnh vực cách tiếp cận liên lĩnh vực CRF Kết thực nghiệm cho thấy thuật toán liên lĩnh vực CRF CRF cải tiến giúp khắc phục phần thách thức hệ thống tư vấn 71 truyền thống đồng thời thuật tốn khai thác tính đa dạng tư vấn liên lĩnh vực nhằm tạo danh sách tư vấn phong phú, phù hợp cho NSD Hơn nữa, kết thực nghiệm cho thấy thuật toán CRF cải tiến giúp nâng cao hiệu hệ thống tư vấn thuật toán CRF 6.2 Hướng phát triển Trong tương lai, luận văn dự kiến tiếp tục nghiên cứu số hướng phát triển sau: Thứ nhất, luận văn nghiên cứu thử nghiệm mở rộng thuật toán đề xuất vào lĩnh vực mà tác động yếu tố liên lĩnh vực lên sở thích NSD rõ ràng đáng kể Chúng ta hình dung lĩnh vực tư vấn phim, đó, phim tư vấn cho NSD xem xem lại nhiều lần nhiều ngữ cảnh khác nhau, lần xem NSD có đánh giá giống Ví dụ, phim Fast and Furious đánh giá cao NSD cảm thấy hưng phấn lại khơng ưa thích NSD có tâm trạng buồn chán Thứ hai, luận văn nghiên cứu mở rộng hệ thống tư vấn cho nhiều lĩnh vực tư vấn vì, luận văn cho hệ thống mở rộng cho hai lĩnh vực S T ví dụ mở rộng thành lĩnh vực sách, phim, nhạc, thiết bị nghe nhìn, Hơn việc mở rộng phân chia S T thành nhiều lĩnh vực (S1, S2, , Sm T1, T2, , Tn) hướng phát triển luận văn Thứ ba, luận văn nghiên cứu sử dụng cách tiếp cận lai ghép cho việc tư vấn lĩnh vực hệ thống tư vấn liên lĩnh vực Mặc dù, nêu chương 2, cách tiếp cận lai ghép có chi phí tính tốn cao tạo danh sách tư vấn đa dạng bất ngờ thú vị cách tiếp cận khác Vì vậy, luận văn mong muốn tiếp tục nghiên cứu vấn đề tích hợp thơng tin liên lĩnh vực phục vụ cho trình tư vấn đa mục tiêu nhằm thỏa mãn nhu cầu đa dạng phong phú NSD 72 TÀI LIỆU THAM KHẢO [1] Adomavicius, G., and Tuzhilin, A (2005), “Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions”, IEEE Transaction on Knowledge and data engineering, 16(6), pp.734–749 [2] Adomavicius, Gediminas, and Alexander Tuzhilin "Personalization technologies: a process-oriented perspective." Communications of the ACM 48.10 (2005): 83-90 [3] Burke, Robin "Hybrid recommender systems: Survey and experiments." User modeling and user-adapted interaction12.4 (2002): 331-370 [4] Champiri, Zohreh Dehghani, Seyed Reza Shahamiri, and Siti Salwah Binti Salim "A systematic review of scholar context-aware recommender systems." Expert Systems with Applications 42.3 (2015): 1743-1758 [5] G Adomavicius, L Baltrunas, T Hussein, F Ricci and A Tuzhilin (2011) Context-aware recommender systems Proceedings of the 2011 ACM Conference on Recommender Systems (RecSys 2011), USA [6] Ge, M., Delgado-Battenfeld, C and Jannach, D (2010), “Beyond accuracy: Evaluating Recommender Systems by Coverage and Serendipity”, Proceedings of the Fourth ACM Conference on Recommender Systems, pp.257-260 [7] Good, Nathaniel, et al "Combining collaborative filtering with personal agents for better recommendations." AAAI/IAAI 1999 [8] Gorakala, Suresh Kumar Building Recommendation Engines Packt Publishing Ltd, 2016 [9] Guo, Ying, and Xi Chen "A framework for cross-domain recommendation in folksonomies." J Autom Contr Eng 1.4 (2013) 73 [10] Herlocker, Jonathan L., et al "Evaluating collaborative filtering recommender systems." ACM Transactions on Information Systems (TOIS) 22.1 (2004): 5-53 [11] J S Breese, D Heckerman and C Kadie (1998) Empirical Analysis of Predictive Algorithms for Collaborative Filtering Proceedings of the 14th Conference on Uncertainty In Artificial Intelligence (UAI’98), Wisconsin, USA [12] Kotkov, Denis, Shuaiqiang Wang, and Jari Veijalainen "Cross-Domain Recommendations with Overlapping Items." WEBIST 2016: Proceedings of the 12th International conference on web information systems and technologies Volume 2, ISBN 978-989-758-186-1 SCITEPRESS, 2016 [13] L Baltrunas and F Ricci (2009) Context-based Splitting of Item Ratings in Collaborative Filtering Proceedings of the 3rd ACM Conference on Recommender Systems (RecSys’09), NY, USA [14] Nguyen, An-Te, Nathalie Denos, and Catherine Berrut "Improving new user recommendations with rule-based induction on cold user data." Proceedings of the 2007 ACM conference on Recommender systems ACM, 2007 [15] Nguyen, Thuy-Ngoc, and An-Te Nguyen "Weighing the role of multi-criteria communities for recommender systems." International Journal of Intelligent Engineering Informatics 3.4 (2015): 330-348 [16] Pazzani, Michael J., and Daniel Billsus "Content-based recommendation systems." The adaptive web Springer, Berlin, Heidelberg, 2007 325-341 [17] R Burke (2007) Hybrid Web recommender systems The Adaptive Web, Methods and Strategies of Web Personalization, LNCS 4321 [18] Rafailidis, Dimitrios, and Fabio Crestani "Top-N Recommendation via Joint Cross-Domain User Clustering and Similarity Learning." Joint European Conference on Machine Learning and Knowledge Discovery in Databases Springer International Publishing, 2016 74 [19] Ricci, F., Rokach, L., and B Shapira (2011), “Introduction to Recommender Systems Handbook”, Recommender Systems Handbook, F Ricci, L Rokach, B Shapira, and P B Kantor, first edition, Springer, pp.77-118 [20] Shani, G., and Gunawardana, A (2011), “Evaluating Recommendation Systems”, Recommender Systems Handbook, F Ricci, L Rokach, B Shapira, and P B Kantor, second edition, Springer, pp.265-308 [21] Shapira, B., Rokach, L., Freilikhman, S (2013): Facebook Single and Cross Domain Data for Recommendation Systems User Modeling and User-Adapted Interaction 23(2–3), pp 211–247 [22] Sridharan, S (2014), Beyond accuracy: Evaluating Recommender Systems by Coverage and Serendipity”, Master's thesis, Rhode Island [23] Zhang, Zihan, et al "Multi-Domain Active Learning for Recommendation." Thirtieth AAAI Conference on Artificial Intelligence 2016 [24] Zhenzhen, Xu, et al "Cross-domain item recommendation based on user similarity." Computer Science and Information Systems 13.2 (2016): 359-373 [25] Zou, Haitao, et al "TrustRank: a Cold-Start tolerant recommender system." Enterprise Information Systems 9.2 (2015): 117-138 ... tư vấn 30 Chương MƠ HÌNH TƯ VẤN LIÊN LĨNH VỰC 32 3.1 Hệ thống tư vấn liên lĩnh vực 32 3.2 Bài toán tư vấn liên lĩnh vực 35 3.3 Thuật toán tư vấn liên lĩnh vực. .. hệ thống tư vấn truyền thống thiếu thông tin NSD thiếu thông tin items Việc nghiên cứu phương pháp tư vấn liên lĩnh vực nhằm góp phần giải phần vấn đề Tư vấn liên lĩnh vực dùng thông tin NSD sản... 36 Chương KHAI THÁC SỰ ĐA DẠNG TRONG TƯ VẤN THÔNG TIN LIÊN LĨNH VỰC 45 4.1 Cơ sở đề xuất thuật toán CRF cải tiến 45 4.2 Thuật toán tư vấn liên lĩnh vực CRF cải tiến