KHAI PHÁ dữ LIỆU vết DUYỆT WEB CHO tư vấn cá NHÂN hóa

1 ĐẠI HỌC QUỐC GIA HÀ NỘI Trang phụCÔNG bìa NGHỆ TRƯỜNG ĐẠI HỌC NGUYỄN THẠC ĐAN THANH KHAI PHÁ DỮ LIỆU VẾT DUYỆT WEB CHO TƯ VẤN CÁ NHÂN HÓA Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Hà Quang Thụy Hà Nội - 2016 Lời cảm ơn Trước tiên, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới thầy giáo, Phó Giáo sư Tiến sĩ Hà Quang Thụy, người tận tình bảo hướng dẫn suốt trình thực đề tài luận văn Tôi xin gửi lời cảm ơn tới Phòng Thí nghiệm DS&KTLab Đề tài QG.15.22, thầy, cô giáo Khoa Công nghệ thông tin nói riêng trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội nói chung, tận tình giảng dạy truyền đạt kiến thức quý báu cho suốt trình học tập Cuối cùng, muốn gửi lời cảm ơn vô hạn tới gia đình bạn bè, người bên cạnh động viên suốt trình học tập trình thực đề tài Tôi xin chân thành cảm ơn! Học viên Nguyễn Thạc Đan Thanh Tóm tắt nội dung Hệ tư vấn (recommender system) trở thành chủ đề nghiên cứu quan trọng ứng dụng cao thực tế Hệ tư vấn đời nhằ m đáp ứng nhu cầu tư vấn sản phẩm thương mại điện tử (e-commerce), ngày đươ ̣c ứng dụng rô ̣ng raĩ hầu hết miề n ứng du ̣ng đa da ̣ng mạng xã hội, trang tin tức, giải trí, du lịch,… Một vài ứng dụng tiếng như: hệ tư vấn sách, CDs Amazon, hệ tư vấn phim Netflix, MovieLens, gợi ý kết bạn Facebook, Gợi ý nội dung phù hợp cho người dùng website vấn đề đáng quan tâm nhà quản lý trang web nay, đặc biệt Việt Nam, mà hệ tư vấn chưa thực phổ biến thô sơ hầu hết website Luận văn hướng tới xây dựng mô hình hệ tư vấn nội dung trang web tiếng Việt, đưa gợi ý URL (trang web thành phầ n) có nô ̣i dung đươ ̣c coi là phù hợp với cá nhân người dùng nhất, dựa phân tích vết duyệt web người dùng Luận văn đề xuất mô ̣t mô hình hệ tư vấn cộng tác (collaborative recommendation) cho website tạp chí Việt Nam dựa phương pháp biể u diễn nô ̣i dung trang web theo mô hình chủ đề ẩn (Latent Dirichlet Allocation - LDA [1]) Nô ̣i dung các trang web từ vết duyệt web (“mố i quan tâm quá khứ”) người dùng đươ ̣c so sánh với nô ̣i dung các trang web hiê ̣n thời và sau ̣ thố ng đưa gợi ý các trang web hiê ̣n thời (qua URL) phù hợp với quan tâm người dùng Thực nghiệm ban đầu hệ thống cho kết khả quan Từ khóa: recommender system, collaborative, LDA Lời cam đoan Tôi xin cam đoan mô hình hệ tư vấn nội dung website thực nghiệm trình bày luận văn đề thực hướng dẫn PGS TS Hà Quang Thụy Tất tài liệu tham khảo từ nghiên cứu liên quan có nguồn gốc rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, việc chép tài liệu, công trình nghiên cứu người khác mà không rõ tài liệu tham khảo Hà Nội, ngày tháng năm 2016 Học viên Nguyễn Thạc Đan Thanh Mục lục Trang phụ bìa .1 Lời cảm ơn Tóm tắt nội dung Lời cam đoan Mục lục Danh sách bảng Danh sách hình vẽ Danh sách từ viết tắt Lời mở đầu 10 Chương Hệ tư vấn toán tư vấn 12 1.1 Giới thiệu hệ tư vấn 12 1.2 Bài toán tư vấn 14 1.3 Các kĩ thuật tư vấn 15 1.3.1 Kĩ thuật tư vấn dựa nội dung 15 1.3.2 Kĩ thuật tư vấn cộng tác 17 1.3.3 Kĩ thuật tư vấn dựa tri thức 19 1.3.4 Phương pháp lai ghép 20 Chương 2.1 Khai phá liệu vết duyệt web người dùng cho hệ tư vấn 22 Phân loại liệu profile người dùng 22 2.1.1 Thông tin đánh giá rõ ràng 22 2.1.2 Thông tin đánh giá ẩn 23 2.2 Sử dụng mô hình chủ đề ẩn LDA liệu vết duyệt web 24 2.2.1 Khái quát mô hình chủ đề ẩn LDA 24 2.2.2 Mô hình LDA việc ước lượng hạng giả định cho mô hình tư vấn 27 2.3 Bài toán tư vấn nội dung website dựa vết duyệt web người dùng 28 2.3.1 Phát biểu toán 28 2.3.2 Hướng giải 29 Chương web Mô hình hệ tư vấn nội dung website dựa liệu vết duyệt .30 3.1 Sơ đồ mô hình tư vấn 30 3.2 Phương pháp ước lượng hạng giả định mô hình chủ đề ẩn LDA .32 3.2.1 Xây dựng vector đặc trưng người dùng vector đặc trưng url 32 3.2.2 Xây dựng ma trận hạng giả định 33 3.3 Phương pháp ước lượng hạng giả định tần suất từ .33 3.4 Đánh giá kết tư vấn .34 Chương 4.1 Thực nghiệm đánh giá 36 Môi trường thực nghiệm 36 4.1.1 Cấu hình phần cứng 36 4.1.2 Công cụ phần mềm .36 4.2 Dữ liệu thực nghiệm 38 4.3 Thực nghiệm 39 4.3.1 Mô hình tư vấn sử dụng phương pháp giả định hạng LDA 39 4.3.2 Mô hình tư vấn sử dụng phương pháp giả định hạng tần suất từ 42 4.4 Kết đánh giá 44 Kết luận định hướng nghiên cứu 46 Tài liệu tham khảo .47 Danh sách bảng Bảng 1.1 Ví dụ số hệ tư vấn tiếng [3] 13 Bảng 4.1 Bảng thông số cấu hình phần cứng 36 Bảng 4.2 Danh sách công cụ sử dụng thực nghiệm .36 Bảng 4.3 Dữ liệu thực nghiệm 38 Bảng 4.4 Minh họa đặc trưng luyện huấn luyện trang web emdep.vn .41 Bảng 4.5 Kết thực nghiệm 44 Danh sách hình vẽ Hình 1.1 Hệ tư vấn sách Amazon 13 Hình 1.2 Hệ tư vấn phim MovieLens .14 Hình 1.3 Tư vấn dựa nội dung [7] 16 Hình 1.4 Tư vấn dựa cộng tác [7] 17 Hình 1.5 Thiết kế hệ tư vấn lai hợp [4] 20 Hình 1.6 Thiết kế hệ tư vấn lai song song [4] 21 Hình 1.7 Thiết kế hệ tư vấn lai nối tiếp [4] 21 Hình 2.1 Mô hình biểu diễn LDA [22] 26 Hình 3.1 Mô hình hệ tư vấn nội dung website 30 Hình 4.1 Sơ đồ thực nghiệm với hạng giả định LDA 40 Hình 4.2 Ví dụ kết dự đoán hạng .42 Hình 4.3 Sơ đồ thực nghiệm với hạng giả định tần suất từ .43 Danh sách từ viết tắt Cụm từ đầy đủ STT Tên viết tắt CF LDA Latent Dirichlet Allocation pLSA Probabilistic Latent Semantic Analysis RMSE Root Mean Square Error MAE Mean Absolute Error Collaborative Filtering 10 Lời mở đầu Internet mang đến cho người nhiều tiện ích khác nhau, bạn tìm kiếm thông tin sản phẩm cần thông qua Internet Tuy nhiên, đối mặt với tình trạng bùng nổ thông tin nay, ngày bạn nhiều thời gian việc lựa chọn thông tin hay sản phẩm phù hợp với Cùng với phát triển thương mại điện tử (e-commerce), hệ tư vấn xuất với vai trò vô quan trọng việc hỗ trợ người dùng lựa chọn sản phẩm phù hợp đồng thời tăng giá trị kinh doanh cho doanh nghiệp Và nay, hệ tư vấn ứng dụng rộng khắp nhiều lĩnh vực khác mạng xã hội, trang tin tức, giải trí, du lịch,…, với thông tin người dùng quan tâm thấy xuất hệ tư vấn Hệ tư vấn nói thay đổi cách thức mà người dùng giao tiếp với trang web, thay người dùng phải chủ động tìm kiếm lựa chọn thông tin cần nhờ có hệ tư vấn, website giới thiệu, gợi ý sản phẩm, thông tin cho cần thiết, phù hợp với người dùng dựa profile họ Profile người dùng lịch sử giao dịch mua bán sản phẩm trang bán hàng trực tuyến, đánh giá hay tương tác người dùng với trang web Mặc dù vai trò lợi ích hệ tư vấn lớn, nhiên Việt Nam, hệ thống chưa thực phổ biến thô sơ Đa phần trang web Việt Nam chưa có hệ thống gợi ý hiệu dựa profile người dùng, mà sử dụng phương pháp đơn giản gán nhãn tay (thẻ catagoried tags), thống kê để gợi ý thông tin, sản phẩm liên quan với sản phẩm xem, hay gợi ý thông tin bật nhiều người quan tâm Chính vậy, luận văn mong muốn xây dựng mô hình hệ tư vấn tự động website tạp chí tiếng việt, nhằm mục đích gợi ý nội dung liên quan tới sở thích cá nhân người dùng, dựa lịch sử duyệt web họ website (vết duyệt web) Nội dung luận văn bao gồm nội dung sau: Chương Hệ tư vấn toán tư vấn: Trình bày nội dung hệ tư vấn bao gồm mô tả toán tư vấn, ứng dụng hệ thống tiếng, phân loại kĩ thuật tư vấn Chương Khai phá liệu vết duyệt web người dùng cho hệ tư vấn: Phân loại liệu profile người dùng, ưu nhược điểm loại liệu số nghiên cứu, phương pháp ứng dụng miền liệu Giới thiệu hệ tư vấn nội dung website dựa vết duyệt web xây dựng luận văn 35 Trong nội dung khuôn khổ thực nghiệm mô hình, không đưa đánh giá mặt thực tế, thay vào để đánh giá khả đắn mô hình, sử dụng thước đo bậc hai trung bình bình phương sai số RMSE (root mean square error – độ lệch chuẩn) sai số trung bình (mean absolute error) để so sánh độ lệch dự đoán hạng mô hình với hạng giả định Công thức tính sai số RMSE MAE sau: RMSE  MAE  n  yi  yˆ i 2  n i 1 n  yi  yˆ i n i 1 Trong đó: n số lượng hạng giả định (bằng số lượng hạng dự đoán mô hình) y i , yˆ i tương ứng giá trị hạng từ phương pháp ước lượng hạng giả định, giá trị hạng dự đoán từ mô hình 36 Chương Thực nghiệm đánh giá 4.1 Môi trường thực nghiệm 4.1.1 Cấu hình phần cứng Thực nghiệm tiến hành máy tính có thông số bảng Bảng 4.1 Bảng thông số cấu hình phần cứng Thành phần Chỉ số CPU Intel Core i7-6700HQ 2.6Ghz RAM 16GB HDD 500GB OS Ubuntu 14.04 (64bit) 4.1.2 Công cụ phần mềm Trong trình thực nghiệm, sử dụng số công cụ mã nguồn mở liệt kê bảng đây: Bảng 4.2 Danh sách công cụ sử dụng thực nghiệm STT Tên công cụ Tác giả Nguồn Mã nguồn mở Ocelma thuật toán CF: python-recsys https://github.com/ocelma/pythonrecsys Gensim – thư viện Radim Řehůřek topic modelling https://radimrehurek.com/gensim/ vnTokenizer Lê Hồng Phương http://mim.hus.vnu.edu.vn/phuongl h/softwares/vnTokenizer Thực nghiệm xây dựng ngôn ngữ Python, có sử dụng số API công cụ hỗ trợ để mô hình hóa chủ đề ẩn, huấn luyện mô hình cộng tác đưa gợi ý cho người dùng Thư viện Gensim – topic modeling: 37 Đây công cụ mã nguồn mở cài đặt ngôn ngữ Python, mô hình hóa ngôn ngữ thành không gian vector Gensim cài đặt số mô TF-IDF, mô hình deep learning, Latent semantic analysis (LSA) Latent Dirichlet Allocation (LDA),… Trong thực nghiệm trên, sử dụng mô hình chủ đề ẩn LDA để mô hình hóa profile người dùng nội dung url thành vector user vector item Ví dụ số API sử dụng: # build mô hình LDA lda_model = gensim.models.ldamodel.LdaModel(corpus=mm, id2word=dictionary, num_topics=NUM_TOPICS, minimum_probability=0.0) # liệt kê danh sách token liệu contents đầu vào user_bow= dictionary.doc2bow(user_contents.split()) # chuyển đổi thành vector không gian LDA user_vec = lda_model[user_bow] Thư viện python-recsys: Là thư viện Python cài đặt thuật toán SVD (Singular Value Decompostion - thuật toán nhằm mục đích giảm số chiều cho mô hình CF) Thư viện hỗ trợ: - tính độ tương tự hai sản phẩm - gợi ý sản phẩm giống với sản phẩm cho trước - dự đoán hạng mà người dùng đánh giá cho sản phẩm - gợi ý sản phẩm phù hợp với người dùng - đưa người dùng thích với sản phẩm cho trước Trong đó, sử dụng tính dự đoán hạng, gợi ý sản phẩm cho người dùng Ví dụ số API sử dụng: # tính mô hình SVD svd = SVD() svd.compute(k=k,min_values=1, pre_normalize=None, mean_center=True, post_normalize=True, savefile=' /Data/datamodel') # dự đoán hạng 38 pred_rating = svd.predict(item_id, user_id) # gợi ý items cho user_id recommend_list = svd.recommend(int(user_id), n=10, is_row=False) Công cụ vnTokenizer: Là công cụ tách từ tự động cho văn tiếng Việt (mã hóa bảng mã Unicode UTF-8) Công cụ chạy dạng dòng lệnh: vnTokenizer.sh -i -o [] Thực nghiệm xây dựng liệu website tiếng việt, nên cần sử dụng công cụ để tách văn thành từ (token), để xây dựng tập từ điển corpus 4.2 Dữ liệu thực nghiệm Dữ liệu thực nghiệm liệu thực tế hai trang web http://www.otoxemay.vn/ http://www.emdep.vn/ Dữ liệu bao gồm lịch sử duyệt web tất người dùng nội dung tất url trang web Bảng 4.3 Dữ liệu thực nghiệm Dữ liệu Thời gian otoxemay.vn emdep.vn 06/09/2016 – 06/10/2016 01/09/2016 – 01/11/2016 Số lượng người dùng 1496 12356 Số lượng url 3504 24655 Với trang web, liệu chia thành file với nội dung định dạng cụ thể sau:  File user_profiles chứa vết duyệt web người dùng Định dạng: dòng file vết duyệt web người dùng user_id timestamp1,item_id1 timestamp2,item_id2 … timestampN,item_idN (khoảng cách dấu tab \t) user_id: định danh người dùng (int) timestamp1: thời điểm đọc item_id1 (timestamp) item_id1: định danh url (int) 39  File item_contents chứa nội dung url Định dạng: dòng file url Item_id content (khoảng cách dấu tab \t) Item_id: định danh url (int) Content: nội dung tiếng việt url (string-utf8) 4.3 Thực nghiệm Chúng xây dựng mô hình thực nghiệm phương pháp giả định hạng người dùng với url mô hình chủ đề ẩn LDA, đồng thời xây dựng mô hình thực nghiệm phương pháp giả định hạng khác để làm sở so sánh hiệu (phương pháp sử dụng tần suất xuất từ để tính toán phù hợp nội dung url cần đánh giá với nội dung url người dùng đọc) 4.3.1 Mô hình tư vấn sử dụng phương pháp giả định hạng LDA Sơ đồ thực nghiệm mô hình mô tả hình 4.1 Các pha sơ đồ sau: - (1): Tiền xử lý - (2): Xây dựng vector đặc trưng cho người dùng url đọc - (3): Ước lượng hạng giả định cho cặp user-item - (4): Huấn luyện mô hình cộng tác, dự đoán hạng - (5): Đánh giá độ lệch mô hình 40 Hình 4.1 Sơ đồ thực nghiệm với hạng giả định LDA Công việc 1: Tiền xử lý Tiền xử lý bước xử lý liệu tập liệu ban đầu gồm vết duyệt web người dùng nội dung url, bao gồm nhiệm vụ chính: 41 - Đưa tập profile người dùng: Dựa vào liệu thu website, lọc tập liệu vết duyệt web trang web Mỗi vết duyệt web người dùng đưa vào thực nghiệm vết duyệt web có lịch sử truy cập lớn - Trích chọn tập từ điển gồm token phân biệt toàn liệu nội dung url, tập liệu corpus tần suất tokens url + Sử dụng file input item_contents, tách từ công cụ vnTokenizer + Đưa chữ thường, loại bỏ số, kí tự đặc biệt + Loại bỏ từ có khả mang thông tin ý nghĩa cách loại bỏ 10% từ có tần suất xuất cao thấp + Đưa tập từ điển gồm token (từ) phân biệt tập corpus tần suất từ url Công việc 2: Xây dựng vector đặc trưng cho người dùng url đọc Chúng sử dụng thư viện gensim để xây dựng mô hình chủ đề ẩn LDA với tập liệu từ điển corpus xây dựng Mô hình tìm phân phối xác suất 50 chủ đề Ví dụ đặc trưng liệu huấn luyện minh họa bảng đây: Bảng 4.4 Minh họa đặc trưng luyện huấn luyện trang web emdep.vn Chủ đề Từ khóa đại diện xác suất từ khóa Topic 0.008*giải_khát + 0.007*tráng_miệng + 0.006*thực_đơn + 0.005*bếp Topic 0.005*đồ_hiệu + 0.004*đồng + 0.003*thẩm_mỹ + 0.003*xu_hướng Topic 0.005*cồn + 0.005*phái_mạnh + 0.004*cầu_thủ + 0.004*nam_giới Topic 0.006*mụn + 0.005*mặt + 0.004*khô + 0.004*lotion Sau đó, tính vector đặc trưng người dùng với liệu nội dung tất url mà người dùng đọc, vector đặc trưng url nội dung url Vector đặc trưng người dùng url không gian xác suất mô hình LDA vector chiều gồm 50 giá trị xác suất phân phối 50 chủ đề Công việc 3: Ước lượng hạng giả định Ở bước này, tính khoảng cách cosine khoảng cách JensenShannon (để so sánh độ xác) hai vector user item, để giả định hạng người dùng user với item url, tức độ tương đồng hai vector lớn độ phù hợp url với người dùng cao, tương đương điểm cao (thang điểm từ đến 1) Kết lưu vào file user_rating với định dạng dòng file cặp giá trị 42 Dữ liệu hạng chia thành phần: luyện huấn luyện kiểm tra, training:testing với tỉ lệ 4:1 Công việc 4: Huấn luyện mô hình cộng tác dự đoán hạng Thực nghiệm sử dụng thư viện python-recsys để huấn luyện mô hình cộng tác với liệu hạng giả định tập liệu huấn luyện Sau đó, mô hình tính toán đưa dự đoán hạng url chưa đọc Công việc 5: Đánh giá độ lệch mô hình Như trình bày mục 3.4 (Đánh giá hệ tư vấn), việc đánh giá mô hình tư vấn có hiệu hay không phụ thuộc vào nhiều thước đo Trong khuôn khổ luận văn, để đánh giá mô hình, tính sai số RMSE (căn bậc hai trung bình bình phương sai số) sai số MAE (sai số trung bình) Để tính toán độ lệch này, sử dụng mô hình CF thư viện python-recsys để dự đoán hạng cho cặp user-item liệu test, sau tính sai số hạng dự đoán model với hạng giả định Hình 4.3 mô tả kết dự đoán hạng mô hình với định dạng Hình 4.2 Ví dụ kết dự đoán hạng 4.3.2 Mô hình tư vấn sử dụng phương pháp giả định hạng tần suất từ Sơ đồ thực nghiệm mô tả hình 4.3 Các pha sơ đồ sau: - (1): Tiền xử lý - (2): Tính tần suất xuất từ - (3): Ước lượng hạng giả định cho cặp user-item - (4): Huấn luyện mô hình cộng tác, dự đoán hạng 43 - (5): Đánh giá độ lệch mô hình Hình 4.3 Sơ đồ thực nghiệm với hạng giả định tần suất từ Công việc tiền xử lý, huấn luyện mô hình cộng tác, dự đoán hạng, đánh giá độ lệch mô hình (1, 4, 5) tương tự mô hình tư vấn kết hợp với giả định hạng LDA Công việc 2: Tính tần suất xuất từ 44 Dựa tập từ điển gồm token (từ) phân biệt tập corpus tần suất từ url từ bước 1, ta tính tần suất xuất từ liệu duyệt web người dùng (tổng nội dung url đọc người dùng), liệu url Ta được: Profile(c) = (w1c, …,wmc) với wic biểu thị tần suất từ khóa i liệu duyệt web c Content(s) = (wis, …,wns) với wis biểu thị tần suất từ khóa i nội dung url s Công việc 3: Ước lượng hạng giả định Hạng giả định tính công thức: r(u,i) = p(c,s) / pmax Trong đó: p(c,s) =  (wic * wis) với từ khóa i (token i) url s, pmax giá trị điểm cao tập p(c, sk) người dùng u Kết lưu vào file user_rating với định dạng dòng 4.4 Kết đánh giá Kết thực nghiệm thể bảng 4.5 Trong đó: (1): mô hình tư vấn liệu hạng giả định từ mô hình LDA với khoảng cách Jensen-Shannon (2): mô hình tư vấn liệu hạng giả định từ mô hình LDA với khoảng cách cosine (3): mô hình tư vấn liệu hạng giả định từ phương pháp tần suất từ Bảng 4.5 Kết thực nghiệm Kết Dữ liệu otoxemay.vn (1) (2) (3) Dữ liệu emdep.vn (1) (2) Số lượng hạng 19588 256123 Số lượng người dùng 1496 12356 Số lượng item 3504 24655 (3) Sai số RMSE 0.11 0.16 0.16 0.09 0.12 0.13 Sai số MAE 0.08 0.13 0.12 0.07 0.09 0.09 45 Kết cho thấy, mô hình tư vấn sử dụng giả định hạng mô hình LDA với khoảng cách Jensen-Shannon cho kết cao so với mô hình lại tập liệu thực nghiệm Qua cho thấy, mô hình luận văn xây dựng nhìn chung có kết khả quan liệu thực nghiệm, có tính khả thi Tuy nhiên, muốn đánh giá xác hiệu mô hình hệ tư vấn, cần đưa mô hình áp dụng vào chạy thực tế website Và định hướng nhóm nghiên cứu 46 Kết luận định hướng nghiên cứu Qua trình tìm hiểu hệ tư vấn phương pháp tư vấn, luận văn đề xuất mô hình hệ tư vấn cho website tạp chí Việt Nam sử dụng kĩ thuật lọc cộng tác mô hình chủ đề ẩn LDA Luận văn đạt số kết sau đây: - Giới thiệu hệ tư vấn, kĩ thuật sử dụng toán tư vấn, nghiên cứu việc ứng dụng hệ tư vấn cho website Việt Nam - Phân tích hướng tiếp cận giải vấn đề liệu đánh giá ẩn người dùng cho toán tư vấn - Đề xuất mô hình hệ tư vấn website dựa khai phá liệu vết duyệt web người dùng, mô hình đưa thêm mô hình chủ đề ẩn LDA vào phương pháp cộng tác truyền thống để ước lượng hạng giả định người dùng với url - Thực nghiệm mô hình hệ tư vấn đề xuất tập liệu thực tế từ trang web http://www.otoxemay.vn/ trang web http://www.emdep.vn/, đồng thời thực nghiệm với mô hình sở (mô hình tư vấn kết hợp ước lượng hạng giả định tần suất từ) để so sánh hiệu Qua thực nghiệm, kết cho thấy mô hình mà luận văn đề xuất có tính khả thi Tuy nhiên, hạn chế thời gian nên luận văn tồn hạn chế như: liệu thực nghiệm chưa phong phú, cần có thêm vài tập liệu số website khác để đánh giá, đồng thời cần có giải pháp đánh giá hiệu thực tế Trong thời gian tới, thực với liệu nhiều website đa dạng hơn, hướng tới việc tích hợp mô hình website để đánh giá hiệu thực tế 47 Tài liệu tham khảo [1] David M Blei, Andrew Y Ng, Michael I Jordan: “Latent Dirichlet Allocation” Journal of Machine Learning Research (JMLR) 3:993-1022, 2003 [2] Francesco Ricci, Lior Rokach, Bracha Shapira, Paul B Kantor: “Recommender systems handbook”, Springer, 2011 [3] Charu C Aggarwal: “Recommender Systems” textbook, Springer, 2016 [4] Dietmar Jannach, Alexander Felfernig, Gerhard Friedrich, and Markus Zanker: “Recommender Systems An introduction” book, Cambridge University Press, 2010 [5] G.Adomavicius, A.Tuzhilin: “Towards the Next Generation of Recommender Systems A Survey of the State-of-the-Art and Possible Extensions” IEEE Transactions on Knowledge and Data Engineering, 2005 [6] B Sarwar, G Karypis, J Konstan, J Riedl: “Item-based collaborative filtering recommendation algorithms” Proceedings of the 10th international conference on World Wide Web, 2001, pages 285-295 [7] HB.Deng: “Introduction to Recommendation System” China University of Hongkong seminar, 2006 [8] Netflix prize http://www.netflixprize.com/ [9] R M Bell, Y Koren, C Volinsky: “The BellKor 2008 Solution to the Netflix Prize” http://www.netflixprize.com/assets/ProgressPrize2008_BellKor.pdf [10] B M Sarwar, G Karypis, J A Konstan, and J Riedl: “Incremental singular value decomposition algorithms for highly scalable recommender systems” Proceedings of the 5th International Conference on Computer and Information Technology (ICCIT ’02), 2002 [11] H Polat and W Du: “SVD-based collaborative filtering with privacy” ACM symposium on Applied Computing, 2005, pp 791-195 48 [12] A Felfernig and R Burke: “Constraint-based recommender systems: technologies and research issues” Proceedings of the 10th International Conference on Electronic Commerce (ICEC ’08) (Innsbruck, Austria), ACM, 2008, pp 1–10 [13] M Zanker, M Jessenitschnig, and W Schmid: “Preference Reasoning with Soft Constraints in Constraint-Based Recommender Systems” Constraints 15 (2010), no 4, 574–595 [14] M Zanker and M Jessenitschnig: “Collaborative feature-combination recommender exploiting explicit and implicit user feedback” Proceedings of the 2009 IEEE Conference on Commerce and Enterprise Computing (CEC ’09) (Vienna), IEEE Computer Society, pp 49-56, 2009 [15] P Melville, R J Mooney, and R Nagarajan: “Content-Boosted Collaborative Filtering for Improved Recommendations”, Proceedings of the 18th National Conference on Artificial Intelligence (AAAI) (Edmonton, Alberta, Canada), 2002, pp 187–192 [16] R Burke, P Brusilovsky and A Kobsa and W Nejdl: “Hybrid web recommender systems” The Adaptive Web: Methods and Strategies of Web Personalization, Springer, Heidelberg, Germany, 2007, pp 377–408 [17] Y Hu, Y Koren, C Volinsky: “Collaborative Filtering for Implicit Feedback Datasets” Proceeding of the 8th IEEE International Conference on Data Mining, 2008, pp 263 272 [18] E R Nuez-Valdz, J M Cueva Lovelle, O Sanjun Martnez, V Garca-Daz, P Ordoez de Pablos, C E Montenegro Marn: “Implicit feedback techniques on recommender systems applied to electronic book” Computers in Human Behavior, 2012, pp 1186-1193 [19] E R Nuez-Valdz, J M Cueva Lovelle, G Infante Hernandez, A Juan Fuente, J E Labra-Gayo: “Creating recommendations on elictronic books” Computers in Human Behavior, 2015, pp 1320-1330 [20] Megharani V Misal, Pramod D Ganjewar: “Electronic Books Recommender System Based on Implicit Feedback Mechanism and Hybrid Methods” 49 International Journal of Advanced Research in Computer Science and Software Engineering, 2016, pp 681-686 [21] Thomas Hofmann, “Probabilistic Latent Semantic Analysis” UAI 1999, pp 289-196, 1999 [22] Xuan-Hieu Phan, Cam-Tu Nguyen, Dieu-Thu Le, Le-Minh Nguyen, Susumu Horiguchi, Senior Member, IEEE and Quang-Thuy Ha “A Hidden TopicBased Framework toward Building Applications with Short Web Documents” TKDE vol 23 NO 7, July 2011 [23] Chong Wang, David M Blei: “Collaborative topic modeling for recommending scientific articles” Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, 2011, pp 448-456 [24] Zhiqiang He, Zhongyi Wu, Bochong Zhou, Lei Xu, Weifeng Zhang: “Tourist routs recommendation based on Latent Dirichlet Allocation Model” Web Information System and Application Conference (WISA), 2015 ... Chương Hệ tư vấn toán tư vấn: Trình bày nội dung hệ tư vấn bao gồm mô tả toán tư vấn, ứng dụng hệ thống tiếng, phân loại kĩ thuật tư vấn Chương Khai phá liệu vết duyệt web người dùng cho hệ tư vấn: ... hình hệ tư vấn nội dung website dựa liệu vết duyệt web 3.1 Sơ đồ mô hình tư vấn Hình 3.1 Mô hình hệ tư vấn nội dung website 31 Sơ đồ mô hình hệ tư vấn nội dung website dựa liệu vết duyệt web người... vết duyệt web thông tin đánh giá ẩn phục vụ cho mục đích tư vấn Dữ liệu vết duyệt web rõ ràng người dùng thích hay không thích nội dung url đọc, nhiên với lịch sử truy cập đủ lâu, vết duyệt web