Hệ gợi ý

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI PHẠM ANH MINH Phạm Anh Minh CÔNG NGHỆ THÔNG TIN HỆ GỢI Ý LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN 2015B Hà Nội – Năm 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Phạm Anh Minh HỆ GỢI Ý Chuyên ngành : Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS LÊ THANH HƯƠNG Hà Nội – Năm 2018 Lời cam đoan Tôi xin cam đoan: Luận văn thạc sĩ Công nghệ thông tin với đề tài: “Hệ gợi ý” cơng trình nghiên cứu thật cá nhân hướng dẫn PGS TS Lê Thanh Hương Các kết nêu luận văn trung thực chưa công bố cơng trình khác Tơi xin chịu trách nhiệm lời cam đoan Hà Nôi, ngày tháng năm 2018 Tác giả Phạm Anh Minh LỜI CẢM ƠN Sau nhiều tháng tìm hiểu, nghiên cứu, với dạy nhiệt tình thầy giáo hướng dẫn tơi hồn thành luận văn tốt nghiệp Trước hết em xin chân thành cảm ơn thầy giáo PGS TS Lê Thanh Hương - Viện Công nghệ thông tin Truyền thông – Đại học Bách khoa Hà Nội, người trực tiếp hướng dẫn, nhận xét, nhắc nhở, giúp đỡ em suốt trình thực luận văn Em xin chân thành cảm ơn thầy, cô Viện Công nghệ thông tin Truyền thông, Viện đào tạo sau đại học thầy cô trường Đại học Bách khoa Hà Nội, người dạy dỗ, bảo em năm học tập nghiên cứu trường Cuối xin bày tỏ lịng biết ơn đến gia đình người bạn thân, đồng nghiệp giúp đỡ, động viên nhiều trình học tập làm luận văn Do lực kiến thức chun mơn cịn có phần hạn chế nên luận văn em thực chắn khơng tránh khỏi thiếu sót định, mong nhận thơng cảm ý kiến đóng góp thầy, cô giáo Em xin chân thành cảm ơn! Hà Nôi, ngày tháng năm 2018 Tác giả Phạm Anh Minh MỤC LỤC Lời cam đoan LỜI CẢM ƠN MỤC LỤC Danh mục ký hiệu chữ viết tắt Danh mục hình ảnh Danh mục bảng MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu 10 Tóm tắt nội dung 10 Tổng quan hệ gợi ý 12 1.1 Giới thiệu hệ gợi ý 12 1.2 Ứng dụng hệ gợi ý 12 1.3 Các phương pháp xây dựng hệ gợi ý 14 Các phương pháp xây dựng hệ gợi ý 16 2.1 Rating matrix 16 2.1.1 Khái niệm rating matrix 16 2.1.2 Xây dựng Rating Matrix 17 2.2 Content-based Recommendation Systems 18 2.2.1 Cơ sở lý thuyết 19 2.2.2 Ví dụ với tập liệu MovieLens 100k 27 2.2.3 Đánh giá mơ hình 31 2.3 Neighborhood-based Collaborative Filtering 33 2.3.1 Cơ sở lý thuyết 33 2.3.2 Ví dụ với tập liệu MovieLens 100k 43 2.3.3 Đánh giá mơ hình 45 Xây dựng ứng dụng thử nghiệm 47 3.1 Bài toán thử nghiệm 47 3.1.1 Mục tiêu thử nghiệm 47 3.1.2 Mơ tả tốn 47 3.2 Xây dựng hệ thống gợi ý 47 3.2.1 Thu thập liệu 48 3.2.2 Tiền xử lý liệu 49 3.2.3 Xây dựng rating matrix 54 3.2.4 Xây dựng mô hình gợi ý 55 3.3 3.4 Kiểm thử hệ thống 58 3.3.1 Phương pháp kiểm thử 58 3.3.2 Kết thử nghiệm 59 Đánh giá hệ thống thử nghiệm 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 62 TÀI LIỆU THAM KHẢO 64 Danh mục ký hiệu chữ viết tắt STT Chữ viết tắt Giải thích RS Recommendation System CBRS Content-based Recommendation System NBCF Neighborhood-based Collaborative Filtering 5 Danh mục hình ảnh Hình Hệ thống gợi ý sản phẩm Lazada 13 Hình Hệ thống gợi ý từ khóa tìm kiếm Google 14 Hình Gợi ý sản phẩm tìm kiếm nhiều Lazada 15 Danh mục bảng Rating matrix thể đánh giá người dùng với phim 17 Vector đặc trưng phim 20 Mô hình cần tối ưu cho người dùng 22 Rating matrix cho người dùng 10 sản phẩm 28 Vector hồ sơ sản phẩm cho 10 phim 29 Sai số tập liệu training test 31 Rating matrix sau điền thêm giá trị trung bình cộng 35 Rating matrix sau chuẩn hóa 36 Giá trị tương tự người dùng 38 Ma trận dự đoán độ quan tâm người dùng đến phim 40 Giá trị dự đoán phục hồi dạng ban đầu 41 Bảng dự đoán giá trị đánh giá 42 Sai số tập liệu test với k khác 44 Thông tin người dùng 48 Thông tin điện thoại sử dụng người dùng 49 Nghề nghiệp giá trị tương ứng 50 Sở thích giá trị tương ứng 50 Thuộc tính giá trị tuổi 51 Phân chia tuổi theo nhóm tuổi 51 Thông tin người dùng sau tiền xử lý 52 Thông tin sử dụng điện thoại người dùng sau chuẩn hoá 53 Hồ sơ người dùng người dùng 57 Vector đặc trưng người dùng 58 Sai số mơ hình trường hợp 59 Sai số mơ hình trường hợp 60 3.2.2.2 Rời rạc hóa liệu tuổi Trong tập liệu thu thập được, liệu tuổi dạng số nguyên có thuộc tính sau: Giá trị nhỏ 16 Giá trị lớn 62 Trung bình 28.65 Thuộc tính giá trị tuổi Do giá trị tuổi có khoảng phân bố rộng nên để giá trị mang ý nghĩa tổng quát hơn, ta cần thực rời rạc hóa tập liệu tuổi Ta nhận thấy, người dùng độ tuổi người trung niên có xu hướng lựa chọn gần giống người dùng độ tuổi khác thiếu niên hay người già, ta nghĩ đến việc rời rạc hóa việc chia giá trị tuổi người dùng vào khung độ tuổi khác nhau, sử dụng số thứ tự khung độ tuổi để thay cho độ tuổi thực tế người dùng Ta chia độ tuổi người dùng thành nhóm sau đây: STT Nhóm Tuổi Trẻ em Dưới 18 tuổi Trưởng thành Từ 18 đến 39 tuổi Trung niên Từ 40 đến 59 tuổi Cao tuổi Từ 60 tuổi trở lên Phân chia tuổi theo nhóm tuổi 51 3.2.2.3 Biến đổi giá trị thu nhập Như ta thấy giá trị thu nhập dạng số lại có giá trị độ dao động lớn với giá trị nhỏ giá trị lớn 35.000.000 Vì ta cần biến đổi giá trị thu nhập dạng nhỏ hơn, mang nhiều ý nghĩa Trong trường hợp ta lựa chọn cách chia thu nhập theo nhóm với khoảng cách nhóm 10 triệu đồng, ta có cơng thức để quy đổi mức thu nhập vào nhóm sau: Nhóm thu nhâp = x với x mức thu nhâp 10.000.000 Như trải qua bước 3.2.2.1, 3.2.2.2 3.2.2.3, giá trị bảng 14 chuyển đổi dạng số bảng 20 đây: Người dùng Giới tính Tuổi Nghề nghiệp Sở thích Thu nhập 1 1.5 2 3 3 0.7 0.8 5 0.6 Thông tin người dùng sau tiền xử lý 3.2.2.4 Chuẩn hóa liệu điện thoại người dùng Ta nhận thấy liệu điện thoại người dùng dạng thô với số chiều khác cho người dùng, ta cần đưa liệu dạng có số chiều 52 Công việc ta cần thực số hóa tên điện thoại cách thay tên điện thoại id Sau số hóa liệu tên điện thoại, cơng việc ta cần làm để đưa liệu số chiều tách liệu sử dụng người dùng điện thoại thành ghi nhỏ bao gồm thông tin sau:  Người dùng  Điện thoại  Thứ tự sử dụng  Thời gian sử dụng Như ta có ghi liệu người dùng với số chiều (bằng 4) Bảng 19 liệu sử dụng điện thoại người dùng sau chuẩn hóa Người dùng Điện thoại Thứ tự sử dụng Thời gian sử dụng 47 1 39 1 1 12 2 18 44 2 3 15 16 24 21 Thông tin sử dụng điện thoại người dùng sau chuẩn hoá 53 3.2.3 Xây dựng rating matrix Đối với hệ gợi ý việc xây dựng rating matrix khơng thể thiếu được, toán thử nghiệm cần xây dựng rating matrix từ liệu thu thập Đầu tiên rating matrix đề cập mục trước, rating matrix cho toán thử nghiệm có hàng sản phẩm cột người dùng Tuy nhiên cần tìm cơng thức để chuyển đổi thông tin từ điện thoại số năm sử dụng thành giá trị dạng số Đầu tiên thấy trường hợp lý tưởng vấn đề tiền bạc khơng quan trọng, thời gian sử dụng điện thoại dài chứng tỏ người dùng “u thích” điện thoại Nên ta giả sử mơ hình chuyển đổi dạng sau: Ym,n  wm,ntm,n (1) Trong đó: t m ,n : thời gian sử dụng người dùng n với điện thoại m wm,n : hệ số tương ứng cho điện thoại m người dùng n Tuy nhiên, mơ hình lại có vấn đề chưa thể mức độ yêu thích người dùng theo thứ tự điện thoại mà họ sử dụng Thơng thường, người dùng có xu hướng hài lịng với điện thoại họ sử dụng so với điện thoại trước Vì bổ sung thêm đại lượng thể trình tự sử dụng vào cơng thức (1): Ta có cơng thức sau: Ym ,n  wm ,nt m ,n  b Trong đó: b: số với b>1 54  c m ,n (2) cm,n : thứ tự sử dụng điện thoại n người dùng m với điện thoại sử dụng 0, trước 1, trước 2, … Cơng thức (2) cơng thức tổng qt mơ hình tốn, để đơn giản hóa ta lựa chọn wm,n = b=2 Như ta có cơng thức trường hợp đơn giản hóa là: Ym ,n  t m ,n 2  c m ,n (3) Một lưu ý, toán thử nghiệm nên việc chọn wm,n b đơn giản hoá Trong toán thực tế để lựa chọn giá trị tối ưu cho toán ta cần coi wm,n b với vector trọng số tương ứng cho sản phẩm wi biến số toán cần tối ưu Do việc lúc tìm giá trị tối ưu cho biến số khó khăn thường áp dụng biện pháp tối ưu biến số (đi tìm giá trị tối ưu cho biến số biến số lại cố định) 3.2.4 Xây dựng mơ hình gợi ý Có trường hợp xảy việc gợi ý cho người dùng cần mua điện thoại - Trường hợp 1: Hệ thống có thơng tin điện thoại di động mà người dùng sử dụng người dùng cung cấp - Trường hợp 2: Hệ thống chưa có thông tin điện thoại di động mà người dùng sử dụng, người dùng chưa có điện thoại khơng muốn cung cấp thơng tin điện thoại sử dụng Đối với trường hợp cần có hướng xử lý khác nhau, ta cần xây dựng phương pháp gợi ý khác cho trường hợp 3.2.4.1 Trường hợp có thơng tin điện thoại người dùng Trong trường này, để có độ xác cao tối ưu không gian nhớ thời gian tính tốn, ta áp dụng phương pháp NBCF dạng Itemitem collaborative filtering với giá trị k= 2, 10 55 Bởi phương pháp xây dựng mơ hình đề cập chi tiết phần trước nên không nhắc lại mà chuyển sang trường hợp thứ 3.2.4.2 Trường hợp chưa có thơng tin điện thoại người dùng Trong trường hợp này, khơng có thơng tin điện thoại người dùng nên ta khơng thể áp dụng mơ hình NBCF mà phải sử dụng mơ hình Content-based Recommendation System Một lần khơng có thơng tin điện thoại sử dụng người dùng nên việc xây mơ hình dựa hồ sơ sản phẩm (item’s profile) không khả thi, nên ta áp dụng mơ hình dựa hồ sơ người dùng (user’s profile) 3.2.4.2.1 Xác định đặc trưng người dùng Dựa thông tin thu thập người dùng, ta xác định đặc trưng người dùng bao gồm trường liên quan tới: giới tính, tuổi, thu nhập, nghề nghiệp sở thích Tuy nhiên cơng việc ta cần làm tìm phương pháp để đưa liệu thu thập dạng số cách hợp lý - Do liệu giới tính sau tiền xử lý dạng binary (dạng bao gồm giá trị 1) nên ta trực tiếp sử dụng giá trị đặc trưng người dùng - Tiếp theo, với liệu nghề nghiệp sở thích, liệu sau tiền xử lý liệu có dạng số, nhiên ta lại thấy giá trị dạng số đơn giản số thứ tự mà đặc trưng thơng qua giá tri Vì ta chọn cách đơn giản để thể đặc trưng xây dựng vector có số chiều tương ứng với số lượng giá trị liệu nghề nghiệp sở thích, có vị trí có giá trị tương ứng với trị lựa chọn người dùng vị trí cịn lại có giá trị Ví dụ, với liệu nghề nghiệp, ta có giá trị khác nhau, người dùng có nghề nghiệp nhân viên văn phòng giá trị thứ giá trị đó, ta có vector nghề nghiệp người dùng [0, 0, 1, 0, 0, 0] 56 - Đối với liệu tuổi thu nhập, thấy giá trị sau tiền xử lý thể đặc trưng người dùng, ta không biến đổi thêm mà sử dụng giá trị sau tiền xử lý để làm giá trị đặc trưng người dùng Như ta có phương pháp xây dựng hồ sơ người dùng, áp dụng cho người dùng thu thập trên, ta có bảng Người dùng Giới tính Tuổi Nghề nghiệp Sở thích Thu nhập 1 [0, 0, 1, 0, 0, 0] [0, 0, 0, 1, 0, 0, 0] 1.5 2 [0, 0, 1, 0, 0, 0] [0, 0, 1, 0, 0, 0, 0] [1, 0, 0, 0, 0, 0] [0, 0, 1, 0, 0, 0, 0] 0.7 [0, 0, 1, 0, 0, 0] [0, 1, 0, 0, 0, 0, 0] 0.8 [0, 0, 0, 0, 0, 5] [0, 0, 0, 0, 1, 0, 0] 0.6 Hồ sơ người dùng người dùng Sau có hồ sơ người dùng, ta xây dựng vector đặc trưng người dùng cách ghép giá trị vector hồ sơ người dùng lại, ta có vector đặc trưng người dùng sau: 57 Người dùng Vector đặc trưng [1, 2, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1.5] [0, 2, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 2.0] [0, 2, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0.7] [1, 2, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0.8] [1, 2, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 1, 0, 0, 0.6] Vector đặc trưng người dùng 3.2.4.2.2 Mơ hình gợi ý Như nói từ trước, trường hợp khơng có thơng tin điện thoại người dùng sử dụng ta áp dụng phương pháp Content-based Recommendation System dựa hồ sơ người dùng (user’s profile) Vì sau xây dựng xong rating matrix vector đặc trưng người dùng ta áp dụng mơ hình gợi ý xây dựng mục 2.2.1.2 để thực việc gợi ý điện thoại cho người dùng 3.3 Kiểm thử hệ thống 3.3.1 Phương pháp kiểm thử Để kiểm thử đánh giá mô hình xây dựng trên, ta tách tập liệu thu thập thành phần: - Phần 1: liệu training gồm 80% (tương ứng với 135 ghi thông tin sử dụng điện thoại người dùng) liệu thu thập - Phần 2: liệu test bao gồm 20% (tương ứng với 33 ghi) liệu thu thập Trong tập liệu test lại chia thành phần: 58 o Dữ liệu test cho trường hợp - trường hợp có thơng tin điện thoại người dùng, bao gồm 18 ghi Yêu cầu liệu người dùng phải thông tin điện thoại sử dụng trở lên o Dữ liệu cho trường hợp – trường hợp chưa có thơng tin điện thoại người dùng với 15 ghi Đối với liệu test này, ta tách thông tin điện thoại mà người dùng sử dụng dùng phần liệu lại để làm đầu vào cho việc dự đốn, sau so sánh kết dự đoán hệ thống giá trị rating matrix người dùng ứng với điện thoại sử dụng giá trị thực tế để làm kiểm thử độ xác mơ hình Phương pháp đánh giá độ xác mơ hình giữ ngun so với ví dụ trước, tính sai số trung bình việc dự đốn, sai số nhỏ kết dự đốn xác 3.3.2 Kết thử nghiệm a) Trường hợp 1: có thơng tin điện thoại người dùng Do trường hợp ta sử dụng phương pháp NBCF nên độ xác việc dự đốn phụ thuộc vào việc lựa chọn giá trị k, ta thực thử nghiệm đánh giá độ xác với giá trị k 2, 5, 10 để từ chọn giá trị k phù hợp Kết với giá trị k chọn thể bảng sau: K Sai số 0.304 0.303 10 0.303 Sai số mơ hình trường hợp 59 Từ kết bảng 24, ta thấy giá trị k=5 cho kết tối ưu ta chọn giá trị để xây dựng mô hình dự đốn Ngồi ta lại thấy kết thú vị tăng k từ lên 10 sai số lại khơng đổi, ngun nhân dẫn tới kết tập liệu thu thập cịn nhỏ số lượng ‘hàng xóm’ sản phẩm (ở điện thoại) cịn ít, nên khơng thể chọn đủ số lượng ‘hàm xóm’ tương ứng với k, tăng giá trị k không làm thay đổi kết Ngoài kết cho thấy phương pháp Neighborhood-based Collaborative Filtering cho kết xác so với phương pháp Content-based Recommendation System, mà ta nhận định chương b) Trường hợp 2: chưa có thơng tin điện thoại người dùng Với mơ hình xây dựng mục 3.2.4.2, ta có kết sau: Dữ liệu Sai số Training dataset 0.047 Test dataset 0.519 Sai số mơ hình trường hợp Trong trường hợp này, sai số tập liệu training nhỏ (0.047), nhiên sai số tập liệu test lại lớn nhiều (0.519) Như ta dự đốn, trường hợp xảy tượng Overfitting (mơ hình tìm khớp với liệu training lại không cho kết tốt tập test) Điều dễ hiểu tập liệu thu thập cịn nhỏ nên chư thể đảm bảo tính bao qt mơ hình Như thêm lần nữa, ta lại thấy tầm quan trọng liệu hệ gợi ý Trong trường hợp, liệu định trực tiếp đến tính xác mơ 60 hình dự đốn, từ định tính xác kết dự đốn tồn hệ thống Vì ta nói có nhiều liệu hệ gợi ý hoạt động xác 3.4 Đánh giá hệ thống thử nghiệm Từ kết kiểm thử, ta có số đánh giá sau hệ thống thử nghiệm xây dựng được: - Sai số dự đốn cịn lớn trường hợp - Tập liệu thu thập nhỏ chưa thể đảm bảo tính xác độ bao quát mơ hình - Việc xây dựng rating matrix cịn dựa giả sử thời gian sử dụng điện thoại tỉ lệ thuận với mức độ yêu thích người dùng điện thoại đó, trong thực tế có nhiều trường hợp người dùng bắt buộc phải sử dụng điện thoại khơng có đủ điều kiện để sử dụng điện thoại đại hơn, đắt tiền 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong luận văn tơi trình bày ứng dụng phương pháp xây dựng hệ gợi ý nói chung Đồng thời phân tích, xây dựng mơ hình đưa ví dụ cụ thể phương pháp Content-based Recommendation Systems Neighborhood-based Collaborative Filtering, để từ so sánh rút ưu nhược điểm phương pháp Và dựa sở phương pháp nói tơi đề xuất mơ hình xây dựng ứng dụng thử nghiệm gợi ý mua điện thoại smartphone cho người dùng Việc xây dựng hệ gợi ý có khả nâng ứng dụng vào thương mại điện tử thực tế cơng việc khó khăn, yêu cầu cao học thuật biện pháp tối ưu nghiệp vụ Vì luận văn đề cập đến tất vấn đề nêu trên, nhiên hi vọng luận văn giúp làm quen có nhìn rõ nét phương pháp xây dựng hệ gợi ý nói chung hệ gợi ý cho trang thương mại điện tử nói riêng Kết luận văn làm sở tham khảo việc xây dựng hệ thống gợi ý trang thương mại điện tử lĩnh vực giải trí, giáo dục hay mạng xã hội… Hướng phát triển Để xây dựng hệ gợi ý với độ xác cao tiết kiệm không gian nhớ thời gian tính tốn để áp dụng vào thực tế, ta cần phải: - Tiếp tục nghiên cứu cải thiện mơ hình dự đốn việc áp dụng giải thuật hồi quy (regression) phân loại (classification) với độ xác cao so với giải thuật hồi quy tuyến tính (linear regression) k-nearest neighbor nêu luận văn - Tiếp tục nghiên cứu phương pháp trích rút đặc trưng phục vụ cho việc xây dựng hồ sơ người dùng hiệu 62 - Hồn thiện mơ hình gợi ý việc áp dụng phương pháp coi giá trị wm,n b công thức xây dựng rating matrix biến số nhằm nâng cao độ xác mơ hình gợi ý, đồng thời nghiên cứu thêm đặc trưng khác đại diện cho mức độ yêu thích người dùng điện thoại để giá trị rating matrix có ý nghĩa - Xây dựng phương pháp tự động thu thập thông tin người dùng từ nguồn khác facebook hay hồ sơ trang mạng xã hội hay thương mại điện tử có để thay cho việc thu thập liệu khảo sát trực tiếp cách thủ công tốn thời gian không phù hợp thực tế Luận văn hoàn thành nội dung yêu cầu mục tiêu đề ban đầu Tuy nhiên thời gian có hạn hạn chế kiến thức kinh nghiệm thân nên tránh khỏi thiếu sót hạn chế luận văn Trong tương lai, điều kiện cho phép tiếp tục nghiên cứu, phát triển hồn thiện tốn luận văn, củng cố thêm kiến thức kĩ nâng để xây dựng hệ gợi ý có khả áp dụng vào thực tế sống 63 TÀI LIỆU THAM KHẢO Francesco Ricci, Lior Rokach and Bracha Shapira (2011), Recommender Systems Handbook, chapter 1, pp 1-35 Lazada https://lazada.vn/ Spotify https://www.spotify.com/ Netflix https://www.netflix.com/ Youtube https://youtube.com/ Google https://google.com/ Alice Zheng and Amanda Casari (2018), Feature Engineering for Machine Learning: Principles and Techniques for Data Scientists 1st Edition, chapter 3-6, pp 41114 Stanford InfoLab, Recommendation Systems, chapter 9, pp 307-341: http://infolab.stanford.edu/~ullman/mmds/ch9.pdf, Truy cập lần cuối ngày 15/9/2018 Tim Jones, Recommender systems, IBM Developer Document, part 1: https://www.ibm.com/developerworks/library/os-recommender1 Truy cập lần cuối 15/9/2018 10 Sebastian Raschka (2015), Python Machine Learning, chapter 1-3, pp 1-96 11 Tom Mitchell (1997), Machine Learning, chapter 8.2, pp 231-236 12 Toby Segaran (2007), Programming Collective Intelligence, chapter 2, pp 7-27 13 Shai Shalev-Shwartz and Shai Ben-David (2014), Understanding Machine Learning: From Theory to Algorithms, chapter 9, pp 117-129 14 Grouplens (1998), “Movielens 100K dataset”, https://grouplens.org/datasets/movielens/100k/, Truy cập lần cuối ngày 15/9/2018 64 15 Michael D Ekstrand, John T Riedl, and Joseph A Konstan (2011), “Collaborative Filtering Recommender Systems”, Foundations and Trends® in HumanComputer Interaction vol issue 2, chapter 2, pp 88–113 65 ... 10 Tổng quan hệ gợi ý 12 1.1 Giới thiệu hệ gợi ý 12 1.2 Ứng dụng hệ gợi ý 12 1.3 Các phương pháp xây dựng hệ gợi ý 14 Các phương pháp xây dựng hệ gợi ý 16... quan hệ gợi ý Nội dung chương bao gồm: Định nghĩa khái niệm hệ gợi ý; ứng dụng hệ gợi ý thực tế; Giới thiệu phần loại phương pháp xây dựng hệ gợi ý 10 Chương 2: Các phương pháp xây dựng hệ gợi ý. .. quát hệ gợi ý - Nghiên cứu thuật toán phương pháp xây dựng hệ gợi ý - So sánh đánh giá ưu nhược điểm phương pháp xây dựng hệ gợi ý - Xây dựng ứng dụng thử nghiệm hệ gợi ý phục vụ cho mục đích gợi