Hệ gợi ý

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI PHẠM ANH MINH Phạm Anh Minh CÔNG NGHỆ THÔNG TIN HỆ GỢI Ý LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN 2015B Hà Nội – Năm 2018 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057205253561000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Phạm Anh Minh HỆ GỢI Ý Chuyên ngành : Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS LÊ THANH HƯƠNG Hà Nội – Năm 2018 Lời cam đoan Tôi xin cam đoan: Luận văn thạc sĩ Công nghệ thông tin với đề tài: “Hệ gợi ý” cơng trình nghiên cứu thật cá nhân hướng dẫn PGS TS Lê Thanh Hương Các kết nêu luận văn trung thực chưa công bố cơng trình khác Tơi xin chịu trách nhiệm lời cam đoan Hà Nôi, ngày tháng năm 2018 Tác giả Phạm Anh Minh LỜI CẢM ƠN Sau nhiều tháng tìm hiểu, nghiên cứu, với dạy nhiệt tình thầy giáo hướng dẫn tơi hồn thành luận văn tốt nghiệp Trước hết em xin chân thành cảm ơn thầy giáo PGS TS Lê Thanh Hương - Viện Công nghệ thông tin Truyền thông – Đại học Bách khoa Hà Nội, người trực tiếp hướng dẫn, nhận xét, nhắc nhở, giúp đỡ em suốt trình thực luận văn Em xin chân thành cảm ơn thầy, cô Viện Công nghệ thông tin Truyền thông, Viện đào tạo sau đại học thầy cô trường Đại học Bách khoa Hà Nội, người dạy dỗ, bảo em năm học tập nghiên cứu trường Cuối xin bày tỏ lịng biết ơn đến gia đình người bạn thân, đồng nghiệp giúp đỡ, động viên nhiều trình học tập làm luận văn Do lực kiến thức chun mơn cịn có phần hạn chế nên luận văn em thực chắn khơng tránh khỏi thiếu sót định, mong nhận thơng cảm ý kiến đóng góp thầy, cô giáo Em xin chân thành cảm ơn! Hà Nôi, ngày tháng năm 2018 Tác giả Phạm Anh Minh MỤC LỤC Lời cam đoan LỜI CẢM ƠN MỤC LỤC Danh mục ký hiệu chữ viết tắt Danh mục hình ảnh Danh mục bảng MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu 10 Tóm tắt nội dung 10 Tổng quan hệ gợi ý 12 1.1 Giới thiệu hệ gợi ý 12 1.2 Ứng dụng hệ gợi ý 12 1.3 Các phương pháp xây dựng hệ gợi ý 14 Các phương pháp xây dựng hệ gợi ý 16 2.1 Rating matrix 16 2.1.1 Khái niệm rating matrix 16 2.1.2 Xây dựng Rating Matrix 17 2.2 Content-based Recommendation Systems 18 2.2.1 Cơ sở lý thuyết 19 2.2.2 Ví dụ với tập liệu MovieLens 100k 27 2.2.3 Đánh giá mơ hình 31 2.3 Neighborhood-based Collaborative Filtering 33 2.3.1 Cơ sở lý thuyết 33 2.3.2 Ví dụ với tập liệu MovieLens 100k 43 2.3.3 Đánh giá mơ hình 45 Xây dựng ứng dụng thử nghiệm 47 3.1 Bài toán thử nghiệm 47 3.1.1 Mục tiêu thử nghiệm 47 3.1.2 Mơ tả tốn 47 3.2 Xây dựng hệ thống gợi ý 47 3.2.1 Thu thập liệu 48 3.2.2 Tiền xử lý liệu 49 3.2.3 Xây dựng rating matrix 54 3.2.4 Xây dựng mô hình gợi ý 55 3.3 3.4 Kiểm thử hệ thống 58 3.3.1 Phương pháp kiểm thử 58 3.3.2 Kết thử nghiệm 59 Đánh giá hệ thống thử nghiệm 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 62 TÀI LIỆU THAM KHẢO 64 Danh mục ký hiệu chữ viết tắt STT Chữ viết tắt Giải thích RS Recommendation System CBRS Content-based Recommendation System NBCF Neighborhood-based Collaborative Filtering 5 Danh mục hình ảnh Hình Hệ thống gợi ý sản phẩm Lazada 13 Hình Hệ thống gợi ý từ khóa tìm kiếm Google 14 Hình Gợi ý sản phẩm tìm kiếm nhiều Lazada 15 Danh mục bảng Rating matrix thể đánh giá người dùng với phim 17 Vector đặc trưng phim 20 Mơ hình cần tối ưu cho người dùng 22 Rating matrix cho người dùng 10 sản phẩm 28 Vector hồ sơ sản phẩm cho 10 phim 29 Sai số tập liệu training test 31 Rating matrix sau điền thêm giá trị trung bình cộng 35 Rating matrix sau chuẩn hóa 36 Giá trị tương tự người dùng 38 Ma trận dự đoán độ quan tâm người dùng đến phim 40 Giá trị dự đoán phục hồi dạng ban đầu 41 Bảng dự đoán giá trị đánh giá 42 Sai số tập liệu test với k khác 44 Thông tin người dùng 48 Thông tin điện thoại sử dụng người dùng 49 Nghề nghiệp giá trị tương ứng 50 Sở thích giá trị tương ứng 50 Thuộc tính giá trị tuổi 51 Phân chia tuổi theo nhóm tuổi 51 Thông tin người dùng sau tiền xử lý 52 Thông tin sử dụng điện thoại người dùng sau chuẩn hoá 53 Hồ sơ người dùng người dùng 57 Vector đặc trưng người dùng 58 Sai số mơ hình trường hợp 59 Sai số mơ hình trường hợp 60