Đang tải... (xem toàn văn)
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LƯƠNG THANH THUẬN ỨNG DỤNG HỌC MÁY TRONG HỆ GỢI Ý LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Bình Định Năm 2020 e BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN[.]
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LƯƠNG THANH THUẬN ỨNG DỤNG HỌC MÁY TRONG HỆ GỢI Ý LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Bình Định - Năm 2020 e BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LƯƠNG THANH THUẬN ỨNG DỤNG HỌC MÁY TRONG HỆ GỢI Ý Chuyên ngành : Khoa học máy tính Mã số : 08 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN: TS LÊ QUANG HÙNG Bình Định - Năm 2020 e Lời cam đoan Tôi xin cam đoan luận văn kết nghiên cứu tôi, thực hướng dẫn TS Lê Quang Hùng Các nội dung trích dẫn từ nghiên cứu tác giả khác mà tơi trình bày luận văn ghi rõ nguồn phần tài liệu tham khảo i e Tóm tắt Hệ gợi ý (RS ) định nghĩa dạng hệ gợi ý lọc thông tin để đưa sản phẩm1 , dịch vụ người dùng quan tâm Đến thời điểm này, hệ gợi ý ứng dụng rộng rãi lĩnh vực mua sắm trực tuyến, đọc tin tức, âm nhạc, du lịch, xem phim, mạng xã hội (ví dụ: Amazon, Yahoo! Today News, Last.fm, Tripadvisor, Netflix, Facebook) Các hướng tiếp cận xây dựng hệ gợi ý chia thành ba loại: (i) hướng tiếp cận lọc cộng tác, (ii) hướng tiếp cận dựa nội dung (iii) hướng tiếp cận kết hợp lọc cộng tác với dựa nội dung Các thuật toán dựa nội dung khai thác thuộc tính sản phẩm, xác định đặc điểm chung sản phẩm người dùng quan tâm, từ gợi ý cho người dùng sản phẩm có đặc điểm tương tự Trong thuật tốn dựa lọc cộng tác khai thác liệu sở thích người dùng khứ tương đồng người dùng sản phẩm để đưa gợi ý Cách tiếp cận lai kết hợp lọc dựa nội dung lọc cộng tác Sự kết hợp thực theo nhiều cách khác nhau: (i) cài đặt lọc cộng tác dựa nội dung độc lập sau tổng hợp kết dự đốn; (ii) tích hợp số đặc điểm cách tiếp cận dựa nội dung vào lọc cộng tác; (iii) tích hợp số đặc điểm lọc cộng tác vào cách tiếp cận dựa nội dung; (iv) xây dựng mô hình hợp nhất, tích hợp hai cách tiếp cận Các nghiên cứu hệ gợi ý tập trung vào hai hướng Thứ nhất, kỹ thuật, phương pháp nâng cao chất lượng gợi ý (ví dụ: giải vấn đề người dùng sử dụng kỹ thuật phân rã ma trận Thứ hai, xây dựng hệ gợi ý miền ứng dụng cụ thể (ví dụ: hệ gợi ý dự đoán kết gợi ý lựa chọn môn học, hệ gợi ý sản phẩm bán hàng trực tuyến Dữ liệu thưa (data sparsity) vấn đề thách thức hệ gợi ý Việc xác định nhóm người dùng có "sở thích" tương tự giải pháp xử lý vấn đề Trong luận văn này, nghiên cứu ứng dụng học máy hệ gợi ý để xác định nhóm người dùng có "sở thích" tương tự Thực nghiệm tiến hành với thuật toán k-Means, Naive Bayes Chúng sử dụng thuật ngữ "sản phẩm" để đối tượng (sản phẩm, dịch vụ tin tức, luận văn, mẫu tin quảng cáo) người dùng quan tâm, đánh giá hệ gợi ý e liệu MovieLen10M, MovieLen20M cho thấy hiệu cách tiếp cận so với hệ gợi ý State-of-the-art Từ khóa: Hệ gợi ý, học máy, phân cụm, phân lớp, k-Means, Naive Bayes iii e Lời cảm ơn Trong q trình nghiên cứu hồn thành luận văn, học viên nhận định hướng, giúp đỡ, ý kiến đóng góp quý báu lời động viên thầy cô giáo, đồng nghiệp gia đình Trước hết, tơi xin chân thành bày tỏ lời cảm ơn tới thầy TS Lê Quang Hùng, Lê Thị Xinh tận tình hướng dẫn giúp đỡ q trình nghiên cứu Tơi xin chân thành cảm ơn Phòng sau đại học, quý thầy cô giáo Khoa Công nghệ thông tin tạo kiện thuận lợi để tơi hồn thành nhiệm vụ nghiên cứu Tôi xin bày tỏ lời cảm ơn tới đồng nghiệp, gia đình, bạn bè ln động viên, chia sẻ, ủng hộ giúp đỡ để tơi vượt qua khó khăn để đạt kết nghiên cứu luận văn Luận văn sản phẩm đề tài Khoa học Công nghệ: "Nghiên cứu ứng dụng học máy tích hợp thông tin ngữ cảnh hệ gợi ý du lịch", mã số B2020-DQN-08 (Bộ Giáo dục Đào tạo) iv e Mục lục Lời cam đoan i Tóm tắt ii Lời cảm ơn iv Danh mục chữ viết tắt vii Danh mục hình vẽ viii Danh mục bảng ix Mở đầu 1 TỔNG QUAN 1.1 Hệ gợi ý 1.1.1 Giới thiệu 1.1.2 Phát biểu toán 1.1.3 Các cách tiếp cận hệ gợi 1.1.3.1 Dựa nội dung 1.1.3.2 Lọc cộng tác 1.1.3.3 Kết hợp 1.1.4 Chức hệ gợi ý 1.1.5 Ứng dụng hệ gợi ý 1.2 Sơ lược học máy 1.2.1 Khái niệm 1.2.1.1 Nhiệm vụ T 1.2.1.2 Phép đánh giá P 1.2.1.3 Kinh nghiệm E 1.2.2 Các phương pháp học máy v e ý 3 10 11 13 15 15 15 16 16 17 17 17 18 18 19 19 ỨNG DỤNG HỌC MÁY TRONG HỆ GỢI Ý 2.1 Mơ hình hệ gợi ý 2.2 Thuật toán Naive Bayes 2.3 Thuật toán k -Means 2.4 Ứng dụng số phương pháp học máy hệ gợi ý 2.4.1 Phân cụm liệu hệ gợi ý 2.4.2 Phân lớp liệu hệ gợi ý 2.5 Tổng kết chương 20 20 21 22 23 25 26 27 1.3 1.4 1.2.2.1 Học có giám sát 1.2.2.2 Học khơng giám sát 1.2.2.3 Học bán giám sát 1.2.2.4 Học tăng cường Nghiên cứu liên quan Tổng kết chương THỰC NGHIỆM 29 3.1 Cài đặt thực nghiệm 29 3.2 Kết thực nghiệm 31 3.3 Tổng kết chương 33 Kết luận 34 vi e Danh mục chữ viết tắt RS Recommender Systems (Hệ gợi ý) SVM Support Vector Machines (Hỗ trợ véc tơ học máy) CF Collaborative Filtering (Lọc cộng tác) CBF Content - Based Filtering (Lọc nội dung) BMF Biased Matrix Factorization (Phân rã ma trận thiên vị) K-NN K - Nearest Neighbor (K-Láng giềng gần nhất) RMSE Root Mean Square Error (Căn bậc hai sai số bình phương trung bình) MAE Mean Absolute Error (Sai số trung bình tuyệt đối) ML Machine Learning (Học máy) IR Information Retrieval (Truy xuất thông tin) IF Information Filtering (Lọc thông tin) UL Unsupervised Learning (Học không giám sát) SL Supervised Learning (Học có giám sát) RL Reinforcement Learning (Học tăng cường) vii e Danh sách hình vẽ 1.1 1.2 1.3 1.4 Ma trận biểu diễn liệu hệ gợi ý Kỹ thuật lọc dựa nội dung Kỹ thuật lọc dựa cộng tác Kết hợp đầu vào và/hoặc thành phần 2.1 2.2 2.3 Mơ hình tương tác người dùng hệ gợi ý 21 Ví dụ với ba cụm liệu không gian hai chiều 23 Mô hình ứng dụng học máy hệ gợi ý 24 3.1 3.2 3.3 Định dạng liệu thuật toán k-Means Định dạng liệu thuật toán Naive Bayes So sánh thuật toán liệu MovieLen10M (Baseline: State of the art) So sánh thuật toán liệu MovieLen20M (Baseline: State of the art) Kết hiển thị top - 10 hệ gợi ý baseline Kết hiển thị top - 10 hệ gợi ý ứng dụng thuật toán k-Means Kết hiển thị top - 10 hệ gợi ý ứng dụng thuật toán Naive Bayes 3.4 3.5 3.6 3.7 viii e khác 11 30 30 31 31 32 32 33 ... cứu luận văn, bao gồm: hệ gợi ý tổng quan học máy Chương Ứng dụng học máy hệ gợi ý - Trình bày mơ hình hệ gợi ý, thuật tốn k-Means, thuật toán Naive Bayes ứng dụng số phương pháp học máy hệ gợi. .. học máy; Thứ hai, nghiên cứu ứng dụng học máy hệ gợi ý Đóng góp luận văn Những đóng góp luận văn là: Thứ nhất, đề xuất mơ hình ứng dụng học máy hệ gợi ý; Thứ hai, xây dựng thuật toán ứng dụng. .. DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LƯƠNG THANH THUẬN ỨNG DỤNG HỌC MÁY TRONG HỆ GỢI Ý Chuyên ngành : Khoa học máy tính Mã số : 08 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN: