Hệ gới ý với phân rã ma trận poisson và dropout

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN ĐỨC ANH NGUYỄN ĐỨC ANH HỆ THỐNG THÔNG TIN HỆ GỢI Ý VỚI PHÂN RÃ MA TRẬN POISSON VÀ DROPOUT LUẬN VĂN THẠC SĨ KHOA HỌC Hệ thống thông tin 2017A Hà Nội – Năm 2018 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057204843341000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN ĐỨC ANH HỆ GỢI Ý VỚI PHÂN RÃ MA TRẬN POISSON VÀ DROPOUT Chuyên ngành : Hệ thống thông tin LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Thân Quang Khoát Hà Nội – Năm 2018 Lời cảm ơn Đầu tiên, xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội, đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thông Đồng thời xin gửi lời cảm ơn đặc biệt đến TS Thân Quang Khốt, ThS Ngơ Văn Linh, PGS.TS Nguyễn Thị Kim Anh Các thầy cô người dẫn tận tình, cho tơi kinh nghiệm q báu để hồn thành luận văn Tơi xin gửi lời cảm ơn tới gia đình Sự sát cánh động viên tinh thần từ gia đình ln động lực để tơi tiến lên phía trước Lời cam đoan Tôi - Nguyễn Đức Anh - cam kết luận văn cơng trình nghiên cứu thân hướng dẫn TS Thân Quang Khoát Các kết nêu luân vặn trung thực, chép cơng trình cơng bố khác Tất trích dẫn tham chiếu rõ ràng Hà Nội, ngày tháng năm 2018 Tác giả luận văn Nguyễn Đức Anh Xác nhận người hướng dẫn Tóm tắt Hiện tốn gợi ý ngày trở thành vấn đề quan trọng, mục tiêu thu hút người dùng nhằm thúc đẩy tương tác với hệ thống Tuy nhiên có vấn đề mà nghiên cứu ý tới, độ dài thơng tin sản phẩm Người dùng thường tiếp xúc với sản phẩm trước tiên mơ tả tóm tắt danh mục, tiêu đề mặt hàng hay báo thay tồn nội dung sản phẩm, hay nói cách khác, sản phẩm thường đưa tới người dùng ban đầu mô tả ngắn Mặc dù vấn đề khai thác thông tin mô tả ngắn không đề dễ dàng Chính vậy, luận văn đề cập tới vấn đề gợi ý sản phẩm mô tả ngắn đề xuất mơ hình học Poisson Matrix Factorization using Word Embedding Prior (PFEP) Ý tưởng sử dụng phân rã ma trận Poisson để mơ hình hóa tương tác rời rạc sử dụng tri thức tiên nghiệm từ biểu diễn nhúng từ để làm giàu thông tin cho biểu diễn sản phẩm Bên cạnh chúng tơi đề xuất thuật tốn học cho mơ hình với kết hợp kĩ thuật dropout để tăng khả dự đoán tổng qt hóa Những thí nghiệm liệu thử nghiệm mơ hình PFEP có chất lượng tốt phần lớn trường hợp so sánh với số mơ hình gợi ý Abstract Recently, recommendation plays an important role in systems, and one of its tasks is to attract user’s impression to increase user-system interactions However, there is a lack of concern about the length of item descriptions in most of the studies The users usually interact with items firstly by short text descriptions such as category and title of products or news In other words, items are provided to users firstly by their short descriptions Nonetheless, exploiting information from those short data is a challenging problem Therefore, this thesis focuses on the problem of recommendation for short item descriptions by proposing a new model called Matrix Factorization using Word Embedding Prior (PFEP) with the idea of using Poisson matrix factorization to model discrete user’s interactions and utilizing word embedding prior to enrich information to item representation In addition, we propose a learning algorithm for the model using the dropout technique to improve the predictive capacity and the generalization of the model The experimental results have shown that PFEP has higher quality in comparison with some state-of-the-art recommendation models in most cases Mục lục Lời cảm ơn Lời cam đoan Tóm tắt Abstract Danh sách thuật ngữ Danh sách ký hiệu Danh sách hình vẽ 10 Danh sách bảng 11 Tổng quan 12 Cơ sở lý thuyết 16 2.1 Mô hình đồ thị 16 2.2 Suy diễn biến phân 17 2.3 Một số phân phối xác suất phổ biến 18 2.3.1 Phân phối Gauss 18 2.3.2 Phân phối Poisson 19 2.3.3 Phân phối Gamma 19 2.3.4 Phân phối Multinomial 21 Phân rã ma trận 21 2.4.1 Tổng quan phân rã ma trận 21 2.4.2 Phân rã ma trận phương pháp Gaussian 23 2.4.3 Phân rã ma trận phương pháp Poisson 24 2.5 Dropout 26 2.6 Tri thức tiên nghiệm 27 2.4 Các nghiên cứu liên quan 3.1 29 Một số mơ hình gợi ý 29 3.1.1 Mô hình gợi ý dùng rã ma trận Gaussian dùng trọng số - WMF 29 3.1.2 Mơ hình gợi ý dùng phân rã ma trận Poisson phân cấp - HPF 30 3.1.3 Mơ hình gợi ý dùng phân rã ma trận Poisson kết hợp nội dung - CTMP 34 Nghiên cứu sử dụng tri thức tiên nghiệm mô hình xác suất 36 3.2 Mơ hình đề xuất 38 4.1 Mơ hình sinh 38 4.2 Học mô hình 40 4.2.1 Thuật toán học gradient ascent cho PFEP 40 4.2.2 Thuật thoán học loại bỏ PFEP-Dropout 44 Phân tích mơ hình 47 4.3 Thử nghiệm đánh giá 5.1 5.2 5.3 49 Thử nghiệm 49 5.1.1 Dữ liệu 49 5.1.2 Các phương pháp đối sánh 50 5.1.3 Độ đo đánh giá 50 5.1.4 Kịch thử nghiệm 50 5.1.5 Cài đặt 50 Kết đánh giá 51 5.2.1 Gợi ý với sản phẩm mô tả ngắn 51 5.2.2 Gợi ý với sản phẩm mô tả thông thường 51 Sự phụ thuộc vào siêu tham số 53 5.3.1 Sự phụ thuộc vào tỉ lệ loại bỏ dr 54 5.3.2 Sự phụ thuộc vào λ 55 5.3.3 Sự phụ thuộc vào K 56 Kết luận 57 Tài liệu tham khảo 58 Phụ lục 61 A Chi tiết bảng kết 61 Danh sách thuật ngữ PFEP Poisson Matrix Factorization using Word Embedding Prior WMF Weighted Matrix Factorization HPF Hierarchical Poisson Factorization Factorization Phân rã Mạng Neuron Mạng thần kinh Feedforward Truyền thẳng Ensemble (learning) (Học) kết hợp Multinomial Phân phối đa thức Dropout Loại bỏ Prior Tiên nghiệm Word Embedding Từ nhúng (biểu diễn nhúng) Variational Inference Suy diễn biến phân Variational distribution Phân phối biến phân Danh sách ký hiệu U Số lượng người dùng I Số lượng sản phẩm K Số chiều thuộc tính ẩn V Kích thước từ vựng R Ma trận tương tác người dùng sản phẩm rui Giá trị tương tác người dùng u sản phẩm i E Ma trận vector biểu diễn nhúng từ θ Ma trận thuộc tính người dùng θu Vector cột biểu diễn thuộc tính người dùng u β Ma trận thuộc tính sản phẩm βi Vector cột biểu diễn thuộc tính sản phẩm i