TRƯỜ Ạ Ọ ỘNG Đ I H C BÁCH KHOA HÀ N I LUẬN VĂN THẠC SĨ Ứ ụng phương pháp họ ế ợng d c sâu k t h p đồ ị ức để phân tích hành vi ngườ th tri th i dùng trên m ng xã h iạ ộ NGUYỄN TIẾN ĐỒNG dong nt141083@[.]
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng mạng xã hội NGUYỄN TIẾN ĐỒNG dong.nt141083@sis.hust.edu.vn Ngành Hệ thống thông tin PGS TS Phạm Văn Hải Viện: Chữ ký GVHD Công nghệ thông tin truyền thông HÀ NỘI, 10/2020 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061132203581000000 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Tiến Đồng Đề tài luận văn: Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng mạng xã hội Chuyên ngành: Hệ thống thông tin Mã số SV: CBC19014 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 31/10/2020 với nội dung sau: Lỗi trình bày luận văn STT Yêu cầu hội đồng Nội dung chỉnh sửa Vị trí chỉnh sửa Sửa lỗi Đã rà sốt lại, đồng Chỉnh sửa tả lạm khái niệm tiếng việt, tiếng anh toàn dụng tiếng anh sửa lỗi tả luận văn Cắt giảm đầu mục lý thuyết Trình bày lý liên quan đến luận văn: Bỏ thuyết dài phần giao dịch nội gián, random Chương walk, deep walk, node2vec Tham chiếu tài liệu tham khảo Bổ sung giải thích rõ nội dung GraphRec HageRec từ tài liệu tham khảo Trang 17,18 phần nghiên cứu liên quan Sửa thích bổ sung tham Bổ sung nguồn tham chiếu hình ảnh từ 2.1 đến 2.8 chiếu hình ảnh Trang 27, 29, 34, 35, 36, 38, 41 Bổ sung nội dung luận văn STT Yêu cầu hội đồng Nội dung chỉnh sửa Vị trí chỉnh sửa 1.4 Đóng góp Mơ tả đóng góp Trình bày đóng góp nghiên chính luận văn cứu – Trang 21 Đánh giá việc kết tăng chút có ý nghĩa hay khơng? Bổ sung biểu đồ tỷ lệ cải thiện kết qua mơ hình So sánh với tỷ lệ mơ hình GraphRec 4.4.1 Tổng quan – Trang 55 Bổ sung so sánh thời gian Đánh giá hiệu tính tốn huấn luyện thời gian chạy 4.4.5 Các mơ hình cặp liệu thơng số khác với GraphRec khả phù – Trang 60 hợp với thực tế Trình bày điểm chưa tốt mơ hình Bổ sung nội dung trình bày điểm yếu bao gồm sinh liệu mạng xã hội ngẫu nhiên liệu MovieLen 5.2 Điểm cần khắc phục – Trang 64 Giải trình tên đề tài Yêu cầu hội đồng: Nội dung đề tài liên quan đến khuyến nghị sản phẩm cho người dùng khác với tên đề tài phân tích hành vi người dùng mạng xã hội Nội dung chỉnh sửa: phân tích hành vi người dùng liên quan đến việc dự đoán đánh giá cho điểm sản phẩm người dùng có kết nối mạng xã hội, với số điểm từ đến Vị trí chỉnh sửa: Mục 1.5 Trang 23 Ngày 26 tháng 11 năm 2020 Giáo viên hướng dẫn Tác giả luận văn PGS.TS Phạm Văn Hải Nguyễn Tiến Đồng CHỦ TỊCH HỘI ĐỒNG PGS.TS Trần Đình Khang LỜI CAM ĐOAN Tôi - Nguyễn Tiến Đồng - cam kết luận văn cơng trình nghiên cứu thân tôi, hướng dẫn PGS.TS Phạm Văn Hải Các kết công bố báo cáo trung thực, chép cá nhân, tổ chức cơng bố khác Tất trích dẫn tham chiếu rõ ràng Ngày 25 tháng 10 năm 2020 Tác giả luận văn Nguyễn Tiến Đồng Xác nhận người hướng dẫn LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội Đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thông Chính thầy giáo trang bị cho em kiến thức quý báu thời gian em học tập nghiên cứu trường Các thầy cô ln tận tình giúp đỡ em q trình học tập, nghiên cứu hoàn thiện thủ tục liên quan Đồng thời em xin gửi lời cảm ơn đặc biệt sâu sắc đến PGS.TS Phạm Văn Hải Thầy người dẫn tận tình, cho em hướng cho toàn đồ án, cho em kinh nghiệm quý báu để em hoàn thành luận văn tốt nghiệp báo khoa học liên quan Thầy động viên, giúp đỡ em thời điểm khó khăn để hoàn thành đến giai đoạn bảo vệ Em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè anh chị em đồng nghiệp Lời động viên tinh thần từ họ động lực to lớn để em tiến lên phía trước, vượt qua khó khăn hồn thành luận án Học viên: Nguyễn Tiến Đồng, CBC19014, khoá 2019B, lớp CLC2019B TÓM TẮT NỘI DUNG LUẬN VĂN Việc nghiên cứu thành cơng mơ hình phân tích hành vi người dùng mang lại giá trị thực tiễn cao cho tất doanh nghiệp Hiện nay, mơ hình chưa thực đạt kết mong muốn nghiên cứu phạm vi hẹp chưa áp dụng nhiều khía cạnh liệu để phân tích đầy đủ hành vi người dùng Việc mơ hình hóa liệu người dùng, liệu mạng xã hội đồ thị tri thức dạng đồ thị giúp khai thác sâu quan hệ người với người, người với vật vật với vật Từ sở kết hợp nhiều khía cạnh liệu với phát triển kỹ thuật mạng học sâu đồ thị, mơ hình đề xuất hứa hẹn mang lại hội để gia tăng tính xác cho kết sát với mơ hình liệu thực tế Luận văn trình bày đề tài nghiên cứu phân tích hành vi người dùng mạng xã hội phương pháp học sâu kết hợp đồ thị tri thức Luận văn trình bày mơ hình có lĩnh vực này, đề xuất mơ hình áp dụng phương pháp học sâu kết hợp đồ thị tri thức mạng xã hội để phân tích hành vi người dùng, dựa khai thác đặc trưng kết hợp với đánh giá thực nghiệm Mục tiêu đạt kết đạt sau: Đưa kiến trúc mô hình kết hợp phương pháp học sâu kết hợp đồ thị tri thức liệu mạng xã hội, chứng minh tính hiệu mơ hình phân tích hành vi người dùng đánh giá sản phẩm hệ gợi ý, chương trình thử nghiệm gồm mã nguồn liệu áp dụng vào ứng dụng thực tế HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU 16 1.1 Giới thiệu 16 1.1.1 Hành vi người dùng 16 1.1.2 Lợi ích 16 1.1.3 Khó khăn yếu tố ảnh hưởng 17 1.1.4 Động lực nghiên cứu 18 1.2 Đặt toán 19 1.3 Nghiên cứu liên quan 21 1.4 Đóng góp nghiên cứu 25 1.5 Giải thích tên đề tài luận văn 25 1.6 Cấu trúc luận văn 26 CHƯƠNG CƠ SỞ LÝ THUYẾT 27 2.1 2.2 2.3 Đồ thị tri thức 27 2.1.1 Đồ thị 27 2.1.2 Ứng dụng 27 2.1.3 Đồ thị tri thức 28 2.1.4 Ứng dụng đồ thị tri thức 29 Mạng học sâu 31 2.2.1 Perceptrons 31 2.2.2 Hàm Sigmoid 33 2.2.3 Kiến trúc mạng nơ ron (Neural Network) 34 2.2.4 Lan truyền tiến (Feedforward) 34 2.2.5 Học với mạng Neural Network (NN) 35 2.2.6 Lan truyền ngược đạo hàm 35 Mạng học sâu đồ thị 36 2.3.1 Khái niệm 36 2.3.2 Nhúng nút (Node Embedding) 40 2.3.3 Mạng tích chập đồ thị (GCN) 41 2.3.4 GraphSage 42 2.3.5 Hàm tập hợp (Aggregator function) 43 CHƯƠNG MƠ HÌNH ĐỀ XUẤT 45 3.1 Kiến trúc mơ hình 45 3.2 Xây dựng vectơ ẩn người dùng 47 3.3 3.2.1 Tập hợp thông tin từ sản phẩm (Item aggregation) 47 3.2.2 Tập hợp thông tin từ xã hội (Social aggregation) 48 3.2.3 Xây dựng vectơ ẩn người dùng 49 Xây dựng vectơ ẩn sản phẩm 50 3.3.1 Tập hợp thông tin từ người dùng (User aggregation) 50 3.3.2 Tập hợp thông tin từ đồ thị tri thức (Knowledge aggregation) 51 3.3.3 Xây dựng vectơ ẩn sản phẩm 53 3.4 Dự đoán đánh giá 53 3.5 Huấn luyện mơ hình 54 CHƯƠNG KẾT QUẢ THỰC NGHIỆM 56 4.1 Chuẩn bị liệu 56 4.2 Cấu hình tham số, mơi trường 57 4.3 So sánh, đánh giá 58 4.4 4.3.1 Cơ sở đánh giá 58 4.3.2 Nguồn so sánh 58 Kết thực nghiệm 59 4.4.1 Tổng quan 59 4.4.2 So sánh với hệ đánh giá AUC, ACC 62 4.4.3 Tác động lớp tập trung mô đun tập hợp tri thức: 62 4.4.4 Tác động số lớp (hop) số nút cố định lớp 63 4.4.5 Các thông số khác 64 CHƯƠNG KẾT LUẬN 68 5.1 Kết luận 68 5.2 Điểm cần khắc phục 68 5.3 Định hướng phát triển tương lai 69 DANH MỤC HÌNH VẼ Hình 1.1: Dữ liệu đồ thị hệ khuyến nghị Bao gồm đồ thị tương tác người dùng - sản phẩm (chính giữa), đồ thị quan hệ xã hội người dùng (góc phải) đồ thị tri thức sản phẩm (góc trái) 21 Hình 1.2: Kiến trúc mơ hình GraphRec [22] 23 Hình 1.3: Kiến trúc liệu mơ hình KGAT [8] 24 Hình 1.4: Mơ hình tương tác lớp đồ thị tri thức HageRec [33] 25 Hình 2.1: Minh họa đồ thị tri thức Microsoft (nguồn: microsoft.com) 29 Hình 2.2: Nơ-ron sinh học (Nguồn: https://cs231n.github.io/) 31 Hình 2.3: Perceptron đơn giản nơ ron nhân tạo học sâu (Nguồn: https://cs231n.github.io/) 32 Hình 2.4: Mơ hình Nơ ron (Nguồn: https://cs231n.github.io/) 33 Hình 2.5: Kiến trúc mạng nơ ron (Nguồn: https://cs231n.github.io/) 34 Hình 2.6: Mạng học sâu đồ thị (Nguồn: site.google.com) 37 Hình 2.7: Vịng tự lặp Self-loop (Nguồn: wikipedia.org) 38 Hình 2.8: Đồ thị đồng đồ thị không đồng (Nguồn: viblo.asia) 38 Hình 2.9: Đồ thị hai phía (Nguồn : wikipedia.org) 39 Hình 2.10: Mơ hình Word2Vec (Nguồn: viblo.asia) 41 Hình 2.11: Cách hàm tập hợp tổng hợp liệu từ nút đồ thị (Nguồn: blogs.oracle.com) 44 Hình 3.1: Sơ đồ kiến trúc tổng quan mơ hình đề xuất 46 Hình 3.2: Sơ đồ kiến trúc mơ hình đề xuất KconvGraphRec 46 Hình 3.3: Vùng lân cận bậc (nút xanh lá) sản phẩm (nút xanh dương) KG (bên trái) Cơ sở tính tốn tập hợp thơng tin nút lân cận sản phẩm (góc phải) 52 Hình 4.1: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) 61 Hình 4.2: Biểu đồ tác động lớp (hop) đồ thị tri thức mơ hình tập liệu Ciao 63 Hình 4.3: Biểu đồ tác động số lượng nút cố định từ lớp đồ thị tri thức mơ hình tập liệu Ciao 64 Hình 4.4: Biến đổi mae, rmse liệu Ciao Epinion qua epoch 65 Hình 4.5: Tác động kích thước vectơ nhúng hiệu mơ hình trường hợp liệu Epinion hop 65 Hình 4.6: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) 66 10