Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng trên mạng xã hội

Nhan đề : Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng trên mạng xã hội Tác giả : Nguyễn Tiến Đông Người hướng dẫn: Phạm Văn Hải Từ khoá : Hành vi người dùng; Đồ thị tri thức; Phương pháp học sâu; Hành vi con người Năm xuất bản : 2020 Nhà xuất bản : Trường đại học Bách Khoa Hà Nội Tóm tắt : Tổng quan về hành vi người dùng; cơ sở lý thuyết về mạng học sâu, đồ thị tri thức, mạng học sâu trên đồ thị; mô hình đề xuất; kết quả thực nghiệm.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng mạng xã hội NGUYỄN TIẾN ĐỒNG dong.nt141083@sis.hust.edu.vn Ngành Hệ thống thông tin Giảng viên hướng dẫn: PGS TS Phạm Văn Hải Chữ ký GVHD Viện: Công nghệ thông tin truyền thơng HÀ NỘI, 10/2020 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Tiến Đồng Đề tài luận văn: Ứng dụng phương pháp học sâu kết hợp đồ thị tri thức để phân tích hành vi người dùng mạng xã hội Chuyên ngành: Hệ thống thông tin Mã số SV: CBC19014 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 31/10/2020 với nội dung sau: Lỗi trình bày luận văn STT Yêu cầu hội đồng Nội dung chỉnh sửa Vị trí chỉnh sửa Sửa lỗi Đã rà sốt lại, đồng Chỉnh sửa tả lạm khái niệm tiếng việt, tiếng anh tồn dụng tiếng anh sửa lỗi tả luận văn Cắt giảm đầu mục lý thuyết Trình bày lý liên quan đến luận văn: Bỏ thuyết dài phần giao dịch nội gián, random Chương walk, deep walk, node2vec Tham chiếu tài liệu tham khảo Bổ sung giải thích rõ nội dung GraphRec HageRec từ tài liệu tham khảo Trang 17,18 phần nghiên cứu liên quan Sửa thích bổ sung tham Bổ sung nguồn tham chiếu hình ảnh từ 2.1 đến 2.8 chiếu hình ảnh Trang 27, 29, 34, 35, 36, 38, 41 Bổ sung nội dung luận văn STT Yêu cầu hội đồng Nội dung chỉnh sửa Vị trí chỉnh sửa 1.4 Đóng góp Mơ tả đóng góp Trình bày đóng góp nghiên chính luận văn cứu – Trang 21 Đánh giá việc kết tăng chút có ý nghĩa hay không? Bổ sung biểu đồ tỷ lệ cải thiện kết qua mơ hình So sánh với tỷ lệ mơ hình GraphRec 4.4.1 Tổng quan – Trang 55 Bổ sung so sánh thời gian Đánh giá hiệu tính tốn huấn luyện thời gian chạy 4.4.5 Các mơ hình cặp liệu thông số khác với GraphRec khả phù – Trang 60 hợp với thực tế Trình bày điểm chưa tốt mơ hình Bổ sung nội dung trình bày điểm yếu bao gồm sinh liệu mạng xã hội ngẫu nhiên liệu MovieLen 5.2 Điểm cần khắc phục – Trang 64 Giải trình tên đề tài Yêu cầu hội đồng: Nội dung đề tài liên quan đến khuyến nghị sản phẩm cho người dùng khác với tên đề tài phân tích hành vi người dùng mạng xã hội Nội dung chỉnh sửa: phân tích hành vi người dùng liên quan đến việc dự đoán đánh giá cho điểm sản phẩm người dùng có kết nối mạng xã hội, với số điểm từ đến Vị trí chỉnh sửa: Mục 1.5 Trang 23 Ngày 26 tháng 11 năm 2020 Giáo viên hướng dẫn Tác giả luận văn PGS.TS Phạm Văn Hải Nguyễn Tiến Đồng CHỦ TỊCH HỘI ĐỒNG PGS.TS Trần Đình Khang LỜI CAM ĐOAN Tơi - Nguyễn Tiến Đồng - cam kết luận văn cơng trình nghiên cứu thân tơi, hướng dẫn PGS.TS Phạm Văn Hải Các kết công bố báo cáo trung thực, chép cá nhân, tổ chức công bố khác Tất trích dẫn tham chiếu rõ ràng Ngày 25 tháng 10 năm 2020 Tác giả luận văn Nguyễn Tiến Đồng Xác nhận người hướng dẫn LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội Đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thơng Chính thầy giáo trang bị cho em kiến thức quý báu thời gian em học tập nghiên cứu trường Các thầy ln tận tình giúp đỡ em q trình học tập, nghiên cứu hồn thiện thủ tục liên quan Đồng thời em xin gửi lời cảm ơn đặc biệt sâu sắc đến PGS.TS Phạm Văn Hải Thầy người dẫn tận tình, cho em hướng cho tồn đồ án, cho em kinh nghiệm quý báu để em hồn thành luận văn tốt nghiệp báo khoa học liên quan Thầy động viên, giúp đỡ em thời điểm khó khăn để hồn thành đến giai đoạn bảo vệ Em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè anh chị em đồng nghiệp Lời động viên tinh thần từ họ động lực to lớn để em tiến lên phía trước, vượt qua khó khăn hồn thành luận án Học viên: Nguyễn Tiến Đồng, CBC19014, khố 2019B, lớp CLC2019B TĨM TẮT NỘI DUNG LUẬN VĂN Việc nghiên cứu thành cơng mơ hình phân tích hành vi người dùng mang lại giá trị thực tiễn cao cho tất doanh nghiệp Hiện nay, mơ hình chưa thực đạt kết mong muốn nghiên cứu phạm vi hẹp chưa áp dụng nhiều khía cạnh liệu để phân tích đầy đủ hành vi người dùng Việc mơ hình hóa liệu người dùng, liệu mạng xã hội đồ thị tri thức dạng đồ thị giúp khai thác sâu quan hệ người với người, người với vật vật với vật Từ sở kết hợp nhiều khía cạnh liệu với phát triển kỹ thuật mạng học sâu đồ thị, mơ hình đề xuất hứa hẹn mang lại hội để gia tăng tính xác cho kết sát với mơ hình liệu thực tế Luận văn trình bày đề tài nghiên cứu phân tích hành vi người dùng mạng xã hội phương pháp học sâu kết hợp đồ thị tri thức Luận văn trình bày mơ hình có lĩnh vực này, đề xuất mơ hình áp dụng phương pháp học sâu kết hợp đồ thị tri thức mạng xã hội để phân tích hành vi người dùng, dựa khai thác đặc trưng kết hợp với đánh giá thực nghiệm Mục tiêu đạt kết đạt sau: Đưa kiến trúc mơ hình kết hợp phương pháp học sâu kết hợp đồ thị tri thức liệu mạng xã hội, chứng minh tính hiệu mơ hình phân tích hành vi người dùng đánh giá sản phẩm hệ gợi ý, chương trình thử nghiệm gồm mã nguồn liệu áp dụng vào ứng dụng thực tế HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU 16 1.1 Giới thiệu 16 1.1.1 Hành vi người dùng 16 1.1.2 Lợi ích 16 1.1.3 Khó khăn yếu tố ảnh hưởng 17 1.1.4 Động lực nghiên cứu 18 1.2 Đặt toán 19 1.3 Nghiên cứu liên quan 21 1.4 Đóng góp nghiên cứu 25 1.5 Giải thích tên đề tài luận văn 25 1.6 Cấu trúc luận văn 26 CHƯƠNG CƠ SỞ LÝ THUYẾT 27 2.1 2.2 2.3 Đồ thị tri thức 27 2.1.1 Đồ thị 27 2.1.2 Ứng dụng 27 2.1.3 Đồ thị tri thức 28 2.1.4 Ứng dụng đồ thị tri thức 29 Mạng học sâu 31 2.2.1 Perceptrons 31 2.2.2 Hàm Sigmoid 33 2.2.3 Kiến trúc mạng nơ ron (Neural Network) 34 2.2.4 Lan truyền tiến (Feedforward) 34 2.2.5 Học với mạng Neural Network (NN) 35 2.2.6 Lan truyền ngược đạo hàm 35 Mạng học sâu đồ thị 36 2.3.1 Khái niệm 36 2.3.2 Nhúng nút (Node Embedding) 40 2.3.3 Mạng tích chập đồ thị (GCN) 41 2.3.4 GraphSage 42 2.3.5 Hàm tập hợp (Aggregator function) 43 CHƯƠNG MƠ HÌNH ĐỀ XUẤT 45 3.1 Kiến trúc mơ hình 45 3.2 Xây dựng vectơ ẩn người dùng 47 3.3 3.2.1 Tập hợp thông tin từ sản phẩm (Item aggregation) 47 3.2.2 Tập hợp thông tin từ xã hội (Social aggregation) 48 3.2.3 Xây dựng vectơ ẩn người dùng 49 Xây dựng vectơ ẩn sản phẩm 50 3.3.1 Tập hợp thông tin từ người dùng (User aggregation) 50 3.3.2 Tập hợp thông tin từ đồ thị tri thức (Knowledge aggregation) 51 3.3.3 Xây dựng vectơ ẩn sản phẩm 53 3.4 Dự đoán đánh giá 53 3.5 Huấn luyện mô hình 54 CHƯƠNG KẾT QUẢ THỰC NGHIỆM 56 4.1 Chuẩn bị liệu 56 4.2 Cấu hình tham số, mơi trường 57 4.3 So sánh, đánh giá 58 4.4 4.3.1 Cơ sở đánh giá 58 4.3.2 Nguồn so sánh 58 Kết thực nghiệm 59 4.4.1 Tổng quan 59 4.4.2 So sánh với hệ đánh giá AUC, ACC 62 4.4.3 Tác động lớp tập trung mô đun tập hợp tri thức: 62 4.4.4 Tác động số lớp (hop) số nút cố định lớp 63 4.4.5 Các thông số khác 64 CHƯƠNG KẾT LUẬN 68 5.1 Kết luận 68 5.2 Điểm cần khắc phục 68 5.3 Định hướng phát triển tương lai 69 DANH MỤC HÌNH VẼ Hình 1.1: Dữ liệu đồ thị hệ khuyến nghị Bao gồm đồ thị tương tác người dùng - sản phẩm (chính giữa), đồ thị quan hệ xã hội người dùng (góc phải) đồ thị tri thức sản phẩm (góc trái) 21 Hình 1.2: Kiến trúc mơ hình GraphRec [22] 23 Hình 1.3: Kiến trúc liệu mơ hình KGAT [8] 24 Hình 1.4: Mơ hình tương tác lớp đồ thị tri thức HageRec [33] 25 Hình 2.1: Minh họa đồ thị tri thức Microsoft (nguồn: microsoft.com) 29 Hình 2.2: Nơ-ron sinh học (Nguồn: https://cs231n.github.io/) 31 Hình 2.3: Perceptron đơn giản nơ ron nhân tạo học sâu (Nguồn: https://cs231n.github.io/) 32 Hình 2.4: Mơ hình Nơ ron (Nguồn: https://cs231n.github.io/) 33 Hình 2.5: Kiến trúc mạng nơ ron (Nguồn: https://cs231n.github.io/) 34 Hình 2.6: Mạng học sâu đồ thị (Nguồn: site.google.com) 37 Hình 2.7: Vòng tự lặp Self-loop (Nguồn: wikipedia.org) 38 Hình 2.8: Đồ thị đồng đồ thị khơng đồng (Nguồn: viblo.asia) 38 Hình 2.9: Đồ thị hai phía (Nguồn : wikipedia.org) 39 Hình 2.10: Mơ hình Word2Vec (Nguồn: viblo.asia) 41 Hình 2.11: Cách hàm tập hợp tổng hợp liệu từ nút đồ thị (Nguồn: blogs.oracle.com) 44 Hình 3.1: Sơ đồ kiến trúc tổng quan mơ hình đề xuất 46 Hình 3.2: Sơ đồ kiến trúc mơ hình đề xuất KconvGraphRec 46 Hình 3.3: Vùng lân cận bậc (nút xanh lá) sản phẩm (nút xanh dương) KG (bên trái) Cơ sở tính tốn tập hợp thông tin nút lân cận sản phẩm (góc phải) 52 Hình 4.1: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) 61 Hình 4.2: Biểu đồ tác động lớp (hop) đồ thị tri thức mơ hình tập liệu Ciao 63 Hình 4.3: Biểu đồ tác động số lượng nút cố định từ lớp đồ thị tri thức mơ hình tập liệu Ciao 64 Hình 4.4: Biến đổi mae, rmse liệu Ciao Epinion qua epoch 65 Hình 4.5: Tác động kích thước vectơ nhúng hiệu mơ hình trường hợp liệu Epinion hop 65 Hình 4.6: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) 66 10 GCMC+SN [42]: Mơ hình áp dụng mạng nơ ron đồ thị cho nhiệm vụ hoàn thành ma trận mơ hình vượt trội phương pháp tiếp cận dựa đồ thị phức tạp Đề xuất giải pháp bỏ qua nút, kỹ thuật điều chỉnh hiệu giúp loại bỏ toàn tập hợp thông báo gửi nút Với xác suất cố định KGCN [29]: Mơ hình đề xuất sử dụng phương pháp tích chập đồ thị để tổng hợp liệu vùng lân cận đồ thị nhiều lớp nhiều thành phần Sử dụng kết hợp vectơ nhúng người dùng để tác động lên mối quan hệ khác đồ thị tri thức, từ để xây dựng vectơ biểu diễn thực thể vừa mang thông tin đầy đủ đồ thị tri thức, vừa có thơng tin người dùng GraphRec [22]: Đây mơ hình sử dụng phương pháp mạng học sâu đồ thị kết hợp với đồ thị mạng xã hội ứng dụng hệ gợi ý cho kết tốt HageRec [33]: Là mơ hình khắc phục vấn đề thưa thớt cách tận dụng đồ thị tri thức mơ hình mạng tích chập đồ thị HageRec sử dụng việc lan truyền liệu chiều kết hợp khai phá toàn diện liệu ngữ nghĩa kết nối theo chiều sâu lớn Đồng thời mơ hình xây dựng chế tập trung phân cấp từ nút hàng xóm đồ thị tri thức 4.4 Kết thực nghiệm 4.4.1 Tổng quan Bảng 4.2: Kết mô hình đề xuất so sánh với phương pháp sử dụng MAE RMSE Dữ liệu Ciao 1hop Ciao 2hop Epi 1hop Hệ đánh giá Mơ hình KGCN Kconv GraphR ec 0.7504 0.7218 0.9931 1.0917 0.9614 0.8062 0.7526 0.7515 0.8324 0.7179 1.1238 1.0617 0.9931 1.0928 1.1787 0.9725 MAE 0.9952 0.9072 0.8590 0.8285 0.8092 RMSE 1.2128 1.1476 1.0711 1.1298 1.0146 PMF NeuMF GCMC+ GN MAE 0.9021 0.8062 0.7526 RMSE 1.1238 1.0617 MAE 0.9021 RMSE Graph Rec Epi 2hop MAE 0.9952 0.9072 0.8590 0.8287 0.8554 0.7937 RMSE 1.2128 1.1476 1.0711 1.1357 1.1398 0.9876 Movie MAE 0.7280 0.7366 0.7152 59 2hop RMSE 0.9856 0.9975 0.9624 Như kết mơ hình so sánh với mơ hình khác bảng 3, em rút đánh sau: • Mơ hình có kết tốt so với phương pháp tốt NeuMF GraphRec tương ứng 10,89% 5,7% Điều cho thấy hiệu mơ hình đề xuất tốn • Mơ hình chứng minh tính đắn kết hợp liệu mạng xã hội, liệu tri thức liệu tương tác người dùng sản phẩm giúp tổng hợp nhiều khía cạnh thơng tin vào vectơ biểu diễn tương ứng, từ giúp mạng nơ ron học hiệu góp phần tăng kết cuối • NeuMF thu hiệu suất tốt nhiều so với PMF Cả hai phương pháp sử dụng thông tin xếp hạng Tuy nhiên, NeuMF dựa kiến trúc mạng thần kinh, điều cho thấy sức mạnh mơ hình mạng nơ ron hệ thống khuyến nghị • KGCN cho kết thấp GraphRec cho thấy tầm quan trọng việc sử dụng liệu xã hội người dùng Những người dùng có sở thích, kết hợp chế tập trung giúp việc tổng hợp đóng góp khác người dùng khác đánh giá người dùng xét đến • KGCN cho kết tốt NeuMF, áp dụng mạng neural để xây dựng mơ hình, nhiên, với việc sử dụng đồ thị tri thức cho sản phẩm đồng thời tính tốn ảnh hưởng khác người dùng sản phẩm theo relation khác giúp việc xây dựng vectơ ẩn sản phẩm trở nên hiệu Vậy nên kết cuối hệ gợi ý tốt • So với GraphRec, mơ hình có kết cải thiện trung bình tất tập liệu 3.32% MAE 9.7% RMSE Bảng 4.3: So sánh tỷ lệ cải thiện mơ hình KconvGraphRec với GraphRec GraphRec với GCMC + SN Dữ liệu Ciao hop Ciao hop Hệ đánh giá Tỷ lệ gia tăng kết GraphRec với GCMC + SN Tỷ lệ gia tăng kết KconvGraphRec với GraphRec MAE 2.04% 3.81% RMSE 1.25% 11.94% MAE 1.85% 4.47% RMSE 1.38% 11.01% MAE 1.87% 2.33% 60 Epinion hop Epinion hop Movie hop RMSE 1.15% 10.20% MAE 4.91% 4.22% RMSE 0.75% 13.04% MAE 1.76% RMSE 2.35% 1.25 1.15 1.05 0.95 0.85 0.75 0.65 PMF SoReg Kconv Social NeuM DeepS Trust GCMC Graph SoRec Graph MF F oR MF +SN Rec Rec Ciao MAE 0.9021 0.8611 0.827 0.8062 0.841 0.7739 0.769 0.7526 0.7515 0.7179 Ciao RMSE 1.1238 1.0848 1.0501 1.0617 1.0652 1.0316 1.0479 0.9931 1.0928 0.9725 Epinion MAE 0.9952 0.9119 0.8837 0.9072 0.8961 0.8383 0.841 0.859 0.8287 0.7937 Epinion RMSE 1.2128 1.1703 1.1328 1.1476 1.1437 1.0972 1.1395 1.0711 1.1357 0.9876 Hình 4.1: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) Qua bảng 4.3 trên, tỷ lệ cải thiện kết mơ hình đề xuất với Graph Rec vượt trội so với tỷ lệ cải thiện từ GraphRec qua mơ hình GCMC+SN rơi vào khoảng 1.61% Hơn nữa, thấy hình 4.1, thấy nhịp độ cải thiện mơ hình đề xuất với MAE tương đương nhiều mơ hình khác chặng đường phát triển kết toán Với RMSE, mơ hình có tỷ lệ cải thiện tốt nhiều, đặc biệt với GraphRec vốn tăng RMSE so với mơ hình kế trước GCMC+SN, điều thể việc mơ hình giảm tỷ lệ sai lệch dự đốn, xảy trường hợp kết dự đoán cách xa kết thật ổn định so với mơ hình GraphRec Chính vậy, việc xây dựng vectơ ẩn người dùng sản phẩm từ đồ thị tri thức vào hướng đắn để mang lại kết tốt cho mơ hình đề xuất 61 4.4.2 So sánh với hệ đánh giá AUC, ACC Tiến hành so sánh mơ hình với mơ hình KGCN, HAGERec với liệu Movie lens 1M lastFM Do mơ hình sử dụng hệ đánh giá AUC ACC để phân lớp nhị phân cho đánh giá người dùng Vì vậy, để tiến hành so sánh này, thêm bổ sung lớp sigmoid cho lớp đầu cuối mơ hình để đưa xác suất rơi vào phân lớp nhị phân Ở liệu, để tránh cân liệu, tiến hành lấy mẫu âm ngẫu nhiên để sinh liệu vào lớp ngang Kết cho thấy mơ hình đề xuất tiếp tục vượt trội KGCN Đối với HAGERec, số epoch thực 200 epochs lớn nhiều so với 30 mơ hình đề xuất, mơ hình cho thấy hệ số AUC gần ACC cao Đồng thời, với liệu cân ACC cao cho thấy hiệu việc xác định liệu người dùng có thích sản phẩm thật hay khơng Bảng 4.4: Kết so sánh với Ripple Net, KGCN HAGERec ACC, AUC Movie Lens 1M Mơ hình 4.4.3 Last.FM AUC ACC AUC ACC KGCN 0.907 0.833 0.796 0.724 HAGERec 0.923 0.840 0.814 0.743 KconvGraphRec 0.9102 0.845 0.798 0.747 Tác động lớp tập trung mô đun tập hợp tri thức: Bảng 4.5: So sánh tác động lớp tập trung mô đun tập hợp tri thức (knowledge aggregation) Mơ hình Dữ liệu Hệ đánh giá KconvGraphRec không áp dụng chế tập trung cho KconvGraphRec phần tập hợp tri thức MAE 0.7330 0.7218 RMSE 1.0216 0.9914 MAE 0.7215 0.7179 RMSE 0.9852 0.9725 Ciao 1hop Ciao 2hop 62 MAE 0.8202 0.8092 RMSE 1.1183 1.0146 MAE 0.8137 0.7937 RMSE 1.0949 0.9976 MAE 0.7271 0.7152 RMSE 0.9783 0.9624 Epi 1hop Epi hop Movie 2hop Tiến hành huấn luyện mơ hình khơng áp dụng lớp tập trung phần tập hợp tri thức tất liệu mà áp dụng theo phương pháp đề xuất KGCN [29] Kết cho thấy thấp so với sử dụng lớp tập trung Điều chứng hiệu áp dụng để thấy tính ảnh hưởng người dùng loại quan hệ đồ thị tri thức Qua đó, mơ hình phối hợp nhiều khía cạnh liệu việc xây dựng vectơ ẩn tương ứng người dùng sản phẩm đạt kết cao 4.4.4 Tác động số lớp (hop) số nút cố định lớp Như kết từ Bảng 4.2: Kết mơ hình đề xuất so sánh với phương pháp sử dụng MAE RMSE, thấy tất trường hợp, việc sử dụng đồ thị tri thức lớp (2 hop) đem lại kết cao so với lớp (1 hop) cho thấy tính hiệu việc ứng dụng đồ thị tri thức việc học vectơ ẩn sản phẩm Sử dụng nhiều lớp giúp sản phẩm tổng hợp nhiều thông tin liên quan 0.83 0.81 0.79 0.77 0.75 0.73 0.71 KGCN KconvGraphRec without attention KconvGraphRec Hình 4.2: Biểu đồ tác động lớp (hop) đồ thị tri thức mơ hình tập liệu Ciao 63 • Tác động số lớp thực tính tốn vùng lân cận đồ thị tri thức: Với lớp, thấy kết tốt nhiên không thay đổi nhiều lớp Tương tự, thời gian huấn luyện với lớp lớn lần so với hop sử dụng H=2 để tối ưu thời gian huấn luyện mơ hình 0.81 0.8 0.79 0.78 0.77 0.76 0.75 0.74 0.73 0.72 0.71 16 KGCN KconvGraphRec without attention KconvGraphRec Hình 4.3: Biểu đồ tác động số lượng nút cố định từ lớp đồ thị tri thức mơ hình tập liệu Ciao • Tác động số nút cố định lớp đồ thị tri thức: Đối với số nút cố định xây dựng từ lớp, nút đạt kết tốt nhất, 16 nút kết tiếp tục tốt nhiên không nhiều Trong thời gian để huấn luyện mơ hình với 16 nút hàng xóm nhiều 2,5 lần Vì sử dụng K=8 để tối ưu cho việc huấn luyện mơ hình • Hai tham số chịu tác động kích thước đồ thị tri thức Đồ thị tri thức cịn khiêm tốn, kích thước tăng lên việc ứng dụng tăng K, H đem lại kết tốt Đồng thời tăng lên lớp (3 hop) hay tăng số lượng số nút hàng xóm cố định (K = 16, 24, 32) làm thời gian huấn luyện sử dụng mơ hình tăng lên nhiều kết cải thiện 0.5-1% Vì khó áp dụng thực tế với lượng liệu lớn 4.4.5 Các thông số khác Số epoch để huấn luyện: thực nghiệm mơ hình để tính tốn số lượng epoch hợp lý cho tập liệu trên, dừng lại thay đổi MAE < 5𝑥10−4 Kết cho thấy mơ hình hội tụ 30 epoch Vì thế, cố định số epoch 30 để huấn luyện mơ hình So sánh với số lần training HageRec [33] 200 epoch, mơ hình đề xuất mang lại hiệu suất tài nguyên 85% 64 Hình 4.4: Biến đổi mae, rmse liệu Ciao Epinion qua epoch Kích cỡ vectơ nhúng: Khi tăng kích thước vectơ nhúng từ 16 lên 64, hiệu mơ hình tăng rõ rệt, nhiên từ 64 lên 512 thay đổi khơng đáng kể chí cịn thời gian tính tốn lại tăng lên nhiều, khiến hiệu mơ hình bị ảnh hưởng Điều khẳng định kích thước vectơ nhúng ảnh hưởng đến hiệu mơ hình lớn, nhiên phụ thuộc vào lượng liệu để huấn luyện Nếu tăng q cao khiến mơ hình trở nên phức tạp không cần thiết, đồng thời dễ rơi vào trường hợp kiểm tra tập thử nghiệm không mang lại kết kỳ vọng làm giảm kết mơ hình Vì kết báo em sử dụng kích thước vectơ nhúng 64 Hình 4.5: Tác động kích thước vectơ nhúng hiệu mơ hình trường hợp liệu Epinion hop 65 Batch size: Tương tự nghiên cứu hiệu kích thước vectơ nhúng, luận văn em thử nghiệm batch size giá trị [32, 64, 128, 256, 512] Qua thử nghiệm thấy số lượng batch size (trừ giá trị 32) khơng ảnh hưởng nhiều đến kết mơ hình Vì luận văn này, em sử dụng giá trị batch size = 256 Learning rate: Đối với đánh giá hệ đánh giá MAE RMSE em sử dụng learning rate 𝜆 = 0.001 đánh giá ACC, AUC em sử dụng learning rate 𝜆 = 0.0005 THỜI GIAN HUẤN LUYỆN MƠ HÌNH (GIỜ) Thời gian huấn luyện: mơ hình đề xuất so sánh hiệu huấn luyện mơ hình với GraphRec máy chủ có cấu sau: hệ điều hành Ubuntu 16.04, RAM 32GB, HDD 1T, 32CPU, GPU Tesla P100-PCIE 12GB 10 9.5 8.7 4.09 4.3 1.7 1.8 GRAPHREC MƠ HÌNH ĐỀ XUẤT KCONVGRAPHREC Ciao hop Epinion hop Movie hop Hình 4.6: So sánh thời gian huấn luyện ba mơ hình Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: giờ) Có thể thấy, thời gian huấn luyện mơ hình KconvGraphRec cao so với GraphRec, nhiên mức độ gia tăng không nhiều 9,2% với liệu MovieLen, 7.82% với Epinion 5.88% với Ciao Điều dễ hiểu, mơ hình đề xuất ứng dụng thêm đồ thị tri thức, chấp nhận gia tăng số lượng tham số mơ hình để nâng cao kết so với GraphRec Thời gian chạy mơ hình: mơ hình đề xuất so sánh hiệu tính tốn mơ hình với GraphRec máy chủ có cấu sau: hệ điều hành Ubuntu 16.04, RAM 32GB, HDD 1T, 32CPU 66 THỜI GIAN CHẠY MƠ HÌNH (MS) 63 61 61 58 59 57 55 55 54 53 51 51 50 49 47 45 GRAPHREC Ciao hop MƠ HÌNH ĐỀ XUẤT KCONVGRAPHREC Epinion hop Movie hop Hình 4.7: So sánh thời gian chạy mơ hình ba liệu Ciao hop, Epinion hop Movie hop KconvGraphRec GraphRec (đơn vị: ms) Qua Hình 4.7, thấy thời gian chạy mơ hình gần khơng có thay đổi mơ hình đề xuất GraphRec, đồng thời tốc độ xử lý để dự đoán với cặp người dùng – sản phẩm vơ nhỏ (< 100 ms) mơ hình hồn tồn phù hợp với việc ứng dụng thực tế 67 CHƯƠNG KẾT LUẬN Chương trình bày thơng tin kết luận kết đóng góp đồ án với tốn phân tích hành vi người dùng sử dụng phương pháp học sâu kết hợp đồ thị tri thức mạng xã hội Đồng thời đưa điểm chưa để tiếp tục phát triển hướng tương lai 5.1 Kết luận Đồ án đề xuất mơ hình ứng dụng mạng nơ ron đồ thị kết hợp liệu quan hệ xã hội đồ thị tri thức để giải thách thức hệ khuyến nghị Bài báo chứng sở lý thuyết kết thực nghiệm đạt tốt so với mơ hình gần Mơ hình đề xuất chứng minh cải tiến kết rõ ràng so với mơ hình GraphRec Sự cải tiến khơng khiến mơ hình trở nên nặng nề hay chạy chậm mà hoàn toàn đáp ứng nhu cầu sử dụng thực tế Các thử nghiệm chứng minh tác động qua lại lẫn yếu tố ẩn người dùng sản phẩm góp phần vào việc nâng cao kết dự đoán hệ gợi ý hiệu suất mơ hình Hiện tại, kết hợp biểu đồ xã hội vào đề xuất, nhiều ngành giới thực liên kết với nhiều thông tin phụ khác người dùng mặt hàng Ví dụ: người dùng mặt hàng liên kết với thuộc tính phong phú hay có nhiều liên kết người với người mạng xã hội bạn bè, tương tác viết, Do đó, khám phá mạng nơ ron đồ thị để đưa đề xuất với thuộc tính hướng tương lai Ngoài ra, coi xếp hạng thông tin xã hội tĩnh Tuy nhiên, xếp hạng thông tin xã hội động cách tự nhiên Do đó, xem xét việc xây dựng mạng nơ ron đồ thị động cho đề xuất xã hội với động Em tiếp tục phát triển mơ hình để đáp ứng hiệu suất với đồ thị tri thức lớn, tập hợp nhiều thông tin từ vùng xung quanh node sản phẩm để ngày nâng cao kết 5.2 Điểm cần khắc phục Tuy đạt kết định, mơ hình đề xuất em tồn điểm hạn chế cần khắc phục phát triển tương tai Thứ cịn yếu tố thực tế chưa áp dụng đến quan hệ người với người mạng xã hội đa dạng Hiện em áp dụng quan hệ bạn bè khơng có trọng số Thứ hai quan hệ tương tác người dùng sản phẩm ngồi đánh giá cịn áp dụng quan hệ xem, bình luận, … Thứ ba liệu MovieLen, đồ thị quan hệ xã hội đước inh có đặc điểm mật độ mơ hình khác, điều khiến liệu chưa 68 bám sát thực tế ngồi đời thực Chính lý nên kết cải thiện tập liệu MovieLens chưa thực cao nhiều 5.3 Định hướng phát triển tương lai Luận văn em tương lai định hướng phát triển thêm kiến trúc mô hình theo hai hướng: tận dụng tối đa quan hệ liệu từ mạng xã hội – vốn đa dạng nhiều so với đơn quan hệ bạn bè không trọng số, hai phát triển thêm phần tập hợp tri thức, thêm tác động đánh giá hay xây dựng biểu diễn từ đặc trưng nút quan hệ Áp dụng mơ hình nhúng đồ thị, nhúng nút Về liệu, em có kế hoạch phát triển liệu mảng đồ thi tri thức nhiều đa dạng tại, từ đánh giá chi tiết tác động số hop số node lấy từ hop kết cuối Nghiên cứu phương án xây dựng liệu mạng xã hội kết hợp liệu hệ gợi ý có MovieLen mơ thực tế áp dụng Luận văn mang tính ứng dụng áp dụng vào doanh nghiệp, doanh nghiệp thương mại điện tử Ngày trang thương mại điện tử thường liên kết với liệu từ mạng xã hội Facebook hay Google, thế, kết hợp với công cụ lắng nghe mạng xã hội, doanh nghiệp biết quan hệ xã hội khách hàng với Kết hợp với liệu lịch sử mua bán, tìm hiểu hàng hóa tảng website, ứng dụng điện thoại mang đến tiềm vô lớn để hiểu dự đoán hành vi khách hàng Hơn hết, liệu nêu hoàn tồn áp dụng vào mơ hình luận văn để áp dụng giải toàn thực tế nêu trên, thời gian tới, em cố gắng để đưa kết luận văn áp dụng vào thực tế để mang lại hiệu cho doanh nghiệp 69 TÀI LIỆU THAM KHẢO [1] J Ben Schafer, D Frankowski, J Herlocker, and S Sen, “LNCS 4321 Collaborative Filtering Recommender Systems,” no January 2007, 2014 [2] M Jamali and M Ester, “A matrix factorization technique with trust propagation for recommendation in social networks,” RecSys’10 - Proc 4th ACM Conf Recomm Syst., pp 135–142, 2010, doi: 10.1145/1864708.1864736 T N Kipf and M Welling, “Semi-supervised classification with graph convolutional networks,” 5th Int Conf Learn Represent ICLR 2017 - Conf Track Proc., pp 1–14, 2017 W L Hamilton, R Ying, and J Leskovec, “Inductive representation learning on large graphs,” Adv Neural Inf Process Syst., vol 2017-Decem, no Nips, pp 1025–1035, 2017 [3] [4] [5] [6] [7] [8] M Defferrard, X Bresson, and P Vandergheynst, “Convolutional neural networks on graphs with fast localized spectral filtering,” Adv Neural Inf Process Syst., no Nips, pp 3844–3852, 2016 Z Zhang, P Cui, and W Zhu, “Deep Learning on Graphs: A Survey,” 2018, [Online] Available: http://arxiv.org/abs/1812.04202 P Goyal and E Ferrara, “Graph embedding techniques, applications, and performance: A survey,” Knowledge-Based Syst., vol 151, pp 78–94, 2018, doi: 10.1016/j.knosys.2018.03.022 X Wang, X He, Y Cao, M Liu, and T S Chua, “KGAT: Knowledge graph attention network for recommendation,” Proc ACM SIGKDD Int Conf Knowl Discov Data Min., pp 950–958, 2019, doi: 10.1145/3292500.3330989 Y Cao, L Hou, J Li, and Z Liu, “Neural Collective Entity Linking,” no Figure 1, 2018, [Online] Available: http://arxiv.org/abs/1811.08603 [10] H Wang et al., “RippleNet: Propagating user preferences on the knowledge graph for recommender systems,” Int Conf Inf Knowl Manag Proc., no 1, pp 417–426, 2018, doi: 10.1145/3269206.3271739 [9] [11] Q Wang, Z Mao, B Wang, and L Guo, “Knowledge Graph Embedding : A Survey of Approaches and Applications,” vol 4347, no c, 2017, doi: 10.1109/TKDE.2017.2754499 [12] H Wang, F Zhang, X Xie, and M Guo, “DKN: Deep knowledge-aware network for news recommendation,” Web Conf 2018 - Proc World Wide Web Conf WWW 2018, pp 1835–1844, 2018, doi: 10.1145/3178876.3186175 [13] R Guigourès, A S Sheikh, Y K Ho, U Bergmann, E Koriagin, and R Shirvany, “A hierarchical Bayesian model for size recommendation in fashion,” RecSys 2018 - 12th ACM Conf Recomm Syst., pp 392–396, 2018, doi: 10.1145/3240323.3240388 70 [14] X Ren, M Song, E Haihong, and J Song, “Context-aware probabilistic matrix factorization modeling for point-of-interest recommendation,” Neurocomputing, vol 241, pp 38–55, 2017, doi: 10.1016/j.neucom.2017.02.005 [15] B Yang, Y Lei, J Liu, and W Li, “Social Collaborative Filtering by Trust,” IEEE Trans Pattern Anal Mach Intell., vol 39, no 8, pp 1633–1647, 2017, doi: 10.1109/TPAMI.2016.2605085 [16] J Tang, C Aggarwal, and H Liu, “Recommendations in signed social networks,” 25th Int World Wide Web Conf WWW 2016, pp 31–40, 2016, doi: 10.1145/2872427.2882971 [17] P V Marsden and N E Friedkin, “Network Studies of Social Influence,” Sociol Methods Res., vol 22, no 1, pp 127–151, 1993, doi: 10.1177/0049124193022001006 [18] J Tang et al., “Recommendation with social dimensions,” 30th AAAI Conf Artif Intell AAAI 2016, pp 251–257, 2016 [19] F Zhen, Z Zhang, and H Lu, “A review of social recommendation,” Proc 13th IEEE Conf Ind Electron Appl ICIEA 2018, pp 537–542, 2018, doi: 10.1109/ICIEA.2018.8397775 [20] X He, L Liao, H Zhang, L Nie, X Hu, and T S Chua, “Neural collaborative filtering,” 26th Int World Wide Web Conf WWW 2017, pp 173–182, 2017, doi: 10.1145/3038912.3052569 [21] J Zhou et al., “Graph Neural Networks: A Review of Methods and Applications,” pp 1–22, 2018, [Online] Available: http://arxiv.org/abs/1812.08434 [22] W Fan et al., “Graph neural networks for social recommendation,” Web Conf 2019 - Proc World Wide Web Conf WWW 2019, pp 417–426, 2019, doi: 10.1145/3308558.3313488 [23] N Park, A Kan, X L Dong, T Zhao, and C Faloutsos, “Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks,” pp 596– 606, 2019, doi: 10.1145/3292500.3330855 [24] T Hamaguchi, H Oiwa, M Shimbo, and Y Matsumoto, “Knowledge base completion with out-of-knowledge-base entities: A graph neural network approach,” Trans Japanese Soc Artif Intell., vol 33, no 2, 2018, doi: 10.1527/tjsai.F-H72 [25] K Guu, J Miller, and P Liang, “Traversing Knowledge Graphs in Vector Space.” [26] Z Wang, Q Lv, X Lan, and Y Zhang, “Cross-lingual Knowledge Graph Alignment via Graph Convolutional Networks,” pp 349–357, 2019, doi: 10.18653/v1/d18-1032 [27] Z Yang, F Zhou, L Yang, and Q Zhang, “A new prediction method for recommendation system based on sampling reconstruction of signal on graph,” Expert Syst Appl., vol 159, p 113587, 2020, doi: 71 10.1016/j.eswa.2020.113587 [28] X Guo et al., “DKEN: Deep knowledge-enhanced network for recommender systems,” Inf Sci (Ny)., vol 540, pp 263–277, 2020, doi: 10.1016/j.ins.2020.06.041 [29] H Wang, M Zhao, X Xie, W Li, and M Guo, “Knowledge graph convolutional networks for recommender systems,” Web Conf 2019 - Proc World Wide Web Conf WWW 2019, pp 3307–3313, 2019, doi: 10.1145/3308558.3313417 [30] D Duvenaud et al., “Convolutional networks on graphs for learning molecular fingerprints,” Adv Neural Inf Process Syst., vol 2015-Janua, pp 2224–2232, 2015 [31] M Niepert, M Ahmad, and K Kutzkov, “Learning convolutional neural networks for graphs,” 33rd Int Conf Mach Learn ICML 2016, vol 4, pp 2958–2967, 2016 [32] E Palumbo, D Monti, G Rizzo, R Troncy, and E Baralis, “entity2rec: Property-specific knowledge graph embeddings for item recommendation,” Expert Syst Appl., vol 151, p 113235, 2020, doi: 10.1016/j.eswa.2020.113235 [33] Z Yang and S Dong, “HAGERec: Hierarchical Attention Graph Convolutional Network Incorporating Knowledge Graph for Explainable Recommendation,” Knowledge-Based Syst., vol 204, p 106194, 2020, doi: 10.1016/j.knosys.2020.106194 [34] W Fan et al., “Graph Neural Networks for Social Recommendation,” pp 417–426, 2019, doi: 10.1145/3308558.3313488 [35] P Veličković, A Casanova, P Liò, G Cucurull, A Romero, and Y Bengio, “Graph attention networks,” 6th Int Conf Learn Represent ICLR 2018 Conf Track Proc., pp 1–12, 2018 [36] R Ying, R He, K Chen, P Eksombatchai, W L Hamilton, and J Leskovec, “Graph Convolutional Neural Networks for Web-Scale Recommender Systems,” pp 974–983, 2018, doi: 10.1145/3219819.3219890 [37] A Iscen, G Tolias, Y Avrithis, and O Chum, “Mining on Manifolds: Metric Learning Without Labels,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., vol 15, pp 7642–7651, 2018, doi: 10.1109/CVPR.2018.00797 [38] W X Zhao, G He, H Dou, J Huang, S Ouyang, and J R Wen, “KB4Rec: A dataset for linking knowledge bases with recommender systems,” CEUR Workshop Proc., vol 2482, pp 4–7, 2019 [39] S Wang, J Tang, Y Wang, and H Liu, “Exploring hierarchical structures for recommender systems,” IEEE Trans Knowl Data Eng., vol 30, no 6, pp 1022–1035, 2018, doi: 10.1109/TKDE.2018.2789443 [40] M K Logani, V Solanki, and T J Slaga, “Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model,” 72 Carcinogenesis, vol 3, 10.1093/carcin/3.11.1303 no 11, pp 1303–1306, 1982, doi: [41] R Salakhutdinov and A Mnih, “Probabilistic matrix factorization,” Adv Neural Inf Process Syst 20 - Proc 2007 Conf., pp 1–8, 2009 [42] R van den Berg, T N Kipf, and M Welling, “Graph Convolutional Matrix Completion,” 2017, [Online] Available: http://arxiv.org/abs/1706.02263 73 ... cứu phân tích hành vi người dùng mạng xã hội phương pháp học sâu kết hợp đồ thị tri thức Luận văn trình bày mơ hình có lĩnh vực này, đề xuất mơ hình áp dụng phương pháp học sâu kết hợp đồ thị tri. .. vật Từ sở kết hợp nhiều khía cạnh liệu với phát tri? ??n kỹ thuật mạng học sâu đồ thị, vi? ??c nghiên cứu sâu phương pháp mạng học sâu đồ thị kết hợp đồ thị tri thức mạng xã hội mang lại hội cho em nâng... từ mạng xã hội với đồ thị tri thức Vi? ??c mơ hình hóa liệu người dùng, liệu mạng xã hội đồ thị tri thức dạng đồ thị giúp khai thác sâu quan hệ người với người, người với vật vật với vật Từ sở kết