Nghiên cứu phương pháp tư vấn dựa trên hành vi người dùng mạng xã hội

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ YẾN NGHIÊN CỨU PHƯƠNG PHÁP TƯ VẤN DỰA TRÊN HÀNH VI NGƯỜI DÙNG TRONG MẠNG XÃ HỘI LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2016 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ YẾN NGHIÊN CỨU PHƯƠNG PHÁP TƯ VẤN DỰA TRÊN HÀNH VI NGƯỜI DÙNG TRONG MẠNG XÃ HỘI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : TS.VŨ VĂN THỎA HÀ NỘI – NĂM 2016 i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Nội dung luận văn có tham khảo sử dụng tài liệu, thơng tin đăng tải tạp chí trang web theo danh mục tài liệu tham khảo Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỉ luật theo quy định cho lời cam đoan Học viên Nguyễn Thị Yến ii LỜI CẢM ƠN Lời em xin gửi lời cảm ơn chân thành tới tất thầy cô giảng dạy Học Viện Cơng nghệ Bưu Chính Viễn thơng tận tình truyền đạt kiến thức quý báu giúp em hồn thành khóa học Em xin chân thành cảm ơn khoa Quốc Tế Đào Tạo Sau Đại Học, Học Viện Cơng Nghệ Bưu Chính Viễn Thơng tạo điều kiện tốt cho em thực luận văn tốt nghiệp Em xin gửi lời biết ơn sâu sắc đến thầy TS Vũ Văn Thỏa, người tận tình hướng dẫn, bảo em suốt thời gian thực luận văn Tơi xin bày tỏ lịng biết ơn chân thành gia đình ln động viên, ủng hộ, cổ vũ tạo điều kiện giúp Tôi cảm ơn tất người bạn tôi, người chia sẻ, cổ vũ giúp đỡ tơi Mặc dù cố gắng hồn thành luận văn phạm vi khả cho phép, chắn khơng tránh khỏi thiếu sót, kính mong cảm thơng tận tình bảo, góp ý thầy bạn Hà Nội, ngày / Học viên Nguyễn Thị Yến /2016 MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN ii MỤC LỤC DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG DANH MỤC THUẬT NGỮ MỞ ĐẦU CHƯƠNG 1: ĐỘ TƯƠNG ĐỒNG HÀNH VI NGƯỜI DÙNG TRÊN MẠNG XÃ HỘI 1.1 Giới thiệu mạng xã hội 1.1.1 Lịch sử hình thành 1.1.2 Cấu trúc chung mạng xã hội .5 1.1.3 Một số mạng xã hội phổ biến 1.2 Giới thiệu hành vi mạng xã hội 11 1.3 Độ tương đồng cặp người dùng dựa vào hành vi mạng xã hội 12 1.3.1 Độ tương tự cặp người dùng dựa vào hành vi Like 12 1.3.2 Độ tương tự cặp người dùng dựa vào hành vi Post 15 1.3.3 Độ tương tự cặp người dùng dựa vào hành vi Comment 18 1.3.4 Độ tương tự cặp người dùng dựa vào hành vi Friend 21 1.4 Kết luận chương 24 CHƯƠNG 2: PHƯƠNG PHÁP TƯ VẤN DỰA TRÊN HÀNH VI NGƯỜI DÙNG 25 2.1 Phát biểu toán hệ tư vấn cộng tác dựa vào hành vi người dùng mạng xã hội 25 2.2 Phương pháp tư vấn dựa vào hành vi 27 2.2.1 Phương pháp tư vấn dựa vào hành vi Like 28 2.2.2 Phương pháp tư vấn dựa vào hành vi Post 33 2.2.3 Phương pháp tư vấn dựa vào hành vi Comment 37 2.2.4 Phương pháp tư vấn dựa vào hành vi Friend 41 2.3 Phương pháp tư vấn kết hợp hai hành vi .45 2.3.1 Phương pháp tư vấn kết hợp hai hành vi Comment Friend 45 2.3.2 Phương pháp tư vấn kết hợp hai hành vi Comment Like 48 2.3.3 2.4 Phương pháp tư vấn kết hợp h Phương pháp tư vấn kết hợp ba hành vi 2.4.1 Phương pháp tư vấn kết hợp b 2.4.2 Phương pháp tư vấn kết hợp ba 2.5 Phương pháp tư vấn kết hợp bốn hành vi Comment, Like, F 2.5.1 Thuật tốn 2.5.2 Ví dụ minh họa 2.6 Kết luận chương CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Dữ liệu thử nghiệm 3.2 Phương pháp thử nghiệm 3.3 Kết thử nghiệm 3.4 Kết luận chương KẾT LUẬN 1.Kết đạt 2.Hướng phát triển TÀI LIỆU THAM KHẢO DANH MỤC CÁC HÌNH VẼ Hình 1.1 Một số trang mạng xã hội phổ biến Hình 1.2 Mơ hình liên kết mạng xã hội Hình 1.3 Giao diện Facebook Window Hình 1.4 Giao diện Twitter Window .9 Hình 1.5 Giao diện Google Plus Windows 10 Hình 1.6 Đồ thị phía biểu diễn mối quan hệ thích người dùng-sản phẩm 14 Hình 1.7 Đồ thị phía biểu diễn cho lọc cộng tác theo mơ hình đề xuất 17 Hình 1.8 Đồ thị phía biểu diễn mối quan hệ comment người dùng-sản phẩm 20 Hình 1.9 Đồ thị biểu diễn mối quan hệ friend người dùng .23 Hình 2.1 Thuật toán Combinated-Like 30 Hình 2.2 Thuật tốn Combinated-Post 35 Hình 2.3 Thuật tốn Combinated-Comment 39 Hình 2.4 Thuật tốn Combinated-Friend 43 Hình 2.5 Thuật tốn Combinated - Comment-Friend 48 Hình 2.6 Thuật toán Combinated -Comment-Like 50 Hình 2.7 Thuật tốn Combinated-Comment-Post 53 Hình 2.8 Thuật tốn Combinated-Comment-Friend-Like 56 Hình 2.9 Thuật tốn Combinated-Like-Post-Comment 59 Hình 2.10 Thuật tốn Combinated- Comment-Friend- Like-Post 63 Hình 3.1 Mơ hình liệu hệ thống HotelRecomendSystem 67 DANH MỤC CÁC BẢNG Bảng 1.1 Ma trận đánh giá người dùng-sản phẩm Error! Bookmark not defined Bảng 1.2 Ma trận Like người dùng-sản phẩm 13 Bảng 1.3 Ma trận Post người dùng-sản phẩm 16 Bảng 1.4 Ma trận comment người dùng-sản phẩm 19 Bảng 1.5 Ma trận Friend người dùng-người dùng 22 Bảng 3.1 Giá trị MAE thử nghiệm dựa hành vi đánh giá 72 Bảng 3.2 Giá trị MAE thử nghiệm dựa việc kết hợp với hành vi 72 Bảng 3.3 Giá trị MAE thử nghiệm dựa việc kết hợp với hai hành vi .74 Bảng 3.4 Giá trị MAE thử nghiệm dựa việc kết hợp với ba hành vi 75 Bảng 3.5 Giá trị MAE thử nghiệm dựa việc kết hợp tất hành vi 75 DANH MỤC THUẬT NGỮ Thuật ngữ tiếng Anh Recommender System Social network Combinated-Like Combinated-Post Combinated-Comment Combinated-Friend Combinated-Comment-Friend Combinated-Comment-Like Combinated-Comment-Post Combinated-Comment-Friend-Like Combinated-Like-Post-Comment Combinated-Comment-Friend-Like-Post 67 nhãn tích cực trường hợp điểm số trả về: score ≥ 0.7 (0 ≤ score ≤ 1) Mơ hình liệu hệ thống tư vấn khách sạn dựa hành vi người dùng mạng xã hội: Hình 3.1 Mơ hình liệu hệ thống HotelRecomendSystem Bảng tbluser Đây bảng lưu trữ thông tin người dùng Bảng bao gồm trường: STT Tên trường user_id 68 name link Bảng tblhotel Đây bảng lưu trữ thông tin khách sạn Bảng bao gồm trường: STT Tên trường hotel_id name link address Bảng tblpost Đây bảng lưu trữ thông tin post người dùng-khách sạn Bảng bao gồm trường: 69 STT Tên trường user_id hotel_id post_conte t status Bảng tblcomment Đây bảng lưu trữ thông tin comment người dùng-khách sạn Bảng bao gồm trường: STT Tên trường user_id hotel_id comment_co ntent status 70 - 1: tích cực - 0: khơng tích cực Bảng tblrate Đây bảng lưu trữ thông tin đánh giá người dùng-khách sạn Bảng bao gồm trường: STT Tên trường user_id hotel_id star Bảng tbllike Đây bảng lưu trữ thông tin like người dùng-khách sạn Bảng bao gồm trường: STT Tên trường user_id hotel_id Bảng tblfriend 71 Đây bảng lưu trữ thông tin mối quan hệ friend người dùng-người dùng Bảng bao gồm trường: STT Tên trường user_id friend_id 3.2 Phương pháp thử nghiệm Trong phạm vi luận văn thực thử nghiệm đánh giá dựa hai phương pháp sử dụng độ đo trung bình tuyệt đối lỗi MAE Tập liệu thử nghiệm chia thành hai tập huấn luyện tra tập kiểm : Tập liệu: chọn ngẫu nhiên 2302 đánh giá (85,23%) cho tập huấn luyện 400 đánh giá (14,77%) cho tập kiểm tra Việc tạo tập huấn luyện , tập kiểm tra thực 10 lần, kết kiểm nghiệm đánh giá lấy trung bình 10 lần kiểm nghiệm Các thử nghiệm kết tính tốn phạm vi đồ án thực hệ thống phần cứng: CPU Intel core i5, RAM 4GB; hệ thống phần mềm: Hệ điều hành Windows Ultimate, phần mềm Matlab 2014 Trước tiên, toàn liệu thử nghiệm chia thành hai phần, phần Utrain sử dụng làm liệu huấn luyện, phần lại Utest sử dụng để kiểm tra.Tập Utrain chứa 85% đánh giá tập Utest chứa 15% đánh giá Dữ liệu huấn luyện sử dụng để xây dựng mơ hình theo thuật tốn mơ tả ở Với mỗi người dùng i thuộc tập liệu kiểm tra, đánh giá (đã có) người dùng chia làm hai phần Oi Pi.Oi coi biết, Pi đánh giá cần dự đoán từ liệu huấn luyện Oi 72 Sai số dự đốn với mỡi khách hàng i thuộc tập liệu kiểm tra tính trung bình cộng sai số tuyệt đối hai giá trị dự đoán giá trị thực tất sản phẩm thuộc tập Sai số dự đốn tồn tập liệu kiểm tra tính trung bình cộng sai số dự đốn cho mỗi khách hàng thuộc 3.3 Kết thử nghiệm Kịch 1: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa hành vi đánh giá Giá trị MAE thử nghiệm dựa hành vi đánh giá thể bảng 3.1 Bảng 3.1 Giá trị MAE thử nghiệm dựa hành vi đánh giá R Kịch 2: Thử nghiệm độ đo trung bình tuyệt đối lỡi MAE dựa việc kết hợp hành vi đánh giá với số hành vi Friend, Like, Post, Comment Trong đó: Việc lấy giao hành vi rate hành vi khác thực sau: K=KR ∩ KX if K = then K = KR Giá trị MAE thử nghiệm dựa việc kết hợp hành vi đánh giá với hành vi người dùng mạng xã hội thể bảng 3.2 Bảng 3.2 Giá trị MAE thử nghiệm dựa việc kết hợp với hành vi Số lượng người dùng tập láng giềng Phương pháp 73 RF RP RL RC Kết thử nghiệm cho thấy việc kết hợp với hành vi mạng xã hội đưa kết khả quan, độ trung bình tuyệt đối lỡi MAE giảm đáng kể so với việc thử nghiệm dựa hành vi đánh giá ban đầu Trong đó: - Phương pháp kết hợp Combinated-Comment cho kết tốt - Phương pháp kết hợp Combinated-Friend tốt phương pháp Combinated-Like - Phương pháp kết hợp Combinated-Post cho kết tốt so với phương pháp Kết tiền đề cho việc lựa chọn độ ưu tiên việc lấy giao tập láng giềng kịch Kịch 3: Thử nghiệm độ đo trung bình tuyệt đối lỡi MAE dựa việc kết hợp hành vi đánh giá với hai hành vi người dùng mạng xã hội Trong đó: Việc lấy giao hành vi đánh giá hành vi khác thực với độ ưu tiên theo kết dựa kịch 2, RC, RL, RF, RP (độ ưu tiên giảm dần) Giá trị MAE thử nghiệm dựa việc kết hợp hành vi đánh giá với hai hành vi người dùng thể bảng 3.3 74 Bảng 3.3 Giá trị MAE thử nghiệm dựa việc kết hợp với hai hành vi Phương pháp RLF RLP RCL RFP RCF RCP Phương pháp Combinated-Comment-Friend cho kết tốt ứng với trường hợp số lượng người dùng 140 với sai số MAE 0.1179 Phương pháp Combinated-Like-Friend cho kết tốt so với phương pháp lại ứng với trường hợp số lượng người dùng tập láng giềng 80 100.Phương pháp Combinated-Comment-Friend cho kết tốt ở trường hợp số lượng người dùng tập láng giềng 120 140 Các phương pháp kết hợp với hai hành vi cho giá trị MAE nhỏ so với phương pháp kết hợp với hành vi thông thường Điều cho thấy việc kết hợp có hiệu quả, phương pháp Combinated-Comment-Friend tốt ứng với trường hợp k = 140 Kịch 4: Thử nghiệm độ đo trung bình tuyệt đối lỡi MAE dựa việc kết hợp hành vi đánh giá với hành vi người dùng mạng xã hội Việc lấy giao hành vi đánh giá hành vi khác thực với độ ưu tiên theo kết dựa kịch 3, RCF, RCL, RCP, RLP, RFP, RLF (độ ưu tiên giảm dần) Giá trị MAE thử nghiệm dựa việc kết hợp hành vi đánh giá với ba hành vi người dùng mạng xã hội thể bảng 3.4 75 Bảng 3.4 Giá trị MAE thử nghiệm dựa việc kết hợp với ba hành vi Phương pháp RFPL RFPC RFLC RPLC Kết thử nghiệm dựa việc kết hợp với ba hành vi cho kết MAE nhỏ so với phương pháp kết hợp hai hành vi Trong RFLC ứng với số lượng người dùng tập láng giềng 140 cho kết tốt Kịch 5: Thử nghiệm độ đo trung bình tuyệt đối lỗi MAE dựa việc kết hợp hành vi đánh giá với tất hành vi người dùng mạng xã hội Việc lấy giao hành vi đánh giá hành vi khác thực với độ ưu tiên giảm dần theo kết dựa kịch 4, Rate, Friend, Like, Comment, Post Giá trị MAE thử nghiệm dựa việc kết hợp hành vi đánh giá với tất hành vi người dùng mạng xã hội thể bảng 3.5 Bảng 3.5 Giá trị MAE thử nghiệm dựa việc kết hợp tất hành vi Phương pháp RFPLC Kết thử nghiệm dựa việc kết hợp hành vi đánh giá với tất hành vi cho kết MAE với trường hợp nhỏ so với phương pháp kết hợp RFLC Điều giải thích việc khơng tồn người dùng tập láng giềng qua việc lấy giao hành vi đánh giá với hành vi, thay vào việc lấy giao dựa kết RFLC 76 3.4 Kết luận chương Kết thử nghiệm phương pháp tư vấn kết hợp đề xuất cho thấy chất lượng tư vấn cải thiện đáng kể so với phương pháp tư vấn Điều lý giải phương pháp tiếp cận luận văn xác định tốt mức độ tương tự cặp người dùng, phương pháp dự đốn thích hợp 77 KẾT LUẬN Kết đạt Đề tài hướng tới chủ đề có ý nghĩa lý thuyết thực tiễn khoa học máy tính cộng đồng nghiên cứu quan tâm Luận văn trình bày vấn đề liên quan đến mạng xã hội số phương pháp tư vấn dựa vào hành vi người dùng mạng xã hội Cụ thể là: Giới thiệu mạng xã hội, độ tương đồng cặp người dùng dựa vào hành vi mạng xã hội Luận văn trình bày phương pháp tư vấn dựa vào mỡi hành vi người dùng kết hợp hành vi người dùng mạng xã hội bao gồm: Phương pháp tư vấn kết hợp hành vi: - Phương pháp tư vấn kết hợp hành vi Like - Phương pháp tư vấn kết hợp hành vi Post - Phương pháp tư vấn kết hợp hành vi Comment - Phương pháp tư vấn kết hợp hành vi Friend Phương pháp tư vấn kết hợp hai hành vi: - Phương pháp tư vấn kết hợp hai hành vi Comment Friend - Phương pháp tư vấn kết hợp hai hành vi Comment Like - Phương pháp tư vấn kết hợp hai hành vi Comment Post - Phương pháp tư vấn kết hợp ba hành vi Comment, Like, Friend - Phương pháp tư vấn kết hợp ba hành vi Comment, Like, Post Phương pháp tư vấn kết hợp bốn hành vi Comment, Like, Friend, Post Đề tài giới thiệu liệu thử nghiệm cho thuật tốn trình bày từng phương pháp tư vấn Thử nghiệm cài đặt Matlab cho từng thuật toán ứng với liệu thu thập Kết thử nghiệm đánh giá theo tiêu chí độ xác, sai số trung bình thời gian thực tư vấn 78 Tuy nhiên trình thực cài đặt mơ hình thuật tốn cịn số hạn chế sau: - Thưa thớt liệu người dùng: liệu sưu tập tay lên hạn chế, trình thu thập liệu, người dùng mạng xã hội không công khai danh sách bạn bè, hết hành vi, mối quan hệ người dùng với Đề tài sử dụng nhãn tích cực với văn comment post, chưa tính chưa xử lý khía cạnh nhãn tiêu cực Hướng phát triển Hướng phát triển tương lai tiếp tục phát triển hệ thống với số lượng người dùng khách sạn lớn hơn, cập nhật liệu, phân loại thành tư vấn địa điểm nhà hàng, khu vui chơi giải trí, khơng gian làm việc 79 TÀI LIỆU THAM KHẢO [1] Nguyễn Duy Phương, Đỗ Thị Liên, Từ Minh Phương (2013), “Xác định độ tương tự cho người dùng sản phẩm lọc cộng tác dựa mơ hình đồ thị”, Fair Huế 2013 [2]C.C.Aggarwal, J.L Wolf, K.L Wu, and P.S.Yu, “Horting Hatches an Egg: A New Graph-Theoretic Approach to Collaborative Filtering”, Proc Fifth ACM SIGKDD Int’l Conf Knowledge Discovery and Data Mining (1999) [3]Charu C Aggarwal 2011 Social Network Data Analytics (1st ed.) Springer Publishing Company, Incorporated [4]J S Breese, D Heckerman, and C Kadie, “Empirical analysis of Predictive Algorithms for Collaborative Filtering”, In Proc of 14th Conf on Uncertainty in Artificial Intelligence, pp 43-52 (1998) [5] Aaron J Defazio and Tibério S Caetano, “A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training”, 2012 [6]M Deshpande, G Karypis,“Item-Based Top-N Recommendation Algorithms”, ACM Transactions on Information Systems Volume 22, Issue 1, pp 143 - 177 (2004) [7]T Hofmann, “Latent Semantic Models for Collaborative Filtering”, ACM Trans Information Systems, vol 22, No 1, pp 89-115 (2004) [8]J.L Herlocker, J.A Konstan, L.G Terveen, and J.T Riedl (2004), “Evaluating Collaborative Filtering Recommender Systems”, ACM Trans Information o Systems, vol 22, N 1, pp 5-53 [9]B Sarwar, G Karypis, J Konstan, and J Riedl, “Item-Based Collaborative Filtering Recommendation Algorithms”, WWW 2001: 285-295 (2001) [10]X Su, T M Khoshgoftaar (2009), “A Survey of Collaborative Filtering Techniques” Advances in Artificial Intelligence, vol 2009, pp.1-20 [11] Zan Huang, “Graph-Based analysis for e-commerce recommendation”, 2005 80 [12]R Jin, L Si, and C Zhai, “Preference-Based Graphic Models for Collaborative Filtering”, Proc 19th Conf Uncertainty in Artificial Intelligence (UAI 2003) [13]https://vi.wikipedia.org/wiki/D%E1%BB%8Bch_v%E1%BB%A5_m%E1%BA %A1ng_x%C3%A3_h%E1%BB%99i ... vi người dùng mạng xã hội Nội dung chương bao gồm giới thiệu mạng xã hội, hành vi mạng xã hội phương pháp tính độ tư? ?ng tự cặp người dùng mạng xã hội Chương Phương pháp tư vấn dựa hành vi người. .. 2: PHƯƠNG PHÁP TƯ VẤN DỰA TRÊN HÀNH VI NGƯỜI DÙNG 25 2.1 Phát biểu toán hệ tư vấn cộng tác dựa vào hành vi người dùng mạng xã hội 25 2.2 Phương pháp tư vấn dựa vào hành vi 27 2.2.1 Phương. .. bày vấn đề tổng quan mạng xã hội hành vi người dùng mạng xã hội, đề xuất phương pháp tính tốn mức độ tư? ?ng tự cặp người dùng dựa vào hành vi mạng xã hội 1.1 Giới thiệu mạng xã hội Mạng xã hội