PHÂN TÍCH VÀ KHAI PHÁ MẠNG XÃ HỘI

PHÂN TÍCH VÀ KHAI PHÁ MẠNG XÃ HỘI Trường hè Khai phá liệu 2016 http://fit.uet.vnu.edu.vn/dmss2016/ PGS.TS Hà Quang Thụy ThS TRẦN MAI VŨ PHÒNG THÍ NGHIỆM KHOA HỌC DỮ LIỆU VÀ CÔNG NGHỆ TRI THỨC TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI 16-19/08/2016 Nội dung Tại phân tích khai phá mạng xã hội ? 2.  Phân tích khai phá mạng xã hội ? 3.  Phân tích cấu trúc mạng xã hội Thu thập tiền xử lý liệu mạng xã hội trực tuyến 5.  Phân tích nội dung mạng xã hội trực tuyến 6.  Phân tích cấu trúc mạng xã hội trực tuyến 1.  4.  Tại phân tích khai phá mạng xã hội? -  -  -  Mạng xã hội phổ biến Mạng xã hội kho tài nguyên tiềm đồ sộ Phân tích khai phá mạng xã hội: tính thời Mạng xã hội phổ biến l  Mạng xã hội xuất nhiều lĩnh vực §  Xã hội học, CNTT (khai phá liệu), khoa học hành vi, toán học, thống kê nhiều lĩnh vực khác l  Mạng xã hội - ẩn §  Mạng xã hội hiện: Quan hệ nút rõ Ví dụ: Facebook, §  l  Twitter, MySpace Mạng xã hội ẩn: Quan hệ nút: kết qua phân tích Ví dụ: Các nhân viên thực quy trình, khách hàng sở thích, v.v Mạng xã hội tĩnh - động §  Tĩnh: Kết nối cố định định tuyến mạng, v.v §  Động: Kết nối thay đổi người, động vật, côn trùng, gen, protein, v.v l  Mạng xã hội ngoại tuyến – trực tuyến §  Ngoại tuyến: Mạng XH thiết lập từ liệu công ty §  Trực tuyến: Mạng XH trực tuyến Internet [Alhajj14] Reda Alhajj, Jon Rokne Encyclopedia of Social Network Analysis and Mining Springer-New York, 2014 Mạng XH với Big Data ứng dụng l  Mạng xã hội với Big Data §  Mạng xã hội trực tuyến (Facebook, Twitter, Google+, mạng chuyên gia LinkeIn, Youtube, v.v.), mạng xã hội công ty → Big Data §  Big Data: Volome, Variety, Velocity, Value (“dầu mỏ Thế kỷ 21”) l  Một số ứng dụng phân tích mạng xã hội §  Khai phá liệu, truy hồi thông tin (information retrieval), hệ tư vấn (recommender systems), khoa học web (Web science), nhiều ngành khoa học xã hội (đặc biệt xã hội học: sociology) §  Quản lý quan hệ KH xã hội (Social CRM, khách hàng vận động: Advocate), tư vấn xã hội (social recommendation), khai phá quan điểm (opinion mining), quản lý danh tiếng (reputation management), phóng viên công dân thời gian thực (Real-time Citizen journalism), phản ứng công dân (Citizen response), phân tích hành vi người (human behavior analysis), v.v §  Khoa học liệu (Data Science): nghề hấp dẫn kỷ 21 [Leskovec11] Jurre Leskovec Social Media Analytics A ACM SIGKDD Conference Tutotial, 2011 Big data không ngừng gia tăng giá trị §  (i) Mỹ: tiết kiệm 300 tỷ US$ ngành y tế, (ii) Châu Âu: chỉnh phủ tiết kiệm 100 tỷ Euro (giảm gian lận, sai sót, chênh lệch thuế), v.v [Chen14] Min Chen, Shiwen Mao, Yunhao Liu Big Data: A Survey MONET 19(2): 171-209, 2014 Phân tích khai phá MXH: tính thời l  Thống kê đơn giản từ ba nguồn lưu tài liệu (10/8/2016) Phân tích khai phá mạng xã hội gì? -  -  -  Khái niệm mạng xã hội, mạng xã hội trực tuyến Các đặc trưng mạng xã hội Phân tích nội dung phân tích cấu trúc mạng xã hội Khái niệm mạng xã hội l  Khái niệm §  Định nghĩa phổ biến: Mạng tương tác/quan hệ xã hội: nút tác nhân xã hội cạnh quan hệ/tương tác tác nhân “là cấu trúc xã hội bao gồm cá nhân hay tổ chức, thường biểu diễn nút, với quan hệ xã hội, tương ứng với liên kết nút” §  Định nghĩa tổng quát Mạng thông tin: nút tác nhân/thực thể có yếu tố xã hội cung quan hệ nút §  MXH trực tuyến (online social network): MXH thi hành dịch vụ mạng xã hội trực tuyến (online social network service) l  Phương tiện xã hội §  Phương tiện xã hội (social media) phương tiện thiết kế để truyền bá ý tưởng thông qua tương tác xã hội [Leskovec11], “phương tiện tương tác người để tạo, chia sẻ trao đổi thông tin ý tưởng cộng đồng ảo mạng cách trực tuyến” [Aggarwal14] Tiến hóa nghiên cứu mạng xã hội l  Trước Internet §  1930’s: Xã hội học, tập trung vào cộng đồng (gần gũi địa lý) tương tác người §  J Barnes [Barnes54] thúc đẩy “mạng xã hội” vào NC khoa học §  1970’s: mở rộng tới khái niệm cộng đồng tổng quát (con người, động vật, thực thể tương tác) Các đặc trưng điển hình l  Thời đại Internet §  Bùng nổ: cộng đồng dựa web toàn cầu (phương tiện xã hội) §  Kích thước lớn biển đổi đòi hỏi kỹ thuật phân tích tự động hóa §  Ứng dụng rộng rãi: xã hội học (Phân tích mô tả người sử dụng, Động lực sử dụng Facebook, Trình bày danh tính, Vai trò Facebook tương tác xã hội, Tính riêng tư việc tiết lộ thông tin), Kinh tế (Social CRM, Tiếp thị), v.v §  Nội dung xã hội học mới: "Netnography" = “Inter[net]” and “eth[nography]”, "Child-led Research“ v.v [Barnes54] J Barnes Class and Committees in a Norwegian Island Parish Human Relations, 7, 39-58, 1954 10 Phân tích hành vi người dùng l  Mục đích l  l  Phân tích, mô hình dự đoán nhiều hành vi người dùng mạng xã hội loại hành vi cá nhân MXH User-User (link generation) Trở thành bạn, gửi tin nhắn, chơi trò chơi, theo dõi, mời tham gia kiên User-Community Tham gia hay rời khỏi cộng đồng đóng góp thảo luận vào cộng đồng User-Entity (content generation) Viết bài, đăng ảnh Kỹ thuật: Xử lý ngôn ngữ tự nhiên, học máy, thống kê, khai phá liệu 45 Ứng dụng phân tích hành vi người dùng l  l  Phân tích khách hàng (Customer insight) l  Phân tích tập hiểu tập khách hàng nội nhằm cải thiện chiến dịch tiếp thị, bán có mục tiêu đưa dịch vụ tốt l  Hiểu biết kế hoạch sản phẩm khách hàng để tìm kiếm sản phẩm khách hàng có khả mua nhằm đưa thông điệp tiếp thị đắn Hiệu số công ty lớn l  OCBC hiểu khách hàng thông qua hành vi thói quen khách hàng qua tăng gắn kết khách hàng-ngân hàng l  Westpac phát xu hướng khách hàng gom nhóm sản phẩm để tiếp thị khách hàng, hiệu đạt tăng 37% hiệu đăng ký sử dụng dịch vụ 60% khách hàng liên hệ với ngân hàng l  Manulife ước lượng thu nhập thói quen khách hàng nhằm tạo dịch vụ tối ưu cho khách hàng sử dụng 46 PHÂN TÍCH KHÁCH HÀNG VIỄN THÔNG Phân &ch thông +n tất khách hàng có đầu số 09 nhà mạng VieAel (096, 097, 098), Mobifone (090, 093), Vinaphone (091, 094) Viettel Mobifone Vinaphone Số lượng tài khoản Facebook 11.2 triệu 8.0 triệu 5.5 triệu Số lượng tài khoản Facebook hoạt động tháng 6/2016 6.5 triệu 4.7 triệu 2.9 triệu Phân bố độ tuổi 50.00% 40.00% 30.00% 36.00% PHÂN BỐ GIỚI TÍNH 45.00% 44.00% 40.50% 26.00% 23.00% Nam 21.50% 20.50% 20.00% 12.50% 10.00% 12.50% 12.00% 6.50% 0.00% 18-24 Nữ 25-34 Viettel Mobifone 35-44 Vinaphone 41.00% 44.00% 42.00% 59.00% 56.00% 58.00% VIETTEL MOBIFONE VINAPHONE 45+ 47 PHÂN TÍCH KHÁCH HÀNG VIỄN THÔNG Khác Đà Nẵng Hà Nội 16.00% Hồ Chí Minh 17.00% 41.00% 31.00% PHÂN TÍCH SỞ THÍCH, HÀNH VI, THÓI QUEN(Đơn vị: 1000 ng 2.00% 5.00% 50.00% Viettel 34.00% Mobifone 760 46.00% 49.00% 52.00% 42.00% 37.00% 36.00% Độc thân Đã kết hôn Đang hẹn hò 269.5 QUAN TÂM CHỨNG KHOÁN HAY ĐI NƯỚC NGOÀI 81 9.00% 73.6 10.00% 115.2 9.00% 86.7 Tình trạng hôn nhân 400 VINAPHONE 84.4 MOBIFONE 127.5 VIETTEL Vinaphone 42 44.00% 68 1.00% 20.00% 800 39.00% SỬ DỤNG SỬ DỤNG IPHONE ĐỜI SAMSUNG ĐỜI IPHONE TRỞ S6 TRỞ LÊN LÊN PHÂN TÍCH KHÁCH HÀNG NGÂN HÀNG Hệ thống phân &ch khách hàng ngân hàng tầm trung tại Việt Nam với hơn 2 triệu khách hàng, 300 triệu dữ liệu giao dịch chuyển khoản hàng năm Số lượng tài khoản Số lượng khách Số lượng tài khoản Facebook hoạt động Phân bố giới tính hàng 04/2016 Facebook (Nam/Nữ) tháng 6/2016 Tổng số khách hàng Khách hàng Vip 2.048 triệu 19.5 nghìn 836 nghìn 10.4 nghìn Phân bố giới tính độ tuổi KHÁCH HÀNG VIP 35% 615.8 nghìn 8.6 nghìn Phân bố giới tính độ tuổi toàn khách hàng 35% 35% 48% 43% 30% 20% 29% 24% 15% 17%18% 10% 5% 5% 18-24 50/50 50/50 5% 25-34 35-45 Nữ Nam 45-54 55+ 18-24 25-34 35-45 Nữ Nam 7% 6% 4% 4% 45-54 55+ 49 PHÂN TÍCH KHÁCH HÀNG NGÂN HÀNG PHÂN BỐ THEO THÀNH PHỐ Hà Nội Hồ Chí Minh 30% Khác 33% 29% 70% 38% TOÀN BỘ VIP PHÂN TÍCH XU HƯỚNG VÀ HÀNH VI KHÁCH HÀNG (Đơn vị: 1000 người) 340 140 100 80 31 Chứng khoán Vay vốn Thẻ tín dụng Bất động sản Sức khỏe 8.8 9.2 Người du lịch 21/06 Người vừa du lịch Giám sát kiện mạng xã hội l  l  MXH công cụ truyền thông quan trọng: l  Tuyên truyền thảm họa, thiên tai (động đất, sóng thần Nhật Bản, bão Katrina, tràn dầu Lousiana,…) l  Vận động tranh cử, tổng tuyển cử(Mỹ, HQ, Anh,…) l  Giúp quan chức Chính phủ quản lý, theo dõi luồng thông tin l  Thu thập thông tin TB phục vụ mục đích trị Công cụ giám sát kiện l  l  Hiểu ngôn ngữ tốt l  Trích xuất kiện, nhận dạng thực thể l  Gom nhóm kiện, dịch máy thống kê Thường tập trung vào số miền liệu cụ thể l  Bệnh truyền nhiễm l  Thiên tai, thảm họa l  Chính trị 51 Giám sát kiện mạng xã hội 52 Giám sát kiện Việt Nam 53 Hệ thống giám sát tai nạn 54 Phân tích cấu trúc mạng trực tuyến 55 Phát cộng đồng Phân tích cộng đồng giúp hiểu người dùng Phân tích cộng đồng đưa góc nhìn tương tác người dùng Một số hành vi người dùng phát quan sát họ tham gia cộng đồng 56 Phát cộng đồng l  Cộng đồng MXH l  l  l  Cộng đồng minh bạch (explicit) l  Khai báo qua việc đăng ký rõ ràng l  Các open/close group Facebook/Linkedin Cộng đồng ẩn (explicit) l  Không khai báo l  Một số nhóm người thường tương tác trao đổi với chủ đề yêu thích Cộng đồng giao không giao 57 Kỹ thuật phát cộng đồng l  Một số kỹ thuật phổ biến l  Phân cụm phân cấp l  l  Phân cụm theo đồ thị l  l  Spectral Clustering Thuật toán phân chia l  l  K-mean, Fuzzy K-mean Phân cụm theo phổ l  l  Kernighan-Lin, Spectral bisection Phân cụm phân hoạch l  l  Hierarchical agglomerative clustering Girvan-Newman, Conga, Congo Công cụ l  http://www.cs.bris.ac.uk/~steve/networks/software/conga.html l  http://perso.crans.org/aynaud/communities/index.html 58 Cám ơn ! 감사 ! ありがとう！ 謝謝 ! Thank you! August 15, 2016 59