phát hiện vai trò và dự báo bùng nổ sự kiện trên mạng xã hội

Phát hiện vai trò và dự báo bùng nổ sự kiện trên mạng xã hội 1 KTLab Hà Quang Thụy Phòng Thí nghiệm Công nghệ Tri thức - KTLab Trường ĐHCN, Đại học Quốc gia Hà Nội, Hà Nội, 29-9-2012 Nội dung Octob er 18 , 201 4 2 - Giới thiệu chung - Khai phá dữ liệu mạng xã hội - Phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội - Một mô hệ thống hình phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội - Một vài bàn luận Đặt vấn đề Octob er 18 , 201 4 3 - Dự báo bùng nổ sự kiện  KTLab: Nâng cao chất lượng phát hiện sự kiện  Hợp tác quốc tế  NII (Nhật Bản): Event Sequence Analysis  LARC (Singapore): Event Bursting  Catholic University of Leuven (Katholieke Universiteit Leuven, Bỉ): Dự án hợp tác quốc tế “Improving Business Process and Complex Event Sequence Analytics using Process Mining Techniques”  Hợp tác trong nước: Bộ Công an - Phát hiện vai trò với bùng nổ sự kiện  KTLab: Phát hiện vai trò, xếp hạng trong mạng xã hội, khai phá quan điểm cộng đồng  Vai trò lớn/hạng cao, cộng đồng ⇔ sự kiện / bùng nổ sự kiện  Dự báo bùng nổ sự kiện liên quan tới nút có vai trò lớn I. Giới thiệu chung Octob er 18 , 201 4 4 - Khái niệm mạng xã hội  John Arundel Barnes, 1954: mạng xã hội là đối tượng nghiên cứu [Barnes54].  Cấu trúc xã hội: tập các cá nhân/tổ chức + tập các quan hệ xã hội giữa các cá nhân/tổ chức [EK10]. Biểu diễn đồ thị.  Phương tiện truyền thông XH (social media): phương tiện phổ biến mối quan hệ XH tới cộng đồng. Trao đổi nội dung [Lesk11]  Phương tiện truyền thông XH là nền tảng để người dùng tạo và trao đổi nội dung với cộng đồng [YK12]  "một nhóm các ứng dụng dựa trên Internet được xây dựng trên nền tảng tư tưởng và công nghệ của Web 2.0, cho phép tạo và trao đổi nội dung do người dùng tạo ra“ [KH10] - Phân loại mạng xã hội  Hai chiều đặc trưng: hiện diện xã hội/phong phú (social presence/media richness) và hiện diện xã hội/phong phú (self- presentation/self-disclosure). [Barnes54] Barnes, J. (1954). Class and Committees in a Norwegian Island Parish, Human Relations, 7, 39-58. [EK10] David Easley and Jon Kleinberg (2010). Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press, 2010. [KH10] Andreas M Kaplan and Michael Haenlein (2010). Users of the world, unite! The challenges and opportunities of Social Media, Business horizons (2010), 53:59-68. [YK12] Sheng Yu, Subhash Kak (2012). A Survey of Prediction Using Social Media CoRR abs/1203.1647: (2012) I. Một cách phân loại mạng xã hội Octob er 18 , 201 4 5 [KH10] Andreas M Kaplan and Michael Haenlein (2010). Users of the world, unite! The challenges and opportunities of Social Media, Business horizons (2010), 53:59-68. Twitter ? I. Sự phát triển của mạng xã hội Octob er 18 , 201 4 6 [Ben12], Shea Bennet (2012). Twitter On Track For 500 Million Total Users By March, 250 Million Active Users By End Of 2012, http://www.mediabistro.com/alltwitter/twitter-active-total- users_b17655. I. Tác động của mạng xã hội Octob er 18 , 201 4 7 - Tác động xã hội  Góp phần tăng cường nguồn vốn xã hội (social capital) cho quốc gia [ESL07], [ZJV12]  Đôi lúc cản trở phát triển xã hội - Facebook với phong trào “Mùa xuân Ả rập”  Facebook góp phần quan trọng [AMCJ12], [Iskan11], [MS11]: hoạt động liên quan đến phong trào chiếm trọng số rất lớn (3 dòng cuối) [AMCJ12] Ban Al-Ani, Gloria Mark, Justin Chung, Jennifer Jones (2012). The Egyptian Blogosphere: A Counter-Narrative of the Revolution, Proceedings of the ACM 2012 conference on Computer Supported Cooperative Work: 17-26. [Iskan11] Elizabeth Iskander (2011). Connecting the National and the Virtual: Can Facebook Activism Remain Relevant After Egypt’s January 25 Uprising?, International Journal of Communication 5 (2011): 1225–1237. [MS11] Racha Mourtada and Fadi Salem (2011). Civil Movements: The Impact of Facebook and Twitter, Arab Social Media Report, 1 (2): 1-30. I. Tác động xã hội của mạng xã hội Octob er 18 , 201 4 8 - Facebook với cuộc bạo loạn tại Anh năm 2011  Liên quan giữa mức độ bạo lực với sự kiểm duyệt Facebook [AT12]  Giải pháp tối ưu khuyêch tán quan điểm lành mạnh: Tham gia cởi mở cung cấp thông tin đúng và hoàn toàn không áp đặt. - Mạng xã hội với chống quyền lợi Mỹ 9/2012  Xuất phát từ video về Thánh Mohamed  Đại sứ Mỹ tại Libi bị giết. Hai phía sử dụng mạng xã hội - Twitter với sự kiện thảm họa kép “Động đất – Sóng thần” ở Nhật Bản 3/2011  “Phóng viên nhân dân” (Real time citizen journalist [ZJV12]  Tính thời gian thực của Twitter; Mô hình xác suất dự báo và lan truyền thông tin động đất [SOM10] nhanh hơn C/quan KTTV-NB.  Tư vấn sau thảm họa [CD11, DVC11] [AT12] Casilli, Antonio A. and Paola Tubaro (2012). Social media censorship in times of political unrest: A social simulation experiment on the UK riots, Bulletin of Sociological Methodology, 115 (1): 5-20. [CD11] Nigel Collier, Son Doan (2011). Syndromic Classification of Twitter Messages, eHealth 2011: 186-195 [SOM10] Takeshi Sakaki, Makoto Okazaki, Yutaka Matsuo (2010). Earthquake shakes Twitter users: real-time event detection by social sensors, WWW 2010: 851-860. [STM11] Takeshi Sakaki, Fujio Toriumi, Yutaka Matsuo (2011). Tweet trend analysis in an emergency situation, SWID '11: 3. [ZJV12] Homero Gil de Zúnĩga, Nakwon Jung, Sebastián Valenzuela (2012). Social Media Use for News and Individuals’ Social Capital, Civic Engagement and Political Participation, Journal of Computer-Mediated Communication 17 (2012) 319–336 I. Tác động khoa học Octob er 18 , 201 4 9 - Ngành xã hội học [WGG12]  5 nhóm chủ đề dựa trên Facebook: Phân tích mô tả người sử dụng, Động lực sử dụng Facebook, Trình bày danh tính, Vai trò của Facebook trong tương tác xã hội, Tính riêng tư và việc tiết lộ thông tin.  Phát sinh hướng nghiên cứu mới: "Netnography" = “Inter[net]” and “eth[nography]”; "Child-led Research" - Khoa học máy tính: khai phá dữ liệu mạng xã hội  Là nguồn tài nguyên thông tin phong phú [LVGE12]  Miền ứng dụng rộng lớn [EK10], [HSYY10], [Lesk11]…  Khai phá dữ liệu cấu trúc + Khai phá dữ liệu nội dung [WGG12] Robert E. Wilson, Samuel D. Gosling, and Lindsay T. Graham (2012). A Review of Facebook Research in the Social Sciences, Perspectives on Psychological Science 7(3) 203– 220. [LVGE12] Cliff Lampe, Jessica Vitak, Rebecca Gray, Nicole B. Ellison (2012). Perceptions of facebook's value as an information source, CHI 2012: 3195-3204 [EK10] David Easley and Jon Kleinberg (2010). Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press, 2010 [HSYY10] Jiawei Han, Yizhou Sun, Xifeng Yan, Philip S. Yu (2010). Mining Knowledge from Databases: An Information Network Analysis Approach, ACM SIGMOD Conference Tutorial, 2010. [Lesk11] Jure Leskovec (2011). Social Media Analytics, Tutorial at the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (Part 1: Information flow, Part2: Rich Interactions), 2011. II. Khai phá dữ liệu mạng xã hội Octob er 18 , 201 4 10 - Khai phá nội dung mạng xã hội [HSYY10, Lesk11]  quản lý danh tiếng (reputation management)  tiếp thị phương tiện truyền thông xã hội (Social media marketing)  phản ứng công dân (citizen response)  phân tích hành vi con người (Human behavior analysic)  phóng viên công dân thời gian thực (Real time citizen journalist)  - Khai phá cấu trúc mạng xã hội  mẫu và tính động về cấu trúc của mạng xã hội  thế giới nhỏ (small world)  liên kết mạnh – yếu (strong – weak tie)  phân bố luật lũy thừa (power law distribution)  cấu trúc cộng đồng (community)  Dự báo liên kết L. Liu và T. Zhou, 2010 [LZ10]  lý thuyết cân bằng (balance theory) và lý thuyết trạng thái (status theory) [EK10] [LZ10] L. Lu and T. Zhou (2010). Link prediction in complex networks: A survey, Physica A, 390:1150–1170, 2010 [...]... phần mềm      - Phát hiện vai trò trong mạng xã hội, Dự báo sự bùng nổ sự kiện trong mạng xã hội theo hai tình huống Bùng nổ sự kiện toàn cục Bùng nổ sự kiện cục bộ: một bộ phận mạng xã hội, một số thành viên có vai trò đặc biệt Hỗ trợ nghiệp vụ 25 Nội dung Hai pha   - Học mô hình Sử dụng mô hình Kết hợp các mạng xã hội  Cho thông tin hỗ trọ phát hiện bùng nổ sự kiện từ các mạng khác nhau Octob... Volume) 2012: 1051-1060 Octob er 18 , 201 4 Dự báo bùng nổ sự kiện - Phân hướng xu hướng Tweet - [STM11], Takeshi Sakaki và cộng sự phân tích xu hướng Tweet xung quanh sự kiện thảm họa kép "động đật – sóng thần“ Phân tích yếu tố tạo bùng nổ sự kiện    - [ZJHS11, ZSJSL12] và [DJZL12] Phân tích các yếu tố góp phần tạo ra sự bùng nổ sự kiện Dự báo bùng nổ sự kiện 24   Phân tích chủ đề ẩn   Được sử... hành vi và mạng xã hội và thực nghiệm hành vi phát hiện và thu hoạch các luật tiến hóa đối với các mạng 14   Khái niệm phân tích cuộc sống      Quá trình vòng kín 4 pha Experiment-Driven Closed-Loop Analytics Quan sát: quan sát tương tác và mối quan hệ người dùng mạng thời gian thực và thu thập các dấu vết kỹ thuật số Phân tích và Dự báo: tiếp nhận, phân tích dấu vết kỹ thuật số phát hiện các... -  Định nghĩa: tập nút và tập quan hệ Không như CSDL quản lý quan hệ xã hội: “quen biết” Cần phát hiện quan hệ xã hội trong xã hội thực Mạng thành viên câu lạc bộ Karate có hai cộng đồng: huấn luyện viên và chủ CLB Mạng email: phân cấp vai trò Quan hệ mạng thông tin công trình khoa học 17 III Phát hiện vai trò Một số giải pháp Mô hình đồ thị nhân tử xác suất theo thời gian [WHJTZ10]  Xếp hạng đối... hiện các mẫu để dự báo hành vi người dùng và xu hướng mạng Thực nghiệm: kiểm tra cách cá nhân/nhóm phù hợp với sự thay đổi về nội dung, cung cấp dịch vụ, kinh nghiệm tương tác, giá và ưu đãi Hành động con người: người dùng tạo ra trả lời từ thực nghiệm thông qua các loại thông tin phản hồi ⇒ dữ liệu cho pha Quan sát Octob er 18 , 201 4 II LARC, SMU: Bùng nổ sự kiện  Wayne Xin Zhao và cộng sự, 2011 [ZJHS11]... gian và cùng một chủ đề Cùng một người và cùng chủ đề 16 - II LARC, SMU: Bùng nổ sự kiện [ZSJSL12] Wayne Xin Zhao, Baihan Shu, Jing Jiang, Yang Song, Hongfei Yan and Xiaoming Li (2012) Identifying Event-related Bursts via Social Media Activities, EMNLPCoNLL'12:1466-1477, 2012 Octob er 18 , 201 4 - Quan hệ xã hội thực       -  Định nghĩa: tập nút và tập quan hệ Không như CSDL quản lý quan hệ xã hội: ... 201 4 • • • • • • Thu thập dữ liệu học từ mạng xã hội, Tiền xử lý dữ liệu, Xây dựng tập đặc trưng cho mô hình học, Thực hiện thuật toán học mô hình, Đánh giá mô hình kết quả, Tiếp nhận mô hình có chất lượng 26 IV Học mô hình [Barnes54] Barnes Octob er 18 , 201 4 • • • • Thu thập dữ liệu hiện thời trên mạng xã hội, Tiền xử lý dữ liệu, trích chọn đặc trưng, Thực hiện mô hình bài toán Trực quan hóa kết... nghiên cứu KPDL mạng xã Viện Tiêu chuẩn và công nghệ quốc gia Mỹ (NIST)   Nhánh hội nghị TREC: Blogsphore 2010, Microblogs 2011, 2012 Blogtrack 2010 [MSOS10]:        Kho ngữ liệu Blogs06 và Blogs08 Ba bài toán Tìm quan điểm (Opinion-Finding), Lọc tìm thú vị ((Blog Distillation), và Phát hiện tin nóng (Top news) 45 nhóm nghiên cứu tham gia Tìm quan điểm: dựa theo phân lớp, dựa theo từ vựng... liệu, gán vai trò cho mỗi cụm Chiến lược chuẩn hóa    - Chuẩn hóa tối đa/tối thiếu về [0,1] Chuẩn hóa logarithm Chuẩn hóa hạng Gán vai trò  Xem xét phân bổ dữ liệu theo 14 đặc trưng M1-M14 [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012) Building a role search engine for social media WWW (Companion Volume) 2012: 1051-1060 Octob er 18 , 201 4 23 Hệ thống tìm kiếm vai trò [TS12] - Vai trò với... cận lọc tìm thú vị: lựa chọn tài nguyên, lựa chọn chuyên gia Phát hiện tin nóng: bỏ phiếu, xệp hạng 11 - hội Microblog Track 2011, 2012      NIST tạo ra 60 chủ đề, giải quyết trong thời gian thực, tìm kiếm và xếp hạng tweest 2011: công bố của 34 nhóm trên thế giới http://trec.nist.gov/pubs/trec20/t20.proceedings.html M C McCreadie và cộng sự, 2012 [CSMOC12] [MSOS10] Craig Macdonald, Rodrygo L T Santos, . chung - Khai phá dữ liệu mạng xã hội - Phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội - Một mô hệ thống hình phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội - Một vài bàn luận Đặt. kiện  KTLab: Phát hiện vai trò, xếp hạng trong mạng xã hội, khai phá quan điểm cộng đồng  Vai trò lớn/hạng cao, cộng đồng ⇔ sự kiện / bùng nổ sự kiện  Dự báo bùng nổ sự kiện liên quan tới nút có vai. Phát hiện vai trò và dự báo bùng nổ sự kiện trên mạng xã hội 1 KTLab Hà Quang Thụy Phòng Thí nghiệm Công nghệ Tri thức - KTLab Trường