Bài giảng Khai phá Web - Chương 2: Phân tích mạng xã hội cung cấp cho người học các kiến thức: Mạng xã hội, thuật toán PageRank, thuật toán HIST, nhận dạng cộng đồng. Mời các bạn cùng tham khảo.
Nội dung 2.1 Mạng xã hội 2.2 Thuật toán PageRank 2.3 Thuật toán HIST [IT4868] Khai phá Web 2.4 Nhận dạng cộng đồng Chương 2: Phân tích mạng xã hội Chương Phân tích mạng xã hội 2.1 Mạng xã hội Ví dụ Chương Phân tích mạng xã hội 2.1 Mạng xã hội Ví dụ ● www ● FB, Twitter, weibo, zalo ● Wikipedia ● Mạng lưới báo khoa học, mạng l ưới h ợp tác ● Mạng lưới người dùng di động Chương Phân tích mạng xã hội 2.1 Mạng xã hội Phân tích mạng xã hội “Phân tích mạng xã hội nghiên c ứu th ực thể xã hội (tác nhân) s ự tương tác, liên k ết chúng.” - Bing Liu Source: https://kieranhealy.org/blog/archives/2013/06/18/a-co-citation-network-for-philosophy/ Chương Phân tích mạng xã hội 2.1 Mạng xã hội Phân tích mạng xã hội ● Chương Phân tích mạng xã hội 2.1 Mạng xã hội Một số khái niệm đồ thị Phân tích vai trò tác nhân m ạng xã hội ● Đồ thị = {đỉnh, cạnh} ● Đồ thị vô hướng/có hướng ● Nhận dạng cộng đồng mạng xã h ội ● Ma trận kề ● Dự đoán liên kết m ạng xã h ội ● Bậc đỉnh ● Đường ngắn Chương Phân tích mạng xã hội 2.1 Mạng xã hội Một số khái niệm đồ thị 10 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Một số khái niệm đồ thị ● Ma trận kề: – a[i, j] = tồn cạnh (i,j) = ngược lại = tồn cạnh từ đ ỉnh đ ến ` ` a) Đồ thị vơ hướng b) Đồ thị có hướng 11 12 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Một số khái niệm đồ thị ● Chương Phân tích mạng xã hội 2.1 Mạng xã hội Một số khái niệm đồ thị Bậc đỉnh: ● di(i) = số nút trỏ tới i ● do(i) = số nút i trỏ tới Thuật toán Dijkstra tìm đ ường ng ắn nh ất t đỉnh s tới đỉnh lại đ th ị d(v): Khoảng cách từ đỉnh v tới đỉnh s B1: Khởi tạo d(s) = 0; d(v) = oo B2: Sắp xếp đỉnh v theo trật tự xác định hàng đợi Q B3: Lấy đỉnh u thuộc hàng đợi Q cập nhật khoảng cách d(v) (nếu cần) với đỉnh v liền kề với u Quay lại B2 xử lý hết đỉnh 13 15 ` 16 17 18 19 20 21 22 23 24 25 26 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ tập trung đỉnh Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ trung tâm Phân tích vai trò đ ỉnh đ th ị d ựa trên: – Độ trung tâm: Nút i có thành phần trung tâm đồ thị không? – Độ quan trọng: Nút i có đóng vai trò quan trọng đồ khơng? 27 Độ trung tâm theo bậc: Đồ thị vô hướng: ` [0,1] d(i): bậc đỉnh i n: Số đỉnh đồ thị Đồ thị có hướng: d0(i): bậc đỉnh i 28 29 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ trung tâm Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ trung tâm Độ trung tâm lân cận: Độ trung tâm trung gian: d(i, j): Khoảng cách ngắn từ nút i tới nút j pjk(i): Số lượng đường ngắn từ j tới k mà qua i CB(1) = 15, CB(2) = CB(3) = CB(4) = CB(5) = CB(6) = CB(7) = 30 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ trung tâm 31 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ quan trọng BTVN: Tính độ trung tâm đ ỉnh đ thị theo bậc, trung gian, lân c ận Độ quan trọng theo bậc: di(i): Số nút trỏ tới i 10 32 33 Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ quan trọng Chương Phân tích mạng xã hội 2.1 Mạng xã hội Độ quan trọng Độ quan trọng lân cận: Độ quan trọng thứ hạng: ` Aij = i tới j, ngược lại A ij = Ii: Các nút tới i 34 35 Chương Phân tích mạng xã hội 2.2 Thuật toán PageRank Transition matrix Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Lawrence (Larry) Page et al 1999 “The PageRank Citation Ranking: Bringing Order to the Web” 1999: 150M pages, 1.7B links ` 36 37 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Transition matrix Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ranking Chuẩn hóa: PR(A) = (1 – d) / N + d * sumB:(B,A) in E PR(B) / do(B) PR(A): Ranking đỉnh A d: damping factor N: số đỉnh đồ thị (B,A) cạnh đồ thị do(B) bậc đỉnh B ` 38 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ví dụ (d = 1) 39 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ví dụ (d = 1) 40 41 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ví dụ (d = 0.85) Chương Phân tích mạng xã hội 2.2 Thuật toán PageRank Luyện tập (d = 0.7) a) b) c) 42 Chương Phân tích mạng xã hội 2.2 Thuật toán PageRank Luyện tập (d = 0.7) 43 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Luyện tập (d = 0.7) a) b) 44 45 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Luyện tập (d = 0.7) Chương Phân tích mạng xã hội 2.2 Thuật toán PageRank Cài đặt c) 46 Chương Phân tích mạng xã hội 2.2 Thuật toán PageRank Tốc độ hội tụ 47 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Tốc độ hội tụ BTVN: ● ● ● 48 Tải Wikipedia tiếng Việt https://dumps.wikimedia.org/viwiki/20180901/ Lọc độ thị gồm trang ch ủ đ ề (category pages) liên kết chúng Thực thuật toán PageRank đ th ị in kết tiêu đề trang có ranking cao 49 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ứng dụng 1: Tìm kiếm Web Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ứng dụng 2: Phân tích trích d ẫn Guan et al 2008 “Bringing Page-Rank to the Citation Analysis” 50 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ứng dụng: Phân tích trích dẫn 51 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ứng dụng 2: Phân tích trích d ẫn 52 53 Chương Phân tích mạng xã hội 2.2 Thuật tốn PageRank Ứng dụng 2: Phân tích trích d ẫn Q&A hieunk@soict.hust.edu.vn 54 55 ... lại B2 xử lý hết đỉnh 13 15 ` 16 17 18 19 20 21 22 23 24 25 26 Chương Phân tích mạng xã hội 2. 1 Mạng xã hội Độ tập trung đỉnh Chương Phân tích mạng xã hội 2. 1 Mạng xã hội Độ trung tâm Phân tích... https://kieranhealy.org/blog/archives /20 13/06/18/a-co-citation-network-for-philosophy/ Chương Phân tích mạng xã hội 2. 1 Mạng xã hội Phân tích mạng xã hội ● Chương Phân tích mạng xã hội 2. 1 Mạng xã hội Một số... đỉnh B ` 38 Chương Phân tích mạng xã hội 2. 2 Thuật tốn PageRank Ví dụ (d = 1) 39 Chương Phân tích mạng xã hội 2. 2 Thuật tốn PageRank Ví dụ (d = 1) 40 41 Chương Phân tích mạng xã hội 2. 2 Thuật tốn