Một số thuật toán xác định cộng đồng trong mạng xã hội

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ VĂN CHƯƠNG MỘT SỐ THUẬT TOÁN XÁC ĐỊNH CỘNG ĐỒNG TRONG MẠNG XÃ HỘI LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Thái Nguyên – 2021 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ VĂN CHƯƠNG MỘT SỐ THUẬT TOÁN XÁC ĐỊNH CỘNG ĐỒNG TRONG MẠNG XÃ HỘI LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 84 01 01 Người hướng dẫn: TS Vũ Vinh Quang Thái Nguyên - 2021 LỜI CẢM ƠN Để hoàn thành luận văn trước tiên, em xin gửi lời cảm ơn sâu sắc tới thầy giáo hướng dẫn TS Vũ Vinh Quang tận tình hướng dẫn đưa nhiều ý kiến đóng góp cho em suốt q trình thực hoàn thành luận văn Em xin gửi lời cảm ơn đến thầy giáo, cô giáo Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên trực tiếp giảng dạy truyền đạt kiến thức quý báu cho em suốt trình học tập trường Mặc dù cố gắng hoàn thành luận văn phạm vi khả mình, nhiên khơng tránh khỏi thiếu sót Em mong nhận cảm thông bảo quý thầy cô bạn Em xin chân thành cảm ơn LỜI CAM ĐOAN Tôi xin cam đoan Luận văn “Một số thuật toán xác định cộng đồng mạng xã hội” thực hướng dẫn trực tiếp thầy TS Vũ Vinh Quang Các kết quả, số liệu nêu luận văn trung thực Tất tham khảo từ nghiên cứu liên quan nêu rõ nguồn gốc danh mục tài liệu tham khảo rõ tham khảo tài liệu Mọi chép không hợp lệ vi phạm quy chế đào tạo, xin chịu hoàn toàn trách nhiệm Thái Nguyên, ngày 18 tháng 02 năm 2021 Học viên Đỗ Văn Chương MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN DANH SÁCH CÁC HÌNH VẼ MỞ ĐẦU CHƯƠNG 11 TỔNG QUAN VỀ MƠ HÌNH ĐỒ THỊ VÀ MẠNG XÃ HỘI 11 1.1 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ MƠ HÌNH ĐỒ THỊ 11 1.1.1 Một số định nghĩa đồ thị 11 1.1.2 Một số khái niệm 12 1.1.3 Các phương pháp mô tả đồ thị 13 1.2 MỘT SỐ THUẬT TOÁN TRÊN ĐỒ THỊ 15 1.2.1 Các thuật toán duyệt đồ thị 16 1.2.2 Bài toán xác định đường ngắn 18 1.3 MỘT SỐ KIẾN THỨC VỀ MẠNG XÃ HỘI 22 1.3.1 Một số khái niệm 22 1.3.3 Một số độ đo đồ thị mạng xã hội 22 CHƯƠNG 36 MỘT SỐ THUẬT TOÁN XÁC ĐỊNH CỘNG ĐỒNG 36 2.1 GIỚI THIỆU CHUNG 36 Nhóm thuật tốn dựa mơ đun 36 Các thuật tốn dựa phân tầng Clique 36 Các thuật toán dựa lan truyền nhãn 37 Các thuật toán dựa phân vùng phân cấp 37 2.2 MỘT SỐ THUẬT TOÁN XÁC ĐỊNH MẠNG XÃ HỘI 39 2.2.1 Giới thiệu họ thuật toán Girvan Newman 2.2.2 Giới thiệu thuật toán CONGA 39 42 2.2.3 Thuật toán lan truyền nhãn LPA 48 2.2.4 Thuật toán phát cộng đồng dựa độ đo đỉnh 51 CHƯƠNG 54 MƠ HÌNH CÁC CỘNG ĐỒNG HỌC SINH 54 TRONG TRƯỜNG PHỔ THÔNG 54 3.1 GIỚI THIỆU VỀ NHÀ TRƯỜNG 54 3.2 XÂY DỰNG ĐỒ THỊ DỮ LIỆU CỦA HỌC SINH 54 3.2.1 Đặt vấn đề 56 3.2.2 Kết tổng hợp phiếu điều tra 57 3.2.1 Xây dựng đồ thị mạng xã hội 58 3.3 KẾT QUẢ PHÂN TÍCH CÁC CỘNG ĐỒNG 59 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 PHỤ LỤC 65 THUẬT TOÁN XÁC ĐỊNH CỘNG ĐỒNG LPA THUẬT TOÁN XÁC ĐỊNH CỘNG ĐỒNG DO_CD 65 66 DANH SÁCH CÁC HÌNH VẼ Stt Tên hình vẽ Hình 1.1: (a) Một đồ thị vơ hướng Hình 1.1: (b) Biểu diễn ma trận kề Hình 1.1: (c) Biểu diễn danh sách kề Hình 1.2: (a) Một đồ thị có hướng Hình 1.2: (b) Ma trận kề Hình 1.2: (c) Biểu diễn danh sách kề Hình 1.3: (a) Đồ thị trọng số Hình 1.3: (b) Ma trận kề Hình 1.3: (c) Danh sách kề 10 Hình 1.4: Duyệt theo chiều rộng BFS 11 Hình 1.5: Mạng Zachary Karate Club 12 Hình 1.6: Mạng American college football 13 Hình 1.7: Mạng Dolphin 14 Hình 1.8: Mạng Les Miserables 15 Hình 1.9: Độ đo trung tâm đỉnh đồ thị 16 Hình 1.10: Minh họa số độ đo đồ thị 17 Hình 1.11: Đồ thị G vơ hướng 18 Hình 2.1: Ví dụ trường hợp khơng phân tách đỉnh v đồ thị 19 Hình 2.2: Ví dụ phép phân chia đỉnh đồ thị 20 Hình 2.3: Tìm phép phân chia tối ưu 21 Hình 2.4: Ví dụ đồ thị mạng xã hội DANH SÁCH CÁC BẢNG Stt Tên bảng Bảng 3.1: Mã số môn học Bảng 3.2: Mã số loại khiếu Bảng 3.3: Kết xác định cộng đồng đồ thị HT_12A4.dat Thuật toán Lan truyền nhãn LPA – Algorithm_LPA.m Bảng 3.4: Kết xác định cộng đồng đồ thị HT_12.dat Thuật toán Lan truyền nhãn LPA – Algorithm_LPA.m Bảng 3.5: Kết xác định cộng đồng tất lớp khối 12 Thuật toán Lan truyền nhãn LPA- Thuật toán DO_CD MỞ ĐẦU Cấu trúc đồ thị đánh giá cấu trúc có tính bao qt mơ tả đối tượng so với cấu trúc tuần tự, cây, mạng ngữ nghĩa… Dựa cấu trúc thiết kế nhiều thuật tốn giải nhiều tốn có độ tính tốn phức tạp cao Mỗi liệu lớn hệ thống mạng biểu diễn dạng đồ thị mối quan hệ chúng theo liên kết kết nối vật lý; kết nối mạng lớp mạng; mối quan hệ mạng xã hội; siêu liên kết trang web tương tác phức tạp thực thể Để đưa liệu xét vào dạng đồ thị, cần phải định nghĩa ma trận mô tả cấu trúc tổng thể đồ thị; định nghĩa ma trận mô tả mẫu đặc trưng giao tiếp bên đồ thị phải tìm cấu trúc có tính đặc trưng cộng đồng mạng; hiểu rõ mơ hình việc lấy từ đồ thị; phát triển ứng dụng thuật toán hiệu để khai thác liệu hệ thống mạng Nhiều liệu có cấu trúc biểu diễn mạng, tập hợp đỉnh nối với theo cặp liên kết, mạng sinh học, hợp tác nhà nghiên cứu,… Đặc điểm quan trọng gắn kết mạng lại với cấu trúc cộng đồng, có nhóm có mật độ kết nối mạnh đỉnh nhóm kết nối yếu đỉnh thuộc nhóm khác Do đó, việc xác định cộng đồng xem việc tìm kiếm cụm đỉnh phân nhóm Một cộng đồng nhóm thực thể dùng chia sẻ tài sản tương tự kết nối với thông qua mối quan hệ lựa chọn Việc xác định kết nối định vị thực thể cộng đồng khác coi mục tiêu nghiên cứu phát cộng đồng Bằng trực quan dễ dàng tìm nhóm cộng đồng có độ tập trung cao, cộng đồng hình thành mối liên hệ chặt chẽ dễ thấy số cộng đồng hình thành dạng ẩn Điều quan trọng phải tìm phân phối cạnh đỉnh, từ phát đưa cộng đồng tồn bên mạng xã hội 60 Vật lý 85 71 43 42 41 22 21 18 16 17 133 122 120 115 14 39 34 31 30 26 13 11 12 88 77 75 70 27 10 15 25 24 23 481 480 479 475 474 472 471 470 463 462 461 458 448 447 446 443 441 439 435 434 433 432 431 429 427 426 425 424 423 421 418 416 415 413 412 410 409 407 406 402 401 400 399 124 79 374 373 372 371 370 369 368 367 366 363 362 361 360 359 358 357 356 355 354 353 352 349 347 345 339 338 337 336 331 322 321 319 318 315 312 311 306 305 304 Công nghệ 302 301 300 298 294 292 290 287 284 283 282 281 280 279 278 277 276 275 274 272 271 264 263 261 258 255 254 253 251 248 246 243 242 240 239 238 236 235 234 233 230 229 226 224 222 221 216 206 191 188 187 185 180 179 178 177 173 172 170 169 168 161 160 159 156 146 145 144 141 139 134 132 123 109 107 105 103 101 78 64 62 60 58 56 99 98 94 54 53 49 48 36 93 89 28 19 87 478 477 476 467 466 465 460 457 456 455 454 453 451 449 445 444 442 325 267 250 249 245 232 227 220 219 213 210 207 203 201 200 197 193 192 189 Toán học 183 176 175 174 165 164 163 158 155 154 153 152 151 149 147 143 142 140 136 135 128 125 121 119 118 112 110 108 74 73 67 65 63 106 104 102 61 59 57 91 90 83 80 76 47 46 45 44 37 35 33 29 20 468 464 438 437 436 430 404 382 343 342 340 335 Ngoại ngữ 333 332 329 328 327 324 316 310 307 299 273 269 268 266 265 262 260 259 237 231 218 214 208 199 198 196 195 182 181 166 162 137 131 129 126 117 61 113 111 100 95 92 86 84 81 72 68 Giáo dục 348 346 344 334 330 313 256 202 127 Công dân 52 51 38 Địa lý Tin học Sinh học 10 Văn học 11 Lịch sử 417 377 365 364 323 308 291 204 114 66 55 50 97 69 96 32 459 420 419 414 411 405 326 317 314 309 289 257 252 247 244 228 225 223 186 184 157 124 79 350 270 217 215 212 211 209 205 194 190 422 408 403 351 341 320 303 297 296 295 293 288 286 285 428 241 Bảng 3.5: Kết xác định cộng đồng tất lớp khối 12 Thuật toán Lan truyền nhãn LPA- Thuật toán DO_CD Tên Số học lớp sinh 82 Số cộng đồng Thời gian chạy Thời gian chạy LPA DO_CD 12A1 47 0.4476 2.4426 12A2 47 0.4235 2.3543 12A3 44 0.4720 2.7204 12A4 45 0.4598 2.5989 12A5 45 0.4628 2.4285 12A6 42 0.4658 2.6581 12A7 44 0.4695 2.6956 12A8 44 0.4720 2.7205 12A9 41 0.4756 2.4564 12A10 44 0.4776 2.4675 12A11 42 0.4820 2.2043 62 Hoàn toàn tương tự, thu kết xác định cộng đồng học sinh trường khối 10 chung toàn trường Các kết thu xác định cộng đồng học sinh có chung khiếu Thơng qua kết thực nghiệm thuật toán liệu thực tế với số thành viên lớn có số nhận xét sau đây: + Thuật tốn LPA DO_CD xác định cộng đồng mạng xã hội với độ xác cao Phù hợp với mơ hình mạng xã hội gồm thành viên học sinh trường, cộng đông thu bao gồm thành viên có sở thích + Trong trường hợp phối hợp hai sở thích Học tập Năng khiếu tức hai học sinh có sở thích coi có mối qua hệ khăng khít ta thu mạng xa hội với quan hệ phức tạp Áp dụng thuật toán trên, thu cộng đồng mô tả mối quan hệ tốt thực tế + Tại mạng xã hội nhà trường, thấy học sinh khối 12 tập chung nhiều vào ý thích học mơn Cơng nghệ với số lượng 50%, thứ nhì mơn tốn khoảng 25% thứ mơn ngoại ngữ khoảng 10% Các môn xã hội văn, sử, địa học sinh quan tâm Đây phản ánh xu học sinh + Tốc độ thuật toán LPA nhanh thuật toán DO_CD thuật toán xác định bậc đỉnh mức độ phụ thuộc thông qua việc xác định đường ngắn theo thuật toán Floyd độ phức tạp O(n3) thuật tốn LPA xác định bậc đỉnh theo định nghĩa thông thường (Số cạnh nối với đỉnh) độ phức tạp O(n) Kiểm tra với đồ thị mạng xã hội học sinh toàn trường với 1500 thành viên, thời gian chạy thuật tốn LPA 35.7866s thời gian chạy DO_CD 280.5210s 63 KẾT LUẬN Nội dung luận văn nghiên cứu mơ hình mạng xã hội, toán cộng đồng số thuật toán xác định cộng đồng mạng xã hội Các kết luận văn bao gồm: Trình bày kiến thức lý thuyết đồ thị với số thuật toán mơ hình đồ thị thuật tốn duyệt đồ thị, thuật toán xác định đường ngắn làm sở để thiết kế thuật toán xác định cộng đồng Nghiên cứu khái niệm toán cộng đồng mạng xã hội, khái niệm độ đo đỉnh, độ đo cạnh Mơ hình tốn cộng đồng hướng nghiên cứu Nghiên cứu số thuật toán xác định cộng đồng: Thuật toán Girvan_ Newman, thuật toán CONGA, thuật toán lan truyền nhãn LPA, thuật toán phân cụm đồ thị DO_CD, phân tích ưu nhược điểm độ phức tạp thuật toán cài đặt chi tiết thuật tốn LPA DO_CD ngơn ngữ lập trình Matlab Xây dựng liệu sở thích học tập khiếu học sinh trường Phổ thơng Trung học Hiệp Hịa Bắc Giang, từ xây dựng đồ thị mạng xã hội tương ứng mô tả mối quan hệ học sinh lớp, khối toàn trường Sử dụng thuật toán LPA DO_CD thực nghiệm xác định cộng đồng đồ thị mạng xã hội, từ dó xác định cộng đồng gồm nhóm học sinh có sở thích nhà trường, từ đề xuất thành lập câu lạc sinh hoạt bao gồm thành viên cộng đồng Hướng phát triển tiếp sau luận văn cải tiến tốc độ thuật toán phát cộng đồng ứng dụng phát cộng đồng mơ hình cụ thể thực tế 64 65 TÀI LIỆU THAM KHẢO Tiếng việt [1] Nguyễn Đức Nghĩa, Nguyễn Tơ Thành, Tốn rời rạc, Nhà xuất ĐHQG Hà Nội 2003 [2] Nguyễn Hữu Ngự, Lý thuyết đồ thị, Nhà xuất Đại học Quốc gia Hà Nội, 2001 [3] Nguyễn Hiền Trinh, Vũ Vinh Quang (2020), Ứng dụng phương pháp phân cụm phổ toán phát cộng đồng, ISSN: 1859-2171, e-ISSN: 2615-9562, TNU Journal of Science and Technology 225(06): 303 – 310 [4] Nguyễn Hiền Trinh, Vũ Vinh Quang, Cáp Thanh Tùng (2020), Kết đề xuất thuật toán phát cộng đồng mạng xã hội, TNU Journal of Science and Technology 225(09): 103 – 111 Tiếng Anh [5] Girvan M and Newman M E J, Community Structure in social and biological networks, 2002 [6] Steve Gregorg, An Algorithm to find Overlapping Community Structure in networks, England, 2010 [7] U N Raghavan, R Albert, S Kumara “Near linear time algorithm to detect community structures in large-scale network”, Physics Reports, Vol 23, pp 306-323, 2007 [8] U N Raghavan, R Albert, S Kumara “Near linear time algorithm to detect community structures in large-scale network”, Physics Reports, Vol 23, pp 306-323, 2007 [9] A Zhang, G Ren, Y Lin, “Detecting community structures in network by label propagation with prediction of percolation transition”, The Scientific word journal, Vol 14, pp 315-336, 2014 [10] T Wu, Y Guo, L Chen, “Integrated structure investigation in complex networks by label propagation”, Physica A, 2016 [11] Bader D A., Kintali S., Madduri K., Mihail M (2007) Approximating Betweenness centrality In WAW PHỤ LỤC Thuật toán xác định cộng đồng LPA function LPA=Algorithm(k) % Ngay 18/2/2021 clc; load d:\chuong\NK.dat SO_HS=length(NK) for i=1:SO_HS MA(i)=i; end n=SO_HS; k=1; for i=1:n for j=i+1:n if NK(j)==NK(i) source_1(k)=i; target_1(k)=j; k=k+1; end; end; end; A=1000*ones(n); for i=1:n A(i,i)=0; A(source_1(i),target_1(i))=1; A(target_1(i),source_1(i))=1; end; %Buoc 1: Xac dinh bac cua cac dinh bac=zeros(1,n); for i=1:n for j=1:n if (A(i,j)==1) bac(i)=bac(i)+1; end; end end %Buoc 2: Khoi dong tap dinh theo thu tu ngau nhien for i=1:n RAN(i)=i; end %Buoc 3: Khoi dong nhan ban dau cho tat ca cac dinh for i=1:n LA(i)=i; end %Buoc 4: Lan truyen nhan for k=1:2 for i=1:n max=0; %Xac dinh dinh co bac lon nhat tap dinh ke voi dinh i for j=1:n if and((A(RAN(i),j)==1),(maxLA(j) tg=LA(i);LA(i)=LA(j);LA(j)=tg; tg1=cs(i);cs(i)=cs(j);cs(j)=tg1; end; end end % Buoc 5: Xac dinh cac cong dong ID=LA(1);C(1,1)=ID;k=1;l=2;C(1,l)=cs(1); cd=1; %Dem so cong dong for i=1:n if (LA(i)==ID) C(k,l)=cs(i);l=l+1; %Xac dinh cac dinh cung cong dong else ID=LA(i);k=k+1;C(k,1)=ID;l=2;C(k,2)=cs(i);l=l+1;cd=cd+1; %Chuyen cong dong end; end So_cong_dong=cd Danh_sach_cac_cong_dong=C Thuật toán xác định cộng đồng DO_CD function DO_CD=Algorithm_1 % Ngay 17/2/2021 clc; load d:\chuong\NK.dat SO_HS=length(NK) for i=1:SO_HS MA(i)=i; end KK=NK; for i=1:SO_HS-1 for j=i+1:SO_HS if KK(i)>KK(j) tg=KK(i);KK(i)=KK(j);KK(j)=tg; end; end; end; cd=1; for i=1:SO_HS-1 if KK(i)D(i,r)+D(r,j) D(i,j)=D(i,r)+D(r,j); P(i,j)=P(r,j); end; end; end; end; for k=1:n for i=1:n for j=1:n ok=false; if and(D(i,j)0)%Dieu kien ton tai duong di tu i->j if or(i==k,j==k) %diem dau hoac diem cuoi qua dinh k trong_so(k)=trong_so(k)+1; ok=true; else vet=j; while not(P(i,vet)==i) vet=P(i,vet); if vet==k trong_so(k)=trong_so(k)+1; ok=true; end; end; end; end; if ok %ton tai duong di qua dinh k vet=j; muc_do(k,vet)=muc_do(k,vet)+1; if P(i,vet)==i muc_do(k,i)=muc_do(k,i)+1; else while not(P(i,vet)==i) vet=P(i,vet); muc_do(k,vet)=muc_do(k,vet)+1; end; muc_do(k,i)=muc_do(k,i)+1; end; end; end; end; end; %Buoc 2: Xac dinh cong dong for i=1:n %Tap chi so CS(i)=i; end; for i=1:n-1 for j=i+1:n if (trong_so(i)