KIẾN THỨC CHUẨN Bà
Một số khái niệm về lý thuyết ồ thị
ịnh nghĩa 1.1 ồ thị vô hướng ồ thị vụ hướng G là một cặp cú thứ tự G= (V, E), ở õy V là một tập hợp cỏc ònh hoặc nỳt, cũn E là tập cỏc cặp khụng cú thứ tự chứa cỏc ònh phõn biệt, ược gọi là cạnh. Hai ònh thuộc một cạnh ược gọi là cỏc ònh ầu cuối của cạnh ú. ịnh nghĩa 1.2 ồ thị có hướng ồ thị cú hướng G là một cặp cú thứ tự G = (V, E), ở õy V là một tập hợp cỏc ònh hoặc nỳt, cũn E là tập cỏc cặp cú thứ tự chứa cỏc ònh phõn biệt, ược gọi là cạnh Cụ thể hơn nếu(a, b)∈E thỡ (a, b) là cạnh của G với ònh ầu là a, ònh cuối là b và cú hướng i từa ến b. ịnh nghĩa 1.3 ồ thị hai phần
Một ồ thị hai phần xỏc ịnh bởi: G= (U, V, E)trong ú U ∪V là tập ònh của ồ thị;
U, V rời nhau.U là tập hợp cỏc ònh trỏi,V là cỏc ònh phải và khụng cú cạnh nối hai ònh bất kỳ thuộc cùng một tập hayE ¦U ×V là tập hợp các cạnh liên kết giữaU và V. ịnh nghĩa 1.4 Hành trình; chu trình
Đồ thị có hướng G(V, E) bao gồm các tập hợp đỉnh V và cạnh có hướng E Một đường đi trong G là một dãy các đỉnh v0v1v2 vn sao cho với mọi i = 0,1, , n−1, {vi, vi+1} là một cạnh của G Các cạnh {vi, vi+1}, i = 0,1, , n−1 cũng được gọi là các cạnh của đường đi v0v1 vn Độ dài đường đi được ký hiệu là n, đỉnh v0 được gọi là đỉnh đầu, đỉnh vn được gọi là đỉnh cuối của đường đi Đường đi được gọi là khép kín nếu đỉnh đầu và đỉnh cuối của nó trùng nhau.
Một hành trỡnh ược gọi là ường nếu cỏc ònh của hành trỡnh ú ều khỏc nhau.Một hành trình khép kín ược gọi là chu trình, nếu nó có ộ dài ít nhất là 3 và khi xoá i ònh cuối thỡ trờ thành ường.
Khoa học mạng và cộng ồng mạng
Khoa học mạng ã phát triển thành một ngành học khổng lồ Trong phần này, chúng tôi sẽ giải thích một số kiến thức cơ bản về khoa học mạng Hiện nay có một số sách giáo trình tốt về khoa học mạng; trong số ó, chúng tôi ề cập ến tài liệu [1] với phạm vi bao phủ rộng và [2] tập trung duy nhất vào mô hình hóa, giải thích và chất lượng dữ liệu.
Có nhiều ịnh nghĩa khoa học mạng và ta có thể tìm ược một ịnh nghĩa về khoa học mạng trong [3]: Khoa học mạng là nghiên cứu về các mạng sử dụng lý thuyết toán học, tập trung vào phân tích và mô tả ặc iểm và trạng thái của mạng Nghiên cứu về các mạng ã thấy những nghiên cứu quan trọng, với trọng tâm là tìm hiểu và ánh giá các ặc tính thống kê của các mạng quy mô lớn (Newman, 2003).
Trong mục này chúng tôi chủ yếu tham khảo phần trình bày về cộng ồng ở trong tài liệu [4] và [5].
Cỏc mạng thường ược biểu diễn bằng cỏc ồ thị trong ú một nhúm cỏc nỳt (ònh) cú các liên kết giữa chúng (các cạnh) [4] Lý thuyết ồ thị là toán học của các mạng ang ược sử dụng ể mô hình hóa ồ thị (Stam, 2014) Erd¨os và Rényi (1959) ã giới thiệu các ồ thị ngẫu nhiờn trong ú xỏc suất cạnh giữa hai ònh là như nhau ối với bất kỳ cặp nào khỏc. Nhưng các mạng trong thế giới thực không phải là ồ thị ngẫu nhiên vì chúng có một trật tự tốt của các mẫu Một trong những ặc iểm thích hợp của các mạng trong thế giới thực là chúng có cấu trúc cộng ồng, có thể ược mô hình hóa một cách tương ối chính xác bằng cách sử dụng ồ thị (Fortunato, 2010; Singh, 2014) Nói chung, cộng ồng hoặc cụm ược ịnh nghĩa là một nhúm cỏc ònh cú cỏc liờn kết chặt chẽ khỏc với phần cũn lại của mạng (Yang và cộng sự, 2010) Xác ịnh cấu trúc cộng ồng là một bước tiến tới sự hiểu biết về các cấu trúc mạng khác nhau (Newman và Girvan, 2004) với các ứng dụng trong một số lĩnh vực như mạng xã hội trực tuyến và tất cả các ngành khoa học vật lý và ời sống (Lewis, 2011).
Thuật toán phát hiện cộng đồng được phát triển đa dạng, sử dụng các kỹ thuật, công cụ từ các lĩnh vực khác nhau như sinh học, vật lý, khoa học xã hội, toán ứng dụng và khoa học máy tính (Lancichinetti và Fortunato, 2009) Tuy nhiên, không có thuật toán phát hiện cộng đồng nào hoạt động hiệu quả với mọi loại mạng (Plantié và Crampes, 2013; Yang và cộng sự, 2016) do sự phức tạp của các mạng được tạo thành theo nhiều cách khác nhau Do đó, bài toán phát hiện cộng đồng vẫn là vấn đề được quan tâm và ngày càng có nhiều thuật toán phát hiện cộng đồng được đề xuất.
Nhiều hệ thống phức tạp trong tự nhiên và xã hội có thể ược mô tả dưới dạng ồ thị (mạng lưới) giới hạn mạng lưới kết nối phức tạp giữa các ơn vị mà chúng ược tạo thành [4] ồ thị ã nổi lên như một mô hình mạnh mẽ ể biểu diễn các loại dữ liệu khác nhau.
Dữ liệu có thể được mô hình hóa dưới dạng đồ thị, trong đó các nút tương ứng với các thực thể và các cạnh thể hiện mối liên hệ giữa chúng Điều này áp dụng cho nhiều loại dữ liệu, bao gồm dữ liệu không cấu trúc (tài liệu văn bản), bán cấu trúc (cơ sở dữ liệu XML) và có cấu trúc (cơ sở dữ liệu quan hệ) Các biểu đồ cũng phát sinh tự nhiên trong các ứng dụng như mạng sinh học, mạng xã hội và mạng thông tin.
Cấu trúc cộng ồng tồn tại một cách tự nhiên trong nhiều mạng lưới trong thế giới thực như mạng xó hội, mạng sinh học, mạng cộng tỏc và truyền thụng chò là một vài vớ dụ [4]. Một câu hỏi ược quan tâm là làm thế nào ể giải thích cấu trúc của các mạng như vậy về sự cùng tồn tại của các tiểu ơn vị cấu trúc của chúng (cộng ồng) gắn với các bộ phận có liên kết với chúng cao hơn Việc xác ịnh các cộng ồng chưa biết trước này (ví dụ, các nhóm người, các ngành công nghiệp và các protein liên quan ến chức năng) là rất quan trọng ối với sự hiểu biết về các ặc tính cấu trúc và chức năng của các mạng. ể minh họa, chúng tôi giới thiệu ba ví dụ áng chú ý về các cộng ồng [5].
• Mạng xã hội trực tuyến Một loại mạng mà cộng ồng thường xuyên ược quan sát là mạng xã hội trực tuyến ược kích hoạt bởi Internet và ược thúc ẩy bởi sự ra ời gần ây của các trang mạng xã hội trực tuyến như Facebook, Google+ và Twitter, nghiên cứu về khám phá cộng ồng trên các mạng xã hội trực tuyến ã và ang bùng nổ Với sự sẵn có của dữ liệu mạng xã hội quy mô lớn, nghiên cứu ã dẫn ến sự phát triển của nhiều ứng dụng thú vị, ví dụ: khám phá vòng kết nối xã hội và tìm kiếm cộng ồng có ảnh hưởng.
• Ngoài ra, do sự phát triển của các thiết bị iện thoại thông minh, các mạng xã hội trực tuyến ã dẫn ến sự phát triển nhanh chóng của các mạng xã hội ịa lý (còn ược gọi là mạng xã hội dựa trên vị trí), chẳng hạn như Foursquare, Yelp, Google+ và Facebook Places Trong mạng xã hội ịa lý, người dùng ược liên kết với thông tin vị trí (ví dụ: quê quán và ịa iểm ăng ký) và cộng ồng bao gồm những người dùng ược kết nối chặt chẽ trong lớp xã hội cũng như gần nhau về mặt không gian trong lớp không gian.
• Mạng cộng tác học thuật Mạng cộng tác học thuật nổi tiếng là mạng DBLP, trong ú một ònh ại diện cho một tỏc giả và một cạnh giữa hai tỏc giả biểu thị mối quan hệ cộng tỏc, tức là họ cú (cỏc) ấn phẩm ồng tỏc giả Ngoài ra, cỏc ònh cú thể cú cỏc thuộc tính ại diện cho lĩnh vực chuyên môn của tác giả như ấn phẩm, bài báo, sách. Các cộng ồng trong mạng DBLP có thể ại diện cho một nhóm tác giả thường xuyên cộng tác với nhau và làm việc về các chủ ề tương tự.
Mạng cộng tác học thuật trong ví dụ 3 là một mạng thông tin không ồng nhất [5]. Mạng khụng ồng nhất bao gồm cỏc ònh và cỏc cạnh của cả hai loại khỏc nhau Vớ dụ, trong một mạng lưới chăm súc sức khỏe, cỏc ònh cú thể là bệnh nhõn, bỏc sĩ, xột nghiệm y tế, bệnh tật, thuốc men, bệnh viện, phương pháp iều trị, Một mặt, việc coi tất cả các ònh cựng loại cú thể bỏ sút thụng tin quan trọng Mặt khỏc, việc coi mọi ònh là một kiểu riêng biệt có thể bỏ sót bức tranh lớn ây là một ví dụ cổ iển về một mạng không ồng nhất Nhiều loại ối tượng như vậy, các mạng thông tin liên kết với nhau, không ồng nhất nhưng thường là bán cấu trúc, làm cho các cộng ồng trên các mạng thông tin không ồng nhất trở nên phức tạp và thú vị.
Trong luận văn này ngoài việc giải quyết các bài toán phát hiện cộng ồng thông thường cú tất cả cỏc ònh cựng loại (chương 2) thỡ luận văn cũn tỡm hiểu về cỏch phỏt hiện cộng ồng trờn cỏc ồ thị hai phần ể giải quyết cho cỏc mạng mà cú hai loại ònh khỏc nhau (chương 3) Ngoài ví dụ về mạng các tác giả và các sản phẩm của họ thì trong thực tế ta cũng bắt gặp rất nhiều cỏc mạng gồm hai loại ònh khỏc nhau chẳng hạn như:
• ồ thị biểu diễn một số diễn viên và một số phim họ tham gia óng Khi ó tập các diễn viên và tập các bộ phim ược liên kết bởi các cạnh nếu diễn viên tham gia óng bộ phim nào thì sẽ có cạnh nối giữa chúng.
• ồ thị biểu diễn cỏc cụng ty sản xuất và người tiờu dựng Trong ú tập ònh gồm hai tập con là công ty sản xuất và người tiêu dùng Nếu người tiêu dùng sử dụng sản phẩm của công ty thì sẽ có cạnh liên kết giữa chúng.
Phát hiện cộng đồng trên mạng xã hội có tầm quan trọng lớn trong phân tích mạng xã hội Sự phát triển mạnh mẽ của mạng xã hội dẫn đến quy mô khổng lồ, khiến các thuật toán truyền thống không thể đáp ứng được hiệu quả phát hiện cộng đồng Do đó, cần có các phương pháp giảm kích thước mạng xã hội để đảm bảo tính hiệu quả và bảo toàn các đặc tính của cộng đồng mạng xã hội ban đầu Việc này đóng vai trò quan trọng và cần thiết trong phân tích mạng xã hội.
Nội dung chính của luận văn
Luận văn có hai chủ ề chính: thuật toán phân cụm cho ồ thị lớn và ồ thị lớn hai phần.
Trong chương 2 chúng tôi trình bày về một thuật toán phân cụm cho ồ thị lớn ó là thuật toán dựa vào ộng lực học khoảng cách (Distance Dynamics).
Trong chương 3 chúng tôi tiếp tục trình bày về thuật toán dựa vào ộng lực học khoảng cách ở trên ồ thị hai phần Ngoài ra trong chương này chúng tôi trình bày một số thuật toán khác cho ồ thị hai phần như thuật toán: ComSim (sử dụng tính tương tự của chu trỡnh và ònh).
Cuối cùng trong chương 4 chúng tôi sẽ so sánh các thuật toán này với một số các thuật toán phổ biến khác thông qua phân tích ví dụ cụ thể và thực hành chạy các thuật toán trênPython (trình bày ở phụ lục của luận văn).
CÁC THUẬT TOÁN PHÂN CỤM CHO Ồ THà LỚN
ộng lực khoảng cách so với tiêu chí cộng ồng do người dùng xác ịnh
Hiện nay, nhiều tiêu chí ã ược ề xuất ể ánh giá cấu trúc cộng ồng theo các quan iểm khác nhau và mỗi tiêu chí ều có những ưu và nhược iểm riêng Trong nghiên cứu này, thay vì giới thiệu tiêu chí mới do người dùng xác ịnh, chúng tôi trình bày một phương pháp phát hiện cộng ồng mới dựa trên ộng lực khoảng cách Tiêu chí cơ bản là hình dung mạng như một hệ thống ộng và tỡm hiểu khoảng cỏch ộng giữa cỏc ònh liền kề ể khỏm phá cấu trúc cộng ồng của nó So với hầu hết các thuật toán hiện có, ngoại trừ cách thức sinh ộng ể khám phá cộng ồng, quan iểm mới còn có thêm một số iểm khởi sắc áng mong ợi (a) Khám phá ộng lực học khoảng cách cung cấp một hình ảnh trực quan và toàn diện ể mô hình hóa ộng lực học mạng trong thế giới thực Ví dụ, một cộng ồng (ví dụ: mạng lưới tình bạn) thường ược thiết lập và tăng cường dựa trên các mối quan hệ thông qua tương tác (ví dụ: các hoạt ộng xã hội trong mạng lưới tình bạn) (b) Không sử dụng các biện pháp do người dùng xác ịnh, các cộng ồng ược phát hiện tự ộng do cấu trúc liên kết ịa phương bên trong của mạng (c) Cái nhìn sâu sắc về ộng lực học khoảng cách cũng cung cấp một cách tổng quát ể khai thác mạng trong không gian số liệu thay vì không gian vectơ iều này khá có lợi cho việc phân tích mạng vì thông tin của các mạng trong thế giới thực mà chúng ta thường có ược là các mẫu kết nối của chúng.
Sau ây, chúng tôi bắt ầu với một số ịnh nghĩa cần dùng ến, sau ó một mô hình tương tác ược ề xuất trong mục 2.1.3, mục 2.1.4 trình bày chi tiết thuật toán Attractor và chúng tôi phân tích ộ phức tạp về thời gian của nó trong mục 2.1.5.
Hình 1: Minh họa phát hiện cộng ồng dựa trên ộng lực học khoảng cách (a)Một mạng xã hội, trong ó các ường ứt nét biểu thị mối quan hệ giữa những người với nhau và các mũi tên biểu thị các tương tác trực tiếp lẫn nhau dựa trên các mối quan hệ của họ (b) Dựa vào mô hình tương tác ược ề xuất,
Kiến thức liên quan
Với mục ích phát hiện cộng ồng, một số ịnh nghĩa cần thiết trước tiên ược giới thiệu. ịnh nghĩa 2.1 Giả sửG= (V, E, W)là một ồ thị cú hướng, trong úV là tập hợp ònh,
E là tập hợp cạnh; W là tập trọng số tương ứng với cạnh.e={u, v} ∈E chò ra một kết nối giữa cỏc ònhuvàv.w(u, v)biểu diễn cho trọng số của cạnhe.∀e={u, v} ∈E, w(u, v) = 1, trong trường hợp ồ thị không có trọng số. ịnh nghĩa 2.2 (Lõn cận của ònh u) Cho một ồ thị vụ hướng G = (V, E, W), lõn cận của ònh u∈V là tập hợpN(u) chứa ònhu và cỏc ònh lõn cận của nú.
Dựa trên hai ịnh nghĩa, chúng tôi tiếp tục sử dụng khoảng cách Jaccard [14] ể xác ịnh khoảng cỏch ban ầu giữa hai ònh liền kề Lựa chọn biện phỏp này chủ yếu cú hai lý do ầu tiên, khoảng cách Jaccard cho chúng ta một cách trực quan ể mô tả tính tương tự của ònh Núi chung, hai ònh càng cú nhiều ònh lõn cận chung thỡ chỳng càng cú nhiều iểm chung và liên kết chặt chẽ hơn Thứ hai, khoảng cách Jaccard ược tính theo kiểu ịa phương và do ó hiệu quả về mặt thời gian. ịnh nghĩa 2.3 (Khoảng cách Jaccard) Cho một ồ thị vô hướng G= (V, E, W), khoảng cỏch Jaccard của hai ònhu và v ược xỏc ịnh là: d(u, v) = 1−|N(u)∩N(v)|
|N(u)∪N(v)| (2.2) ối với ồ thị cú trọng số, khoảng cỏch Jaccard của hai ònhuvà v ược mở rộng thờm như sau: d(u, v) = 1−
Mô hình tương tác ịa phương
Để khám phá cấu trúc cộng đồng trong các mạng dựa trên động lực khoảng cách, cần xây dựng một mô hình tương tác phù hợp Do đó, cần xem xét phạm vi tương tác và mô hình tương tác đầu tiên.
Phạm vi tương tác ể xác ịnh cấu trúc cộng ồng trong các mạng, việc khám phá cấu trúc liên kết ịa phương là iều cần thiết Do ó, thay vì quan sát tất cả các tương tác, chúng tôi tập trung vào ộng lực khoảng cách theo cách ịa phương Rõ ràng, các kết nối bên trong (các cạnh) của các mạng trong thế giới thực mang lại một cách tự nhiên ể mô hỡnh húa phạm vi tương tỏc Chớnh xỏc là ối với mỗi ònh, nú tương tỏc một cỏch tự nhiờn với cỏc ònh liền kề của nú.
Hỡnh 2: Minh họa sự thay ổi khoảng cỏch giữa cỏc ònh bị ảnh hưởng bởi ba kiểu tương tác riêng biệt.
Cỏc mẫu tương tỏc Sau khi chò ịnh phạm vi tương tỏc, bước quan trọng tiếp theo là xỏc ịnh cỏc kiểu tương tỏc giữa cỏc ònh ể mụ phỏng ộng lực khoảng cỏch Chớnh thức, ặt e ={u, v} ∈E là một cạnh giữa hai ònh liền kề u và v, và d(u, v) là khoảng cỏch ban ầu của nó Rõ ràng, bất kỳ thay ổi nào của khoảng cáchd(u, v)ều là kết quả của sự thay ổi của ònhuvà ònhv Trờn thực tế, cú ba tỡnh huống riờng biệt cho phộp ảnh hưởng ến khoảng cách d(u, v), dựa vào cấu trúc tô pô ịa phương của nó (xem Hình 2) Trong phần sau ây, chúng tôi sẽ trình bày chi tiết cách khoảng cách thay ổi tương ứng trong ba tình huống khác nhau.
Trường hợp 1: Ảnh hưởng từ cỏc ònh liờn kết trực tiếp Khoảng cỏch d(u, v) giữa ònh uvà ònhv rừ ràng bị ảnh hưởng bởi hai ònh liờn kết trực tiếpu vàv Thụng qua sự tương tỏc với nhau, ònh này hỳt ònh kia di chuyển về phớa mỡnh và do ú làm giảmd(u, v) (xem Hình 2 (b)) Giống như một mạng lưới tình bạn, mỗi người ều ảnh hưởng ến những người quen biết của họ và có xu hướng tăng dần tính gắn kết (tức là
