6. Cấu trúc của đề tài
1.2. Biểu diễn đồ thị bằng phép nhúng đỉnh
1.2.4. Các kiến trúc nhúng sâu tổng quát
Gần đây, nhiều hướng tiếp cận sử dụng các bộ mã hóa phức tạp hơn, thường dựa trên mạng nơ ron sâu và phụ thuộc một cách tổng quát hơn vào cấu trúc và thuộc tính của đồ thị.
1.2.4.1. Các phương pháp tự động mã hóa lân cận
Biểu diễn đồ thị nơ ron sâu (Deep Neural Graph Representations – DNGR) [7] và Nhúng mạng sâu có cấu trúc (Structural Deep Network Embeddings – SDNE) [8] kết hợp trực tiếp cấu trúc đồ thị vào thuật tốn bộ mã hóa bằng cách sử dụng mạng nơ ron sâu. Ý tưởng cơ bản đằng sau những cách tiếp cận này là sử dụng bộ mã hóa tự động, là một cách tiếp cận phổ biến trong học sâu, để nén thông tin về vùng lân cận cục bộ của một đỉnh (Hình 1.8). DNGR và SDNE cũng khác với các cách tiếp cận đã được xem xét trước đây ở chỗ chúng sử dụng bộ giải mã đơn chiếc thay vì bộ giải mã từng cặp đơi.
Hình 1.8. Tổng quan về tự động mã hóa sâu
Trong các cách tiếp cận này, mỗi đỉnh 𝑣𝑖 được gắn với một vectơ lân cận,
𝐬𝑖 ∈ ℝ|𝒱|, tương ứng với hàng của 𝑣𝑖 trong ma trận S (là ma trận chứa các độ tương tự đỉnh theo cặp đôi, 𝐒𝑖,𝑗 = 𝑠𝒢(𝑣𝑖, 𝑣𝑗)). Vector 𝐬𝑖 chứa độ tương tự của 𝑣𝑖 với tất cả các đỉnh khác trong đồ thị và có chức năng như một biểu diễn vectơ số chiều
lớn của vùng lân cận của 𝑣𝑖. Mục tiêu bộ mã hóa tự động của DNGR và SDNE là nhúng các nút bằng cách sử dụng các vectơ 𝐬𝑖 sao cho các vectơ 𝐬𝑖 sau đó có thể được khôi phục lại từ các phép nhúng này:
DEC(ENC(𝐬𝑖)) = DEC(𝐳𝑖) ≈ 𝐬𝑖 (1.14) Nói cách khác, hàm mất mát của các phương pháp này có dạng sau:
ℒ = ∑ ‖DEC(𝐳𝑖) − 𝐬𝑖‖22
𝑣𝑖∈𝒱 (1.15)
Giống như với bộ giải mã theo cặp đơi, chúng ta có số chiều của các phép nhúng 𝐳𝑖 nhỏ hơn nhiều so với |𝒱| (số chiều của các vectơ 𝐬𝑖), do đó mục tiêu là nén thơng tin vùng lân cận của đỉnh thành một vector có chiều thấp. Đối với cả SDNE và DNGR, các hàm của bộ mã hóa và bộ giải mã bao gồm nhiều lớp mạng nơ ron xếp chồng lên nhau: mỗi lớp của bộ mã hóa làm giảm số chiều của đầu vào của nó, và ngược lại, mỗi lớp của bộ giải mã làm tăng số chiều của đầu vào.
1.2.4.2. Các bộ mã hóa tổng hợp và tích chập vùng lân cận
Một số phương pháp nhúng đỉnh gần đây hướng tới việc giải quyết các hạn chế chính của các phương pháp nhúng nơng và tự động mã hóa bằng cách thiết kế bộ mã hóa dựa trên vùng lân cận cục bộ của đỉnh, nhưng không nhất thiết phải là toàn bộ đồ thị. Ý tưởng của những cách tiếp cận này là chúng tạo ra các phép nhúng cho một đỉnh bằng cách tổng hợp thông tin từ vùng lân cận cục bộ của nó (Hình 1.9) [1].
Không giống như các phương pháp đã xem xét trước đây, các thuật toán tổng hợp vùng lân cận này dựa vào các đặc trưng hoặc thuộc tính của đỉnh (ký hiệu là 𝐱𝑖 ∈ ℝ𝑚) để tạo ra các phép nhúng. Ví dụ mạng xã hội có thể có dữ liệu văn bản như thơng tin hồ sơ người dùng, các phương pháp tổng hợp vùng lân cận tận dụng thơng tin thuộc tính này để tạo ra các phép nhúng. Trong trường hợp khơng có dữ liệu thuộc tính, các phương pháp này có thể sử dụng thống kê đồ thị đơn giản làm thuộc tính (ví dụ như bậc của đỉnh) [9] hoặc gán cho mỗi đỉnh một vectơ chỉ báo one-hot làm thuộc tính [10]. Các phương pháp này thường được gọi là tích chập vì chúng biểu diễn một đỉnh như là một hàm phụ thuộc vùng lân cận xung quanh đỉnh đó, cách thức tương tự như vùng tiếp nhận của một lõi chập trung tâm trong lĩnh vực thị giác máy tính.
Một số phương pháp gần đây áp dụng hướng tiếp cận trên như phương pháp mạng tích chập đồ thị (Graph convolutional networks – GCN), đồ thị cột (column network) và GraphSAGE.