Chương 3 trình bày mơ hình đề xuất sử dụng mạng nơron tích chập thay thế mạng MLP cho việc phân tích quan hệ giữa các bình luận; trình bày về ý tưởng của một số bộ nhúng ngôn ngữ được sử dụng trong luận văn nhằm đánh giá ảnh hưởng của chúng đến mơ hình.
3.1 Đề xuất sử dụng mạng nơ-ron đồ thị tích chập trong mơ-đun phân tíchquan hệ giữa các bình luận quan hệ giữa các bình luận
Dựa trên mơ hình MCR với các xây dựng mạng đồ thị bình luận được trình bày ở mục 2.2.1, luận văn đề xuất việc thay đổi mạng MLP cho việc học đặc trưng quan hệ giữa các bình luận bằng mạng GCN. Dưới đây sẽ trình bày về lý do và chi tiết cách chỉnh sửa mạng đề xuất.
Quay trở lại với mơ đun phân tích quan hệ giữa các bình luận, có thể thấy, việc xếp chồng nhiều lớp MLP lại nhằm biểu diễn quan hệ mạch lạc giữa các nút sẽ tạo ra lượng tham số rất lớn cần được tối ưu. Điều này xảy ra do tất cả các nút đều được kết nối đẩy đủ với nhau. Mỗi nút được kết nối với một nút khác trong một mạng rất dày đặc. Khi xếp chồng nhiều lớp MLP, các kết nối này tiếp tục xoắn vào nhau, tạo nên không gian trọng số rất lớn [23]. Điều này càng không hiệu quả trong dữ liệu với chiều không gian lớn do lượng dư thừa các trọng số. Một bất lợi khác là nó bỏ qua các thơng tin về không gian liên kết giữa các nút do MLP lấy vectơ phẳng làm đầu vào.
Có thể thấy, MLP khơng thực sự phù hợp cho việc trích xuất đặc trưng nút trong dữ liệu graph. Thay vào đó, luận văn đề xuất sử dụng GCN cho việc trích xuất đặc trưng giữa dữ liệu văn bản và hình ảnh của bình luận, mang đến sự hiệu quả hơn trong việc học các đặc trưng liên quan đến liên kết trong không gian [23]. Việc sử dụng GCN cũng giúp giảm số lượng trọng số, giúp quá trình huấn luyện tránh được overfitting, cũng có thể học ở những lớp sâu hơn.
Hình 3.1 Mơ hình GCR cho dự đốn độ tin cậy của bình luận
Do đó, mơ hình đề xuất chỉ sử dụng MLP tại bước đầu tiên nhằm khởi tạo liên kết giữa các cạnh, tức ma trận kề. Sau đó, ma trận kề kết hợp cùng ma trận đặc trưng nút sẽ được đưa vào mơ hình GCN để huấn luyện. Từ đặc trưng nút, ma trận kề𝐴𝑡đại diện cho trọng số cạnh của lớp đầu tiên được tính như sau:
𝐴 𝑖,𝑗 0 = 𝑀𝐿𝑃 ([𝑔 𝑟,𝑖 0 , 𝑔 𝑟,𝑗 0 ]) 𝐴0 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐴0)
với MLP là một lớp multi-layer perceptron. 𝐴 đại diện cho trọng số ngữ 𝑖,𝑗
0
nghĩa giữa một nút i và nút j. Đây là bước khởi tạo ma trận cạnh của mạng G trước khi đưa vào mơ hình mạng tích chập đồ thị để học thơng tin của cạnh. Sau
lớp MLP đầu tiên, đặc trưng nút và ma trận cạnh của các nút được đưa qua mạng GCN với L lớp, thu được đặc trưng mới của các nút như sau:
𝑔 𝑟,𝑖 𝑡 = σ(𝐴𝑔 𝑟,𝑖 𝑡−1 𝑊𝑖−1)
Từ đây, các nút sẽ tiếp tục được đưa bộ pooling để tổng hợp trọng số đã được trình bày trong mục 2.2.1.
Hình 3.2 Cách thức hoạt động của mơ đun phân tích quan hệ giữa các bình luận của MCR và GCR.
Hình trên mơ tả cách thức hoạt động của mơ đun phân tích quan hệ giữa các bình luận của MCR và phương pháp thay thế GCN của mơ hình đề xuất. Tại đầu vào, mỗi nút trong đồ thị thể hiện một thông tin đánh giá. Đối với MCR, một lớp Graph Reasoning bao gồm việc dùng MLP học thơng tin biểu diễn cạnh, từ đó học thơng tin biểu diễn nút được cộng dồn thành L lớp. Cuối cùng cho ra một mạng với thông tin các nút chứa các thông tin đã được học. Đối với mạng đề xuất, MLP chỉ dùng một lần nhằm khởi tạo ma trận cạnh của mạng. Ma trận
cạnh sau đó cùng thơng tin đặc trưng nút đầu vào được sử dụng để đưa qua mạng GCN nhằm học thông tin nút. Việc cộng dồn lớp mạng được thực hiện ở mạng GCN. Như vậy, việc học thông tin nút sẽ do GCN đảm nhiệm hồn tồn, thay vì phải xoắn nhiều lớp MLP với nhau.
3.2 Đánh giá ảnh hưởng của các mơ hình nhúng
Từ dữ liệu văn bản đã được tách từ, mơ hình nhúng văn bản được sử dụng để chuyển các từ văn bản thành vectơ số trước khi đưa qua bộ mã hoá văn bản. Các mơ hình nhúng này được đào tạo trước nhằm nắm bắt được ý nghĩa ngữ nghĩa và cú pháp của một từ khi chúng được đào tạo trên các bộ dữ liệu lớn. Do vậy, mỗi từ trong mỗi mơ hình nhúng được huấn luyện trên một bộ dữ liệu khác nhau, cùng với phương pháp khác nhau có thể cho ra một vectơ ngữ nghĩa khác nhau. Điều này có thể mang đến những ảnh hưởng khác nhau đến hiệu suất của mơ hình sử dụng chúng.
Luận văn tập trung bình luận ảnh hưởng của 3 mơ hình ngơn ngữ đến chất lượng mơ hình bao gồm GLoVE, FastText và Word2Vec. Mỗi mơ hình nhúng được huấn luyện từ bộ dữ liệu khác nhau với phương pháp và ý tưởng khác nhau.
Ý tưởng cơ bản của Word2Vec [31] là thay vì biểu diễn từ dưới dạng one-hot encoding như đếm số lượng hay sử dụng tfidf trong một chiều không gian lớn, các từ được biểu diễn dày đặc trong một khơng gian có số chiều thấp bằng cách các từ giống nhau sẽ có vectơ giống nhau và ở gần nhau. Với Word2Vec, ngữ nghĩa được học cho một từ nhất định chỉ bị ảnh hưởng bởi các từ xung quanh. Word2Vec là một mơ hình dự đốn được huấn luyện bằng cách cố gắng dự đoán một từ mục tiêu được đưa ra trong ngữ cảnh (phương pháp CBOW) hoặc các từ ngữ cảnh từ mục tiêu (phương pháp skip-gram). Nó sử dụng các trọng số nhúng có thể huấn luyện để ảnh xạ các từ với các bộ nhúng tương ứng của chúng. Việc này được sử dụng để giúp mơ hình đưa ra dự đốn.
GLoVE [18] cũng coi từ là đơn vị nhỏ nhất để huấn luyện. Ý tưởng quan trọng của GLoVE là ta có thể suy ra mối quan hệ ngữ nghĩa giữa các từ từ ma
trận đồng xuất hiện của chúng. Ma trận đồng xuất hiện có trong đó với mỗi từ (các hàng), tần xuất (giá trị ma trận) xuất hiện trong một số ngữ cảnh (các cột) trong tập dữ liệu lớn. Do vậy, thực hiện phân tích nhân tử của ma trận này nhằm tạo ra ma trận có chiều thấp hơn, trong đó mỗi hàng bây giờ là một biểu diễn vectơ cho mỗi từ.
FastText [1] khá khác với 2 mơ hình nhúng trên. Trong khi Word2Vec và GLOVE coi mỗi từ là đơn vị nhỏ nhất để đào tạo, FastText sử dụng các ký tự n-gram là đơn vị nhỏ nhất. Ví dụ: vectơ từ, "apple", có thể được chia thành các đơn vị vectơ từ riêng biệt là "ap", "ứng dụng", "ple". FastText có thể tạo ra các embedding cho những từ hiếm gặp hoặc thậm chí khơng được nhìn thấy trong quá trình đào tạo vì các vectơ ký tự n-gram được chia sẻ với các từ khác.
Ngồi 3 mơ hình ngơn ngữ kể trên, cịn một số mơ hình ngơn ngữ khác như BERT [11], GPT2 [40], GPT 3 [5], … cũng có nhiều ứng dụng và kết quả tốt trên nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên khác nhau. Tuy nhiên, trong phạm vi của luận văn, em sẽ chỉ so sánh hiệu quả của 3 mơ hình ngơn ngữ đề xuất. Các mơ hình ngơn ngữ khác sẽ được thử nghiệm trong tương lai.
Hình 3.3 Bộ nhúng ngơn ngữ được sử dụng để chuyển văn bản thành vectơ ngữ nghĩa
Như đã trình bày ở mục 2.2.1, phần biểu diễn đặc trưng, văn bản đầu vào sẽ được tách thành các đơn vị n-gram. Sau đó, các n-gram này sẽ được đưa qua bộ nhúng văn bản để chuyển sang dạng vector. Tại đây, các bộ nhúng văn bản khác nhau sẽ được thay đổi, khiến cho vectơ ngữ nghĩa tại mỗi từ sẽ thay đổi. Tức dữ liệu văn bản sẽ được biểu diễn tại những khơng gian ngữ nghĩa khác nhau. Sau đó vectơ biểu diễn văn bản sẽ tiếp tục được đưa vào bộ mã hố như đã trình bày ở mục 2.2.1.