Mụ hỡnh seq2seq của mụ hỡnh

Trong mụ hỡnh seq2seq, giai đoạn mó húa sẽ đọc văn bản đầu vào  1, , ,..., ,...,2 3 

 i J

x x x x x x và mó húa thành cỏc trạng thỏi ẩn mó húa

 1, , ,..., ,...,2 3 



e e e e e e

j J

h h h h h h , cỏc trạng thỏi ẩn mó húa này sẽ là đầu vào cho giai đoạn giải mó để sinh bản túm tắt đầu ra yy y y1, , ,..., ,...,2 3 yj yT, trong đú:

- 𝑥𝑖, 𝑦𝑗 tương ứng là vộc tơcủa cỏc từ của văn bản đầu vào và văn bản túm tắt.

- 𝐽, 𝑇 tương ứng là số lượng cỏc từ của văn bản đầu vào và văn bản túm tắt. Mụ hỡnh seq2seq của mụ hỡnh cơ sở [128] với bộ mó húa sử dụng mạng biLSTM và bộ giải mó sử dụng mạng LSTM. Mạng biLSTM của bộ mó húa sẽ mó húa chuỗi cỏc từ đầu vào x thành cỏc trạng thỏi ẩn mó húa

 1, , ,..., ,...,2 3   e e e e e e j J h h h h h h và e  e  e j j j h h h ; với: e j

h , hej biểu diễn phụ thuộc theo chiều tiến, chiều lựi tương ứng,  là phộp ghộp nối, ký hiệu chỉ số trờn ebiểu thị rằng đú là giai đoạn mó húa). Mạng LSTM của bộ giải mó húa sẽ lấy cỏc biểu diễn đó được mó húa của văn bản (cỏc trạng thỏi ẩn và trạng thỏi nhớ e

J

85

1e

c ) làm đầu vào để sinh bản túm tắt y. Cỏc vộc tơ đó mó húa được sử dụng để khởi tạo cỏc trạng thỏi ẩn và cỏc trạng thỏi nhớ cho bộ giải mó như sau:

0d  tanh( 2 ( e  1e) 2

e d J e d

h W h h b (4.3)

0d eJ 1e

c c c (4.4) với: ký hiệu chỉ số trờn dbiểu thị rằng đú là giai đoạn giải mó, We2d,𝑏e2d là cỏc tham số học. Ở mỗi bước giải mó t, trạng thỏi ẩn d

t

h được cập nhật dựa trờn trạng thỏi ẩn trước đú d1

t

h và cỏc từ đầu vào Eyt1 (trong giai đoạn huấn luyện đú là cỏc từ trong văn bản túm tắt tham chiếu) được biểu diễn là:

 1, 1    t d d t t y h LSTM h E (4.5) Sau đú, phõn bố từ vựng sẽ được tớnh theo cụng thức:

, ( 2 d 2 )

vocab t d v t d v

P  softmax W h +b (4.6)

với: Wd2v,𝑏𝑑2𝑣 là cỏc tham số học, Pvocab t, là vộc tơ cú kớch thước bằng kớch thước của bộ từ vựng 𝑉. Ta sẽ ký hiệu xỏc suất sinh ra từ mục tiờu wtrong bộ từ vựng 𝑉 là

, ( )

vocab t

P w .