5 Kết luận và hướng phát triển
2.13 LSTM hai chiều[14]
Nền tảng encoder-decoder dựa trên LSTM này là nền tảng của nhiều mô hình tóm tắt văn bản theo hướng tóm lược. Tuy nhiên có nhiều vấn đề với mô hình này. Ví dụ, bộ encoder không được huấn luyện tốt thông qua cơ chế lan truyền ngược theo thời gian vì các đường dẫn từ bộ encoder đến đầu ra là tương đối xa nhau dẫn đến sự hạn chế trong việc lan truyền các tín hiệu đạo hàm. Kết quả sinh ra từ mô hình cũng kém khi gặp phải vấn đề Out-of-vocab (OOV - vấn đề xảy ra khi gặp các từ không thuộc từ điển) và sự lặp lại.
2.5.4 Cơ chế Attention
Cơ chế Attention (chú ý) đã đạt được nhiều thành công và được sử dụng phổ biến trong các mô hình seq2seq cho các nhiệm vụ xử lý ngôn ngữ tự nhiên khác nhau như Dịch máy, Tóm tắt văn bản,... Trong một kiến trúc encoder-decoder dựa trên cơ chế attention
(hình 2.14) bộ decoder không chỉ nhận vào các đại diện đã được mã hóa từ bộ encoder (trạng thái ẩn và trạng thái cell cuối cùng) của tài liệu nguồn, mà còn tập trung có chọn lọc vào các phần của văn bản ở mỗi bước giải mã.
Ví dụ, giả sử ta muốn nén câu sau "Quang Hải đã ghi một bàn thắng trong 30’ cuối của hiệp hai để đưa Việt Nam vào trận chung kết với chiến thắng 1-0 trước Thái Lan vào thứ sáu" để thu được bản tóm tắt "Việt Nam đánh bại Thái Lan 1-0 để vào chung kết". Khi sinh ra token "đánh bại" bộ decoder có thể cần chú ý hơn đến "chiến thắng 1-0" hơn là các phần khác của câu đầu vào. Sự chú ý này có thể đạt được bằng cơ chế alignment, đầu tiên tính toán phân phối attention của các token đầu vào và sau đó để bộ decoder biết nơi mà bộ decoder cần chú ý để tạo ra token mục tiêu. Trong nền tảng encoder-decoder trong hình 2.12 và 2.14, đưa ra tất cả các trạng thái ẩn của bộ encoder he = (he 1, he 2, ..., he J) và he j = −→ he j ⊕←h−e
j và trạng thái ẩn hiện tại của bộ decoder thì phân phối attentionhd
t trên các token nguồn được tính toán như sau:
αe tj = exp(s e tj) PJ k=1exp(se tk)
Trong đó, điểm số alignment se
tj = s he j, hd
t
có được nhờ hàm trọng số (score) dựa trên nội dung, cái mà có ba lựa chọn thay thế:
s he j, hd t = hejT hdt, dot he j T Walignhd t, general
(valign)Ttanh Walign he j⊕hd
t
+balign, concat