Trong mụ hỡnh seq2seq, ở giai doạn giải mó, bộ giải mó sẽ nhận dầu vào là kết quả duợc sinh ra tại buớc truớc dú (với buớc dầu tiờn, bộ giải mó nhận dầu vào là kết quả duợc sinh ra từ bộ mó húa) dể sinh ra bản túm tắt mới. Trong bài toỏn túm tắt van bản, thụng thuờng việc lựa chọn chuỗi dầu ra duợc thực hiện bởi cỏc thuật toỏn tỡm kiếm và quỏ trỡnh này cú thể sử dụng thuật toỏn tỡm kiếm Beam [115] dể tỡm kiếm một chuỗi dầu ra tốt hon.
í tuởng của thuật toỏn tỡm kiếm Beam duợc túm tắt nhu sau: Tại mỗi buớc giải mó, thay vỡ chỉ lựa chọn từ cú phõn bố xỏc suất cao nhất thỡ chỳng ta lựa chọn k từ (k gọi là kớch thuớc tỡm kiếm (beam_size)) cú phõn bố xỏc suất cao nhất dể làm dầu vào cho buớc giải mó tiếp theo. Quỏ trỡnh này duợc lặp lại cho dến khi gặp ký hiệu kết thỳc chuỗi. Khi dú, bản túm tắt cú trung bỡnh xỏc suất cao nhất sẽ duợc chọn làm bản túm tắt dầu ra cuối cựng. í tuởng của thuật toỏn tỡm kiếm Beam [115] duợc túm tắt sau dõy.
Thuật toỏn 2.2: Tỡm kiếm Beam
Đầu vào: Độ rộng (Beam_size) k, phõn bố xỏc suất;
Đầu ra: Chuỗi dó duợc giải mó S = (y1, y2,..., yi,...yT); Thuật toỏn:
1: Chọn k từ cú phõn bố xỏc suất lớn nhất dể tạo thành k chuỗi;
2: Lặp với mỗi chuỗi thực hiện:
- Chọn từ cú phõn bố xỏc suất lớn nhất; - Đua từ này vào chuỗi dang xột hiện tại;
cho dến khi gặp diều kiện dừng (số luợng từ > số luợng từ giới hạn truớc hoặc gặp ký hiệu kết thỳc chuỗi); 3: Thu duợc k chuỗi (với mỗi chuỗi cú xỏc suất duợc tớnh
bằng tớch cỏc xỏc suất của cỏc từ trong chuỗi); 4: Chọn chuỗi cú xỏc suất dó tớnh duợc lớn nhất; 5: Return;
Vớ dụ: Khi chọn kớch thuớc tỡm kiếm beam_size = 3 thỡ tại mỗi buớc giải mó, thuật toỏn sẽ giữ lại 3 từ cú phõn bố xỏc suất cao nhất, rồi lấy từng từ làm dầu vào cho buớc giải mó tiếp theo. Quỏ trỡnh duợc lặp lại cho dến khi gặp dấu kết thỳc chuỗi. Lỳc dú, chuỗi cú trung bỡnh xỏc suất cao nhất sẽ duợc chọn.