Chương 2 CÁC KIẾN THỨC NỀN TẢNG
2.4. Tìm kiếm Beam
Trong mơ hình seq2seq, ở giai đoạn giải mã, bộ giải mã sẽ nhận đầu vào là kết quả được sinh ra tại bước trước đó (với bước đầu tiên, bộ giải mã nhận đầu vào là kết quả được sinh ra từ bộ mã hóa) để sinh ra bản tóm tắt mới. Trong bài tốn tóm tắt văn bản, thơng thường việc lựa chọn chuỗi đầu ra được thực hiện bởi các thuật tốn tìm kiếm và q trình này có thể sử dụng thuật tốn tìm kiếm Beam [115] để tìm kiếm một chuỗi đầu ra tốt hơn.
Ý tưởng của thuật tốn tìm kiếm Beam được tóm tắt như sau: Tại mỗi bước giải mã, thay vì chỉ lựa chọn từ có phân bố xác suất cao nhất thì chúng ta lựa chọn k từ (k gọi là kích thước tìm kiếm (beam_size)) có phân bố xác suất cao nhất để làm đầu vào cho bước giải mã tiếp theo. Quá trình này được lặp lại cho đến khi gặp ký hiệu kết thúc chuỗi. Khi đó, bản tóm tắt có trung bình xác suất cao nhất sẽ được chọn làm bản tóm tắt đầu ra cuối cùng. Ý tưởng của thuật tốn tìm kiếm Beam [115] được tóm tắt sau đây.
Thuật tốn 2.2: Tìm kiếm Beam
Đầu vào: Độ rộng (Beam_size) k, phân bố xác suất;
Đầu ra: Chuỗi đã được giải mã S = (y1, y2,..., yi,...yT); Thuật toán:
1: Chọn k từ có phân bố xác suất lớn nhất để tạo thành k chuỗi;
2: Lặp với mỗi chuỗi thực hiện:
- Chọn từ có phân bố xác suất lớn nhất; - Đưa từ này vào chuỗi đang xét hiện tại;
cho đến khi gặp điều kiện dừng (số lượng từ > số lượng từ giới hạn trước hoặc gặp ký hiệu kết thúc chuỗi); 3: Thu được k chuỗi (với mỗi chuỗi có xác suất được tính
bằng tích các xác suất của các từ trong chuỗi); 4: Chọn chuỗi có xác suất đã tính được lớn nhất; 5: Return;
Ví dụ: Khi chọn kích thước tìm kiếm beam_size = 3 thì tại mỗi bước giải mã, thuật tốn sẽ giữ lại 3 từ có phân bố xác suất cao nhất, rồi lấy từng từ làm đầu vào cho bước giải mã tiếp theo. Quá trình được lặp lại cho đến khi gặp dấu kết thúc chuỗi. Lúc đó, chuỗi có trung bình xác suất cao nhất sẽ được chọn.