2 Cấu trúc của hệ thống Forcing-SeqSeq
2.4 Mô hình TF-IDF và cơ chế Teacher forcing
Cuối cùng, kiến trúc mô hìnhF orcing−Seq2Seq đầy đủ là mô hình mà tôi đề xuất trong bài luận văn này. Đầu tiên, tôi vẫn sử dụngBase−Seq2Seq trong quá trình đào tạo như hình 8. Tuy nhiên, ở bước tạo tiêu đề tự động, tôi sử dụng mô hình TF-IDF và cơ chế Teacher forcing cải tiến nhằm tăng hiệu quả cho quá trình tạo tiêu đề trong bước giải mã. Mô hình TF-IDF được sử dụng với mục đích xác định từ quan trọng nhất trong một văn bản gốc, từ đó sẽ thể hiện đối tượng và văn bản gốc đang mô tả. Từ quan trọng nhất
Hình 10: Sử dụng mô hình ngôn ngữ sửa lỗi ngữ pháp
là từ có hệ số TF-IDF cao nhất. Sau đó, mô hìnhF orcing−Seq2Seq sử dụng từ này làm từ đầu vào đầu tiên cho giai đoạn giải mã. Điều này đòi hỏi một tập dữ liệu cực kỳ lớn và với nội dung tổng quát, vì vậy trong bài luận văn này, tôi đào tạo mô hình TF-IDF này với tập corpus mở rộng.
Sau khi huấn luyện mô hình TF-IDF, ở bước giải mã của việc tạo câu tiêu đề tự động, tôi sẽ sử dụng mô hình TF-IDF này để xác định từ quan trọng nhất trong câu văn bảnỴgốc tương ứng và đưa nó thành từ bắt đầu để tạo tiêu đề, thay vì ký tự đầu câu (ví dụ: ký tự
< start >). Phương pháp mà tôi thực hiện được thể hiện trong Hình 11.
Hình 11: Sử dụng cơ chế Teacher Forcing tăng hiệu quả tạo tiêu đề
Nhờ có bước này, từ ngữ quan trọng nhất của văn bản gốc được đưa vào phần giải mã, đảm bảo nội dung tiêu đề tạo ra truyền tải được nội dung chính của văn bản gốc, và từ này cũng điều hướng giúp cho các từ sinh ra tiếp theo thể hiện đúng nội dung văn bản gốc, giảm một lượng lớn kết quả sai khác về ngữ nghĩa ở các mô hình truyền thống và cũng giúp chúng ta tự tin hơn với kết quả của mô hình F orcing−Seq2Seq.
Bước cuối cùng của kiến trúc F orcing−Seq2Seq, tôi vẫn sử dụng Mô hình ngôn ngữ để tiếp tục sửa lỗi trong trường hợp tiêu đề tự động có từ bị lặp lại nhiều lần trong một câu với cơ chế đã mô tả như ở trên. Với cách tiếp cận này, các câu tiêu đề được tạo tự động sẽ có nhiều ý nghĩa hơn so với cách thông thường, đồng thời tránh lỗi lặp lại trong một câu bằng cách sử dụng Mô hình ngôn ngữ. Như vậy, mô hình F orcing−Seq2Seq đã giải quyết được 2 bất cập của mô hình tóm tắtBase−Seq2Seq mà tôi rút ra ở trên, đó là lỗi ngữ pháp lắp từ và lỗi ngữ nghĩa chưa bám sát văn bản gốc. Kết quả của các mô hình đề xuất F orcing−Seq2Seq sẽ được tôi trình bày trong phần thực nghiệm.