Để đảm bảo tớnh khỏch quan, kết quả thử nghiệm của mụ hỡnh túm tắt đơn văn bản đề xuất được so sỏnh với kết quả thử nghiệm của cỏc phương phỏp khỏc mà luận ỏnđó thực hiện hiện thử nghiệm và cỏc phương phỏphiện đại khỏc đó cụng bố trờn cựng bộ dữ liệu CNN và Baomoi tương ứng. Kết quả so sỏnh và đỏnh giỏ hiệu quả của cỏc phương phỏp được trỡnh bày trong Bảng 3.6.
Phương phỏp CNN Baomoi R-1 R-2 R-L R-1 R-2 R-L LexRank* 22,9 6,6 17,2 38,5 17,0 28,9 TextRank* 26,0 7,3 19,2 44,7 19,2 32,9 LEAD* 29,0 10,7 19,3 46,5 20,3 30,8 Cheng và Lapata [125] 28,4 10,0 25,0 - - - LEAD [125] 29,1 11,1 25,9 - - - REFRESH [125] 30,4 11,7 26,9 - - - USE_T + MLP* 28,9 10,3 19,3 - - - USE_T + MLP + MMR + Vị trớ cõu* 30,1 11,5 20,1 - - - RoBERTa/PhoBERT+ MLP* 31,36 11,69 28,22 52,509 24,695 37,794 RoBERTa/PhoBERT + MLP + MMR + Vị trớ cõu 32,18 12,31 28,87 52,511 24,696 37,796
Bảng 3.6. So sỏnh và đỏnh giỏ hiệuquả cỏc phương phỏp. Ký hiệu ‘*’,‘-’biểu diễn cỏc phương phỏpđược thử nghiệm, khụng được thử nghiệm trờn cỏc bộ dữ liệu
tương ứng
Kết quả trong Bảng 3.6 cho thấy đặc trưng vị trớ cõu và xỏc suất được chọn của cõu cú vai trũ quan trọng trong hệ thống túm tắt văn bản. Kết quả trong Bảng 3.6 cũng cho thấy mụ hỡnh túm tắt đơn văn bản hướng trớch rỳt đề xuất cú kết quả tốt hơn đỏng kể so với cỏc phương phỏp đó thử nghiệm và cỏc phương phỏp hiện đại khỏc đócụng bố trờn hai bộdữ liệu CNN và Baomoi tương ứng. Kết quả nàychứng tỏ rằng mụ hỡnh túm tắt đề xuất sử dụng cỏc mụ hỡnh tối ưu RoBERTa/PhoBERT của mụ hỡnh BERT được huấn luyện trước để mó húa văn bản đầu vào, MLP, MMR, đặc trưng vị trớ cõu và xỏc suất được chọn của cõu đó đạt được hiệu quả tốt cho túm tắt văn bản tiếng Anh và tiếng Việt.
64