Kết quả thử nghiệm của các mơ hình xây dựng

Một phần của tài liệu LATS-TuanLM (Trang 90 - 92)

Với các kết quả thử nghiệm trình bày trong Bảng 3.14, mặc dù mơ hình 1 chưa xử lý loại bỏ các câu trùng lặp nhưng đã cho kết quả khả quan và tốt hơn các phương pháp như LexRank, TextRank, LEAD (Bảng 3.1) trên cả hai bộ dữ liệu CNN, Baomoi tương ứng. Trong mơ hình 2, phương pháp MMR được kết hợp vào mơ hình tóm tắt để loại bỏ các thơng tin trùng lặp đã cho kết quả tốt hơn mơ hình 1. Mơ hình 3 mặc dù chưa xử lý loại bỏ các thông tin trùng lặp nhưng việc kết hợp kỹ thuật học tăng cường Deep Q-Learning đã cho kết quả tốt hơn so với mơ hình 1 và thậm chí tốt hơn cả mơ hình 2, điều này chứng tỏ mơ hình tóm tắt kết hợp với kỹ thuật học tăng cường đã cho kết quả tốt. Với việc sử dụng phương pháp MMR, mơ hình 4 đã cho các kết quả tốt hơn rõ rệt so với mơ hình 3 trên cả hai bộ dữ liệu CNN và Baomoi.

Có thể thấy rằng, kết quả thử nghiệm của mơ hình 4 là tốt nhất trong các mơ hình xây dựng và mơ hình 4 được chọn cho phương pháp tóm tắt đề xuất mBERT-

Tiny_seq2seq_DeepQL_ESDS.

Bảng 3.15 biểu diễn một mẫu tóm tắt gồm bản tóm tắt tham chiếu của con người và bản tóm tắt đầu ra của phương pháp tóm tắt đề xuất mBERT- Tiny_seq2seq_DeepQL_ESDS trên bộ dữ liệu CNN. Văn bản nguồn của mẫu tóm tắt này xem Phụ lục C.3 trong phần Phụ lục.

Bản tóm tắt tham chiếu

“The Shariya refugee camp opened around six months ago, made up of 4,000 tents and counting . The vast majority of the camp's occupants are from the town of Sinjar and fled an ISIS assault . But Ahlam, her children and their grandparents were taken captive. ”

Bản tóm tắt của phương pháp mBERT-Tiny_seq2seq_DeepQL_ESDS

“The Shariya refugee camp opened around six months ago , made up of some 4,000 tents and counting . The vast majority of the camp 's occupants are from the town of Sinjar , which is near the border with Syrian Kurdistan , and fled the ISIS assault there back in August . The fighters separated the young women and girls , some as

young as 8 years old , to be sold as slaves , for their " masters " to use as concubines. ”

Bảng 3.15. Một mẫu tóm tắt trên bộ dữ liệu CNN

Bảng 3.16 biểu diễn một mẫu tóm tắt gồm bản tóm tắt tham chiếu của con người và bản tóm tắt đầu ra của mơ hình tóm tắt đề xuất mBERT- Tiny_seq2seq_DeepQL_ESDS trên bộ dữ liệu Baomoi. Văn bản nguồn của mẫu tóm tắt này xem Phụ lục C.3 trong phần Phụ lục.

Bản tóm tắt tham chiếu

“Có thể nói , tâm điểm của vịng đấu này chính là SVĐ San Siro , khi mà ở đây sẽ chứng kiến màn ra mắt lần đầu tiên của Clarence Seedorf trên băng ghế huấn luyện của AC Milan. Cựu cầu thủ từng 3 lần vô địch cúp C1 châu Âu với 3 CLB khác nhau này , sẽ lần đầu tiên dẫn dắt đội bóng áo đỏ đen thành Milan.”

Bản tóm tắt của phương pháp mBERT-Tiny_seq2seq_DeepQL_ESDS

“Chắc chắn rằng SVĐ San Siro sẽ lại rực sáng khi mà các tifosi của họ sẽ chứng kiến màn ra mắt đầu tiên của cựu cầu thủ Clarence Seedorf trong cương vị HLV trưởng của AC Milan . Vì vậy , thày trị ơng Antonio Conte hồn toan tự tin sẽ có trận thắng thứ 18 trong mùa giải này trong trận đấu vào đêm thứ Bảy tới.”

Bảng 3.16. Một mẫu tóm tắt trên bộ dữ liệu Baomoi

Như vậy, các kết quả thực nghiệm trên hai bộ dữ liệu CNN và Baomoi cho thấy phương pháp tóm tắt đề xuất mBERT-Tiny_seq2seq_DeepQL_ESDS đã cho kết quả tốt cho tóm tắt văn bản tiếng Anh và tiếng Việt.

3.4.5. Đánh giá và so sánh kết quả

Kết quả thử nghiệm của phương pháp tóm tắt đề xuất được so sánh với kết quả thử nghiệm của các phương pháp mà nghiên cứu sinh đã thử nghiệm và các phương pháp hiện đại khác đã công bố trên cùng các bộ dữ liệu thử nghiệm. Kết quả so sánh và đánh giá được trình bày như trong Bảng 3.17 dưới đây.

Phương pháp R-1 CNNR-2 R-L R-1 BaomoiR-2 R-L LexRank* 22,9 6,6 17,2 38,5 17,0 28,9 TextRank* 26,0 7,3 19,2 44,7 19,2 32,9 LEAD* 29,0 10,7 19,3 46,5 20,3 30,8 Cheng và Lapata (2016) [125] 28,4 10,0 25,0 - - - REFRESH [125] 30,4 11,7 26,9 - - - BERT-Tiny/mBERT + CNN + seq2seq§ 29,55 11,67 27,12 51,17 23,83 36,54 BERT-Tiny/mBERT + CNN + seq2seq + MMR§ 30,09 11,95 27,80 51,41 24,01 36,92 BERT-Tiny/mBERT + CNN + seq2seq + DeepQL§ 30,49 12,22 27,89 51,73 24,10 37,18

BERT-Tiny/mBERT + CNN +

seq2seq + DeepQL + MMR§ 31,36 12,84 28,33 51,95 24,38 37,56

Một phần của tài liệu LATS-TuanLM (Trang 90 - 92)

Tải bản đầy đủ (DOCX)

(194 trang)
w