Chương 2 CÁC KIẾN THỨC NỀN TẢNG
3.5. So sỏnh đỏnh giỏ ba mụ hỡnh túm tắt đơn văn bản hướng trớch rỳt
trớch rỳt đề xuất
Sau đõy là kết quả so sỏnh đỏnh giỏ 3 mụ hỡnh túm tắt đơn văn bản hướng trớch rỳt đó đề xuất theo hai tiờu chớ độ chớnh xỏc và thời gian thực hiện trờn cỏc bộ dữ liệu thử nghiệm cho túm tắt văn bản tiếng Anh và tiếng Việt.
Bảng 3.18 dưới đõy trỡnh bày kết quả độ chớnh xỏc của 3 mụ hỡnh đề xuất.
Mụ hỡnh CNN Baomoi R-1 R-2 R-L R-1 R-2 R-L RoPhoBERT_MLP_ESDS 32,18 12,31 28,87 52,511 24,696 37,796 mBERT_CNN_ESDS 32,67 13,04 29,53 54,67 25,26 37,48 mBERT- Tiny_seq2seq_DeepQL_ESDS 31,36 12,84 28,33 51,95 24,38 37,56
Bảng 3.18. So sỏnh đỏnh giỏ độ chớnh xỏc của 3 mụ hỡnh đề xuất
Bảng 3.18 cho thấy cả ba mụ hỡnh túm tắt đề xuất đó đạt được hiệu quả cao cho bài toỏn túm tắt đơn văn bản hướng trớch rỳt (kết quả của mỗi mụ hỡnh đó được đỏnh giỏ và so sỏnh với cỏc hệ thống khỏc trờn cựng cỏc bộ dữ liệu tương ứng khi thử nghiệm). Cú thể núi, mụ hỡnh mBERT_CNN_ESDS với việc sử dụng mụ hỡnh BERT đa ngụn ngữ để mó húa văn bản đầu vào và mụ hỡnh phõn loại cõu được xõy dựng bằng việc kết hợp nhiều mụ hỡnh học sõu để tận dụng ưu điểm của cỏc mụ hỡnh học sõu này đó cho kết quả cao nhất trong hầu hết cỏc độ đo. Mụ hỡnh RoPhoBERT_MLP_ESDS mặc dự đó sử dụng cỏc mụ hỡnh BERT tối ưu để mó húa văn bản đầu vào nhưng cho kết quả độ chớnh xỏc khụng cao bằng mụ hỡnh mBERT_CNN_ESDS (trừ độ đo R-L cho tiếng Việt), lý do là do mụ hỡnh phõn loại cõu chỉ sử dụng mạng MLP (mụ hỡnh phõn loại của mụ hỡnh này là đơn giản nhất trong 3 mụ hỡnh đề xuất). Mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS mặc dự mụ hỡnh phõn loại cõu đó sử dụng nhiều kỹ thuật học sõu và kết hợp với kỹ thuật học tăng cường để cải thiện độ chớnh xỏc của mụ hỡnh tớnh xỏc suất của cõu được chọn nhưng vẫn cho kết quả thấp nhất trong 3 mụ hỡnh đề xuất là do mụ hỡnh này sử dụng mụ hỡnh BERT thu nhỏ để mó húa văn bản đầu vào (hiệu quả của cỏc mụ hỡnh BERT thu nhỏ thấp hơn, nhưng thời gian thực thi lại nhanh hơn nhiều so với cỏc mụ hỡnh BERT, BERT tối ưu). Do đú, mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS cú thể đỏp ứng được cỏc yờu cầu ràng buộc về tài nguyờn bị hạn chế và thời gian
Để đỏnh giỏ hiệu quả về thời gian thực thi, ba mụ hỡnh đề xuất được thực hiện đỏnh giỏ trờn tập gồm 100 văn bản được lấy ngẫu nhiờn từ 2 bộ dữ liệu CNN/Daily Mail và bộ dữ liệu Baomoi (mỗi bộ dữ liệu được lấy ngẫu nhiờn 100 văn bản để đỏnh giỏ) để ghi nhận tổng thời gian thực hiện của từng mụ hỡnh, sau đú tớnh trung bỡnh số lượng văn bản thực thi trong 1 giõy của mỗi mụ hỡnh. Bảng 3.19 dưới đõy trỡnh bày chi tiết hiệu quả về thời gian thực hiện của ba mụ hỡnh. Cú thể thấy rằng, mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS với việc sử dụng mụ hỡnh BERT thu nhỏ (BERT-Tiny) để mó húa văn bản tiếng Anh đầu vào (mụ hỡnh này vẫn dựng mBERT cho mó húa văn bản tiếng Việt do mụ hỡnh BERT-Tiny khụng hỗ trợ cho tiếng Việt) cú thời gian thực hiện túm tắt nhanh nhất. Cụ thể như sau: Trong 1 giõy, mụ hỡnh này cú thể túm tắt được trung bỡnh 22,1 văn bản, trong khi đú 2 mụ hỡnh cũn lại RoPhoBERT_MLP_ESDS, mBERT_CNN_ESDS tương ứng chỉ túm tắt được trung bỡnh 1,30 văn bản và 0,62 văn bản. Như vậy, cú thể núi mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS thực hiện nhanh hơn 2 mụ hỡnh RoPhoBERT_MLP_ESDS và mBERT_CNN_ESDS tương ứng là 17 lần và 35,65 lần. Khi đỏnh giỏ đối với tiếng Việt thỡ 3 mụ hỡnh cho hiệu quả thời gian xấp xỉ nhau, chỉ cú mụ hỡnh RoPhoBERT_MLP_ESDS là nhanh hơn là do bộ phõn loại cõu được xõy dựng cú kiến trỳc đơn giản nhất trong 3 mụ hỡnh (chỉ gồm MLP).
Ngoài ra, để đỏnh giỏ một cỏch khỏch quan hiệu quả thời gian thực hiện của mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS, luận ỏn cũng thử nghiệm mụ hỡnh này bằng cỏch sử dụng mụ hỡnh mBERTthay cho BERT-Tiny khi mó húa cho văn bản tiếng Anh và kết quả thu được là 0,63 văn bản/1 giõy.
Phương phỏp Ngụn ngữ húa văn bản Mụ hỡnh mó
Số lượng văn bản trung bỡnh/1 giõy
RoPhoBERT_MLP_ESDS Tiếng Anh RoBERTa 1,30 mBERT_CNN_ESDS Tiếng Anh mBERT 0,62 mBERT-
Tiny_seq2seq_DeepQL_ESDS Tiếng Anh BERT-Tiny 22,1 RoPhoBERT_MLP_ESDS Tiếng Việt PhoBERT 3,64 mBERT_CNN_ESDS Tiếng Việt mBERT 2,61 mBERT-
Tiny_seq2seq_DeepQL_ESDS Tiếng Việt mBERT 2,61 mBERT-
Tiny_seq2seq_DeepQL_ESDS Tiếng Anh mBERT 0,63
Bảng 3.19. So sỏnh đỏnh giỏ thời gian thực hiện của 3 mụ hỡnh đề xuất
Như vậy, cú thể núi mụ hỡnh mBERT-Tiny_seq2seq_DeepQL_ESDS mặc dự cho kết quả độ chớnh xỏc khụng cao bằng 2 mụ hỡnh cũn lại, nhưng mụ hỡnh lại cú hiệu quả về thời gian và cú thể đỏp ứng được cỏc yờu cầu về tài nguyờn hạn chế.