Được huấn luyện với mục tiêu khôi phục lại văn bản, BART cho phép xử lý bất kỳ dạng mất mát thông tin nào của văn bản. Trong trường hợp đặc biệt khi toàn bộ thông tin bị lược bỏ, có thể coi BART tương đương với một mô hình ngôn ngữ. Một số phương thức biến đổi văn bản mà BART áp dụng trong quá trình huấn luyện bao gồm:
Mặt nạ: Thay đổi một số token trong văn bản bằng token [MASK] một cách
ngẫu nhiên.
Xóa Token: Xóa ngẫu nhiên một số token trong văn bản gốc.
Điền văn bản: Một số đoạn văn bản được thay thế bằng token [MASK] trong
văn bản gốc, độ dài văn bản được lấy mẫu tuân theo phân phối Poisson với λ=3. Các đoạn văn bản có độ dài bằng 0 sẽ tương đương với việc thêm token [MASK].
Hoán vị câu: Văn bản sẽ được tách thành tập hợp các câu và những câu này
sẽ được hoán vị theo một thứ tự mới.
Xoay văn bản: Để mô hình học được đâu là điểm bắt đầu của văn bản, một
token sẽ được chọn ngẫu nhiên và văn bản gốc sẽ chọn đấy là điểm bắt đầu của văn bản mới.
Khi được so sánh với các mô hình nổi tiếng khác như BERT, RoBERTa, … BART cho thấy những kết quả rất tốt trên nhiều tập dữ liệu / bài toán khác nhau như tóm tắt văn bản, sinh hội thoại, … Dưới đây là bảng so sánh tóm tắt hiệu suất của BART với những mô hình phổ biến.
Hình 2.12. Bảng so sánh hiệu suất của BART với các mô hình ngôn ngữ nổi tiếng [22]
Có thể thấy trong nhiều tác vụ phân loại, BART cho ra hiệu quả tương đương với RoBERTa và XLNet, cho thấy rằng các lớp trong bộ giải mã một hướng của
24
BART không làm giảm hiệu suất đối với các tác vụ loại này. Ngoài ra, BART còn cho thấy khả năng xử lý vượt trội khi được so sánh với BERT, UniLM trong suốt quá trình thử nghiệm.
2.4.3. Ứng dụng
Là một mô hình mạnh mẽ, BART có thể được áp dụng trong rất nhiều nhiệm vụ, bài toán khác nhau, ví dụ như:
● Phân loại chuỗi: Đối với nhiệm vụ này, một đầu vào sẽ cùng được đưa vào
bộ mã hóa và bộ giải mã, và trạng thái ẩn cuối cùng của token cuối cùng của bộ giải mã sẽ được đưa vào bộ phân loại tuyến tính đa lớp mới. Bộ phân loại tuyến tính này sẽ đóng vai trò phân loại kết quả.
● Phân loại token: Trong nhiệm vụ này, các tài liệu văn bản cũng được đưa vào
bộ mã hóa, giải mã một cách hoàn toàn. Sau đó, trạng thái ẩn trên cùng của bộ giải mã sẽ được sử dụng làm vectơ đại diện cho mỗi từ. Vectơ này sẽ tiếp tục được sử dụng để phân loại token.
● Sinh chuỗi: Bởi vì BART có bộ giải mã tự động, nó có thể được tinh chỉnh
trực tiếp cho các nhiệm vụ tạo chuỗi như trả lời và tóm tắt câu hỏi trừu tượng. Trong cả hai nhiệm vụ này, thông tin được sao chép từ đầu vào nhưng bị thao túng, liên quan chặt chẽ đến mục tiêu huấn luyện khử nhiễu. Ở đây, đầu vào của bộ mã hóa là chuỗi đầu vào và bộ giải mã tạo ra đầu ra tự động.
● Dịch máy: BART cũng có thể được sử dụng để cải thiện bộ giải mã dịch máy
trong tác vụ dịch văn bản sang tiếng anh. Toàn bộ mô hình của BART (bao gồm bộ mã hóa và bộ giải mã) có thể được sử dụng để làm một bộ giải mã được huấn luyện trước cho bài toán dịch máy, bằng việc thêm một tập tham số mã hóa mới được học từ bitext.
