Dịch ngược là một phương pháp làm giàu ngữ liệu song ngữ được sử dụng rộng rãi với nhiều phương pháp sinh dữ liệu song ngữ giả lập khác nhau Ý tưởng chính của dịch ngược là: các câu đơn ngữ của phía đích được dịch sang câu đơn ngữ phía nguồn, các cặp câu nhận được này tạo thành kho ngữ liệu song ngữ giả lập Dịch ngược được Sennrich và các cộng sự [103] sử dụng lần đầu tiên vào năm 2016 cho NMT và đã cho thấy hiệu quả đáng kể trong việc cải thiện hiệu suất dịch thuật Trong cơng trình của mình, họ đã sử dụng 4,4 triệu cặp câu dữ liệu song ngữ được chuyên gia xác thực để huấn luyện hệ thống NMT từ tiếng Anh sang tiếng Đức, sử dụng mơ hình này để dịch 3,6 triệu câu tiếng Đức và 4,2 triệu câu phía đích tiếng Anh Dữ liệu này được trộn với dữ liệu ban đầu để tạo kho ngữ liệu song ngữ dùng để đào tạo các mơ hình mới Do những kết quả tốt đã thu được, việc dịch ngược đã trở thành phương pháp phổ biến được sử dụng để tăng cường dữ liệu huấn luyện cho các mơ hình dịch máy, đặc biệt trong trường hợp dữ liệu song ngữ hạn chế, kỹ thuật dịch ngược BT được áp dụng để tận dụng dữ liệu đơn ngữ làm giàu dữ liệu huấn luyện cho các mơ hình dịch máy
Gần đây nhiều nghiên cứu cũng đã chứng minh việc sử dụng kỹ thuật dịch ngược cĩ tác động tốt hơn đến hiệu suất NMT Năm 2017, Park và cộng sự [92] đã xây dựng mơ hình NMT chỉ sử dụng dữ liệu song ngữ giả lập từ cả ngơn ngữ nguồn và ngơn ngữ đích Trong nghiên cứu của mình, họ huấn luyện các mơ hình NMT với kho ngữ liệu song ngữ bao gồm: (i) dữ liệu giả lập chỉ ở phía nguồn; (ii) dữ liệu giả lập chỉ ở phía đích; và (iii) phối hợp các câu song ngữ mà cả phía nguồn và phía đích là dữ liệu giả lập Năm 2018, Edunov và các cộng sự [36] đã nghiên cứu một số phương pháp để tạo ra các câu nguồn
giả lập và các ảnh hưởng tương ứng của chúng trong NMT Thử nghiệm của họ đã đạt được 35 điểm BLEU trên bộ dữ liệu WMT’14 English-German Poncelas và các cộng sự [97] đã xây dựng lộ trình thực nghiệm để đánh giá ảnh hưởng của việc tăng cường dữ liệu BT đến hiệu suất của hệ thống cuối cùng Họ tiếp tục áp dụng kỹ thuật này cho SMT, NMT và phối hợp cả hai Kết quả cho thấy, các mơ hình đạt được hiệu suất tốt nhất khi tập dữ liệu huấn luyện được tăng cường với dữ liệu dịch ngược được tạo ra bằng cách kết hợp các phương pháp tiếp cận MT khác nhau [96] Nghiên cứu của Cong Duy Vu Hoang và các cộng sự [45] chỉ ra rằng việc huấn luyện BT lặp lại nhiều lần cĩ thể mang lại hiệu quả cho hệ thống dịch máy Nghiên cứu này cũng chỉ ra rằng chất lượng của hệ thống dịch máy được sử dụng trong quá trình BT cĩ ý nghĩa quan trọng trong việc nâng cao chất lượng bộ dữ liệu huấn luyện áp dụng cho cả cặp ngơn ngữ giàu cũng như nghèo tài nguyên, từ đĩ nâng cao chất lượng hệ thống dịch máy
Mặc dù BT rất hữu ích, nghiên cứu của Stahlberg [110] và một số tác giả khác cũng cho thấy hiệu suất sẽ giảm sau khi kích thước của dữ liệu BT đạt đến giới hạn nhất định Cĩ thể nĩi, ngồi tăng số lượng thì chất lượng các cặp song ngữ được bổ sung từ BT cũng đĩng vai trị quan trọng Trong [103], các tác giả đã phân tích sự phụ thuộc giữa chất lượng của mơ hình dịch và chất lượng của các câu dịch ngược, họ phát hiện ra rằng: việc tăng 6 điểm BLEU của các câu dịch ngược sẽ làm tăng 0,6 điểm BLEU của mơ hình dịch
Kỹ thuật dịch ngược được nghiên cứu và thử nghiệm trên rất nhiều cặp ngơn ngữ khác nhau, trong đĩ việc sinh ra dữ liệu giả lập để làm giàu dữ liệu huấn luyện được thực hiện bằng các cách khác nhau:
- Sử dụng các phương pháp khác nhau trong quá trình giải mã (decode) dữ liệu (beam search, TopK probability search, Sampling probability search )
- Lựa chọn dữ liệu đơn ngữ để đưa vào huấn luyện BT: theo chủ đề, theo độ dài câu, theo số lượng từ hiếm trong dữ liệu huấn luyện, lựa chọn ngẫu nhiên theo một phép phân tích và ước lượng
- Dữ liệu giả lập được sinh ra trên các mơ hình dịch khác nhau để thu được dữ liệu phong phú và đa dạng cũng như tận dụng được thế mạnh của các mơ hình dịch khác
- Cách lựa chọn ngữ liệu giả lập để đưa vào dữ liệu huấn luyện song ngữ nhằm làm giàu dữ liệu huấn luyện để từ đĩ nâng cao chất lượng hệ thống dịch máy: Đưa tồn bộ ngữ liệu giả lập được sinh ra, lựa chọn theo độ dài câu
Mơ hình hệ thống dịch máy thống kê sử dụng kỹ thuật dịch ngược tăng cường dữ liệu huấn luyện được trình bày trong Hình 2 1
Các bước chính trong một hệ thống dịch máy thống kê cĩ sử dụng dịch ngược tăng cường dữ liệu như sau: sử dụng mơ hình dịch đã được huấn luyện để dịch các câu đơn ngữ của phía đích sang ngơn ngữ nguồn, các cặp câu nhận được này tạo thành một kho ngữ liệu song ngữ giả lập Kho ngữ liệu song ngữ thật và kho dữ liệu song ngữ giả lập được trộn lẫn và mơ hình dịch chính được huấn luyện trên kho ngữ liệu song song và khơng cĩ sự phân biệt giữa chúng trong quá trình huấn luyện Ngồi ra do việc bổ sung tồn kho ngữ liệu song ngữ giả lập đã sinh cĩ thể làm cho hệ thống dịch kém đi, do đĩ cần cĩ bước lựa chọn ra những câu “tốt” để bổ sung làm giàu dữ liệu huấn luyện song ngữ
HỆ THỐNG SMT
Kho song ngữ Câu phía đích
Kho song ngữ huấn luyện
Kho song ngữ giả lập
Các câu phía nguồn tương ứng
ban đầu
HỆ THỐNG DỊCH MÁY (BACK-TRANSLATION)
Các câu giả lập
được chọn Lựa chọn câu
giả lập phía đích
Các câu giả lập phía đích
Hình 2 1 Dịch ngược sử dụng ngơn ngữ trung gian để huấn luyện mơ hình SMT