7. Bố cục của luận án
3.5.3. Kết quả thử nghiệm
* Mơ hình baseline:
Baseline là mơ hình SMT với các tham số cài đặt mặc định, khơng áp dụng bất kỳ kỹ thuật nào khác với các bộ dữ liệu được tạo ra từ bộ EVB ban đầu với các mơ tả trong bảng 3.10. Kết quả thu được như sau:
- Số lượng cặp câu song ngữ huấn luyện: 42.299
- Điểm BLEU của hệ thống: 23,09
BaselineBT là mơ hình SMT huấn luyện trên bộ dữ liệu EVB kết hợp với tồn bộ dữ liệu giả lập thu được sau quá trình dịch ngược EN-DE-EN. Kết quả thu được như sau:
Số lượng cặp câu song ngữ huấn luyện: 84.598
Điểm BLEU của hệ thống: 23,02
* Thử nghiệm với kỹ thuật BT cĩ áp dụng các độ đo thích nghi đề xuất trong Chương 2 của luận án:
Để thực hiện thử nghiệm, NCS sử dụng hệ thống dịch máy EN-DE-EN được huấn luyện trước để thu được các cặp câu giả lập, sau đĩ áp dụng kỹ thuật lựa chọn thích nghi với độ đo theo hiệu (H) và độ đo theo tỷ lệ (T). Kết quả thử nghiệm được trình bày trong bảng 3.10 và bảng 3.11.
Bảng 3.10 Kết quả thử nghiệm BT với độ đo thích nghi H
Thử nghiệm Độ đo thích nghi theo hiệu H
0 -5 -10 -15 -20 -25
baseline 23,09
baselineBT 23,02
SMT(H) 23,23 23,04 23,62 23,59 23,34 23,04
Các kết quả thử nghiệm với độ đo thích nghi H được thể hiện bằng biểu đồ hình 3.8. Các kết quả thử nghiệm cho thấy với tồn bộ dữ liệu giả lập, hệ SMT cho chất lượng giảm so với ban đầu, khi áp dụng kỹ thuật lựa chọn thích nghi theo hiệu, chất lượng hệ dịch cĩ thể được cải thiện, với điểm số BLEU đạt được là 23,60 ở H<-10
X
Hình 3.8. Kết quả thử nghiệm BT với độ đo thích nghi H
Nhận xét về các kết quả thử nghiệm với độ đo thích nghi T bằng biểu đồ trên hình 3.7 tương tự như đối với độ đo thích nghi H với điểm BLEU thu được cao nhất là 23,47
Bảng 3.11. Kết quả thử nghiệm BT với độ đo thích nghi T
Thử nghiệm Độ đo thích nghi theo tỷ lệ T
0,40 0,45 0,50 0,55 0,60 0,65
baseline 23,09
baselineBT 23,02
X
Hình 3.9. Kết quả thử nghiệm BT với độ đo thích nghi T
Trong các thử nghiệm tiếp theo, NCS thực hiện chia nhỏ từ bằng kỹ thuật BPE với các bước lặp khác nhau trên các tập dữ liệu đã được tăng cường bằng phương pháp BT cĩ sử dụng kỹ thuật lựa chọn thích nghi.
Kết quả thử nghiệm khi áp dụng chia nhỏ từ với dữ liệu giả lập được lựa chọn bằng độ đo theo hiệu được trình bày trong bảng 3.12 và hình 3.9.
Bảng 3.12. Kết quả thử nghiệm chia nhỏ từ trên tập dữ liệu tăng cường bằng BT với độ đo thích nghi H
Thử nghiệm Độ đo thích nghi theo hiệu H
0 -5 -10 -15 -20 -25 baseline 23,09 baselineBT 23,02 SMT(H) 23,23 23,04 23,62 23,59 23,34 23,04 BPE-3K 23,24 23,30 23,29 23,21 23,24 23,53 BPE-4K 23,47 23,07 23,29 23,32 23,27 23,28 BPE-5K 23,57 23,46 23,32 23,19 23,62 23,39 BPE-6K 23,52 23,12 23,32 23,59 23,95 23,68 BPE-7K 23,34 23,11 23,01 23,15 23,16 23,48
X
Hình 3.10. Kết quả thử nghiệm chia nhỏ từ với các tập dữ liệu được tăng cường bằng BT với độ đo thích nghi H
Trên hình 3.10 là biểu đồ mơ tả các kết quả thử nghiệm, qua đĩ cĩ thể nhận thấy rằng hầu hết các hệ SMT được huấn luyện trên dữ liệu cĩ chia nhỏ từ và áp dụng cải tiến thuật tốn giĩng hàng từ đều cho kết quả tốt hơn so với khơng sử dụng kỹ thuật chia nhỏ từ, trong đĩ hệ SMT được huấn luyện trên tập dữ liệu được tăng cường với H<-10 và áp dụng kỹ thuật chia nhỏ từ BPE với kích thước bảng từ vựng 6K đạt kết quả cao nhất với điểm BLEU là 23,95 điểm tăng ∆���� = 0,86 so với Baseline.
Thử nghiệm với các hệ SMT được huấn luyện trên các tập dữ liệu được tăng cường bằng BT với độ đo thích nghi theo tỷ lệ T. Kết quả được trình bày trong bảng 3.13.
Bảng 3.13. Kết quả thử nghiệm chia nhỏ từ trên tập dữ liệu tăng cường bằng BT với độ đo thích nghi T
Thử nghiệm Độ đo thích nghi theo tỷ lệ T
0,40 0,45 0,50 0,55 0,60 0,65
baseline 23.09
baselineBT 23.02
BPE-3K 22,85 22,90 23,64 22,84 23,61 23,51
BPE-4K 23,6 23,22 22,72 23,74 23,30 23,71
BPE-5K 23,47 23,61 23,43 23,49 23,96 23,31
BPE-6K 23,29 23,31 23,22 23,26 23,21 23,87
BPE-7K 23,66 23,34 23,41 23,44 23,31 23,50
Hình 3.11. Kết quả thử nghiệm chia nhỏ từ với các tập dữ liệu được tăng cường bằng BT với độ đo thích nghi T
Trên hình 3.11 là biểu đồ mơ tả các kết quả thử nghiệm áp dụng chia nhỏ từ với các tập dữ liệu được tăng cường bằng BT và lựa chọn thích nghi theo tỷ lệ T, tương tự như trong thử nghiệm trước, cĩ thể nhận thấy rằng hầu hết các hệ SMT được huấn luyện trên dữ liệu cĩ chia nhỏ từ và áp dụng cải tiến thuật tốn giĩng hàng từ đều cho kết quả tốt hơn so với khơng sử dụng kỹ thuật chia nhỏ từ, trong đĩ hệ SMT được huấn luyện trên tập dữ liệu được tăng cường với T<0,60 và áp dụng kỹ thuật chia nhỏ từ BPE với kích thước bảng từ vựng 5K 24.2 24 23.8 23.6 23.4 23.2 23 22.8 22.6 baseline baslineBT T<0.40 T<0.45 T<0.50 T<0.55 T<0.60 T<0.65 22.4 22.2 22 SMT(T) 3K 4K 5K 6K 7K
đạt kết quả cao nhất với điểm BLEU là 23,96 điểm, tăng ∆���� = 0,87 so với Baseline
Trên tập dữ liệu thử nghiệm, cĩ thể nhận thấy chia nhỏ từ với kích thước khoảng 5K, 6K mang lại nhiều kết quả tốt hơn so với khoảng kích thước 3K và 4K. Bên cạnh đĩ, các kết quả thử nghiệm cũng cho thấy việc kết hợp chia nhỏ từ và tăng cường dữ liệu bằng BT cĩ lựa chọn thích nghi mang lại kết quả tốt hơn cho hệ SMT so với sử dụng đơn lẻ một phương pháp.