Như phần mở đầu đã trình bầy, mục dích của luận văn là xây dựng một hệ thống gióng hàng song ngữ Anh – Việt, trong đó có một bước là xác định điểm neo xử dụng bản dịch của SMT. Đây là một bước hết sức quan trọng trong toàn bộ hệ thống. Bởi vì bản dịch của SMT mà tốt thì giá trị của điểm neo càng cao, khi đó độ chính xác trong quá trình gióng hàng càng tăng. Ngoài ra khi thiết kế hệ thống này, luận văn luôn hướng tới yếu tố học máy của SMT: đó là để có được bản dịch chất lượng thì SMT cần một nguồn dữ liệu lớn và chuẩn. Hai đặc điểm này bổ sung cho nhau, khi được vận dụng tốt sẽ cho ta một hệ thống học máy hoàn chỉnh.Luận văn luôn hướng tới làm sao để vận dụng được đặc điểm này của SMT, sao cho đặt được mục tiêu cuối cùng là tăng chất lượng bản dịch của hệ dịch máy.
Ở đây luận văn xử dụng một hệ dịch máy đã được công nhận bởi cộng đồng khoa học đó là MOSES.Bước thực nghiệm này nhằm hai mục đích:
Bước thực nghiệm đầu tiên trước khi triển khai một hệ thống dịch máy lớn hơn. Qua bước thực nghiệm này còn có thể đảm bảo được rằng đầu ra của thuật toán đề xuất là phù hợp với dữ liệu học của hệ dịch máy. Điều này khá là cần thiết để đảm bảo rằng các khâu trong một hệ thống vận hành trơn tru.
Thứ nữa là kết quả của thực nghiệm này còn được dùng để đánh giá mức độ chính xác của thuật toán. Đây cũng là một bước chuẩn bị quan trọng cho việc xây dựng hệ thống sau này. Bởi vì với một hệ học máy thì việc đánh giá kết quả đầu ra là tốt hay không, nhất thiết phải thông qua một phương pháp xác định chứ không dựa vào con người để thống kê như đã làm ở phần 5.3.
Các bước tiến hành của thực nghiệm như sau: đầu tiên chạy chương trình gióng hàng của 3 phương pháp (Gale – Church, Champollion và phương pháp đề xuất) để được 3 tập dữ liệu đã được gióng hàng. Từ Bảng 5.6, ta thấy rằng số lượng câu gióng được của phương pháp đề xuất cao hơn hẳn các phương pháp khác. Ở đây có một chú ý đó là dữ liệu chỉ lấy các câu có gióng hàng 1-1, 1-2, 2-2 thôi còn các trường hợp 1- 0,2-0 đều bị loại ra, điều này có thể lý giải một phần tại sao phương pháp Champollion lại có hiệu suất thấp như vậy.
Gale – Church Champollion Phương pháp đề xuất Số câu đã gióng hàng 3.942 7.905 8.352
Lấy kết quả đó đưa vào MOSES để huấn luyện. Với mỗi một hệ thống đã được huấn luyện, tiến hành đánh giá điểm BLEU. Từ số liệu trong Bảng 5.7, ta thấy rằng
với cùng một tập dữ liệu đầu vào là quyển sách song ngữ “Life of Pi” thì phương pháp
đề xuất cho ta chất lượng hơn hẳn các phướng pháp trước đó, xét cả về chất lượng câu được gióng hàng chính xác cũng như số lượng câu được gióng hàng. Có một điểm đáng chú ý ở đây là, số câu gióng được của phương pháp Champollion cũng không kém quá nhiều nhưng lại cho điểm BLEU tương tự như phương pháp cơ bản Gale – Church. Điều này có thể được lý giải là do có nhiều câu gióng hàng sai dẫn tới làm giảm chất lượng dịch của hệ thống.
Gale – Church Champollion Phương pháp đề xuất
BLEU 10.16 10.68 16.03
Bảng 5.7: Giá trị BLEU của các phương pháp