6. Cấu trúc luận văn
2.4. Đánh giá chất lƣợng dịch
Đánh giá chất lƣợng các hệ thống dịch có thể đƣợc thực hiện thủ công bởi con ngƣời hoặc tự động. Quá trình đánh giá thủ công cho điểm cho các câu dịch dựa trên sự trôi chảy và chính xác của chúng. Phần lớn mọi ngƣời cho rằng đây là phƣơng pháp đánh giá chính xác nhất. Thế nhƣng công việc đánh giá thủ công này lại tiêu tốn quá nhiều thời gian, đặc biệt khi cần so sánh nhiều mô hình ngôn ngữ, nhiều hệ thống khác nhau. Mỗi phƣơng pháp đánh giá đều có ƣu nhƣợc điểm riêng. Tuy đánh giá tự động không thể phản ánh đƣợc hết mọi khía cạnh của chất lƣợng dịch, nhƣng nó có thể nhanh chóng cho ta biêt: chất lƣợng của hệ dịch ở tầm nào, có tăng lên hay không sau khi cải tiến hoặc thay đổi một tham số nào đó. Trong thực tế, hai phƣơng pháp này vẫn đƣợc sử dụng đồng thời, và điểm BLEU là độ đo chất lƣợng hệ dịch phổ biến nhất hiện nay, đƣợc đề xuất bởi Papineni (Papineni, et al., 2002)
Chỉ số BLEU: Đây là chỉ số đánh giá chất lƣợng dịch của máy dịch thống kê từ ngôn ngữ này sang ngôn ngữ khác.
Kết quả dịch máy thống kê càng chính xác thì chỉ số BLEU càng cao và ngƣợc lại. Điểm chỉ số BLEU đƣợc tính dựa vào việc so sánh câu dịch đƣợc với một tập hợp các câu dịch tốt, sau đó lấy giá trị trung bình từ những câu này. tính điểm bằng cách đối chiếu kết quả dịch với tài liệu dịch tham khảo và tài liệu nguồn. Mặc dù Callison-Burch [6] chỉ ra rằng điểm BLEU thƣờng không thực sự tƣơng quan với đánh giá thủ công của con ngƣời với các loại hệ thống khác nhau, thế nhƣng vẫn có thể khá chính xác để đánh giá trên cùng một hệ thống, hoặc những hệ thống tƣơng tự nhau. Chính vì vậy, trong khóa luận này, điểm BLEU đƣợc sử dụng làm thƣớc đo chất lƣợng dịch, từ đó so sánh các loại mô hình dịch tên riêng khác nhau.
NIST (Automatic Evaluation of Machine Translation Quality Using N- gram Co-Occurrence Statistics) là một phƣơng pháp đánh giá chuất lƣợng của câu dịch. NIST đƣợc đƣa ra bởi US Nation Institute of Standard and Technology. NIST đƣợc dựa trên BLEU, tuy nhiên có thêm một vài cải tiến. Mặc dù vậy, NIST vẫn có những điểm khác so với BLEU. Cùng với BLEU, NIST là một trong những phƣơng pháp đánh giá chất lƣợng dịch hiện nay.