Kết quả dịch máy thống kê có chính xác hay không đều dựa vào các chỉ số dịch máy. Có 2 chỉ số cần quan tâm đó là chỉ số BLEU [11] và chỉ số NIST. Chỉ số BLEU
Đây là chỉ số đánh giá chất lƣợng dịch của máy dịch thống kê từ ngôn ngữ này sang ngôn ngữ khác.
Kết quả dịch máy thống kê càng chính xác thì chỉ số BLEU càng cao và ngƣợc lại. Điểm chỉ số BLEU đƣợc tính dựa vào việc so sánh câu dịch đƣợc với một tập hợp các câu dịch tốt, sau đó lấy giá trị trung bình từ những câu này.
Chỉ số BLEU có giá trị nằm từ 0 đến 1. Chỉ số càng gần 1 thì chất lƣợng dịch càng tốt, chỉ số càng nhỏ gần tới 0 thì chất lƣợng dịch càng kém.
BLEU tính điểm bằng cách đối chiếu kết quả dịch với tài liệu dịch tham khảo và tài liệu nguồn. M c dù chỉ ra rằng điểm BLEU thƣờng không thực sự tƣơng quan với đánh giá thủ công của con ngƣời với các loại hệ thống khác nhau, thế nhƣng vẫn có thể đảm bảo chính xác để đánh giá trên một hệ thống
dịch thống kê. Chính vì vậy, trong luận văn này, điểm BLEU đƣợc sử dụng làm tiêu chuẩn đánh giá chất lƣợng dịch.
Chúng tôi lấy trung bình hình học của các điểm chính xác sửa đổi các văn dữ liệu thử và sau đó nhân kết quả của một yếu tố hình phạt ngắn gọn theo cấp số nhân. Hiện nay, trƣờng hợp gấp là việc bình thƣờng hóa văn bản chỉ đƣợc thực hiện trƣớc khi tính toán độ chính xác. Đầu tiên chúng ta tính trung bình hình học của độ chính xác n-gram sửa đổi, pn, sử dụng n-gram đến chiều dài N và trọng lƣợng tích cực WN cách tổng hợp một. Tiếp theo, gọi c là độ dài của các cụm từ mục tiêu và r là chiều dài tham khảo dữ liệu hiệu quả. Chúng ta ƣớc tính phạt ngắn gọn BP. { Sau đó, BLEU= BP.exp(∑ )
Các cách xếp hạng là nhiều hơn ngay lập tức rõ ràng trong việc tính bleu. log BLEU = min(1-r/c, 0) + ∑ (Công thức 4.1) Trong cơ sở của chúng tôi, chúng tôi sử dụng N = 4 và trọng lƣợng đồng nhất wn = 1/N.
Chỉ số NIST
Về cơ bản phƣơng pháp đánh giá nhờ chỉ số NIST cũng tƣơng tự nhƣ chỉ số BLEU nhƣng nó cũng có một số khác biệt.
Chỉ số NIST cung cấp thông tin cần thiết để đánh giá trọng số dịch.