6 .Đóng góp chính của luận án
1.3. Các nghiên cứu liên quan đến xây dựng và cải tiến chất lượng dịch tự động
Ví dụ đối với trường hợp cần so sánh mức độ tương đồng giữa câu tham chiếu là bản dịch gốc (How are you today John) và bản dịch do máy tính tạo ra (How you a today Jones):
Câu tham chiếu Bản dịch máy
WER trong nhiều trường hợp sẽ cho kết quả khơng chính xác, vì một câu nguồn có thể được dịch thành nhiều cách khác nhau ở ngơn ngữ đích, sử dụng các từ hồn tồn khác nhau. Khi đó một bản dịch đúng có thể sẽ nhận được điểm số thấp mặc dù chất lượng tốt.
b. Chỉ số MWER (Multi-Reference WER)
Chỉ số MWER [29] là một sự phát triển từ WER và được đánh giá dựa trên số đo WER đối với nhiều câu tham chiếu, và chọn ra điểm WER thấp nhất trong số các so sánh được thực hiện. Như vậy MWER sẽ là sự đánh giá của bản dịch máy đối với một bản dịch tham chiếu gần đúng nhất, điều này sẽ giúp cho kết quả đánh giá được chính xác hơn.
c. Chỉ số PER (Position-independent Error Rate)
PER là một biến thể khác của WER nhằm khắc phục những sai sót khi thực hiện đảo trật tự các từ [30]. PER tiến hành so sánh các từ trong bản dịch máy và bản tham chiếu mà khơng quan tâm đến thứ tự của chúng. Vì vậy mà điểm số của PER luôn thấp hơn hoặc bằng WER, tuy nhiên hạn chế của PER là không thể phân biệt được chất lượng giữa một bản dịch đúng và bản dịch với các từ bị xáo trộn vị trí.
d. Chỉ số TER (Translation Error Rate)
TER [21] được đề xuất để xem xét đến vấn đề thay đổi trật tự các từ mà chưa được xét đến trong chỉ số WER. TER giải thiết chi phí để dịch chuyển (shift) một từ sang một ví trí khác trong câu bằng chi phí để thêm, xóa, thay thế. TER sử dụng giải thuật tìm kiếm tham lam để tìm kiếm các từ giống nhau cần dịch chuyển nhằm giải bớt chi phí thực hiện việc hiệu đính bản dịch.
Khơng giống với giải pháp trong chỉ số MWER là bản dịch tham chiếu có số bước hiệu chỉnh ít nhất sẽ được sử dụng để đánh giá, TER sẽ lấy giá trị trung bình khi so sánh với tất cả bản tham chiếu. Cơng thức tính TER thể hiện như sau:
+ + +