Để đánh giá được thuật toán đề xuất, luận văn tiến hành thực nghiệm so sánh với thuật tốn gióng hàng khác,ở đây sẽ chọn thuật toán phát triển gần đây nhất là: thuật toán Champollion.
Phương pháp Champollion này xét đến thông tin về từ vựng trong câu, thông qua tìm kiếm trong từ điển để đánh giá cặp câu có phải dịch từ nhau hay khơng, từ đó cho kết quả chính xác hơn. Thuật tốn Champollion do Xiaoyi Ma [16] đưa ra, là phương pháp sử dụng từ điển song ngữ, cho kết quả khá tốt với số lượng ít các văn bản song ngữ Trung – Anh. Ý tưởng của thuật toán là bằng việc tra từ điển, tìm ra các cặp đơn vị dịch của nhau xuất hiện trong cặp câu đang quan sát, cặp nào xuất hiện trong văn bản càng ít thì giá trị thơng tin càng cao. Ý tưởng này mượn từ ý tưởng khái niệm tf – idf trong tìm kiếm thơng tin. Thuật tốn đơn giản này được dùng để đối chiếu so sánh trong luận văn. Thông thường, phương pháp sử dụng từ điển song ngữ so với phương pháp thống kê theo độ dài hao tốn thời gian, tài nguyên bộ nhớ hơn, nhưng tính bền vững (robustness) tốt hơn. Quy mô và độ chính xác của từ điển song ngữ là một nhân tố quan trọng ảnh hưởng đến thuật toán, ở đây luận văn dùng bộ từ điển trích xuất từ bộ từ điển 139.000 từ.
Dữ liệu dùng để đánh giá ở đây là 3 chương liên tiếp:chương 37-38-39 có 364 câu, và một chương rời: chương 1 có 160 câu, trích trong cuốn LifeofPi. Dữ liệu vào sẽ được tiền xử lý như với thuật toán đề xuất.
Precision Recall F-measure
Champollion 86,79% 64,06% 73,71%
Thuật toán đề xuất 82,24% 73,83% 77,81%
Bảng 5.5: Giá trị Presion – Recall khi chạy thuật toán Champollion và thuật toán đề xuất
Từ kết quả của Bảng 5.5, tuy giá trị Precision của thuật toán đề xuất khơng cao như thuật tốn Champollion nhưng giá trị Recall lại khá cao. Vì vậy số câu thu được lại đáng tin cậy hơn với − = 77.81%.