Cải tiến chất lượng dịch máy kết hợp giải pháp xây dựng kho ngữ liệu phục vụ đánh giá chất lượng hệ thống dịch tự động tiếng Việt

Bài viết đề xuất giải pháp kết hợp việc đánh giá chất lượng các hệ thống dịch tự động với quá trình cải tiến chất lượng bản dịch máy và xây dựng kho ngữ liệu phục vụ đánh giá chất lượng các hệ thống dịch tự động tiếng Anh – tiếng Việt hiện nay.

Huỳnh Cơng Pháp, Nguyễn Văn Bình 46 CẢI TIẾN CHẤT LƯỢNG DỊCH MÁY KẾT HỢP GIẢI PHÁP XÂY DỰNG KHO NGỮ LIỆU PHỤC VỤ ĐÁNH GIÁ CHẤT LƯỢNG HỆ THỐNG DỊCH TỰ ĐỘNG TIẾNG VIỆT IMPROVING QUALITY OF MACHINE TRANSLATIONCOMBINING SOLUTIONS OF CREATING CORPORA FOR MACHINE TRANSLATION EVALUATION IN VIETNAMESE Huỳnh Cơng Pháp, Nguyễn Văn Bình Trường Cao đẳng Cơng nghệ Thơng tin, Đại học Đà Nẵng; hcphap@cit.udn.vn, nvbinh@cit.udn.vn Tóm tắt - Đánh giá cải tiến chất lượng dịch máy, đặc biệt hệ thống dịch tự động tiếng Việt ngày trở nên cấp bách chất lượng dịch tự động đạt chất lượng thấp so với yêu cầu thực tế thời kỳ hội nhập “thế giới phẳng” Hiện có nhiều phương pháp độ đo khác để đánh giá chất lượng hệ thống dịch tự động, trình đánh giá chưa đóng góp liệu để giúp cải thiện hệ thống dịch Chất lượng hệ thống dịch tự động phụ thuộc lớn vào nguồn liệu mà hệ thống sử dụng, số lượng chất lượng Trong báo này, nhóm tác giả đề xuất giải pháp kết hợp việc đánh giá chất lượng hệ thống dịch tự động với trình cải tiến chất lượng dịch máy xây dựng kho ngữ liệu phục vụ đánh giá chất lượng hệ thống dịch tự động tiếng Anh – tiếng Việt Abstract - Evaluation and improvement of machine translation quality, particularly in Vietnamese become increasingly urgent, because the current machine translation quality is too low compared to the actual requirements of the integration period and "flat world." Currently there are many methods and scale to evaluate quality of machine translation systems, but the evaluation process does not contribute data to helping improve the system quality The quality of machine translation systems highly depends on the data resources serving them in two aspects: quality and quantity In this paper, we will propose measures to combine improving quality of machine translation and measures to create corpora for machine translation evaluation in Vietnamese Từ khóa - dịch máy; cải tiến chất lượng dịch máy; kho ngữ liệu; đánh giá chất lượng dịch máy; hiệu đính dịch Key words - machine translation; improve quality of machine translation; corpus; machine translation evaluation; post-editing Đặt vấn đề Hiện nay, dịch tự động hay dịch máy sử dụng phổ biến sống, chí trợ giúp cách hiệu cho trình dịch thuật Dịch tự động máy tính cho kết dịch tốt mang lại hiệu với chi phí bỏ ít, dịch nhanh với khối lượng tài liệu lớn thuộc lĩnh vực chun mơn khác Khi hệ dịch máy trở thành công cụ giúp người tiếp cận kho tri thức khổng lồ viết ngôn ngữ khác Khi sử dụng hệ thống dịch tự động, người dùng quan tâm đến chất lượng dịch Tuy nhiên, nay, chất lượng dịch tự động tiếng Việt với ngôn ngữ khác thấp [11] nên kết dịch chủ yếu để tham khảo, nắm đại ý văn Trong số trường hợp, dịch làm cho người đọc hiểu sai nội dung phần toàn nội dung văn Trong lĩnh vực dịch tự động tiếng Việt, có nhiều nghiên cứu hệ thống dịch tự động [1] [3], nhiên chưa có nghiên cứu cụ thể việc đánh giá chất lượng hệ thống dịch hoạt động nay, có hệ thống dịch phổ biến Google Translator, Microsoft, EVTRANS, VDict… [4] nhiều người sử dụng Để đánh giá chất lượng dịch tự động, có nhiều giải pháp số đo đề xuất nghiên cứu [15] [13] Trong đa số giải pháp đánh giá chất lượng dịch, điều kiện cần thiết phải có kho ngữ liệu với đặc trưng riêng phục vụ cho mục đích đánh giá Việc phụ thuộc vào tham chiếu kho ngữ liệu để đánh giá kết dịch khơng xác mềm dẻo, đồng thời số chưa thể thời gian sức lực người cần sử dụng để chỉnh sửa dịch Trong đó, q trình hiệu đính dịch (postediting) thực hầu hết kết dịch máy để cải tiến chất lượng, trình thực riêng biệt, không tận dụng để đánh giá nâng cao hiệu dịch tự động Do đó, ý tưởng mà chúng tơi đề xuất báo kết hợp đánh giá chất lượng hệ thống dịch tự động với trình cải tiến chất lượng dịch máy xây dựng kho ngữ liệu phục vụ đánh giá chất lượng hệ thống dịch tự động tiếng Anh – tiếng Việt Các nghiên cứu liên quan 2.1 Hiệu đính dịch máy (Post-editing) Trong lĩnh vực dịch tự động, hiệu đính q trình người chỉnh sửa, hồn thiện dịch máy tính để cải tiến chất lượng xây dựng dịch chuẩn Quá trình hiệu đính thường chia thành mức độ khác Hiệu đính sơ (Light post-editing) nhắm mục đích chỉnh sửa dịch để hiểu tiết kiệm thời gian Hiệu đính tổng quát (Full postediting) cho dịch văn phong, ngữ pháp ngữ nghĩa Trong thực tiễn nghiên cứu, hiệu đính kết dịch máy giúp trình dịch thuật tiết kiệm nhiều thời gian công sức so với công việc dịch từ đầu, không sử dụng kết dịch máy [10] Tuy nhiên q trình hiệu đính giúp tiết kiệm thời gian phụ thuộc vào nhiều yếu tố Một số thống kê thực tiễn khẳng định 40% [14], số nghiên cứu khác đưa kết 15-20% thời gian tiết kiệm từ q trình hiệu đính [12] Hiệu đính dịch máy ứng dụng số hệ thống dịch tự động trực tuyến, hệ thống ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 05(114).2017-Quyển Google Translator Hệ thống dịch tự động Google có chức sửa chữa dịch gửi lên hệ thống nhằm mục đích cải thiện chất lượng dịch [Hình 1] Hình Giao diện chức chỉnh sửa dịch hệ thống dịch tự động trực tuyến Google Translation 2.2 Kho ngữ liệu dịch tự động Kho ngữ liệu tảng để xây dựng, đánh giá cải tiến chất lượng hệ thống dịch tự động Nếu có được kho ngữ liệu đa ngữ đủ lớn về khối lượng, tốt về chất lượng thì chắc chắn chất lượng dịch của các hệ thống dịch tự động hiện cải thiện đáng kể [9] Đã có nhiều kho ngữ liệu đa ngữ nghiên cứu công bố có số lượng ngôn ngữ và khối lượng dữ liệu tương đối lớn EuroParl (11 ngôn ngữ, 34-55 triệu từ), JRCAcquis (22 ngôn ngữ, 11-22 triệu từ), XinHua News (2 ngôn ngữ, 12-14 triệu từ), EuroMatrix (9 ngôn ngữ lấy nguồn từ kỷ yếu Quốc hội châu Âu từ năm 1996– 2006), Canadian Hansard (song ngữ Anh-Pháp, 2,8 triệu cặp câu), WaCky (hơn tỷ từ thu thập từ Internet)… Kho ngữ liệu song ngữ tiếng Anh – tiếng Việt nhiều tổ chức, nhà khoa học nghiên cứu Kho ngữ liệu tiếng Việt Vietlex (Vietlex Corpus) chứa khoảng 80.000.000 âm tiết (tương đương gần triệu câu), thu thập từ tác phẩm văn học báo chí, tác phẩm khoa học, văn pháp luật, viết chuyên ngành [5] Kho ngữ liệu song ngữ EVC (5 triệu từ) nhà nghiên cứu Trung tâm Ngơn ngữ học Tính tốn Trường ĐH Khoa học Tự nhiên – Tp.HCM xây dựng [6] chứa liệu tất lĩnh vực khoa học, xã hội, đời sống… Kho ngữ liệu song ngữ Bitext-PTB chứa 100.000 cặp câu song ngữ xây dựng nội dung nhánh đề tài "Xử lý văn tiếng Việt" thuộc đề tài KC01.01/06-10, "Nghiên cứu phát triển số sản phẩm thiết yếu xử lí tiếng nói văn tiếng Việt" nhóm tác giả Hồ Tú Bảo Lương Chi Mai… Trong kho ngữ liệu song ngữ tiếng Việt, liệu tổng hợp nhiều lĩnh vực khác Lượng liệu lĩnh vực chưa nhiều, đặc biệt liệu thuộc lĩnh vực hẹp, chuyên sâu lĩnh vực y tế, văn quy phạm pháp luật… xuất kho ngữ liệu nói Các kho ngữ liệu xây dựng lĩnh vực xử lý ngôn ngữ tiếng Việt phần lớn thuộc nhóm sau: - Phục vụ nghiên cứu từ điển tiếng Việt: nội dung văn kho ngữ liệu tách từ, phân tích từ loại phục vụ cho việc xây dựng từ điển song ngữ [6] 47 - Phục vụ nghiên cứu ngôn ngữ: gồm kho ngữ liệu giải ngữ pháp, gán nhãn ngữ pháp, phân cụm phân tích câu tiếng Việt; xây dựng tập quy tắc ngữ pháp tiếng Việt dùng cho xử lý tự động ngôn ngữ; nghiên cứu xây dựng phân tích cú pháp, câu tiếng Việt [2] - Phục vụ nghiên cứu xử lý ngôn ngữ tự nhiên, có dịch tự động tiếng Việt: kho ngữ liệu dùng cho hệ thống dịch, cải tiến chất lượng hệ thống dịch… Tuy nhiên chưa có cơng trình nghiên cứu giải pháp xây dựng kho ngữ liệu phục vụ cho việc đánh giá dịch tự động tiếng Việt 2.3 Các giải pháp đánh giá chất lượng dịch Đánh giá chất lượng dịch hoạt động nhằm xác định mức độ hoàn thiện dịch máy tính đưa so sánh chất lượng dịch hệ thống dịch tự động khác Hiện nay, có nhiều phương pháp độ đo khác để đánh giá chất lượng dịch tự động, nhóm thành hai loại đánh giá chủ quan (subjective evaluation) đánh giá khách quan (objective evaluation) Đánh giá chủ quan người trực tiếp thực hiện, dựa việc đánh giá thang điểm cho tiêu chí xây dựng sẵn: đánh giá tính xác, đầy đủ thông tin đánh giá trôi chảy câu dịch Cách đánh giá chủ quan cho kết tin cậy tốn nhiều thời gian chi phí, có phụ thuộc vào khả người đánh giá [11] Đánh giá khách quan sử dụng chương trình thay cho người để đánh giá Các chương trình so khớp đo tỉ lệ lỗi kết từ hệ thống dịch với câu dịch tham khảo có sẵn Một số phương pháp đánh giá phổ biến [8][8]: WER (Word Error Rate): đo số lượng từ khác biệt dịch máy tính với dịch tham khảo WER tính tốn khoảng cách Levenshtein từ dịch với từ dịch tham khảo chia cho chiều dài dịch tham khảo TER (Translation Edit Rate): đếm số bước sửa đổi để thay đổi dịch máy tính thành dịch tham khảo có sẵn BLEU (BiLingual Evaluation Understudy): sử dụng dịch tự động so sánh với dịch chuẩn người để tính điểm dựa việc thống kê trùng khớp từ hai dịch có tính đến thứ tự chúng câu, sử dụng n-grams theo từ [15] NIST (National Institute of Standards and Technology): dựa phương pháp BLEU có số thay đổi ngồi việc so sánh tính tốn số lượng cịn tính đến thay đổi vị trí phần tử n-grams Sự thay đổi ảnh hưởng đến kết đánh giá dựa tương ứng vị trí n-grams phân đoạn Như vậy, với phương pháp đánh giá này, cần phải có kho ngữ liệu song ngữ chuẩn để làm sở đánh giá Việc so khớp đánh giá chất lượng dịch hoàn toàn phụ thuộc vào dịch tham khảo có sẵn kho ngữ liệu 48 2.4 Hạn chế Đánh giá chất lượng hệ thống dịch tự động phương pháp số đo nêu nghiên cứu áp dụng rộng rãi Tuy nhiên số trường hợp cịn có hạn chế tổ chức đánh giá - Trong phương pháp đánh giá chủ quan khách quan, cần phải có kho ngữ liệu song ngữ tổ chức đánh giá Việc thu thập kho ngữ liệu chủ đề thông dụng thực được, nhiên lĩnh vực chuyên ngành hẹp, liệu song ngữ khó thu thập đầy đủ tổng quan Chẳng hạn lĩnh vực y học, thông tin liên quan đến số loại thuốc nam thường viết dạng tiếng Việt, khơng có tài liệu tiếng Anh Vì vậy, sử dụng phương pháp so khớp đánh giá đầy đủ chất lượng hệ thống dịch, kho ngữ liệu dùng để đánh giá không bao quát - Kết đánh giá khơng khách quan so sánh dịch máy tính với tập liệu giả định câu dịch tham chiếu có sẵn kho ngữ liệu Trong thực tế, câu ngơn ngữ có nhiều cách dịch khác ngơn ngữ khác tùy theo ngữ cảnh Ví dụ lấy cặp câu đơn giản từ kho ngữ liệu song ngữ tiếng Anh – tiếng Việt [6] để đưa vào kho ngữ liệu đánh giá dịch: Câu nguồn: I've visited a few times before; it's a beautiful city Câu tham chiếu (bản dịch): Tôi đến thăm vài lần trước đây; thành phố xinh đẹp Hệ thống Google Translate dịch câu nguồn thành: Tôi đến thăm vài lần trước; thành phố xinh đẹp Đây kết dịch xác, kể nội dung trơi chảy Tuy nhiên đánh giá kết dịch [7][7] số chất lượng thấp: BLEU=0,7, TER=0,1, NIST=3,8 - Đối với đánh giá chủ quan người trực tiếp thực hiện: tốn chi phí thời gian nhân lực để thực trình đánh giá Việc đánh giá tiêu chí ước lượng nên kết khơng cụ thể Ngồi khơng tận dụng kết phục vụ cho nâng cao chất lượng hệ thống dịch - Nhiều hệ thống cho phép người dùng tham gia chỉnh sửa kết dịch để cải thiện chất lượng hệ thống dịch hệ thống Google Translator, trình chỉnh sửa người chưa đo lường cụ thể để đánh giá chi phí thời gian sức lao động người sử dụng hoàn thiện dịch Đề xuất giải pháp Hiện hệ thống dịch tự động chưa thể cho kết dịch hoàn tồn xác để sử dụng ngay, mà cần có q trình can thiệp người thơng qua q trình hiệu đính để hồn thiện dịch, bao gồm việc kiểm tra từ ngữ, ngữ pháp, tả, tên riêng, thuật ngữ chuyên ngành… mà hệ thống dịch chưa xử lý xác Vì việc đo chi phí thời gian, cơng sức lao động người để hoàn thiện dịch điều cần thiết thể chất lượng hiệu hệ thống dịch Một hệ Huỳnh Công Pháp, Nguyễn Văn Bình thống dịch tự động tốt người bỏ thời gian cơng sức để chỉnh sửa Tuy nhiên phương pháp đánh giá nêu so sánh mức độ tương đương dịch máy dịch tham chiếu chưa đo chi phí thời gian sức lao động Bên cạnh đó, q trình hiệu đính giúp xây dựng kho ngữ liệu phục vụ đánh giá nâng cao chất lượng hệ thống dịch 3.1 Vấn đề xây dựng kho ngữ liệu phục vụ đánh giá Để phục vụ cho nghiên cứu lĩnh vực dịch tự động tiếng Việt, thường sử dụng kho ngữ liệu song ngữ, chẳng hạn kho ngữ liệu bao gồm cặp câu tiếng Anh – tiếng Việt Có nhiều giải pháp để xây dựng kho ngữ liệu song ngữ này: - Trích rút tự động từ trang web song ngữ: sử dụng thuật tốn tìm kiếm trang web song ngữ, sau trích rút cặp câu tương ứng - Lấy nguồn từ sách song ngữ: sử dụng tài liệu song ngữ, có tài liệu học tiếng Anh để xây dựng kho ngữ liệu [2] - Sử dụng từ điển trích ví dụ từ: từ điển, tương ứng với từ ln có ví dụ sử dụng dịch chuẩn, sử dụng ví dụ để xây dựng kho ngữ liệu song ngữ [1] - Tổ chức dịch câu tiếng Anh sang tiếng Việt: người trực tiếp tạo liệu tiếng Việt thu thập câu tiếng Việt từ nhiều nguồn, sau tổ chức dịch nhập vào liệu để có kho ngữ liệu song ngữ Q trình hiệu đính dịch máy tạo văn song ngữ có giá trị, nhiên chưa đề cập phương pháp để xây dựng kho ngữ liệu song ngữ Như trình bày trên, vấn đề tìm kiếm nguồn liệu để xây dựng kho ngữ liệu chủ đề phổ biến dễ dàng Tuy nhiên, nhiều lĩnh vực chuyên ngành, có tài liệu song ngữ Để giải vấn đề này, kho ngữ liệu phục vụ đánh giá dịch tự động cần chứa câu ngôn ngữ nguồn Từ câu nguồn này, sử dụng hệ thống dịch tự động để dịch lấy kết dịch làm câu đích, tạo thành cặp câu song ngữ Như vậy, việc xây dựng liệu đánh giá cần thu thập văn có sẵn ngơn ngữ mà khơng cần dịch sang ngôn ngữ khác Điều dễ dàng khơng tốn nhiều chi phí cho kho ngữ liệu phục vụ đánh giá Tuy nhiên cặp câu song ngữ chưa phải dịch xác Thơng qua q trình hiệu đính với trợ giúp người, hệ thống đánh giá đo số phân tích mức độ xác dịch có Bên cạnh đó, tích hợp chức đánh giá vào hệ thống dịch tự động, q trình hiệu đính giúp đánh giá chất lượng dịch mà tiến hành giải pháp bổ sung khác Sau trình hiệu đính đánh giá chất lượng dịch, thu dịch xác, từ xây dựng kho ngữ liệu song ngữ hoàn chỉnh Kho ngữ liệu sử dụng phương pháp đánh giá khác đồng thời sử dụng để cải thiện chất lượng hệ ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 05(114).2017-Quyển thống dịch Kết đánh giá dựa kho ngữ liệu giúp q trình đánh giá xác, khơng phụ thuộc vào dịch tham chiếu có sẵn mà đánh giá trực tiếp dịch máy tính đưa 3.2 Giải pháp đánh giá chất lượng dịch Từ phân tích trên, nhóm tác giả đề xuất sử dụng thêm số số để chi phí người tham gia chỉnh sửa từ dịch máy tính sang dịch hồn chỉnh Chỉ số thời gian: đo thời gian cần thiết để người chỉnh sửa kết dịch từ hệ thống dịch tự động thành dịch Khi có kết dịch từ hệ thống dịch tự động, người cần tiếp tục kiểm tra, rà soát sửa lỗi dịch xác Thời gian sửa lỗi hệ thống dịch xác Hệ thống đánh giá chất lượng dịch tự động có nhiệm vụ đo tính tốn số thời gian Tpe= T/N T: Thời gian sửa dịch tính từ người dùng chọn chức “Sửa dịch” người dùng xác nhận “Gửi kết quả” 49 3.3 Giải pháp kết hợp hiệu đính dịch máy đánh giá chất lượng Hiện nay, hệ thống hỗ trợ thao tác hiệu đính để giúp người dùng chỉnh sửa kết dịch máy thành dịch xác sử dụng Ở hệ thống này, người dùng xem kết dịch, sau chép sang trình soạn thảo văn khác để tiếp tục chỉnh sửa hoàn thiện dịch Như hoạt động hiệu đính phục vụ cho mục đích người sử dụng, chưa ứng dụng để cải thiện đánh giá hệ thống dịch Các hoạt động hiệu đính đánh giá chất lượng thực tách rời khơng kế thừa kết Vì vậy, nhóm tác giả đề xuất kết hợp hoạt động hiệu đính dịch máy với đánh giá chất lượng, giúp giảm chi phí nâng cao độ xác Để làm điều này, cần xây dựng hệ thống đánh giá chất lượng dịch tiếng Anh – tiếng Việt hệ thống dịch tự động trực tuyến (như Google, Microsoft) thông thao tác hậu xử lý với đặc điểm sau: Kho ngữ liệu đơn ngữ tiếng Anh N: Số lượng ký tự dịch xác sau người dùng chỉnh sửa xong, không tính đến ký tự trống (khoảng trắng, tab, ký tự xuống dòng) dấu câu Hệ thống dịch tự động (thủ công, hàm API…) Chỉ số thao tác: đo số lượng ký tự cần thay đổi để sửa kết dịch thành dịch Ope = (D + I) / N Kết dịch Trong đó: (D + I) số lượng ký tự mà người dùng thay đổi, bao gồm thao tác xóa, thêm, sửa để hiệu chỉnh dịch Hiệu đính dịch D: số lượng ký tự bị người dùng xóa I: số lượng ký tự người dùng thêm Mỗi thao tác ghi đè tính thao tác xóa thao tác thêm N: Số lượng ký tự dịch xác sau người dùng chỉnh sửa xong, khơng tính đến ký tự trống (khoảng trắng, tab, ký tự xuống dòng) dấu câu Như vậy, Chỉ số thời gian Tpe thời gian trung bình để chỉnh sửa ký tự tính dịch kết Chỉ số thao tác Ope số lượng ký tự trung bình cần chỉnh sửa tính ký tự dịch Các số thấp hệ thống dịch chất lượng Tpe = Ope = dịch máy tính đưa hồn tồn xác, khơng cần sửa chữa (do người dùng xác nhận) Từ số Tpe Ope, đánh giá mức độ xác dịch hệ thống dịch tự động đưa Kết đánh giá hoàn toàn dựa dịch gốc máy tính thơng qua chỉnh sửa người, nên không cần dịch tham khảo mà cho kết đánh giá xác phù hợp Ngồi so sánh chất lượng hệ thống dịch tự động (chẳng hạn Google Microsoft) cách xác khách quan mà không phụ thuộc vào dịch chuẩn liệu mẫu Tính số Tpe Ope Xây dựng kho ngữ liệu song ngữ Đánh giá chất lượng Đánh giá số BLEU, NIST, TER Hình Sơ đồ quy trình kết hợp hậu xử lý với đánh giá chất lượng hệ thống dịch tự động - Kho ngữ liệu nguồn: kho ngữ liệu đơn ngữ (tiếng Anh), chưa dịch sang tiếng Việt - Dịch thô: Từ câu nguồn tiếng Anh (cần dịch), sử dụng hệ thống dịch tự động trực tuyến để lấy kết dịch (thực thủ công, sử dụng hàm API kỹ thuật khác) câu đích tiếng Việt Đây kết “dịch thơ”, chưa xác cần q trình sửa chữa người - Hiệu đính dịch: Cho phép người dùng kiểm tra chỉnh sửa dịch tiếng Việt để có dịch xác mà khơng cần dựa dịch có sẵn Huỳnh Cơng Pháp, Nguyễn Văn Bình 50 - Đánh giá chất lượng: theo dõi đo số thời gian (Tpe) thao tác (Ope) để đánh giá chất lượng dịch - Xây dựng kho ngữ liệu: sau q trình hiệu đính, hệ thống thu cặp câu nguồn tiếng Anh dịch tiếng Việt chỉnh sửa Các cặp câu song ngữ sử dụng để tạo kho ngữ liệu tương ứng - Đánh giá chất lượng phương pháp khác: có kho ngữ liệu song ngữ, tiếp tục hoạt động đánh giá số đo khác trình bày trên, từ đối chiếu, so sánh thang đo - Cải thiện chất lượng hệ thống dịch: dịch sau người sửa chữa sử dụng để cải thiện chất lượng hệ thống dịch Ở lần dịch tiếp theo, kết hệ thống dịch chắn tốt 3.4 Thực nghiệm Để triển khai thực nghiệm trình hiệu đính dịch máy kết hợp đánh giá chất lượng dịch xây dựng kho ngữ liệu, nhóm tác giả xây dựng ngữ cảnh sau: - Lấy 500 câu song ngữ tiếng Anh – tiếng Việt từ đoạn hội thoại dịch tài liệu học tiếng Anh chủ đề thông dụng “Cuộc sống hàng ngày” Dữ liệu chia thành để thực nghiệm Câu tiếng Anh (E) câu nguồn cần dịch, câu tiếng Việt xem dịch tham chiếu (V) - Xây dựng chương trình sử dụng dịch vụ cung cấp hệ thống dịch Google, Microsoft để tự động gửi câu nguồn tiếng Anh (E) lấy dịch tiếng Việt (V1) từ hệ thống dịch Dùng dịch kho ngữ liệu (V) để làm câu tham chiếu, đo số đánh giá (D1) theo thuật toán Edit Distance (ED), Word Error Rate (WER), BLEU, NIST để so sánh tương đồng hai câu V V1 Chỉ số Edit Distance cho biết số lượng từ ký tự khác câu, Word Error Rate đo tỷ lệ lỗi câu dịch câu tham chiếu, số BLEU NIST tính tốn mức độ khác dựa n-grams Kết thu Bảng Bảng Kết sau hiệu chỉnh dịch Tpe Ope BLEU NIST ED WER Test 0,649 1,385 0,553 2,304 3,913 0,403 Test 0,211 0,717 0,789 3,281 1,632 0,142 Test 0,199 0,945 0,849 3,006 1,071 0,102 Test 0,506 1,250 0,631 3,170 3,500 0,301 Test 0,550 1,265 0,677 3,130 4,133 0,257 Từ kết này, thấy tương đồng số Tpe, Ope với số Edit Distance Word Error Rate thơng qua đồ thị Hình Hình Sự tương đồng Tpe, Ope ED, WER Khi so sánh kết dịch với câu tham chiếu thu từ trình hiệu chỉnh, số BLEU NIST tốt (Hình 4) việc đánh giá khơng phụ thuộc vào dịch có sẵn, thể tính khách quan đánh giá kết hệ thống dịch Bảng Trung bình số liệu BLEU NIST ED WER Test 0,242 1,563 6,739 0,886 Test 0,542 2,876 5,684 0,561 Test 0,292 1,972 7,000 0,814 Test 0,273 2,450 9,286 0,757 Test 0,380 2,546 8,067 0,634 - Xây dựng hệ thống cho phép người dùng hiệu chỉnh dịch Quá trình tự động đo thời gian đếm số lượng thao tác mà người dùng thực để hiệu chỉnh Từ tính tốn số T pe Ope để đánh giá chất lượng dịch Bản dịch hiệu chỉnh (V2) đưa vào kho ngữ liệu để làm câu tham chiếu - Tiếp tục sử dụng hệ thống để tính toán lại số Edit Distance, Word Error Rate, BLEU, NIST (D2) hai câu V1 V2 So sánh D1 D2 Kết thể Bảng Hình Chỉ số BLEU, NIST trước sau hiệu chỉnh Kết luận Chất lượng kho ngữ liệu hệ thống dịch máy có ảnh hưởng đến chất lượng kết dịch Việc kết hợp q trình hiệu đính dịch máy với đánh giá chất lượng hệ thống dịch tự động xây dựng kho ngữ liệu nhằm cải tiến chất lượng dịch tự động giải pháp khả thi tiết kiệm tài nguyên, công sức Đánh giá hệ thống dịch thông qua số thời gian số lượng ký tự mà người dùng cần chỉnh sửa phản ánh chất lượng dịch so với yêu cầu người dùng, đồng thời mang tính khách quan điểm số dựa kết dịch khơng phụ thuộc đáp án có sẵn Bài báo tiến hành thực nghiệm thu kết tập liệu nhỏ Việc đo số thời gian cần có nghiên cứu chi tiết để kiểm sốt q trình hiệu đính dịch ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ ĐẠI HỌC ĐÀ NẴNG, SỐ 05(114).2017-Quyển TÀI LIỆU THAM KHẢO [1] Đào Ngọc Tú, “Nghiên cứu dịch thống kê dựa vào cụm từ thử nghiệm với cặp ngôn ngữ Anh – Việt”, Luận văn thạc sỹ Khoa học máy tính, Học viện Cơng nghệ Bưu viễn thông, 2012 [2] Đinh Điền, Lý Ngọc Minh, “Ứng dụng Ngữ liệu Song ngữ Anh-Việt Giảng dạy Ngôn ngữ”, hội thảo Liên ngành NNH Ứng dụng & Giảng dạy Ngôn ngữ, 11/2015, Huế, tr.559-567 [3] Nguyễn Hữu Siêu, Lâm Tùng Giang, Võ Trung Hùng (2010), “Nghiên cứu xây dựng từ điển cho hệ thống dịch tự động UNL Tiếng Việt”, Tạp chí KH&CN Đại học Đà Nẵng số 4(39) 2010 [4] Huỳnh Công Pháp, Đặng Đại Thọ, Nguyễn Văn Bình (2015), “Cải tiến chất lượng dịch tự động bằng giải pháp mở rộng kho ngữ liệu”, Kỷ yếu Hội thảo Khoa học Quốc gia: Nghiên cứu ứng dụng công nghệ thông tin, FAIR 2015, Số: ISBN: 978-604-913-397-8, Trang: 315–320 [5] Trung tâm từ điển học Vietlex, Giới thiệu Kho ngữ liệu tiếng Việt (Vietnamese Corpus), truy cập ngày 27/09/2016, http://www.vietlex.com/help/about_corpus.htm [6] Trung tâm Ngôn ngữ học Tính tốn Trường ĐH Khoa học Tự nhiên – Tp.HCM, Kho ngữ liệu song ngữ tiếng Anh – tiếng Việt EVC, truy cập ngày 27/09/2016, http://www.clc.hcmus.edu.vn/wpcontent/uploads/resources/Corpus/CLC_EVC.zip [7] Đánh giá trực tuyến kết dịch tự động, http://asiya.cs.upc.edu/demo/asiya_online.php [8] Arne Mauser, Hermann Ney (2008), “Automatic evaluation measures for statistical machine translation system optimization”, [9] [10] [11] [12] [13] [14] [15] 51 International Conference on Language Resources and Evaluation Boitet C (2007), Corpus pour la TA: types, tailles, et problèmes associés, selon leur usage et le type de système, Revue franỗaise de linguistique appliquộe, Vol XII 2007, pp 25-38 Green, Spence, Jeffrey Heer, and Christopher D Manning (2013), The Efficacy of Human Post-Editing for Language Translation, ACM Human Factors in Computing Systems Huynh C-P (2010), “Des suites de test pour la TA un système d’exploitation de corpus alignés de documents et métadocuments multilingues, multiannotés et multimedia”, PhD thesis-National Polytechnic Institute of Grenoble, 228 p Läubli, Samuel, Mark Fishel, Gary Massey, Maureen EhrensbergerDow, and Martin Volk (2013), Assessing post-editing efficiency in a realistic translation environment, Proceedings of the 2nd Workshop on Post-editing Technology and Practice (WPTP), p 83–91 Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, John Makhoul, A Study of Translation Edit Rate with Targeted Human Annotation Plitt, Mirko and Francois Masselot (2010), “A Productivity Test of Statistical Machine Translation Post-Editing in A Typical Localisation Context”, Prague Bulletin of Mathematical Linguistics, 93:7–16 Papineni, K., Roukos, S., Ward, T., and Zhu, W J (2002), "BLEU: a method for automatic evaluation of machine translation" in ACL2002: 40th Annual meeting of the Association for Computational Linguistics pp 311–318 (BBT nhận bài: 01/03/2017, hoàn tất thủ tục phản biện: 25/04/2017) ... chỉnh Kết luận Chất lượng kho ngữ liệu hệ thống dịch máy có ảnh hưởng đến chất lượng kết dịch Việc kết hợp q trình hiệu đính dịch máy với đánh giá chất lượng hệ thống dịch tự động xây dựng kho ngữ. .. hệ thống dịch, cải tiến chất lượng hệ thống dịch? ?? Tuy nhiên chưa có cơng trình nghiên cứu giải pháp xây dựng kho ngữ liệu phục vụ cho việc đánh giá dịch tự động tiếng Việt 2.3 Các giải pháp đánh. .. sửa dịch hệ thống dịch tự động trực tuyến Google Translation 2.2 Kho ngữ liệu dịch tự động Kho ngữ liệu tảng để xây dựng, đánh giá cải tiến chất lượng hệ thống dịch tự động Nếu có được kho