- Máy chủ triển khai mô đun dịch được cài đặt hệ thống dịch và các mô đun để nhận văn bản cần dịch, phản hồi kết quả là văn bản đã được dịch thông qua các hàm API được nghiên cứu sinh phát triển.
- Máy chủ tiếp nhận và xử lý thông tin cài đặt giao diện người dùng để tiếp nhận dữ liệu từ người dùng và phản hồi kết quả trên nền tảng web, sử dụng ngơn ngữ lập trình PHP. Sau khi tiếp nhận văn bản dịch, mô đun tiền xử lý sẽ thực hiện các thao tác xử lý dữ liệu thơng qua chương trình Python và gọi các hàm API để nhận kết quả dịch, hiển thị trên trình duyệt.
3.4. Đánh giá kết quả
Kết quả thực nghiệm
Sau khi xây dựng hệ thống dịch văn bản pháp luật tiếng Anh – tiếng Việt bằng mơ hình mạng nơ ron kết hợp kho ngữ liệu lớn, nghiên cứu sử dụng 2 bộ dữ liệu liên quan đến lĩnh vực văn bản pháp luật (tpp-chuong28 và tpp-tomtat) như đã mô tả tại Chương 2 để đánh giá chất lượng của hệ thống. Kết quả dịch được lấy thông qua câu lệnh “th translate.lua” của OpenNMT, sử dụng mơ hình đã huấn luyện ở bước trên.
Các câu tiếng Anh sau khi được hệ thống dịch sang tiếng Việt sẽ được đối chiếu với các câu dịch chuẩn để đánh giá chỉ số BLEU thông qua hệ thống Asiya. Kết quả nhận được điểm BLEU là 29. Sử dụng tập dữ liệu nói trên, thực nghiệm đối chiếu với hệ thống dịch Anh – Việt tương tự là hệ thống dịch văn bản Cồ Việt (một sản phẩm của Lạc Việt tại địa chỉ http://tratu.coviet.vn), cho kết quả điểm BLEU là 27 và hệ thống Evtran được tích hợp trên Vdict (https://vdict.com/#translation) đạt 11.
Bảng 3.3. Kết quả đánh giá và so sánh chất lượng hệ thống dịch Anh-Việt
BLEU NIST WER
Hệ thống VIKI Translator 29,1 5,78 0,63
Hệ thống Cồ Việt 27,1 5,62 0,68
Kết quả thu được khi so sánh với các nghiên cứu về xây dựng hệ thống dịch đã được công bố đều cho thấy đạt chất lượng tốt hơn thông qua các chỉ số đánh giá. Cụ thể:
Bảng 3.4. So sánh điểm BLEU đạt được ở một số nghiên cứu xây dựng hệ thống dịch tiếng Việt
Để làm rõ kết quả của hệ thống dịch đã xây dựng, luận án thực hiện một số thực nghiệm cụ thể hơn như sau:
- Dịch từ tiếng Anh sang tiếng Việt mục lục của Hiệp định đối tác thương mại xuyên Thái Bình Dương gồm 30 đề mục chương (bản dịch Anh – Việt đã công bố trên các phương tiện truyền thông).
- Dịch từ tiếng Việt sang tiếng Anh tên của Chính phủ, các Bộ, cơ quan ngang bộ gồm 23 tên gọi được quy định tại Mục 2, Phụ lục của Thông tư số 03/2009/TT- BNG ngày 09/7/2009 của Bộ Ngoại Giao về hướng dẫn dịch quốc hiệu, tên các cơ quan, đơn vị và chức danh lãnh đạo, cán bộ cơng chức trong hệ thống hành chính nhà nước sang tiếng anh để giao dịch đối ngoại (bản dịch Anh – Việt đã quy định trong thông tư).
Hệ thống dịch Điểm BLEU cao nhất đạt được
Hệ thống VIKI Translator 29,1
Hệ thống dịch Anh – Việt sử dụng Moses [60] sử dụng bộ dữ liệu huấn luyện IWSLT 2015
23,2
Hệ thống dịch Anh – Việt sử dụng Moses [59] sử dụng kho ngữ liệu 880.000 cặp câu tự xây dựng
11,33
Hệ thống dịch Anh – Việt sử dụng mạng nơ ron và tập dữ liệu đánh giá của IWSLT 2015 [14]
27,0
Hệ thống dịch thông qua ngôn ngữ trung gian giữa cặp ngôn ngữ Séc – Việt [15]
Kết quả dịch từ hệ thống VIKI Translator và EVTran được so sánh chính xác với bản gốc và bỏ qua việc kiểm tra chữ hoa, chữ thường được thể hiện trong bảng sau:
Bảng 3.5. So sánh số lượng câu dịch đúng
Một số câu, thuật ngữ mà hệ thống VIKI Translator đã dịch đúng như sau:
Bảng 3.6. Ví dụ về các câu, thuật ngữ mà hệ thống VIKI Translator đã dịch đúng
Bản gốc tiếng Anh Bản gốc tiếng Việt VIKI Translator EVTran
The State Bank of Viet Nam
Ngân hàng Nhà nước Việt Nam
The State Bank of Vietnam
The Bank of Viet Nam
Ministry of Public Security
Bộ Công an Ministry of Public security
Police Ministry of Justice Bộ Tư pháp The Ministry of
Justice
Judicial Ministry of Labour,
War invalids and Social Affairs
Bộ Lao động - Thương binh và Xã hội
Ministry of Labour, War invalids and Social affairs
Ministry of Labor - Invalids and Social Affairs Chapter 7. Sanitary and
Phytosanitary Measures Chương 7. Biện pháp vệ sinh và kiểm dịch Chương 7. Các biện pháp vệ sinh và kiểm dịch Chương 7. Các biện pháp vệ sinh và kiểm dịch động thực vật Chapter 24. Small and
Medium-sized Enterprises Chương 24. Doanh nghiệp vừa và nhỏ Chương 24. Doanh nghiệp vừa và nhỏ Chương 24. Doanh nghiệp nhỏ và vừa Số lượng câu đúng/Tổng số câu VIKI Translator EVTran Dịch từ tiếng Anh sang tiếng Việt
mục lục của Hiệp định
14/30 10/30
Dịch từ tiếng Việt sang tiếng Anh tên các cơ quan
Chapter 27. Administrative and Institutional Provisions Chương 27. Các điều khoản về hành chính và thể chế Chương 27. Điều khoản hành chính và thể chế Chương 27. Các quy định về thể chế và hành chính Qua các so sánh trên có thể thấy rằng, bằng cách sử dụng kho ngữ liệu số lượng lớn, chất lượng tốt, hệ thống dịch dựa trên mơ hình mạng nơ ron mà nghiên cứu đã xây dựng đã cho kết quả tốt. Bên cạnh đó, nhờ kho ngữ liệu tập trung vào lĩnh vực văn bản pháp luật mà chúng tôi đã thu thập nên hệ thống dịch có thể dịch được phần lớn thuật ngữ liên quan đến lĩnh vực này, trong khi một số hệ thống khác vẫn có hiện tượng dịch sai các cụm từ quan trọng. Điều này cho thấy mơ hình dịch NMT có thể áp dụng hiệu quả đối với dịch tự động tiếng Việt.
Đánh giá của người dùng
Hệ thống dịch VIKI Translator đã được triển khai từ tháng 11 năm 2017 đến nay, cung cấp cho người sử dụng chức năng dịch trực tuyến từ tiếng Anh sang tiếng Việt và tiếng Việt sang tiếng Anh thông qua môi trường Internet tại địa chỉ:
https://vikitranslator.com. Giao diện của hệ thống VIKI Translator ở Hình 3.9.