6. Đóng góp chính của luận án
3.4. Đánh giá kết quả
Kết quả thực nghiệm
Sau khi xây dựng hệ thống dịch văn bản pháp luật tiếng Anh – tiếng Việt bằng mơ hình mạng nơ ron kết hợp kho ngữ liệu lớn, nghiên cứu sử dụng 2 bộ dữ liệu liên quan đến lĩnh vực văn bản pháp luật (tpp-chuong28 và tpp-tomtat) như đã mô tả tại Chương 2 để đánh giá chất lượng của hệ thống. Kết quả dịch được lấy thông qua câu lệnh “th translate.lua” của OpenNMT, sử dụng mơ hình đã huấn luyện ở bước trên.
Các câu tiếng Anh sau khi được hệ thống dịch sang tiếng Việt sẽ được đối chiếu với các câu dịch chuẩn để đánh giá chỉ số BLEU thông qua hệ thống Asiya. Kết quả nhận được điểm BLEU là 29. Sử dụng tập dữ liệu nói trên, thực nghiệm đối chiếu với hệ thống dịch Anh – Việt tương tự là hệ thống dịch văn bản Cồ Việt (một sản phẩm của Lạc Việt tại
địa chỉ http://tratu.coviet.vn), cho kết quả điểm BLEU là 27 và hệ thống Evtran được tích hợp trên Vdict (https://vdict.com/#translation) đạt 11.
Bảng 3.3. Kết quả đánh giá và so sánh chất lượng hệ thống dịch Anh-Việt
BLEU NIST WER
Hệ thống VIKI Translator 29,1 5,78 0,63
Hệ thống Cồ Việt 27,1 5,62 0,68
Kết quả thu được khi so sánh với các nghiên cứu về xây dựng hệ thống dịch đã được công bố đều cho thấy đạt chất lượng tốt hơn thông qua các chỉ số đánh giá. Cụ thể:
Bảng 3.4. So sánh điểm BLEU đạt được ở một số nghiên cứu xây dựng hệ thống dịch tiếng Việt
Hệ thống dịch Điểm BLEU cao nhất đạt được
Hệ thống VIKI Translator 29,1
Hệ thống dịch Anh – Việt sử dụng Moses [60] sử dụng bộ dữ liệu huấn luyện IWSLT 2015
23,2 Hệ thống dịch Anh – Việt sử dụng Moses [59] sử dụng kho ngữ liệu 880.000
cặp câu tự xây dựng
11,33 Hệ thống dịch Anh – Việt sử dụng mạng nơ ron và tập dữ liệu đánh giá của
IWSLT 2015 [14]
27,0 Hệ thống dịch thông qua ngôn ngữ trung gian giữa cặp ngôn ngữ Séc – Việt
[15]
10,59
Để làm rõ kết quả của hệ thống dịch đã xây dựng, luận án thực hiện một số thực nghiệm cụ thể hơn như sau:
-Dịch từ tiếng Anh sang tiếng Việt mục lục của Hiệp định đối tác thương mại xuyên Thái Bình Dương gồm 30 đề mục chương (bản dịch Anh – Việt đã công bố trên các phương tiện truyền thông).
-Dịch từ tiếng Việt sang tiếng Anh tên của Chính phủ, các Bộ, cơ quan ngang bộ gồm 23 tên gọi được quy định tại Mục 2, Phụ lục của Thông tư số 03/2009/TT- BNG ngày 09/7/2009 của Bộ Ngoại Giao về hướng dẫn dịch quốc hiệu, tên các cơ quan, đơn vị và chức danh lãnh đạo, cán bộ cơng chức trong hệ thống hành chính nhà nước sang tiếng anh để giao dịch đối ngoại (bản dịch Anh – Việt đã quy định trong thông tư).
Kết quả dịch từ hệ thống VIKI Translator và EVTran được so sánh chính xác với bản gốc và bỏ qua việc kiểm tra chữ hoa, chữ thường được thể hiện trong bảng sau:
Bảng 3.5. So sánh số lượng câu dịch đúng
Số lượng câu đúng/Tổng số câu
VIKI Translator EVTran Dịch từ tiếng Anh sang tiếng Việt mục lục của Hiệp
định
14/30 10/30
Dịch từ tiếng Việt sang tiếng Anh tên các cơ quan 15/23 11/23
Một số câu, thuật ngữ mà hệ thống VIKI Translator đã dịch đúng như sau:
Bảng 3.6. Ví dụ về các câu, thuật ngữ mà hệ thống VIKI Translator đã dịch đúng
Bản gốc tiếng Anh Bản gốc tiếng Việt VIKI Translator EVTran
The State Bank of Viet Nam Ngân hàng Nhà nước Việt Nam
The State Bank of Vietnam
The Bank of Viet Nam Ministry of Public
Security
Bộ Công an Ministry of Public security
Police Ministry of Justice Bộ Tư pháp The Ministry of
Justice
Judicial Ministry of Labour, War
invalids and Social Affairs
Bộ Lao động - Thương binh và Xã hội
Ministry of Labour, War invalids and Social affairs
Ministry of Labor - Invalids and Social Affairs Chapter 7. Sanitary and
Phytosanitary Measures Chương 7. Biện pháp vệ sinh và kiểm dịch Chương 7. Các biện pháp vệ sinh và kiểm dịch Chương 7. Các biện pháp vệ sinh và kiểm dịch động thực vật
Chapter 24. Small and Medium-sized Enterprises Chương 24. Doanh nghiệp vừa và nhỏ Chương 24. Doanh nghiệp vừa và nhỏ Chương 24. Doanh nghiệp nhỏ và vừa
Chapter 27. Administrative and Institutional Provisions Chương 27. Các điều khoản về hành chính và thể chế Chương 27. Điều khoản hành chính và thể chế Chương 27. Các quy định về thể chế và hành chính
Qua các so sánh trên có thể thấy rằng, bằng cách sử dụng kho ngữ liệu số lượng lớn, chất lượng tốt, hệ thống dịch dựa trên mơ hình mạng nơ ron mà nghiên cứu đã xây dựng đã cho kết quả tốt. Bên cạnh đó, nhờ kho ngữ liệu tập trung vào lĩnh vực văn bản pháp luật mà chúng tơi đã thu thập nên hệ thống dịch có thể dịch được phần lớn thuật ngữ liên quan đến lĩnh vực này, trong khi một số hệ thống khác vẫn có hiện tượng dịch sai các cụm từ quan trọng. Điều này cho thấy mơ hình dịch NMT có thể áp dụng hiệu quả đối với dịch tự động tiếng Việt.
Đánh giá của người dùng
Hệ thống dịch VIKI Translator đã được triển khai từ tháng 11 năm 2017 đến nay, cung cấp cho người sử dụng chức năng dịch trực tuyến từ tiếng Anh sang tiếng Việt và tiếng Việt sang tiếng Anh thông qua môi trường Internet tại địa chỉ: https://vikitranslator.com. Giao diện của hệ thống VIKI Translator ở Hình 3.9.
Ngồi hình thức sử dụng thơng qua website, VIKI Translator cịn cung cấp các cách thức sử dụng như sau:
oMô đun phần mềm chạy trên nền tảng Windows
oMô đun phần mềm chạy trên nền tảng Android
oMơ đun tích hợp trên trình duyệt Chrome (Chrome Extensions)
Về cơ bản, các phân hệ này hiện thị trực tiếp nội dung từ website chính của VIKI Translator hoặc gọi hàm API từ website này để lấy kết quả dịch.
Tổng hợp một số kết quả đạt được qua quá trình triển khai thực nghiệm hệ thống:
o Tổng số lượt truy cập và sử dụng ứng dụng trên tất cả nền tảng: trên
1.500.0 người dùng
o Tổng số lượt truy cập website hàng tháng: gần 70.000 người
o Lượt tải ứng dụng trên Windows: hơn 30.000 lượt
o Số người dùng Chrome Extensions: hơn 5.000 người
o Đánh giá của người dùng Chrome Extensions: 4,6/5 điểm từ 27 đánh giá
o Đánh giá của người dùng trên Google Play: 4,5/5 điểm từ 47 đánh giá
o Tổng số bài viết giới thiệu, hướng dẫn sử dụng từ các website khác: hơn 30 bài
o Tổng số liên kết từ các website khác trỏ đến VIKI Translator (backlink): 582.561 backlink (kết quả từ ahrefs.com, trang web tổng hợp số liệu backlink hàng đầu hiện nay)
Hình 3.11. Thống kê tổng số người dùng (Nguồn: Google Analytics)
Hình 3.12. Thống kê số lượng liên kết (Nguồn: ahrefs.com)