5 Ảnh hưởng của cõy cỳ phỏp phụ thuộc đến chất lượng dịch
5.4 Đỏnh giỏ kết quả dịch và độ chớnh xỏc cõy cỳ phỏp phụ thuộc
phỏp phụ thuộc
Trong phõn tớch cỳ phỏp phụ thuộc với ngụn ngữ tiếng Việt, hiện nay cụng cụ jPTDP cú độ chớnh xỏc cao nhất [79]. Số Pos-tags trong tiếng Việt sử dụng là 23 Pos-tags, số nhón phụ thuộc là 27 nhón. Độ chớnh xỏc trong việc sử dụng
110
nhón quan hệ phụ thuộc (LAS-Labeled attachment score) là 73.53, khụng sử dụng nhón quan hệ phụ thuộc (UAS-Unlabeled attachment score) là 80.66. Số nhón phụ thuộc và Pos-tags tiếng Việt ớt, ảnh hưởng đến việc biểu diễn quan hệ trờn cõy cỳ phỏp phụ thuộc. Chất lượng cõy cỳ phỏp phụ thuộc thấp là nguyờn nhõn ảnh hưởng đến vấn đề sắp xếp lại trong dịch mỏy.
Trong phõn tớch cỳ phỏp phụ thuộc với ngụn ngữ tiếng Anh, sử dụng cụng cụ Stanford [26] cú độ chớnh xỏc cao hơn nhiều so với tiếng Việt trong cả hai trường hợp sử dụng nhón và khụng sử dụng nhón phụ thuộc. Độ chớnh xỏc trong việc sử dụng nhón quan hệ phụ thuộc (LAS-Labeled attachment score) là 89.64, khụng sử dụng nhón quan hệ phụ thuộc (UAS-Unlabeled attachment score) là 92.29. Số Pos-tags và nhón phụ thuộc sử dụng nhiều hơn. Trong tiếng Anh sử dụng là 36 Pos-tags, số nhón phụ thuộc là 60 nhón. Độ chớnh xỏc của phõn tớch phụ thuộc ảnh hưởng đến hiệu quả của phương phỏp tiền xử lý thể hiện qua chất lượng hệ dịch.
Chỳng tụi tiến hành thực nghiệm trờn kho ngữ liệu song ngữ Anh-Việt như trong bảng 2.2 cho cả hai chiều dịch Anh-Việt và Việt-Anh để thấy ảnh hưởng của cõy phõn tớch phụ thuộc tới vấn đề sắp xếp lại trong dịch mỏy.
Cỏc hệ thống thực nghiệm gồm:
• Baseline: Hệ thống dịch mỏy thống kờ cơ sở dựa trờn cụm từ sử dụng sắp xếp lại lexicalized trong bộ cụng cụ Moses.
• Auto rules by DPNN Classifier: Hệ thống SMT dựa trờn cụm ỏp dụng phõn lớp mạng nơ-ron.
Hỡnh 5.8 thể hiện ảnh hưởng của cõy cỳ phỏp phụ thuộc đến chất lượng hệ dịch trờn kho ngữ liệu song ngữ Anh-Việt. Do ngụn ngữ tiếng Anh, độ chớnh xỏc cõy cỳ phỏp phụ thuộc cao, việc ỏp dụng phương phỏp tiền xử lý sử dụng mạng nơ-ron cho chiều dịch Anh-Việt cú điểm BLEU cao hơn so với hệ thống cơ sở sử dụng dịch mỏy dựa trờn cụm từ. Ngược lại, do độ chớnh xỏc cõy cỳ
Hỡnh 5.8: Ảnh hưởng của cõy cỳ phỏp phụ thuộc đến chất lượng hệ dịch trờn kho ngữ liệu song ngữ Anh-Việt.
phỏp phụ thuộc tiếng Việt thấp, ỏp dụng phương phỏp tiền xử lý cho chiều dịch Viờt-Anh cú điểm BLEU thấp hơn hệ thống baseline. Kết quả phõn tớch cho thấy mối quan hệ giữa chất lượng phõn tớch cỳ phỏp và hiệu quả của việc đảo trật tự từ. Chất lượng cõy cỳ phỏp phụ thuộc thấp là nguyờn nhõn ảnh hưởng đến vấn đề sắp xếp lại cho dịch mỏy.
5.5 Kết luận chương
Trong chương này, chỳng tụi đó thực hiện cỏc phương phỏp phõn tớch theo ngụn ngữ học bằng cỏch kết hợp cỏc phương phỏp thực nghiệm và mụ tả trong cỏc đoạn phõn tớch để kiểm tra cỏc ảnh hưởng của cỏc lỗi phõn tớch đối với hiệu suất của việc sắp xếp lại trật tự từ trờn cỏc vấn đề: định lượng cỏc ảnh hưởng của lỗi phõn tớch cỳ phỏp với việc sắp xếp lại, cỏc lỗi phõn tớch cỳ phỏp, kiểm tra ảnh hưởng hiệu quả của từng lỗi phõn tớch cỳ phỏp cụ thể với việc sắp xếp lại.
Chỳng tụi xõy dựng cỏc hệ thống baseline để sắp xếp lại cỏc cõu tiếng Việt. Bằng cỏch tớnh toỏn sự giống nhau từ giữa hệ thống baseline và cõy phõn tớch cỳ phỏp phụ thuộc dựa trờn cỏc cõu tiếng Việt được sắp xếp lại tự động. Chỳng tụi xỏc định mối tương quan giữa cỏc lỗi phõn tớch cỳ phỏp và việc sắp xếp lại. Chỳng tụi đỏnh giỏ ảnh hưởng của lỗi phõn tớch cỳ phỏp với chất lượng việc sắp xếp lại bằng cỏch sử dụng thụng tin nhón và POS-tags, đưa ra cỏc mẫu lỗi
112
phõn tớch cỳ phỏp lỗi gõy ra lỗi sắp xếp lại bằng cỏch sử dụng đặc trưng ngụn ngữ của cỳ phỏp phụ thuộc dựa trờn ngụn ngữ học.
Cỏc kết quả phõn tớch giỳp chỳng tụi thấy rừ hơn về mối quan hệ giữa lỗi phõn tớch và hiệu suất của việc sắp xếp lại trật tự từ. Chỳng tụi biết được ảnh hưởng của cỏc lỗi phõn tớch cỳ phỏp cụ thể cho vấn đề sắp xếp trật tự từ.
Kết luận
Đảo trật tự từ trong bước tiền xử lý như một phương phỏp bổ sung cú hiệu quả đối với cỏc hệ thống dịch mỏy truyền thống, đúng vai trũ quan trọng trong việc cải tiến chất lượng dịch. Trong phần này, chỳng tụi túm lược lại cỏc kết quả chớnh và những đúng gúp của luận ỏn. Ngoài ra, chỳng tụi trỡnh bày một số hạn chế của luận ỏn và thảo luận về hướng phỏt triển cho cỏc nghiờn cứu tiếp theo trong tương lai.
1. Túm lược cỏc kết quả và đúng gúp của luận ỏn
Trong luận ỏn này, chỳng tụi đó nghiờn cứu vấn đề đảo trật tự từ trong bước tiền xử lý cỳ phỏp phụ thuộc cho cặp ngụn ngữ tiếng Anh-tiếng Việt; từ phõn tớch cỳ phỏp phụ thuộc của ngụn ngữ nguồn, chỳng tụi sắp xếp lại cỏc từ để giống với thứ tự từ ở ngụn ngữ đớch, sau đú dịch cỏc cõu được sắp xếp lại bằng hệ thống SMT dựa trờn cụm từ. Kết quả dịch từ tiếng Anh sang tiếng Việt với bộ dữ liệu IWSLT 2015 trờn hệ thống của chỳng tụi tốt hơn hai hệ thống dịch phổ biến nhất hiện nay là NMT và PBSMT.
Cỏc kết quả và đúng gúp bao gồm:
• Thứ nhất, chỳng tụi đề xuất cỏc luật đảo trật tự từ thủ cụng bằng việc lựa chọn cỏc đặc trưng về ngụn ngữ trờn cõy phõn tớch cỳ phỏp phụ thuộc. Từ đú ỏp dụng phương phỏp đảo trật tự từ để nõng cao chất lượng hệ thống dịch mỏy Anh-Việt.
• Thứ hai, chỳng tụi đề xuất phương phỏp xõy dựng luật đảo trật tự từ tự động. Chỳng tụi coi việc xõy dựng luật đảo trật tự từ như vấn đề học mỏy trong việc dự đoỏn chớnh xỏc vị trớ cỏc thành phần của luật để đoỏn thứ tự đỳng cỏc cõu trong ngụn ngữ nguồn tương ứng với thứ tự cõu ở ngụn ngữ đớch. Với hai đề xuất gồm:
– Khai thỏc cỏc đặc trưng về ngụn ngữ và đề xuất phương phỏp sử 114
dụng cỏc bộ phõn lớp để giải quyết bài toỏn đảo trật tự từ. Cụ thể là xỏc định thứ tự đỳng của cỏc phõn lớp quan hệ giữa cụm cha-con trờn cõy phõn tớch phụ thuộc biểu diễn cõu đầu vào.
– Bằng việc khai thỏc quan hệ cỏc cặp từ trờn cõy phõn tớch phụ thuộc và ưu điểm của việc biểu diễn dưới dạng word embedding, chỳng tụi đề xuất phương phỏp sử dụng mạng nơ-ron để giải quyết bài toỏn đảo trật tự từ cõu nguồn theo thứ tự từ cõu đớch trước khi đưa vào hệ dịch để nõng cao chất lượng dịch.
• Cuối cựng, chỳng tụi thực hiện phõn tớch ảnh hưởng của cỏc lỗi phõn tớch cỳ phỏp đến chất lượng dịch qua việc ỏp dụng cỏc luật đảo trật tự từ phớa cõu nguồn. Cỏc phõn tớch này mang lại lợi ớch cho việc cải tiến cỏc phương phỏp đảo trật tự từ dựa trờn cỳ phỏp và phỏt triển việc phõn tớch cỳ phỏp phụ thuộc đặc biệt với ngụn ngữ tiếng Việt.
2. Hạn chế và hướng phỏt triển của luận ỏn
Trong cụng việc đỏnh giỏ mối quan hệ giữa phõn tớch cỳ phỏp phụ thuộc và đảo trật tự từ, chỳng tụi đó thấy ảnh hưởng về chất lượng đảo trật tự từ ứng cỏc lỗi phõn tớch cỳ phỏp. Tuy nhiờn, chất lượng của việc đảo trật tự từ lại liờn quan đến giúng hàng từ, do đú ảnh hưởng đến chất lượng cỏc cụm từ song ngữ được trớch xuất. Đõy là vấn đề thỳ vị khi mở rộng cụng việc phõn tớch về ảnh hưởng của phõn tớch cỳ phỏp với cỏc lỗi sắp xếp lại bờn trong hệ thống SMT, ảnh hưởng đến chất lượng dịch mỏy. Cỏc phương phỏp sắp xếp dựa trờn cỳ phỏp cú thể sử dụng một tập hợp lớn cỏc cõu được phõn tớch cỳ phỏp chuẩn và sắp xếp lại trật tự từ.
Hiện tại, chỳng tụi tập trung chủ yếu vào nghiờn cứu về đảo trật tự từ trong bước tiền xử lý dịch mỏy thống kờ cho cặp ngụn ngữ Anh-Việt. Chỳng tụi sẽ mở rộng nghiờn cứu của chỳng tụi đến cỏc cặp ngụn ngữ hoặc từng ngụn ngữ khỏc. Hướng phỏt triển tiếp theo, chỳng tụi sẽ thử nghiệm phương phỏp học
tự động với kho ngữ liệu lớn, cú độ phủ tốt để cú thể xõy dựng cỏc luật bằng tay cú chất lượng tốt cũng như học tự động để cú cỏc luật đảo trật tự từ tốt hơn. Ngoài ra chỳng tụi sẽ tiến hành sử dụng cỏch tiếp cận tớch hợp vào hệ dịch mỏy mạng nơ-ron để cú thể xõy dựng hệ thống dịch tốt cho cả hai chiều dịch Anh-Việt, Việt-Anh.
116
Danh mục cụng trỡnh khoa học của tỏc giả liờn quan đến luận ỏn
[1] Viet Hong Tran, Huyen Vu Thuong, Vinh Van Nguyen and Minh Le Nguyen, "Dependency-based Pre-ordering For English-Vietnamese Statis- tical Machine Translation", In VNU Journal of Science: Computer Science and Communication Engineering, 2017, pages 175-179.
[2] Viet Hong Tran, Quan Hoang Nguyen and Vinh Van Nguyen "A Neural Network Classifier Based on Dependency Tree English-Vietnamese Sta- tistical Machine Translation", In Proceedings of the 19th International Conference on Intelligent Text Processing and Computational Linguistics, 2018. Available: http://site.cicling.org/2018/accepted.html
[3] Viet Hong Tran, Huyen Vu Thuong, Vinh Van Nguyen and Minh Le Nguyen,"A Classifier-based Preordering Approach for English-Vietnamese Statistical Machine Translation", In Proceedings of the 17th International Conference on Intelligent Text Processing and Computational Linguistics.
[4] Viet Hong Tran, Huyen Vu Thuong, Vinh Van Nguyen and Minh Le Nguyen,"A Reordering Model For Vietnamese-English Statistical Machine Translation Using Dependency Information", In Computing and Commu- nication Technologies, Research, Innovation, and Vision for the Future (RIVF), 2016 IEEE RIVF International Conference on, pages 175-179.
[5] Viet Hong Tran, Vinh Van Nguyen and Minh Le Nguyen, "Improving English-Vietnamese Statistical Machine Translation Using Pre-processing Dependency Syntactic", In Proceedings of the Pacific Association for Com- putational Linguistics 2015, pages 115-121.
[6] Viet Hong Tran, Huyen Vu Thuong, Vinh Nguyen Van and Trung Le Tien, "The English-Vietnamese Machine Translation System for IWSLT 2015", In Proceeding of the 12th International Workshop on Spoken Language Translation, 2015, pages 80-84. Available: http://workshop2015.iwslt.org.
[7] Viet Hong Tran, Anh Tuan Pham, Vinh Van Nguyen, Hoai Xuan Nguyen, Huy Quang Nguyen,"Parameter Learning for Statistical Machine Transla- tion using CMA-ES", In Proceedings of the Sixth International Conference KSE 2014, Series: Advances in Intelligent Systems and Computing, Vol. 326, pages 251-259.
[8] Luan Nghia Pham, Viet Hong Tran, Vinh Van Nguyen,"Vietnamese Text Accent Restoration with Statistical Machine Translation ", Proceeding of 27th Pacific Asia Conference on Language, Information and Computation. Available: http://aclweb.org/anthology/Y13-1044
[9] Hoai Thu Vuong, Vinh Van Nguyen, Viet Hong Tran and Akira Shimazu, "Improving Statistical Machine Translation with Pro- cessing Shallow Parsing", Proceeding of 26th Pacific Asia Con- ference on Language, Information and Computation. Available: http://www.aclweb.org/anthology/Y/Y12/Y12-1043.pdf
[10] Trần Hồng Việt, Vương Hồi Thu, Nguyễn Văn Vinh,Trần Lõm Qũn, "Áp dụng tiền xử lý cỳ phỏp nụng trong dịch mỏy thống kờ", Kỷ yếu hội thảo Quốc gia lần thứ XV "Một số vấn đề chọn lọc của Cụng nghệ thụng tin và Truyền thụng", trang 410-416.
118
Tài liệu tham khảo
[1] Y. Al-Onaizan, J. Curin, M. Jahr, K. Knight, J. Lafferty, I. D. Melamed, F. J. Och, D. Purdy, N. A. Smith, and D. Yarowsky. Statistical machine translation, final report, JHU workshop, 1999.
[2] Abdullah Alrajeh. Large-scale reordering models for statistical machine translation. PhD thesis, University of Southampton, May 2015.
[3] Nguyen Bach. Dependency Structures for Statistical Machine Transla- tion. PhD thesis, School of Computer Science Carnegie Mellon University, 2012.
[4] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural ma- chine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.
[5] Diệp Quang Ban. Ngữ phỏp tiếng việt (2 tập). 2005.
[6] Mohit Bansal, Kevin Gimpel, and Karen Livescu. Tailoring continuous word representations for dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Vol- ume 2: Short Papers), pages 809–815, June 2014.
[7] Antonio Valerio Miceli Barone and Giuseppe Attardi. Non-projective dependency-based pre-reordering with recurrent neural network for ma-
chine translation. In ACL (1), pages 846–856. The Association for Com- puter Linguistics, 2015.
[8] Yoshua Bengio, Rộjean Ducharme, Pascal Vincent, and Christian Janvin. A neural probabilistic language model. Journal of Machine Learning Research, 3:1137–1155, 2003.
[9] Luisa Bentivogli, Arianna Bisazza, Mauro Cettolo, and Marcello Federico. Neural versus phrase-based machine translation quality: a case study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pages 257–267, 2016.
[10] Arianna Bisazza and Marcello Federico. A survey of word reordering in statistical machine translation: Computational models and language phenomena. Comput. Linguist., 42(2):163–205, June 2016.
[11] Peter F. Brown, J. Cocke, Stephen A. Della Pietra, Vincent J. Della Pietra, F. Jelinek, John D. Lafferty, R. L. Mercer, and P. S. Roossin. A statistical approach to machine translation. Computational Linguistics, 16(2):79–85, 1990.
[12] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and R. L. Mercer. The mathematics of statistical machine translation: pa- rameter estimation. Computational Linguistics, 19(2):263–311, 1993.
[13] Sabine Buchholz and Erwin Marsi. Conll-x shared task on multilingual dependency parsing. InProceedings of the Tenth Conference on Computa- tional Natural Language Learning, CoNLL-X ’06, pages 149–164, Strouds- burg, PA, USA, 2006. Association for Computational Linguistics.
120
[14] Sheila Castilho, Federico Gaspari, Joss Moorkens, Maja Popovi´c, and Antonio Toral. Editors’ foreword to the special issue on human factors in neural machine translation. Machine Translation, May 2019.
[15] Daniel Cer, Marie-Catherine de Marneffe, Daniel Jurafsky, and Christo- pher D. Manning. Parsing to stanford dependencies: Trade-offs between speed and accuracy. In 7th International Conference on Language Re- sources and Evaluation (LREC 2010), 2010.
[16] Pi-Chuan Chang, Huihsin Tseng, Dan Jurafsky, and Christopher D. Man- ning. Discriminative reordering with chinese grammatical relations fea- tures. In Proceedings of the Third Workshop on Syntax and Structure in Statistical Translation, SSST ’09, pages 51–59, Stroudsburg, PA, USA, 2009. Association for Computational Linguistics.
[17] Danqi Chen and Christopher D. Manning. A fast and accurate depen- dency parser using neural networks. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, EMNLP, pages 740–750. ACL, 2014.
[18] David Chiang. A hierarchical phrase-based model for statistical machine translation. In Proceedings of the 43rd Annual Meeting of the Associa- tion for Computational Linguistics (ACL’05), pages 263–270, Ann Arbor, Michigan, June 2005.
[19] David Chiang. Hierarchical phrase-based translation. Computational Linguistics, 33(2):201–228, 2007.
[20] Kyunghyun Cho, Bart van Merrienboer, Cá aglar Găulácehre, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase repre- sentations using RNN encoder-decoder for statistical machine translation. CoRR, abs/1406.1078, 2014.
[21] Junyoung Chung, Kyunghyun Cho, and Yoshua Bengio. A character-level decoder without explicit segmentation for neural machine translation. In Proceedings of the 54th Annual Meeting of the Association for Compu- tational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers, 2016.
[22] M. Collins, P. Koehn, and I. Kucerovỏ. Clause restructuring for statistical machine translation. In Proc. ACL 2005, pages 531–540. Ann Arbor, USA, 2005.
[23] Corinna Cortes and Vladimir Vapnik. Support-vector networks. Machine Learning, 20(3):273–297, Sep 1995.
[24] Yiming Cui, Shijin Wang, Jianfeng Li, and Yuguang Wang. LSTM neural reordering feature for statistical machine translation.NAACL HLT, 2016. [25] Adrià de Gispert, Gonzalo Iglesias, and William Byrne. Fast and ac- curate preordering for smt using neural networks. In Proceedings of the Conference of the North American Chapter of the Association for Com- putational Linguistics - Human Language Technologies (NAACL HLT 2015), June 2015.
[26] Marie-Catherine de Marnee and Christoper Manning. Stanford typed dependencies manual. 01 2008.
[27] Bill MacCartney de Marneffe and Christopher D.Manning. Generating typed dependency parses from phrase structure parses. In In the Pro- ceeding of the 5th International Conference on Language Resources and Evaluation, 2006.
[28] George Doddington. Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. In Proceedings of the Second In- ternational Conference on Human Language Technology Research, HLT
122
’02, pages 138–145, San Francisco, CA, USA, 2002. Morgan Kaufmann Publishers Inc.
[29] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. CoRR, abs/1611.01734, 2016.
[30] David Farwell and Yorick Wilks. Ultra: A multilingual machine transla- tor. 3, 01 1991.
[31] Michel Galley, Mark Hopkins, Kevin Knight, and Daniel Marcu. What’s in a translation rule? In HLT-NAACL, pages 273–280. The Association for Computational Linguistics, 2004.