4.4.2 Đánh giá hệ thống
Chúng tơi đã sử dụng ba độ đo: precision, recall và F-measure để đánh giá hệ thống. Qua quá trình tổng hợp và đánh giá các kết quả thực nghiệm, chúng tơi thấy rằng mơ hình hệ thống đề xuất ở chương ba cĩ tính khả thi với độ đo F trung bình đạt được là 0.61.
4.5 Tĩm tắt chương bốn
Trong chương này, luận văn đã tiến hành thực nghiệm trên mơ hình đề xuất trong chương ba. Dữ liệu thực nghiệm là bộ dữ liệu đã dịch sang tiếng Việt từ bộ dữ liệu chuẩn được lấy từ hội nghị RTE-3. Luận văn đã tiến hành bốn thực nghiệm với kết quả đạt được là độ đo F trung bình bằng 0.61. Kết quả này cho thấy được tính khả thi của mơ hình đề xuất. 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 BI FW BW NE Precision Recall F-measure
Kết luận và định hướng nghiên cứu tiếp theo
Qua quá trình tìm hiểu và phân tích các phương pháp phát hiện kế thừa văn bản đa ngơn ngữ của một số nhĩm nghiên cứu trên thế giới và phát triển các kết quả nghiên cứu về phát hiện kế thừa văn bản tiếng Việt đã cĩ [11, 10], luận văn đề xuất một mơ hình phát hiện kế thừa văn bản đa ngơn ngữ trên các cặp câu văn bản Việt-Anh. Luận văn đạt được các kết quả sau đây:
- Hệ thống hĩa được bài tốn phát hiện kế thừa văn bản đa ngơn ngữcũng như phân tích các hướng tiếp cận để giải quyết bài tốn phát hiện kế thừa văn bản đa ngơn ngữ.
- Đề xuất và cài đặt mơ hình phát hiện kế thừa văn bản đa ngơn ngữtrên các cặp văn bản Việt – Anh.
- Thực nghiệm trên tập dữ liệu chuẩn của hội nghị RTE-3 với các cặp câu văn bản Việt – Anh. Kết quả thực nghiệm với độ đo F trung bình là 0.61 cho thấy được tính khả thi của luận văn.
Tuy nhiên, luận văn vẫn tồn tài mặt hạn chế như:chưa so sánh được độ tương đồng trực tiếp giữa cặp câu văn bản Việt – Anh, chưa mở rộng phát hiện kế thừa văn bản cho các ngơn ngữ khác (đĩng vai trị là văn bản T2) ngồi tiếng Anh.
Trong thời gian tới, chúng tơi sẽ tiếp tục nghiên cứu bài tốn phát hiện kế thừa văn bản đa ngơn ngữtheo hướng tiếp cận nâng cao như đã đề cập trong mục 2.2.2 với ý tưởng so sánh độ tương đồng trực tiếp trên cặp câu văn bản Việt-Anh mà khơng sử dụng dịch máy, mở rộng hệ thống phát hiện kế thừa văn bản đa ngơn ngữ trên nhiều ngơn ngữ khác nhau.
Tài liệu tham khảo.
[1] Eamonn Newman, NicolaStokes, John Dunnion, and JoeCarthy, “Textual
Entailment Recognition Using aLinguistically–Motivated Decision Tree Classifier”,Springer Berlin Heidelberg, 2006: 372-384.
[2] Fandong Meng, Hao Xiong and Qun Liu, “A Translation based Method for Cross-
lingual Textual Entailment”, In Proceedings of the 6th International Workshop on
Semantic Evaluation (SemEval 2012).
[3] Ido Dagan and Oren Glickman, “Generic Applied Modeling of Language
Variability”, In Proceedings of PASCAL Workshop on Learning Methods for Text
Understanding and Mining, Grenoble, France, 2004.
[4] Jiang Zhao, Man Lan, Zheng-Yu Niu, “ECNUCS: Recognizing Cross-lingual
Textual Entailment Using Multiple Text Similarity and Text Difference Measures”,
In Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013).
[5] Johan Bos and Katja Market, “When logical inference helps determining textual
entailment (and when it doesn’t)”, In Proceedings of Second PASCAL
Chanllenges Workshop on Recognising Textual Entailment, Venice, Italy, 2006.
[6] Julio Javier Castillo,“An approach to Recognizing Textual Entailment and TE
SearchTask using SVM”, Procesamiento del Lenguaje Natural, Nº44, marzo de
2010: 139-145, http://www.sepln.org/revistaSEPLN/revista/44/revista44.pdf.
[7] Katharina W¨aschle and Sascha Fendrich, “HDU: Cross-lingual Textual
Entailment with SMT Features”, In Proceedings of the 6th International Workshop
on Semantic Evaluation (SemEval 2012), pages 467–471, Montreal, Canada.
[8] Marco Turchi and Matteo Negri, “Word Alignment Features for Cross-lingual
Textual Entailment”, In Proceedings of the Seventh International Workshop on
Semantic Evaluation (SemEval 2013).
[9] Minh Quang Nhat Pham, Minh Le Nguyen, Akira Shimazu, “Using Machine
Translation for Recognizing Textual Entailment in Vietnamese Language”,InComputing and Communication Technologies, Research, Innovation, and Vision for the Future (RIVF), 2012 IEEE RIVF International Conference}, pp.1-6, March, 2012.
[10] Minh-Tien Nguyen, Quang-Thuy Ha, Thi-Dung Nguyen, Tri-Thanh Nguyen and Le-Minh Nguyen, “Recognizing Textual Entailment in Vietnamese Text: An
Experimental Study”,KSE 2015 (submitted).
[11] Quang-ThuyHa, Thi-Oanh Ha, Thi-Dung Nguyen, and Thuy-Linh Nguyen Thi,
“Refinding the Judgment Threshold to Improve Recognizing Textual Entailment Using Simility”, ICCCI (2), 2012: 335-344.
[12] Rui Wang, “Intrinsic and Extrinsic Approaches to Recognizing Textual
Entailment”, PhD Thesis, Saarland University, 2011.
[13] Yashar Mehdad, “Cross-Lingual Textual Entailment and Applications”, PhD
Thesis, University of Trento, 2012.
[14] Yashar Mehdad, Matteo Negri, Marcello Federico, “Towards Cross-Lingual
Textual Entailment”, In Proceedings of the 11th Annual Conference of the North
American Chapter of the Association for Computational Linguistics (NAACL HLT 2010).
[15] Yashar Mehdad, Matteo Negri, and Jose Guilherme C. de Souza, “FBK: cross-
lingual textual entailment without translation”. In Proceedings of the 6th
International Workshop on Semantic Evaluation (SemEval 2012), pages 701–705, Montreal, Canada.
[16] Yvette Graham, Bahar Salehi, Timothy Baldwin, “Cross-lingual Textual
Entailment with Word Alignment and String Similarity Features”, In Proceedings
of the Seventh International Workshop on Semantic Evaluation (SemEval 2013). [17] Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo
Zanzotto, “Recognizing Textual Entailment: Models and Applications”, Morgan