Gán nhãn vai trị ngữ nghĩa nơng là một bài tốn phức tạp địi hỏi trích rút một số lượng lớn các đặc trưng phức tạp như các đặc trưng về cú pháp. Do thời gian nghiên cứu có hạn, trong khuôn khổ luận văn này, tôi chỉ sử dụng các đặc trưng đơn giản, tuy nhiên, chất lượng gán nhãn các nhãn A0, A1 và A2 (là ba nhãn có tần số xuất hiện cao trong câu) cũng đạt tới F1 = 84.42 đối với A0, F1= 65.13 đối với A1 và F1= 44.97 đối với A2, do vậy, chất lượng gán nhãn như trên là hồn tồn có thể chấp nhận được.
Bảng kết quả dưới đây mô tả kết quả gán nhãn với đầy đủ các nhãn:
Precision Recall F1 A0 86.75 86.92 86.84 A1 80.63 75.54 78.00 A2 68.64 60.72 64.44 A3 79.25 48.55 60.22 A4 78.82 65.69 71.66 A5 100.00 80.00 88.89
AM-ADV 57.30 51.98 54.51 AM-CAU 61.76 57.53 59.57 AM-DIR 65.38 40.00 49.64 AM-DIS 75.38 76.56 75.97 AM-EXT 78.95 46.88 58.82 AM-LOC 67.88 56.47 61.65 AM-MNR 60.92 50.29 55.10 AM-MOD 97.36 93.65 95.47 AM-NEG 98.25 97.83 98.04 AM-PNC 52.86 32.17 40.00 AM-PRD 0.00 0.00 0.00 AM-REC 0.00 0.00 0.00 AM-TMP 78.78 77.18 77.97 R-A0 87.27 85.71 86.49 R-A1 76.22 69.87 72.91 R-A2 46.15 37.50 41.38 R-A3 0.00 0.00 0.00 R-A4 0.00 0.00 0.00 R-AM-ADV 0.00 0.00 0.00 R-AM-CAU 0.00 0.00 0.00 R-AM-EXT 0.00 0.00 0.00 R-AM-LOC 72.73 76.19 74.42
R-AM-MNR 25.00 33.33 28.57
R-AM-TMP 64.62 80.77 71.79
Trung bình 80.15 75.36 77.68
3.4.2. Với ngôn ngữ tiếng Việt:
Trong thực nghiệm với ngôn ngữ như tiếng Việt, tôi sử dụng bộ dữ liệu huấn luyện khoảng 500 câu đầu vào – được tạo từ kho dữ liệu Viettreebank, huấn luyện gán nhãn với 5 loại nhãn: A0, A1, A2, TMP, LOC. Kết quả thử nghiệm như sau: Precision đạt 7.91%, Recall đạt 15.71% và F-score đạt 9.02% với bộ test chứa 89 câu, 143 mệnh đề:
Precision Recall F1-Score
A0 18.06 22.41 20.00 A1 11.81 13.93 12.78 A2 - - - LOC 1.71 21.74 3.17 TMP 0.06 4.76 0.11 Trung bình 7.91 15.71 9.02
Cơng việc nâng cao độ chính xác và tốc độ huấn luyện và kiểm tra bằng các kỹ thuật trích rút đặc trưng phức tạp hơn sẽ là mục tiêu và hướng nghiên cứu tiếp theo của đề tài.
3.5. Kết luận chương 3
Nội dung chính của chương này là mơ tả bài tốn gán nhãn vai trò ngữ nghĩa theo hướng áp dụng mơ hình học máy AdaBoost và cơng cụ Swirl trong gán nhãn chuỗi dữ liệu. Đồng thời, chương này cũng trình bày q trình thu thập dữ liệu, trích chọn đặc trưng và các kết quả thực nghiệm thu được trong quá trình gán nhãn vai trị ngữ nghĩa.
CHƯƠNG 4: KẾT LUẬN
Thông qua việc nghiên cứu tìm hiểu, thử nghiệm mơ hình AdaBoost với bài tốn gán nhãn vai trị ngữ nghĩa, luận văn đã thu được những đóng góp chính sau:
- Luận văn cung cấp một cách nhìn tổng quan về bài tốn gãn nhãn vai trị ngữ nghĩa tiếp cận theo mơ hình học máy AdaBoost.
- Thử nghiệm gán nhãn vai trò ngữ nghĩa cho 426 câu tiếng Anh trên bộ dữ liệu chuẩn CoNLL 2004, với độ chính xác 70.89 %.
Hướng nghiên cứu tiếp theo của luận văn:
- Tập trung đi sâu hơn vào giai đoạn trích chọn đặc trưng: với số lượng lớn các đặc trưng phức tạp, điều này có ý nghĩa quan trọng tới độ chính xác và chi phí tính tốn- một yếu tố quan trọng của các ứng dụng tầm cỡ hoặc những ứng dụng đòi hỏi đáp ứng với thời gian thực.
- Xây dựng tập dữ liệu huấn luyện và kiểm tra để phục vụ gán nhãn ngữ nghĩa tiếng Việt.
- Tìm hiểu các kĩ thuật nâng cao để giúp tăng tốc độ huấn luyện cho mơ hình AdaBoost.
- Tìm hiểu và áp dụng phương pháp AdaBoost vào việc nhận dạng hình ảnh và âm thanh.
- Nghiên cứu phương pháp học sâu áp dụng gán nhãn vai trò ngữ nghĩa, trong đó, tiến hành tiền xử lý các đặc trưng đầu vào, sau đó có thể huấn luyện bằng cách sử dụng cấu trúc mạng nơ ron nhiều tầng. Các đặc trưng được tính tốn bởi các tầng sâu hơn của mạng, được huấn luyện tự động bởi thuật tốn lan truyền ngược thích hợp với các bài tốn tương ứng.
Phụ lục
1. Danh sách các nhãn sử dụng trong bài toán gán ngữ nghĩa tiếng Việt (dựa theo mô tả của VietTreebank):
1.1. Nhãn từ loại: TT Tên Chú thích 1 N Danh từ 2 Np Danh từ riêng 3 Nc Danh từ chỉ loại 4 Nu Danh từ chỉ đơn vị 5 V Động từ 6 A Tính từ 7 P Đại từ 8 L Lượng từ 9 M Số từ 10 R Phụ từ 11 E Giới từ 12 C Liên từ 13 I Thán từ 14 T Trợ từ, tiểu từ, từ chỉ hình thái 15 U Từ đơn lẻ 16 Y Từ viết tắt
17 X Các từ không phân loại được
1.2. Nhãn cú pháp
TT Tên Chú thích 1 NP Cụm danh từ 2 VP Cụm động từ 3 AP Cụm tính từ 4 RP Cụm phụ từ 5 PP Cụm giới từ 6 QP Cụm từ chỉ số lượng 7 MDP Cụm từ tình thái
8 WHNP Cụm danh từ nghi vấn (ai, cái gì, con gì …)
9 WHAP Cụm tính từ nghi vấn (lạnh thế nào, đẹp ra sao…) 10 WHRP Cụm từ nghi vấn dùng khi hỏi về thời gian, nơi chốn… 11 WHPP Cụm giới từ nghi vấn (với ai, bằng cách nào…)
Tập nhãn mệnh đề
TT Tên Chú thích
1 S Câu trần thuật (khẳng định hoặc phủ định)
2 SQ Câu hỏi
Tập nhãn chức năng cú pháp
TT Tên Chú thích
1 SUB Danh từ
2 DOB Danh từ riêng
3 IOB Danh từ chỉ loại
4 TPC Danh từ chỉ đơn vị
5 PRD Động từ
6 LGS Tính từ
7 EXT Đại từ
8 H Lượng từ
9-12 TC, CMD, EXC, SPL Nhãn phân loại câu: đề-thuyết, mệnh lệnh, cảm thán, đặc biệt
13 TTL Tít báo hay tiêu đề
14 VOC Thành phần than gọi
Tập nhãn chức năng trạng ngữ
TT Tên Chú thích
1 TMP Nhãn chức năng trạng ngữ chỉ thời gian 2 LOC Nhãn chức năng trạng ngữ chỉ nơi chốn 3 DIR Nhãn chức năng trạng ngữ chỉ hướng 4 MNR Nhãn chức năng trạng ngữ chỉ cách thức
5 PRP Nhãn chức năng trạng ngữ chỉ mục đích hay lý do
6 ADV Nhãn chức năng trạng ngữ nói chung (dùng khi trạng ngữ không thuộc một trong các loại cụ thể trên)
Tài liệu tham khảo Tiếng Việt
[1] Hoàng Xuân Huấn, 2013, Giáo trình Nhận dạng mẫu, NXB Đại học Quốc gia Hà Nội, Hà Nội.
[2] Nhữ Văn Kiên, 2013, Luận văn Thạc sỹ Nghiên cứu phương pháp tự động phát hiện lỗi trong kho ngữ liệu tiếng Việt được chú giải từ loại, Học viện công nghệ bưu chính viễn thơng, Hà Nội.
Tiếng Anh
[3] Collin F Baker, Charles J Fillmore, John B Lowe, 1998, The berkeley framenet project, In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (COLING/ACL-1998).
[4] Xavier Carreras and Lluís Màrquez, May 2004, Introduction to the CoNLL- 2004 Shared Task: Semantic Role Labeling, In Proceedings of the CoNLL-2004 Shared Task, Boston, MA USA.
[5] Xavier Carreras, Lluís Màrquez, and Grzegorz Chrupała, May 2004, Hierarchical Recognition of Propositional Arguments with Perceptrons, In Proceedings of the CoNLL-2004 Shared Task, Boston, MA USA.
[6] John Chen, Owen Rambow, 2003, Use of deep linguistic features for the recognition and labeling of semantic arguments, In Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing (EMNLP- 2003).
[7] Wen-Chi Chou, Richard Tzong-Han Tsai, Ying-Shan Su, Wei Ku, TingYi Sung, Wen-Lian Hsu, 2006, A semi-automatic method for annotating a biomedical proposition bank, p5-12, In Proceedings of the Workshop on Frontiers in Linguistically Annotated Corpus.
[8] Trevor Cohn and Philip Blunsom, June 2005, Semantic Role Labelling with Tree Conditional Random Fields, In Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005), pages 169- 172, Ann Arbor, MI, USA.
[9] Michael Collins, 1997, Three generative, lexicalized models for statistical parsing, In Philip R. Cohen and Wolfgang Wahlster, editors, Proceedings of the 35th Annual Meeting of the Association for Computational Linguistics (ACL- 1997), pages 16–23, Somerset, New Jersey.
[10] Ann Copestake, Dan Flickinger, 2000, An open-source grammar development environment and broad-coverage english grammar using HPSG, In Proc of LREC, Athens, Greece, pp. 591-598.
[11] D.A. Dahl, Palmer, M. S., and Passonneau, R. J., 1987, Nominalizations inpundit, In Proceedings of the 25th annual meeting on Association for Computational Linguistics, pages 131–139, Morristown, NJ, USA. Association for Computational Linguistics.
[12] Hoa Trang Dang, Martha Palmer, June- 2005, The role of semantic roles in disambiguating verb senses, In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, Ann Arbor, MI, USA.
[13] Richard Durbin, Sean R. Eddy, Anders Krogh, Graeme Mitchison, 1998, "Biological sequence analysis. Probabilistic models of proteins and nucleic acids", Cambridge University Press, p356.
[14] Charles. J. Fillmore, 1968, The case for case, In Bach, E. and Harms, R., editors, Universals in Linguistic Theory. Holt, Rinehart, and Winston.
[15] Daniel Gildea, Daniel Jurafsky, September 2002, "Automatic Labeling of Semantic Roles", Journal Computational Linguistics, 28(3), p245-288.
[16] Kadri Hacioglu, Sameer Pradhan, Wayne Ward, James H. Martin, Daniel Jurafsky, 2004, Semantic role labeling by tagging syntactic chunks, In Proceedings of CoNLL 2004 Shared Task, p110-113, MA, USA.
[17] Graeme Hirst, 1987, Semantic interpretation and the resolution of ambiguity, Cambridge University Press.
[18] Yudong Liu, Fall 2009, The Doctor of Philosophy thesis, Semantic role labeling using lexicalized tree adjoining grammars, Simon Fraser university. [19] John Lafferty, Andrew McCallum, Fernando Pereira, 2001, Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data, In Proceeding 18th International Conference on Machine Learning, pages 282–289, Morgan Kaufmann, San Francisco, CA.
[20] Beth Levin, 1993, "English Verb Classes and Alternations: A Preliminar Investigation", The University of Chicago Press,Pp. xviii, 348.
[21] Joon-Ho Lim, Young-Sook Hwang, So-Young Park, Hae-Chang Rim, 2004,Semantic Role Labeling using Maximum Entropy Model, In Proceedings of the CoNLL-2004 Shared Task, MA, USA.
[22] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner,1998, Gradientbased learning applied to document recognition. In Proceedings of the IEEE, 86, 2278–2324.
[23] Lluís Màrquez, Pere Comas, Jesús Giménez and Neus Català, June 2005, Semantic Role Labeling as Sequential Tagging, In Proceedings of the 9th Conference on Computational Natural Language Learning (CoNLL), pages 193–196, Ann Arbor.
[24] Andrew McCallum, Dayne Freitag, Fernando Pereira, 2000, Maximum entropy Markov models for information extraction and segmentation, Proc. ICML 2000, pp. 591–598, Stanford, California.
[25] Gabor Melli, Y. Wang, Y. Liu, M. Kashani, Z. Shi, B. Gu, A. Sarkar, and F. Popowich, October 2005, Description of squash, the sfu question answering summary handler for the DUC-2005 Summarization task, In Proceedings of Document Understanding Conferences (DUC-2005), pages 103-110, Vancouver, Canada.
[26] Srini Narayanan. and Sanda Harabagiu, August 23rd-27th, 2004, Question answering based on semantic structures. In Proceedings of 20th International Conference on Computational Linguistics (COLING-2004), University of Geneva, Switzerland.
[27] Martha Palmer, Daniel Gildea, Paul Kingsbury, March 2005, “The Proposition Bank: An Annotated Corpus of Semantic Roles”, Journal of Computational Linguistics, Volume 31 Issue 1, pages 71- 206.
[28] Sameer Pradhan, Wayne Ward, James H. Martin, June 2008, "Towards robust semantic role labeling", Journal Computational Linguistics, Volume 34 Issue 2, p289-310, MIT Press Cambridge, MA, USA.
[29] Sameer Pradhan, Wayne Ward, Kadri Hacioglu, James H. Martin, and Daniel Jurafsky, 2004, Shallow semantic parsing using support vector machines, In Proceedings of Human Language Technology Conference / North American chapter of the Association for Computational Linguistics annual meeting (HLT- NAACL-2004).
[30] James Pustejovsky, 1995, "The Generative Lexicon", The MIT Press, Cambridge, MA.
[31] Mihai Surdeanu, Sanda Harabagiu, John Williams, Paul Aarset, 2003, Using predicate-argument structures for information extraction, In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, volume 1, pages 8- 15.
[32] Yuka Tateisi, Akane Yakushiji, Tomoko Ohta, Jun’ichi Tsujii, October 2005, Syntax annotation for the genia corpus, In Proceedings of the 2nd Interna – 43 tional Joint Conference on Natural Language Processing (IJCNLP-2005), Jeju Island, Korea, p11-13.
[33] Nianwen Xue, Martha Palmer, 2004, Calibrating features for semantic role labeling, In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004).
[34] Akane Yakushiji, Yusuke Miyao, Yuka Tateisi, and Junichi Tsujii, April 2005, Biomedical information extraction with predicate-argument structure patterns, In Proceedings of the first International Symposium on Semantic Mining in Biomedicine (SMBM), Hinxton, Cambridgeshire, UK.
[35] Mihai Surdeanu, Jordi Turmo, 2003, Semantic Role Labeling Using Complete Syntactic Analysis
Website [35] http://nlp.stanford.edu/projects/shallow-parsing.shtml [36] http://www.cs.upc.edu/~srlconllirl/index.phpml [37] http://www.lsi.upc.edu/ srlconll/st04/st04.html [38] http://www.ling.upenn.edu/courses/Fall_2007/ling001/penn_treebank_pos.html [39] http://www.surdeanu.info/mihai/swirl/index.php