Kết quả thực nghiệm thu được cho thấy cĩ sự chênh lệch rất lớn giữa hai phương pháp SVM và Entropy cực đại (SVM cĩ độ chính xác là 25% và Entropy cực đại là 70%) khi sử dụng cho bộ phân lớp câu hỏi tiếng Việt. Đâu là nguyên nhân dẫn đến sự chênh lệch này?
a. Đối với thuật tốn SVM
SVM khi áp dụng vào bộ phân lớp câu hỏi tiếng Anh cĩ độ chính xác rất cao (khoảng 80% – như trong các bài báo [16] và [42] cơng bố) nhưng khi sử dụng thuật tốn này cho bộ dữ liệu tiếng Việt độ chính xác bị giảm đáng kể. Nguyên nhân của sự sụt giảm này cĩ thể được lý giải theo cảm tính như sau:
(1)Khĩa luận sử dụng tập dữ liệu khác so với tập dữ liệu của các tác giả Hacioglu [16] và Zhang [42]
(2)Số lượng dữ liệu học chưa đủ lớn (1150 câu hỏi) chưa thể hiện hết được các đặc trưng của từng lớp câu hỏi. Khi tập dữ liệu dùng để huấn luyện tăng lên độ chính xác của thuật tốn cũng được nâng lên.
(3)Cĩ sự khác biệt về vector đặc trưng sử dụng khi biểu diễn câu hỏi; nguyên nhân này cĩ thể là thứ yếu vì trong bài báo [42], tác giả Zhang cũng sử dụng TF IDF và mơ hình unigram để làm vector đặc trưng cho từng câu hỏi.
b. Đối với nguyên lý Entropy cực đại
Đối với tập dữ liệu học là 1150 câu hỏi cho 8 phân lớp cho kết quả khá khả quan về độ đo F1 là 69.07%. Mặt khác, do số lượng câu hỏi huấn luyện cho từng phân lớp cĩ sự chênh lệch dẫn đến khả năng đốn nhẫn của từng phân lớp cũng khác nhau. Ví dụ như lớp
Bệnh cĩ số lượng câu hỏi là 413 trong khi lớp thời_gian cĩ số lượng câu hỏi là 23. Lý do
của việc này là khi xảy ra sự mất cân bằng trong số lượng dữ liệu dùng để huấn luyện, trọng số của các đặc trưng cĩ ích chuyên biệt cho từng lớp sẽ khơng cao do đĩ mơ hình rất dễ đốn nhận nhầm.
Để đảm bảo khả năng đốn nhận của các phân lớp cần bằng với nhau và khả năng
đốn nhận tốt thì số lượng câu hỏi mẫu cho từng lớp cần phải tương đương nhau về mặt số lượng. Song song với đĩ là tập câu hỏi huấn luyện cần gia tăng thêm về số lượng, đảm bảo cung cấp đầu đủ các ràng buộc từ dữ liệu cho mơ hình.
Như trong mục 3.3.3 đã trình bày, tư tưởng chủ đạo của nguyên lý cực đại Entropy là thay vì thêm vào các ràng buộc mới, mơ hình tự tìm ra trong dữ liệu (tập câu hỏi mẫu) những ràng buộc và đặc trưng riêng cho từng phân lớp. Điều này là khác với SVM cố gắng tìm ra các siêu phẳng ngăn cách dữ liệu của từng lớp câu hỏi. Cho nên khi tập liệu khơng cĩ số lượng quá lớn và mỗi một tài liệu chỉ chứa ít đặc trưng (như câu hỏi) làm cho sự phân lớp của SVM bị giảm sút trong khi mơ hình của phân lớp của nguyên lý cực đại Entropy vấn được bảo đảm.
Từ những kết quả thực nghiệm trên cho thấy khi xây dựng bộ phân lớp câu hỏi tiếng Việt thuật tốn nguyên lý Entropy cực đại tỏ ra thích hợp hơn so với các thuật tốn khác.
Kết luận
Nhu cầu xây dựng một hệ thống tìm kiếm ngữ nghĩa cho từng lĩnh vực trong đời sống ngày càng trở cấp thiết, trong đĩ vấn đề xây dựng hai module phân lớp câu hỏi và
mạng ngữ nghĩa chịu ảnh hưởng bởi đặc trưng riêng của từng ngơn ngữ là phần quan
trong trong quá trình xây dựng một hệ thống tìm kiếm ngữ nghĩa .
Sự đa dạng của các thuật tốn phân loại dữ liệu nĩi chung và phân lớp câu hỏi nĩi riêng khiến cho việc lựa chọn thuật tốn để xây dựng module phân lớp câu hỏi cho từng ngơn ngữ tở nên khĩ khăn hơn.
Khĩa luận này tiếp cận các vấn đề nĩi trên và nghiên cứu các thuật tốn phổ biến hiện nay cho phân lớp câu hỏi, từ đĩ đưa ra phương pháp và thuật tốn áp dụng vào tiếng Việt .
Khĩa luận đã đạt được những kết quả:
• Phân tích các vấn đề xung quanh bài tốn xây dựng một hệ thống tìm kiếm ngữ nghĩa
• Chỉ ra các module chịu ảnh hưởng bởi đặc trưng ngơn ngữ và phân tích phương pháp xây dựng các module này.
• Khảo sát các thuật tốn phân lớp câu hỏi và lựa chọn thuật tốn tốt nhất khi áp dụng cho tiếng Việt
• Xây dựng module phân lớp câu hỏi Y tế trong tiếng Việt.
Do giới hạn về thời gian cũng như kiến thức của tác giả cho nên hiệu quả module phân lớp câu hỏi cho tiếng Việt chưa thực sự cao. Hạn chế này cần được tiếp tục nghiên cứu và cải tiến qua đĩ để khẳng định tính hiệu quả của phương pháp chỉ ra.
Tài liệu tham khảo Tiếng Việt
[1]Lê Diệu Thu, Trần Thị Ngân, “Xây dựng Ontology nhằm hỗ trợ tìm kiếm ngữ nghĩa trong lĩnh vực Y tế”, Cơng trình sinh viên nghiên cứu khoa học, Đại học Cơng nghệ, ĐHQGHN, 2008.
[2]Nguyễn Thị Hương Thảo, “Phân lớp phân cấp Taxonomy văn bản Web và ứng dụng”,
Khĩa luận tốt nghiệp đại học, Đại học Cơng nghệ, ĐHQGHN, 2006. [3]Trung tâm ngơn ngữ học Việt Nam. “Đặc điểm tiếng Việt”,
http://www.vietlex.com/vietnamese.htm
[4]VN-KIM , Đại học Bách khoa, ĐHQG Thành Phố Hồ chí Minh http://www.dit.hcmut.edu.vn/~tru/VN-KIM/products/vnkim-kb.htm.
Tiếng Anh
[5] Clocksin W. F. and Mellish C. S., “Programming in Prolog”, Springer-Verlag, 1981. [6]D. Roth. “Learning to Resolve Natural Language Ambiguities: A Unified Approach.”
Proceedings of AAAI'98: 806-813, Madison, WI, USA, Jul 1998.
[7]Darroch, J. and Ratcliff, D. “Generalized iterative scaling for log-linear models”.
Annals Mathematical Statistics, 43(5):1470–1480, 1972.
[8]Della Pietra, S., Della Pietra, V. and Lafferty, J. “Inducing features of random fields”.
IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(4):380–393,
1997.
[9]Description logic, http://en.wikipedia.org/wiki/Description_logic.
[10] Dieter E. Jenz “Ontology-Based Business Process Management: The Vision Statement”, White Paper, Jenz and Partner GmbH, 2003
[11] E. Hovy, L. Gerber, U. Hermjakob, C. Lin, and D. Ravichandran. “Towards Semantics-based Answer Pinpointing”. Proceedings of the DARPA Human Language
Technology conference (HLT), San Diego, CA,1999
[12] E. Voorhees. “Overview of the TREC 2001 Question Answering Track”.
Proceedings of the 10th Text Retrieval Conference (TREC10): 157-165, NIST,
Gaithersburg, MD, 2001.
[13] E. Voorhees. Overview of the TREC-9 Question Answering Track. Proceedings of
the 9th Text Retrieval Conference (TREC9): 71-80, NIST, Gaithersburg, MD, 2000.
[14] E. Voorhees. The TREC-8 Question Answering Track Report. Proceedings of the
[15] Jonathan Brown, “Entity-Tagged Language Models for Question Classification in a QA System”, IR Lab project, 2004. Http://nyc.lti.cs.cmu.edu/IRLab/11- 743s04/jonbrown/Brown-IRLab.pdf
[16] Kadri Hacioglu and Wayne Ward. "Question Classification with Support Vector Machines and Error Correcting Codes". Proceedings of HLT-NAACL 2003:28-30, Edmonton, Alberta, Canada, May 2003.
[17] K. Nigam, J. Lafferty, and A. McCallum, "Using maximunm Entropy for text classification", Proceeding of the 16th International Joint Conference Workshop on
Machine Learning for Information Filtering: 61-67 Stockholm, Sweden, 1999.
[18] Kincho H. Law, “Ontology: Basic Definitions and a Brief Introduction”, TN-2007- 03. NEESit – Workshops 2007.
Http://it.nees.org/support/workshops/2007/2wfcree/TN-2007-03_Law.pdf
[19] Li, X. & Roth, D. “Learning Question Classifiers”, Proceedings of the 19th
International Conference on Computational Linguistics (COLING):556–562, 2002.
[20] LIU Yi, ZHENG Y F. “One-against-all multi-Class SVM classification using reliability measures”.Proceedings of the 2005 International Joint Conference on
Neural Networks Montreal,Canada, 2005.
[21] Maria Vargas-Vera, Enrico Motta, John Domingue: “AQUA: An Ontology-Driven Question Answering System”, New Directions in Question Answering:53-57, 2003. [22] McCallum and K. Nigam. “A Comparison of Event Models for Nạve Bayes Text
Classification”, AAAI-98Workshop on Learning for Text Categorization, 1998. http://citeseer.ist.psu.edu/mccallum98comparison.html
[23] N. Guarino (ed.), “Formal Ontology in Information Systems”. Proceedings of
FOIS’98:3-15, Trento, Italy, 6-8 June 1998. Amsterdam, IOS Press.
[24] Nguyen Viet Cuong, Nguyen Thi Thuy Linh Ha, Quang Thuy and Phan Xuan Hieu (2006). A Maximum Entropy Model for Text Classification. The International
Conference on Internet Information Retrieval 2006:134-139, Hankuk Aviation
University, December 6, 2006, Goyang-si, Korea.
[25] Noy, N.F., and McGuinness, D.L. “Ontology Development 101: A Guide to Creating Your First Ontology SMI”, Technical report SMI-2001-0880 (2001), Stanford University.
[26] Pierre Baldi, Paolo Frasconi, Padhraic Smyth. “Modeling the Internet and the Web: Probabilistic Methods and Algorithms”, John Wiley and Sons, 2003.
[27] R.Guha, Rob McCool, Eric Miller. “Semantic Search”, http://www2003.org/cdrom/papers/refereed/p779/ess.html
[28] Ratnaparkhi, A. “A simple introduction to maximum Entropy models for natural language processing”. Technical Report 97-08, Institute for Research in Cognitive Science, University of Pennsylvania, 1997.
[29] S.Cohen , Mamou, J., Kanza, Y., Sagiv, Y.: “ Xsearch: A semantic search engine
for xml”. In: Proceedings of of the 29th VLDB Conference, Berlin, Germany. (2003)
[30] S Decker, F van Harmelen, J Broekstra, M Erdmann, Dieter Fensel, Ian Horrocks, Michel Klein, Sergey Melnik. “The Semantic Web - on the respective Roles of XML and RDF”, IEEE Internet Computing, 4(5):63-74, 2000.
Http://www.ontoknowledge.org/oil/downl/IEEE00.pdf
[31] Soumen Chakrabarti. “Mining the Web: discovering knowledge from hypertext data”, Morgan Kaufmann Publishers, 2003.
[32] T. Mitchell. “Machine Learning”, McGraw Hill, New York,1997. [33] “Taxonomy”, http://en.wikipedia.org/wiki/Taxonomy
[34] Tim Berners-Lee, “Semantic Web Road map”,
http://www.w3.org/DesignIssues/Semantic.html
[35] Van Durme, B., Huang, Y., Kupsc, A. and Nyberg, E. "Towards Light Semantic Processing for Question Answering", HLT/NAACL Workshop on Text Meaning, 2003, Http://citeseer.ist.psu.edu/656586.html.
[36] W Li “Question Classification Using Language Modeling” – Technical report Center for Intelligent Information Retrieval Department of Computer Science University of Massachusetts, Amherst, MA 01003, 2002
[37] W3C, Extensible Markup Language http://www.w3.org/XML/
[38] W3C, OWL Web Ontology Language Overview, http://www.w3.org/TR/owl- features/
[39] W3C, Abstract Syntax (Normative) RDF http://www.w3.org/TR/rdf- concepts/#section-Graph-syntax
[40] W3C, Semantic Web Activity http://www.w3.org/2001/sw/
[41] Y. Yang and X. Liu. A Re-examination of Text Categorization Methods. In Proceedings of ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR’99), trang 42-49, 1999.
[42] Zhang, D. and Lee, W.S. “Question Classification using Support Vector Machines” , In Proceedings of SIGIR 2003.
[43] Phan, X.H, “JTextPro: A Java-based Text Processing Toolkit”, http://jtextpro.sourceforge.net
[44] Thorsten Joachims, SVM multiclass Multi-Class Support Vector Machine, Cornell University Department of Computer Science. Http://svmlight.joachims.org/