Tập dữ liệu test: Chúng tôi xây dựng một bộ câu hỏi gồm 1000 câu hỏi đơn giản liên quan đến 10 mối quan hệđược chọn (Bảng 10).
Bảng 10. Các quan hệđược thực nghiệm trong hệ thống
Lễ hội-địa điểm Nhà hàng – địa điểm Bãi biển – địa điểm Khách sạn – địa điểm Chùa chiền – địa điểm Siêu thị - địa điểm Sông – địa điểm Công viên – địa điểm Quán cafe – địa điểm Chợ - địa điểm Công cụ phần mềm (Bảng 11): Bảng 11. Các công cụ sử dụng Java SE JDK 6 http://java.sun.com/ eclipse-SDK-3.4.1-win32 http://www.eclipse.org/downloads/ MySql 5.0 http://www.mysql.com/ JvnTextPro [37]
Các thành phần chính trong hệ thống (Bảng 12):
Bảng 12. Các thành phần chính của hệ thống Q&A trên miền du lịch
Tên package, class Chức năng
package vqa.Datalayer.dao Kết nối với cơ sở dữ liệu MySql
package vqa.Datalayer.data Cài đặt các lớp RefinedPattern, RoughPattern, Seed,… là thành phần chính trong việc trích rút mẫu và seed
package vqa.util Các hàm tiện ích
package vqa.SearchEngineIE Thu thập dữ liệu cho việc tạo mẫu và seed thông qua Google
package vqa. CharsetDetector Phát hiện và sửa lỗi font chữ các tài liệu được lấy về từ
class PatternGenerator và SeedGenerator
Thực hiện quá trình sinh mẫu và seed mới
class QuestionProcessor Phân tích câu hỏi và đưa ra câu trả lời
Lựa chọn ngưỡng µ-độ tương đồng thấp nhất: Hệ thống sử dụng một ngưỡng µ về độ tương đồng thấp nhất giữa câu hỏi và mẫu. Hệ thống chỉ đưa ra câu trả lời khi độ
tương đồng giữa câu hỏi và mẫu vượt qua ngưỡng µ. Khi lựa chọn giá trị của µ cần cân nhắc đến sự cân bằng giữa khả năng trả lời câu hỏi chính xác nhất và khả năng trả lời
được nhiều câu hỏi nhất. Nếu µ càng lớn, thì độ tương đồng giữa câu hỏi và mẫu càng cao do đó độ chính xác sẽ tăng, trong khi đó số lượng câu trả hỏi trả lời được sẽ giảm. Bảng 13 thể hiện độ tương quan giữa độ chính xác và khả năng trả lời phụ thuộc vào ngưỡng µ.
Bảng 13. Kết quả phân tích câu hỏi trong hệ thống hỏi đáp trên miền du lịch
µ Độ chính xác Khả năng đưa ra câu trả lời
0.4 85.5% 95,3%
0.5 89,7 % 91,4%
Kết quảđạt được khá tốt khi chọn µ = 0.5, độ chính xác là 89.7% và khả năng trả lời là 91,4%.
Nhận xét:
Một hệ thống hỏi đáp tốt là hệ thống có khả năng đưa ra câu trả lời chính xác nhất và có thể trả lời được nhiều câu hỏi nhất. Theo thực nghiệm chúng tôi nhận thấy, độ chính xác (số lượng câu trả lời đúng trên số câu trả lời hệ thống đưa ra) và khả năng đưa ra câu trả lời (số lượng câu trả lời trên tổng số câu hỏi đưa vào) của hệ thống có quan hệ tỉ lệ
nghịch với nhau. Chúng tôi chọn giá trị của µ = 0.5 để đảm bảo độ cân bằng giữa 2 tính chất này của hệ thống.
Hệ thống hoạt động khá tốt với các câu hỏi đơn giản hỏi về quan hệ ngữ nghĩa hai ngôi xung quanh các quan hệ được quan tâm, đưa ra câu trả lời có độ tin cậy cao. Việc học ra các mẫu tốt, chính xác, thể hiện được đặc trưng của từng quan hệ là rất quan trọng,
ảnh hưởng lớn đến độ chính xác của hệ thống.
Chúng tôi đánh giá hệ thống có khả năng mở rộng dễ dàng. Chỉ cần làm tay một số
seed ban đầu cho các quan hệ quan tâm là hệ thống có thể tự học ra các mẫu để trả lời cho câu hỏi liên quan.
Tuy nhiên hạn chế của hệ thống là chỉ trả lời được các câu hỏi liên quan đến các quan hệ có trong hệ thống. Để đáp ứng nhu cầu thực sự của người dùng, hệ thống cần phải mở rộng thêm nhiều quan hệ khác.
Kết luận
Hệ thống hỏi đáp tựđộng đang nhận được sự quan tâm đặc biệt của các nhà nghiên cứu và doanh nghiệp trong ngành công nghệ thông tin. Nhu cầu về một hệ thống hỏi đáp tiếng Việt là rất lớn. Phân tích câu hỏi có vai trò đặc biệt quan trọng trong hệ thống hỏi
đáp tựđộng. Khóa luận khảo sát các phương pháp phân tích câu hỏi đang được quan tâm, phân tích và tìm ra phương pháp phù hợp cho phân tích câu hỏi tiếng Việt.
Khóa luận này đã đạt được những kết quả sau:
• Trình bày một cách khái quát nhất về hệ thống hỏi đáp tựđộng và nêu lên ý nghĩa, vai trò của pha phân tích câu hỏi trong hệ thống hỏi đáp.
• Khảo sát, nghiên cứu các vấn đề xung quanh việc phân tích câu hỏi và trình bày các phương pháp hiện đang được quan tâm trong phân tích câu hỏi. Khóa luận chỉ ra việc phân lớp câu hỏi theo loại ngữ nghĩa của câu trả lời là đặc biệt quan trọng với hệ thống hỏi đáp tựđộng.
• Xây dựng bộ phân lớp câu hỏi cho hệ thống hỏi đáp tiếng Việt trên miền mở
sử dụng hai thuật toán SVM và MEM đạt độ chính xác khá cao.
• Xây dựng module phân tích câu hỏi cho hệ thống hỏi đáp tiếng Việt trên miền du lịch dựa vào trích rút mẫu quan hệ
Bên cạnh đó, khóa luận còn một số hạn chế:
• Khóa luận mong muốn xây dựng được bộ phân lớp hai cấp với 6 lớp cha và 50 lớp con, tuy nhiên do số lượng câu hỏi gán nhãn được còn ít nên mới chỉ
phân lớp được cho 6 lớp cha. Độ chính xác của bộ phân lớp chưa thực sự cao. • Hệ thống hỏi đáp tiếng Việt cho miền du lịch còn hạn chế về số lượng các
quan hệ.
Các hướng nghiên cứu và phát triển tiếp theo là:
Với phần phân tích câu hỏi cho hệ thống hỏi đáp miền mở.
• Thu thập và gán nhãn thêm dữ liệu câu hỏi. Mỗi lớp câu hỏi cần trung bình 100 câu hỏi mẫu, do đó để có thể tiến hành phân lớp cho 50 lớp con khóa
• Đưa thêm các đặc trưng ngữ nghĩa nhằm nâng cao độ chính xác cho bộ phân lớp câu hỏi.
• Tiến hành thực nghiệm với nhiều thuật toán học khác để tìm ra thuật toán phù hợp nhất với phân lớp câu hỏi tiếng Việt. Có thể áp dụng phương pháp học bán giám sát để tận dụng nguồn câu hỏi chưa gán nhãn.
• Thực nghiệm phần tạo truy vấn mở rộng cho hệ thống trích chọn thông tin.
Với phần phân tích câu hỏi cho hệ thống hỏi đáp tiếng Việt cho miền du lịch
• Tiến hành sinh mẫu và seed cho nhiều quan hệ khác và tích hợp vào hệ thống
để đánh giá độ chính xác của phân tích câu hỏi khi số quan hệ tăng lên. Đồng thời hoàn thiện hệ thống để có thểđáp ứng nhu cầu thực tế của người dùng.
Tài liệu tham khảo
Tài liệu tiếng Việt
[1] Hồ Tú Bảo, Lương Chi Mai. Về xử lý tiếng Việt trong công nghệ thông tin. Viện Công nghệ Thông tin, Viện Khoa học và Công nghệ Tiên tiến Nhật bản.
[2] Nguyễn Thị Hương Thảo. Phân lớp phân cấp Taxonomy văn bản Web và ứng dụng. Khóa luận tốt nghiệp đại học, Đại học Công nghệ, 2006.
[3] Hà Quang Thụy & nhóm khai phá dữ liệu và ứng dụng. Bài giảng về khai phá dữ
liệu. 2007.
[4] Nguyễn Minh Tuấn. Phân lớp câu hỏi hướng tới tìm kiếm ngữ nghĩa tiếng việt trong lĩnh vực y tế. Khóa luận tốt nghiệp đại học, Đại học Công nghệ, 2008.
[5] Nguyễn Cẩm Tú. Máy Vector Hỗ trợ (SVMs) và các Phương pháp Nhân.2007 [6] Phạm Thu Uyên, Nguyễn Đức Vinh, Nguyễn Đạo Thái. Hệ thống hỏi đáp tựđộng sử dụng trích rút quan hệ ngữ nghĩa trong kho văn bản tiếng Việt. Nghiên cứu khoa học sinh viên cấp trường Đại học Công Nghệ, 2009
Tài liệu tiếng Anh
[7] Eugene Agichtein, Luis Gravano. Snowball: Extracting Relations from Large Plain-Text Collections. In Proceedings of the Fifth ACM International Conference on Digital Libraries, 2000.
[8] Michele Banko, Eric Brill, Susan Dumais, Jimmy Lin. AskMSR: Question Answering Using the Worldwide Web. Microsoft Research. In Preceedings of 2002 AAAI Spring Symposium on Mining Answers from Texts and Knowledge bases, Palo Alto, California, March 2002.
[9] Matthew W. Bilotti, Boris Katz, and Jimmy Lin. What Works Better for Question Answering: Stemming or Morphological Query Expansion? ACM SIGIR'04 Workshop Information Retrieval for QA, (Jul. 2004).
George Miller, Dan Moldovan , Bill Ogden, John Prager, Ellen Riloff, Amit Singhal, Rohini Shrihari, Tomek Strzalkowski, Ellen Voorhees, Ralph Weishedel. Issues, Tasks and Program Structures to Roadmap Research in Question & Answering(Q&A) 2002. [11] Sergey Brin (Computer Science Department, Stanford University). Extracting Patterns and Relations from the World Wide Web. In WebDB Workshop at 6th International Conference on Extending Database Technology, EDBT’98, 1998.
[12] Eric Brill, Jimmy Lin, Michele Banko, Susan Dumais and Andrew Ng (Microsoft Research One Microsoft Way Redmond). Data-Intensive Question Answering . In Proceedings of the Tenth Text REtrieval Conference (TREC 2001), 2001.
[13] Jaime Carbonell, Donna Harman , Eduard Hovy, and Steve Maiorano, John Prange and Karen Sparck-Jones. Vision Statement to Guide Research in Question & Answering (Q&A) and Text Summarization. Final version 1. 2000.
[14] Kadri Hacioglu, Wayne Ward. 2003. Question Classification with Support Vector Machines and Error Correcting Codes. The Association for Computational Linguistics on Human Language Technology, vol. 2, tr.28–30.
[15] Sanda M. Harabagiu, Marius A. Paşca, Steven J. Maiorano. Experiments with open-domain textual Question Answering. International Conference On Computational Linguistics Proceedings of the 18th conference on Computational linguistics - Volume 1, 2000, tr. 292 - 298
[16] Phan Xuan Hieu. JTextPro: A Java-based Text Processing Toolkit.
jtextpro.sourceforge.net/
[17] Wesley Hildebr, Boris Katz, Jimmy Lin. Answering Definition Questions Using Web Knowledge Bases. Book: Natural Language Processing – IJCNLP, 2005.
[18] Eduard Hovy, Ulf Hermjakob and Lin, C.-Y. The Use of External Knowledge in Factoid QA. Paper presented at the Tenth Text REtrieval Conference (TREC 10), Gaithersburg, MD, 2001, November 13-16.
[20] Zhiheng Huang, Marcus Thint, Zengchang Qin. Question Classification using Head Words and their Hypernyms. ACL 2008.
[21] Thorsten Joachims. Text Categorization with Support Vector Machines: Learning with Many Relevant Features. Proceedings of ECML-98, the 10th European Conference on Machine Learning, 1998, tr 137-142.
[22] Thorsten Joachims. Learning to Classify Text using Support Vector Machines. Kluwer. 2002
[23] Thorsten Joachims. SVM multiclass Multi-Class Support Vector Machine. Cornell University Department of Computer Science.
[24] Vijay Krishnan and Sujatha Das and Soumen Chakrabarti. Enhanced Answer Type Inference from Questions using Sequential Models. The conference on Human Language Technology and Empirical Methods in Natural Language Processing, 2005. [25] Xin Li, Dan Roth. Learning Question Classifiers. COLING'02, Aug, 2002.
[26] Xin Li, Dan Roth. Learning question classifiers: the role of semantic information. Natural Language Engineering, Volume 12 , Issue 3 , September 2006, tr. 229 – 249. [27] Bernardo Magnini. Open Domain Question Answering: Techniques, Resources and Systems. RANLP 2005.
[28] George A. Miller, Richard Beckwith, Christiane Fellbaum,Derek Gross, and Katherine Miller. Introduction to WordNet: An On-line Lexical Database. 1998.
[29] Dan Moldovan, Sanda Harabagiu, Marius Pasca, Rada Mihalcea, Richard Goodrum, Roxana Girju and Vasile Rus. The Structure and Performance of an Open- Domain Question Answering System. In Proceedings of the 38th Annual Meeting of the Association for Comoutational Linguistics (ACL-2000), 2000.
[30] N.F. Noy and McGuinness, D.L. Ontology Development 101: A Guide to Creating Your First Ontology SMI. Technical report SMI-2001-0880 , Stanford University, 2001.
[31] Robinson, W. P., Rackstraw, S. J. A Question of Answers (Vol. I). Boston: Routledge & Kegan Paul. 1972.
[32] Robinson, W. P., Rackstraw, S. J. A Question of Answers (Vol. II). Boston: Routledge & Kegan Paul, 1972.
[33] E. Saquete, P. Martınez-Barco, R. Mu˜noz, J.L. Vicedo. Splitting Complex Temporal Questions for Question Answering Systems. ACL 2004
[34] Luís Sarmento, Jorge Filipe Teixeira, Eugénio Oliveira. Experiments with Query Expansion in the RAPOSA (FOX) Question Answering System. In The Cross- Language Evaluation Forum (CLEF), 2008.
[35] Mihai Surdeanu. Question Answering Techniques and Systems. TALP Research Center Dep. Llenguatges i Sistemes Informàtics Universitat Politècnica de Catalunya. [36] Nguyen Tri Thanh. Study on Acquiring and Using Linguistic Semantic Information for Search System. Doctor thesis, Japan Advanced Institute of Science anf Technology, 2008.
[37] Nguyen Cam Tu. JVnTextpro: A Java-based Vietnamese Text Processing Toolkit. SISLab Software Utility. College of Technology, Vietnam National University, Hanoi. [38] Ellen M. Voorhees. The TREC-8 Question Answering Track Report. Paper presented at the Eighth Text REtrieval Conference (TREC 8) Gaithersburg, MD, 1999 November 16-19. http://trec.nist.gov/pubs/trec8/papers/qa_report.pdf.
[39] Hui Yang and Tat-Seng Chua.The Integration of Lexical Knowledge and External Resources for Question Answering. School of Computing, National University of Singapore.
[40] Liu Yi, Zheng Y F. One-against-all multi-Class SVM classification using reliability measures. Proceedings of the 2005 International Joint Conference on Neural Networks Montreal,Canada, 2005.
[41] Dell Zhang, Wee Sun Lee. Question Classification using Support Vector Machines. The ACM SIGIR conference in informaion retrieval, 2003, tr 26–32.