Sau đây là bảng so sánh kết quả phân loại F1 giữa 3 phương pháp MaxEnt, Nạve Bayes và SVMs.
Kết quả cho thấy:
- MaxEnt phân loại tốt nhất với độ chính xác trung bình 88.8 % cho tập thuộc tính n-grams so với 80.5% và 85.3% của lần lượt 2 phương pháp Nạve Bayes và SVMs. MaxEnt cũng phân loại tốt hơn 2 phương pháp cịn lại trên tập thuộc tính kết hợp.
- Với tập thuộc tính n-grams, 4 loại câu đều cho mơ hình kết quả gần tương tự như nhau. Cụ thể, MaxEnt cĩ kết quả tốt nhất với độ chính xác trung bình 88.8% trong khi Nạve Bayes chỉ cĩ 80.5% và đứng thứ 2 là SVMs với 85.3%. Tuy nhiên, với tập thuộc tính n-grams+Dictionary, kết quả cĩ nhiều điểm khác biệt rõ rệt. Cụ thể, MaxEnt phân loại tương đối tốt với cả 4 loại câu nhưng phân loại tốt nhất với câu trần thuật và kém nhất với câu nghi vấn. Ngạc nhiên là SVMs cho kết quả tương đương với Nạve Bayes trên cả 3 loại câu cầu khiến, trần thuật và cảm thán thì câu nghi vấn lại cho kết quả khác biệt. SVMs thậm chí cịn phân loại tốt hơn MaxEnt 2% với lớp câu nghi vấn.
37
Hình 3.6 Biểu đồ so sánh độ đo F1 của 3 mơ hình MaxEnt, Nạve Bayes và
SVMs ở lần lặp thứ 4 trên tập thuộc tính n-grams
Hình 3.7 Biểu đồ so sánh độ đo F1 của 3 mơ hình MaxEnt, Nạve Bayes và
SVMs ở lần lặp thứ 4 trên tập thuộc tính n-grams + Dictionary
90.78 89.24 86.49 88.27 88.8 82.2 83.1 74.4 82.7 80.5 87.7 89.3 78.6 85.7 85.3 0 10 20 30 40 50 60 70 80 90 100
Câu cầu khiến (IMP) Câu nghi vấn (INT) Câu trần thuật (DEC) Câu cảm thán (EXC) Trung bình
F1 trên tập thuộc tính n-grams
MaxEnt Nạve Bayes SVMs
91.1189.7 91.2891.4 90.46 91.89 91.12 85 89.4 88.9 88.9 93.2 84.6 89.4 89 0 10 20 30 40 50 60 70 80 90 100
Câu cầu khiến (IMP) Câu nghi vấn (INT) Câu trần thuật (DEC) Câu cảm thán (EXC) Trung bình
F1 trên tập thuộc tính n-grams+Dictionary
38
KẾT LUẬN
Luận văn này đã trình bày chi tiết nhất cĩ thể về bài tốn phân loại câu tiếng Việt. Chúng tơi đã làm được:
- Theo sự tìm hiểu của mình, đây là một trong những nghiên cứu đầu tiên về phân loại câu tiếng Việt theo 4 loại kiểu câu thơng dụng dạng văn nĩi. - Dùng 3 phương pháp MaxEnt, Nạve Bayes và SVMs để phân loại câu tiếng
Việt với độ chính xác trung bình lên tới 92.12 % ở phương pháp MaxEnt. - Chúng tơi cũng đã tiến hành thực nghiệm trên nhiều loại thuộc tính gồm n-
grams và n-grams + Dictionary.
Do rất nhiều nguyên nhân, mơ hình mới chỉ đạt 92.12%, đây là con số vẫn cĩ thể cải thiện được. Chúng tơi cũng dừng lại ở 2 loại thuộc tính gồm n-grams và n-grams+Dictionary trong phạm vi luận văn này. Ngồi 3 phương pháp MaxEnt, Nạve Bayes và SVMs đã trình bày, cịn một số phương pháp khác cĩ thể tối ưu hơn mà chúng tơi chưa nghiên cứu được cho bộ dữ liệu của mình. Cuối cùng, chúng tơi mới phân lớp cho 4 loại câu thơng dụng mà chưa vét hết tất cả các trường hợp khác.
Trong tương lai, nếu cĩ cơ hội và thời gian, chúng tơi sẽ cải thiện những vấn đề cịn tồn tại như đã đề cập ở trên.
39
TÀI LIỆU THAM KHẢO
Tài liệu tiếng Việt
[1] Bùi Mạnh Hùng (2011), Bàn về vấn đề “Phân loại câu theo mục đích phát ngơn”, Khoa Ngơn ngữ, Đại học Quốc gia Tp. Hồ Chí Minh.
[2] Bùi Đức Tịnh (1995), Văn phạm Việt Nam. Tp. Hồ Chí Minh: Văn hĩa. [3] Hồng Trọng Phiến (1980), Ngữ pháp tiếng Việt – Câu. Hà Nội: Đại học &
Trung học chuyên nghiệp.
[4] Nguyễn Hà Nam (2013), Giáo trình Khai phá dữ liệu, Nhà Xuất bản Đại học Quốc gia Hà Nội. (adsbygoogle = window.adsbygoogle || []).push({});
Tài liệu tiếng Anh
[5] Adam L. Berger & Stephen A.Della Pietra & Vincent J. Della Pietra (1996),
A Maximum Entropy Approach to Natural Language Processing.
[6] Adwait Ratnapakhi (1997), A Simple Introduction to Maximum Entropy Models for Natural Language Processing.
[7] Ashequl Qadir (2011), Classifying Sentences as Speech Acts in Message Board Posts, University of Utah, In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing.
[8] Arpit Trived (2013), Implementation of Bayesian Theory in Sentence Classification for Online Subjective Test, International Journal of Advanced Research in Computer Science and Software Engineering, Volume 3, Issue 12.
[9] Anthony Khoo (2006), Experiments with Sentence Classification, Monash University, Australia.
[10] Ben Hachey & Claire Grover (2004), Sentence Classification Experiments for Legal Text Summarisation, University of Edinburgh, In Proceedings of the 17th Annual Conference on Legal Knowledge and Information Systems.
[11] Diego Moll´a (2012), Experiments with Clustering-based Features for Sentence Classification in Medical Publications: Macquarie Test’s participation in the ALTA 2012 shared task, In Proceedings of Australasian, Language Technology Association Workshop, pages 139−142.
40
[12] Helen Kwong (2012), Detection of Imperative and Declarative Question- Answer Pairs in Email Conversations, Stanford University, Journal AI Communications archive, Volume 25 Issue 4, Pages 271-283.
[13] Martina Naughton (2008), Sentence-Level Event Classification in Unstructured Texts, University College Dublin, Ireland.
[14] Menno v.an Zaanen (2005), Classifying Sentences using Induced Structure, Macquarie University, Volume 3772 of the series Lecture Notes in Computer Science, pp 139-150, 12th International Conference, SPIRE 2005, Buenos Aires, Argentina.
[15] Nal Kalchbrenner (2014),A Convolutional Neural Network for Modelling Sentences, University of Oxford, In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.
[16] William Gardner Hale (1913), The Classification of Sentences and Clauses, The School Review, The University of Chicago Press, Vol. 21, No. 6, pp. 388-397.
[17] Ulf Hermjakob (2001),Parsing and Question Classification for Question Answering, University of Southern California, USA, Proceeding ODQA '01 Proceedings of the workshop on Open-domain question answering - Volume 12, Pages 1-6.
[18] Yoon Kim (2014), Convolutional Neural Networks for Sentence Classification, New York University.
[19] Emile de Maat (2008), Automatic Classification of Sentences in Dutch Laws, University of Amsterdam, Proceedings of the 2008 conference on Legal Knowledge and Information Systems, The Twenty-First Annual Conference,Pages 207-216
[20] Janyce Wiebe (2005), Creating Subjective and Objective Sentence Classifiers from Unannotated Texts, University of Pittsburgh, CICLing'05 Proceedings of the 6th international conference on Computational Linguistics and Intelligent Text Processing, Pages 486-497.
[21] Nitin Jindal (2006), Identifying Comparative Sentences in Text Documents, University of Illinois at Chicago, SIGIR’06.
[22] Thomasson, Amie, "Categories", The Stanford Encyclopedia of Philosophy (Fall 2013 Edition), First published Thu Jun 3, 2004, URL = <http://plato.stanford.edu/archives/fall2013/entries/categories/>.
41
PHỤ LỤC
1. Thực nghiệm Phân loại câu tiếng Việt với tập thuộc tính n-grams a. Phương pháp Nạve Bayes với phần mềm WEKA
Hình PL.1 Sự phân bố dữ liệu khi Phân loại với phương pháp Nạve Bayes
42
b. Phương pháp SVMs với phần mềm WEKA
Hình PL.3 Sự phân bố dữ liệu khi Phân loại với phương pháp SVMs
43
c. Phương pháp MaxEnt xây dựng dựa trên ngơn ngữ Java (adsbygoogle = window.adsbygoogle || []).push({});
Hình PL.5 Dữ liệu đầu vào ở fold thứ 4 với phương pháp MaxEnt
44
Hình PL.7 Dữ liệu kiểm tra ở fold 4
45
2. Thực nghiệm phân loại kiểucâu tiếng Việt trên tập thuộc tính n-grams kết hợp từ điển
a. Phương pháp Nạve Bayes với phần mềm WEKA
Hình PL.9 Sự phân bố dữ liệu khi Phân loại với phương pháp Nạve
Bayes
46
b. Phương pháp SVMs với phần mềm WEKA
Hình PL.11 Sự phân bố dữ liệu khi Phân loại với phương pháp SVMs
47
c. Phương pháp MaxEnt xây dựng dựa trên ngơn ngữ Java
Hình PL.13 Dữ liệu huấn luyện ở fold 4
48