4.3.1 Thiết kế
Chú tôi sử dụng ngơn ngữ lập trình Python và các ngơn ngữ HTML, CSS, Javascript, Bootstrap để xây dựng ứng dụng Phân tích ý kiến người dùng theo khía cạnh.
Quy trình thiết kế ứng dụng như sau:
+ Phần backend được xây dựng bằng ngơn ngữ lập trình Python thơng qua thư viện hỗ trợ là Flask.
+ Phần server được xây dựng bằng Python hỗ trợ cho việc truy xuất các mơ hình đã được lưu lại để dự đốn và trả về kết quả hiển thị lên ứng dụng. Phần server bao gồm các chức năng như sau:
• Hiển thị trang mơ hình đánh giá kết quả
• Hiện thị trang phân tích dữ liệu huấn luyện và kiểm tra • Hiện thị trang phân tích văn bản bình luận trực tiếp
59
Hình 4. 9: Phân tích thiết kế giao diện
Hình 4. 10: Phân tích thiết kế chức năng
4.3.2 Ứng dụng Phân tich ý kiến người dùng theo khía cạnh
Để xây dựng ứng dụng trực quan các kết quả đạt được chúng tôi xây dựng chương trình dựa trên các cơng cụ flask, html, css, boostrap 3, jquery, python 3.6. Chương trình có các chức năng chính như: Phân tích dữ liệu, Phân tích bình luận và Đánh giá mơ hình. Chúng tơi lựa chọn mơ hình có kết quả tốt nhất là mơ hình mạng học sâu MultiCNN-LSTM để xây dựng ứng dụng Phân tích ý kiến người dùng theo khía cạnh. Ứng dụng bao gồm các chức năng được mô tả ở mục trên và giao diện chi tiết được trình bày như sau:
60
Hình 4. 11: Giao diện trang chủ
Hình 4. 12: Giao diện trang phân tích dữ liệu
61
Hình 4. 13: Giao diện trang Phân tích bình luận
62
Hình 4. 15: Giao diện đánh giá kết quả nghiên cứu
63
CHƯƠNG 5
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận
Phân tích ý kiến người dùng theo khía cạnh là một bài tốn quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên, học máy, khai phá tri thức, và hiện đang thu hút nhiều nghiên cứu và có nhiều ý nghĩa trong các hệ thống thương mại cũng như quản trị sản phẩm, dịch vụ, sự kiện, danh tiếng.
Như vậy, đề tài đã đề xuất mơ hình dựa trên MultiCNN-LSTM để giải quyết bài tốn phân tích quan điểm theo khía cạnh. Mơ hình của đề tài được thiết kế để phân loại đa nhãn cho cả hai nhiệm vụ xác định khía cạnh và phân tích quan điểm theo khía cạnh.
Thực nghiệm đã cho thấy mơ hình của đề tài rất hiệu quả và đạt kết quả tốt hơn nhiều so với một số nghiên cứu trước đây. Đồng thời, thực nghiệm cũng cho thấy mơ hình MultiCNN-LSTM có tích hợp đem lại hiệu quả tốt nhất. Đề tài hy vọng các phương pháp đã đề xuất có thể áp dụng hiệu quả cho các vấn đề khác trong xử lý ngôn ngữ tự nhiên.
Mặc dù kết quả thực nghiệm của đề tài cho thấy sự hiệu quả trong việc bổ sung thêm đặc trưng cho mơ hình. Tuy nhiên, chưa có thực nghiệm để làm sáng tỏ thêm đặc trưng thêm vào nên có định dạng như thế nào, nên bổ sung ở lớp nào,… để đạt hiệu quả cao nhất.
5.2 Hướng phát triển
Với những hạn chế đã phân tích ở trên, đề tại nhận thấy còn khá nhiều nội dung thú vị để tiếp tục nghiên cứu để giải quyết bài toán này một cách hiệu quả hơn như:
- Khắc phục nhược điểm khơng xác định được những từ khơng có trong tập huấn luyện bằng phương pháp mở rộng của word2vec, đó là FastText, được đề xuất bởi Facebook năm 2016.
- Thực nghiệm việc xây dựng nhãn khía cạnh dựa trên phân bố xác suất thay cho nhãn one-hot vector; đồng thời, thực hiện tunning để tìm ra giá trị ngưỡng tốt nhất cho từng loại khía cạnh.
64
- Tiếp tục nghiên cứu một số cách biểu diễn vector đặc trưng bổ sung cho mơ hình và vị trí tích hợp vào mơ hình để đạt hiệu quả cao nhất.
65
CƠNG TRÌNH CƠNG BỐ
Bùi Thanh Hùng, Nguyễn Quốc Bình. (2020). "Aspect-Based Sentiment Analysis
Using Hybrid Deep Learning Approach CNN-LSTM” National Scientific Conference On Basic Research And It Application 10th – 2020 8-9 October 2020, Nha Trang University, Khanh Hoa, Vietnam Fair 2020 Fundamental And Applied It Research
66
TÀI LIỆU THAM KHẢO
[1] M. Pontiki, D. Galanis, H. Papageorgiou, I. Androutsopoulos, S. Manandhar, M. AL-Smadi, M. Al-Ayyoub, Y. Zhao, B. Qin, O. D. Clercq, V. Hoste, M. Apidianaki, X. Tannier, N. Loukachevitch, E. Kotelnikov, N. Bel, S. M. JiménezZafra, and G. Eryigit. SemEval-2016 Task 5: Aspect Based - Sentiment Analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation, ser. SemEval ’16, Association for Computational Linguistics, 2016 [2] H G. Qiu, B. Liu, J. Bu, and C. Chen. Opinion Word Expansion and Target
Extraction through Double Propagation. Computational Linguistics, Vol. 37, No. 1, 9–27, 2011
[3] B. Liu. Sentiment Analysis and Opinion Mining. Synthesis Lectures on Human Languages Technologies, Morgan and Claypool publishers, 2012.
[4] D. Bespalov, B. Bai, Y. Qi, and A. Shokoufandeh. Sentiment Classification Based on Supervised Latent N-gram Analysis. In Proceedings of CIKM, pp. 375–382, 2011.
[5] R. Socher, A. Perelygin, J.Y. Wu, J. Chuang, C. Manning, A. Ng, and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In Proceedings of EMNLP, pp. 1631– 1642, 2013. [6] J. Rothfels and J. Tibshirani. Unsupervised Sentiment Classification of English
Movie Reviews using Automatic Selection of Positive and Negative Sentiment Items. Technical Report, Stanford University, 2010.
[7] S. Li, Z. Wang, G. Zhou, and S.Y.M. Lee. Semi-Supervised Learning for Imbalanced Sentiment Classification. In Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), pp. 1826–1831, 2011.
[8] R. Socher, J. Pennington, E.H. Huang, A. Ng, and C. Manning. SemiSupervised Recursive Autoencoders for Predicting Sentiment Distributions. In Proceedings of EMNLP, pp. 151–161, 2011. [22] O. Tackstrom and R. McDonald. Semi- supervised Latent Variable Models for Sentence-level Sentiment Analysis. In Proceedings of ACL, pp. 569–574, 2011.
67
[9] Kim, Yoon. Convolutional neural networks for sentence classification."arXiv preprint arXiv:1408.5882, 2014.
[10] Zhang, Ye, and Byron Wallace. A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification. arXiv preprint arXiv:1510.03820, 2015. [11] Xin Wang, Yuanchao Liu, Chengjie Sun, Baoxun Wang, Xiaolong Wang.
Predicting Polarities of Tweets by Composing Word Embeddings with Long Short-Term Memory. ACL, 2015.
[12] Liu, Pengfei, Shafiq R. Joty, and Helen M. Meng. Fine-grained Opinion Mining with Recurrent Neural Networks and Word Embeddings. EMNLP, 2015.
[13] Maite Taboada, Julian Brooke, Milan Tofiloski, Kimberly Voll, and Manfred Stede. Lexiconbased Methods for Sentiment Analysis, Computational linguistics, 37(2):267–307, 2011.
[14] Yoshua Bengio, Rejean Ducharme, Pascal Vincent, and Christian Jauvin. A Neural Probabilistic Language Model. Journal of machine learning research, 3(Feb):1137–1155, 2003.
[15] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. arXiv preprint arXiv:1301.3781, 2013.
[16] Quoc V Le and Tomas Mikolov. Distributed Representations of Sentences and Documents. In ICML, volume 14, pages 1188–1196, 2014.
[17] Duyu Tang, Bing Qin, and Ting Liu. Document Modeling with Gated Recurrent Neural Network for Sentiment Classification. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1422– 1432, 2015.
[18] Donahue J., Hendricks L.A., Rohrbach M., Venugopalan S., Guadarrama S., Saenko K., Darrell T. Long-term recurrent convolutional networks for visual recognition and description. IEEE Trans. Pattern Anal. Mach. Intell. 39, 677– 691, 2017.
68
[19] Bui Thanh Hung. Vietnamese Keyword Extraction Using Hybrid Deep Learning Methods. In proceedings of the 5th NAFOSTED Conference on Information and Computer Science, 2018
[20] Dang Van Thin, Vu Duc Nguyen, Kiet Van Nguyen, Ngan Luu Thuy Nguyen. A Transformation Method For Aspect-Basedsentiment Analysis. In the Fifth International Workshop on Vietnamese Language and Speech Processing (VLSP 2018), 2018