2 Xác định sở thích của du khách về sản phẩm du lịch dựa trên
3.4 Đánh giá bộ phân lớp SVM
Khía cạnh Độ chính xác (P) Độ bao phủ (R) Độ đo F1
Giá phòng 91,6% 89,4% 90,5% Ví trí 94,7% 92,4% 93,5% Phòng 94,0% 91,6% 92,8% Dịch vụ 96,3% 90,2% 93,2% Nhân viên 93,6% 91,8% 92,7% 3.3 Đánh giá
Kết quả xếp hạng theo khía cạnh được trình bày trong bảng 3.3. Với điểm xếp hạng theo quan điểm tích cực, chúng ta có thể thấy, điểm xếp hạng theo dự đoán và điểm xếp hạng theo dữ liệu đánh giá tương ứng với các khía cạnh chỉ chênh lệch nhau từ 2% đến 7%. Trong đó, khía cạnh giá phòng cho độ chênh lệch cao nhất là 7%, khía cạnhvị trí và khía cạnh dịch vụ cho độ chênh lệch thấp nhất là 2%.
Bảng 3.4 trình bày đánh giá bộ phân lớp quan điểm SVM theo các khía cạnh thông qua bộ ba độ đo: Độ chính xác (P), độ bao phủ (R) và độ đo F1. Chúng ta có thể thấy, kết quả của bộ phân lớp các khía cạnh giá phòng, vị trí, phòng, dịch vụ, nhân viên tính theo độ chính xác đều từ 91% trở lên. Các kết quả này đều gần xấp xỉ với kết quả tính theo độ bao phủ. Điều này cho thấy, bộ phân lớp
tương đối ổn định khi đánh giá theo độ chính xác và độ bao phủ, kết quả là độ đo F1 theo từng khía cạnh cũng xấp xỉ.
KẾT LUẬN
Trong phần này, chúng tôi tóm lược lại các kết quả chính của luận văn. Ngoài ra, chúng tôi trình bày về hướng phát triển cho nghiên cứu tiếp theo trong tương lai.
1. Tóm lược các kết quả của luận văn
Luận văn chúng tôi tập trung nghiên cứu về phân tích quan điểm dựa trên khía cạnh và ứng dụng xác định sở thích của du khách về sản phẩm du lịch. Nội dung và kết quả nghiên cứu được trình bày ở các Chương 1-3. Các kết quả của luận văn có thể được tóm tắt như sau:
Thứ nhất, chúng tôi trình bày các kiến thức tổng quan về bài toán phân tích quan điểm, phân tích quan điểm theo khía cạnh và các cách tiếp cận để giải quyết bài toán này.
Thứ hai, chúng tôi phát biểu bài toán xác định sở thích của du khách về sản phẩm du lịch dựa theo khía cạnh, trong phạm vi của đề tài, chúng tôi lựa chọn sản phẩm du lịch là khách sạn để đánh giá; trình bày chi tiết quy trình phân tích quan điểm theo khía cạnh.
Thứ ba, chúng tôi đã thực nghiệm trên bộ dữ liệu đánh giá về khách sạn theo quy trình được trình bày ở Chương 2, kết qủa thực nghiệm đã được đánh giá với độ chính xác hơn 90%.
2. Hướng phát triển của luận văn
Chúng tôi đã nghiên cứu phân tích quan điểm dựa trên khía cạnh và ứng dụng xác định sở thích của du khách về sản phẩm du lịch. Chúng tôi hy vọng rằng, đây là bước khởi đầu cho các nghiên cứu tiếp theo về phân tích quan điểm dựa trên khía cạnh và ứng dụng. Trong quá tương lai chúng tôi phát triển luận văn theo các hướng như sau:
Thứ nhất, tiếp tục xây dựng dữ liệu cho bài toán phân tích quan điểm trên miền du lịch.
Thứ hai, mở rộng bài toán phân tích quan điểm theo khía cạnh cho các sản phẩm khác trên miền du lịch.
Thứ ba, ở giai đoạn phân lớp quan điểm dựa trên khía cạnh, cài đặt thực nghiệm trên nhiều thuật toán (ví dụ: k −N N, Naive Bayes,...). Từ đó, so sánh, đánh giá và lựa chọn thuật toán tốt nhất cho cho bài toán này. Thứ tư, xây dựng ứng dụng phân tích quan điểm trên miền du lịch.
Tài liệu tham khảo
[1] Bengio, Y., Courville, A., and Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8):1798–1828.
[2] Bennett, J., Lanning, S., et al. (2007). The netflix prize. In Proceedings of KDD cup and workshop, volume 2007, page 35. New York.
[3] Brody, S. and Elhadad, N. (2010). An unsupervised aspect-sentiment model for online reviews. InHuman language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics, pages 804–812.
[4] Carenini, G., Cheung, J. C. K., and Pauls, A. (2013). Multi-document sum- marization of evaluative text. Computational Intelligence, 29(4):545–576. [5] Cilibrasi, R. L. and Vitanyi, P. M. (2007). The google similarity distance.
IEEE Transactions on knowledge and data engineering, 19(3):370–383.
[6] Cortes, C. and Vapnik, V. (1995). Support vector machine. Machine learning, 20(3):273–297.
[7] Ding, X., Liu, B., and Yu, P. S. (2008). A holistic lexicon-based approach to opinion mining. In Proceedings of the 2008 international conference on web search and data mining, pages 231–240.
[8] Ganu, G., Elhadad, N., and Marian, A. (2009). Beyond the stars: improving rating predictions using review text content. In WebDB, volume 9, pages 1–6. Citeseer.
[9] Hinton, G. E. and Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. science, 313(5786):504–507.
[10] Hu, M. and Liu, B. (2004). Mining and summarizing customer reviews. In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pages 168–177.
[11] Hyv¨arinen, A. and Oja, E. (2000). Independent component analysis: algo- rithms and applications. Neural networks, 13(4-5):411–430.
[12] Jindal, N. and Liu, B. (2007). Review spam detection. In Proceedings of the 16th international conference on World Wide Web, pages 1189–1190.
[13] Jindal, N. and Liu, B. (2008). Opinion spam and analysis. In Proceedings of the 2008 international conference on web search and data mining, pages 219– 230.
[14] Joachims, T. (1999). Svmlight: Support vector machine. SVM-Light Support Vector Machine http://svmlight. joachims. org/, University of Dortmund, 19(4). [15] Kim, S.-M. and Hovy, E. (2004). Determining the sentiment of opinions. In COLING 2004: Proceedings of the 20th International Conference on Computa- tional Linguistics, pages 1367–1373.
[16] Kramer, J. and Gordon, C. (2014). Improvement of a naive bayes sentiment classifier using mrs-based features. InProceedings of the Third Joint Conference on Lexical and Computational Semantics (* SEM 2014), pages 22–29.
[17] Lim, E.-P., Nguyen, V.-A., Jindal, N., Liu, B., and Lauw, H. W. (2010). Detecting product review spammers using rating behaviors. InProceedings of the 19th ACM international conference on Information and knowledge management, pages 939–948.
[18] Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis lectures on human language technologies, 5(1):1–167.
[19] Long, C., Zhang, J., and Zhu, X. (2010). A review selection approach for accurate feature rating estimation. InColing 2010: Posters, pages 766–774. [20] Mai, L. and Le, B. (2018). Aspect-based sentiment analysis of vietnamese
texts with deep learning. In Asian Conference on Intelligent Information and Database Systems, pages 149–158. Springer.
[21] Moghaddam, S. and Ester, M. (2010). Opinion digger: an unsupervised opin- ion miner from unstructured product reviews. InProceedings of the 19th ACM
international conference on Information and knowledge management, pages 1825–1828.
[22] Narayanan, V., Arora, I., and Bhatia, A. (2013). Fast and accurate sentiment classification using an enhanced naive bayes model. In International Confer- ence on Intelligent Data Engineering and Automated Learning, pages 194–201. Springer.
[23] Pang, B. and Lee, L. (2008). Opinion mining and sentiment analysis founda- tions and trends in information retrieval vol. 2.
[24] Pang, B., Lee, L., and Vaithyanathan, S. (2002). Thumbs up? sentiment classification using machine learning techniques. arXiv preprint cs/0205070. [25] Pavlopoulos, J. and Androutsopoulos, I. (2014). Aspect term extraction for
sentiment analysis: New datasets, new evaluation measures and an improved unsupervised method. InProceedings of the 5th Workshop on Language Analysis for Social Media (LASM), pages 44–52.
[26] Pham, D.-H. and Le, A.-C. (2018). Exploiting multiple word embeddings and one-hot character vectors for aspect-based sentiment analysis. International Journal of Approximate Reasoning, 103:1–10.
[27] Popescu, A.-M. and Etzioni, O. (2007). Extracting product features and opinions from reviews. In Natural language processing and text mining, pages 9–28. Springer.
[28] Poria, S., Cambria, E., and Gelbukh, A. (2016). Aspect extraction for opinion mining with a deep convolutional neural network. Knowledge-Based Systems, 108:42–49.
[29] Ravi, K. and Ravi, V. (2015). A survey on opinion mining and sentiment analysis: tasks, approaches and applications. Knowledge-Based Systems, 89:14– 46.
[30] Sauper, C. and Barzilay, R. (2013). Automatic aggregation by joint modeling of aspects and values. Journal of Artificial Intelligence Research, 46:89–127. [31] Taboada, M., Brooke, J., Tofiloski, M., Voll, K., and Stede, M. (2011).
Lexicon-based methods for sentiment analysis. Computational linguistics, 37(2):267–307.
[32] Tang, D., Qin, B., and Liu, T. (2016). Aspect level sentiment classification with deep memory network. arXiv preprint arXiv:1605.08900.
[33] Thắng, Đ. Q., Phương, L. H., Huyền, N. T. M., Tú, N. C., Rossignol, M., and Lương, V. X. Word segmentation of vietnamese texts: a comparison of approaches.
[34] Turney, P. D. (2002). Thumbs up or thumbs down? semantic orientation applied to unsupervised classification of reviews. arXiv preprint cs/0212032. [35] Van Thin, D., Nguye, V. D., Van Nguyen, K., and Nguyen, N. L.-T. (2018).
Deep learning for aspect detection on vietnamese reviews. In2018 5th NAFOS- TED Conference on Information and Computer Science (NICS), pages 104–109. IEEE.
[36] Vo, Q.-H., Nguyen, H.-T., Le, B., and Nguyen, M.-L. (2017). Multi-channel lstm-cnn model for vietnamese sentiment analysis. In 2017 9th international conference on knowledge and systems engineering (KSE), pages 24–29. IEEE. [37] Wang, H., Lu, Y., and Zhai, C. (2011). Latent aspect rating analysis without
aspect keyword supervision. InProceedings of the 17th ACM SIGKDD interna- tional conference on Knowledge discovery and data mining, pages 618–626. [38] Wang, Y., Huang, M., Zhu, X., and Zhao, L. (2016). Attention-based lstm
for aspect-level sentiment classification. In Proceedings of the 2016 conference on empirical methods in natural language processing, pages 606–615.
[39] Weimer, M., Karatzoglou, A., Le, Q. V., and Smola, A. J. (2008). Cofi rank- maximum margin matrix factorization for collaborative ranking. In Advances in neural information processing systems, pages 1593–1600.
[40] Wogenstein, F., Drescher, J., Reinel, D., Rill, S., and Scheidt, J. (2013). Eval- uation of an algorithm for aspect-based opinion mining using a lexicon-based approach. In Proceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion Mining, pages 1–8.
[41] Xinh, L. T. (2017). Khai phá quan điểm dựa trên kỹ thuật học có giám sát. [42] Zhu, J., Wang, H., Tsou, B. K., and Zhu, M. (2009). Multi-aspect opinion polling from textual reviews. In Proceedings of the 18th ACM conference on Information and knowledge management, pages 1799–1802.
[43] Zhuang, L., Jing, F., and Zhu, X.-Y. (2006). Movie review mining and sum- marization. InProceedings of the 15th ACM international conference on Infor- mation and knowledge management, pages 43–50.