Phát triển các mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ——————— PHẠM ĐỨC HỒNG PHÁT TRIỂN CÁC MƠ HÌNH DỰA TRÊN MẠNG NƠ-RON CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH Hà Nội - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ——————— PHẠM ĐỨC HỒNG PHÁT TRIỂN CÁC MƠ HÌNH DỰA TRÊN MẠNG NƠ-RON CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Anh Cường Hà Nội - 2019 LỜI CẢM ƠN Luận án tiến sĩ ngành Khoa học Máy tính Chính phủ Việt Nam hỗ trợ phần kinh phí thơng qua Đề án 911 thực Bộ mơn Khoa học máy tính, Khoa Cơng nghệ thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội hỗ trợ mặt thủ tục Phịng Tài kế tốn, Trường Đại học Cơng nghệ Bên cạnh cịn có hỗ trợ kinh phí cơng bố có số SCIE, SCI Trường Đại học Điện lực đề tài NAFOSTED, mã số 102.012014.22 thuộc Quỹ Phát triển khoa học công nghệ Quốc gia Tôi xin chân thành cảm ơn đơn vị, tổ chức giúp đỡ thời gian nghiên cứu Luận án cịn có hợp tác hỗ trợ cá nhân, người đóng góp nhiều q trình hồn thành vấn đề nghiên cứu luận án Trước hết xin chân thành cảm ơn PGS.TS Lê Anh Cường trực tiếp hướng dẫn, giúp đỡ ln sẵn lịng tạo điều kiện thuận lợi cho tơi q trình học tập nghiên cứu Tôi xin gửi lời cảm ơn chân thành tới PGS.TS Hoàng Xuân Huấn, PGS.TS Phan Xuân Hiếu, TS Nguyễn Văn Vinh, TS Lê Nguyên Khôi, TS Nguyễn Bá Đạt, TS Nguyễn Thị Ngọc Điệp (Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội), PGS.TS Lê Thanh Hương (Trường Đại học Bách khoa Hà Nội), TS Nguyễn Thị Minh Huyền (Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội), PGS TS Trần Đăng Hưng (Trường Đại học Sư Phạm Hà Nội), TS Đặng Thị Thu Hiền (Trường Đại học Thủy lợi) góp ý chân thành thẳng thắn, giúp cho luận án tơi hồn thiện tốt Tôi biết ơn chân thành PGS.TS Nguyễn Lê Minh (Viện Khoa học công nghệ Tiên tiến Nhật Bản), TS Trần Quốc Long (Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội) Hai thầy trực tiếp giảng dạy, chia sẻ cho nhiều hiểu biết liên quan đến nội dung nghiên cứu Tôi xin gửi lời cảm ơn đến tất anh, chị, em bạn bè đồng nghiệp, nghiên cứu sinh Bộ môn Khoa học máy tính, Khoa Cơng nghệ thơng tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội giúp đỡ tơi hồn thành kế hoạch thủ tục hành thời gian làm nghiên cứu sinh Tôi muốn cảm ơn đến anh/chị/em đồng nghiệp, giảng viên khoa Công nghệ Thông tin, Trường Đại học Điện lực cổ vũ động viên sát cánh bên tơi suốt q trình nghiên cứu Cuối cùng, tơi muốn nói lời cảm ơn đặc biệt tới vợ Lê Thị Kim Chung, trai Phạm Cơng Phúc dành cho tơi tình u cảm thông, cho phép dành nhiều thời gian, tập trung cho cơng việc nghiên cứu Tơi hết lịng biết ơn bố mẹ tơi tình u cống hiến to lớn để trưởng thành ngày hôm nay, cảm ơn anh, chị, em tình yêu gia đình quan tâm giúp đỡ họ cho công việc LỜI CAM ĐOAN Tôi xin cam đoan luận án kết nghiên cứu tôi, thực hướng dẫn PGS.TS Lê Anh Cường Các nội dung trích dẫn từ nghiên cứu tác giả khác mà tơi trình bày luận án ghi rõ nguồn phần tài liệu tham khảo Phạm Đức Hồng ii Mục lục Lời cảm ơn Lời cam đoan Mục lục Danh mục chữ viết tắt Danh mục bảng Danh mục hình vẽ Lời mở đầu Tổng quan vấn đề nghiên cứu 1.1 Giới thiệu toán 1.2 Các tốn phân tích 1.2.1 1.2.2 1.2.3 1.2.4 1.3 Các nghiên cứu liên quan 1.3.1 1.3.2 1.3.3 1.3.4 1.3.5 1.3.6 1.4 Các tiếp cận giải toán 1.5 Nghiên cứu giới Việt n 1.6 Thảo luận Kiến thức sở 2.1 Các ký hiệu khái niệm liên qua 2.2 Các mơ hình học máy sở cho phâ 2.2.1 2.2.2 2.3 Các mơ hình học biểu diễn mức từ 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.4 Kết luận thảo luận Đề xuất mơ hình dựa mạng nơ-ron xác định hạng trọng số khía cạnh thực thể 3.1 Giới thiệu 3.2 Mơ hình hóa tốn 3.2.1 3.2.2 3.3 Phương pháp đề xuất 3.3.1 3.3.2 iv 3.3.3 3.4 Thực nghiệm 3.4.1 3.4.2 3.4.3 3.4.4 3.4.5 3.5 Kết luận Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh 4.1 Giới thiệu 4.2 Mơ hình hóa toán 4.2.1 4.2.2 4.3 Phương pháp đề xuất 4.3.1 4.3.2 4.4 Thực nghiệm 4.4.1 4.4.2 4.5 Cài đặt đánh giá mơ hình tinh c 4.5.1 4.5.2 4.6 Cài đặt đánh giá mơ hình SSC 4.6.1 4.6.2 4.6.3 4.7 Kết luận v Mơ hình đa kênh dựa CNN nhằm khai thác đa véc-tơ biểu diễn từ ký tự cho phân tích quan điểm theo khía cạnh 5.1 Giới thiệu 5.2 Mô tả toán 5.3 Phương pháp đề xuất 5.3.1 5.3.2 5.4 Thực nghiệm 5.4.1 5.4.2 5.4.3 5.4.4 5.5 Kết luận Kết luận Danh mục cơng trình khoa học tác giả liên quan đến luận án Tài liệu tham khảo vi Dan LRNN LRR ASR NNAWs CNN MCNN NLP POS SVM Latent Rating Latent Rating Aspect Sema Neural Netw Convolutiona Multichannel Natural Lang Part Of Spee Support Vec vii Danh sách bảng 3.1 Các từ hạt nhân lựa chọn cho thuật toán phân đoạ 3.2 Thống kế liệu thực nghiệm 3.3 Kết dự đoán hạng khách sạn 3.4 Kết xác định trọng số khía cạnh khách sạ 3.5 So sánh mơ hình LRNN với phương pháp LRR b biểu diễn khía cạnh 3.6 Top 10 từ có trọng số tích cực tiêu cực khí 3.7 Các kết thực nghiệm so sánh mơ hình tron hạng khía cạnh 3.8 Kết so sánh chất lượng trọng số khía cạnh chun 3.9 Các kết thực nghiệm trường hợp khởi tạo trọ 3.10 Kết thực nghiệm mơ hình đề xuất sử dụng trọng số k so với sử dụng riêng 4.1 Thống kê tập liệu thứ 4.2 Kết xác định khía cạnh 4.3 Kết phân loại quan điểm theo khía cạnh 4.4 Bốn từ gần ngữ nghĩa với từ cho mơ 4.5 Các kết xác định khía cạnh 4.6 Các kết phân loại quan điểm 4.7 Năm từ gần ngữ nghĩa với từ cho mô 4.8 So sánh kết phân loại quan điểm mơ hình WEF 4.9 So sánh thời gian thực mơ hình WEFT S 5.1 Thống kê số lượng câu sử dụng thực ngh viii [33] B Snyder, R Barzilay, Multiple aspect ranking using the good grief algorithm, in: Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, Proceedings, April 2227, 2007, Rochester, New York, USA, 2007, pp 300–307 [34] K Crammer, Y Singer, Pranking with ranking, in: Advances in Neural Infor- mation Processing Systems 14 [Neural Information Processing Systems: Natural and Synthetic, NIPS 2001, December 3-8, 2001, Vancouver, British Columbia, Canada], 2001, pp 641–647 [35] I Titov, R T McDonald, A joint model of text and aspect ratings for sentiment summarization, in: ACL, The Association for Computer Linguistics, 2008, pp 308–316 [36] W Wang, H Wang, Y Song, Ranking product aspects through sentiment analysis of online reviews, Journal of Experimental & Theoretical Artificial Intelligence 29 (2) (2017) 227–246 [37] Y Liu, J.-W Bi, Z.-P Fan, Ranking products through online reviews: A method based on sentiment analysis technique and intuitionistic fuzzy set theory, Infor-mation Fusion 36 (2017) 149 – 161 [38] C Guo, Z Du, X Kou, Products ranking through aspect-based sentiment anal-ysis of online heterogeneous reviews, Journal of Systems Science and Systems Engineering 27 (2018) 542–558 [39] H Wang, Y Lu, C Zhai, Latent aspect rating analysis without aspect keyword supervision, in: Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’11, ACM, New York, NY, USA, 2011, pp 618–626 [40] Y Xu, T Lin, W Lam, Z Zhou, H Cheng, A M.-C So, Latent aspect min-ing via exploring sparsity and intrinsic information, in: Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management, CIKM ’14, ACM, New York, NY, USA, 2014, pp 879– 888 [41] H Wang, M Ester, A sentiment-aligned topic model for product aspect rating prediction, in: Proceedings of the 2014 Conference on Empirical Methods in Nat-ural Language Processing (EMNLP), Association for Computational Linguistics, Doha, Qatar, 2014, pp 1192– 1202 F Wang, L Chen, Review mining for estimating users’ ratings and weights for product aspects, Web Intelligence 13 (3) (2015) 137– 152 doi:10.3233/ web-150317 [42] 116 [43] Y Li, C Shi, H Zhao, F Zhuang, B Wu, Aspect mining with rating bias, in: P Frasconi, N Landwehr, G Manco, J Vreeken (Eds.), Machine Learning and Knowledge Discovery in Databases, Springer International Publishing, Cham, 2016, pp 458–474 [44] D Xiao, J Yugang, Y Li, F Zhuang, C Shi, Coupled matrix factorization and topic modeling for aspect mining, Information Processing and Management 54 (2018) 861–873 doi:10.1016/j.ipm.2018.05.002 [45] B Pang, L Lee, S Vaithyanathan, Thumbs up? sentiment classification using machine learning techniques, in: EMNLP, 2002 [46] V Narayanan, I Arora, A Bhatia, Fast and accurate sentiment classification us-ing an enhanced naive bayes model, in: Proceedings of the 14th International Conference on Intelligent Data Engineering and Automated Learning — IDEAL 2013 - Volume 8206, IDEAL 2013, SpringerVerlag New York, Inc., New York, NY, USA, 2013, pp 194–201 [47] J Kramer, C Gordon, Improvement of a naive bayes sentiment classifier using mrs-based features, 2014, pp 22–29 [48] Y Bengio, A C Courville, P Vincent, Representation learning: A review and new perspectives, IEEE Trans Pattern Anal Mach Intell 35 (8) (2013) 1798 1828 [49] A Hyvarinen,ă E Oja, Independent component analysis: Algorithms and applica-tions, Neural Netw 13 (4-5) (2000) 411–430 [50] G Hinton, R Salakhutdinov, Reducing the dimensionality of data with neural networks, Science (New York, N.Y.) 313 (2006) 504–7 [51] M Weimer, A Karatzoglou, Q V Le, A J Smola, Cofi rank - maximum margin matrix factorization for collaborative ranking, in: J C Platt, D Koller, Y Singer, S T Roweis (Eds.), Advances in Neural Information Processing Systems 20, Curran Associates, Inc., 2008, pp 1593–1600 [52] Y Bengio, A connectionist approach to speech recognition, International Journal on Pattern Recognition and Artificial Intelligence (4) (1993) 647–667 [53] G E Hinton, R R Salakhutdinov, Reducing the dimensionality of data with neural networks, Science 313 (5786) (2006) 504–507 [54] Y Bengio, P Lamblin, D Popovici, H Larochelle, Greedy layerwise training of deep networks, in: Advances in Neural Information Processing Systems, MIT Press, 2006, pp 153–160 117 [55] G E Hinton, Learning distributed representations of concepts, in: Proceedings of the eighth annual conference of the cognitive science society, Vol 1, Amherst, MA, 1986, p 12 [56] Y Bengio, R Ducharme, P Vincent, C Janvin, A neural probabilistic language model, Journal of Machine Learning Research (2003) 1137–1155 [57] T Mikolov, K Chen, G Corrado, J Dean, Efficient estimation of word represen-tations in vector space, CoRR abs/1301.3781 [58] J Pennington, R Socher, C D Manning, Glove: Global vectors for word rep- resentation, in: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, Doha, Qatar, Association for Com-putational Linguistics, 2014, pp 1532–1543 [59] J Pavlopoulos, I Androutsopoulos, Aspect term extraction for sentiment anal-ysis: New datasets, new evaluation measures and an improved unsupervised method, in: Proceedings of the 5th Workshop on Language Analysis for Social Media (LASM), Association for Computational Linguistics, Gothenburg, Swe-den, 2014, pp 44–52 [60] L Zhuang, F Jing, X.-Y Zhu, Movie review mining and summarization, in: Pro-ceedings of the 15th ACM International Conference on Information and Knowledge Management, CIKM ’06, ACM, New York, NY, USA, 2006, pp 43–50 [61] P D Turney, Thumbs up or thumbs down? semantic orientation applied to unsu-pervised classification of reviews, in: ACL, ACL, 2002, pp 417–424 [62] R Mihalcea, C Banea, J Wiebe, Learning multilingual subjective language via cross-lingual projections, in: ACL, The Association for Computational Linguis-tics, 2007 [63] F Su, K Markert, From words to senses: A case study of subjectivity recog- nition, in: Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), Coling 2008 Organizing Committee, Manchester, UK, 2008, pp 825–832 [64] B Pang, L Lee, A sentimental education: Sentiment analysis using subjectiv- ity summarization based on minimum cuts, in: Proceedings of the 42nd An-nual Meeting of the Association for Computational Linguistics, 21-26 July, 2004, Barcelona, Spain., 2004, pp 271–278 [65] B Pang, L Lee, Opinion mining and sentiment analysis, Found Trends Inf Retr (1-2) (2008) 1–135 118 [66] N Jindal, B Liu, Review spam detection, in: Proceedings of the 16th Interna-tional Conference on World Wide Web, WWW ’07, ACM, New York, NY, USA, 2007, pp 1189–1190 [67] E.-P Lim, V.-A Nguyen, N Jindal, B Liu, H W Lauw, Detecting product review spammers using rating behaviors, in: Proceedings of the 19th ACM International Conference on Information and Knowledge Management, CIKM ’10, ACM, New York, NY, USA, 2010, pp 939–948 [68] N Jindal, B Liu, Opinion spam and analysis, in: Proceedings of the 2008 Inter-national Conference on Web Search and Data Mining, WSDM ’08, ACM, New York, NY, USA, 2008, pp 219–230 [69] W Jin, H H Ho, A novel lexicalized hmm-based learning framework for web opinion mining, in: Proceedings of the 26th Annual International Conference on Machine Learning, ICML ’09, ACM, New York, NY, USA, 2009, pp 465–472 [70] M Hu, B Liu, Mining and summarizing customer reviews, in: KDD, ACM, 2004, pp 168–177 [71] prod- J Yu, Z Zha, M Wang, T Chua, Aspect ranking: Identifying important uct aspects from online consumer reviews, in: The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Pro-ceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA, 2011, pp 1496–1505 [72] N X Bach, P D Van, N D Tai, T M Phuong, Mining vietnamese comparative sentences for sentiment analysis, in: 2015 Seventh International Conference on Knowledge and Systems Engineering (KSE), 2015, pp 162–167 [73] V D Nguyen, K V Nguyen, N L Nguyen, Variants of long short-term memory for sentiment analysis on vietnamese students’ feedback corpus, in: 2018 10th International Conference on Knowledge and Systems Engineering (KSE), 2018, pp 306–311 [74] K V Nguyen, V D Nguyen, P X V Nguyen, T T H Truong, N L Nguyen, Uit-vsfc: Vietnamese students’ feedback corpus for sentiment analysis, in: 2018 10th International Conference on Knowledge and Systems Engineering (KSE), 2018, pp 19–24 [75] Q Vo, H Nguyen, B Le, M Nguyen, Multi-channel lstm-cnn model for viet-namese sentiment analysis, in: 2017 9th International Conference on Knowledge and Systems Engineering (KSE), 2017, pp 24–29 119 [76] L Mai, B Le, Aspect-Based Sentiment Analysis of Vietnamese Texts with Deep Learning, 2018, pp 149–158 [77] D Van Thin, V Duc Nguye, K Nguyen, N Luu-Thuy Nguyen, Deep learning for aspect detection on vietnamese reviews, 2018, pp 104–109 [78] A L Maas, R E Daly, P T Pham, D Huang, A Y Ng, C Potts, Learning word vectors for sentiment analysis, in: ACL, The Association for Computer Linguis-tics, 2011, pp 142–150 [79] D Tang, F Wei, N Yang, M Zhou, T Liu, B Qin, Learning sentiment-specific word embedding for twitter sentiment classification, in: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014, June 22-27, 2014, Baltimore, MD, USA, Volume 1: Long Papers, 2014, pp 1555–1565 [80] Y Ren, Y Zhang, M Zhang, D Ji, Improving twitter sentiment classification using topic-enriched multi-prototype word embeddings, in: Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, February 12-17, 2016, Phoenix, Arizona, USA., 2016, pp 3038–3044 [81] X Zhang, J J Zhao, Y LeCun, Character-level convolutional networks for text classification, in: Proceedings of the 28th International Conference on Neural In-formation Processing Systems, NIPS 2015, Montreal, Canada, Curran Associates Inc., 2015, pp 649–657 [82] C N dos Santos, M Gatti, Deep convolutional neural networks for sentiment analysis of short texts, in: Proceedings of 25th International Conference on Com-putational Linguistics, COLING 2014, Dublin, Ireland, Association for Compu-tational Linguistics, 2014, pp 69–78 [83] Y Kim, Y Jernite, D Sontag, A M Rush, Character-aware neural language mod-els, in: AAAI, AAAI Press, 2016, pp 2741–2749 [84] K Ganesan, C Zhai, Opinion-based entity ranking, Information Retrieval 15 (2) (2012) 116–150 [85] T Mikolov, K Chen, G Corrado, J Dean, Efficient estimation of word represen-tations in vector space, CoRR abs/1301.3781 [86] X Rong, word2vec parameter learning explained, CoRR abs/1411.2738 [87] Y Lecun, L Bottou, Y Bengio, P Haffner, Gradient-based learning applied to document recognition, in: Proceedings of the IEEE, 1998, pp 2278– 2324 120 [88] R Collobert, J Weston, L Bottou, M Karlen, K Kavukcuoglu, P Kuksa, Natural language processing (almost) from scratch, J Mach Learn Res 12 (2011) 2493– 2537 [89] J Mitchell, M Lapata, Vector-based models of semantic composition, in: ACL 2008, Proceedings of the 46th Annual Meeting of the Association for Computa-tional Linguistics, June 15-20, 2008, Columbus, Ohio, USA, 2008, pp 236–244 [90] K M Hermann, P Blunsom, Multilingual models for compositional distributed semantics, in: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014, June 22-27, 2014, Baltimore, MD, USA, Volume 1: Long Papers, 2014, pp 58–68 [91] T Mikolov, K Chen, G Corrado, J Dean, Efficient estimation of word represen-tations in vector space, CoRR abs/1301.3781 [92] T Mikolov, I Sutskever, K Chen, G S Corrado, J Dean, Distributed repre-sentations of words and phrases and their compositionality, in: NIPS, 2013, pp 3111–3119 [93] C.-Y Liou, W.-C Cheng, J.-W Liou, D.-R Liou, Autoencoder for words, Neuro-comput 139 (2014) 84–96 [94] L Bottou, Stochastic learning, in: Advanced Lectures on Machine Learning, Vol 3176 of Lecture Notes in Computer Science, Springer, 2003, pp 146–168 [95] A Cotter, O Shamir, N Srebro, K Sridharan, Better mini-batch algorithms via accelerated gradient methods, in: Proceedings of the 24th International Confer-ence on Neural Information Processing Systems, NIPS’11, Curran Associates Inc., USA, 2011, pp 1647–1655 [96] K Toutanova, D Klein, C D Manning, Y Singer, Feature-rich part-of-speech tagging with a cyclic dependency network, in: Human Language Technology Conference of the North American Chapter of the Association for Computa-tional Linguistics, HLT-NAACL 2003, Edmonton, Canada, May 27 - June 1, 2003, 2003 [97] H Wang, M Ester, A sentiment-aligned topic model for product aspect rating prediction, in: Proceedings of the 2014 Conference on Empirical Methods in Nat-ural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, 2014, pp 1192–1202 [98] D E Rumelhart, G E Hinton, R J Williams, Neurocomputing: Foundations of research, MIT Press, Cambridge, MA, USA, 1988, Ch Learning Representations by Back-propagating Errors, pp 696–699 121 [99] R Collobert, J Weston, A unified architecture for natural language processing: deep neural networks with multitask learning, in: ICML, Vol 307 of ACM Inter-national Conference Proceeding Series, ACM, 2008, pp 160–167 [100] C D Manning, P Raghavan, H Schutze,ă Introduction to information retrieval, Cambridge University Press, 2008 [101] N Kalchbrenner, E Grefenstette, P Blunsom, A convolutional neural network for modelling sentences, in: Proceedings of the 52nd Annual Meeting of the As-sociation for Computational Linguistics (Volume 1: Long Papers), Association for Computational Linguistics, Baltimore, Maryland, 2014, pp 655– 665 [102] M Lakshmana, S Sellamanickam, S K Shevade, K Selvaraj, Learning seman-tically coherent and reusable kernels in convolution neural nets for sentence clas-sification, CoRR abs/1608.00466 [103] Y Shen, X He, J Gao, L Deng, G Mesnil, Learning semantic representations using convolutional neural networks for web search, in: 23rd International World Wide Web Conference, WWW ’14, Seoul, Republic of Korea, April 7-11, 2014, Companion Volume, 2014, pp 373–374 [104] W Yin, H Schutze,ă Multichannel variable-size convolution for sentence classi-fication, in: Proceedings of the 19th Conference on Computational Natural Lan-guage Learning, CoNLL 2015, Beijing, China, Association for Computational Linguistics, 2015, pp 204–214 [105] Y Zhang, S Roller, B C Wallace, MGNC-CNN: A simple approach to exploit- ing multiple word embeddings for sentence classification, in: Proceedings of the 2016 Conference of the North American Chapter of the Association for Compu-tational Linguistics: Human Language Technologies, NAACL-HLT 2016, San Diego California, USA, Association for Computational Linguistics, 2016, pp 1522–1527 [106] W X Zhao, J Jiang, H Yan, X Li, Jointly modeling aspects and opinions with a maxent-lda hybrid, in: Proceedings of the 2010 Conference on Empirical Meth-ods in Natural Language Processing, EMNLP 2010, 911 October 2010, MIT Stata Center, Massachusetts, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, 2010, pp 56–65 [107] R Collobert, J Weston, A unified architecture for natural language processing: deep neural networks with multitask learning, in: ICML, Vol 307 of ACM Inter-national Conference Proceeding Series, ACM, 2008, pp 160–167 122 [108] N Srivastava, G E Hinton, A Krizhevsky, I Sutskever, R Salakhutdinov, Dropout: a simple way to prevent neural networks from overfitting, Journal of Machine Learning Research 15 (1) (2014) 1929– 1958 [109] S Brody, N Elhadad, An unsupervised aspect-sentiment model for online re-views, in: Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, HLT ’10, Association for Computational Linguistics, Stroudsburg, PA, USA, 2010, pp 804–812 [110] L Wang, K Liu, Z Cao, J Zhao, G de Melo, Sentiment-aspect extraction based on restricted boltzmann machines, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, July 2631, 2015, Beijing, China, Volume 1: Long Papers, 2015, pp 616–625 [111] X Glorot, A Bordes, Y Bengio, Domain adaptation for largescale sentiment classification: A deep learning approach, in: Proceedings of the 28th Interna-tional Conference on Machine Learning, ICML 2011, Bellevue, Washington, USA, June 28 - July 2, 2011, 2011, pp 513–520 [112] R Astudillo, S Amir, W Ling, M Silva, I Trancoso, Learning word representa-tions from scarce and noisy data with embedding subspaces, in: Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Association for Computational Linguistics, 2015, pp 1074– 1084 123 ... loại quan điểm theo khía cạnh Sau cơng việc xác định khía cạnh cơng việc phân loại quan điểm theo khía cạnh Hai tiếp cập cho phân loại quan điểm theo khía cạnh dựa từ điển tiếp cập học giám sát Các. .. theo khía cạnh quan tâm nghiên cứu nhiều Các tốn điển hình phân tích quan điểm theo khía cạnh gồm có: trích xuất từ khía cạnh [4,11,13,14,69]; xác định khía cạnh [17–19]; phân loại quan điểm theo. .. mơ hình học biểu diễn mức từ cho phân tích quan điểm theo khía cạnh Các véc-tơ từ đạt từ mơ hình đề xuất đánh giá hiệu thơng qua hai tốn: xác định khía cạnh phân loại quan điểm theo khía cạnh