Khai phá quan điểm với kỹ thuật học sâu

Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.Khai phá quan điểm với kỹ thuật học sâu.

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐÀ NẴNG – 2023 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) Ngành: Khoa học máy tính Mã sớ: 9.48.01.01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Cán hướng dẫn: TS Hoàng Thị Thanh Hà TS Đặng Hoài Phương ĐÀ NẴNG – 2023 ii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi thực hiện, hướng dẫn TS Hồng Thị Thanh Hà TS Đặng Hồi Phương Tơi cam đoan kết nghiên cứu trình bày luận án trung thực không chép từ cơng trình nghiên cứu khác Mọi trích dẫn luận án đề cập đến nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả Trần Uyên Trang iii MỤC LỤC LỜI CAM ĐOAN III MỤC LỤC IV DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT VII DANH MỤC BẢNG IX DANH MỤC HÌNH X PHẦN MỞ ĐẦU 1 TÍNH CẤP THIẾT CỦA LUẬN ÁN MỤC TIÊU, ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU CỦA LUẬN ÁN CÁC ĐÓNG GÓP CỦA LUẬN ÁN BỐ CỤC CỦA LUẬN ÁN CHƯƠNG 1- TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬT HỌC SÂU 1.1 KHAI PHÁ QUAN ĐIỂM 1.2 CÁC CẤP ĐỘ KHAI PHÁ QUAN ĐIỂM 11 1.2.1 Khai phá quan điểm mức tài liệu 12 1.2.2 Khai phá quan điểm mức câu 12 1.2.3 Khai phá quan điểm mức khía cạnh hay mức đặc trưng 12 1.3 CÁC HƯỚNG NGHIÊN CỨU KHAI PHÁ QUAN ĐIỂM 13 1.3.1 Hướng tiếp cận dựa ngữ liệu 14 1.3.2 Hướng tiếp cận máy học 14 1.3.3 Các nghiên cứu liên quan 16 1.4 MỘT SỐ HẠN CHẾ CỦA CÁC TIẾP CẬN KHAI PHÁ QUAN ĐIỂM HIỆN NAY 24 1.5 HỌC SÂU VÀ NHÓM KỸ THUẬT HỌC SÂU ĐƯỢC SỬ DỤNG TRONG CÁC MƠ HÌNH KHAI PHÁ QUAN ĐIỂM ĐỀ XUẤT 30 1.5.1 Học sâu 30 iv 1.5.2 Các kỹ thuật học sâu phổ biến dùng xử lý ngôn ngữ tự nhiên khai phá quan điểm 34 1.6 ĐỀ XUẤT NGHIÊN CỨU: KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU 46 1.7 KẾT LUẬN CHƯƠNG 47 CHƯƠNG 2-TRÍCH RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂM VỚI HƯỚNG TIẾP CẬN HỌC SÂU 49 2.1 TRÍCH RÚT KHÍA CẠNH VỚI HƯỚNG TIẾP CẬN HỌC SÂU 49 2.2 MƠ HÌNH TRÍCH RÚT KHÍA CẠNH VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT 54 2.2.1 Mơ hình tích hợp BiGRU-CRF cho trích rút khía cạnh 55 2.2.2 Mơ hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh 59 2.3 KẾT QUẢ THỰC NGHIỆM 64 2.3.1 Tập liệu công cụ sử dụng thực nghiệm 64 2.3.2 Kết thực nghiệm đánh giá hiệu trích rút khía cạnh 65 2.4 KẾT LUẬN CHƯƠNG 67 CHƯƠNG 3-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI HƯỚNG TIẾP CẬN HỌC SÂU 68 3.1 KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ 68 3.2 MƠ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT 69 3.2.1 Mơ hình CNN-BiGRU cho trích rút khía cạnh quan điểm 71 3.2.2 Mơ hình CNN-IOB2 cho trích rút từ mục tiêu 76 3.2.3 Mơ hình MABSA cho trích rút phân loại ba tác vụ tiếp theo: khía cạnh, thực thể quan điểm 82 3.3 KẾT QUẢ THỰC NGHIỆM CÁC MƠ HÌNH 89 3.3.1 Tập liệu công cụ sử dụng thực nghiệm 90 3.3.2 Kết thực nghiệm, đánh giá hiệu khai phá quan điểm đa tác vụ 91 3.4 KẾT LUẬN CHƯƠNG 97 CHƯƠNG 4-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ, ĐA MIỀN VỚI HƯỚNG TIẾP CẬN HỌC SÂU 99 v 4.1 KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA MIỀN 101 4.2 MƠ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN ĐỀ XUẤT 102 4.2.1 Mơ hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM 103 4.2.2 Mơ hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền CNNBiIndyLSTM-Attention 110 4.3 KẾT QUẢ THỰC NGHIỆM 115 4.3.1 Tập liệu công cụ sử dụng thực nghiệm 116 4.3.2 Kết thực nghiệm đánh giá hiệu khai phá quan điểm đa tác vụ đơn miền đa miền 117 4.4 KẾT LUẬN CHƯƠNG 124 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 126 KẾT LUẬN 126 HƯỚNG PHÁT TRIỂN 132 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ 133 TÀI LIỆU THAM KHẢO 135 vi DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT STT Thuật ngữ Đơn vị tuyến tính chỉnh lưu Học máy Học sâu Khai phá quan điểm/Phân tích cảm xúc Khai phá quan điểm mức tài liệu Khai phá quan điểm mức câu Khai phá quan điểm mức khía cạnh/đặc trưng Khai phá quan điểm mức khía cạnh/đặc trưng đa tác vụ Khai phá quan điểm mức khía cạnh/đặc trưng đa miền 10 Ma trận đồng xuất 11 Mạng neural hồi quy 12 Mạng neural hồi quy hai chiều 13 Mạng nhớ ngắn dài 14 Mạng nhớ ngắn dài hai chiều 15 Mạng nhớ ngắn dài độc lập 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 Tiếng Anh Rectified Linear Unit Viết tắt ReLU Machine learning Deep learning Opinion mining/Sentiment analysis ML DL OM/SA Document_based sentiment analysis DBSA Sentence_based sentiment analysis Aspect/Feature_based sentiment analysis Multitask aspect/feature_based sentiment analysis Multidomain aspect/feature_based sentiment analysis Co-occurrence matrix Recurrent Neural Network Bidirectional Recurrent Neural Network Long_Short Term Memory Bidirectional Long_Short Term Memory Independently Long_Short Term Memory Mạng nhớ ngắn dài độc lập Bidirectional Independently hai chiều Long_Short Term Memory Mạng đơn vị hồi quy có cổng Gated Recurrent Unit Mạng đơn vị hồi quy có cổng Bidirectional Gated Recurrent Unit hai chiều Mạng neural đệ quy Recursive Neural Network Mạng neural tích chập Convolutional Neural Network Máy vector hỗ trợ Support Vector Machine Mô hình Markov ẩn Hidden Markov Models Phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation Phân loại miền Domain classification Phân loại quan điểm Sentiment classification Phân rã đạo hàm Gradient decay Phân tích ngữ nghĩa tiềm ẩn Latent Semantic Analysis Phân tích ngữ nghĩa tiềm ẩn Probabilistic Latent Semantic xác suất Analysis Quan điểm Opinion Quan điểm tích cực Positive opinion Quan điểm tiêu cực Negative opinion Quan điểm trung lập Neutral opinion SBSA ABSA MABSA RNN BiRNN LSTM BiLSTM IndyLSTM BiIndyLSTM GRU BiGRU CNN SVM HMM LDA LSA pLSA vii 33 34 35 36 37 38 39 Quá khớp Trích rút khía cạnh Trích rút từ mục tiêu quan điểm Trích rút thực thể Trường ngẫu nhiên có điều kiện Triệt tiêu/bùng nổ đạo hàm Vector toàn cục Overfitting Aspect extraction Opinion target extraction Entity extraction Conditional Random Field CRF Vanishing/exploding gradient Global Vector GloVe viii DANH MỤC BẢNG Bảng 1.1 Các mơ hình khai phá quan điểm dựa hướng tiếp cận ngữ liệu bật và hiệu suất mơ hình 26 Bảng 1.2 Các mơ hình khai phá quan điểm dựa hướng tiếp cận máy học bật và hiệu suất mơ hình 27 Bảng 2.1 Tập liệu SemEval 2014 65 Bảng 2.2 So sánh độ đo F1 mô hình BiGRU-CRF Bi-IndyLSTM-CRF với mơ hình có 65 Bảng 3.1 Sử dụng miền Restaurant tập liệu SemEval 2016 cho thực nghiệm 90 Bảng 3.2 Kết thực nghiệm mơ hình có so với mơ hình đề xuất luận án Chương và Chương miền Laptop tập liệu SemEval 2014 92 Bảng 3.3 Kết thực nghiệm mơ hình có so với mơ hình đề xuất luận án Chương và Chương miền Restaurant tập liệu SemEval 2014 92 Bảng 3.4 Kết thực nghiệm xét độ đo F1 và Accuracy mơ hình có và mơ hình CNN-IOB2 miền Restaurant SemEval 2016 95 Bảng 3.5 Kết thực nghiệm mô hình MABSA đề xuất xét độ đo Precision, Recall, F1 và Accuracy miền Restaurant tập SemEval 2016 96 Bảng 4.1 Tập liệu huấn luyện gồm đơn miền Restaurant, Laptop tập SemEval 2016, đa miền Laptop_Restaurant, và đa miền Laptop_Restaurant_Hotel 117 Bảng 4.2 Trích rút khía cạnh xét độ đo Precision, Recall và F1 hai mơ hình đề xuất so với mơ hình có miền Laptop và Restaurant 118 Bảng 4.3 Kết thực nghiệm mơ hình CNN-BiLSTM đa miền Laptop_Restaurant 120 Bảng 4.4 Kết thực nghiệm mơ hình CNN-BiIndyLSTM-Attention đa miền Laptop_Restaurant_Hotel 121 Bảng 4.5 Trích rút khía cạnh xét độ đo Precision, Recall và F1 hai mơ hình đề xuất so với mơ hình có đơn miền Restaurant, đa miền Laptop_Restaurant và đa miền Laptop_Restaurant_Hotel 122 Bảng 5.1 Bảng tổng hợp đặc điểm mơ hình khai phá quan điểm đề xuất 128 ix DANH MỤC HÌNH Hình 1.1 Các cấp độ cụ thể khai phá quan điểm 12 Hình 1.2 Mơ hình mạng neural đơn giản gồm lớp ẩn 32 Hình 1.3 Mơ hình mạng học sâu gồm lớp ẩn 33 Hình 1.4 Mạng neural tích chập 35 Hình 1.5 Tính tốn với MaxPooling 36 Hình 1.6 Mơ hình CNN xử lý văn 37 Hình 1.7 Mơ hình mạng RNN và tính tốn bên RNN 38 Hình 1.8 Cấu trúc mơ-đun RNN 40 Hình 1.9 Cấu trúc mơ-đun LSTM 40 Hình 1.10 Cấu trúc chi tiết mơ-đun LSTM 41 Hình 1.11 Cấu trúc mạng BiLSTM 42 Hình 1.12 Cấu trúc GRU 43 Hình 1.13 Cấu trúc mạng BiGRU 44 Hình 1.14 Cấu trúc mạng Bidirectional IndyLSTM 45 Hình 2.1 Quy trình trích rút khía cạnh mơ hình BiGRU-CRF 56 Hình 2.2 Cấu trúc mơ hình BiGRU-CRF cho trích rút khía cạnh câu quan điểm 58 Hình 2.3 Quy trình trích rút khía cạnh mơ hình Bi-IndyLSTM-CRF 61 Hình 2.4 Cấu trúc mơ hình Bi-IndyLSTM-CRF cho trích rút khía cạnh câu quan điểm 63 Hình 2.5 Biểu đồ so sánh độ xác F1 hai mơ hình đề xuất với mơ hình đã đánh giá cao trước 66 Hình 3.1 Quy trình trích rút, phân loại khía cạnh và quan điểm mơ hình CNN-BiGRU 74 Hình 3.2 Cấu trúc mơ hình CNN-BiGRU cho khai phá quan điểm mức khía cạnh trích rút đồng thời khía cạnh và quan điểm 75 Hình 3.3 Quy trình trích rút từ mục tiêu mơ hình CNN-IOB2 79 Hình 3.4 Cấu trúc mơ hình CNN-IOB2 cho trích rút từ mục tiêu 82 Hình 3.5 Quy trình trích rút, phân loại khía cạnh, thực thể và quan điểm mơ hình MABSA 86 Hình 3.6 Cấu trúc mơ hình khai phá quan điểm mức khía cạnh đa tác vụ MABSA cho phân loại khía cạnh, thực thể và quan điểm 88 x [41] Duyu Tang, Bing Qin, Xiaocheng Feng, and Ting Liu 2016 “Efective LSTMs for target-dependent sentiment classification” In 26th International Conference on Computational Linguistics (COLING 2016) ACL, 3298–3307 [42] Feifan Fan, Yansong Feng, and Dongyan Zhao, “Multi-grained attention network for aspect-level sentiment classification,” in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp 3433–3442, Brussels, Belgium, October-November 2018 [43] Fangtao Li, Chao Han, Minlie Huang, Xiaoyan Zhu, Ying-Ju Xia, Shu Zhang, Hao Yu “Structure-aware review mining and summarization”, COLING’10 Proceedings of the 23rd International Conference on Computational Linguistics: Posters, pp 653–661 Beijing, August 2010 [44] Griffin Lacey, Graham Taylor, Shawki Areibi, “Deep Learning on FPGAs: Past, Present, and Future”, arXiv:1602.04283, 2016 [45] Guang Qiu, Bing Liu, Jiajun Bu, Chun Chen “Opinion word expansion and Target extraction through Double Propagation”, Association for Computational Linguistics, vol 37, no 1, 2011 [46] Guangyao Pang, Keda Lu, Xiaoying Zhu, Jie He, Zhiyi Mo, Zizhen Peng, Baoxing Pu, “Aspect-Level Sentiment Analysis Approach via BERT and Aspect Feature Location Model”, Wireless Communications and Mobile Computing Journal, vol 2021, DOI: https://doi.org/10.1155/2021/5534615 [47] H H Dohaiha, P Prasad, A Maag, and A Alsadoon, “Deep learning for aspectbased sentiment analysis: a comparative review,” Expert Systems with Applications, vol 118, pp 272–299, 2018 [48] H Han, X Bai, and P Li, “Augmented sentiment representation by learning context information,” Neural Computing and Applications, vol 31, no 12, pp 8475–8482, 2018 [49] H Kim and Y.-S Jeong, “Sentiment classification using convolutional neural networks,” Applied Sciences, vol 9, no 11, 2019 [50] H Sankar, V.Subramaniyaswamy, V.Vijayakumar, S.ArunKumar, “Intelligent sentiment analysis approach using edge computing‐based deep learning technique,” Software: Practice and Experience, vol 1–2, 2019 [51] H Yanagimto, K Hashimoto, and M Okada, “Attention visualization of gated convolutional neural networks with self attention in sentiment analysis,” in Proceedings of the 2018 International Conference on Machine Learning and 139 data Engineering (iCMLDE), pp 77–82, IEEE, Parramatta, Australia, December 2018 [52] Hang Li, Zhengdong Lu “Deep Learning for Information Retrieval”, SIGIR '16 Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval, pp 1203–1206 , 2016 [53] Haseena Rahmath P “Opinion Mining and Sentiment Analysis - Challenges and Applications”, International Journal of Application or Innovation in Engineering & Management (IJAIEM), vol 3, issue 5, May 2014 [54] Hiroshi Kanayama, Tetsuya Nasukawa “Fully Automatic Lexicon Expansion for Domain-Oriented Sentiment Analysis”, Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP’06), 2006 [55] Hiroya Takamura, Takashi Inui, Manabu Okumura, “Extracting semantic orientations of words using spin model”, ACL '05 Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp 133–140, Jun 2005 [56] Hitkul Jangid, Shivangi Singhal, Rajiv Ratn Shah, and Roger Zimmermann 2018 Aspect-based financial sentiment analysis using deep learning In 2018 World Wide Web Conference (WWW 2018) ACM, 1961–1966 [57] Hu Xu, Bing Liu, Lei Shu, Philip Yu, “Double Embeddings and CNN-based Sequence Labeling for Aspect Extraction”, In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers), Association for Computational Linguistics, pp 592–598, Melbourne, Australia, Jul 2018 [58] H Yanagimto, K Hashimoto, and M Okada, “Attention visualization of gated convolutional neural networks with self attention in sentiment analysis,” in Proceedings of the 2018 International Conference on Machine Learning and data Engineering (iCMLDE), pp 77–82, IEEE, Parramatta, Australia, December 2018 [59] Huaishao Luo, Tianrui Li, Bing Liu, Bin Wang, Herwig Unger, “Improving Aspect Term Extraction with BidirectionalDependency Tree Representation”, In arXiv: 1805.07889v2 [cs.CL], May 2019 [60] Hussam Hamdan, “SentiSys at SemEval-2016 Task 5: Opinion Target Extraction and Sentiment Polarity Detection”, In Proceedings of SemEval-2016, Association for Computational Linguistics, San Diego, California, pp 350–355, Jun 2016 140 [61] Ian Goodfellow, Yoshua Bengio, Aaron Courville “Deep Learning (Adaptive Computation and Machine Learning series)”, The MIT Press, November 18, 2016 [62] J Kamps, M Marx, R J Mokken, M De Rijke, “Using WordNet to measure semantic orientation of adjectives”, Proceedings of LREC-04, 4th International Conference on Language Resources and Evaluation, vol 4, pp 1115–1118, Jan 2004 [63] J Zhou, J X Huang, Q V Hu, and L He, “Sk-gcn: modeling syntax and knowledge via graph convolutional network for aspect-level sentiment classification,” Knowledge-Based Systems, vol 205, Article ID 106292, 2020 [64] J Zeng, X Ma, and K Zhou, “Enhancing attention-based LSTM with position context for aspect-level sentiment classification,” IEEE Access, vol 7, pp 20462– 20471, 2019 [65] Jeffrey Pennington, Richard Socher, and Christopher D Manning, “GloVe: Global Vectors for Word Representation”, EMNLP’14 Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp.1532– 1543, Doha, October 25–29, 2014 [66] Jesus Serrano-Guerrero, Jose’ A Olivas, Francisco P Romero, Enrique HerreraViedma “Sentiment analysis: A review and comparative analysis of web services”, Information Science, vol 311, pp 18–38, August 2015 [67] Jingbo Zhu, Huizhen Wang, Benjamin K Tsou, and Muhua Zhu 2009 Multiaspect opinion polling from textual reviews In 18th ACM Conference on Information and Knowledge Management (CIKM 2009) ACM, 1799–1802 [68] Jinsong Su, Jialong Tang, Hui Jiang, Ziyao Lu, Yubin Ge, Linfeng Song, Deyi Xiong, Le Sun, and Jiebo Luo 2021 Enhanced aspect-based sentiment analysis models with progressive self-supervised attention learning Artiicial Intelligence 296 (2021), 103477 [69] John Lafferty, Andrew McCallum and Fernando C N Pereira, “Conditional random fields: Probabilistic models for segmenting and labeling sequence data”, Proceedings of the 18th ACM International Conference on Machine Learning, pp.282–289, June 28th , 2001 [70] Jorge A Balazs, Juan D Velásquez “Opinion Mining and Information Fusion: A Survey”, Information Fusion 27 (2016), pp 95–110, ScienceDirect, June 2015 141 [71] Kumar Ravi, Vadlamani Ravi “A survey on Opinion Mining and Sentiment analysis: Tasks, approaches, applications”, Knowledge-Based Systems 89 (2015) 14–46, ScienceDirect, June 2015 [72] Kushal Dave, Steve Lawrence, David Pennock “Mining the Peanut Gallery: Opinion Extraction and Semantic Classification of Product Reviews”, Proceedings of International World Wide Web Conference (WWW’03), 2003 [73] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk and Yoshua Bengio, “Learning phrase representations using RNN Encoder-Decoder for statistical machine translation”, arXiv:1406.1078v3 [cs.CL], September 3rd, 2014 [74] Li Deng, “A Tutorial Survey of Architectures, Algorithms, and Applications for Deep Learning”, APSIPA Transactions on Signal and Information Processing, Cambridge University Press, vol 3, 2014 [75] Li Dong, Furu Wei, Chuanqi Tan, Duyu Tang, Ming Zhou, and Ke Xu 2014 “Adaptive recursive neural network for target-dependent Twitter sentiment classification”, In 52nd Annual Meeting of the Association for Computational Linguistics (ACL 2014) ACL, 49–54 [76] M Chen, S Wang, P P Liang, T Baltrusaitis, AZadeh, and L Morency, “Multimodal sentiment analysis with word-level fusion and reinforcement learning,” in Proceedings of the International Conference on Multimodal Interfaces, pp 163–171, Glasgow, UK, November 2017 [77] M E Mowlaei, M Saniee Abadeh, and H Keshavarz, “Aspect-based sentiment analysis using adaptive aspect-based lexicons,” Expert Systems with Applications, vol 148, article 113234, 2020 [78] M E Peters, M Neumann, M Iyyer et al., “Deep contextualized word representations,” in Proceedings of the NAACL-HLT, pp 2227–2237, New Orleans, LA, USA, June 2018 [79] Maria Pontiki, Dimitrios Galanis, Harris Papageorgiou, Suresh Manandhar, and Ion Androutsopoulos 2015 SemEval-2015 task 12: Aspect based sentiment analysis In 9th International Workshop on Semantic Evaluation (SemEval 2015) ACL, 486–495 [80] Maria Pontiki, Dimitrios Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad Al-Smadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, and Orphée De Clercq 2016 SemEval-2016 task 5: Aspect based 142 sentiment analysis In 10th International Workshop on Semantic Evaluation (SemEval 2016) ACL, 19–30 [81] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar 2014 SemEval- 2014 task 4: Aspect based sentiment analysis In 8th International Workshop on Semantic Evaluation (SemEval 2014) ACL, 27–35 [82] Martin Sundermeyer, Tamer Alkhouli, Joern Wuebker, Hermann Ney “Translation Modeling with Bidirectional Recurrent Neural Networks”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), the Association for Computational Linguistics, pp 14–25 Doha, Qatar, October 25–29, 2014 [83] Maryam M Najafabadi, Flavio Villanustre, Taghi M Khoshgoftaar, Naeem Seliya, Randall Wald1, Edin Muharemagic “Deep learning applications and challenges in big data analytics”, Journal of Big Data 2015, Springer, 24 February 2015 [84] Marzieh Saeidi, Guillaume Bouchard, Maria Liakata, and Sebastian Riedel 2016 SentiHood: Targeted aspect based sentiment analysis dataset for urban neighbourhoods In 26th International Conference on Computational Linguistics (COLING 2016) 1546–1556 [85] Mauro Dragoni, Celia da Costa Pereira, Andrea GB Tettamanzi, and Serena Villata 2018 Combining argumentation and aspect-based opinion mining: the SMACk system AI Communications 31, (2018) [86] Md Shad Akhtar, Asif Ekbal, and Pushpak Bhattacharyya 2016 Aspect based sentiment analysis: category detection and sentiment classiication for Hindi In 17th International Conference on Computational Linguistics and Intelligent Text Processing (CICLing 2016) (LNCS, Vol 9624) Springer, 246–257 [87] Md Shad Akhtar, Asif Ekbal, and Pushpak Bhattacharyya 2016 Aspect based sentiment analysis in Hindi: resource creation and evaluation In 10th International Conference on Language Resources and Evaluation (LREC 2016) ELRA, 2703–2709 [88] Meishan Zhang, Yue Zhang, Duy Tin Vo “Neural networks for open domain targeted sentiment” Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp 612–621, Lisbon, September 17–21, 2015 [89] Min Yang, Wenting Tu, Jingxuan Wang, Fei Xu, and Xiaojun Chen 2017 Attention based LSTM for target dependent sentiment classiication In 31st AAAI Conference on Artiicial Intelligence (AAAI 2017) AAAI Press, 5013–5014 143 [90] Minqing Hu, Bing Liu “Mining opinion features in customer reviews”.AAAI’04 Proceedings of the 19th national conference on Artificial intelligence, pp 755– 760 July 25–29, 2004 [91] Minquing Hu, Bing Liu “Mining and Summarizing Customer Reviews”, Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD’04), pp 168–177, Aug 2004 [92] Mohammad Al-Smadi, Mahmoud Al-Ayyoub, Yaser Jararweh, and Omar Qawasmeh 2019 Enhancing aspect-based sentiment analysis of Arabic hotels’ reviews using morphological, syntactic and semantic features Information Processing & Management 56, (2019), 308–319 [93] Mohammad Al-Smadi, Omar Qawasmeh, Mahmoud Al-Ayyoub, Yaser Jararweh, and Brij Gupta 2018 Deep Recurrent neural network vs support vector machine for aspect-based sentiment analysis of Arabic hotels reviews Journal of Computational Science 27 (2018), 386–393 [94] Movie reviews (2023, February 25) http://www.cs.cornell.edu/People/pabo/movie-review- data/ [95] N Liu and B Shen, “Aspect-based sentiment analysis with gated alternate neural network,” Knowledge-Based Systems, vol 188, article 105010, 2020 [96] Navonil Majumder, Soujanya Poria, Alexander Gelbukh, Md Shad Akhtar, Erik Cambria, and Asif Ekbal, “IARM: Inter-aspect relation modeling with memory networks in aspect-based sentiment analysis” In 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), ACL, pp 3402–3411 [97] Nick Bostrom “SuperIntelligence: Paths, Dangers, Strategies”, Oxford University Press, September 3rd 2014 [98] Nipuna Upeka Pannala, Chamira Priyamanthi Nawarathna, JTK Jayakody, Lakmal Rupasinghe, and Kesavan Krishnadeva 2016 Supervised learning based approach to aspect based sentiment analysis In 16th IEEE International Conference on Computer and Information Technology (CIT 2016) IEEE, 662– 666 [99] Ngoc Thang Vu, Heike Adel, Pankaj Gupta, Hinrich Schutze “Combining Recurrent and Convolutional Neural Networks for Relation Classification”, In Proceedings of NAACL HLT, pp 534–539, 2016 144 [100] Niklas Jakob and Iryna Gurevych “Extracting opinion targets in a single- and cross-domain setting with conditional random fields”, EMNLP’10 Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp 1035–1045 Cambridge, Massachusetts, October 9–11, 2010 [101] Nitin Jindal, Bing Liu “Mining Comparative Sentences and Relations”, Proceedings of National Conference on Artificial Intelligence (AAAI’06), 2006 [102] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto “Extracting aspect–evaluation and aspect-of relations in Opinion mining”.Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp 1065–1074, Prague, June, 2007 [103] Olaf Wallaart and Flavius Frasincar, “A hybrid approach for aspect-based sentiment analysis using a lexicalized domain ontology and attentional neural models,” in The Semantic Web, Springer, pp 363–378, Cham, Switzerland, 2019 [104] Ozan Irsoi, Claire Cardie “Opinion mining with deep recurrent neural networks” EMNLP’14 Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 720–728 Doha, October 25–29, 2014 [105] P Chen, Z Sun, L Bing, and W Yang, “Recurrent attention network on memory for aspect sentiment analysis,” in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp 452–461, Copenhagen, Denmark, September 2017 [106] P Zhao, L Hou, and O Wu, “Modeling sentiment dependencies with graph convolutional networks for aspect- level sentiment classification,” KnowledgeBased Systems, vol 193, article 105443, 2020 [107] P Zhu and T Qian, “Enhanced aspect level sentiment classification with auxiliary memory,” in Proceedings of the 27th International Conference on Computational Linguistics, pp 1077–1087, Santa Fe, New Mexico, USA, August 2018 [108] Pedro Domingos “The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World”, Basic Books, September 22, 2015 [109] Pen Wang, Jiaming Xu, Bo Xu, Cheng-Lin Liu, Heng Zhang, Fangyuan Wang, Hongwei Hao “Semantic Clustering and Convolutional Neural Network for Short Text Categorization”, Proceedings ACL 2015, pp 352–357, 2015 [110] Pengfei Liu, Shafiq Joty, Helen Meng “Fine-grained Opinion Mining with Recurrent Neural Networks and Word Embeddings”, Proceedings of the 2015 145 Conference on Empirical Methods in Natural Language Processing, pp 1433– 1443, Lisbon, September 17–21, 2015 [111] Peter D Turney, M L Littman, “Measuring praise and criticism: Inference of semantic orientation from association”, ACM Transactions on Information Systems, Vol 21, Issue 4, Oct 2003, pp 315–346 [112] Philip J Stone, Dexter C Dunphy, Marshall S Smith, and Daniel M Ogilvie, General Inquirer, 1966 The General Inquirer: a computer approach to content analysis MIT Press, Cambridge [113] Qiao Liu, Haibin Zhang, Yifu Zeng, Ziqi Huang, and Zufeng Wu, “Content attention model for aspect based sentiment analysis,” in Proceedings of the 2018 World Wide Web Conference, pp 1023–1032, Lyon, France, April 2018 [114] Qiannan Xu, Li Zhu, Tao Dai, and Chengbing Yan, “Aspect-based sentiment classification with multi-attention network”, Neurocomputing 388 (2020), pp 135–143 [115] Rajalaxmi Hegde and Seema S 2017 Aspect based feature extraction and sentiment classiication of review data sets using incremental machine learning algorithm In 3rd International Conference on Advances in Electrical, Electronics, Information, Communication and Bio-Informatics (AEEICB 2017) 122–125 [116] Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, “On the Difficult of Trainning Recurrent Neural Networks”, arXiv:1211.5063v2 [cs.LG], February 16, 2013 [117] Richa Sharma, Shweta Nigam, Rekha Jain “Opinion Mining of movie reviews at document level”, International Journal on Information Theory (IJIT), vol.3, no.3, July 2014 [118] Rie Johnson, Tong Zhang, “Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding”, arXiv:1504.01255v3, 2015 [119] Ronan Collobert, Weston Jason, “A unified architecture for natural language processing: deep neural networks with multitask learning”, Machine Learning, Proceedings of the Twenty-Fifth International Conference (ICML 2008), Helsinki, Finland, June 5-9, 2008, pp 160–167, 2008 [120] Ronen Feldman “Techniques and applications for Sentiment Analysis”, Communications of the ACM, vol 56, issue 4, pp 82–89, April 2013 [121] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik “Region-Based Convolutional Networks for Accurate Object Detection and Segmentation”, IEEE 146 Transaction on Pattern Analysis and Machine Intelligence, vol 38, no 01, pp 142–158, January 2016 [122] Ruhi Sarikaya, Geoffrey E Hinton, Anoop Deoras, “Application of Deep Belief Networks for Natural Language Understanding”, IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), vol 22, pp 778–784, April 2014 [123] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier, “Exploiting document knowledge for aspect-level sentiment classification,” in Proceedings of the Meeting of the Association for Computational Linguistics, pp 579–585, Melbourne, Australia, July 2018 [124] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier 2018 Efective attention modeling for aspect-level sentiment classification In 27th International Conference on Computational Linguistics (COLING 2018) ACL, pp 1121– 1131 [125] S Angelidis and M Lapata, “Multiple instance learning networks for fine-grained sentiment analysis,” Transactions of the Association for Computational Linguistics, vol 6, pp 17–31, 2017 [126] S Chen, C Peng, L Cai, and L Guo, “A deep neural network model for targetbased sentiment analysis,” in Proceedings of the 2018 International Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, Brazil, July 2018 [127] Sun Chi, Luyao Huang, and Xipeng Qiu, “Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence”, In 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019) ACL, 380–385 [128] Shuqin Gu, Lipeng Zhang, Yuexian Hou, and Yin Song, “A position-aware bidirectional attention network for aspect-level sentiment analysis,” in Proceedings of the 27th International Conference on Computational Linguistics, pp 774–784, Santa Fe, New Mexico, USA, August 2018 [129] S Rida-E-Fatima, A Javed, A Banjar et al., “A multi-layer dual attention deep learning model with refined word embeddings for aspect-based sentiment analysis,” IEEE Access, vol 7, pp 114795–114807, 2019 [130] Sachin Sudhakar Farfade, Mohammad Saberian, Li-Jia Li, “Multi-view Face Detection Using Deep Convolutional Neural Networks”, ICMR '15 Proceedings of the 5th ACM on International Conference on Multimedia Retrieval, pp 643– 650 , 2015 147 [131] Samuel Brody, Noemie Elhadad “An unsupervised aspect-sentiment model for online reviews”, HLT’10 Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp 804–812 Los Angeles, June 02–04, 2010 [132] Sebastian Ruder, Parsa Ghafari, and John G Breslin, “A hierarchical model of reviews for aspect-based sentiment analysis”, In 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), ACL, pp 999–1005 [133] Sebastian Ruder, Parsa Ghafari, and John G.Breslin, “Insight-1 at SemEval-2016 task5: Deep learning for multilingual aspect-based sentiment analysis”, In 10th International Workshop on Semantic Evaluation (SemEval 2016), ACL, pp 330– 336 [134] SemEval 2014 Task Sub Task dataset (2022, April 8) https://paperswithcode.com/dataset/semeval-2014-task-4-sub-task-2 [135] Shiliang Zheng and Rui Xia, “Left-center-right separated neural network for aspect-based sentiment analysis with rotatory attention”, arXiv:1802.00892, 2018 [136] Shuai Li, Wanqing Li, Chris Cook, Ce Zhu, Yanbo Gao “Independently Recurrent Neural Network (IndRNN): Building A Longer And Deeper RNN”, arXiv: 1803.04831v3 [cs.CV], May 22th, 2018 [137] Soujanya Poria, Erik Cambria, Alexander Gelbukh “Aspect extraction for opinion mining with a deep convolutional neural network”, Knowledge-Based Systems, vol 108, pp 42–49 September 15th, 2016 [138] Suqi Zhang, Xinyun Xu, Yanwei Pang, and Jungong Han 2019 Multi-layer attention based CNN for target-dependent sentiment classiication Neural Processing Letters 51 (2019), 2089–2103 [139] Swati Ambasta, Surbhi Bhatia “Opinion Classification System Using Supervised Learning Algorithm”, International Journal of Science and Research, vol 5, issue 10, October 2016 [140] The Internet Movie Database IMDb.com, Inc 2008 (2022, April 8) http://www.imdb.com [141] Thien Hai Nguyen and Kiyoaki Shirai 2015 PhraseRNN: Phrase recursive neural network for aspect-based sentiment analysis In 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015) ACL, 2509–2514 148 [142] Thien Huu Nguyen, Ralph Grishman, “Relation Extraction: Perspective from Convolutional Neural Networks”, Workshop on Vector Modeling for NLP, pp 39–48, 2015 [143] Tianchuan Du, Vijay K Shanker, “Deep Learning for Natural Language Processing” [144] Times Movie Reviews TOI 2021, (2022, April 8) https://timesoindia.indiatimes.com/entertainment/movie-reviews [145] Tom Young, Devamanyu Hazarica, Soujanya Poria, Erik Cambria “Recent Trends in Deep Learning Based Natural Language Processing”, arXiv:1708.02709v8 [cs.CL], November 25, 2018 [146] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space”, th arXiv:1301.3781v3[cs.CL], September , 2013 [147] W Lam, X Li, L Bing, and B Shi, “Transformation networks for target-oriented sentiment classification,” in Proceedings of the 56th annual meeting of the Association for Computational Linguistics, pp 946–956, Melbourne, Australia, 2018 [148] W Song, Z Wen, Z Xiao, and S C Park, “Semantics perception and refinement network for aspect-based sentiment analysis,” Knowledge-Based Systems, vol 214, Article ID 106755, 2021 [149] W Wang, S J Pan, D Dahlmeier, and X Xiao, “Coupled multi-layer attentions for co-extraction of aspect and opinion terms,” in Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, Hilton San Francisco, CA, USA, February 2017 [150] Wazib Ansar, Saptarsi Goswami, Amlan Chakrabarti, and Basabi Chakraborty 2021 An eicient methodology for aspect-based sentiment analysis using BERT through reined aspect extraction Journal of Intelligent & Fuzzy Systems 40, (2021), 9627–9644 [151] Wei Jin and Hung Hay Ho, “A novel lexicalized HMM-based learning framework for web opinion mining”, ICML’09 Proceedings of the 26th Annual International Conference on Machine Learning, pp.465–472, Montreal, Quebec, June 14–18, 2009 [152] Wei Wang, Gang Chen , Tien Tuan Anh Dinh , Jinyang Gao, Beng Chin Ooi , Kian-Lee Tan, Sheng Wang, “SINGA: Putting Deep Learning in the Hands of 149 Multimedia Users”, MM '15 Proceedings of the 23rd ACM international conference on Multimedia, pp 25–34, 2015 [153] Wei Wang, Xiaoyan Yang, Beng Chin Ooi, Dongxiang Zhang, Yueting Zhuang, “Effective deep learning-based multi-modal retrieval”, The VLDB Journal — The International Journal on Very Large Data Bases, vol 25, pp 79–101, February 2016 [154] Wenpeng Yin, Katharina Kann, Mo Yu, Hinrich Schutze “Comparative Study of CNN and RNN for Natural Language Processing”, arXiv:1702.01923v1 [cs.CL], February 7, 2017 [155] Wenya Wang, Sinno Jialin Pan, Daniel Dahlmeier, Xiaokui Xiao “Recursive Neural Conditional Random Fields for Aspect-based Sentiment Analysis”, arXiv:1603.06679v3 [cs.CL], September 19th, 2016 [156] Wei Xue and Tao Li, “Aspect based sentiment analysis with gated convolutional networks,” in Proceedings of the Meeting of the Association for Computational Linguistics, pp 2514–2523, Melbourne, Australia, May 2018 [157] Xiangyu Zhang, Jianhua Zou, Kaiming He, Jian Sun, “Accelerating Very Deep Convolutional Networks for Classification and Detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol 38, no 10, pp 1943–1955, October 2016 [158] Xiaodi Wang, Xiaoliang Chen, Mingwei Tang, Tian Yang, Zhen Wang, “AspectLevel Sentiment Analysis Based on Position Featured Using Multilevel Interactive Bidirectional GRU and Attention Mechanism”, Discrete Dynamic in Nature and Society Journal, vol 2020 DOI: https://doi.org/10.1155/2020/5824873 [159] Xiaowen Ding, Bing Liu, Philip S Yu “A Holistic Lexicon-Based Approach to Opinion Mining”, Proceedings of the first ACM International Conference on Web search and Data Mining (WSDM’08), 2008 [160] Xin Li, Lidong Bin, Piji Li, Wai Lam, Zhimou Yang, “Aspect Term Extraction with History Attention and Selective Transformation”, In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence (IJCAI18, Jul 2018 [161] Xin Li, Wai Lam, “Deep Multi-Task Learning for Aspect Term Extraction with Memory Interaction”, In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, pp 2886–2892, Copenhagen, Denmark, Sep 2017 150 [162] Xuezhe Ma, Eduard Hovy “End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF”, arXiv:1603.01354v5 [cs.LG], May 29, 2016 [163] Y Chao, H Zhang, B Jiang, and K Li, “Aspect-based sentiment analysis with alternating coattention networks,” Information Processing and Management, vol 56, no 3, pp 463–478, 2019 [164] Y Song, J Wang, T Jiang, Z Liu, and Y Rao, “Attentional encoder network for targeted sentiment classification,” in Artificial Neural Networks and Machine Learning – ICANN 2019: Text and Time Series 2019, vol 11730 of Lecture Notes in Computer Science, pp 93–103, Springer, Cham, 2019 [165] Y Tay, A T Luu, and S C Hui, “Learning to attend via word-aspect associative fusion for aspect-based sentiment analysis,” 2017, https://arxiv.org/abs/1712.05403 [166] Yequan Wang, Minlie Huang, Xiaoyan Zhu, and Li Zhao, “Attention-based LSTM for aspect-level sentiment classification,” in Proceedings of the Empirical Methods in Natural Language Processing, pp 606–615, Austin, TX, USA, November 2016 [167] Ye Zhang, Byron C Wallace “A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification”, arXiv:1510.03820v4 [cs.CL], April 6, 2016 [168] Yin Wen, Weinan Zhang, Rui Luo, Jun Wang “Learning Text Representation Using Recurrent Convolutional Neural Network with Highway Layers”, SIGIR Workshop on Neural Information Retrieval, 2016 [169] Yin Zheng, Yu-Jin Zhang, Hugo Larochelle “A Deep and Autoregressive Approach for Topic Modeling of Multimodal Data”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol 38, no 06, pp 1056–1069, June 2016 [170] Yoon Kim, “Convolutional Neural Networks for Sentence Classification”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014), pp 1746–1751, 2014 [171] Yoshua Bengio “Deep learning of representations: looking forward”, Statistical Language and Speech Processing, Springer, pp 1–37, 2013 [172] Yoshua Bengio “Learning deep architectures for AI”, Foundations and Trends in Machine Learning, vol 2, no 1, pp 1–127, 2009 151 [173] Yuanbin Wu, Qi Zhang, Xuangjin Huang, Lide Wu “Phrase dependency parsing for opinion mining” EMNLP’09 Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, vol 3, pp 1533–1541 Singapore, August 6–7, 2009 [174] Yue Lu, ChengXian Zhai, Neel Sundaresan “Rated aspect summarization of short comments”, WWW’09 Proceedings of the 18th ACM International Conference on World Wide Web, pp 131–140 Madrid, April 20–24, 2009 [175] Yuliya Rubtsova and Sergey Koshelnikov, “Aspect extraction from reviews using conditional random fields”, International Conference on Knowledge Engineering and the Semantic Web, KESW 2015, CCIS, vol 518, pp.158–167, October 30th , 2015 [176] Z Gao, A Feng, X Song, and X Wu, “Target-dependent sentiment classification with bert,” IEEE Access, vol 7, pp 154290–154299, 2020 [177] Z Lu, D Pan, and J.-Y Nie, “VGCNBERT: augmenting BERT with graph embedding for text classification,” in Advances in Information Retrieval ECIR 2020, J Jose et al., Ed., vol 12035, Lecture Notes in Computer Science, pp 369– 382, Springer, Cham, 2020 [178] Z Zhang, L Wang, Y Zou, and C Gan, “The optimally designed dynamic memory networks for targeted sentiment classification,” Neurocomputing, vol 309, pp 36–45, 2018 [179] Zhiqiang Toh, and Jian Su, “NLANGP at SemEval-2016 Task 5: Improving Aspect Based Sentiment Analysis using Neural Network Features”, In Proceedings of SemEval-2016, Association for Computational Linguistics, San Diego, California, pp 282–288, Jun 16–17, 2016 [180] Zhiqiang Toh, and Wenting Wang, “DLIREC: aspect term extraction and term polarity classification system”, In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014) 152 153