Bài viết đề xuất phương pháp học sâu kết hợp CNN-LSTM để giải quyết bài toán phát hiện khía cạnh của phân tích ý kiến người dùng theo khía cạnh ở mức tài liệu. Mô hình này kết hợp những tính năng nổi bật của mỗi phương pháp CNN và LSTM, trong đó CNN hoạt động tốt trong trích xuất đặc trưng dữ liệu lớn, còn LSTM hoạt động hiệu quả trong việc phân lớp dữ liệu.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00200 PHÂN TÍCH Ý KIẾN NGƯỜI DÙNG THEO KHÍA CẠNH BẰNG PHƯƠNG PHÁP HỌC SÂU KẾT HỢP CNN-LSTM Bùi Thanh Hùng, Nguyễn Quốc Bình Phịng Thí nghiệm Phân tích liệu Trí tuệ nhân tạo Viện Kỹ thuật - Cơng nghệ Đại học Thủ Dầu Một Số Trần Văn Ơn, Phƣờng Phú Hịa, Thành phố Thủ Dầu Một, Bình Dƣơng, Việt Nam hungbt.cntt@tdmu.edu.vn, binhnq.bdg@gmail.com TÓM TẮT: Trong cách mạng 4.0 nay, với bùng nổ mạng xã hội thương mại điện tử, nghiên cứu phân tích ý kiến người dùng theo khía cạnh dần trở thành cơng cụ quan trọng việc phân tích, đánh giá quan điểm người dùng thông qua mạng xã hội, trang mạng bán hàng Qua phân tích ý kiến người dùng theo khía cạnh, nắm bắt quan điểm người dùng khách hàng, xu hướng trị, xã hội xảy tương lai Trước đây, nhiều cơng trình nghiên cứu phân tích ý kiến người dùng theo khía cạnh thực dựa từ vựng, số dựa vào học máy Trong năm gần đây, mơ hình học sâu mạng nơron tích chập (CNNs), mạng nơron tái phát (RNNs), nhớ ngắn dài (LSTM) áp dụng nhiều toán đạt hiệu cao Trong nghiên cứu này, đề xuất phương pháp học sâu kết hợp CNN-LSTM để giải tốn phát khía cạnh phân tích ý kiến người dùng theo khía cạnh mức tài liệu Mơ hình kết hợp tính bật phương pháp CNN LSTM, CNN hoạt động tốt trích xuất đặc trưng liệu lớn, LSTM hoạt động hiệu việc phân lớp liệu Kết thực nghiệm liệu tiếng Việt VLSP 2018 cho thấy, phương pháp đề xuất tốt phương pháp nghiên cứu trước dựa vào phương pháp đơn lẻ Từ khóa: Phân tích ý kiến người dùng theo khía cạnh; xác định khía cạnh; học sâu kết hợp; CNN; LSTM; CNN-LSTM I GIỚI THIỆU Trong năm gần đây, phân tích ý kiến ngƣời dùng trở thành đề tài nghiên cứu nóng thu hút nhiều nhà nghiên cứu lĩnh vực ngôn ngữ tự nhiên Nghiên cứu phân tích ý kiến ngƣời dùng đƣợc xem phƣơng tiện trung gian để hai bên cung - cầu gặp Đối với khách hàng, hệ thống phân tích giúp lựa chọn sản phẩm dịch vụ tin cậy Đối với nhà sản xuất, hệ thống giúp họ đánh giá chỗ đứng sản phẩm thị trƣờng, am hiểu khách hàng, nhƣ xu hƣớng khách hàng Từ đó, giúp nhà sản xuất đƣa chiến lƣợc hợp lý Phân tích ý kiến ngƣời dùng theo khía cạnh giúp phân tích chuyên sâu, hiểu sâu sắc xác định ý kiến ngƣời dùng theo khía cạnh đánh giá khác Ba vấn đề phân tích ý kiến ngƣời dùng theo khía cạnh phát khía cạnh (Aspect Detection), biểu diễn quan điểm (Opinion Target Expression) phân cực ý kiến (Sentiment Polarity) [1-2] Nghiên cứu nhằm mục đích đề xuất phƣơng pháp học sâu kết hợp để phát khía cạnh mức tài liệu cho miền liệu nhà hàng, tự động phát khía cạnh quan trọng ý kiến ngƣời dùng Giả sử đƣa tập hợp đánh giá khách hàng D (d1, d2, , dn) thực thể xác định (ví dụ: nhà hàng), mục tiêu xác định tập hợp khía cạnh đƣợc định cặp (E#A) - E thực thể (ví dụ: thức ăn, đồ uống, địa điểm, ) A thuộc tính thực thể (ví dụ: Giá cả, chất lƣợng, ), điều hƣớng tới giúp xác định ý kiến ngƣời dùng theo khía cạnh đƣợc thể câu định Có nhiều phƣơng pháp giải tốn phân tích ý kiến ngƣời dùng theo khía cạnh học máy phƣơng pháp đƣợc nhiều nhà nghiên cứu sử dụng đem lại hiệu tốt Phƣơng pháp học máy cho tốn Phân tích ý kiến ngƣời dùng theo khía cạnh chia làm nhóm chính: học có giám sát [3-4], phƣơng pháp học khơng đƣợc giám sát [5] học bán giám sát [6-8] Gần đây, phƣơng pháp học sâu đƣợc áp dụng thành công xử lý ngôn ngữ tự nhiên (NLP), đặc biệt lĩnh vực phân tích ý kiến ngƣời dùng sử dụng mơ hình CNN [9-10], LSTM [11-12] Mỗi tác giả có kỹ thuật phân tích khác Tác giả Taboada gán nhãn ý kiến ngƣời dùng lên văn cách trích xuất từ ý kiến ngƣời dùng [13] Bing Liu định hình phân tích ý kiến ngƣời dùng nhƣ nhiệm vụ phân lớp ứng dụng kỹ thuật máy học có giám sát vào báo [3] Gần đây, phƣơng pháp học sâu cung cấp cách tiếp cận thông qua biểu diễn véctơ (biểu diễn từ thành véctơ để tìm điểm tƣơng đồng) đƣa nghiên cứu phân tích ý kiến ngƣời dùng phát triển bƣớc Bengio Mikolov trình bày kỹ thuật học thuật diễn đạt ý kiến ngƣời dùng [14-15] Các tác giả sử dụng từ nhúng véctơ chứa đựng ý kiến ngƣời dùng cách sử dụng mạng nơron để dự đoán ý kiến ngƣời dùng Theo đó, từ nhúng véctor gần chúng nghĩa Yessenalina Cardie định hình từ nhƣ ma trận dùng phƣơng pháp nhân ma trận lặp lặp lại để diễn đạt cụm từ Le Mikolov áp dụng mẫu tin vào kỹ thuật nhúng từ để diễn đạt ý kiến ngƣời dùng [16] Còn Tang dùng CNN LSTM để diễn đạt câu mã hóa véctơ ý kiến ngƣời dùng văn [17] Trong báo này, chúng tơi sâu vào mơ hình cụ thể: CNN, LSTM CNN-LSTM để phân tích ý kiến ngƣời dùng theo khía cạnh Nếu CNN có khả trích xuất thơng tin địa phƣơng từ lân cận nhƣng khơng nắm bắt đƣợc phụ thuộc vào khoảng cách dài ngắn từ khía cạnh (khơng xác Bùi Thanh Hùng, Nguyễn Quốc Bình 457 cụm từ có khoảng cách xa) Thì LSTM giải hạn chế cách mơ hình hóa văn theo thứ tự qua từ khía cạnh.Vì lý trên, chúng tơi đề xuất mơ hình kết hợp mơ hình để tốn đạt hiệu cách kết hợp CNN LSTM, thông tin địa phƣơng khía cạnh phụ thuộc khoảng cách dài ngắn từ khía cạnh đƣợc xem xét q trình dự đốn Phần cịn lại báo đƣợc tổ chức nhƣ sau Phần II mơ tả mơ hình học sâu kết hợp CNN-LSTM Phần III báo cáo kết đánh giá phƣơng pháp đƣợc đề xuất liệu thực tế Kết luận cuối đƣợc trình bày Phần IV II MƠ HÌNH ĐỀ XUẤT Nhƣ phần trình bày trên, chúng tơi đề xuất mơ hình kết hợp CNN-LSTM để phân tích ý kiến ngƣời dùng theo khía cạnh đạt hiệu cao Trong phần tiếp theo, chúng tơi trình bày khái qt mơ hình học sâu CNN, LSTM, nhƣ mơ hình học sâu kết hợp CNN-LSTM 2.1 Mơ hình mạng nơron tích chập - Convolutional Neural Network (CNN) Mơ hình CNN thƣờng đƣợc sử dụng để trích xuất đặc trƣng liệu hình ảnh CNN hoạt động tốt với liệu văn Đối với tốn xử lý ngơn ngữ tự nhiên câu văn đƣợc biểu diễn dƣới dạng ma trận Mỗi dòng ma trận biểu diễn véctơ biểu diễn đơn vị, thƣờng từ, nhƣng ký tự Nghĩa là, dòng véctơ đại diện cho từ Thông thƣờng, véctơ biểu diễn đặc trƣng từ, véctơ điểm nóng (one-hot véctơ) đánh mục từ thành từ điển Ví dụ với câu dài 10 từ sử dụng 100 chiều ta có liệu đầu vào ma trận 10×100 Trong thị giác máy tính, lọc trƣợt mảng ảnh, cịn xử lý ngơn ngữ tự nhiên dùng lọc trƣợt qua độ rộng ma trận (các từ), theo thứ tự từ trái qua phải, từ xuống dƣới Hình mơ tả q trình áp dụng CNN vào tốn phân tích ý kiến ngƣời dùng Các đặc trƣng đƣợc rút trích theo nhóm từ gần theo khơng gian, thay theo thời gian Hình Mơ hình áp dụng CNN vào tốn phân tích ý kiến ngƣời dùng Trong hình trên, ta chọn kích cỡ lọc 2, 3, 4, giá trị có lọc Mỗi lọc thực tích chập ma trận câu tạo ánh xạ đặc trƣng khác Sau hàm tổng hợp lớn đƣợc thực cho ánh xạ, lƣu lại giá trị lớn ánh xạ đặc trƣng đặc trƣng đƣợc ghép lại thành véctơ đặc trƣng cho tầng áp chót Tầng softmax cuối nhận véctơ đặc trƣng thành đầu vào dùng để phân loại câu, sau trả trạng thái kết 2.2 LSTM Với câu liệu dãy chữ từ điển Ta biểu diễn chữ thành biểu diễn từ nhúng, thể mối quan hệ từ với Lúc ta có mảng véctơ liệu (tức ma trận) Ta lần lƣợt xem véctơ nhƣ thời điểm câu liệu truyền vào tƣơng ứng chữ thứ i thời điểm ti từ đầu câu đến cuối câu Kết sau truyền hết chữ cuối đƣợc truyền vào tầng cuối gồm nút, có hàm kích hoạt sigmoid (để giá trị cho vào khoảng) Giá trị kết dự đốn Hình mơ tả mơ hình LSTM áp dụng vào tốn Phân tích ý kiến ngƣời dùng 458 PHÂN TÍCH Ý KIẾN NGƢỜI DÙNG THEO KHÍA CẠNH BẰNG PHƢƠNG PHÁP HỌC SÂU KẾT HỢP CNN-LSTM Hình Mơ hình áp dụng LSTM vào tốn phân tích ý kiến ngƣời dùng với ví dụ câu gồm từ 2.3 Mơ hình học sâu kết hợp CNN-LSTM Hình Mơ hình học sâu kết hợp CNN-LSTM Phƣơng pháp học sâu kết hợp kết hợp ƣu điểm mô hình CNN LSTM Donahue et al đề xuất ban đầu [18] Chúng tơi xây dựng mơ hình học sâu kết hợp dựa [18-19] Hình trình bày sơ đồ tổng thể mơ hình đề xuất CNN-LSTM Trong mơ hình kết hợp CNN-LSTM, mạng CNN rút trích đặc trƣng, sau LSTM dự đốn theo thứ tự đặc trƣng Nếu ta áp dụng CNN để rút trích đặc trƣng sau truyền đặc trƣng lần lƣợt vào LSTM để tính kèm theo thơng tin thứ tự chúng, ta đƣợc mơ hình ghép kết hợp đƣợc ƣu điểm hai mơ hình học sâu Trong mơ hình kết hợp CNN-LSTM cho tốn phát khía cạnh phân tích ý kiến ngƣời dùng theo khía cạnh, CNN rút trích đặc trƣng theo khía cạnh từ liệu đầu vào từ nhúng từ LSTM phân lớp khía cạnh từ đặc trƣng III THỰC NGHIỆM Chúng tơi đánh giá hiệu suất mơ hình kết hợp CNN-LSTM đƣợc đề xuất dựa so sánh kết với phƣơng pháp sử dụng mơ hình học sâu Mơ hình đề xuất đƣợc thực nghiệm liệu VLSP 2018 [20] Bộ liệu bao gồm đánh giá mức tài liệu đƣợc thu thập gán nhãn giống nhƣ thi SemEval [1] Bảng trình bày cụ thể liệu VLSP 2018 Tham số mơ hình học sâu đƣợc trình bày chi tiết Bảng Các mơ hình đƣợc cài đặt ngơn ngữ lập trình Python, sử dụng thƣ viện Keras, hỗ trợ Tensorflow Chúng sử dụng từ nhúng tiếng Việt FastText với số chiều 300 nhóm nghiên cứu Facebook AI Research Phần tách từ tiền xử lý dùng thƣ viện hỗ trợ BeautifulSoup, pyvi (tách từ cho tiếng Việt), Tokenizer (của phần tiền xử lý Keras) sử dụng stopwords (danh sách từ khơng có ý nghĩa dùng nhiều) Lê Văn Duyệt (2015) Bảng Chi tiết liệu VLSP 2018 Miền liệu RESTAURANT HOTEL Dữ liệu huấn luyện 2,961 3,000 Dữ liệu kiểm thử 1,290 2,000 Dữ liệu kiểm tra 500 600 Bảng Chi tiết tham số mơ hình huấn luyện Tên mơ hình Các tham số CNN 32 Conv1D 32 MaxPool 0.2 Dropout 250 Dense LSTM 0.2 Dropout 100 LSTM 0.2 Dropout CNN-LSTM 32 Conv1D 32 MaxPool 0.2 Dropout 100 LSTM Bùi Thanh Hùng, Nguyễn Quốc Bình 459 Để đánh giá kết quả, chúng tơi dùng độ đo F1 score, F1 score đƣợc tính theo cơng thức dƣới đây: ∑ ∑ ∑ ∑ Trong TP (Tích cực đúng) nghĩa số lƣợng đánh giá đƣợc định xác cho lớp ci, FP (Tích cực sai) có nghĩa số lƣợng đánh giá đƣợc định khơng xác lớp ci, FN (Sai phủ định) có nghĩa số đánh giá nên đƣợc định lớp ci nhƣng khơng đƣợc dự đốn, ci lớp thứ i số lớp C cho miền Kết mơ hình liệu RESTAURANT HOTEL VLSP 2018 đƣợc trình bày Bảng Bảng Bảng So sánh kết phƣơng pháp khác liệu RESTAURANT Mơ hình CNN LSTM CNN-LSTM Precision 0,78 0,72 0,81 Recall 0,74 0,68 0,78 F1-score 0,759 0,699 0,795 Bảng So sánh kết phƣơng pháp khác liệu HOTEL Mơ hình CNN LSTM CNN-LSTM Precision 0,84 0,76 0,87 Recall 0,56 0,52 0,58 F1-score 0,672 0,618 0,696 Bảng trình bày kết so sánh mơ hình kết hợp CNN-LSTM số mơ hình sử sụng phƣơng pháp học sâu CNN, LSTM để đánh giá độ xác liệu RESTAURANT Mơ hình CNN cho kết tốt mơ hình LSTM mơ hình CNN-LSTM cho kết cao so với mơ hình độc lập CNN, LSTM Bảng trình bày kết mơ hình liệu HOTEL Kết cho thấy mơ hình kết hợp CNNLSTM cho kết tốt Điều chứng tỏ mơ hình ghép đơi CNN-LSTM đạt hiệu mơ hình cịn lại IV KẾT LUẬN Trong nghiên cứu này, chúng tơi trình bày mơ hình kết hợp CNN-LSTM cho tốn phát khía cạnh phân tích ý kiến ngƣời dùng theo khía cạnh đạt độ xác cao hiệu Qua thực nghiệm cho thấy, mơ hình kết hợp CNN-LSTM đạt đƣợc kết tốt so với mơ hình học sâu độc lập CNN, LSTM Trong thời gian tới, nghiên cứu tích hợp đặc trƣng ngơn ngữ với từ nhúng tìm cách cải tiến mơ hình để đạt hiệu tốt hơn, nhƣ sử dụng kết giải toán khác xử lý ngôn ngữ tự nhiên Đồng thời thử nghiệm mơ hình học sâu khác để từ so sánh, đánh giá, tìm mơ hình tối ƣu cho tốn phân tích ý kiến ngƣời dùng theo khía cạnh [1] [2] [3] [4] [5] [6] TÀI LIỆU KHAM KHẢO M Pontiki, D Galanis, H Papageorgiou, I Androutsopoulos, S Manandhar, M AL-Smadi, M Al-Ayyoub, Y Zhao, B Qin, O D Clercq, V Hoste, M Apidianaki, X Tannier, N Loukachevitch, E Kotelnikov, N Bel, S M JiménezZafra, and G Eryigit “SemEval-2016 Task 5: Aspect Based - Sentiment Analysis” In Proceedings of the 10th International Workshop on Semantic Evaluation, ser SemEval’16, Association for Computational Linguistics, 2016 H G Qiu, B Liu, J Bu, and C Chen “Opinion Word Expansion and Target Extraction through Double Propagation” Computational Linguistics, Vol 37, No 1, 9-27, 2011 B Liu “Sentiment Analysis and Opinion Mining” Synthesis Lectures on Human Languages Technologies, Morgan and Claypool publishers, 2012 D Bespalov, B Bai, Y Qi, and A Shokoufandeh “Sentiment Classification Based on Supervised Latent N-gram Analysis” In Proceedings of CIKM, pp 375-382, 2011 R Socher, A Perelygin, J Y Wu, J Chuang, C Manning, A Ng, and Christopher Potts “Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank” In Proceedings of EMNLP, pp 1631-1642, 2013 J Rothfels and J Tibshirani “Unsupervised Sentiment Classification of English Movie Reviews using Automatic Selection of Positive and Negative Sentiment Items” Technical Report, Stanford University, 2010 460 [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] PHÂN TÍCH Ý KIẾN NGƢỜI DÙNG THEO KHÍA CẠNH BẰNG PHƢƠNG PHÁP HỌC SÂU KẾT HỢP CNN-LSTM S Li, Z Wang, G Zhou, and S Y M Lee “Semi-Supervised Learning for Imbalanced Sentiment Classification” In Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), pp 18261831, 2011 R Socher, J Pennington, E H Huang, A Ng, and C Manning “SemiSupervised Recursive Autoencoders for Predicting Sentiment Distributions” In Proceedings of EMNLP, pp 151-161, 2011 [22] O Tackstrom and R McDonald Semi-supervised Latent Variable Models for Sentence-level Sentiment Analysis In Proceedings of ACL, pp 569-574, 2011 Kim, Yoon “Convolutional neural networks for sentence classification”."arXiv preprint arXiv: 1408.5882, 2014 Zhang, Ye, and Byron Wallace “A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification” arXiv preprint arXiv: 1510.03820, 2015 Xin Wang, Yuanchao Liu, Chengjie Sun, Baoxun Wang, Xiaolong Wang “Predicting Polarities of Tweets by Composing Word Embeddings with Long Short-Term Memory” ACL, 2015 Liu, Pengfei, Shafiq R Joty, and Helen M Meng “Fine-grained Opinion Mining with Recurrent Neural Networks and Word Embeddings” EMNLP, 2015 Maite Taboada, Julian Brooke, Milan Tofiloski, Kimberly Voll, and Manfred Stede “Lexiconbased Methods for Sentiment Analysis, Computational linguistics”, 37(2): 267-307, 2011 Yoshua Bengio, Rejean Ducharme, Pascal Vincent, and Christian Jauvin “A Neural Probabilistic Language Model Journal of machine learning research”, 3(Feb):1137-1155, 2003 Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean “Efficient Estimation of Word Representations in Véctơ Space” arXiv preprint arXiv: 1301.3781, 2013 Quoc V Le and Tomas Mikolov “Distributed Representations of Sentences and Documents” In ICML, Vol 14, pp 1188-1196, 2014 Duyu Tang, Bing Qin, and Ting Liu “Document Modeling with Gated Recurrent Neural Network for Sentiment Classification” In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp 1422-1432, 2015 Donahue J., Hendricks L.A., Rohrbach M., Venugopalan S., Guadarrama S., Saenko K., Darrell T “Long-term recurrent convolutional networks for visual recognition and description” IEEE Trans Pattern Anal Mach Intell 39, 677-691, 2017 Bui Thanh Hung “Vietnamese Keyword Extraction Using Hybrid Deep Learning Methods” In proceedings of the 5th NAFOSTED Conference on Information and Computer Science, 2018 https://vlsp.org.vn/vlsp2018 ASPECT-BASED SENTIMENT ANALYSIS USING HYBRID DEEP LEARNING APPROACH CNN-LSTM Bui Thanh Hung, Nguyen Quoc Binh ABSTRACT: With the rise of the Industrial revolution 4.0, along with the rapid growth of social networks and E-commerce, aspect-based sentiment analysis has gradually become a vital tool to analyze and evaluate the customers’ feedbackthrough social networking platforms or online sales websites By analyzing the customer feedback in terms of aspects, we could capture the customer insights as well as political opinions and predict the future social trends In the past, many researches analyzing aspectbased sentiment were done based on linguistic while some were based on machine learning Nowadays, deep learning models such as Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), and Long Short Term Memory (LSTM) are being used for this technique and it has achieved higher efficiency In this research, we propose a hybrid deep learning method combining CNN-LSTM to solve the aspect detection problem of aspect-based sentiment analysis at document level This model combines the advantages of each of the CNN and LSTM methods, in which CNN works well in extracting spartial features, while LSTM works effectively in data classification Experimental results on the Vietnamese VLSP 2018 dataset show that the proposed method achieves better results than the previous research methods if it only relies on a single method ... dùng 458 PHÂN TÍCH Ý KIẾN NGƢỜI DÙNG THEO KHÍA CẠNH BẰNG PHƢƠNG PHÁP HỌC SÂU KẾT HỢP CNN-LSTM Hình Mơ hình áp dụng LSTM vào tốn phân tích ý kiến ngƣời dùng với ví dụ câu gồm từ 2.3 Mơ hình học. .. sâu kết hợp CNN-LSTM Hình Mơ hình học sâu kết hợp CNN-LSTM Phƣơng pháp học sâu kết hợp kết hợp ƣu điểm mơ hình CNN LSTM Donahue et al đề xuất ban đầu [18] Chúng xây dựng mô hình học sâu kết hợp. .. hình kết hợp CNN-LSTM để phân tích ý kiến ngƣời dùng theo khía cạnh đạt hiệu cao Trong phần tiếp theo, chúng tơi trình bày khái qt mơ hình học sâu CNN, LSTM, nhƣ mơ hình học sâu kết hợp CNN-LSTM