Phân tích cảm xúc (Sentiment Analysis còn được gọi là khai thác ý kiến) là một lĩnh vực tìm kiếm tích cực trong xử lý ngôn ngữ tự nhiên. Nhiệm vụ nhằm xác định, trích xuất và sắp xếp các cảm xúc từ các văn bản do người dùng tạo trong các mạng xã hội, blog hoặc các bài đánh giá sản phẩm. Trong hai thập kỷ qua, nhiều nghiên cứu trong tài liệu đã khai thác các phương pháp tiếp cận máy học để giải quyết các nhiệm vụ phân tích tình cảm từ các khía cạnh khác nhau. Vì hiệu suất của người học máy phụ thuộc nhiều vào các lựa chọn biểu diễn dữ liệu, nhiều nghiên cứu dành để xây dựng trình trích xuất tính năng mạnh mẽ với chuyên môn về miền và kỹ thuật cẩn thận. Gần đây, các phương pháp học sâu nổi lên như những mô hình tính toán mạnh mẽ giúp khám phá các bản tái hiện ngữ nghĩa phức tạp của văn bản một cách tự động từ dữ liệu mà không cần kỹ thuật tính năng. Những cách tiếp cận này đã cải thiện tình trạng của nghệ thuật trong nhiều nhiệm vụ phân tích tình cảm, bao gồm phân loại tình cảm, trích xuất ý kiến, phân tích tình cảm chi tiết, v.v.
Deep Learning in Sentiment Analysis Phan Minh Toàn Abstract Phân tích cảm xúc (Sentiment Analysis - cịn gọi khai thác ý kiến) lĩnh vực tìm kiếm tích cực xử lý ngơn ngữ tự nhiên Nhiệm vụ nhằm xác định, trích xuất xếp cảm xúc từ văn người dùng tạo mạng xã hội, blog đánh giá sản phẩm Trong hai thập kỷ qua, nhiều nghiên cứu tài liệu khai thác phương pháp tiếp cận máy học để giải nhiệm vụ phân tích tình cảm từ khía cạnh khác Vì hiệu suất người học máy phụ thuộc nhiều vào lựa chọn biểu diễn liệu, nhiều nghiên cứu dành để xây dựng trình trích xuất tính mạnh mẽ với chuyên môn miền kỹ thuật cẩn thận Gần đây, phương pháp học sâu lên mơ hình tính tốn mạnh mẽ giúp khám phá tái ngữ nghĩa phức tạp văn cách tự động từ liệu mà khơng cần kỹ thuật tính Những cách tiếp cận cải thiện tình trạng nghệ thuật nhiều nhiệm vụ phân tích tình cảm, bao gồm phân loại tình cảm, trích xuất ý kiến, phân tích tình cảm chi tiết, v.v Introduction Phân tích cảm xúc (còn gọi khai thác ý kiến) lĩnh vực tự động phân tích ý kiến, tình cảm, cảm xúc người từ văn người dùng tạo (Pang cộng 2008; Liu 2012) Phân tích cảm xúc lĩnh vực nghiên cứu tích cực xử lý ngơn ngữ tự nhiên (Manning cộng 1999; Jurafsky 2000), nghiên cứu rộng rãi khai thác liệu, khai thác web phân tích truyền thơng xã hội cảm xúc yếu tố ảnh hưởng đến hành vi người Với phát triển nhanh chóng phương tiện truyền thơng xã hội Twitter, Facebook trang web đánh IMDB, Amazon, Yelp, phân tích tình cảm thu hút ý ngày tăng từ cộng đồng nghiên cứu ngành (Bảng 1) Mục tiêu Sentiment Người đưa ý kiến Alice Thời điểm đưa ý kiến 04/06/2015 iPhone tích cực Màn hình tích cực Alice 04/06/2015 cảm ứng Giá tiêu cực Alice 04/06/2015 Bảng 1: Một ví dụ minh họa cho định nghĩa tình cảm Theo định nghĩa từ (Liu 2012), tình cảm (hoặc ý kiến) biểu thị dạng ngũ phân e, a, s, h, t, e tên thực thể, a khía cạnh e, s tình cảm khía cạnh a thực thể e, h người có ý kiến t thời điểm mà ý kiến thể h Theo định nghĩa này, tình cảm tình cảm tích cực (positive), tiêu cực (negative) trung lập (neutral) điểm số xếp hạng thể độ mạnh / cường độ tình cảm (ví dụ: 1–5 sao) trang web đánh Yelp Amazon Thực thể sản phẩm, dịch vụ, tổ chức chủ đề kiện (Hu Liu 2004; Deng Wiebe 2015) Một ví dụ để giải thích định nghĩa "sentiment" Giả sử người dùng có tên Alice đăng đánh giá “Tôi mua iPhone cách vài ngày Đó điện thoại đẹp Màn hình cảm ứng thực tuyệt Tuy nhiên giá cao chút.” vào ngày tháng năm 2015 Ba loại sentiment có liên quan ví dụ này, trình bày Bảng Dựa định nghĩa "sentiment", sentiment analysis nhằm mục đích khám phá tất nhóm sentiment tài liệu Các nhiệm vụ phân tích cảm xúc bắt nguồn từ năm thành phần sentiment Ví dụ, phân loại cảm xúc cấp độ tài liệu / câu (Pang cộng 2002; Turney 2002) nhắm vào thành phần thứ ba (sentiment positive, negative neutral) bỏ qua khía cạnh khác Việc trích xuất ý kiến chi tiết tập trung vào bốn thành phần tốn sentiment Phân loại tình cảm phụ thuộc vào mục tiêu tập trung vào khía cạnh thứ hai thứ ba Trong hai thập kỷ qua, phương pháp dựa học máy thống trị hầu hết nhiệm vụ phân tích cảm xúc Vì biểu diễn tính ảnh hưởng lớn đến hiệu suất người học máy (LeCun cộng 2015; Goodfellow cộng 2016), nhiều nghiên cứu tài liệu tập trung vào tính hiệu với chun mơn domain kỹ thuật cẩn thận Nhưng điều tránh thuật toán học biểu diễn, thuật toán tự động khám phá biểu diễn văn giải thích phân biệt từ liệu Học sâu loại phương pháp tiếp cận học đại diện, học nhiều cấp độ biểu diễn với mạng nơron phi tuyến, cấp độ biến đổi biểu diễn cấp độ thành biểu diễn cấp độ cao trừu tượng Các biểu diễn học sử dụng cách tự nhiên đặc trưng áp dụng cho nhiệm vụ phát phân loại Tác giả giới thiệu thuật tốn học sâu thành cơng để phân tích cảm xúc Ký hiệu “Deep learning” chương viết tắt việc sử dụng phương pháp tiếp cận mạng nơ-ron để học đặc trưng/biểu diễn văn liên tục có giá trị thực cách tự động từ liệu Phần trình bày thể theo thứ sau: • Vì từ đơn vị tính tốn ngơn ngữ tự nhiên, trước tiên mô tả phương pháp để học lặp lại từ liên tục (continuous word representation), gọi word embedding Các word embedding sử dụng làm đầu vào cho nhiệm vụ phân tích cảm xúc (sentiment analysis task) sau • Tiếp theo trình bày phương pháp cấu tạo ngữ nghĩa tính tốn biểu diễn biểu thức dài (ví dụ: câu văn bản) cho nhiệm vụ phân loại cảm xúc cấp độ câu / tài liệu (Socher cộng 2013; Li cộng 2015; Kalchbrenner cộng 2014) • Sau mơ hình thần kinh (neural squential models) để trích xuất ý kiến chi tiết • Cuối tổng kết kết luận báo đưa số hướng tương lai Sentiment-Specific Word Embedding Biểu diễn từ hay gọi word representation nhằm mục đích biểu diễn khía cạnh từ nghĩa từ Một cách đơn giản mã hóa từ dạng one hot vector Nó có độ dài với kích thước từ vựng có chiều 1, với tất chiều khác Tuy nhiên, cách biểu diễn từ theo dạng one hot word mã hóa số từ tập từ vựng, với cách biểu diễn thông tin mối quan hệ cấu trúc từ từ điển Và ta có cách tiếp cận khác phổ biến khám phá giống từ cách học thông tin cụm từ (Brown cộng 1992; Baker McCallum 1998) Mỗi từ thường liên kết với lớp rời rạc, từ lớp tương tự mặt Điều giúp cho cách biểu diễn dạng one-hot kích thước từ vựng nhỏ Thay mơ tả tương tự với biến rời rạc dựa kết phân cụm tương ứng với phân vùng mềm cứng tập hợp từ, nhiều nhà nghiên cứu nhắm mục tiêu vào việc học vectơ liên tục có giá trị thực cho từ, cịn gọi nhúng từ (Word Embedding) Các thuật toán embedding learning thường dựa giả thuyết phân phối (Harris 1954), nói từ ngữ cảnh tương tự có nghĩa tương tự Dựa ý tưởng này, nhiều phương pháp phân tích nhân tử ma trận xem mơ hình hóa biểu diễn từ Ví dụ: phương pháp lập mục ngữ nghĩa tiềm ẩn hay gọi Latent Semantic Indexing (LSI) (Deerwester cộng 1990) coi học cách linear embedding với mục tiêu tái tạo, sử dụng ma trận “term-document” thống kê từ xuất hiện, ví dụ: hàng viết tắt từ thuật ngữ cột tương ứng với tài liệu riêng lẻ kho ngữ liệu Hyperspace Analogue to Language (Lund Burgess 1996) sử dụng ma trận thống kê số từ xuất hiện, hàng cột tương ứng với từ mục nhập đại diện cho số lần từ định xuất ngữ cảnh từ khác Hellinger PCA (Lebret cộng 2013) tìm hiểu cách word embedding qua thống kê đồng xuất "term-term" Vì phương pháp phân tích nhân tử ma trận tiêu chuẩn hay gọi matrix factorization không kết hợp thông tin cụ thể nhiệm vụ thực task, nên không đủ hiệu để biểu diễn thông Supervised Senmentic Indexing (Bai cộng 2010) giải vấn đề xem xét thông tin cụ thể riêng supervised task (ví dụ: Truy xuất thơng tin) Họ học mơ hình embedding liệu thông qua margin rank loss DSSM (Huang cộng 2013; Shen cộng 2014) đưa mơ hình học text embedding với nhiệm vụ cụ thể kết hợp week supervised tốn truy xuất thơng tin (IR) Một cơng trình tiên phong khám phá phương pháp tiếp cận mạng nơ-ron đưa (Bengio cộng 2003), giới thiệu mơ hình ngơn ngữ xác suất thần kinh học hay cịn gọi neural probabilitistic language model đưa cách biểu diễn liên tục cho từ hàm xác suất cho chuỗi từ dựa biểu diễn từ Cho từ từ ngữ cảnh đứng trước nó, thuật tốn ánh xạ tất từ thành vectơ liên tục với bảng tra cứu (lookup table) chia sẻ Sau đó, vectơ từ đưa vào mạng nơron chuyển tiếp với softmax làm lớp đầu để dự đốn xác suất có điều kiện từ Các tham số mạng nơ-ron bảng tra cứu ước tính chung với lan truyền ngược Theo Bengio cộng (2003) đề xuất số phương pháp tiếp cận nhằm tăng tốc độ xử lý training nắm bắt thông tin ngữ nghĩa phong phú Bengio cộng (2003) giới thiệu kiến trúc thần kinh cách nối vectơ từ ngữ cảnh từ tại, sử dụng importance sampling để tối ưu hóa mơ hình cách hiệu với “positive samples” “negative samples” quan sát Morin Bengio (2005) phát triển hàm softmax theo dạng phân cấp để phân rã xác suất có điều kiện với nhị phân phân cấp Mnih Hinton (2007) giới thiệu mơ hình ngơn ngữ log- bilinear Collobert Weston (2008) huấn luyện mơ hình wording embedding với hàm ranking-type hinge loss cách thay từ cửa sổ từ chọn ngẫu nhiên Mikolov cộng (2013a, b) giới thiệu túi từ liên tục (CBOW) hay gọi continous bag-ofword continous skip-gram, đồng thời đưa mơ hình word2vec phổ biến Mơ hình CBOW dự đốn từ dựa việc embeddings ngữ cảnh mơ hình skip-gram dự đoán từ xung quanh embedding từ Mnih Kavukcuoglu (2013) đẩy nhanh quy trình wording embedding với phương pháp Noise Contrastive Estimation (Gutmann Hyvärinen 2012) Ngồi cịn có nhiều thuật tốn phát triển để thu thập thông tin ngữ nghĩa phong phú như: • Bao gồm thơng tin tài liệu tồn cầu – global document information (Huang cộng 2012) • Word morphemes (Qiu cộng 2014) • Ngữ cảnh dựa phụ thuộc hay gọi dependency-based contexts (Levy Goldberg 2014) • Từ đồng xuất word-wor coocccurence (Levy Goldberg 2014) • Phần tích khía cạnh từ không rõ ràng hay gọi sence of ambiguous words (Li Jurafsky 2015) • Phân tích thơng tin từ vựng ngữ nghĩa hay gọi semantic lexical infor-mation WordNet (Faruqui cộng 2014) • Phân tích quan hệ thứ bậc từ (Yogatama cộng 2015) Các thuật toán mạng nơ-ron nói thường sử dụng ngữ cảnh từ để học cách biểu diễn word embedding Kết là, từ có ngữ cảnh tương tự phân cực cảm xúc trái ngược “good” “bad” ánh xạ thành vectơ gần không gian emdedding Điều có ý nghĩa số tác vụ gắn thẻ POS hai từ có cách sử dụng vai trò ngữ pháp tương tự nhau, điều có vấn đề phân tích theo khía cạnh tình cảm "good" "bad" có thái cực tình cảm trái ngược Để học cách biểu diễn word embedding thiết kế riêng cho nhiệm vụ phân tích cảm xúc (sentiment analysis task), số nghiên cứu mã hóa sentiment văn biểu diễn từ liên tục Maas cộng (2011) giới thiệu mơ hình chủ đề xác suất cách suy cực câu dựa việc nhúng từ mà chứa Labutov Lipson (2013) thực embed lại word embedding có với mơ hình hồi quy logistic tận dụng thông tin suppervied liên quan đến phân tích sentiment câu nhiệm vụ Tang cộng (2014) mở rộng mơ hình C&W phát triển ba mạng nơ-ron để học cách embedding word cụ thể theo sentiment từ tweet Tang cộng (2014) sử dụng tweet có chứa biểu tượng cảm xúc tích cực tiêu cực làm liệu để huấn luyện Các tín hiệu biểu tượng cảm xúc tích cực tiêu cực coi week sentiment suppervision Tác giả mô tả hai phương pháp tiếp cận theo sentiment cụ thể kết hợp phân tích sentiment giai đoạn để học cách word embedding Mô hình Tang cộng (2016c) mở rộng mơ hình dựa ngữ cảnh Collobert Weston (2008), mơ hình Tang cộng (2016a) mở rộng mơ hình dựa bối cảnh Mikolov cộng (2013b) Ý tưởng mơ hình dựa ngữ cảnh (Collobert Weston 2008) gán cho cặp từ ngữ cảnh thực (wi, hi) điểm số cao một điểm nhiễu (wn, hi) margin Mơ hình học để tối thiếu hóa hàm loss hinge, T kho liệu đào tạo hàm loss có dạng: 𝑙𝑜𝑠𝑠 = ∑ 𝑚𝑎𝑥(0, − 𝑓𝜃 (𝑤𝑖 , ℎ𝑖 ) (𝑤𝑖 ,ℎ𝑖 )∈𝑇 + 𝑓𝜃 (𝑤 𝑛 , ℎ𝑖 )) Hàm scoring 𝑓𝜃 (𝑤, ℎ) đạt với mạng nơron chuyển tiếp Với giá trị đầu vào kết hợp thông từ wi thông tin ngữ cảnh từ hi, giá trị đầu của mạng lớp tuyến tính với node đại diện cho tương tích w, h Trong trình huấn luyện điểm (1) nhiễu 𝑤 𝑛 chọn ngẫu nhiên tập từ vựng Ý tưởng phương pháp tiếp cận sentiment cụ thể Tang cộng (2014) gold sentiment chuỗi từ positive, positive score dự đốn phải cao negative score Tương tự vậy, gold sentiment phân cực chuỗi từ negative, positive score phải nhỏ negative score Ví dụ: chuỗi từ liên kết với hai 𝑟𝑎𝑛𝑘 , 𝑓 𝑟𝑎𝑛𝑘 ], với giá trị [0.7, 0.1] điểm [𝑓𝑝𝑜𝑠 𝑛𝑒𝑔 hiểu positive case positive score 0.7 lớn negative score 0.1 Bằng cách tương tự đó, kết [-0.2, 0.6] negative case Mơ hình xếp hạng dựa mạng nơ-ron đưa Hình 1b, có số điểm tương đồng với (Collobert Weston 2008) Như minh họa, mơ hình xếp hạng mạng nơ-ron truyền thẳng bao gồm bốn lớp (lookup→ linear → hTanh → linear) Giá trị vectơ đầu mơ hình xếp hạng thứ hạng 𝑓 𝑟𝑎𝑛𝑘 , C = cho phân loại binary positive binary negative Hàm loss margin ranking dùng huấn luyến cho mơ hình mơ tả bên dưới: 𝑇 𝑙𝑜𝑠𝑠 = ∑ max (0,1 − 𝛿𝑠 (𝑡)𝑓0𝑟𝑎𝑛𝑘 (𝑡) 1, 𝛿𝑠 (𝑡) = { −1, 𝑓 𝑔 (𝑡) = [1, 0] 𝑓 𝑔 (𝑡) = [0, 1] Với ý tưởng tương tự, phần mở rộng mơ hình skip-gram (Mikolov cộng 2013b) phát triển để học cách embedding (3) words theo sentiment cụ thể Cho trước từ 𝑤𝑖 , mơ hình skip-gram ánh xạ thành biễu diễn liên tục 𝑒𝑖 để dự báo thông ngữ cảnh từ 𝑤𝑖 , cụ thể 𝑤𝑖−2 , 𝑤𝑖−1 , 𝑤𝑖+1 , 𝑤𝑖+2 Hàm mục tiêu mơ hình skip-gram tối đa hóa trung bình trị phân phối log: 𝑇 𝑓𝑆𝐺 = ∑ 𝑇 ∑ 𝑙𝑜𝑔 𝑝(𝑤𝑖+𝑗 |𝑒𝑖 ) 𝑖=1 −𝑐≤𝑗≤𝑐,𝑗≠0 Trong T xuất cụm từ kho ngữ liệu, c kích thước cửa sổ, 𝑒𝑖 embedding cụm từ 𝑤𝑖 , 𝑤𝑖+𝑗 từ ngữ (4) cảnh 𝑤𝑖 , 𝑝(𝑤𝑖+𝑗 |𝑒𝑖 ) tính theo hàm 𝑡 softmax Mơ hình sentiment-specific đưa + 𝛿𝑠 (𝑡)𝑓1𝑟𝑎𝑛𝑘 (𝑡)) (2) Hình Mở rộng mơ hình dựa xếp hạng để học cách embedding words theo sentiment cụ thể Trong T training corpus, 𝑓0𝑟𝑎𝑛𝑘 positive Hình 2b Với ba 〈𝑤𝑖 , 𝑠𝑗 , 𝑝𝑜𝑙𝑗 〉 làm đầu vào, score dự đoán, 𝑓0𝑟𝑎𝑛𝑘 negative score dự đoán, 𝛿𝑠 (𝑡) hàm báo phản ánh thái cực gold sentiment (positive negative) câu 𝑤𝑖 cụm từ có câu 𝑠𝑗 có gold Hình Mở rộng mơ hình skip-gram để học embedding word theo sentiment cụ thể Hình Các cách khác để học cách embedding word theo sentiment cụ thể (a) mở rộng kết hợp thông tin chủ đề văn (b) sentiment polarity 𝑝𝑜𝑙𝑗 , mục tiêu việc huấn luyện không sử dụng việc embedding thơng 𝑤𝑖 để dự đốn từ ngữ cảnh mà cịn để sử dụng biểu diễn câu 𝑠𝑒𝑗 để dự đoán gold sentiment polarity 𝑠𝑗 , cụ thể 𝑝𝑜𝑙𝑗 Vectơ câu tính cách lấy trung bình embedding từ câu Hàm mục tiêu tối đa hóa trọng số trung bình hàm lỗi đây: 𝑇 𝑓 =𝛼∙ ∑ 𝑇 ∑ 𝑙𝑜𝑔 𝑝(𝑤𝑖+𝑗 |𝑒𝑖 ) 𝑖=1 −𝑐≤𝑗≤𝑐,𝑗≠0 positive negative phân phối positive từ [0, 1] dương negative [0, 1] Có nhiều cách khác để hướng dẫn trình học embedding với thơng tin sentiment văn Ví dụ, mơ hình Tang cộng (2014) mở rộng mơ hình xếp hạng Collobert Weston (2008) sử dụng vectơ ẩn (hidden vector) văn để dự đoán nhãn cảm xúc Ren cộng (2016b) mở rộng SSWE dự đoán thêm phân phối chủ đề văn dựa n-gam đầu vào Hai cách tiếp cận đưa Hình 𝑆 + (1 − 𝛼)) ∑ 𝑙𝑜𝑔 𝑝(𝑝𝑜𝑙𝑗 |𝑠𝑒𝑗 ) 𝑆 𝑗=1 (5) Trong S xuất câu ngữ liệu, α trọng số ngữ cảnh phần tình cảm, ∑𝑘 𝑝𝑜𝑙𝑗𝑘 = Đối với phân loại nhị phân Sentence-level Sentiment Classification Sentence-level sentiment analysis tập trung vào việc phân lớp hướng ý kiến (sentiment polarities) câu cho trước Thông thường, chia hướng ý kiến thành loại Trong + đại diện cho hướng ý kiến tích cực, - đại diện cho hướng tiêu cực trung lập (neutral) Khi vận dụng Neural Networks, sentence-level sentiment analysis mơ hình thành tốn có bước (a two-phase framwork) Bước biểu diễn câu (sentence representation) thông qua việc sử dụng câu trúc nơ-ron tân tiến (sophisticated neural structures), bước cịn lại phân lớp mà giải hàm softmax (Hình 4) Hình Framework sentiment classification Về bản, sử dụng word embedding để biểu diễn từ, sử dụng phương pháp pooling để có biểu diễn đơn giản cho câu Một hàm pooling bắt đặc trưng bật chuỗi đầu vào với chiều dài không cố định Tang cộng (2004) vận dụng phương pháp pooling để kiểm chứng sentiment-encoded word embeddings mà họ đề xuất Đây ví dụ đơn giản việc biểu diễn câu Trong thực tế, nhiều tiến biểu diễn câu cho toán sentence classification vượt qua phương pháp Một số cấu trúc Neural Networks tiên tiến đã đề xuất Nói chung lại, nghiên cứu liên quan chia làm loại: (1) Convolutional netral networks (2) Recurrent neural networks (3) Recursive neral networks (4) Enhanced sentence representation by auxilary resources 3.1 Convolutional Neural Networks Khi sử dụng phương pháp pooling để tạo biểu diễn cho câu, lấy đặc trưng từ (word-level features) Điều có nghĩa thứ tự từ câu thay đổi, kết biểu diễn câu không thay đổi Trong mơ hình thống kê cổ điển, n-gram word feature vận dụng để cải thiện vấn đề hiệu xuất tốn cải thiện Cịn mơ hình Neural Networks, tầng convolution khai thác để đạt kết tương tự Nói cách chi tiết, tầng convolution thực biến đổi phi tuyến tính thơng qua việc duyệt chuỗi đầu vào với filter cục có kích thước cố định (a fixed-size local filter) Thơng thường, convolutional neural networks (CNN) loại network mà tích lợp tầng convolution tầng pooling lại với CNN nghiên cứu rộng rãi cho tốn sentence-level sentiment classification (Hình 5) Hình Framework CNN Nghiên cứu thực thông qua việc trực tiếp áp dụng mạng CNN chuẩn Collobert cộng (2011) Nghiên cứu đạt biểu diễn câu thông qua việc sử dụng tầng convolution chuỗi word embeddings đầu vào, tiếp tục sử dụng tầng max pooling hidden vectors đạt Kalchbrenner cộng (2014) mở rộng mạng CNN chuẩn để đạt biểu diễn câu tốt phương diện Đầu tiên, họ sử dụng dynamic k-max pooling, top-k giá trị giữ lại lúc vận dụng pooling thay có giá trị cho chiều tầng max pool đơn giản Giá trị k định nghĩa cách linh động dựa vào chiều dài câu Tiếp theo đó, họ mở rộng mạng số lượng tầng mạng CNN, sử dụng nhiều cầu trúc mạng CNN, việc dựa vào nhận định (intuition) Neural Networks sâu bắt nhiều đặc trưng (Hình 6) Hình Mơ hình phi tuyến, gián đoạn tích chập Hình Multilayer CNNs Một vài biến thể CNN nghiên cứu để đạt biểu diễn câu tốt Trong bật thao tác phi tuyến, gián đoạn tích chập đề xuất Lei cộng (2015) (Hình 7) Ý tưởng nhắm đến việc chiết xuất tất kết hợp n-word thông qua tensor algebra, việc từ có liên tiếp (consecutive) hay khơng khơng quan trọng Q trình thực lặp, từ, hai từ kết hợp từ tương ứng Họ chiết xuất tất đặc trưng unigram, bigram trigram Một số nghiên cứu khác tập trung vào word embeddings đầu vào khơng đồng Ví dụ, Kim (2014) thực nghiên cứu phương pháp khác cho việc sử dụng word embedding Tác giả sử dụng loại embeddings, embedding loại khởi tạo ngẫu nhiên pretrained embedding, cho phép tham số embeddings thay đổi trình huấn luyện Cuối cùng, họ kết hợp loại embeddings đề xuất mạng CNN đa kênh dựa word embeddings không đồng (Hình 8) Hình Multichannel CNNs Sau nghiên cứu mở rộng Yin Schütze (2015), họ sử dụng nhiều loại word embeddings cho CNNs đa kênh Và thêm vào họ khai thác kỹ thuật mở rộng cho pretraining việc khởi tạo trọng số mơ hình Tuy nhiên, phiên đơn giản trình Zhang cộng (2016d), với hiệu xuất tốt Một mở rộng word embedings cải thiện việc biểu diễn từ thông qua đặc trưng mức ký tự (character-level features) Mạng Neural Network để xây dựng biểu diễn từ dựa chuỗi ký tự đầu sử dụng ý tưởng với việc xây dựng biểu diễn câu từ chuỗi từ đầu vào Vì áp dụng cấu trúc mạng CNN chuẩn lên chuỗi character embedding để có biểu diễn từ dos Santos Gatti (2014) nghiên cứu hiệu việc mở rộng Các biểu diễn từ nối với với word embeddings ban đầu cải thiện biểu diễn từ cuối để mã hóa câu (Hình 9) Hình Biểu diễn từ thông qua đặc trưng mức ký tự 3.2 Recurrent Neural Networks Các cấu trúc mạng CNN sử dụng cửa sổ từ với kích thước cố định (a fixed-size of word window) để bắt đặc trưng kết hợp xung quanh vị trí cho trước, lưu trữ lại thơng tin tiềm Tuy nhiên, bỏ qua đặc trưng xa (longdistance feature) mà đặc trưng lại phản ánh thông tin ngữ nghĩa, đặc trưng đặc biệt quan trọng việc giải mã câu ngôn ngữ tự nhiên Những đặc trưng phụ thuộc giải thông qua mạng RNN, cho kết tốt Nói cách cụ thể, mạng RNN chuẩn tính toán hidden output cách Wang cộng (2015) đề xuất nghiên cứu việc sử dụng mạng LSTM cho toán tweet sentiment analysis Đầu tiên họ áp dụng mạng RNN chuẩn chuỗi embedding đầu vào Sau tác giả thay RNN LSTM-RNN, mạng RNN chuẩn bị tác động vấn đề gradient explosion diminish, cịn LSTM tốt nhiều cách sử dụng cổng memory cell để kết nối vectors đầu vào đầu Chi tiết Hình 10 Hình 10 Sentence representation mạng RNN Tiếp theo đó, Teng cộng (2016) mở rộng giải thuật điểm (Hình 11) Đầu tiên, họ dùng bidirectional LSMT thay left-to-right LSTM độc lập Bi-LSTM biểu diễn câu hồn thiện hơn, mà hidden output điểm có liên kết với từ phía trước phía sau Thứ hai họ mơ hình tốn sentence-levlel sentiment classification vấn đề học có câu trúc (structural learning problem), việc dự đoán hướng (polarities) cho tất từ có ngữ nghĩa câu kết nối chúng lại với để tạo thành minh chứng để xác định xu hướng ngữ nghĩa (sentiment polarity) Thông qua việc sử dụng biderectional LSTM, mơ hình họ kết hợp cách hiệu từ vựng (lexicons) sử dụng rộng rãi mô hình thống kê truyền thống dependencies) Vì ý tưởng rõ ràng kết hợp chúng lại với nhau, để có lợi mơ hình học Zhang cộng (2016c) đề xuất mô hình dependency-sensitive CNN, mà kết hợp LSTM CNN, tạo nên cấu trúc mạng CNN có khả bắt phụ thuộc xa (Hình 12) Cụ thể họ xây dựng left-to-right LSTM word embedding đầu vào, mạng CNN xây dựng hidden outputs mạng LSTM Vì mơ hình cuối tận dụng hồn tồn đặc trưng cục đặc trưng tồn cục Hình 11 Framework Teng cộng (2016) CNN RNN mơ hình hóa câu văn ngơn ngữ tự nhiên cách hồn tồn khác Ví dụ, CNN bắt đặc trưng kết hợp cục tốt hơn, cịn RNN hiệu việc học đặc trưng xa (long-distance Hình 12 Sự kết hợp RNN CNN Hình 20 Kiến trúc neural network cho document-level sentiment classification (Tang cộng 2015a) Zhang cộng (2016c) tính tốn sentence vectors sử dụng recurrent neural network, sử dụng convolutional network để tính tốn document vectors Yang cộng (2016) sử dụng tầng attention để có sentence vectors, tương tự cho document vectors Để tính trọng số từ khác câu trọng số câu khác văn bản, họ sử dụng vectors ‘ngữ cảnh’, chúng học với trình học Joulin cộng (2016) giới thiệu phương pháp đơn giản hiệu quả, trung bình hóa biểu diễn từ thành biểu diễn ‘text’, sử dụng linear classifier để phân lớp dựa biểu diễn Johnson Zhang (2014, 2015, 2016) phát triển convolutional neural networks mà chúng nhận vào one-hot vector từ biểu diễn văn với nghĩa khác dựa tùy vào vùng miền Các nghiên cứu vừa đề cập xem từ đơn vị tính tốn nhỏ nhất, xây dựng biểu diễn văn dựa biểu diễn từ Zhang cộng (2015b) Conneau cộng (2016) sử dụng kí tự đơn vị tính tốn, sử dụng kiến trúc convolution để tính tốn document vectors Bộ từ điển ký tự nhỏ nhiều so với từ điển từ Trong nghiên cứu Zhang cộng (2015b), từ gồm có 70 kí tự, bào gồm 26 Tiếng Anh, 10 số 33 ký tự khác cuối ký tự xuống dòng Mơ hình Zhang cộng (2015b) có tần convolution, mơ hình Conneau cộng (2016) gồm có 29 tầng Cũng tồn nghiên cứu sử dụng thơng tin lề sở thích cá nhân người dùng chất lượng sản phẩm để cải thiện toán document-level sentiment classification Ví dụ, Tang cộng (2015b) tích hợp usersentiment consitency với user-text consistency vào convolutional neural network Đối với usertext consistency, người dùng biểu diễn ma trận để xây dựng ý nghĩa từ Còn user-sentiment consistency, người dùng mã hóa vector, sau vector nối trực tiếp với document vector xem phần đặc trưng dùng cho tốn sentiment classification (Hình 21) Mơ hình Chen cộng (2016) mở rộng Hình 21 Neural network kết hợp thông tin người dùng sản phẩm cho document-level sentiment classification (Tang cộng 2015b) mơ hình thơng qua việc phát triển thêm chế attention để xem xét đến quan trọng từ Fine-Grained Sentiment Analysis Khác với phân loại sentiment theo cấp độ câu, tài liệu hay gọi docment-level sentiment, phân tích sentiment chi tiết (Fire-Grained Sentiment) câu chia thành cụm từ mệnh đề, phần phân tích theo mối liên hệ với phần khác, liên quan đến số nhiệm vụ, hầu hết có đặc điểm riêng Do đó, tác vụ mơ hình hóa khác nhau, nên cẩn thận xây dựng cài đặt ứng dụng đặc biệt chúng Ở đây, tác giả giới thiệu năm chủ đề khác phân tích tình cảm chi tiết, bao gồm khai thác ý kiến (Opinion mining), phân tích tình cảm có mục tiêu (Targeted Sentiment Analysis), phân tích tình cảm cấp độ khía cạnh (Aspect – Level Sentiment Analysis), phát lập trường (stance detection) phát mỉa mai (sarcasm detection) 5.1 Opinion Mining Khai thác ý kiến chủ đề nóng cộng đồng NLP, nhằm mục đích trích xuất ý kiến có cấu trúc từ đánh giá người dùng tạo Hình 22 cho thấy số phương pháp khai thác ý kiến Thông thường, nhiệm vụ liên quan đến hai nhiệm vụ Các thực thể ý kiến chủ sở hữu (holders), mục tiêu biểu thức xác định thứ hai, tác giả xây dựng quan hệ thực thể này, ví dụ: quan hệ IS-ABOUT xác định mục tiêu biểu ý kiến định quan hệ IS-FROM liên kết ý kiến biểu với chủ sở hữu (holders) Hình 22.Các ví dụ khai thác ý kiến Hình 23 Mơ hình Bi-LSTM ba lớp để phát thực thể ý kiến Ngoài ra, việc phân loại sentiment polarities nhiệm vụ quan trọng Optinion mining tốn học cấu trúc điển hình, nghiên cứu rộng rãi cách sử dụng mơ hình thống kê truyền thống với đặc trưng rời rạc người thiết kế Trong gần đây, thúc đẩy thành công lớn mơ hình học sâu nhiệm vụ NLP khác, đặc biệt phân tích cảm xúc, mơ hình dựa mạng nơ-ron nhận quan tâm ngày lớn nhiệm vụ Trong phần đây, mô tả số nghiên cứu tiêu biểu nhiệm vụ cách sử dụng mạng nơ-ron Công việc ban đầu mơ hình mạng nơ-ron tập trung vào việc phát thực thể ý kiến(detection of opinion entities), coi nhiệm vụ tốn ghi nhãn trình tự (sequence labeling) để nhận ranh giới thực thể ý kiến (boundaries of opinion entitiess) Irsoy Cardie (2014b) thực với kiến trúc RNN cho toán Họ áp dụng Elman-type RNNs, nghiên cứu RNN hai chiều hiệu quan sát ảnh hưởng độ sâu mang RNN, thể Kết họ cho thấy RNN hai chiều có hiệu suất tốt RNN hai chiều ba lớp đạt hiệu suất tốt Một cơng trình tương tự đề xuất Liu cộng (2015) Họ thực kiến trúc biến thể RNN, bao gồm Elman-type, Jordan-type RNN LSTM Họ nghiên cứu với mơ hình theo hướng hai chiều Ngoài ra, họ so sánh ba loại word embedding đầu vào Họ so sánh mơ hình mạng nơ-ron với mơ hình rời rạc tạo kết hợp hai loại đặc trưng khác Các thực nghiệm họ cho thấy mạng nơ-ron LSTM kết hợp với tính rời rạc đạt hiệu suất tốt Hai nghiên cứu không liên quan đến việc xác định mối quan hệ thực thể ý kiến Gần nhất, Katiyar Cardie (2016) đề xuất mạng thần kinh khai thác theo kiến trúc LSTM để thực nhận dạng thực thể (entiy recognition )và phân loại quan hệ ý kiến(opinion relation classificagion) Họ xử lý hai nhiệm vụ phụ mơ hình học tập đa nhiệm(multitask learning), huấn luyện cấp độ câu xem xét ranh giới thực thể mối quan hệ chúng, dựa LSTM hai chiều đa lớp chia sẻ Đặc biệt, họ xác định hai chuỗi để biểu thị khoảng cách đến thực thể bên trái bên phải chúng quan hệ định, tương ứng Kết thử nghiệm liệu MPQA điểm chuẩn cho thấy mơ hình mạng nơ ron đạt kết hiệu suất hàng đầu 5.2 Targeted Sentiment Analysis Phân tích tình cảm mục tiêu (Targeted Sentiment Analysis) nghiên cứu thái cực tình cảm thực thể định câu Hình 24 cho thấy số ví dụ cho nhiệm vụ, {+, -, 0} biểu thị positive, negative neutral sentiment Hình 25 Framework Dong cộng (2014a) Hình 24 Phân tích cảm xúc mục tiêu Mơ hình mạng nơ-ron dùng để phân tích tình cảm phụ thuộc vào mục tiêu đưa Dong cộng (2014a) Mơ hình theo cơng trình trước Dong cộng (2014b), mà tác gỉa giới thiệu phần phân tích tình cảm cấp độ câu Tương tự vậy, họ xây dựng mạng nơron đệ quy (Recursive neural network) từ cấu trúc phụ thuộc nhị phân, cách sử dụng nhiều thành phần từ nút Tuy nhiên, công việc khác chỗ chúng chuyển đổi phụ thuộc theo mục tiêu đầu vào, biến từ đầu mục tiêu trở thành gốc kết quả, từ đầu gốc câu đầu vào Hình 25 cho thấy phương pháp tổng hợp cấu trúc phụ thuộc kết quả, "phone" mục tiêu Cơng việc phụ thuộc nhiều vào phân tích cú pháp phụ thuộc đầu vào, tạo trình phân tích cú pháp tự động Các có lỗi, mắc phải vấn đề lan truyền lỗi Để tránh vấn đề này, nghiên cứu gần đề xuất tiến hành phân tích tình cảm có mục tiêu với đầu vào câu thơ Hình 26 Framework Vo Zhang (2015) Vo Zhang (2015) khai thác chiến lược pooling khác để trích xuất số đặc trưng nơ rơn cho toán Đầu tiên, họ chia câu đầu vào thành ba phân đoạn theo mục tiêu định, sau áp dụng hàm pooling khác ba phân đoạn với toàn câu, thể Hình 26 Các nơ ron đặc trưng tổng hợp nối với để dự đoán cho tốn sentiment analyisis Gần đây, số cơng trình đánh giá tính hiệu RNN toán tương tự, mang lại hiệu đầy hứa hẹn toán sentiment analyisis Zhang cộng (2016b) đề xuất sử dụng RNN gated để nâng cao tính đại diện từ mang tính ủy nhiệm Bằng cách sử dụng RNN, biểu diễn kết nắm bắt thơng tin nhạy cảm với ngữ cảnh, thể Hình 27 Hơn nữa, Tang cộng (2016a) khai thác mơ hình LSTM-RNN lớp nơ ron để mã hóa từ đầu vào Hình 28 cho thấy framework công việc họ Cả hai kiến trúc đạt hiệu tiên tiến việc phân tích tình cảm có mục tiêu Hình 27 Framework Zhang cộng (2016b) Hình 28 Hình Tang cộng (2016a) Bên cạnh việc sử dụng RNN, Zhang cộng (2016b) trình bày mạng nơ-ron có kiểm sốt để tạo đặc điểm bối cảnh bên trái bên phải cách có giám sát, thể Hình 27 Động lực đằng sau đặc trưng ngữ cảnh-thần kinh (context neural features) không nên xem có ý nghĩa tương cách đơn giản pooling Nhiệm vụ nên xem xét kỹ lưỡng mục tiêu để lựa chọn đặc trưng cách hiệu Liu Zhang (2017) cải thiện chế kiểm soát nữa, cách áp dụng chiến lược thêm thông tin attention Với việc cộng thêm tin ý, mơ hình họ đạt hiệu suất cao hai liệu điểm chuẩn Các nghiên cứu trước chứng minh ranh giới mục tiêu đầu vào (boundaries of input target) quan trọng để suy sentiment polarities Họ giả định mục tiêu định sẵn đưa ra, điều lúc kịch thực tế Ví dụ, muốn xác định sentiment polarities open target, cần phải nhận biết trước target Zhang cộng (2015a) nghiên cứu phân tích cảm xúc nhắm target open domain cách sử dụng mạng nơron Họ thử nghiệm với nhiều cài đặt khác nhau, bao gồm pipeline (qui trình), kết hợp thu gọn kiên trúc framework Hình 29 cho thấy ba framework Ngồi ra, họ kết hợp nơ ron feature rời rạc truyền thống Hình 29 Phân tích tình cảm nhắm mục tiêu theo miền mở mơ hình nhất, nhận thấy hiệu suất tốt đạt quán ba cài đặt 5.3 Aspect-Level Sentiment Analysis Phân tích cảm xúc cấp độ khía cạnh (AspectLevel Sentiment Analyis) nh ằm mục đích phân loại thái độ cảm xúc câu cho khía cạnh Một khía cạnh thuộc tính mục tiêu(target), qua người bày tỏ ý kiến họ thường xuyên đánh giá số trường hợp Ban đầu, nhiệm vụ mơ hình hóa tốn phân loại câu, khai thác phương pháp tương tự phân loại tình cảm cấp độ câu, mong phân loại khác Thơng thường, giả sử sản phẩm có N khía cạnh xác định trước chun gia, việc phân loại tình cảm cấp độ khía cạnh thực toán phân loại - 3N, khía cạnh có ba sentiment polarities: positve, negative neutral Hình 30 Phân tích cảm xúc cấp độ khía cạnh Hình 30 cho thấy số ví dụ nhiệm vụ Thơng thường, nhiệm vụ nhằm phân tích nhận xét người dùng sản phẩm định, ví dụ: khách sạn, thiết bị điện tử phim Sản phẩm có số khía cạnh Ví dụ: khía cạnh khách sạn bao gồm môi trường, giá dịch vụ người dùng thường đăng đánh giá để bày tỏ ý kiến họ khía cạnh định Khác với phân tích tình cảm có mục tiêu, khía cạnh liệt kê sản phẩm đưa khía cạnh Lakkaraju cộng (2014) đề xuất thành phần ma trận - vector (model - base matrix - vector composition) dựa mơ hình mạng nơ-ron đệ quy cho toán, tương tự Socher cộng (2012) thực phân loại cảm xúc cấp độ câu Trong công việc sau này, nhiệm vụ đơn giản hóa cách giả định khía cạnh đưa câu đầu vào, tương đương với phân tích cảm xúc có mục tiêu nói Nguyen Shirai (2015) đề xuất mơ hình mạng nơ-ron đệ quy dựa cụm từ để phân tích cảm xúc cấp độ khía cạnh, cấu trúc cụm từ đầu vào chuyển đổi từ cấu trúc phụ thuộc với khía cạnh đầu vào Tang cộng (2016b) áp dụng mạng nơ-ron nhớ sâu (deep memory neural network) cài đặt, mà khơng sử dụng cú pháp Mơ hình họ đạt hiệu suất đại đồng thời có hiệu cao tốc độ so với mơ hình nơ-ron theo kiến LSTM Hình 31 cho thấy mạng nơ-ron nhớ sâu ba lớp chúng Các tính cuối để phân loại trích xuất ý với khía cạnh giám sát luyện cách giám sát từ xa với ví dụ huấn luyện tự động Hình 32 cho thấy khung chúng Ơng cộng (2017) khai thác mơ hình unsuppervised auto-encoder framework để trích xuất thơng tin khía cạnh, mơ hình học thơng tin quy mơ từ khía cạnh cách tự động chế ý (attention mechanism) Hình 32 Frame work Xiong cộng (2016) 5.4 Stance Detection Hình 31 Framework Tang cộng (2016a) Trong tình thực tế, khía cạnh sản phẩm định có nhiều biểu khác Lấy máy tính xách tay làm ví dụ, thể hình cách hiển thị, độ phân giải giao diện có liên quan chặt chẽ đến hình Nếu nhóm cụm từ khía cạnh tương tự thành khía cạnh, kết phân tích tình cảm cấp độ khía cạnh hữu ích cho việc áp dụng sau Xiong cộng (2016) đề xuất mơ hình mạng lưới nơ ron cho nhóm cụm từ khía cạnh Họ học cách biểu diễn cụm từ khía cạnh mạng nơ-ron truyền thẳng nhiều lớp đơn giản, trích xuất đặc trưng với thông tin thành phần ý Các tham số mơ hình huấn Mục tiêu việc phát lập trường (Stand detection) nhận biết thái độ câu chủ đề định Nói chung, chủ đề định cho nhiệm vụ đầu vào(i) đầu vào lại câu cần phân loại Các câu đầu vào khơng có quan hệ rõ ràng với chủ đề cho điều làm cho nhiệm vụ khác biệt với phân tích tình cảm mục tiêu / mức độ khía cạnh (ví dụ Hình 33) Do việc phát lập trường vơ khó khăn Công việc huấn luyện classifier cách độc lập cho chủ đề Do đó, task coi toán phân loại lớp đơn giản Hình 33 Các ví dụ phát lập trường Ví dụ, Vijayaraghavan cộng (2016) khai thác mơ hình CNN nhiều lớp cho task Chúng tích hợp word+character embedding làm đầu vào để giải từ mà chưa biết Trong nhiệm vụ SemEval 2016 phát lập trường, mơ hình Zarrella Marsh (2016) đạt hiệu suất cao nhất, mơ hình xây dựng mạng nơ-ron dựa LSTM-RNN, mơ hình có khả học tính cú pháp ngữ nghĩa mạnh mẽ Ngoài ra, thúc đẩy tinh thần học hỏi chuyển giao (transfer learning), tham số mô hình đc huấn luyên học kiến thức tiên nghiệm từ nội dung hashtags Twitter, câu đầu vào liệu thơ, SemEval thu thập từ Twitter Các mơ hình cơng việc lập trường phân loại chủ đề khác cách độc lập, có hai nhược điểm Một việc thích ví dụ đào tạo cho chủ đề không thực tế, nhằm phân loại thái độ câu cho chủ đề tương lai Hai số chủ đề có mối quan hệ chặt chẽ, ví dụ: “Hillary Clinton” “Donald Trump” huấn luyện classifier cách độc lập sử dụng thông tin Augenstein cộng (2016) đề xuất mơ hình đào tạo mơ hình khơng quan tâm đến chủ đề đầu vào nói chung, sử dụng mạng nơ-ron LSTM Họ mơ hình hóa câu đầu vào chủ đề nhau, cách sử dụng biểu diễn kết chủ đề làm đầu vào cho LSTM câu Hình 34 cho thấy khung phương pháp họ Mơ hình họ đạt hiệu suất tốt đáng kể so với phân loại riêng lẻ tác phẩm trước Hình 34 Conditional - LSTM để phát lập trường 5.5 Sarcasm Recognition Trong phần này, tác giả thảo luận tượng ngơn ngữ đặc biệt có mối liên hệ chặt chẽ với phân tích tình cảm, châm biếm mỉa mai Hiện tượng thường làm thay đổi nghĩa đen câu ảnh hưởng lớn đến tình cảm xúc mà câu thể Hình 35 cho thấy số ví dụ Thơng thường, phát mỉa mai mơ hình hóa toán phân loại nhị phân, điều tương tự với phân tích tình cảm cấp độ câu điều cần thiết Sự khác biệt hai nhiệm vụ nằm mục tiêu chúng Ghosh Veale (2016) nghiên cứu chi tiết mơ hình mạng nơ-ron khác cho nhiệm vụ, bao gồm CNN, LSTM mạng nơ-ron chuyển tiếp sâu Họ trình bày số mơ hình thần kinh khác Hình 37 Ví dụ Sarcasm Hình 36 Framework Ghosh Veale (2016) Hình 35 Framework Zhang cộng (2016a) điều tra hiệu chúng theo kinh nghiệm Kết thử nghiệm cho thấy kết hợp mạng nơ-ron mang lại trình diễn tốt Mơ hình cuối cấu tạo CNN hai lớp, LSTM hai lớp lớp chuyển tiếp thức ăn khác, thể Hình 36 Để phát châm biếm phương tiện truyền thông xã hội Twitter, thông tin dựa tác giả tính hữu ích Zhang cộng (2016a) đề xuất mơ hình thần kinh đ ược ngữ cảnh hóa để nhận dạng châm biếm Twitter Cụ thể, họ trích xuất tập hợp từ bật từ đăng lịch sử tác giả tweet, sử dụng từ để đại diện cho tác giả tweet Mô hình mạng nơ-ron đề xuất họ bao gồm hai phần, thể Hình 37, phần RNN kiểm soát để đại diện cho câu phần lại mạng nơ-ron tổng hợp đơn giản để đại diện cho tác giả tweet Summary References Giới thiệu tổng quan thành công gần phương pháp tiếp cận mạng nơ-ron phân tích cảm xúc Trước tiên, mơ tả cách tích hợp thơng tin cảm xúc văn để học cách embedding word cụ thể cảm xúc Sau đó, mơ tả phân loại tình cảm câu tài liệu, hai yêu cầu cấu tạo ngữ nghĩa văn Cũng trình bày cách phát triển mơ hình mạng nơ-ron để giải tác vụ chi tiết Mặc dù phương pháp tiếp cận học tập sâu đạt hiệu đầy hứa hẹn nhiệm vụ phân tích cấp độ cao năm gần đây, có số hướng tiềm để cải thiện lĩnh vực Hướng phân tích tình cảm giải thích Các mơ hình học sâu xác khơng thể giải thích Tận dụng kiến thức từ khoa học nhận thức, kiến thức thông thường kiến thức rút từ kho ngữ liệu văn hướng tiềm để cải thiện lĩnh vực Hướng thứ hai học mơ hình mạnh mẽ cho miền Hiệu suất mô hình học sâu phụ thuộc vào số lượng chất lượng liệu đào tạo Do đó, làm để tìm hiểu cơng cụ phân tích tình cảm mạnh mẽ cho miền có / khơng có ngữ liệu thích khó quan trọng ứng dụng thực tế Hướng thứ ba làm để hiểu cảm xúc Phần lớn nghiên cứu tập trung vào biểu quan điểm, mục tiêu chủ sở hữu Gần đây, thuộc tính đề xuất để hiểu rõ cảm xúc, chẳng hạn nguyên nhân lập trường quan điểm Đẩy mạnh khu vực u cầu mơ hình mạnh mẽ kho tài liệu lớn Hướng thứ tư phân tích tình cảm chi tiết, nhận quan tâm ngày tăng thời gian gần Cải thiện lĩnh vực đòi hỏi kho liệu đào tạo lớn Augenstein, I., Rocktäschel, T., Vlachos, A., & Bontcheva, K (2016) Stance detection with bidirectional conditional encoding In EMNLP2016 (pp 876–885) Bai, B., Weston, J., Grangier, D., Collobert, R., Sadamasa, K., Qi, Y., et al (2010) Learning to rank with (a lot of) word features Information Retrieval, 13(3), 291–314 Baker, L D & McCallum, A K (1998) Distributional clustering of words for text classification In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (pp 96–103) ACM Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C (2003) A neural probabilistic language model Journal of Machine Learning Research, 3(Feb), 1137–1155 Bespalov, D., Bai, B., Qi, Y., & Shokoufandeh, A (2011) Sentiment classification based on supervised latent n-gram analysis In Proceedings of the 20th ACM International Conference on Information and Knowledge Management (pp 375–382) ACM Bhatia, P., Ji, Y., & Eisenstein, J (2015) Better document-level sentiment analysis from rst discourse parsing arXiv:1509.01599 Brown, P F., Desouza, P V., Mercer, R L., Pietra, V J D., & Lai, J C (1992) Class-based n-gram models of natural language Computational Linguistics, 18(4), 467–479 Chen, X., Qiu, X., Zhu, C., Wu, S., & Huang, X (2015) Sentence modeling with gated recursive neural network In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (pp 793–798) Lisbon, Portugal: Association for Computational Linguistics Chen, H., Sun, M., Tu, C., Lin, Y., & Liu, Z (2016) Neural sentiment classification with user and product attention In Proceedings of EMNLP Collobert, R & Weston, J (2008) A unified architecture for natural language processing: Deep neural networks with multitask learning In Proceedings of the 25th International Conference on Machine Learning (pp 160– 167) ACM word vectors to semantic lexicons arXiv:1411 4166 Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., & Kuksa, P (2011) Natural language processing (almost) from scratch Journal of Machine Learning Research, 12(Aug), 2493–2537 Gan, Z., Pu, Y., Henao, R., Li, C., He, X., & Carin, L (2016) Unsupervised learning of sentence representations using convolutional neural networks arXiv:1611.07897 Conneau, A., Schwenk, H., Barrault, L., & Lecun, Y (2016) Very deep convolutional networks for natural language processing arXiv:1606 01781 Deerwester, S., Dumais, S T., Furnas, G W., Landauer, T K., & Harshman, R (1990) Indexing by latent semantic analysis Journal of the American Society for Information Science, 41(6), 391 Deng, L & Wiebe, J (2015) MPQA 3.0: An entity/event-level sentiment corpus In HLTNAACL (pp 1323–1328) Denil, M., Demiraj, A., Kalchbrenner, N., Blunsom, P., & de Freitas, N (2014) Modelling, visualising and summarising documents with a single convolutional neural network arXiv:1406.3830 Ding, X., Liu, B., & Yu, P S (2008) A holistic lexicon-based approach to opinion mining In Proceedings of the 2008 International Conference on Web Search and Data Mining (pp 231–240) ACM Dong, L., Wei, F., Tan, C., Tang, D., Zhou, M., & Xu, K (2014a) Adaptive recursive neural network for target-dependent twitter sentiment classification In ACL (pp 49–54) Dong, L., Wei, F., Zhou, M., & Xu, K (2014b) Adaptive multi-compositionality for recursive neural models with applications to sentiment analysis In AAAI (pp 1537–1543) dos Santos, C & Gatti, M (2014) Deep convolutional neural networks for sentiment analysis of short texts In Proceedings of COLING 2014, The 25th International Conference on Computational Linguistics: Technical Papers (pp 69–78) Dublin, Ireland: Dublin City University and Association for Computational Linguistics Faruqui, M., Dodge, J., Jauhar, S K., Dyer, C., Hovy, E., & Smith, N A (2014) Retrofitting Ghosh, A., & Veale, D T (2016) Fracking sarcasm using neural network In Proceedings of the 7th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (pp 161–169) Goodfellow, I., Bengio, Y., & Courville, A (2016) Deep learning Cambridge: MIT Press Gutmann, M U., & Hyvärinen, A (2012) Noisecontrastive estimation of unnormalized statistical models, with applications to natural image statistics Journal of Machine Learning Re-search,13(Feb), 307–361 Harris, Z S (1954) Distributional structure Word, 10(2–3), 146–162 He, R., Lee, W S., Ng, H T., & Dahlmeier, D (2017) An unsupervised neural attention model for aspect extraction In Proceedings of the 55th ACL (pp 388–397) Vancouver, Canada: Association for Computational Linguistics Hill, F., Cho, K., & Korhonen, A (2016) Learning distributed representations of sentences from unlabelled data In NAACL (pp 1367–1377) Hu, M & Liu, B (2004) Mining and summarizing customer reviews In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp 168–177) ACM Huang, P.-S., He, X., Gao, J., Deng, L., Acero, A., & Heck, L (2013) Learning deep structured semantic models for web search using clickthrough data In Proceedings of the 22nd ACM International Conference on Information and Knowledge Management (pp 2333–2338) ACM Huang, E H., Socher, R., Manning, C D., & Ng, A Y (2012) Improving word representations via global context and multiple word prototypes In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume (pp 873– 882) Association for Computational Linguistics Irsoy, O & Cardie, C (2014a) Deep recursive neural networks for compositionality in language In Advances in neural information processing systems (pp 2096–2104) Irsoy, O & Cardie, C (2014b) Opinion mining with deep recurrent neural networks In Proceedings of the 2014 EMNLP (pp 720– 728) Johnson, R & Zhang, T (2014) Effective use of word order for text categorization with convolutional neural networks arXiv:1412 1058 Johnson, R & Zhang, T (2015) Semi-supervised convolutional neural networks for text categorization via region embedding In Advances in neural information processing systems (pp 919–927) Johnson, R & Zhang, T (2016) Supervised and semi-supervised text categorization using LSTM for region embeddings arXiv:1602 02373 Joulin, A., Grave, E., Bojanowski, P., & Mikolov, T (2016) Bag of tricks for efficient text classification arXiv:1607.01759 Jurafsky, D (2000) Speech and language processing New Delhi: Pearson Education India Kalchbrenner, N., Grefenstette, E., & Blunsom, P (2014) A convolutional neural network for modelling sentences In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp 655–665), Baltimore, Maryland: Association for Computational Linguistics Katiyar, A & Cardie, C (2016) Investigating LSTMs for joint extraction of opinion entities and relations In Proceedings of the 54th ACL (pp 919–929) Kim, Y (2014) Convolutional neural networks for sentence classification In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp 1746–1751) Doha, Qatar: Association for Computational Linguistics Labutov, I., & Lipson, H (2013) Re-embedding words In ACL (Vol 2, pp 489–493) Lakkaraju, H., Socher, R., & Manning, C (2014) Aspect specific sentiment analysis using hierarchical deep learning In NIPS Workshop on Deep Learning and Representation Learning Le, Q V & Mikolov, T (2014) Distributed representations of sentences and documents In ICML (Vol 14, pp 1188–1196) Lebret, R., Legrand, J., & Collobert, R (2013) Is deep learning really necessary for word embeddings? Idiap: Technical Report LeCun, Y., Bengio, Y., & Hinton, G (2015) Deep learning Nature, 521(7553), 436–444 Lei, T., Barzilay, R., & Jaakkola, T (2015) Molding CNNs for text: Non-linear, nonconsecutive convolutions In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (pp 1565–1575) Lisbon, Portugal: Association for Computational Linguistics Levy, O & Goldberg, Y (2014) Dependencybased word embeddings In ACL, (Vol 2, pp 302–308) Citeseer Li, J & Jurafsky, D (2015) Do multi-sense embeddings improve natural language understanding? arXiv:1506.01070 Li, J., Luong, M.-T., Jurafsky, D., & Hovy, E (2015) When are tree structures necessary for deep learning of representations? arXiv:1503 00185 Liu, J & Zhang, Y (2017) Attention modeling for targeted sentiment In Proceedings of EACL (pp 572–577) Liu, P., Joty, S., & Meng, H (2015) Fine-grained opinion mining with recurrent neural networks and word embeddings In Proceedings of the 2015 EMNLP (pp 1433–1443) Liu, B (2012) Sentiment analysis and opinion mining Synthesis Lectures on Human Language Technologies, 5(1), 1–167 Lund, K., & Burgess, C (1996) Producing highdimensional semantic spaces from lexical cooccurrence Behavior Research Methods, Instruments, and Computers, 28(2), 203–208 Ma, M., Huang, L., Zhou, B., & Xiang, B (2015) Dependency-based convolutional neural networks for sentence embedding In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers) (pp 174–179), Beijing, China: Association for Computational Linguistics Maas, A L., Daly, R E., Pham, P T., Huang, D., Ng, A Y., & Potts, C (2011) Learning word vectors for sentiment analysis In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume (pp 142–150) Association for Computational Linguistics Manning, C D., Schütze, H., et al (1999) Foundations of Statistical Natural Language Processing (Vol 999) Cambridge: MIT Press Mikolov, T., Chen, K., Corrado, G., & Dean, J (2013a) Efficient estimation of word representations in vector space arXiv:1301.3781 Mikolov, T., Sutskever, I., Chen, K., Corrado, G S., & Dean, J (2013b) Distributed representations of words and phrases and their compositionality In Advances in Neural Information Processing Systems (pp 3111–3119) Mishra, A., Dey, K., & Bhattacharyya, P (2017) Learning cognitive features from gaze data for sentiment and sarcasm classification using convolutional neural network In Proceedings of the 55th ACL (pp 377–387) Vancouver, Canada: Association for Computational Linguistics Mnih, A & Hinton, G (2007) Three new graphical models for statistical language modelling In Proceedings of the 24th International Conference on Machine Learning (pp 641–648) ACM Mnih, A & Kavukcuoglu, K (2013) Learning word embeddings efficiently with noisecontrastive estimation In Advances in neural information processing systems (pp 2265– 2273) Morin, F & Bengio, Y (2005) Hierarchical probabilistic neural network language model In Aistats (Vol 5, pp 246–252) Citeseer Mou, L., Peng, H., Li, G., Xu, Y., Zhang, L., & Jin, Z (2015) Discriminative neural sentence modeling by tree-based convolution In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (pp 2315–2325) Lisbon, Portugal: Association for Computational Linguistics Nakagawa, T., Inui, K., & Kurohashi, S (2010) Dependency tree-based sentiment classification using CRFs with hidden variables In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics (pp.786–794) Association for Computational Linguistics Nguyen, T H & Shirai, K (2015) PhraseRNN: Phrase recursive neural network for aspectbased sentiment analysis In EMNLP (pp 2509– 2514) Paltoglou, G & Thelwall, M (2010) A study of information retrieval weighting schemes for sentiment analysis In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (pp 1386–1395) Association for Computational Linguistics Pang, B., & Lee, L (2005) Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics (pp 115–124) Association for Computational Linguistics Pang, B., Lee, L., & Vaithyanathan, S (2002) Thumbs up?: Sentiment classification using machine learning techniques In Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing-Volume 10 (pp 79–86) Association for Computational Linguistics Pang, B., Lee, L., et al (2008) Opinion mining and sentiment analysis Foundations and trends® Information Retrieval, 2(1–2), 1–135 Qian, Q., Huang, M., Lei, J., & Zhu, X (2017) Linguistically regularized LSTM for sentiment classification In Proceedings of the 55th ACL (pp 1679–1689) Vancouver, Canada: Association for Computational Linguistics Qiu, S., Cui, Q., Bian, J., Gao, B., & Liu, T.-Y (2014) Co-learning of word representations and morpheme representations In COLING (pp 141–150) Ren, Y., Zhang, Y., Zhang, M., & Ji, D (2016a) Context-sensitive twitter sentiment classification using neural network In AAAI (pp 215–221) Ren, Y., Zhang, Y., Zhang, M., & Ji, D (2016b) Improving twitter sentiment classification using topic-enriched multi-prototype word embeddings In AAAI (pp 3038–3044) network In Proceedings of the 2016 EMNLP (pp 214–224) Shen, Y., He, X., Gao, J., Deng, L., & Mesnil, G (2014) Learning semantic representations using convolutional neural networks for web search In Proceedings of the 23rd International Conference on World Wide Web (pp 373–374) ACM Tang, D., Qin, B., Feng, X., & Liu, T (2016b) Effective LSTMs for target-dependent sentiment classification In Proceedings of COLING, 2016 (pp 3298–3307) Socher, R., Huval, B., Manning, C D., & Ng, A Y (2012) Semantic compositionality through recursive matrix-vector spaces In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (pp 1201–1211) Jeju Island, Korea: Association for Computational Linguistics Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C D., Ng, A., & Potts, C (2013) Recursive deep models for semantic compositionality over a sentiment treebank In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (pp 1631–1642) Seattle, Washington, USA: Association for Computational Linguistics Taboada, M., Brooke, J., Tofiloski, M., Voll, K., & Stede, M (2011) Lexicon-based methods for sentiment analysis Computational Linguistics, 37(2), 267–307 Tai, K S., Socher, R., & Manning, C D (2015) Improved semantic representations from treestructured long short-term memory networks In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (pp 1556–1566) Beijing, China: Association for Computational Linguistics Tang, D., Qin, B., & Liu, T (2015a) Document modeling with gated recurrent neural network for sentiment classification In EMNLP (pp 1422–1432) Tang, D., Qin, B., & Liu, T (2015b) Learning semantic representations of users and products for document level sentiment classification In ACL (Vol 1, pp 1014–1023) Tang, D., Qin, B., & Liu, T (2016a) Aspect level sentiment classification with deep memory Tang, D., Wei, F., Yang, N., Zhou, M., Liu, T., & Qin, B (2014) Learning sentiment-specific word embedding for twitter sentiment classification In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp 1555–1565) Baltimore, Maryland: Association for Computational Linguistics Tang, D., Wei, F., Qin, B., Yang, N., Liu, T., & Zhou, M (2016c) Sentiment embeddings with applications to sentiment analysis IEEE Transactions on Knowledge and Data Engineering, 28(2), 496–509 Teng, Z., & Zhang, Y (2016) Bidirectional treestructured lstm with head lexicalization arXiv:1611.06788 Teng, Z., Vo, D T., & Zhang, Y (2016) Contextsensitive lexicon features for neural sentiment analysis In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (pp 1629–1638) Austin, Texas: Association for Computational Linguistics Turney, P D (2002) Thumbs up or thumbs down?: Semantic orientation applied to unsupervised classification of reviews In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (pp 417–424) Association for Computational Linguistics Vijayaraghavan, P., Sysoev, I., Vosoughi, S., & Roy, D (2016) Deepstance at semeval-2016 task 6: Detecting stance in tweets using character and word-level CNNs In SemEval2016 (pp 413–419) Vo, D.-T & Zhang, Y (2015) Target-dependent twitter sentiment classification with rich automatic features In Proceedings of the IJCAI (pp 1347–1353) Wang, S & Manning, C D (2012) Baselines and bigrams: Simple, good sentiment and topic classification In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Short Papers- Volume (pp 90–94) Association for Computational Linguistics Wang, X., Liu, Y., Sun, C., Wang, B., & Wang, X (2015) Predicting polarities of tweets by composing word embeddings with long shortterm memory In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (pp 1343–1353), Beijing, China: Association for Computational Linguistics Xiong, S., Zhang, Y., Ji, D., & Lou, Y (2016) Distance metric learning for aspect phrase grouping In Proceedings of COLING, 2016 (pp 2492–2502) Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., & Hovy, E (2016) Hierarchical attention networks for document classification In Proceedings of NAACL-HLT (pp 1480–1489) Yin, W & Schütze, H (2015) Multichannel variable-size convolution for sentence classification In Proceedings of the Nineteenth Conference on Computational Natural Language Learning (pp.204–214) Beijing, China: Association for Computational Linguistics Yogatama, D., Faruqui, M., Dyer, C., & Smith, N A (2015) Learning word representations with hierarchical sparse coding In ICML (pp 87– 96) Zarrella, G & Marsh, A (2016) Mitre at semeval2016 task 6: Transfer learning for stance detection In SemEval-2016 (pp 458–463) Zhang, R., Lee, H., & Radev, D R (2016c) Dependency sensitive convolutional neural networks for modeling sentences and documents In Proceedings of the 2016 NAACL (pp 1512–1521) San Diego, California: Association for Computational Linguistics Zhang, Y., Roller, S., & Wallace, B C (2016d) MGNC-CNN: A simple approach to exploiting multiple word embeddings for sentence classification In Proceedings of the 2016 NAACL (pp 1522–1527) San Diego, California: Association for Computational Linguistics Zhang, M., Zhang, Y., & Fu, G (2016a) Tweet sarcasm detection using deep neural network In Proceedings of COLING 2016, The 26th International Conference on Computational Linguistics: Technical Papers (pp 2449–2460) Osaka, Japan: The COLING 2016 Organizing Committee Zhang, M., Zhang, Y., & Vo, D.-T (2015a) Neural networks for open domain targeted sentiment In Proceedings of the 2015 Conference on EMNLP Zhang, M., Zhang, Y., & Vo, D.-T (2016b) Gated neural networks for targeted sentiment analysis In AAAI (pp 3087–3093) Zhang, X., Zhao, J., & LeCun, Y (2015b) Character-level convolutional networks for text classification In Advances in neural information processing systems (pp 649–657) Zhao, H., Lu, Z., & Poupart, P (2015) Selfadaptive hierarchical sentence model arXiv:1504.05070 Zhu, X.-D., Sobhani, P., & Guo, H (2015) Long short-term memory over recursive structures In ICML (pp 1604–1612)