Tìm hiểu và áp dụng seq2seq cùng cơ chế attention trong bài toán phân tích cảm xúc

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC TP.HCM KHOA CÔNG NGHỆ THÔNG TIN KHĨA LUẬN TỐT NGHIỆP TÌM HIỂU VÀ ÁP DỤNG SEQ2SEQ CÙNG CƠ CHẾ ATTENTION TRONG BÀI TỐN PHÂN TÍCH CẢM XÚC GIẢNG VIÊN HƯỚNG DẪN: ThS Trần Khải Thiện SINH VIÊN THỰC HIỆN: Nhan Kim Thành – 15DH110281 Trần Đức Khang – 15DH110240 TP.HỒ CHÍ MINH, THÁNG - 2019 LỜI CẢM ƠN  Để hồn thành khóa luận đề tài nghiên cứu khoa học này, bên cạnh nỗ lực thân vận dụng tìm tịi học hỏi, chúng em nhận giúp đỡ, hỗ trợ từ nhiều quan, tổ chức, cá nhân Nghiên cứu khoa học hoàn thành dựa nhiều tham khảo, kinh nghiệm từ kết nghiên cứu liên quan, báo chuyên ngành nhiều tác giả tổ chức nghiên cứu khác Với tình cảm chân thành, chúng em xin dành lời cảm ơn chân thành giáo viên trường Đại học Ngoại Ngữ Tin Học Thành phố Hồ Chí Minh, đặc biệt giáo viên hướng dẫn trực tiếp nhóm nghiên cứu – Thạc Sĩ Trần Khải Thiện Cảm ơn thầy dành nhiều thời gian công sức truyền đạt nhiều kiến thức việc theo dõi hướng dẫn nhóm hồn thành đề tài nghiên cứu Do giới hạn kiến thức, thời gian khả luận lý nhóm nên khơng thể tránh khỏi nhiều thiếu sót, kính mong dẫn giáo viên đóng góp ý kiến từ người quan tâm đề tài nhóm, để tiếp thu cải thiện Xin chân thành cảm ơn! MỤC LỤC CHƯƠNG GIỚI THIỆU CHUNG Mở đầu Mục tiêu khóa luận Phạm vi khóa luận Cấu trúc khóa luận CHƯƠNG CÁC HƯỚNG TIẾP CẬN PHÂN TÍCH CẢM XÚC…9 Tiếp cận theo hướng máy học Tiếp cận theo hướng ngữ nghĩa 10 Tiếp cận theo Deep learning 11 CHƯƠNG CÁC MÔ HÌNH MẠNG NEURAL 12 Mạng nơ-rôn (neural network) 12 Mạng neural tích chập(CNN) 14 Mạng neural quy hồi(RNN) 18 Lan truyền ngược liên hồi(BTT – backpropagation through time) 19 3.4.1 Cách thức hoạt động LSTM 25 3.4.2 Cơ chế cổng LSTM (GRU – Gated Recurrent Unit) 29 3.4.3 BiLSTM (Bidirectional Long-Short Term Memory): 30 3.4.4 Mơ hình kết hợp CNN-LSTM 30 Mơ hình đề x́t tốn phân tích cảm xúc 32 3.5.1 Mơ hình seq2seq (sequence to sequence) 32 3.5.2 Cơ chế Attention mơ hình seq2seq 33 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 36 Tập liệu cho lĩnh vực khác 36 Tập liệu IMDB Movie Keras 36 Cấu hình máy thư viện cài đặt 36 Xây dựng mơ hình dựa RNN-Attention-network 37 Thực nghiệm mơ hình RNN-Attention-Network 40 4.5.1 Xử lý liệu 40 4.5.2 Thực nghiệm RNN-Attention-network với liệu Book 43 4.5.3 Thực nghiệm RNN-Attention-network với liệu DVD 45 4.5.4 Thực nghiệm RNN-Attention-network với liệu Electronics 48 4.5.5 Thực nghiệm RNN-Attention-network với liệu Kitchen 50 4.5.6 Thực nghiệm RNN-Attention-network với liệu IMDB Keras 52 4.5.7 So sánh mơ hình 55 4.5.8 So sánh với phương pháp học máy khác 55 KẾT LUẬN……… 57 LIỆU THAM KHẢO 58 DANH SÁCH BẢNG BIỂU Bảng 4–1 Kết thực nghiệm liệu Book 44 Bảng 4–2 Kết thực nghiệm liệu DVD 46 Bảng 4–3 Kết thực nghiệm liệu Electronics 49 Bảng 4–4 Kết thực nghiệm liệu Kitchen 51 Bảng 4–5 Kết thực nghiệm liệu IMDB Keras 53 DANH SÁCH HÌNH Hình 2–1 Ví dụ tiếp cận theo hướng ngữ nghĩa 10 Hình 3–1 Mơ hình mạng neural 12 Hình 3–2 Đồ thị số hàm kích hoạt phi tuyến tính .13 Hình 3–3 Mạng neural mơ với tầng 14 Hình 3–4 CNN trượt qua điểm ảnh tấm hình .15 Hình 3–5 Sơ đồ hoạt động mạng CNN 15 Hình 3–6 Cấu trúc mạng CNN xử lý ngôn ngữ tự nhiên 16 Hình 3–7 Bộ lọc trượt qua dòng ma trận đầu vào .17 Hình 3–8 Sơ đồ trải dài mạng RNN 19 Hình 3–9 Một chuỗi RNN lỗi thành phần 20 Hình 3–10 Lan truyền ngược sơ đồ mạng RNN 21 Hình 3–11 Đồ thị hàm sigmoid đạo hàm 22 Hình 3–12 Đồ thị hàm đạo hàm 22 Hình 3–13 Mạng RNN truyền thống 23 Hình 3–14 Mạng LSTM – biến thể RNN 24 Hình 3–15 Một số thích sơ đồ 24 Hình 3–16 Các trạng thái tế bào node 25 Hình 3–17 Cổng quên nhân với trạng thái tế bào cũ (old cell state) 25 Hình 3–18 Cổng quên xử lý thông tin trước cập nhật vào trạng thái tế bào 26 Hình 3–19 Cổng vào xử lý thông tin hàm tạo giá trị 27 Hình 3–20 Cập nhật thông tin vào trạng thái tế bào 28 Hình 3–21 Cổng định thông tin đưa .28 Hình 3–22 Mơ hình GRU 29 Hình 3–23 Sơ đồ LSTM hai chiều .30 Hình 3–24 Mơ hình mạng kết hợp CNN-LSTM 31 Hình 3–25 Cấu trúc cách hoạt động mơ hình CNN-LSTM 31 Hình 3–26 Mơ hình seq2seq sử dụng mạng LSTM 33 Hình 3–27 Cơ chế Attention .34 Hình 4–1 Hierarchical Attention Networks 38 Hình 4–2 Training and validation loss (Book) 44 Hình 4–3 Training and validation accuracy (Book) 45 Hình 4–4 Biểu đồ kết model (Book) 45 Hình 4–5 Training and validation loss (DVD) 47 Hình 4–6 Training and validation accuracy (DVD) 47 Hình 4–7 Biểu đồ kết model (DVD) 47 Hình 4–8 Training and validation loss (Electronics) 49 Hình 4–9 Training and validation accuracy (Electronics) 49 Hình 4–10 Biểu đồ kết model (Electronics) 50 Hình 4–11 Training and validation loss (Kitchen) 51 Hình 4–12 Training and validation accuracy (Kitchen) 52 Hình 4–13 Biểu đồ kết model (Kitchen) .52 Hình 4–14 Training and validation loss (IMDB) .54 Hình 4–15 Training and validation accuracy (IMDB) .54 Hình 4–16 Biểu đồ kết model (IMDB) 54 Hình 4–17 Một số kết phương pháp Machine Learning khác 56 BẢNG DANH SÁCH CHỮ VIẾT TẮT VÀ DANH PHÁP AI Artificial Intelligence BiLSTM Bidirectional Long-Short Term Memory BoW Bag-of-Word BPTT Backpropagation through time CNN Convolutional neural network CPU Central Processing Unit EOL End of line GPU Graphics Processing Unit GRU Gated Recurrent Unit GVHD Giảng viên hướng dẫn HAN Hierarchical Attention Networks LSTM Long Short-Term Memory MLP Multilayer perceptron NLP Natural Language Processing RAM Random Access Memory RNN Recurrent Neural Network Seq2Seq Sequence to Sequence Seq2vec Sequence to vector SGD Stochastic Gradient Descent Vec2seq Vector to sequence Chương Giới thiệu chung CHƯƠNG GIỚI THIỆU CHUNG Mở đầu Hiện nay, thứ đà đại hóa, vấn đề xử lý cơng nghệ nói chung, trội nhất mảng trí tuệ nhân tạo nói riêng Trí tuệ nhân tạo, gọi AI (Artificial Intelligence) đời nhằm thay người việc xử lý vấn đề cách tự động, hiệu cao xác Thuật ngữ trí tuệ nhân tạo sử dụng nhóm nhà khóa học máy tính hội nghị Dartmouth vào năm 1956, thập kỷ sau đó, lĩnh vực có bước phát triển mạnh mẽ vượt bật, dự đốn chìa khóa mở tương lai văn minh nhân loại Trí tuệ nhân tạo áp dụng lĩnh vực sinh học, khoa học, giảng dạy, an ninh,… Những ông lớn ngành công nghệ áp dụng chúng vào ứng dụng để cải thiện quản lý Ví dụ khả nhận dạng khn mặt Facebook hay trình phân loại hình ảnh Pinterest,… Vậy trí tuệ nhân tạo đâu? Trí tuệ nhân tạo đào tạo từ lượng lớn liệu thực việc học hỏi, đưa định dự đoán vấn đề liên quan thuật toán Việc đào tạo gọi học máy (Machine Learning) Học máy cung cấp kỹ thuật, phương pháp để áp dụng vào thực khả máy móc, lĩnh vực ứng dụng tốt nhất cho máy học nhiều năm qua thị giác máy tính (computer vision), khả phát hình ảnh (image detection) hay xử lý ngôn ngữ tự nhiên (natural language processing) Phương pháp tiếp cận khả khiến AI tự đào tạo thân, phương pháp gọi Học sâu (Deep Learning) Deep learning tập trung xử lý vấn đề liên quan đến mạng neural, dựa mạng neural sinh học người, móng mạng neural nhân tạo học sâu thuật toán perceptron learning (1957) thuật toán lan truyền ngược Backpropagation (1986) Những năm gần đây, nhiều mơ hình học sâu trở nên phổ biến áp dụng vào toán phân loại, dự đốn, dịch thuật, … điển hình CNN, RNN, LSTM Trang Chương Giới thiệu chung ❖ Bài tốn phân loại văn Ứng dụng trí tuệ nhân tạo khơng mảng xử lý hình ảnh, nhận diện âm hay phân tích giọng nói, mà cịn ứng dụng xử lý ngơn ngữ tự nhiên (NLP – Natural Language Processing) Các toán xử lý văn ví dụ phân loại văn (text classification) xuất nhiều, kỹ thuật học máy học sâu, mục đích việc phân loại văn áp dụng chia thành nhiều mục như: • Tìm hiểu cảm xúc người dùng thông qua trang mạng xã hội • Xác định phân loại loại thư rác (spam email) • Phân loại báo thành chủ đề xác định ❖ Bài tốn phân tích cảm xúc Về đề tài này, tìm hiểu sâu toán xử lý văn vấn đề phân loại cảm xúc người dùng (sentiment analysis) Phân tích cảm xúc (sentiment analysis) gọi khai thác ý kiến, lĩnh vực xử lý ngôn ngữ tự nhiên, xây dựng hệ thống nhằm xác định trích xuất ý kiến người dùng dạng văn để xác định cảm xúc ẩn đoạn văn Hiện nay, tốn phân tích cảm xúc chủ đề rất quan tâm phát triển ứng dụng nhiều thực tế, đặc biệt lĩnh vực kinh doanh Một số lượng lớn phản hồi, ý kiến người dùng từ trang web, diễn đàn, blog mạng xã hội, với giúp đỡ hệ thống phân tích cảm xúc người dùng, thơng tin phi cấu trúc tự động chuyển thành liệu có cấu trúc ý kiến, phản hồi công chúng sản phẩm, dịch vụ, thương hiệu bất kỳ chủ đề Sau thơng qua thuật tốn phân tích, doanh nghiệp nắm hướng mong muốn người dùng thay đổi cách thức hoạt động để đáp ứng nhu cầu người dùng sau nhận phản hồi Có rất nhiều loại phân tích cảm xúc, cơng cụ phân tích thường tâp trung vào loại chính, gồm (tích cực, tiêu cực, trung tính) để hệ thống xác định biểu cảm cảm xúc (giận dữ, vui vẻ, buồn bã, thất vọng, …) xác định ý định (hứng thú, không hứng thú) Trong đề tài này, tập trung vào cảm xúc tích cự tiêu cực Trang Chương Giới thiệu chung Đây bình luận đề tài sách theo hướng tích cực “I read this book many , many years ago on a very long flight I could n't put it down.” Còn đoạn bình luận mang ý chê bai đề tài phim “I would n't recommend this movie Unless you have nothing else to for the night and want to watch it alone.” ❖ Những loại toán phân tích cảm xúc Bài tốn phân tích cảm xúc chia thành nhiều tốn con, cơng cụ phân tích thường tập trung vào việc phân loại tính phân cực (tích cực, trung tính, tiêu cực) để dự đoán cảm xúc (giận, buồn, vui, …) dùng để xác định độ hưởng ứng (thích, khơng hài lòng) Dưới đây, bàn loại phổ biến nhất: • Phân tích tính phân cực: Đây tốn điển hình phân tích cảm xúc, thước đo cảm xúc chia thành trạng thái : rất tích cực, tích cực, trung tính, tiêu cực, rất tiêu cực Ta thường bắt gặp đoạn đánh giá sản phẩm, dịch vụ dựa ngơi Ví dụ người dùng đánh giá dịch vụ với sao, điều có nghĩa tích cực, tiêu cực, khơng hài lịng từ khách hàng Một vài hệ thống cung cấp thang đo tính phân cực cách xác định dựa cảm xúc cụ thể giận, buồn, lo lắng (đối với tính tiêu cực) tương tự cảm xúc hạnh phúc, vui vẻ (đối với tích cực) • Khám phá cảm xúc: Mục đích loại phân tích tên gọi nó, khám phá cảm xúc vui, buồn, giận dữ,… Nhiều hệ thống xác định cảm xúc dựa kho từ vựng (như danh sách từ cách truyền đạt) dựa giải thuật học máy phức tạp Một nhược điểm phương pháp dựa từ vựng cách biểu đạt người dùng rất phong phú, từ họ dùng để biểu đạt đa dạng không Trang multiply_1 (Multiply) (None, 200, 100) gru_1[0][0] permute_1[0][0] lambda_1 (Lambda) (None, 100) multiply_1[0][0] dense_2 (Dense) (None, 1) 101 lambda_1[0][0] Số lượng tham số: Total params: 1,140,902 Trainable params: 60,502 Non-trainable params: 1,080,400 Score: Time 95 seconds Error 18.5% Loss 46.18% Accuracy 81.50% Bảng 4–2 Kết thực nghiệm liệu Book Plot Result Model Hình 4–2 Training and validation loss (Book) Trang 44 Hình 4–3 Training and validation accuracy (Book) Kết thực nghiệm với số mơ hình khác: Book 82.00% 81.00% 80.00% 79.00% 78.00% 77.00% 76.00% 75.00% 74.00% CNN CNN-LSTM BiLSTM Attention Hình 4–4 Biểu đồ kết model (Book) 4.5.3 Thực nghiệm RNN-Attention-network với liệu DVD Cấu trúc mơ hình: Layer (type) Output Shape Param # Connected to ============================================================ input_1 (InputLayer) (None, 200) embedding_1 (Embedding) (None, 200, 100) 1109900 input_1[0][0] Trang 45 gru_1 (GRU) (None, 200, 100) 60300 embedding_1[0][0] dense_1 (Dense) (None, 200, 1) 101 gru_1[0][0] flatten_1 (Flatten) (None, 200) dense_1[0][0] activation_1 (Activation) (None, 200) flatten_1[0][0] repeat_vector_1 (RepeatVector) (None, 100, 200) activation_1[0][0] permute_1 (Permute) (None, 200, 100) repeat_vector_1[0][0] multiply_1 (Multiply) (None, 200, 100) gru_1[0][0] permute_1[0][0] lambda_1 (Lambda) (None, 100) multiply_1[0][0] dense_2 (Dense) (None, 1) 101 lambda_1[0][0] Số lượng tham số: Total params: 1,170,402 Trainable params: 60,502 Non-trainable params: 1,109,900 Score Time 138 seconds Error 18% Loss 45.64% Accuracy 82% Bảng 4–3 Kết thực nghiệm liệu DVD Trang 46 Plot Result Model Hình 4–5 Training and validation loss (DVD) Hình 4–6 Training and validation accuracy (DVD) Kết thực nghiệm với mơ hình khác: DVD 83% 82% 82% 81% 81% 80% 80% 79% 79% 78% 78% CNN CNN-LSTM BiLSTM Attention Hình 4–7 Biểu đồ kết model (DVD) Trang 47 4.5.4 Thực nghiệm RNN-Attention-network với liệu Electronics Cấu trúc mơ hình: Layer (type) Output Shape Param # Connected to =========================================================== input_1 (InputLayer) (None, 200) _ embedding_1 (Embedding) (None, 200, 100) 538900 input_1[0][0] _ gru_1 (GRU) (None, 200, 100) 60300 embedding_1[0][0] _ dense_1 (Dense) (None, 200, 1) 101 gru_1[0][0] _ flatten_1 (Flatten) (None, 200) dense_1[0][0] _ activation_1 (Activation) (None, 200) flatten_1[0][0] _ repeat_vector_1 (RepeatVector) (None, 100, 200) activation_1[0][0] _ permute_1 (Permute) (None, 200, 100) repeat_vector_1[0][0] _ multiply_1 (Multiply) (None, 200, 100) gru_1[0][0] permute_1[0][0] _ lambda_1 (Lambda) (None, 100) multiply_1[0][0] _ dense_2 (Dense) (None, 1) 101 lambda_1[0][0] Số lượng tham số: Total params: 599,402 Trang 48 Trainable params: 60,502 Non-trainable params: 538,900 Score Time 99 seconds Error 18.5% Loss 41.67% Accuracy 81.50% Bảng 4–4 Kết thực nghiệm liệu Electronics Plot Result Model Hình 4–8 Training and validation loss (Electronics) Hình 4–9 Training and validation accuracy (Electronics) Trang 49 Kết thực nghiệm với mơ hình khác: Electronics 82.00% 81.00% 80.00% 79.00% 78.00% 77.00% 76.00% 75.00% CNN CNN-LSTM BiLSTM Attention Hình 4–10 Biểu đồ kết model (Electronics) 4.5.5 Thực nghiệm RNN-Attention-network với liệu Kitchen Cấu trúc mô hình: Layer (type) Output Shape Param # Connected to ============================================================= input_1 (InputLayer) (None, 200) _ embedding_1 (Embedding) (None, 200, 100) 488200 input_1[0][0] _ gru_1 (GRU) (None, 200, 100) 60300 embedding_1[0][0] _ dense_1 (Dense) (None, 200, 1) 101 gru_1[0][0] _ flatten_1 (Flatten) (None, 200) dense_1[0][0] _ activation_1 (Activation) (None, 200) flatten_1[0][0] _ repeat_vector_1 (RepeatVector) (None, 100, 200) activation_1[0][0] Trang 50 _ permute_1 (Permute) (None, 200, 100) repeat_vector_1[0][0] _ multiply_1 (Multiply) (None, 200, 100) gru_1[0][0] permute_1[0][0] _ lambda_1 (Lambda) (None, 100) multiply_1[0][0] _ dense_2 (Dense) (None, 1) 101 lambda_1[0][0] Số lượng tham số: Total params: 548,702 Trainable params: 60,502 Non-trainable params: 488,200 Score Time 145 seconds Error 19% Loss 53.46% Accuracy 81% Bảng 4–5 Kết thực nghiệm liệu Kitchen Plot Result Model Hình 4–11 Training and validation loss (Kitchen) Trang 51 Hình 4–12 Training and validation accuracy (Kitchen) Kết thực nghiệm với mơ hình khác: Kitchen 82.00% 80.00% 78.00% 76.00% 74.00% 72.00% 70.00% CNN CNN-LSTM BiLSTM Attention Hình 4–13 Biểu đồ kết model (Kitchen) 4.5.6 Thực nghiệm RNN-Attention-network với liệu IMDB Keras Cấu trúc mơ hình: Layer (type) Output Shape Param # Connected to ============================================================= input_1 (InputLayer) (None, 200) _ embedding_1 (Embedding) (None, 200, 128) 640000 input_1[0][0] _ gru_1 (GRU) (None, 200, 100) 68700 embedding_1[0][0] _ Trang 52 dense_1 (Dense) (None, 200, 1) 101 gru_1[0][0] _ flatten_1 (Flatten) (None, 200) dense_1[0][0] _ activation_1 (Activation) (None, 200) flatten_1[0][0] _ repeat_vector_1 (RepeatVector) (None, 100, 200) activation_1[0][0] _ permute_1 (Permute) (None, 200, 100) repeat_vector_1[0][0] _ multiply_1 (Multiply) (None, 200, 100) gru_1[0][0] permute_1[0][0] _ lambda_1 (Lambda) (None, 100) multiply_1[0][0] _ dense_2 (Dense) (None, 1) 101 lambda_1[0][0] ============================================================= Số lượng tham số: Total params: 708,902 Trainable params: 708,902 Non-trainable params: Score: Time 31.9 minutes Error 13% Loss 38.03% Accuracy 87% Bảng 4–6 Kết thực nghiệm liệu IMDB Keras Trang 53 Plot Result Model Hình 4–14 Training and validation loss (IMDB) Hình 4–15 Training and validation accuracy (IMDB) Kết thực nghiệm với mơ hình khác: IMDB Keras 88.00% 87.00% 86.00% 85.00% 84.00% 83.00% 82.00% CNN CNN-LSTM BiLSTM Attention Hình 4–16 Biểu đồ kết model (IMDB) Trang 54 4.5.7 So sánh mô hình Sau chạy thực nghiệm với tập liệu trên, ta nhận thấy tỉ lệ val_acc chạy thực nghiệm mơ hình RNN-Attention-network có tỉ lệ cao nhất so với mơ hình khác (CNN, CNN-LSTM, Bi-LSTM) Tuy nhiên, thời gian chạy mơ hình RNN-Attention-network so với mơ hình khác chiếm thời gian nhiều Trong q trình chạy thực nghiệm, nhóm thay đổi tham số batch_size, số lượng epochs, maxlen (độ dài tối đa chuỗi) dùng hàm pad_sequence để thu kết tốt nhất Tuy nhiên, tùy vào tập liệu mà nhóm dùng ảnh hưởng đến kết chạy mơ hình số lượng đánh giá tập liệu khơng giống Nhìn chung chạy thực nghiệm với số lượng epoch giống mơ hình khác mơ hình RNN-Attention-network có độ ổn định cao mơ hình khác khơng bị overfit Khi tiến hành chạy dự đốn đoạn văn để phân tích xem đoạn văn tiêu cực hay tích cực mơ hình RNN-Attention-network mang lại tính xác cao 4.5.8 So sánh với phương pháp học máy khác Theo báo Analysis of Machine Learning Algorithms for Opinion Mining in Different Domains nhóm tác giả Donia Gama cộng [13], kết phương pháp machine learning cho sau: Trang 55 Hình 4–17 Một số kết phương pháp Machine Learning khác Qua hình 4-17, thấy phương pháp mà nhóm tìm hiểu thực nghiệm tập liệu IMDB có tỷ lệ xác cao đa phần phương pháp Machine Learning truyền thống khác, với kết xác cụ thể 87% Trang 56 KẾT LUẬN Những vấn đề làm được • Hiểu lý thuyết chế hoạt động mơ hình • Hiểu cơng thức, thuật tốn chế Attention • Thực nghiệm so sánh kết mơ hình nêu • Tìm hiểu kỹ thuật tiền xử lý liệu cho tốn phân loại văn • Ứng dụng thư viện hỗ trợ q trình thực nghiệm • Thực dự đoán kết giao diện console Những vấn đề chưa làm được • Cơ chế Attention chế phức tạp nằm cấp độ cao nhất Deep Learning, nên trình tìm hiểu khơng tránh khỏi thiếu sót hạn chế mặt kiến thức • Do liệu thực nghiệm chưa đủ nên chưa đạt kết tốt nhất trình huấn luyện so sánh mơ hình • Chưa thử nghiệm hết trường hợp để tìm thơng số tốt nhất để h́n luyện mơ hình • Chưa xây dựng ứng dụng cụ thể cho phân tích cảm xúc Hướng phát triển • Áp dụng chế thuật tốn mơ hình Attention cho tốn phân tích cảm xúc ngơn ngữ khác cụ thể tiếng Việt • Phát triển ứng dụng cụ thể cho phân tích cảm xúc web, app • Thực chạy mơ hình với thơng số khác đồng thời tìm kiếm liệu tốt để việc huấn luyện so sánh mơ hình đạt kết tối ưu nhất • Phân tích đa lớp cảm xúc (buồn, vui, thất vọng, lo lắng, ) so với phân lớp binary classification (2 lớp tích cực / tiêu cực) Trang 57 LIỆU THAM KHẢO [1] Agarwal, B., & Mittal, N , Prominent feature extraction for sentiment analysis, 2016 [2] Y Kim, "Convolutional neural networks for sentence classification," arXiv preprint arXiv:1408.5882, 2014 [3] Mikolov, T et al, "Recurrent neural network based language model," in Eleventh annual conference of the international speech communication association., Makuhari, Chiba, Japan, 2010 [4] Pascanu, R et al, "On the difficulty of training recurrent neural networks," in In International conference on machine learning, 2013 [5] Sepp Hochreiter, Jurgen Schmidhuber, "LONG SHORT-TERM MEMORY," in Neural Computation, 1997 [6] KyungHyun Cho et al, "Empirical Evaluation of Gated Recurrent Neural Networks Gated Recurrent Neural Networks," arXiv preprint arXiv:1412.3555, 2014 [7] Graves, A., & Schmidhuber, J, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures," in Neural Networks, 2005 [8] Zhou, Q et al, "BiLSTM-Attention and LSTM-Attention via Soft Voting in Emotion Classification," in NLP at IEST, 2018 [9] Wang, J et al, "Dimensional Sentiment Analysis Using a Regional CNN-LSTM Model," in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016 [10] Bahdanau, D et al, "Neural machine translation by jointly learning to align and translate," arXiv preprint arXiv:1409.0473, 2014 [11] Blitzer, J et al, "Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification," in Association of Computational Linguistics, 2007 [12] Yang, Z et al, "Hierarchical attention networks for document classification," in Association for Computational Linguistics, 2016 [13] D Gamal et al, "Analysis of Machine Learning Algorithms for Opinion Mining in Different Domains," in Machine Learning and Knowledge Extraction, 2019 Trang 58