Nghiên Cứu Phương Pháp Học Sâu Ứng Dụng Cho Phân Loại Ý Kiến Phản Hồi.pdf

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN THỊ HUYỀN NGHIÊN CỨU PHƢƠNG PHÁP HỌC SÂU ỨNG DỤNG CHO PHÂN LOẠI Ý KIẾN PHẢN HỒI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN THANH HÓA[.]

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN THỊ HUYỀN NGHIÊN CỨU PHƢƠNG PHÁP HỌC SÂU ỨNG DỤNG CHO PHÂN LOẠI Ý KIẾN PHẢN HỒI LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN THANH HÓA, NĂM 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN THỊ HUYỀN NGHIÊN CỨU PHƢƠNG PHÁP HỌC SÂU ỨNG DỤNG CHO PHÂN LOẠI Ý KIẾN PHẢN HỒI LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN Chuyên ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn khoa học: PGS.TS VŨ VIỆT VŨ THANH HÓA, NĂM 2020 LỜI CAM ĐOAN Những nội dung luận văn thực hướng dẫn trực tiếp thầy hướng dẫn PGS.TS Vũ Việt Vũ Các tài liệu tham khảo luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Tơi xin cam đoan cơng trình khơng trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu cơng bố Ngƣời cam đoan Nguyễn Thị Huyền i LỜI CẢM ƠN Em xin chân thành cảm ơn quý thầy cô khoa Công nghệ thông tin truyền thông trang bị cho em kiến thức tảng giúp em hồn thành tốt luận văn Cảm ơn bạn lớp chia sẻ kinh nghiệm hỗ trợ lúc làm luận văn Đặc biệt em xin cảm ơn thầy giáo hướng dẫn PGS.TS Vũ Việt Vũ giúp đỡ em nhiều lúc em thực luận văn Mặc dù em cố gắng hết khả không tránh khỏi thiếu sót Em mong nhận góp ý q báu q thầy để hồn chỉnh cho luận văn ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MUC LỤC iii CHỮ VIẾT TẮT v DANH MỤC BẢNG BIỂU vi DANG MỤC HÌNH VẼ VÀ ĐỒ THỊ vii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu 3 Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu: 3.2 Phạm vi nghiên cứu: Nội dung nghiên cứu: Phương pháp nghiên cứu 5.1 Phương pháp nghiên cứu lý thuyết 5.2 Phương pháp nghiên cứu thực nghiệm Dự kiến kết đạt Cấu trúc nội dung luận văn CHƢƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Khái niệm trí tuệ nhân tạo 1.1.1 Khái niệm học máy 1.1.2 Mạng nơron nhân tạo 10 1.1.3 Mạng nơron học sâu 10 1.1.4 Một số nhận xét 11 1.2 Bài toán phân loại ý kiến 12 1.2.1 Mở đầu 12 1.2.2 Các dạng toán phân loại ý kiến 15 1.3 Kết luận 16 iii CHƢƠNG 2: PHƢƠNG PHÁP HỌC SÂU ÁP DỤNG CHO BÀI TOÁN PHÂN LOẠI Ý KIẾN 17 2.1 Mạng nơron nhân tạo xử lý thông tin 17 2.2 Mạng nơron học sâu xử lý thông tin 20 2.2.1 Mạng nơron tích chập học sâu (Convolutional Neural Network) 20 2.2.2 Kiến trúc mạng học sâu LSTM 26 2.3 Một số nghiên cứu mạng CNN mạng LSTM cho toán phân loại ý kiến 30 2.4 Áp dụng phương pháp học sâu cho toán phân loại ý kiến 33 2.5 Kết luận 37 CHƢƠNG KẾT QUẢ THỰC NGHIỆM 38 3.1 Giới thiệu 38 3.2 Xây dựng chương trình 40 3.3 Kết thực nghiệm 47 3.3.1 Thực nghiệm với mơ hình 47 3.3.2 So sánh thời gian thực 50 3.4 Kết luận 50 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 51 TÀI LIỆU THAM KHẢO 52 iv CHỮ VIẾT TẮT DIỄN GIẢI KÍ HIỆU Tiếng anh Tiếng việt AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơron nhân tạo CNN Convolutional Neural Network Mạng nơron tích chập CONV Convolutional layer Lớp tích chập FC Fully connected layer Lớp kết nối đầy đủ LSTM Long Short Term Memory Mạng nhớ dài-ngắn networks RNN Recurrent Neural Network v Mạng nơron hồi quy sâu DANH MỤC BẢNG BIỂU Bảng 3.1 Một số thư viện hỗ trợ lập trình sử dụng học sâu 38 Bảng 3.2 Dữ liệu dùng thực nghiệm 39 Bảng 3.3 Kết so sánh phương pháp cho tập liệu DL1 47 Bảng 3.4 Kết so sánh phương pháp cho tập liệu DL2 48 Bảng 3.5 Một số ví dụ việc dự đốn sai 49 Bảng 3.6 So sánh thời gian huấn luyện tập DL1 50 Bảng 3.7 So sánh thời gian huấn luyện DL2 50 vi DANG MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1 Ví dụ tốn phát dị thường (outlier) từ liệu Hình 1.2 Mơ hình học có giám sát Hình 1.3 Mơ hình học bán giám sát Hình 1.4 Kiến trúc tổng quan mạng nơron 10 Hình 1.5 Mối tương quan Trí tuệ nhân tạo, học máy học sâu 11 Hình 1.6 Các kỹ thuật áp dụng cho toán phân loại ý kiến 14 Hình 2.1 Quá trình xử lý thông tin ANN 17 Hình 2.2 Thuật tốn back-propagation 19 Hình 2.3 Mạng CNN với lớp đề xuất bới Lecun cộng cho toán nhận dạng chữ viết tay năm 1998 21 Hình 2.4 Ví dụ việc tính tốn sử dụng lọc 22 Hình 2.5 Quá trình sử dụng hàm Relu 22 Hình 2.6 Đồ thị biểu diễn hàm ReLu 23 Hình 2.7 Ví dụ sử dụng pooling 23 Hình Ví dụ việc giảm kích thước liệu: từ khối kích thước 22422464 sau khí giảm khối 11211264 24 Hình 2.9 Quá trình ghép đặc trưng để thành FC 25 Hình 2.10 Minh họa trình từ đặc trưng kết phân loại 25 Hình 2.11 Các lớp tương tác LSTM 26 Hình 2.12 Sơ đồ mơ tả trạng thái tế bào LSTM1 27 Hình 2.13 Tầng sigmoid phép nhân 27 Hình 2.14 Tầng sigmoid1 28 Hình 2.15 Kết hợp tầng sigmoid tầng tanh1 28 Hình 2.16 Cập nhật trạng thái1 29 Hình 2.17 Giá trị đầu ra1 29 Hình 2.18 Kiến trúc mạng CNN 30 vii Hình 2.19 Kiến trúc mạng CNN 31 Hình 2.20 Kiến trúc mạng CNN 32 Hình 2.21 Kiến trúc mạng CNN 32 Hình 2.22 Tổng quan mơ hình học có giám sát áp dụng cho toán phân loại ý kiến 34 Hình 23 Minh họa kiến trúc cho bước Skip-gram word2vector 35 Hình 24 Minh họa kiến trúc cho bước CBOW word2vector2 36 viii Một số câu tập DL2: STT Câu Gán nhãn Tầm quan sát vị trí ghế lái rộng, điểm mù nhiều Tích cực cơng nghệ hỗ trợ tầm nhìn người lái Đậu gần xe khác khen xe đẹp, đồ chơi nhiều Không gian cabin thống lớn người cao lớn, đặc Tích cực biệt hàng ghế trước Khả tăng tốc tốt, vượt xe tốc độ cao tốc độ cao Tích cực dễ dàng, tiếng ồn máy đạp ga tăng tốc Cụm đèn hậu thiết kế sử dụng cơng nghệ LED tạo Tích cực giúp cho phần xe thêm cứng cáp lơi Mình thấy đáng tiếc cho terra ,bản cầu số tự động, cắt Tích cực Tiêu cực giảm nhiều, xe đánh giá thị trường sai lầm, phải túi khí, thua fo Huyndai santafe cơng nghệ, thật đáng tiếc Tơi thấy kích thước lốp khác lạc hậu bạn phải có hai lốp dự phịng nội thất đơn giản giá bán khơng phù hợp với Tiêu cực Tiêu cực người có thu nhập thấp người có thu nhập cao phù hợp Con nói cảm giác lái cơng nghệ cịn Tiêu cực thua Subaru nói xe Đức, 3.2 Xây dựng chƣơng trình Hai loại mạng CNN trình bày chương dùng để thử nghiệm; Các tham số mạng CNN1: - Gồm lớp Convolution 1D: Input có kích thước (2852, 256), output kích thước (2852, 1) - Tương ứng lớp max pooling: Input có kích thước (2852, 1), output kích thước (571, 1) 40 - Sau lớp Fully Connected: Input có kích thước 571-D , output kích thước 32-D - Concatenate lớp FC lại vector 192-D - Lần lượt lớp FC có:  Input 192-D, output 256-D  Input 256-D, output 128-D  Input 128-D, output 64-D  Input 64-D, output 1-D Như tổng số tham số: 2,650,119 Kết thực nghiệm ta thu bảng sau: Layer (type) Output Shape Param # ====================================================== input_1 (InputLayer) (None, 2852) embedding_1 (Embedding) (None, 2852, 256) 2438912 conv1d_1 (Conv1D) (None, 2852, 128) 163968 max_pooling1d_1 (MaxPooling1 (None, 571, 128) conv1d_2 (Conv1D) (None, 571, 128) 82048 max_pooling1d_2 (MaxPooling1 (None, 115, 128) flatten_1 (Flatten) (None, 14720) dense_1 (Dense) (None, 512) 41 7537152 dense_2 (Dense) (None, 256) 131328 dense_3 (Dense) (None, 128) 32896 dense_4 (Dense) (None, 1) 129 ====================================================== Total params: 10,386,433 Trainable params: 10,386,433 Non-trainable params: Các tham số mạng CNN2: - Lớp convolution1D có Input (2852, 256), output (2852, 128) - SaU lớp max pooling có input (2852, 128), output (571, 128) - Lớp convolution1D thứ có Input (571, 128), output (571, 128) - SaU lớp max pooling có input (571, 128), output (115, 128) - Flatten thành vector 14720-D - Lớp FC1 có input 14720-D, output 512-D - Lớp FC2 có input 512-D, output 256-D - Lớp FC3 có input 256-D, output 128-D - Lớp FC4 có input 128-D, output 1-D Như tổng số tham số: : 10,386,433 42 Kết thực nghiệm cho ta kết sau: Layer (type) Output Shape Param # Connected to ====================================================== input_1 (InputLayer) (None, 2852) _ embedding_1 (Embedding) (None, 2852, 256) 2438912 input_10]0] _ conv1d_1 (Conv1D) (None, 2852, 1) 1281 embedding_10]0] _ conv1d_2 (Conv1D) (None, 2852, 1) 1281 embedding_10]0] _ conv1d_3 (Conv1D) (None, 2852, 1) 1793 embedding_10]0] _ conv1d_4 (Conv1D) (None, 2852, 1) 1793 embedding_10]0] _ conv1d_5 (Conv1D) (None, 2852, 1) 2305 embedding_10]0] _ conv1d_6 (Conv1D) (None, 2852, 1) 2305 embedding_10]0] _ max_pooling1d_1 (MaxPooling1D) (None, 571, 1) conv1d_10]0] _ max_pooling1d_2 (MaxPooling1D) (None, 571, 1) conv1d_20]0] 43 _ max_pooling1d_3 (MaxPooling1D) (None, 571, 1) conv1d_30]0] _ max_pooling1d_4 (MaxPooling1D) (None, 571, 1) conv1d_40]0] _ max_pooling1d_5 (MaxPooling1D) (None, 571, 1) conv1d_50]0] _ max_pooling1d_6 (MaxPooling1D) (None, 571, 1) conv1d_60]0] _ flatten_1 (Flatten) (None, 571) max_pooling1d_10]0] _ flatten_2 (Flatten) (None, 571) max_pooling1d_20]0] _ flatten_3 (Flatten) (None, 571) max_pooling1d_30]0] _ flatten_4 (Flatten) (None, 571) max_pooling1d_40]0] _ flatten_5 (Flatten) (None, 571) max_pooling1d_50]0] _ flatten_6 (Flatten) (None, 571) max_pooling1d_60]0] _ dense_1 (Dense) (None, 32) 18304 flatten_10]0] _ dense_2 (Dense) (None, 32) 18304 flatten_20]0] _ 44 dense_3 (Dense) (None, 32) 18304 flatten_30]0] _ dense_4 (Dense) (None, 32) 18304 flatten_40]0] _ dense_5 (Dense) (None, 32) 18304 flatten_50]0] _ dense_6 (Dense) (None, 32) 18304 flatten_60]0] _ concatenate_1 (Concatenate) (None, 192) dense_20]0] , dense_30]0] , dense_40]0] dense_10]0] , dense_50]0] dense_60]0] _ dense_7 (Dense) (None, 256) 49408 concatenate_10]0] _ dense_8 (Dense) (None, 128) 32896 dense_70]0] _ dense_9 (Dense) (None, 64) 8256 dense_80]0] _ dense_10 (Dense) (None, 1) 65 dense_90]0] ====================================================== Total params: 2,650,119 Trainable params: 2,650,119 45 Với mạng LSTM, sử dụng kiến trúc với tham số cụ thể sau: - Lớp LSTM1: Output từ vector 128-D - Lớp LSTM2: Output từ vector 128-D - Concatenate vector lại thu vector 256-D - Thêm lớp FC có input 256-D output 1-D - Tổng số tham số: 2,833,409 Kết thực nghiệm có là: _ Layer (type) Output Shape Param # Connected to ======================================================= input_1 (InputLayer) (None, 2852) _ embedding_1 (Embedding) (None, 2852, 256) 2438912 input_10]0] lstm_1 (LSTM) (None, 128) 197120 embedding_10]0] lstm_2 (LSTM) (None, 128) 197120 embedding_10]0] concatenate_1 (Concatenate) (None, 256) lstm_10]0] lstm_20]0] dropout_1 (Dropout) (None, 256) concatenate_10]0] dense_1 (Dense) (None, 1) 257 dropout_10]0] ======================================================= Total params: 2,833,409 Trainable params: 2,833,409 Non-trainable params: 46 Chương trình sử dụng hai loại biểu diễn chuyển đổi câu sang dạng vector BoW FastText Các phương pháp chuyển đổi sử dụng thư viện Keras Sau thực với FastText, số từ thường xuất có độ tương tự gần 3.3 Kết thực nghiệm 3.3.1 Thực nghiệm với mơ hình Bảng 3.3 3.4 trình bày kết phân lớp tương ứng cho tập liệu DL1 DL2 Kết thực nghiệm cho thấy, sử dụng phương pháp FastText chất lượng phân loại tăng lên đáng kể Đúng công bố thực thực nghiệm, nghiên cứu tìm hiểu phương pháp FastText Đây phương pháp hiệu để biểu diễn liệu đặc biệt cho liệu dạng văn Phương pháp sử dụng BoW cho kết khơng cao việc sử dụng phương pháp để biểu diễn liệu hết ngữ nghĩa câu văn bản, cụ thể từ với Ngược lại, sử dụng phương pháp FastText, chất lượng phân loại tăng lên đáng kể Điều lý giải với phương pháp trình biến đổi liệu từ văn sang vector số biểu diễn ngữ nghĩa chúng Trong thực nghiệm sử dụng số lượng Epoch 100 cho tất thực nghiệm Bảng 3.3 Kết so sánh phương pháp cho tập liệu DL1 Số lượng STT mẫu huấn luyện CNN1+ CNN1+ CNN2+ CNN2+ LSTM+ LSTM+ BoW FastText BoW FastText BoW FastText 13000 0.773 0.864 0.744 0.850 0.871 0.907 11000 0.743 0.865 0.712 0.845 0.864 0.881 9000 0.705 0.875 0.703 0.825 0.856 0.881 47 Quan sát bảng kết tập liệu ta thấy: - Với 13000 mẫu huấn luyện sử dụng mạng CNN1 phương pháp FastText đạt mức độ xác 0.864 với phương pháp BoW đạt 0.773 Khi sử dụng mạng CNN2 với phương pháp FastText đạt độ xác 0.850 cịn với phương pháp BoW đạt 0.744 Tương tự với mạng LSTM ta thấy dùng phương pháp FastText độ xác 0.907 cịn với phương pháp BoW đạt 0.871 Với số lượng mẫu nhỏ 11000 9000 ta thu kết tương tự Như sử dụng phương pháp biểu diễn từ thành vector FastText độ xác cao phương pháp BoW mạng CNN1, CNN2 LSTM Bảng 3.4 Kết so sánh phương pháp cho tập liệu DL2 Số lượng STT mẫu huấn luyện CNN1+ CNN1+ CNN2+ CNN2+ LSTM+ LSTM+ Bow FastText BoW FastText BoW FastText 4000 0.813 0.884 0.855 0.863 0.875 0.932 3000 0.805 0.876 0.786 0.840 0.865 0.908 2000 0.770 0.853 0.717 0.828 0.845 0.888 - Với tập liệu sử dụng 4000 mẫu để dùng cho pha huấn luyện 1000 mẫu để kiểm tra kết mơ hình Kết thu liệu cho kết tương tự tập DL1, ví dụ như: với 4000 mẫu huấn luyện dùng mạng CNN1 với phương pháp FastText độ xác 0.884 cịn với phương pháp BoW độ xác nhỏ 0.813 Trong mạng CNN2 với phương pháp FastText độ xác 0.863 lớn dùng phương pháp BoW Khi dùng mạng LSTM độ xác phương pháp FastText đạt 0.932, phương pháp BoW đạt 0.875 Với liệu 3000 2000 phương pháp biểu diễn từ thành vector FastText đạt độ xác cao phương pháp BoW 48 Bảng 3.5 trình bày số ví dụ kết dự đoán bị sai Với loại câu nhãn tốt mà bị dự đốn khơng tốt thường câu chứa cụm từ không tốt Với câu mang nghĩa tiêu cực dự đốn tích cực vậy, thường có số từ tiêu cực mà hệ thống khơng biểu diễn hết ngữ nghĩa Bảng 3.5 Một số ví dụ việc dự đốn sai STT Câu bình luận "Giao hàng lâu Mở lọ ủ mơi thấy k hài lịng :(( kiểu bị 1/3 lọ Dù cũg tks shop nhiều Sẽ ủg hộ thêm tích cực tiêu cực So với giá tiền chất lượng ổn Tuy nhiên shop bán phụ kiện điện thoại bé nên hay nhầm lẫn quên hay thiếu em que chọc sim tích cực tiêu cực Dù rep ib chậm chất lượng sản phẩm tốt Khơng khác ảnh quảng cáo, nhiên kim đồng hồ khơng có quang đâu tích cực tiêu cực Nhãn Nhãn dự đốn Nhưng nhìn sang cầm nặng trịch ưng ý Giao thiếu hàng shop giải kịp thời Shop phục vụ tốt Đóng gói sản phẩm đẹp chắn Chất lượng sản phẩm tuyệt vời tích cực tiêu cực "Giao hàng lâu Mở lọ ủ mơi thấy k hài lịng :(( kiểu bị 1/3 lọ Dù cũg tks shop nhiều Sẽ ủg hộ thêm tích cực tiêu cực So với giá tiền chất lượng ổn Tuy nhiên shop bán phụ kiện điện thoại bé nên hay nhầm lẫn quên hay thiếu tích cực tiêu cực em que chọc sim Hàng đắt đáng tiền tích cực tiêu cực Hàng xịn khơng hãng tích cực tiêu cực Đóng gói sản phẩm đẹp chắn Chất lượng sản phẩm tuyệt vời Đóng gói sản phẩm đẹp chắn Chất lượng sản phẩm tuyệt vời Giao nhầm vị bạc hà sang vị nho! Khơng thích tiêu cực tích cực 49 3.3.2 So sánh thời gian thực Bảng 3.6 3.7 trình bày thời gian tiến hành huấn luyện tương ứng cho loại mạng hai tập liệu DL1 DL2 Chúng ta thấy rằng, thời gian huấn luyện mạng LSTM lớn thời gian huấn luyện mạng cịn lại Điều giải thích mạng LSTM tương đối phức tạp, nhiều tham số khác Điều phù hợp với công bố trước 3-5] Bảng 3.6 So sánh thời gian huấn luyện tập DL1 STT Số lượng mẫu CNN1 CNN2 LSTM 15000 3.9h 4.6h 6.1h 12000 3.5h 4.1h 5h 10000 3h 3.6h 4.4h Bảng 3.7 So sánh thời gian huấn luyện DL2 STT Số lượng mẫu CNN1 CNN2 LSTM 5000 1.9h 2h 3.2h 4000 1.4h 1.5h 2.5h 3000 1h 1.4h 2h 3.4 Kết luận Trong chương này, chúng tơi trình bày thực nghiệm thực Cụ thể trình thu thập liệu từ trang báo, trình gán nhãn, trình xây dựng chương trình Các thực nghiệm phân loại ý kiến thực sử dụng mạng CNN LSTM Kết đạt cho thấy chất lượng phân loại phương pháp LSTM tốt cả, nhiên thời gian huấn luyện phương pháp nhiều phương pháp lại Đây kết đạt bước đầu, tương lai cần làm nhiều thực nghiệm để kiểm thử lựa chọn mơ hình tốt cho ứng dụng cụ thể phân loại văn 50 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN  Những kết thực Mục tiêu luận văn nghiên cứu tìm hiểu lĩnh vực học máy đặc biệt phương pháp học sâu để áp dụng cho toán phân loại ý kiến Cụ thể trình thực luận văn chúng tơi nghiên cứu tìm hiểu trình bày nội dung sau đây: - Đã nghiên cứu tìm hiểu trình bày tổng quan lĩnh vực phân loại ý kiến, cơng trình nghiên cứu liên quan đến phân loại ý kiến - Đã nghiên cứu tìm hiểu mạng học sâu bản, cụ thể mạng học sâu CNN mạng học sâu LSTM - Đã tiến hành thu thập tập liệu ý kiến từ trang báo mạng tiến hành gán nhãn chuẩn bị cho trình thực nghiệm - Đã tiến hành làm thực nghiệm sử dụng mạng học sâu CNN LSTM cho tập liệu phân loại ý kiến Các kết đánh giá giải thích chi tiết  Hƣớng phát triển Sau trình thực luận văn, thu nạp thêm kiến thức lĩnh vực học sâu bước đầu tiến hành thực nghiệm cho toán ứng dụng phân loại ý kiến Những kiến thức này, tiếp tục nghiên cứu thêm để phục vụ cho việc thực nghề nghiệp sau Mặc dù cố gắng thực luận văn Tuy nhiên, kiến thức hạn chế lĩnh vực học sâu lĩnh vực mới, nên luận văn không tránh khỏi vấn đề cịn tồn tại, hướng tìm hiểu tiếp theo: - Tiếp tục nghiên cứu sâu kiến trúc mạng học sâu quan trọng có nhiều ứng dụng mạng CNN, mạng LSTM, - Tiếp tục theo đuổi toán phân loại ý kiến tốn có nhiều ứng dụng thực tế Các cơng trình nghiên cứu gần cho thấy số lượng nghiên cứu vấn đề sôi động 51 TÀI LIỆU THAM KHẢO [1] Alper Kursat Uysal, Yi Lu Murphey, (2017), Sentiment Classification: Feature Selection Based Approaches Versus Deep Learning CIT: 23-30 [2] Asad Abdi, Siti Mariyam Shamsuddin, Shafaatunnur Hasan, Jalil Piran, (2019), Deep learning-based sentiment classification of evaluative text based on Multi-feature fusion Inf Process Manag 56(4): 1245-1259 [3] Cícero Nogueira dos Santos, Maira Gatti, (2014), Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts COLING: 69-78 [4] Christopher Michael Bishop, (2006), Pattern Recognition and Machine Learning, Springer [5] Hannah Kim and Young-Seob Jeong, (2019), Sentiment Classification Using Convolutional Neural Networks, Applied Science, vol [6] Hao Wang, Bing Liu, Chaozhuo Li, Yan Yang, Tianrui Li, (2019), Learning with Noisy Labels for Sentence-level Sentiment Classification EMNLP/IJCNLP (1): 6285-6291 [7] Hedge Y, Padma SK, (2017), Sentiment analysis using random forest ensemble for mobile product reviews in Kannada In: IEEE 7th international advance computing conference [8] Hinton, G E., Osindero, S., Teh, Y W., (2006) A Fast Learning Algorithm for Deep Belief Nets, Neural Computation 18 (7), pp 1527–1554 [9] Jan Deriu, Mark Cieliebak, (2016), Sentiment Analysis using Convolutional Neural Networks with Multi-Task Training and Distant Supervision on Italian Tweets, In: EVALITA Evaluation of NLP and Speech Tools for Italian: Proceedings of the Final Workshop December 52 [10] LeCun, Yann and Bottou, Léon and Bengio, Yoshua and Haffner, Patrick, (1998), Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86, pp 2278-2324 [11] Lei Zhang, Shuai Wang, Bing Liu, (2018), Deep learning for sentiment analysis: A survey Wiley Interdiscip Rev Data Min Knowl Discov 8(4) [12] Nadia Nedjah, Igor Santos, Luiza de Macedo Mourelle, (2019), Sentiment analysis using convolutional neural network via word embeddings, Evolutionary Intelligence [13] Napitu F, Bijaksana MA, Trisetyarso A, Heryadi Y, (2017), Twitter opinion mining predicts broadband internet’s customer churn rate In: IEEE international conference on cybernetics and computational intelligence (CyberneticsCom), pp 141–146 [14] Nhan Cach Dang, María N Moreno-García, Fernando De la Prieta, (2020), Sentiment Analysis Based on Deep Learning: A Comparative Study, Electronics, (3) [15] Oludare Isaac Abiodun, Muhammad Ubale Kiru, Aman Jantan, Abiodun Esther Omolara, Kemi Victoria Dada, Abubakar Malah Umar, Okafor Uchenwa Linus, Humaira Arshad, Abdullahi Aminu Kazaure, Usman Gana, (2019), Comprehensive Review of Artificial Neural Network Applications to Pattern Recognition IEEE Access 7: 158820-158846 [16] Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov, (2016), Enriching Word Vectors with Subword Information CoRR abs/1607.04606 [17] Quan-Hoang Vo, Huy-Tien Nguyen, Bac Le, Minh-Le Nguyen, (2017), Multi-channel LSTM-CNN model for Vietnamese sentiment analysis KSE 24-29 [18] Rao T, Srivastava S (2012) Analyzing stock market movements using Twitter sentiment analysis In: ASONAM’12 Proceedings of the 2012 53 international conference on advances in social networks analysis and mining (ASONAM 2012), pp 119–123 [19] Stuart J Russell and Peter Norvig, (2009), Artificial Intelligence, A Modern Approach, Prentice Hall [20] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, (2013), Efficient Estimation of Word Representations in Vector Space ICLR (Workshop Poster) [21] Tuan-Linh Nguyen, Swathi Kavuri Sri, Minho Lee, (2018), A fuzzy convolutional neural network for text sentiment analysis J Intell Fuzzy Syst 35(6): 6025-6034 [22] Vateekul P, Koomsubha T, (2016), A study of sentiment analysis using deep learning techniques on Thai Twitter data In: 13th International joint conference on computer science and software engineering (JCSSE), pp 1–6 [23] Wei Zhao, Ziyu Guan, Long Chen, Xiaofei He, Deng Cai, Beidou Wang, Quan Wang, (2018), Weakly-Supervised Deep Embedding for Product Review Sentiment Analysis IEEE Trans Knowl Data Eng 30(1): 185-197 [24] Yadav A, Vishwakarma D.K, (2019) Sentiment analysis using deep learning architectures: a review, Artificial Intelligence Review [25] Yann LeCun, Yoshua Bengio, Geoffrey E Hinton, (2015), Deep learning Nature, 521(7553): 436-444 [26] Yukun Ma, Haiyun Peng, Erik Cambria, (2018), Targeted AspectBased Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM AAAI: 5876-5883 [27] Zvarevashe K, Olugbara OO, (2018),A framework for sentiment analysis with opinion mining of hotel reviews In: Conference on information communications technology and society (ICTAS), pp 1–4 54