Nhận dạng và phân tích nhu cầu khách hàng trên mạng xã hội luận văn thạc sĩ công nghệ thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG NHẬN DẠNG VÀ PHÂN TÍCH NHU CẦU KHÁCH HÀNG TRÊN MẠNG XÃ HỘI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN ĐỒNG NAI – NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG NHẬN DẠNG VÀ PHÂN TÍCH NHU CẦU KHÁCH HÀNG TRÊN MẠNG XÃ HỘI Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN ĐỒNG NAI – NĂM 2022 LỜI CAM ĐOAN Học viên xin cam đoan cơng trình nghiên cứu riêng học viên Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình nghiên cứu khác Học viên xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực LỜI CẢM ƠN Trước tiên học viên muốn bày tỏ lòng biết ơn sâu sắc đến tất thầy cô nhà trường tạo điều kiện hỗ trợ, giúp đỡ học viên suốt trình học tập trường nghiên cứu luận văn Lời cảm ơn xin gửi đến - PGS.TS , người thầy trực tiếp hướng dẫn học viên thực luận văn Sự hướng dẫn, bảo tận tình thầy giúp học viên củng cố kiến thức, hoàn thiện luận văn nội dung hình thức, xin gửi lời cảm ơn chân thành đến Thầy - Quý thầy cô Khoa Sau đại học, Khoa Công nghệ thông yin, trường Đại học Lạc Hồng nói riêng thầy trường Đại Học Lạc Hồng nói chung tận tình giảng dạy bảo, giúp học viên trang bị kiến thức quý báu suốt thời gian học tập nghiên cứu Dù cố gắng, luận văn khơng thể tránh thiếu sót hạn chế Do học viên mong muốn nhận góp ý nhiều từ thầy bạn bè để kiến thức học viên ngày nâng cao hoàn thiện Chân thành cảm ơn TÓM TẮT Hiện nay, với phát triển bùng nổ internet mạng xã hội, hầu hết công ty, tổ chức dịch vụ khách hàng tiến hành việc lắng nghe ý kiến phản hồi khách hàng qua hệ thống thu thập phản hồi tảng khác mạng xã hội, ứng dụng liên quan Mỗi bình luận người dùng có vai trò quan trọng việc phát triển sản phẩm dịch vụ định đến phát triển doanh nghiệp Thông tin phản hồi khách hàng quan trọng, giúp hiểu điểm mạnh, điểm yếu sản phẩm/dịch vụ đồng thời nắm bắt tâm lý nhu cầu khách hàng để cải tiến sản phẩm, chiếm lòng trung thành giữ chân khách hàng hiệu Bằng cách thu thập, tìm hiểu phản hồi khách hàng, doanh nghiệp tạo cho họ trải nghiệm tốt Chính lý đó, đề tài học viên trình bày nghiên cứu với đề tài “ Nhận dạng phân tích nhu cầu khách hàng mạng xã hội” Mục tiêu đề tài xây dựng liệu cho toán nhận diện phân tích cảm xúc khách hàng mạng xã hội áp dụng phương pháp máy học khác Kết thí nghiệm cho thấy mơ hình phương pháp học chuyển tiếp BERT cho kết cao với độ xác 95.26%, độ phủ 95.26% số F1-score 95.15% MỤC LỤC Bìa lót Lời cam đoan Lời cảm ơn Tóm tắt Mục lục Danh mục từ viết tắt Danh mục Bảng Danh mục Hình ảnh CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.2.1 Mục tiêu tổng quát 1.2.2 Mục tiêu cụ thể 1.3 Nội dung nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Đóng góp đề tài 1.6 Cấu trúc luận văn CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Các cơng trình nghiên cứu liên quan 2.2 Phương pháp máy học Naïve Bayes 2.3 Phương pháp phân lớp Support Vector Machine 2.4 Phương pháp máy học Cây định – Decision Tree 10 2.5 Mạng học sâu Convolutional Neural Network 12 2.6 Mơ hình BERT 15 2.7 Phương pháp biểu diễn văn 16 2.7.1 Tiền xử lý liệu văn 16 2.7.2 Phương pháp Bag Of Words (BoW) 17 2.7.4 Phương pháp Distributional Embedding 18 2.7.5 Phương pháp Neural Embedding 19 2.7.6 Phương pháp Embedding từ với Vector Toàn cục (GloVe) 20 2.7 Kết luận chương 20 CHƯƠNG 3: PHƯƠNG PHÁP NGHIÊN CỨU 22 3.1 Xây dựng liệu 22 3.1.1 Thu thập liệu 22 3.2 Mơ hình thí nghiệm 26 3.2.1 Mơ hình máy học truyền thống 28 3.2.2 Mô hình học sâu CNN 29 3.2.3 Mơ hình BERT 30 3.3 Chi tiết cài đặt 32 3.4 Kết luận chương 37 CHƯƠNG 4: KẾT QUẢ THÍ NGHIỆM 38 4.1 Độ đo đánh giá 38 4.2 Kết thí nghiệm 39 CHƯƠNG 5: CHƯƠNG TRÌNH MINH HỌA 45 5.1 Thiết kế phần ứng dụng: 45 5.2 Chức ứng dụng 45 5.3 Giao diện ứng dụng 46 CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 49 6.1 Kết luận 49 6.2 Hướng phát triển 49 DANH MỤC TỪ VIẾT TẮT Ký hiệu BERT CNN CART ML NPL LSTM PR SVM SEO Thuật ngữ Bidirectional Encoder Representations from Transformers Convolutional Neural Network Classification and Regression Trees Machine Learning Natural Language Processing Long short term memory Public Relations Support Vector Machine Search Engine Optimization DANH MỤC HÌNH ẢNH, BẢNG BIỂU Hình 1.1 Ví dụ người dùng bình luận tích cực tiêu cực sản phẩm VNPT .2 Hình 2.1: Minh họa cho thuật toán SVM với phân hai lớp liệu 10 Hình 2.2: Ví dụ định 11 Hình 2.3: Mơ hình mạng CNN 13 Hình 2.4: Ví dụ tích chập đầu vào 5x5 lọc 3x3 với bước trượt 13 Hình 2.5: Ví dụ phép tổng hợp lớn (maxpooling) cho đầu vào 5x5 lọc 3x3 với hai dạng bước trượt 14 Hình 2.6 : Ví dụ phép gộp trung bình (averagepooling) cho đầu vào 5x5 lọc 3x3 với hai dạng bước trượt 14 Hình 2.7: Kiến trúc tầng liên kết đầy đủ (fully-connected) 15 Hình 2.8: Biểu diễn từ đầu vào mơ hình BERT 15 Hình 3.1: Dữ liệu thu thập 21 Hình 3.2: Biểu đồ so sánh số lượng nhãn liệu liệu 23 Hình 3.3: Mơ hình tổng qt q trình xây dựng mơ hình cho tốn phân tích cảm xúc 25 Hình 3.4 Tổng quan mơ hình máy học truyền thống 28 Hình 3.5 Mơ hình mạng nơ-ron tích chập CNN cho tốn phân loại văn 30 Hình 3.6 Kiến trúc tinh chỉnh mơ hình BERT 30 Hình 4.1 Ma trận nhầm lẫn cho toán phân loại nhị phân 38 Hình 4.2 Biểu đồ kết liệu nhãn mơ hình Nạve Bayes 40 Hình 4.3 Biểu đồ thể kết liệu nhãn mơ hình SVM 40 Hình 4.4 : Biểu đồ thể kết liệu nhãn mơ hình Cây định – Decision Tree 40 Hình 4.5 Biểu đồ thể kết liệu nhãn mơ hình CNN 41 Hình 4.6 Biểu đồ thể kết liệu nhãn mơ hình ngơn ngữ PhoBERT 41 Hình 4.7 Ma trận nhầm lẫn mơ hình BERT tập liệu kiểm tra 42 Hình 5.1 Giao diện chương trình ứng dụng demo luận văn 46 Hình 5.2 Giao diện kết chương trình sau nhấn nút upload kết dự đoán thị hình .47 Hình 5.3 Kết định dạng file csv tải xuống chương trình 47 Hình 5.4 Kết trả người dùng nhập định dạng file không 48 39 áp dụng cho toán nhiều lớp lớp nhị phân Tuy nhiên, độ xác tạo giá trị phân biệt hiệu suất tốt tất trường hợp thuộc lớp, điều xảy có tập liệu khơng cân Độ xác - Accuracy đo lường tỷ lệ phân tích xác hiển thị tổng số mẫu liệu dự đoán tổng số tất liệu dự đoán: 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 (1) Recall: dùng để xác định tỉ lệ dự đốn mơ hình so với tổng số lượng đối tượng thực chất có liệu Và phép toán Recall dùng là: 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (2) Precision - Trong toán phân lớp, precision dùng để xác định dự đoán mơ hình thực chất có dự đốn tổng số dự đốn mơ hình xác Và để xác định điều này, Precision dùng phép toán sau để xác định: 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 (3) F1-Score: Là độ đo dựa kết hợp hai độ Precision Recall, F1-Score cịn coi giá trị trung bình hai độ đo trên, dùng để đánh giá toán xem Recall Precision quan trọng Công thức F1-Score sử dụng là: 𝐹1 = ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (4) 4.2 Kết thí nghiệm Trong phần này, học viên trình bày kết mơ hình khác tập liệu kiểm tra Kết đánh giá dạng liệu huấn luyện liệu kiểm tra, nghĩa mơ hình huấn luyện tập liệu huấn liệu đánh giá độ đo tập liệu kiểm tra Kết chi tiết độ đo độ xác – Accuracy, độ xác – Precision, độ phủ - Recall số F1-score Kết quan trọng đề tài trình bày Bảng 4.1, với số đánh giá phương pháp Bên cạnh đó, học viên trình bày kết so sánh phương pháp biểu đồ tương ứng 40 Bảng 4.1: Kết độ đo của mơ hình liệu Mơ hình Precision Recall F1-score Accuracy Decision Tree 81.66 80.03 81.68 82.03 Naïve Bayes 87.27 86.76 85.50 86.76 SVM 88.25 88.23 87.70 88.24 CNN 93.20 93.14 93.04 93.14 BERT 95.45 95.26 95.15 95.26 Nhìn vào bảng 4.1, ta thấy mơ hình BERT cho kết cao tất phương pháp với tỷ lệ giá trị cao với độ xác Accuracy 95.26% độ đo F1-score 95.15%, sau mơ hình CNN với giá trị Accuracy 93.14% độ đo F1-score 93.04% Cịn ba mơ hình máy học SVM cho kết tốt với giá trị độ xác 88.24% độ đo F1 87.70% Sau kết chi tiết nhãn cảm xúc mơ hình tập liệu kiểm tra Hình 4.2 trình bày kết phương Naïve Bayes theo nhãn cảm xúc, nhãn cảm xúc Tiêu cực có kết thấp độ phủ - recall có 0.38 dẫn đến giá trị trung bình độ đo F1 0.54 Kết thấp ba nhãn cảm xúc liệu Một phần lý mơ hình Nạve Bayes khơng hiệu đặc trưng nhãn Tiêu cực Hình 4.2 Biểu đồ kết liệu nhãn mơ hình Nạve Bayes 41 Hình 4.3 Hình 4.4 trình bày kết mơ hình SVM mơ hình Cây định – Decision Tree tập kiểm tra Nhìn tổng quát hai phương pháp kết tương đồng nhãn Tiêu cực nhãn cho kết thấp với giá trị F1 0.68 0.61 Nhãn Tích cực nhãn Tiềm hai nhãn có kết cao hai phương pháp Hình 4.3 Biểu đồ thể kết liệu nhãn mơ hình SVM So sánh kết mơ hình SVM mơ hình Cây định nhãn mơ hình SVM cho kết tốt hầu hết độ đo Trong nhãn Tiêu cực cao khoảng 17% độ xác, 1% độ phủ 7% độ đo F1 Cịn hai nhãn cịn lại SVM cao khoảng 5% 8% cho nhãn Tích cực Tiềm Hình 4.4 : Biểu đồ thể kết liệu nhãn mơ hình Cây định – Decision Tree 42 Hình 4.5 Biểu đồ thể kết liệu nhãn mơ hình CNN Hình 4.5 Hình 4.6 trình bày kết mơ hình mạng tích chập Convolutional Neural Network mơ hình ngơn ngữ PhoBERT tập liệu kiểm tra Nhìn cách tổng quan giá trị kết độ đo nhãn cảm xúc tương đồng với ba độ đo hai phương pháp Hình 4.6 Biểu đồ thể kết liệu nhãn mơ hình ngơn ngữ PhoBERT 43 Sau đây, luận văn phân tích kết mơ hình dựa ma trận nhầm lần Theo nghiên cứu trước ma trận nhầm lẫn (confusion matrix) kỹ thuật để đánh giá liệu sử dụng rộng rãi cho tốn phân loại khác Luận văn phân tích kết ma trận nhầm lẫn mơ hình đạt kết tốt tập liệu kiểm tra mơ hình BERT Hình 4.7 Ma trận nhầm lẫn mơ hình BERT tập liệu kiểm tra Nhìn vào Hình 4.7, thấy kết dự đốn nhãn với mơ hình BERT Chúng ta thấy nhãn nhãn tiêu cực, có 59 mẫu dự đốn đúng, nhãn bị dự đốn sai thành nhãn tích cực, 12 nhãn dự đốn sai thành nhãn tiềm Cịn ngược lại có mẫu nhãn tích cực bị dự đoán sai thành nhãn Tiềm Tương tự nhãn Tiềm bị dự đốn sai qua nhãn Tích cực với mẫu liệu Sau đây, luận văn đưa mẫu câu bị dự đoán sai tập kiểm tra để tiến hành phân tích 44 Bảng 4.2 So sánh nhãn dự đoán nhãn thực tế Nhãn Dự đoán Rẻ ta Tích cực Tiêu cực dùng mytv năm k làm thất vọng Tích cực Tiêu cực Đăng kí k ủng_hộ nhà đài phát triển người ơii Tích cực Tiềm dùng gói hiện_tại ok k muốn đổi Tích cực Tiềm tiếc q đăng_ký gói home super xong Tiềm Tiêu cực có nhiều gói home k biết chọn gói ln Tiềm Tích cực từ ngày làm hội_viên vina tiết_kiệm bao tiền Tích cực Tiềm admin nhiệt_tình dùm Tiêu cực Tích cực cảm_ơn admin đăng tính đổi gói Tiềm Tích cực mạng quay điều quay điều mà quảng_cáo nổ trời Tiêu cực Tích cực Câu bình luận muốn tham_gia nhận mã dự thưởng làm thế_nào ad hứa tặng module 5g mà biết bao_lâu chưa thấy chán nhà mạng kinh Nhìn vào bảng 4.2, ta thấy số câu bình luận bị dự đốn sai tập kiểm tra Ví dụ câu “Rẻ ta” có nhãn Tích cực mơ hình lại dự đốn lại Tiêu cực, vấn đề mơ hình chưa học mẫu câu dạng nên mơ hình dự đốn sai Hoặc câu bình luận “admin nhiệt tình dùm nhé” có nhãn Tiêu cực mơ hình lại dự đốn tích cực, câu bình luận mang ý nghĩa Tiêu cực hàm ý nên thật mơ hình khó xác định mẫu câu Để giải vấn đề ta cần bổ sung thêm liệu để huấn luyện dạng câu 45 CHƯƠNG 5: CHƯƠNG TRÌNH MINH HỌA Nhằm chứng thực kiến thức cài đặt mô hình mà học viên nghiên cứu luận văn liệu thực tế Học viên tiến hành xây dựng ứng dụng web cho phép thực kết trả từ mơ hình cách trực quan thân thiện với người dùng Ứng dụng cho phép người dùng nhập câu bình luận trực tiếp trả kết phân tích trạng thái cảm xúc câu bình luận Để xây dựng ứng dụng chương trình minh họa dạng client-server, học viên sử dụng dụng mã nguồn mở Flask ngơn ngữ lập trình Python kết hợp kỹ thuật html, css để xây dựng ứng dụng Flask mã nguồn mở nhỏ mạnh mẽ cho việc xây dựng ứng dụng Web Python Flask nhiều người lựa chọn dễ học dễ dàng để sử dụng, cho phép người dùng xây dựng ứng dụng web khoảng thời gian định 5.1 Thiết kế phần ứng dụng: Phần mơ hình back-end bên xây dựng ngôn ngữ Python thông qua thư viện mã nguồn mở Flask Lý do, học viên lựa chọn ngôn ngữ Python làm mơ hình server hỗ trợ việc truy xuất kết mơ hình tốt sử dụng ngôn ngữ khác Phần xử lý server mơ hình bao gồm chức - Hiển thị trang cho phép người dùng đưa liệu dạng file csv lên để xử lý - Hiển thị kết phân tích mơ hình - Hiển thị thơng báo lỗi cho người dùng người dùng upload file sai định dạng Trang chủ Trang upload file liệu để dự đoán Trang hiển thị kết dự đoán mơ hình Trang thị thơng báo lỗi định dạng 5.2 Chức ứng dụng Hiện ứng dụng có chức cho phép người dùng upload file liệu dạng file csv Người dùng nhấn vào biểu tượng file upload có chứa thơng tin 46 file upload hình 5.1 Sau người dùng bấm nút “Upload”, file upload tải xuống phần server bên để phân tích: - Khi nhận file upload từ người dùng, hệ thống kiểm tra định dạng file đưa lên Nếu kết file khơng đưa thông báo cho người dùng biết thử lại Hình 5.4 - Trường trường hợp định dạng file hệ thống đọc thơng tin dịng liệu Áp dụng phương pháp tiền xử lý rút trích đặc trưng sau đưa vào mơ hình để tiến hành phân tích kết trả thị cho người dùng - Hệ thống có chức tải kết xuống dạng file csv để người dùng mở file excel để xử lý Sau giao diện ứng dụng minh họa chương trình 5.3 Giao diện ứng dụng Sau số hình ảnh kết xây dựng ứng dụng phân tích ý kiến bình luận người dùng tập đồn VNPT Hình 5.1 Giao diện chương trình ứng dụng demo luận văn 47 Hình 5.2 Giao diện kết chương trình sau nhấn nút upload kết dự đốn thị hình Hình 5.3 Kết định dạng file csv tải xuống chương trình 48 Hình 5.4 Kết trả người dùng nhập định dạng file không 49 CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Qua luận văn học viên tìm hiểu khái qt kiến thức mơ hình máy học, học sâu kiến thức liên quan đến lĩnh vực Xử lý ngơn ngữ tự nhiên nói chung tốn phân tích cảm xúc nói riêng Đặc biệt thực tập trung nghiên cứu kiến trúc mơ hình máy học truyền thống Support Vector Machine, Nạve Bayes, Cây định, mơ hình học sâu CNN mơ hình BERT, kỹ thuật phương pháp áp dụng cho toán cách áp dụng Deep Learning cho tốn Ngồi học viên thu thập gán nhãn liệu cho tốn phân tích cảm xúc bình luận người dùng mạng xã hội doanh nghiệp VNPT Bộ liệu gán nhãn theo nhãn là: Tích cực, tiêu cực khách hàng tiềm Dựa thực nghiệm phương pháp này, đề tài nêu lên ưu điểm hạn chế hướng giải cho tốn phân tích cảm xúc bình luận tiếng Việt 6.2 Hướng phát triển Như trình bày, liệu mà học viên xây dựng tồn hạn chế sau: (1) Số lượng liệu câu bình luận gán nhãn bình luận cịn hạn chế, cụ thể thời gian làm luận văn có hạn nên học viên xây dựng liệu với kích thước 3056 câu bình luận gán nhãn Trong có 1456 câu bình luận tích cực, 1249 câu bình luận khách hàng tiềm 351 bình luận tiêu cực (2) Tỷ lệ cân nhãn vấn đề cần quan tâm, tương lai liệu cần bổ sung thêm câu bình luận có nhãn tiêu cực nhãn cảm xúc quan trọng (3) Bộ liệu chủ yếu câu văn ngắn, đơn giản chưa bao quát đầy đủ khía cạnh sắc thái cảm xúc ngôn ngữ tự nhiên, cần bổ sung thêm câu văn, cụm từ mang cảm xúc trung tính học viên nghĩ liệu trở nên hấp dẫn cho việc nghiên cứu Cịn hướng phát triển phương pháp học viên đề xuất nghiên cứu tốn phân tích cảm xúc nói chung liệu học viên nói riêng, cần giải vấn đề cân liệu Có thể nghiên cứu cần phân tích kỹ đặc tính ngơn ngữ tiếng Việt kết hợp với mơ hình máy học, học sâu khác để nâng cao hiệu dự đốn mơ hình Xây dựng liệu 50 mơ hình phân loại cảm xúc đa chủ để ứng dụng vào thực tế tốt Ví dụ: phân loại cảm xúc sản phẩm, cảm xúc dịch vụ, cảm xúc thái độ phục vụ nhân viên…v.v TÀI LIỆU THAM KHẢO [1] Ilham Esa Tiffani, “Optimization of Naïve Bayes Classifier By Implemented Unigram, Bigram, Trigram for Sentiment Analysis of Hotel Review”, JOSCEX, vol 1, no 1, pp 1-7, Oct 2020 [2] Liu Y., Bi J.-W., Fan Z.-P “Multi-class sentiment classification: The experimental comparisons of feature selection and machine learning algorithms” Expert Systems with Applications, 80 (2017), pp 323-339 [3] Pavel, M.I., Razzak, R., Sengupta, K., Niloy, M.D.K., Muqith, M.B., Tan, S.Y (2021) Toxic Comment Classification Implementing CNN Combining Word Embedding Technique In: Smys, S., Balas, V.E., Kamel, K.A., Lafata, P (eds) Inventive Computation and Information Technologies Lecture Notes in Networks and Systems, vol 173 [4] M Yang, W Zhao, J Ye, Z Lei, Z Zhao, and S Zhang, “Investigating capsule networks with dynamic routing for text classification,” in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pp 3110–3119, 2018 [5] Y Wang, A Sun, J Han, Y Liu, and X Zhu, “Sentiment analysis by capsules,” in Proc WWW, 2018, pp 1165–1174, 2018 [6] N X Bach and T M Phuong, "Leveraging User Ratings for Resource-poor Sentiment Classification," Procedia Computer Science, vol 60, pp 322-331, 2015 [7] PHAM, Duc-Hong Exploring the Effect of Word Embeddings and Bag-of-Words for Vietnamese Sentiment Analysis In: International Conference on Ubiquitous Computing and Intelligent Information Systems Springer, Singapore, 2022 p 595-605 [8] Duong, H T., Nguyen-Thi, T A., & Hoang, V T (2022) Vietnamese Sentiment Analysis under Limited Training Data Based on Deep Neural Networks Complexity, 2022 [9] Tung, Nguyen Son, et al "Stock article title sentiment-based classification using PhoBERT." Proceedings of the 2nd International Conference on Human-centered Artificial Intelligence (Computing4Human 2021) CEUR Workshop Proceedings, Da Nang, Vietnam (Oct 2021) [10] Devlin, J., Chang, M W., Lee, K., & Toutanova, K (2019, June) BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume (Long and Short Papers) (pp 4171-4186) [11] Nguyen, Dat Quoc, and Anh-Tuan Nguyen "PhoBERT: Pre-trained language models for Vietnamese." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp 1037-1042 2020 [12] Y Kim, “Convolutional neural networks for sentence classification,” in Proc EMNLP, 2014, pp 1746–1751, 2014 [13] Webb, G I., Keogh, E., & Miikkulainen, R (2010) Naïve Bayes Encyclopedia of machine learning, 15, 713-714 [14] Carroll, R J., & Pederson, S (1993) On robustness in the logistic regression model Journal of the Royal Statistical Society: Series B (Methodological), 55(3), 693-706 [15] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean 2013a Efficient Estimation of Word Representations in Vector Space In ICLR Workshop Papers [16] Pennington, J., Socher, R., & Manning, C D (2014, October) Glove: Global vectors for word representation In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) (pp 1532-1543) [17] Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., & Duchesnay, E (2011) Scikit-learn: Machine learning in Python the Journal of machine Learning research, 12, 2825-2830 [18] Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., & Zheng, X (2016) Tensorflow: Large-scale machine learning on heterogeneous distributed systems arXiv preprint arXiv:1603.04467 [19] Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., & Rush, A M (2020, October) Transformers: State-of-the-art natural language processing In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations (pp 38-45) ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG NHẬN DẠNG VÀ PHÂN TÍCH NHU CẦU KHÁCH HÀNG TRÊN MẠNG XÃ HỘI Chuyên ngành: Công nghệ thông tin Mã số: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN ĐỒNG... bày nghiên cứu với đề tài “ Nhận dạng phân tích nhu cầu khách hàng mạng xã hội? ?? Mục tiêu đề tài xây dựng liệu cho tốn nhận diện phân tích cảm xúc khách hàng mạng xã hội áp dụng phương pháp máy... sâu cho tốn phân tích cảm xúc bình luận người dùng thu thập 1.4 Phương pháp nghiên cứu Để hoàn thiện đề tài luận văn thạc sĩ với tiêu “ Nhận dạng phân tích nhu cầu khách hàng mạng xã hội? ??, học