Xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo ở phân hiệu trường đại học nội vụ hà nội tại thành phố hồ chí minh

BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI BÁO CÁO TỔNG HỢP ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số đề tài: ĐTCT.2022.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Hà Nội, Tháng 7/2022 BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI BÁO CÁO TỔNG HỢP ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số đề tài: ĐTCT.2022.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Thành viên đề tài: Thạc sỹ Đỗ Phƣớc Sang Thạc sỹ Phạm Thị Thu Trang Thạc sỹ Lê Xuân Hậu Cử nhân Nguyễn Thị Kim Oanh Hà Nội, Tháng 7/2022 MỤC LỤC MỤC LỤC DANH MỤC BẢNG VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ MỞ ĐẦU Tính cấp thiết Mục tiêu đề tài Nhiệm vụ đề tài: Đối tƣợng, phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa khoa học ý nghĩa thực tiển Kết đề tài 10 Cấu trúc đề tài 11 Chƣơng 1: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 12 1.1 Các khái niệm 12 1.1.1 Xử lý ngôn ngữ tự nhiên 12 1.1.2 Bài toán Phân tích ý kiến 13 1.1.3 Bài tốn phân tích ý kiến theo khía cạnh 14 1.1.4 Máy học 16 1.2 Một số mơ hình máy học học sâu 17 1.2.1 Mơ hình máy học Support Vector Machine 17 1.2.2 Mơ hình mạng học sâu tích chập – Convolutional Neural Network 20 1.2.3 Mơ hình ngơn ngữ BERT 26 1.3 Phƣơng pháp biểu diễn từ 32 1.4 Các công trình nghiên cứu ngồi nƣớc 34 Chƣơng 2: XÂY DỰNG DỮ LIỆU DỰA TRÊN Ý KIẾN PHẢN HỒI CỦA SINH VIÊN 37 2.1 Giới thiệu 37 2.2 Gán nhãn liệu 38 2.2.1 Mục tiêu việc gán nhãn 38 2.2.2 Quy trình gán nhãn 39 2.3 Tài liệu hƣớng dẫn nguyên tắc gán nhãn liệu 40 2.3.1 Quy tắc gán nhãn khía cạnh: 40 2.3.2 Quy tắc gán nhãn toán trạng thái cảm xúc 44 2.4 Huấn luyện ngƣời gán nhãn 45 2.5 Thống kê liệu đánh giá liệu 47 Chƣơng 3: KẾT QUẢ THỬ NGHIỆM TRÊN CÁC MƠ HÌNH MÁY HỌC VÀ PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO THEO KHÍA CẠNH 49 3.1 Mơ hình máy học 49 3.2 Mơ hình học sâu 50 3.3 Mơ hình ngơn ngữ BERT 52 3.4 Các mơ hình so sánh 54 3.5 Chi tiết cài đặt mơ hình 55 3.6 Kết thử nghiệm 56 3.6.1 Độ đo đánh giá 56 3.6.2 Kết thử nghiệm 57 3.7 Phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo theo khía cạnh 61 3.7.1 Ngơn ngữ lập trình 61 3.7.2 Mô tả ứng dụng 63 3.7.3 Chi tiết chức 64 3.7.3.1 Chức Đăng ký tài khoản 65 3.7.3.2 Chức Đăng nhập tài khoản 65 3.7.3.4 Chức Phân tích ý kiến theo giảng viên 66 3.7.3.5 Chức Phân tích ý kiến theo học phần 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 73 Kết luận 73 Hƣớng phát triển 73 Kiến nghị 74 3.1 Triển khai phần mềm vào thực tế 74 3.2 Phát triển phần mềm tƣơng lai 74 TÀI LIỆU THAM KHẢO 75 DANH MỤC BẢNG VIẾT TẮT TT Chữ viết tắt Phân hiệu TP.HCM NB Giải thích Phân hiệu Trƣờng đại học Nội vụ Hà Nội TP.HCM Naive Bayes NN Neural Network SVM Support Vector Machine LSTM Long Short-Term Memory CNN Convolutional neural network BiLSTM-CNN Bidirectional Long Short-Term Memory-Convolutional Neural Network BERT Bidirectional Transformers ANN Artificial Neural Networks 10 Tf-idf Encoder Representations Term Frequency – Inverse Document Frequency from DANH MỤC BẢNG BIỂU Bảng 2.1 Danh sách thống kê số lƣợng khía cạnh liệu 47 Bảng 3.1 Kết thực nghiệm phƣơng pháp cho tốn phát khía cạnh tập kiểm tra 58 Bảng Kết thí nghiệm phƣơng pháp cho tốn phát khía cạnh trạng thái cảm xúc tƣơng ứng tập kiểm tra 59 DANH MỤC HÌNH VẼ Hình 1 Phần mềm Awario phân tích cảm xúc khách hàng 16 Hình Lịch sử phát triển máy học 17 Hình Các mặt phẳng phân tách hai lớp 18 Hình Margin phân chia hai lớp 19 Hình 1.5 Kiến trúc mạng nơ-ron nhân tạo 20 Hình Cấu trúc nốt mạng nơ-ron nhân tạo 21 Hình 1.7 Mơ tả q trình tính tốn tầng tích chập, sử dụng hàm kích hoạt ReLu 22 Hình 1.8 Kết sau qua lớp tổng hợp 23 Hình Đồ thị hàm sigmoid 24 Hình 10 Đồ thị hàm ReLu 25 Hình 11 Đồ thị hàm Tanh 26 Hình 12 Mơ tả q trình sử dụng BERT để rút trích vector biểu diễn văn đầu vào 27 Hình 13 Mơ hình Transformer đƣợc đề xuất tác giả Vaswani et al [21].28 Hình 1.14 Mơ tả đầu vào kiến trúc mơ hình BERT [2] 30 Hình 1.15 Ví dụ biểu diễn câu văn đầu vào mơ hình BERT 30 Hình 1.16 Mơ tả q trình Mơ hình mặt nạ ngơn ngữ [15] 31 Hình 17 Mơ tả q trình Dự đoán câu 31 Hình 18 Các cách tinh chỉnh khác dựa mơ hình BERT 32 Hình Quy trình xây dự liệu 39 Hình 3.1 Mơ hình đề xuất tốn phân loại văn 49 Hình 3.2 Kiến trúc mơ hình kết hợp BiLSTM-CNN cho tốn tích ý kiến theo khía cạnh miền liệu giáo dục 50 Hình 3 Kiến trúc tinh chỉnh mơ hình BERT 53 Hình Kết chi tiết khía cạnh trạng thái cảm xúc mơ hình kết hợp BiLSTM-CNN tập kiểm tra 59 Hình 3.5 Kết chi tiết khía cạnh trạng thái cảm xúc mơ hình kết hợp BERT tập kiểm tra 60 Hình 3.6 Mơ hình quan hệ liệu 62 Hình 3.7 Sơ đồ luồng liệu 63 Hình 3.8 Sơ đồ quy trình thực 63 Hình 3.9 Mơ hình phân cấp chức phần mềm Vasf Soft 64 Hình 3.10 Giao diện phần mềm Vasf Soft 64 Hình 3.11 Giao diện đăng ký tài khoản 65 Hình 3.12 Chức đăng nhập tài khoản 65 Hình 3.13 Chức 66 Hình 3.14 Chức phân tích ý kiến theo giảng viên 66 Hình 3.15.Tải tập tin liệu để phân tích 67 Hình 3.16 Biểu đồ phần trăm khía cạnh giảng viên 68 Hình 3.17 Bản đồ phần trăm cảm xúc theo khía cạnh giảng viên 68 Hình 3.18 Bảng phân tích cụ thể ý kiến sinh viên giảng viên 69 Hình 3.19 Chức phân tích khía cạnh theo học phần 69 Hình 3.20 Tải tập tin liệu ý kiến phản hồi sinh viên học phần 70 Hình 3.21 Biểu đồ phần trăm cảm xúc khía cạnh học phần 71 Hình 3.22 Biểu đồ phần trăm cảm xúc theo khía cạnh học phần 71 Hình 3.23 Bảng phân tích chi tiết ý kiến phản hồi sinh viên học phần 72 MỞ ĐẦU Tính cấp thiết Để thực chủ trƣơng của Bộ Giáo dục Đào tạo nhiều trƣờng đại học cao đẳng Việt Nam triển khai thực lấy ý kiến phản hồi ngƣời học giảng viên nhà trƣờng nhiều hình thức khác sau kết thúc học phần kết thúc học kỳ [26] Cũng nhƣ trƣờng đại học khác từ năm 2017 đến Phân hiệu Trƣờng Đại học Nội vụ Hà nội TP.HCM (Phân hiệu) tiến hành thực lấy ý kiến phản hồi sinh viên chất lƣợng đào tạo cách gửi đƣờng liên kết phiếu khảo sát đến sinh viên sau kết thúc học kỳ Để lấy ý kiến phản hồi sinh viên cách xác, có độ tin cậy cao phiếu khảo sát Phân hiệu đƣợc thiết kế loại câu hỏi câu hỏi đóng câu hỏi mở Đối với ý kiến thu thập đƣợc từ câu hỏi đóng đƣợc Phân hiệu xử lý phân tích phần mềm Excel, SPSS Nhƣng liệu thu đƣợc từ câu hỏi mở thƣờng bị bỏ qua, đọc để biết, khơng đƣợc phân tích cụ thể Trong ý kiến thu đƣợc từ câu hỏi mở tâm tƣ, nguyện vọng, tình cảm, quan điểm…của sinh viên gửi cho Phân hiệu, việc phân tích nguồn liệu cần thiết giúp cho Phân hiệu hiểu rõ khía cạnh mà sinh viên quan tâm cảm xúc sinh viên khía cạnh Các ý kiến phản hồi cho câu hỏi mở thƣờng văn việc phân tích theo cách thủ cơng gặp nhiều khó khăn, nhiều thời gian, kinh phí nhân lực, Phân hiệu cần phải có phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo cho nguồn liệu thu thập đƣợc từ câu hỏi mở Phần mềm thay cho ngƣời thực cơng việc phân tích ý kiến phản hồi sinh viên theo khía cạnh trạng thái cảm xúc khác Bằng cách sử dụng phần mềm việc phân tích trở nên dễ dàng hơn, giảm thời gian phân tích, giảm nguồn nhân lực thực hiện, điều quan trọng phần mềm đƣa kết phân tích xác có độ đồng cao Từ kết phân tích phần mềm giảng viên, lãnh đạo Phân hiệu thấy đƣợc tranh tổng thể khía cạnh cảm xúc sinh viên khía cạnh để từ đƣa giải pháp kịp tời nhầm nâng cao chất lƣợng đào tạo Phân hiệu Với phát triển mơ hình máy học học sâu, việc áp dụng cơng nghệ trí tuệ nhân tạo vào giải vấn đề thực tế đƣợc nghiên cứu [7] [13] [16] [18] Tuy nhiên vấn đề mơ hình phải xây dựng liệu đƣợc gán nhãn lựa chọn đƣợc mơ hình phù hợp với liệu để nâng cao hiệu suất mô hình Theo tìm hiểu nhóm nghiên cứu, có liệu ý kiến phản hồi sinh viên nhƣng chƣa có liệu ý kiến phản hồi sinh viên theo khía cạnh miền liệu giáo dục dành cho tiếng Việt Đồng thời, Phân hiệu chƣa có phần mềm phân tích tự động ý kiến phản hồi sinh viên theo khía cạnh nguồn liệu thu đƣợc từ câu hỏi mở nhóm nghiên cứu chọn đề tài “Xây dựng phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lượng đào tạo Phân hiệu trường Đại học Nội vụ Hà Nội Thành phố Hồ Chí Minh” để thực Mục tiêu đề tài - Xây dựng liệu gồm có 4.000 ý kiến phản hồi sinh viên theo khía cạnh (tiếng Việt) - Nghiên cứu phƣơng pháp máy học, học sâu để giải tốn Phân tích tự động ý kiến phản hồi sinh viên - Xây dựng demo phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo Phân hiệu TP.HCM Nhiệm vụ đề tài: Nhiệm vụ đề tài bao gồm nội dung nhƣ sau: + Nghiên cứu, khảo sát cơng trình liên quan đến tốn Phân tích tự động ý kiến nƣớc giới + Thu thập gán nhãn tập liệu ý kiến phản hồi sinh viên với kích thƣớc 4000 câu ý kiến phản hồi Hình 3.7 Sơ đồ luồng liệu 3.7.2 Mô tả ứng dụng Để sử dụng phần mềm, Phân hiệu TP.HCM phải gửi phiếu lấy ý kiến phản hồi đến sinh viên học phần giảng viên, sinh viên gửi ý kiến phản hồi cho Phân hiệu TP.HCM, chuyên viên phân hiệu phải tổng hợp ý kiến phản hồi sau đƣa ý kiến phản hồi vào phần mềm Vasf Soft để phân tích, phần mềm trả kết phân tích cho Phân hiệu TP.HCM Hình 3.7 mơ tả sơ đồ quy trình thực Hình 3.8 Sơ đồ quy trình thực 63 Phần mềm Vasf Soft đƣợc xây dựng với mục đích để phân tích tự động ý kiến phản hồi sinh viên Phân hiệu TP.HCM nên nhóm nghiên cứu làm tính phân tích Hình 5.4 mơ tả mơ hình phân cấp chức phần mềm Vast Soft Hình 3.9 Mơ hình phân cấp chức phần mềm Vasf Soft 3.7.3 Chi tiết chức Để sử dụng phần mềm ngƣời dùng truy cập vào đƣờng link www vasfsoft.com đăng ký tài khoản sau sử dụng Hình 3.10 Giao diện phần mềm Vasf Soft 64 3.7.3.1 Chức Đăng ký tài khoản Sau vào phần mềm Vasf Soft, nhấn vào nút Đăng ký, sau điền thông tin Email, mật vào mục Mật khẩu, Nhập lại mật khẩu, cuối nhấn vào Đăng ký để đăng ký tài khoản Mật phải bao gồm ký tự hoa, ký tự đặc biệt, số chữ Hình 3.11 Giao diện đăng ký tài khoản 3.7.3.2 Chức Đăng nhập tài khoản Hình 3.12 Chức đăng nhập tài khoản 65 Để đăng nhập vào tài khoản ngƣời dùng nhập địa email mật đăng ký nhấn vào nút Đăng nhập 3.7.3.3 Chức Thoát tài khoản Để thoát khỏi tài khoản nhấn Logout, hình trở chức đăng nhập Hình 3.13 Chức 3.7.3.4 Chức Phân tích ý kiến theo giảng viên Chức Phân tích ý kiến theo giảng viên chức phần mềm Vasf Soft Hình 3.14 Chức phân tích ý kiến theo giảng viên Để phân tích ta thực bƣớc nhƣ sau 66 Bƣớc Chuẩn bị tập tin excel tổng hợp ý kiến theo giảng viên Để chuẩn bị file excel mà phần mềm đọc đƣợc ta thực thao tác nhƣ sau Nhấn vào Giảng viên, nhấn vào Tải mẫu file, sau có file mẫu ta thực chép tồn ý kiến vào lƣu lại Bƣớc Tải tập tin liệu lên để phân tích Nhấn vào Tải liệu đánh giá, xuất hộp thoại sau Hình 3.15.Tải tập tin liệu để phân tích Gõ tên đợt khảo sát đánh giá Nhấn vào nút Choose File để tải file đánh giá lên, Nhấn vào nút Tải phân tích Sau nhấn vào nút phân tích ta đợi phần mềm phân tích khái cạnh Thời gian nhanh hay chậm tuỳ thuộc vào khối lƣợng liệu tốc độ đƣờng truyền internet Bƣớc 3: Chọn đợt phân tích chọn tên giảng viên ta có kết nhƣ sau 67 Biểu đồ thể phần trăm khía cạnh mà sinh viên phản hồi ý kiến giảng viên Hình 3.16 Biểu đồ phần trăm khía cạnh giảng viên Biểu đồ phần trăm cảm xúc khía cạnh Hình 3.17 Bản đồ phần trăm cảm xúc theo khía cạnh giảng viên Bảng phân tích ý kiến 68 Hình 3.18 Bảng phân tích cụ thể ý kiến sinh viên giảng viên Bƣớc 4: Sau phân tích xong, nhấn vào nút Xuất biểu đồ để tải xuống tập tin pdf bảng phân tích giảng viên 3.7.3.5 Chức Phân tích ý kiến theo học phần Tƣơng tự chức Phân tích ý kiến theo giảng viên chức Phân tích ý kiến theo học phần tính phần mềm Vasf Soft Hình 3.19 Chức phân tích khía cạnh theo học phần 69 Để phân tích ta thực bƣớc nhƣ sau Bƣớc Chuẩn bị tập tin excel tổng hợp ý kiến theo học phần Để chuẩn bị file excel mà phần mềm đọc đƣợc ta thực thao tác nhƣ sau Nhấn vào Học phần, nhấn vào Tải mẫu file, sau có file mẫu ta thực chép tồn ý kiến vào lƣu lại Bƣớc Tải tập tin liệu lên để phân tích Nhấn vào Tải liệu đánh giá, xuất hộp thoại sau Hình 3.20 Tải tập tin liệu ý kiến phản hồi sinh viên học phần Tiếp theo Gõ tên đợt khảo sát đánh giá, Nhấn vào nút Choose File để tải file đánh giá lên, Nhấn vào nút Tải phân tích Sau nhấn vào nút phân tích ta đợi phần mềm phân tích khía cạnh Thời gian nhanh hay chậm tuỳ thuộc vào khối lƣợng liệu tốc độ đƣờng truyền internet Bƣớc 3: Chọn đợt phân tích chọn Tên học phần ta có kết nhƣ sau Biểu đồ thể phần trăm khía cạnh mà sinh viên phản hồi ý kiến học phần chọn 70 Hình 3.21 Biểu đồ phần trăm cảm xúc khía cạnh học phần Biểu đồ cảm xúc theo khía cạnh Hình 3.22 Biểu đồ phần trăm cảm xúc theo khía cạnh học phần Bảng phân tích ý kiến 71 Hình 3.23 Bảng phân tích chi tiết ý kiến phản hồi sinh viên học phần Bƣớc 4: Sau phân tích xong, nhấn vào nút Xuất biểu đồ để tải xuống tập tin pdf bảng phân tích học phần 72 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong đề tài này, nhóm nghiên cứu trình bày nghiên cứu tốn Phân tích cảm xúc theo khía cạnh ý kiến phản hồi sinh viên với mục tiêu đạt đƣợc nhƣ sau: (1) Thu thập, xây dựng gán nhãn thủ công liệu với kích thƣớc 5010 câu ý kiến bao gồm 11 khía cạnh khía cạnh đƣợc gán trạng thái cảm xúc khác nhau; (2) Nhóm nghiên cứu cài đặt phƣơng pháp máy học, học sâu liệu xây dựng để làm tảng cho phát triển toán cơng trình Kết thực nghiệm minh chứng mô BERT cho kết hiệu so với mơ hình khác với số F1 82,53% cho tốn phát khía cạnh 79,39% cho tốn phát khía cạnh trạng thái cảm xúc tƣơng ứng (3) Xây dựng ứng dụng web kết hợp lập trình web kết nối AI để xây dựng ứng dụng hỗ trợ phân tích ý kiến phản hồi sinh viên Hƣớng phát triển Dựa nghiên cứu đề tài này, nhóm nghiên cứu đề xuất nên nâng cao số lƣợng liệu gán nhãn toán thách thức với số lƣợng nhãn lớn liệu tƣơng đối Do đó, hƣớng nghiên cứu cần tập trung xây dựng liệu lớn Bên cạnh đó, nhóm nghiên cứu đề xuất thử nghiệm mơ hình hiệu nhƣ mơ hình đồ thị để nâng cao hiệu dự đoán Để đảm bảo đủ minh chứng cho công tác kiểm định chất lƣợng quản lý giáo dục Phân hiệu Trƣờng cần phân tích liệu tổng thể với tất câu hỏi đóng mở định hƣớng phát triển phần mềm xây dƣng thêm Phân hệ lấy ý kiến khảo sát sinh viên, để làm nguồn liệu đầu vào cho phân tích 73 Kiến nghị 3.1 Triển khai phần mềm vào thực tế Để triển khai vào thực tế phân hiệu cần thực việc sau: - Mua thêm phân hệ khảo sát ý kiến UniSoft để lấy ý kiến khảo sát ý kiến sinh viên; - Thuê máy chủ ảo (virtual private server - VPS) với cấu hình nhƣ bên dƣới để nhóm nghiên cứu cài đặt phần mềm VasfSoft + Bộ xử lý Intel® Xeon® E5-2680 v2 + Bộ nhớ GB + Ổ cứng SSD: 100 GB + Winserver 2016 3.2 Phát triển phần mềm tƣơng lai Để nâng cấp phần mềm có độ xác cao có nhiều tính đáp ứng nhu cầu tƣơng lai Phân hiệu Phân hiệu cần đầu tƣ thêm kinh phí phù hợp tạo điều kiện thời gian để nhóm nghiên cứu tiếp tục nghiên cứu phát triển phần mềm 74 TÀI LIỆU THAM KHẢO Christopher J C Burges (1998), "A Tutorial on Support Vector Machines for Pattern Recognition", Journal Data Mining and Knowledge Discovery, vol 2, no 2, pp 121-167 Devlin, Jacob, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova (2018), "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 Dat Quoc Nguyen and Anh Tuan Nguyen (2020), "PhoBERT: Pre-trained language models for Vietnamese.", In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 1037–1042, Online Association for Computational Linguistics Hai Son Le, Thanh Van Le, and Tran Vu Pham (2015), "Aspect Analysis for Opinion Mining of Vietnamese Text", In Proceedings of the 2015 International Conference on Advanced Computing and Applications (ACOMP) (ACOMP '15): IEEE Computer Society, Washington, DC, USA Kim Schouten and Flavius Frasincar (2016), "Survey on Aspect-Level Sentiment Analysis", IEEE Transactions on Knowledge and Data Engineering, vol 28, no 3, pp 813-830 Kim, Yoon (2014), "Convolutional Neural Networks for Sentence Classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Kiet Van Nguyen, Vu Duc Nguyen, Phu X V Nguyen, Tham T H Truong and Ngan Luu Thuy Nguyen (2018), "UIT-VSFC: Vietnamese Students’ Feedback Corpus for Sentiment Analysis", 2018 10th International Conference on Knowledge and Systems Engineering (KSE), Ho Chi Minh City, pp 19-24 Kukreja, H., Bharath, N., Siddesh, C S., & Kuldeep, S (2016), "An introduction to artificial neural network", Int J Adv Res Innov Ideas Educ, 1, 27-30 Liddy, E D (2001) "Natural language processing" 10 Marzieh Saeidi, Guillaume Bouchard, Maria Liakata, Sebastian Riedel (2016), “SentiHood: Targeted Aspect Based Sentiment Analysis Dataset for Urban Neighbourhoods”, Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pages 1546– 1556, Osaka, Japan, December 11-17 2016 75 11 Maria Pontik, Dimitrios Galanis, John Pavlopoulos, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar (2014), “SemEval-2014 Task 4: Aspect Based Sentiment Analysis”, Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pages 27–35, Dublin, Ireland, August 23-24, 2014 12 Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad AL-Smadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy (2016), "SemEval-2016 Task 5: Aspect Based Sentiment Analysis", in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval2016), San Diego, California, 2016 13 Marianna Apidianaki, Xavier Tannier, Cécile Richart (2016), "Datasets for AspectBased Sentiment Analysis in French", in Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016 14 Mejova, Y (2009), "Sentiment analysis: An overview", University of Iowa, Computer Science Department 15 Mahesh, B (2020), "Machine learning algorithms-a review", International Journal of Science and Research (IJSR),[Internet], 9, 381-386 16 Nguyen Thi Thanh Thuy, Ngo Xuan Bach, Tu Minh Phuong (2018), "Cross-Language Aspect Extraction for Opinion Mining", in 10th International Conference on Knowledge and Systems Engineering (KSE), Ho Chi Minh City, Vietnam, 2018 17 Nguyen Thi Minh Huyen, Nguyen Viet Hung, Ngo The Quyen, Vu Xuan Luong, Tran Mai Vu, Ngo Xuan Bach, Le Anh Cuong (2018), "VLSP SHARED TASK: SENTIMENT ANALYSIS", Journal of Computer Science and Cybernetics, vol 34, no 4, p 295–310 18 Quang Hoang Vo, Huy Tien Nguyen, Bac Le, Minh Le Nguyen (2017), "Multi-channel LSTM-CNN model for Vietnamese sentiment analysis" 2017 9th International Conference on Knowledge and Systems Engineering (KSE), Hue, pp 24-29 doi: 10.1109/KSE.2017.8119429 19 Son Trinh, Luu Nguyen, Minh Vo, and Phuc Do (2016), “Lexicon-Based Sentiment Analysis of Facebook Comments in Vietnamese Language”, Cham: Springer International Publishing, pages 263–276 20 Vu Tien Thanh, Pham Huyen Trang, Luu Cong To, Ha Quang Tthuy (2011)., "A Feature-Based Opinion Mining Model on Product Reviews in Vietnamese", Springer, Berlin, Heidelberg 76 21 Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin (2017), "Attention is all you need." Advances in neural information processing systems 30 22 Tran, Tri Cong-Toan, Thien Phu Nguyen, and Thanh-Van Le, "HSUM-HC: Integrating Bert-based hidden aggregation to hierarchical classifier for Vietnamese aspect-based sentiment analysis."(2021), 2021 8th NAFOSTED Conference on Information and Computer Science (NICS) IEEE 23 Van Thin, Dang, et al, "A Joint Multi-task Architecture for Document-level Aspect-based Sentiment Analysis in Vietnamese." (2022), International Journal of Machine Learning and Computing 12.4 (2022) 24 Van Thin, Dang, et al, "Two new large corpora for vietnamese aspect-based sentiment analysis at sentence level." (2021) Transactions on Asian and Low-Resource Language Information Processing 20.4 (2021): 1-22 25 Giáo dục Đào tạo Công văn số 7324/ BGD ĐT-NGCBQLGD ngày 08/10/2013, hƣớng dẫn tổ chức lấy ý kiến hản hồi từ ngƣời học hoạt động giảng dạy giảng viên , (2013) 26 Tụng, Đ T., Hƣờng, N T B., & My, N T H, “Công tác lấy ý kiến phản hồi người học trường đại học cao đẳng nay”, Journal of Ethnic Minorities Research, 9(4) (2020) 77 ... từ câu hỏi mở nhóm nghiên cứu chọn đề tài ? ?Xây dựng phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lượng đào tạo Phân hiệu trường Đại học Nội vụ Hà Nội Thành phố Hồ Chí Minh? ?? để thực...BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI BÁO CÁO TỔNG HỢP ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU... hồi sinh viên theo khía cạnh nhóm nghiên cứu tiến hành thu thập ý kiến phản hồi sinh viên học Phân hiệu Trƣờng đại học nội vụ Hà Nội TP.HCM học phần mà sinh viên đƣợc học học kỳ năm học 2020