Đề tài nghiên cứu khoa học xây dựng phần mềm phân tích tự động ý kiến phản hồi của sinh viên về chất lượng đào tạo ở phân hiệu trường đại học nội vụ hà nội tại thành phố hồ chí minh

Đồng thời, tại Phân hiệu hiện nay chƣa có phần mềm phân tích tự động ý kiến phản hồi của sinh viên theo khía cạnh đối với nguồn dữ liệu thu đƣợc từ câu hỏi mở cho nên nhóm nghiên cứu chọ

BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI uả n tr ị BÁO CÁO TỔNG HỢP p Q ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG Kh óa lu ận tố tn gh iệ XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số đề tài: ĐTCT.2022.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Hà Nội, Tháng 7/2022 BỘ NỘI VỤ TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI uả n tr ị BÁO CÁO TỔNG HỢP p Q ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG Kh óa lu ận tố tn gh iệ XÂY DỰNG PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO Ở PHÂN HIỆU TRƢỜNG ĐẠI HỌC NỘI VỤ HÀ NỘI TẠI THÀNH PHỐ HỒ CHÍ MINH Mã số đề tài: ĐTCT.2022.133 Chủ nhiệm đề tài: Thạc sỹ Tôn Nữ Thị Sáu Thành viên đề tài: Thạc sỹ Đỗ Phƣớc Sang Thạc sỹ Phạm Thị Thu Trang Thạc sỹ Lê Xuân Hậu Cử nhân Nguyễn Thị Kim Oanh Hà Nội, Tháng 7/2022 MỤC LỤC MỤC LỤC DANH MỤC BẢNG VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ MỞ ĐẦU Tính cấp thiết Mục tiêu đề tài Nhiệm vụ đề tài: Đối tƣợng, phạm vi nghiên cứu Phƣơng pháp nghiên cứu tr ị Ý nghĩa khoa học ý nghĩa thực tiển uả n Kết đề tài 10 Q Cấu trúc đề tài 11 gh iệ p Chƣơng 1: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 12 tn 1.1 Các khái niệm 12 tố 1.1.1 Xử lý ngôn ngữ tự nhiên 12 ận 1.1.2 Bài toán Phân tích ý kiến 13 Kh óa lu 1.1.3 Bài tốn phân tích ý kiến theo khía cạnh 14 1.1.4 Máy học 16 1.2 Một số mơ hình máy học học sâu 17 1.2.1 Mô hình máy học Support Vector Machine 17 1.2.2 Mơ hình mạng học sâu tích chập – Convolutional Neural Network 20 1.2.3 Mơ hình ngôn ngữ BERT 26 1.3 Phƣơng pháp biểu diễn từ 32 1.4 Các cơng trình nghiên cứu ngồi nƣớc 34 Chƣơng 2: XÂY DỰNG DỮ LIỆU DỰA TRÊN Ý KIẾN PHẢN HỒI CỦA SINH VIÊN 37 2.1 Giới thiệu 37 2.2 Gán nhãn liệu 38 2.2.1 Mục tiêu việc gán nhãn 38 2.2.2 Quy trình gán nhãn 39 2.3 Tài liệu hƣớng dẫn nguyên tắc gán nhãn liệu 40 2.3.1 Quy tắc gán nhãn khía cạnh: 40 2.3.2 Quy tắc gán nhãn toán trạng thái cảm xúc 44 2.4 Huấn luyện ngƣời gán nhãn 45 2.5 Thống kê liệu đánh giá liệu 47 Chƣơng 3: KẾT QUẢ THỬ NGHIỆM TRÊN CÁC MÔ HÌNH MÁY HỌC VÀ PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO THEO KHÍA CẠNH 49 3.1 Mơ hình máy học 49 3.2 Mô hình học sâu 50 3.3 Mơ hình ngơn ngữ BERT 52 3.4 Các mơ hình so sánh 54 3.5 Chi tiết cài đặt mơ hình 55 ị 3.6 Kết thử nghiệm 56 uả n tr 3.6.1 Độ đo đánh giá 56 Q 3.6.2 Kết thử nghiệm 57 gh iệ p 3.7 Phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo theo khía cạnh 61 tn 3.7.1 Ngơn ngữ lập trình 61 tố 3.7.2 Mô tả ứng dụng 63 lu ận 3.7.3 Chi tiết chức 64 Kh óa 3.7.3.1 Chức Đăng ký tài khoản 65 3.7.3.2 Chức Đăng nhập tài khoản 65 3.7.3.4 Chức Phân tích ý kiến theo giảng viên 66 3.7.3.5 Chức Phân tích ý kiến theo học phần 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 73 Kết luận 73 Hƣớng phát triển 73 Kiến nghị 74 3.1 Triển khai phần mềm vào thực tế 74 3.2 Phát triển phần mềm tƣơng lai 74 TÀI LIỆU THAM KHẢO 75 DANH MỤC BẢNG VIẾT TẮT TT Chữ viết tắt Phân hiệu TP.HCM NB Giải thích Phân hiệu Trƣờng đại học Nội vụ Hà Nội TP.HCM Naive Bayes NN Neural Network SVM Support Vector Machine LSTM Long Short-Term Memory CNN Convolutional neural network BiLSTM-CNN Bidirectional Long Short-Term Memory-Convolutional Neural Network BERT Bidirectional Transformers ANN Artificial Neural Networks uả n tr ị Representations lu ận tố tn gh iệ p Q Term Frequency – Inverse Document Frequency Kh óa 10 Tf-idf Encoder from DANH MỤC BẢNG BIỂU Kh óa lu ận tố tn gh iệ p Q uả n tr ị Bảng 2.1 Danh sách thống kê số lƣợng khía cạnh liệu 47 Bảng 3.1 Kết thực nghiệm phƣơng pháp cho toán phát khía cạnh tập kiểm tra 58 Bảng Kết thí nghiệm phƣơng pháp cho tốn phát khía cạnh trạng thái cảm xúc tƣơng ứng tập kiểm tra 59 DANH MỤC HÌNH VẼ Kh óa lu ận tố tn gh iệ p Q uả n tr ị Hình 1 Phần mềm Awario phân tích cảm xúc khách hàng 16 Hình Lịch sử phát triển máy học 17 Hình Các mặt phẳng phân tách hai lớp 18 Hình Margin phân chia hai lớp 19 Hình 1.5 Kiến trúc mạng nơ-ron nhân tạo 20 Hình Cấu trúc nốt mạng nơ-ron nhân tạo 21 Hình 1.7 Mơ tả q trình tính tốn tầng tích chập, sử dụng hàm kích hoạt ReLu 22 Hình 1.8 Kết sau qua lớp tổng hợp 23 Hình Đồ thị hàm sigmoid 24 Hình 10 Đồ thị hàm ReLu 25 Hình 11 Đồ thị hàm Tanh 26 Hình 12 Mơ tả q trình sử dụng BERT để rút trích vector biểu diễn văn đầu vào 27 Hình 13 Mơ hình Transformer đƣợc đề xuất tác giả Vaswani et al [21].28 Hình 1.14 Mơ tả đầu vào kiến trúc mơ hình BERT [2] 30 Hình 1.15 Ví dụ biểu diễn câu văn đầu vào mơ hình BERT 30 Hình 1.16 Mơ tả q trình Mơ hình mặt nạ ngôn ngữ [15] 31 Hình 17 Mơ tả q trình Dự đốn câu 31 Hình 18 Các cách tinh chỉnh khác dựa mơ hình BERT 32 Hình Quy trình xây dự liệu 39 Hình 3.1 Mơ hình đề xuất toán phân loại văn 49 Hình 3.2 Kiến trúc mơ hình kết hợp BiLSTM-CNN cho tốn tích ý kiến theo khía cạnh miền liệu giáo dục 50 Hình 3 Kiến trúc tinh chỉnh mơ hình BERT 53 Hình Kết chi tiết khía cạnh trạng thái cảm xúc mơ hình kết hợp BiLSTM-CNN tập kiểm tra 59 Hình 3.5 Kết chi tiết khía cạnh trạng thái cảm xúc mơ hình kết hợp BERT tập kiểm tra 60 Hình 3.6 Mơ hình quan hệ liệu 62 Hình 3.7 Sơ đồ luồng liệu 63 Hình 3.8 Sơ đồ quy trình thực 63 Hình 3.9 Mơ hình phân cấp chức phần mềm Vasf Soft 64 Hình 3.10 Giao diện phần mềm Vasf Soft 64 Kh óa lu ận tố tn gh iệ p Q uả n tr ị Hình 3.11 Giao diện đăng ký tài khoản 65 Hình 3.12 Chức đăng nhập tài khoản 65 Hình 3.13 Chức 66 Hình 3.14 Chức phân tích ý kiến theo giảng viên 66 Hình 3.15.Tải tập tin liệu để phân tích 67 Hình 3.16 Biểu đồ phần trăm khía cạnh giảng viên 68 Hình 3.17 Bản đồ phần trăm cảm xúc theo khía cạnh giảng viên 68 Hình 3.18 Bảng phân tích cụ thể ý kiến sinh viên giảng viên 69 Hình 3.19 Chức phân tích khía cạnh theo học phần 69 Hình 3.20 Tải tập tin liệu ý kiến phản hồi sinh viên học phần 70 Hình 3.21 Biểu đồ phần trăm cảm xúc khía cạnh học phần 71 Hình 3.22 Biểu đồ phần trăm cảm xúc theo khía cạnh học phần 71 Hình 3.23 Bảng phân tích chi tiết ý kiến phản hồi sinh viên học phần 72 MỞ ĐẦU Tính cấp thiết Để thực chủ trƣơng của Bộ Giáo dục Đào tạo nhiều trƣờng đại học cao đẳng Việt Nam triển khai thực lấy ý kiến phản hồi ngƣời học giảng viên nhà trƣờng nhiều hình thức khác sau kết thúc học phần kết thúc học kỳ [26] Cũng nhƣ trƣờng đại học khác từ năm 2017 đến Phân hiệu Trƣờng Đại học Nội vụ Hà nội TP.HCM (Phân hiệu) tiến hành thực lấy ý kiến phản hồi sinh viên chất lƣợng đào tạo cách gửi đƣờng liên kết phiếu khảo sát đến sinh viên sau kết thúc học kỳ Để lấy ý kiến phản hồi sinh viên cách xác, có độ tin cậy n tr ị cao phiếu khảo sát Phân hiệu đƣợc thiết kế loại câu hỏi câu hỏi Q uả đóng câu hỏi mở Đối với ý kiến thu thập đƣợc từ câu hỏi đóng đƣợc Phân iệ p hiệu xử lý phân tích phần mềm Excel, SPSS Nhƣng liệu thu gh đƣợc từ câu hỏi mở thƣờng bị bỏ qua, đọc để biết, khơng đƣợc phân tích cụ tố tn thể Trong ý kiến thu đƣợc từ câu hỏi mở tâm tƣ, nguyện ận vọng, tình cảm, quan điểm…của sinh viên gửi cho Phân hiệu, việc phân tích Kh óa lu nguồn liệu cần thiết giúp cho Phân hiệu hiểu rõ khía cạnh mà sinh viên quan tâm cảm xúc sinh viên khía cạnh Các ý kiến phản hồi cho câu hỏi mở thƣờng văn việc phân tích theo cách thủ cơng gặp nhiều khó khăn, nhiều thời gian, kinh phí nhân lực, Phân hiệu cần phải có phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo cho nguồn liệu thu thập đƣợc từ câu hỏi mở Phần mềm thay cho ngƣời thực cơng việc phân tích ý kiến phản hồi sinh viên theo khía cạnh trạng thái cảm xúc khác Bằng cách sử dụng phần mềm việc phân tích trở nên dễ dàng hơn, giảm thời gian phân tích, giảm nguồn nhân lực thực hiện, điều quan trọng phần mềm đƣa kết phân tích xác có độ đồng cao Từ kết phân tích phần mềm giảng viên, lãnh đạo Phân hiệu thấy đƣợc tranh tổng thể khía cạnh cảm xúc sinh viên khía cạnh để từ đƣa giải pháp kịp tời nhầm nâng cao chất lƣợng đào tạo Phân hiệu Với phát triển mơ hình máy học học sâu, việc áp dụng cơng nghệ trí tuệ nhân tạo vào giải vấn đề thực tế đƣợc nghiên cứu [7] [13] [16] [18] Tuy nhiên vấn đề mơ hình phải xây dựng liệu đƣợc gán nhãn lựa chọn đƣợc mơ hình phù hợp với liệu để nâng cao hiệu suất mơ hình Theo tìm hiểu nhóm nghiên cứu, có liệu ý kiến phản hồi sinh viên nhƣng chƣa có liệu ý kiến phản hồi sinh viên theo khía cạnh miền liệu giáo dục dành cho tiếng Việt Đồng thời, Phân hiệu chƣa có phần mềm phân ị tích tự động ý kiến phản hồi sinh viên theo khía cạnh nguồn liệu n tr thu đƣợc từ câu hỏi mở nhóm nghiên cứu chọn đề tài “Xây dựng phần Q uả mềm phân tích tự động ý kiến phản hồi sinh viên chất lượng đào tạo iệ p Phân hiệu trường Đại học Nội vụ Hà Nội Thành phố Hồ Chí Minh” để thực tố ận Mục tiêu đề tài tn gh lu - Xây dựng liệu gồm có 4.000 ý kiến phản hồi sinh viên theo khía Kh óa cạnh (tiếng Việt) - Nghiên cứu phƣơng pháp máy học, học sâu để giải tốn Phân tích tự động ý kiến phản hồi sinh viên - Xây dựng demo phần mềm phân tích tự động ý kiến phản hồi sinh viên chất lƣợng đào tạo Phân hiệu TP.HCM Nhiệm vụ đề tài: Nhiệm vụ đề tài bao gồm nội dung nhƣ sau: + Nghiên cứu, khảo sát cơng trình liên quan đến tốn Phân tích tự động ý kiến nƣớc giới + Thu thập gán nhãn tập liệu ý kiến phản hồi sinh viên với kích thƣớc 4000 câu ý kiến phản hồi Hình 3.7 Sơ đồ luồng liệu 3.7.2 Mô tả ứng dụng n tr ị Để sử dụng phần mềm, Phân hiệu TP.HCM phải gửi phiếu lấy ý Q uả kiến phản hồi đến sinh viên học phần giảng viên, tiếp iệ p theo sinh viên gửi ý kiến phản hồi cho Phân hiệu TP.HCM, chuyên viên gh phân hiệu phải tổng hợp ý kiến phản hồi sau đƣa ý kiến phản hồi vào tố tn phần mềm Vasf Soft để phân tích, phần mềm trả kết phân tích cho Phân Kh óa lu ận hiệu TP.HCM Hình 3.7 mơ tả sơ đồ quy trình thực Hình 3.8 Sơ đồ quy trình thực 63 Phần mềm Vasf Soft đƣợc xây dựng với mục đích để phân tích tự động ý kiến phản hồi sinh viên Phân hiệu TP.HCM nên nhóm nghiên cứu làm tính phân tích Hình 5.4 mơ tả mơ hình phân cấp tr ị chức phần mềm Vast Soft uả n Hình 3.9 Mơ hình phân cấp chức phần mềm Vasf Soft p Q 3.7.3 Chi tiết chức gh iệ Để sử dụng phần mềm ngƣời dùng truy cập vào đƣờng link www Kh óa lu ận tố tn vasfsoft.com đăng ký tài khoản sau sử dụng Hình 3.10 Giao diện phần mềm Vasf Soft 64 3.7.3.1 Chức Đăng ký tài khoản Sau vào phần mềm Vasf Soft, nhấn vào nút Đăng ký, sau điền thơng tin Email, mật vào mục Mật khẩu, Nhập lại mật khẩu, cuối nhấn vào Đăng ký để đăng ký tài khoản Mật phải bao gồm ký tự hoa, ký tn gh iệ p Q uả n tr ị tự đặc biệt, số chữ tố Hình 3.11 Giao diện đăng ký tài khoản Kh óa lu ận 3.7.3.2 Chức Đăng nhập tài khoản Hình 3.12 Chức đăng nhập tài khoản 65 Để đăng nhập vào tài khoản ngƣời dùng nhập địa email mật đăng ký nhấn vào nút Đăng nhập 3.7.3.3 Chức Thoát tài khoản iệ p Q uả n tr ị Để thoát khỏi tài khoản nhấn Logout, hình trở chức đăng nhập gh Hình 3.13 Chức thoát tố tn 3.7.3.4 Chức Phân tích ý kiến theo giảng viên lu ận Chức Phân tích ý kiến theo giảng viên chức Kh óa phần mềm Vasf Soft Hình 3.14 Chức phân tích ý kiến theo giảng viên Để phân tích ta thực bƣớc nhƣ sau 66 Bƣớc Chuẩn bị tập tin excel tổng hợp ý kiến theo giảng viên Để chuẩn bị file excel mà phần mềm đọc đƣợc ta thực thao tác nhƣ sau Nhấn vào Giảng viên, nhấn vào Tải mẫu file, sau có file mẫu ta thực chép toàn ý kiến vào lƣu lại Bƣớc Tải tập tin liệu lên để phân tích Kh óa lu ận tố tn gh iệ p Q uả n tr ị Nhấn vào Tải liệu đánh giá, xuất hộp thoại sau Hình 3.15.Tải tập tin liệu để phân tích Gõ tên đợt khảo sát đánh giá Nhấn vào nút Choose File để tải file đánh giá lên, Nhấn vào nút Tải phân tích Sau nhấn vào nút phân tích ta đợi phần mềm phân tích khái cạnh Thời gian nhanh hay chậm tuỳ thuộc vào khối lƣợng liệu tốc độ đƣờng truyền internet Bƣớc 3: Chọn đợt phân tích chọn tên giảng viên ta có kết nhƣ sau 67 Biểu đồ thể phần trăm khía cạnh mà sinh viên phản hồi ý n tr ị kiến giảng viên Q uả Hình 3.16 Biểu đồ phần trăm khía cạnh giảng viên Kh óa lu ận tố tn gh iệ p Biểu đồ phần trăm cảm xúc khía cạnh Hình 3.17 Bản đồ phần trăm cảm xúc theo khía cạnh giảng viên Bảng phân tích ý kiến 68 n tr ị Hình 3.18 Bảng phân tích cụ thể ý kiến sinh viên giảng viên iệ p tập tin pdf bảng phân tích giảng viên Q uả Bƣớc 4: Sau phân tích xong, nhấn vào nút Xuất biểu đồ để tải xuống tn gh 3.7.3.5 Chức Phân tích ý kiến theo học phần ận tố Tƣơng tự chức Phân tích ý kiến theo giảng viên chức Phân tích Kh óa Vasf Soft lu ý kiến theo học phần tính phần mềm Hình 3.19 Chức phân tích khía cạnh theo học phần 69 Để phân tích ta thực bƣớc nhƣ sau Bƣớc Chuẩn bị tập tin excel tổng hợp ý kiến theo học phần Để chuẩn bị file excel mà phần mềm đọc đƣợc ta thực thao tác nhƣ sau Nhấn vào Học phần, nhấn vào Tải mẫu file, sau có file mẫu ta thực chép toàn ý kiến vào lƣu lại Bƣớc Tải tập tin liệu lên để phân tích Kh óa lu ận tố tn gh iệ p Q uả n tr ị Nhấn vào Tải liệu đánh giá, xuất hộp thoại sau Hình 3.20 Tải tập tin liệu ý kiến phản hồi sinh viên học phần Tiếp theo Gõ tên đợt khảo sát đánh giá, Nhấn vào nút Choose File để tải file đánh giá lên, Nhấn vào nút Tải phân tích Sau nhấn vào nút phân tích ta đợi phần mềm phân tích khía cạnh Thời gian nhanh hay chậm tuỳ thuộc vào khối lƣợng liệu tốc độ đƣờng truyền internet Bƣớc 3: Chọn đợt phân tích chọn Tên học phần ta có kết nhƣ sau Biểu đồ thể phần trăm khía cạnh mà sinh viên phản hồi ý kiến học phần chọn 70 Kh óa lu ận tố tn gh iệ p Q uả Biểu đồ cảm xúc theo khía cạnh n tr ị Hình 3.21 Biểu đồ phần trăm cảm xúc khía cạnh học phần Hình 3.22 Biểu đồ phần trăm cảm xúc theo khía cạnh học phần Bảng phân tích ý kiến 71 n tr ị Hình 3.23 Bảng phân tích chi tiết ý kiến phản hồi sinh viên học phần p Kh óa lu ận tố tn gh iệ tập tin pdf bảng phân tích học phần Q uả Bƣớc 4: Sau phân tích xong, nhấn vào nút Xuất biểu đồ để tải xuống 72 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong đề tài này, nhóm nghiên cứu trình bày nghiên cứu tốn Phân tích cảm xúc theo khía cạnh ý kiến phản hồi sinh viên với mục tiêu đạt đƣợc nhƣ sau: (1) Thu thập, xây dựng gán nhãn thủ công liệu với kích thƣớc 5010 câu ý kiến bao gồm 11 khía cạnh khía cạnh đƣợc gán trạng thái cảm xúc khác nhau; (2) Nhóm nghiên cứu cài đặt phƣơng pháp máy học, học sâu tr ị liệu xây dựng để làm tảng cho phát triển tốn uả n cơng trình Kết thực nghiệm minh chứng mô BERT cho kết p Q hiệu so với mơ hình khác với số F1 82,53% cho tốn phát gh iệ khía cạnh 79,39% cho tốn phát khía cạnh trạng thái cảm xúc tn tƣơng ứng ận tố (3) Xây dựng ứng dụng web kết hợp lập trình web kết nối AI Kh óa lu để xây dựng ứng dụng hỗ trợ phân tích ý kiến phản hồi sinh viên Hƣớng phát triển Dựa nghiên cứu đề tài này, nhóm nghiên cứu đề xuất nên nâng cao số lƣợng liệu gán nhãn tốn thách thức với số lƣợng nhãn lớn liệu tƣơng đối Do đó, hƣớng nghiên cứu cần tập trung xây dựng liệu lớn Bên cạnh đó, nhóm nghiên cứu đề xuất thử nghiệm mơ hình hiệu nhƣ mơ hình đồ thị để nâng cao hiệu dự đoán Để đảm bảo đủ minh chứng cho công tác kiểm định chất lƣợng quản lý giáo dục Phân hiệu Trƣờng cần phân tích liệu tổng thể với tất câu hỏi đóng mở định hƣớng phát triển phần mềm xây dƣng thêm Phân hệ lấy ý kiến khảo sát sinh viên, để làm nguồn liệu đầu vào cho phân tích 73 Kiến nghị 3.1 Triển khai phần mềm vào thực tế Để triển khai vào thực tế phân hiệu cần thực việc sau: - Mua thêm phân hệ khảo sát ý kiến UniSoft để lấy ý kiến khảo sát ý kiến sinh viên; - Thuê máy chủ ảo (virtual private server - VPS) với cấu hình nhƣ bên dƣới để nhóm nghiên cứu cài đặt phần mềm VasfSoft + Bộ xử lý Intel® Xeon® E5-2680 v2 + Bộ nhớ GB + Ổ cứng SSD: 100 GB tr ị + Winserver 2016 Q uả n 3.2 Phát triển phần mềm tƣơng lai iệ p Để nâng cấp phần mềm có độ xác cao có nhiều tính gh đáp ứng nhu cầu tƣơng lai Phân hiệu Phân hiệu cần đầu tƣ tố tn thêm kinh phí phù hợp tạo điều kiện thời gian để nhóm nghiên cứu tiếp tục Kh óa lu ận nghiên cứu phát triển phần mềm 74 TÀI LIỆU THAM KHẢO Christopher J C Burges (1998), "A Tutorial on Support Vector Machines for Pattern Recognition", Journal Data Mining and Knowledge Discovery, vol 2, no 2, pp 121-167 Devlin, Jacob, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova (2018), "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 Dat Quoc Nguyen and Anh Tuan Nguyen (2020), "PhoBERT: Pre-trained language models for Vietnamese.", In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 1037–1042, Online Association for Computational Linguistics Hai Son Le, Thanh Van Le, and Tran Vu Pham (2015), "Aspect Analysis for Opinion Mining of Vietnamese Text", In Proceedings of the 2015 International Conference on Advanced Computing and Applications (ACOMP) (ACOMP '15): IEEE Computer Society, Washington, DC, USA Kim Schouten and Flavius Frasincar (2016), "Survey on Aspect-Level Sentiment Analysis", IEEE Transactions on Knowledge and Data Engineering, vol 28, no 3, pp 813-830 Kim, Yoon (2014), "Convolutional Neural Networks for Sentence Classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Kiet Van Nguyen, Vu Duc Nguyen, Phu X V Nguyen, Tham T H Truong and Ngan Luu Thuy Nguyen (2018), "UIT-VSFC: Vietnamese Students’ Feedback Corpus for Sentiment Analysis", 2018 10th International Conference on Knowledge and Systems Engineering (KSE), Ho Chi Minh City, pp 19-24 Kukreja, H., Bharath, N., Siddesh, C S., & Kuldeep, S (2016), "An introduction to artificial neural network", Int J Adv Res Innov Ideas Educ, 1, 27-30 Liddy, E D (2001) "Natural language processing" Kh óa lu ận tố tn gh iệ p Q uả n tr ị 10 Marzieh Saeidi, Guillaume Bouchard, Maria Liakata, Sebastian Riedel (2016), “SentiHood: Targeted Aspect Based Sentiment Analysis Dataset for Urban Neighbourhoods”, Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pages 1546– 1556, Osaka, Japan, December 11-17 2016 75 11 Maria Pontik, Dimitrios Galanis, John Pavlopoulos, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar (2014), “SemEval-2014 Task 4: Aspect Based Sentiment Analysis”, Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pages 27–35, Dublin, Ireland, August 23-24, 2014 12 Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad AL-Smadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy (2016), "SemEval-2016 Task 5: Aspect Based Sentiment Analysis", in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval2016), San Diego, California, 2016 n tr ị 13 Marianna Apidianaki, Xavier Tannier, Cécile Richart (2016), "Datasets for AspectBased Sentiment Analysis in French", in Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, 2016 p Q uả 14 Mejova, Y (2009), "Sentiment analysis: An overview", University of Iowa, Computer Science Department tn gh iệ 15 Mahesh, B (2020), "Machine learning algorithms-a review", International Journal of Science and Research (IJSR),[Internet], 9, 381-386 Kh óa lu ận tố 16 Nguyen Thi Thanh Thuy, Ngo Xuan Bach, Tu Minh Phuong (2018), "Cross-Language Aspect Extraction for Opinion Mining", in 10th International Conference on Knowledge and Systems Engineering (KSE), Ho Chi Minh City, Vietnam, 2018 17 Nguyen Thi Minh Huyen, Nguyen Viet Hung, Ngo The Quyen, Vu Xuan Luong, Tran Mai Vu, Ngo Xuan Bach, Le Anh Cuong (2018), "VLSP SHARED TASK: SENTIMENT ANALYSIS", Journal of Computer Science and Cybernetics, vol 34, no 4, p 295–310 18 Quang Hoang Vo, Huy Tien Nguyen, Bac Le, Minh Le Nguyen (2017), "Multi-channel LSTM-CNN model for Vietnamese sentiment analysis" 2017 9th International Conference on Knowledge and Systems Engineering (KSE), Hue, pp 24-29 doi: 10.1109/KSE.2017.8119429 19 Son Trinh, Luu Nguyen, Minh Vo, and Phuc Do (2016), “Lexicon-Based Sentiment Analysis of Facebook Comments in Vietnamese Language”, Cham: Springer International Publishing, pages 263–276 20 Vu Tien Thanh, Pham Huyen Trang, Luu Cong To, Ha Quang Tthuy (2011)., "A Feature-Based Opinion Mining Model on Product Reviews in Vietnamese", Springer, Berlin, Heidelberg 76 21 Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin (2017), "Attention is all you need." Advances in neural information processing systems 30 22 Tran, Tri Cong-Toan, Thien Phu Nguyen, and Thanh-Van Le, "HSUM-HC: Integrating Bert-based hidden aggregation to hierarchical classifier for Vietnamese aspect-based sentiment analysis."(2021), 2021 8th NAFOSTED Conference on Information and Computer Science (NICS) IEEE 23 Van Thin, Dang, et al, "A Joint Multi-task Architecture for Document-level Aspect-based Sentiment Analysis in Vietnamese." (2022), International Journal of Machine Learning and Computing 12.4 (2022) tr ị 24 Van Thin, Dang, et al, "Two new large corpora for vietnamese aspect-based sentiment analysis at sentence level." (2021) Transactions on Asian and Low-Resource Language Information Processing 20.4 (2021): 1-22 gh iệ p Q uả n 25 Giáo dục Đào tạo Công văn số 7324/ BGD ĐT-NGCBQLGD ngày 08/10/2013, hƣớng dẫn tổ chức lấy ý kiến hản hồi từ ngƣời học hoạt động giảng dạy giảng viên , (2013) Kh óa lu ận tố tn 26 Tụng, Đ T., Hƣờng, N T B., & My, N T H, “Công tác lấy ý kiến phản hồi người học trường đại học cao đẳng nay”, Journal of Ethnic Minorities Research, 9(4) (2020) 77