Nghiên cứu phát triển hệ thống trả lời tự động các dịch vụ chăm sóc sinh viên bằng công nghệ Chatbot.pdf

Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH BÙI DUY TÂN NGHIÊN CỨU PHÁT TRIÉN HẸ THƠNG TRẢ LỜI Tự ĐỘNG CÁC DỊCH vụ CHĂM SĨC SINH VIÊN BẰNG CÔNG NGHỆ CHATBOT LUẬN VĂN THẠC sĩ CƠNG NGHỆ THƠNG TIN Tp Hồ Chí Minh - 2022 Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH BÙI DUY TÂN NGHIÊN CỨU PHÁT TRIÉN HỆ THỐNG TRẢ LỜI Tự ĐỘNG CÁC DỊCH vụ CHĂM SÓC SINH VIÊN BẰNG CÔNG NGHỆ CHATBOT CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: 8480201 LUẬN VĂN THẠC sĩ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẴN KHOA HỌC TS NGƯYỀN KIM QƯỐC Tp Hồ Chí Minh - 2022 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu cúa riêng cá nhân thực hướng dẫn TS Nguyễn Kim Ọuốc Những kết đạt luận văn sản phâm riêng cá nhân, không chép người khác Nội dung luận văn có tham khảo sứ dụng số thông tin, tài liệu từ nguồn sách, báo, tạp chí liệt kê danh mục tài liệu tham khảo Tp HCM, tháng năm 2022 TÁC GIẢ LUẬN VĂN Bùi Duy Tân LỜI CẢM ƠN Trước hết, tơi xin bày tỏ lịng tri ân sâu sắc đến Thầy Tiến sĩ Nguyễn Kim Quốc - Khoa Công nghệ thông tin - Trường Đại học Nguyền Tất Thành tận tình hướng dần, tạo điều kiện thuận lợi nhất, giúp thực hồn thành luận văn Tơi xin trân trọng, biết ơn sâu sắc Quý Thầy Cô Khoa công nghệ thông tin - Đại học Nguyền Tất Thành tận tâm giảng dạy tạo điều kiện giúp đờ suốt thời gian tham gia học tập nghiên cứu Khoa Cuối cùng, xin bày tỏ lời cảm ơn đến bạn tập lớp 20MTH1A, gia đình đồng nghiệp, động viên tinh thần hồ trợ suốt trình học tập thực luận văn Tp Hồ Chí Minh, tháng năm 2022 MỤC LỤC CHƯƠNG 1: TÒNG QUAN .1 1.1 Giới thiệu 1.2 Mục TIÊU NGHIÊN cứu 1.3 ĐÓI TUỢNG VÀ PHẠM VI NGHIÊN cứu 1.4 Cơ SỚ NGHIÊN CỨU 1.5 Phuong pháp nghiên Cứu 1.6 Ý NGHĨA THỰC TIÊN CỦA ĐỀ TÀI CHƯƠNG 2: CÔNG NGHỆ CHATBOT 2.1 Chatbot LÀ Gì 2.2 Lịch sử phát trién Chatbot .6 2.3 Chatbot hoạt động nhu nào? 2.4 CÁC nén tảng phát triền Chatbot 2.4.1 Microsoft Bot Framework [13] 2.4.2 Bot Framework Emulator 2.4.3 Wit 2.4.4 CÁC THU VIỆN DựA TRÊN NỀN TẢNG HỌC MÁY .9 CHƯƠNG 3: CÁC KỸ THUẬT - PHƯƠNG PHÁP VÀ MƠ HÌNH THựC NGHIỆM 10 3.1 Xử LÝ NGÔN NGỮ TỤ NHIÊN (NLP) 10 3.1.1 Khải niệm 10 3.1.2 Những toán bán 10 3.2 Một Số ứng dụng NLP 11 3.3 NLP TRONG Chatbot 12 3.3.1 Phân loại ý định người dùng 12 3.3.2 Trích xuất thơng tin 13 3.3.3 Quản lý hội thoại 13 3.4 Phuong pháp thục 14 3.4.1 Tách từ 14 3.4.2 Mơ hình tủi từ 15 3.4.3 Trọng sổ 15 3.4.4 Độ tương đồng Cosin 16 3.4.5 Phản loại văn 17 3.4.6 Deep Learning NLP [14] 19 3.4.7 NLƯ với Chatbot .24 3.5 Phương pháp đánh giá thực nghiệm 24 3.6 Mơ HÌNH THỰC NGHIỆM 25 CHƯƠNG 4: HỆ THỐNG TRẢ LỜI Tự ĐỘNG CÁC DỊCH vụ CHĂM SÓC SINH VIÊN BẰNG CÔNG NGHỆ CHATBOT 28 4.1 MƠ TÀ BÀI TỐN VÀ BỘ Dừ LIỆU 28 4.1.1 Mơ tả tốn 28 4.1.2 Bộ liệu 29 4.2 YÊU CÀU HỆ THỐNG 31 4.3 CÁC GIAI ĐOẠN THỰC HIỆN 31 4.4 CÔNG NGHỆ Sừ DỤNG 4.5 MÔ TẢ QUY TRÌNH 33 4.5.1 Quy trình qn lý thơng tin Dịch vụ 33 4.5.2 Quy trình quản lý thông tin Hoạt động 38 4.5.3 Quy trình quản lý thơng tin Người dùng 43 4.6 MƠ HÌNH ỨNG DỤNG 46 4.6.1 Sơ đồ chức 46 4.6.2 Mô hình Use Case 48 4.6.3 Sơ đồ lớp 55 4.6.4 Mô tả bủng liệu 55 4.7 Triên khai hệ thống 57 4.7.1 Trình tự thực 4.7.2 Thực nghiệm đánh giá kết 58 4.7.3 Cài đặt ứng dụng 63 ii CHƯƠNG 5: KÉT LUẬN VÀ HƯỚNG PHÁT TRIẺN 68 5.1 Kết luận 68 5.2 Hướng phát triên 68 iii DANH MỤC KÝ HIỆU VÀ VIẾT TẮT Ký hiệu Diễn giải tiếng Anh Diễn giải tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo AIML Artificial Intelligence Markup Ngơn ngừ trí tuệ nhân tạo Language ANN Artificial Neural Network Mạng Neuron nhân tạo BoW Bag of Words Túi từ CBOW Continuous bag of words Mơ hình túi từ liên tục CCG Combinatory categorial grammar Văn phạm danh mục kết nối CFG Context-free grammar Văn phạm phi ngừ cảnh CNN Convolutional Neural Network Mạng Neuron tích chập CNTT Information Technology Cơng nghệ thông tin CSDL Database Cơ sở dừ liệu DG Dependency Grammar Văn phạm phụ thuộc IDF Inverse Document Frequency Tần số nghịch từ tập văn K-NN K-Nearest-Neighbor Thuật tốn học có giám sát LSTM Long Short Term Memory Mơ hình cải tiến mạng Neuron hồi quy - RNN ML Machine Learning Học máy MT Machine Translation Dịch máy NB Naive Bayes Thuật toán phân loại dựa tính tốn xác suất NLG Natural Language Generation Hệ thống sinh ngôn ngừ tự nhiên NLP Natural Language Processing Xử lý ngôn ngừ tự nhiên IV Ký hiệu NLTK Diễn giải tiếng Anh Natural Language Toolkit Diễn giải tiếng Việt Thư viện dùng cho xử lý ngôn ngừ tự nhiên NLƯ Natural Language Understanding Hệ thống hiểu ngôn ngừ tự nhiên RF Random Forests Rừng ngầu nhiên RNN Recurrent Neural Network Mạng Neuron hồi quy SQL Structure Query Language Ngơn ngừ truy vấn có cấu trúc SVM Support Vector Machine Học máy véctơ hồ trọ TF Term Frequency Tần suất xuất từ văn V DANH MỤC HÌNH ẢNH Hình 2.1: Hoạt động Chatbot Hình 2.2: Sơ đồ hoạt động Wit.ai Hình 3.1: Phân lớp dừ liệu với k láng giềng (k = 5) 18 Hình 3.2: Phân lóp rừng ngẫu nhiên 18 Hình 3.3: Phân lóp tuyến tính với học máy SVM 19 Hình 3.4: Mạng nơron đa tầng cho phân lớp 19 Hình 3.5: Mơ hình mạng nơ-ron hồi quy - RNN 20 Hình 3.6: Mơ hình LSTM 21 Hình 3.7: Word2Vector mơ hình 22 Hình 3.8: Ví dụ mơ hình CBOW sinh kết dựa ngừ cảnh 22 Hình 3.9: Mơ hình sequence-to-sequence sử dụng mạng nơ-ron LSTM 23 Hình 3.10: Cơ chế Attention 23 Hình 3.11: Chatbot sử dụng NLP công nghệ Machine learning 25 Hình 3.12: Tiến trình thành phần ML Chatbot 26 Hình 3.13: Hình ảnh minh họa hộp thoại Chatbot 27 Hình 3.14: Mơ hình huấn luyện dừ liệu 27 Hình 4.1: Dừ liệu mẫu corpus vấn đề liên quan đến hoạt động hồ trợ sinh viên 30 Hình 4.2: Quy trình Thêm dịch vụ 33 Hình 4.3: Quy trình Sửa dịch vụ 34 Hình 4.4: Quy trình Xóa dịch vụ 35 Hình 4.5: Quy trình Thêm từ khóa dịch vụ 36 Hình 4.6: Quy trình Cập nhật từ khóa dịch vụ 37 Hình 4.7: Quy trình Thêm hoạt động 38 Hình 4.8: Quy trình Sửa hoạt động 39 Hình 4.9: Quy trình Xóa hoạt động 40 Hình 4.10: Quy trình Thêm hoạt động phụ 41 Hình 4.11: Quy trình Cập nhật hoạt động phụ 42 Hình 4.12: Quy trình Thêm người dùng 43 VI ... DUY TÂN NGHIÊN CỨU PHÁT TRIÉN HỆ THỐNG TRẢ LỜI Tự ĐỘNG CÁC DỊCH vụ CHĂM SÓC SINH VIÊN BẰNG CÔNG NGHỆ CHATBOT CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: 8480201 LUẬN VĂN THẠC sĩ CÔNG NGHỆ THÔNG... 24 3.6 Mơ HÌNH THỰC NGHIỆM 25 CHƯƠNG 4: HỆ THỐNG TRẢ LỜI Tự ĐỘNG CÁC DỊCH vụ CHĂM SÓC SINH VIÊN BẰNG CÔNG NGHỆ CHATBOT 28 4.1 MƠ TÀ BÀI TỐN VÀ BỘ Dừ LIỆU ... vụ chăm sóc tự động, sinh viên tiếp nhận phản hồi cách nhanh chóng nhừng thơng tin hồ trợ cần thiết vấn đề liên quan đến đào tạo; học vụ; đời sống định hướng nghề nghiệp ? ?Hệ thống trả lời tự động