Nghiên cứu xây dựng hệ thống chatbot hỗ trợ tư vấn tuyển sinh cho trường đại học sư phạm, đại học đà nẵng

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM - NGUYỄN BẢO QUỐC NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CHATBOT HỖ TRỢ TƢ VẤN TUYỂN SINH CHO TRƢỜNG ĐẠI HỌC SƢ PHẠM, ĐẠI HỌC ĐÀ NẴNG U N V N THẠC S NGÀNH HỆ THỐNG THÔNG TIN Đ N n - Năm 2023 ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC SƢ PHẠM - NGUYỄN BẢO QUỐC NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CHATBOT HỖ TRỢ TƢ VẤN TUYỂN SINH CHO TRƢỜNG ĐẠI HỌC SƢ PHẠM, ĐẠI HỌC ĐÀ NẴNG Chuyên n nh: Hệ thốn thôn tin Mã số: 84.80.104 U N V N THẠC S NGƢỜI HƢỚNG DẪN KHOA HỌC TS NGUYỄN ĐÌNH ẦU Đ N n - Năm 2023 iv MỤC ỤC Lời cam đoan i Tóm tắt ii Abstract iii Danh mục từ viết tắt vii Danh mục hình vẽ, đồ thị viii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu .1 Đối tượng phạm vi nghiên cứu .2 Phương pháp nghiên cứu .2 Ý nghĩa khoa học thực tiễn đề tài Kết đạt Bố cục luận văn: CHƢƠNG I: TỔNG QUAN VỀ HỌC MÁY VÀ XỬ Ý NGÔN NGỮ TỰ NHIÊN 1.1 Tổn quan học máy 1.1.1 Trí tuệ nhân tạo 1.1.2 Học máy 1.2 Chatbot 1.2.1 Khái niệm 1.2.2 Lịch sử đời 1.2.3 Cấu tạo chatbot 1.2.4 Phân loại chatbot .9 1.2.5 Cách thức hoạt động 10 1.2.6 Một số ứng dụng chatbot .10 1.2.7 Xu hướng phát triển 11 1.3 Tiền xử lý tron n ôn n ữ tự nhiên 12 1.3.1 Xử lý ngôn ngữ tự nhiên 12 v 1.3.2 Các bước tiền xử lý 13 1.4 Xử lý n ôn n ữ tự nhiên 18 1.4.1 Bag of words 18 1.4.2 BoW hoạt động ? 18 1.5 Kết chƣơn 22 CHƢƠNG 2: ỨNG DỤNG CÁC PHƢƠNG PHÁP VÀ THU T TOÁN TRONG VIỆC XÂY DỰNG CHATBOT 24 2.1 Tổn quan mạn nơ ron nhân tạo .24 2.1.1 Kiến trúc mạng nơ ron nhân tạo 24 2.2 Mạn nơ-ron hồi quy (RNN) .25 2.2.1 Các dạng toán RNN 26 2.3 Mạn nhớ d i-n ắn (LSTM) .26 2.3.1 Các bước cài đặt LSTM 28 2.3.2 Ưu nhược điểm LSTM .30 2.4 Dữ liệu v tiền xử lý 31 2.4.1 Xây dựng model RNNs 33 2.4.2 Ứng dụng thuật toán Recurrent Neural Networks (RNNs) .35 2.4.3 Cài đặt Recurrent Neural Networks (RNNs) 36 2.5 Ƣu nhƣợc điểm Recurrent Neural Networks (RNNs) 37 2.6 Kết chƣơn 38 CHƢƠNG 3: THỰC NGHIỆM HỆ THỐNG CHATBOT HỖ TRỢ 39 TUYỂN SINH 39 3.1 B i toán hỗ trợ tƣ vấn tuyển sinh Đại học 39 3.2 Mơ hình hệ thốn 39 3.3 ựa chọn côn n hệ 41 3.3.1 Python .42 3.3.2 NodeJS 43 3.4 Thực n hiệm 43 vi 3.4.1 Website người dùng truy cập vào 43 3.4.2 Xây dựng liệu huấn luyện liệu chatbot .44 3.4.3 Form hỏi đáp tự động 46 3.5 Kết thực n hiệm 46 3.6 Kết chƣơn 50 KẾT U N VÀ HƢỚNG PHÁT TRIỂN 52 TÀI IỆU THAM KHẢO 54 vii Danh mục từ viết tắt STT Từ viết tắt Từ gốc Tiếng Việt Chatbot Chatbot Hệ thống trả lời tự động ML algorithms Machine Learning algorithms Các thuật toán học máy TF-IDF API Application Programming Interface Giao diện lập trình ứng dụng Regx Regular Expression Biểu thức quy Bow Bag of words NLP Natural processing DM Dialogue Management Quản lý hộp thoại NLG Natural Generation Sinh ngôn ngữ tự nhiên 10 DB Database Cơ sở liệu 11 RNNs Recurrent Neural Networks Mạng nơ-ron hồi quy 12 LSTM Long Short Memory term frequency – inverse document frequency Chỉ mục Một thuật tốn hỗ trợ xử lý ngơn ngữ tự nhiên language Language – Term Xử lý ngôn ngữ tự nhiên Mạng nhớ dài-ngắn viii Danh mục hình vẽ, đồ thị Số hiệu hình vẽ Tên hình vẽ Trang 1.1 Mơ hình tiền xử lý ngơn ngữ tự nhiên 13 1.2 Các bước tiền xử lý ngôn ngữ tự nhiên 13 1.3 Làm text 13 1.4 Ví dụ tách từ 14 1.5 Chuẩn hóa từ 15 1.6 Tần suất xuất từ 16 1.7 One-hot 16 1.8 Ví dụ sử dụng One-hot 17 1.9 Ví dụ biểu thị phân tán 17 1.10 Giá trị TF-IDF 22 2.1 Mơ hình mạng nơ ron nhân tạo 24 2.2 Mạng nơ ron hồi quy có vịng lặp 26 2.3 Chuỗi danh sách mạng chép 26 2.4 Mô-đun lặp lại RNN lớp 27 2.5 Mô-đun lặp lại LSTM chứa bốn lớp tương tác 28 3.1 Mơ hình hệ thống chatbot 39 3.2 Giao diện Trang chủ website tuyển sinh 43 3.3 Dữ liệu huấn luyện 44 3.4 Giao diện website Chatbot 46 3.5 Hiển thị thông tin câu lạc khoa 48 3.6 Hiển thị thông tin mã trường 49 3.7 Hiển thị thông tin hệ đào tạo Trường 49 54 TÀI IỆU THAM KHẢO Tiến Việt [1]Vu Anh (2019) Underthesea - Vietnamese NLP Toolkit H ttps://underthesea.readthedocs.io/en/v1.1.5/readme.html [2] Phạm Quang Nhật Minh (2017) Các toán xử lý ngôn ngữ tự nhiên phát triển hệ thống chatbot Viện nghiên cứu công nghệ FPT (FTRI) Tiến Anh [3] Adamopoulou E., Moussiades L (2020) An Overview of Chatbot Technology In Proc of IFIP Advances in Information and Communication Technology, vol 584 Springer https://doi.org/10.1007/978-3-030-49186-4_31 [4] Bing Liu and Ian Lane (2018) End-to-End Learning of Task- Oriented Dialogs [5] Building Chatbots with Microsoft Bot Framework and Node.js" Mohammad Reza Bhadeshia [6] Colah’s blog, ( 2015) Understanding LSTM Networks https://colah.github.io/posts/2015-08-Understanding-LSTMs/ [7] Daniel Jurafsky and James H Martin (2018) Dialog Systems and Chatbots Speech and Language Processing [8] Daniel Jurafsky, James H Martin 2009 Prentice-Hall 2nd edition Speech and Language Processing: An Introduction to Natural Language Processing, Speech Recognition, and Computational Linguistics [9] Daniel Jurafsky, James Martin (2008) Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [10] Denny Britz, (2015) Recurrent Neural Networks Tutorial Part – Introduction to RNNs http://www.wildml.com/2015/09/recurrentneural-networks/-tutorial-part- 1-introduction-to-rnns/ [11] Hussain S., Ameri Sianaki O., Ababneh N (2019) A Survey on Conversational Agents/Chatbots Classification and Design Techniques In Proc of Advances in Intelligent Systems and Computing, vol 927 Springer https://doi.org/10.1007/978-3-03015035-8_93 [12] Matthew Henderson, Blaise Thomson and Steve Young, (2014) WordBased Dialog State Tracking with Recurrent Neural Networks [13] Natural Language Processing with Python" Steven Bird, Ewan Klein Edward Loper [14] Python Machine Learning" Sebastian Raschka Vahid Mirjalili 55 [15] Sumit Raj, Bangalore, Kamataka, India (2019) Building Chatbots with Python: Using Natural Language Processing and Machine Learning ISBN-13(pbk):978-1- 4842-4095-3 [16] Yun-Nung (Vivian) Chen, Asli Celikyilmaz and Dilek Hakkani-Tur (2018) Deep Learning for Dialogue Systems Association for Computational Linguistics Internet [17] Recurrent Neural Network Url: https://nttuan8.com/bai-13-recurrent-neural-network/ [18] Recurrent Neural Network: Từ RNN đến LSTM Url:https://viblo.asia/p/recurrent-neural-network-tu-rnn-den-lstmgGJ597z1ZX2 [19] Tiền xử lý xử lý ngôn ngữ tự nhiên Url: https://blog.vietnamlab.vn/ban-ve-cong-doan-tien-xu-ly-trongxu-ly-ngon-ngu-tu-nhien/ [20] Deep learning for computational biology Url: https://www.embopress.org/doi/full/10.15252/msb.20156651 [21] Xử lý Ngôn ngữ Tự nhiên: Tiền Huấn luyện Url: https://d2l.aivivn.com/chapter_natural-language-processingpretraining/index_vn.html [22] Tổng quan Neural Network Url: https://itnavi.com.vn/blog/neural-network-la-gi [23] Deep Learning gì? Tổng quan Deep Learning từ A-Z Url: https://vietnix.vn/deep-learning-la-gi/ [24] Bag of Words (Bow) TF-IDF Url: https://hoctructuyen123.net/bag-of-words-bow-tf-idf/ [25] LSTM gì? Url: https://dominhhai.github.io/vi/2017/10/what-is-lstm/ [26] Recurrent Neural Network (RNN) TensorFlow Url: https://websitehcm.com/recurrent-neural-network-rnn-trongtensorflow/ D IHOC à NÁNG TR¯ÜNG I HÌCSì PH M SĐ/444QD-HSP cONG HO¢ Nà HÌI CHỉ NGH(A \IT NAM Ùc l-p - Tđ - H¡nh phúc Nng ngày (hh£ng Snm 2021 QUYÉT ÊNH v viầcgiao ti vtrỏch nhiần húngdônlu-n thĂc si HIỈUTR¯ÜNG TR¯ÜNG I HÌC SU PH M - HÐN Cn cộ Nghậ dậnh 32/CP ngÊr 044 1994 cỗa Chinlh phuv» viÇc thành làp ¡i hÍc Nng: Cn cí Nghậ quyột sẹ 08/NQ-HH nga 12/72021l cỗa Hi ểng Ăi hÍc Nng ban hành Quy ch» tÏ chéc vàho¡t ng cỗa Ăi hc Nng: Cn cộThong tr sú l5/2014/1TT-BGDDTngay 15/5/2014 cỗa B Giỏo dồc v ựo tĂo vằ viÇc ban hành Quy ché t¡o trinh dÙ th¡c s(: Cn cé Qiner dinh só 1060 QP.HSP ng 01/|12016 cia Hien rrong TrrÝng ¡i hÍc Sr ph¡n- HÐN v» viÇc ban hànlh Qn Ënh £o t¡o trinh Ù th¡c s(: Xột ằ nghậ cỗa TrĂng phũng Phửng o tĂo QUY¾T ÊNH: iÁu Giao cho hÍc viên Ngun B£o Qc, ngành HÇ thĐng thơng tin, lÛp K39.HTTT thđc hiÇn è tài lu-n Nghiên céu xây dđng hÇthĐng chathbot hÕ trã t° v¥n tun sinh cho tr°Ýng ¡i hÍc S° ph¡m, ¡i hÍc Nãng d°Ûi sđ h°Ûng d«n cỗa TS Nguyn ỡnh LĐu, Tríng Ăi hc S phĂm -¡i hÍc Nµng iÁu HÍc viên ng°Ýi hng dôn cú tờn ò iốu 1dóc hòng cỏc quyờn lđi vàthđc hiÇn nhiÇm vå dúng theo Quy ch» t¡o trình Ù th¡c si Bo Giáo dåc vàào t¡o ban hành Quy dËnh vê t¡o trinh d thĂc s) cỗa Tríng Ăi hc Su phĂm - DĂi hc Nàng iu Thỗ tròng cỏc don vË liên quan, ng°Ýi h°Ûng dân lu-n hÍc viên có tên ß iÁu Icn cú Qut dËnh thi hành N¡i nh-n: - Nh° iÁu (dê thuc hiÇn): - Ban Giám hiÇu (de bièt): - L°u: VT T HIỈUTR¯ÚNG TR¯âNG AIAOe S¯ PHAM PGS TS L°u Trcng