Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn bản

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn PHẠM THỊ PHƯƠNG ANH Ngành: Khoa học máy tính Giảng viên hướng dẫn: TS Phạm Huy Hồng Trường: Công nghệ Thông tin Truyền thông Hà Nội, 09/2022 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn PHẠM THỊ PHƯƠNG ANH Ngành: Khoa học máy tính Giảng viên hướng dẫn: TS Phạm Huy Hồng —————— Trường: Cơng nghệ Thơng tin Truyền thơng Hà Nội, 09/2022 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ———————————— BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Phạm Thị Phương Anh Đề tài luận văn: Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn Chuyên ngành: Khoa học máy tính Mã số SV: CB190209 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 30/07/2022 với nội dung sau: • Sửa số ý luận văn chưa phù hợp, theo ý kiến Hội đồng • Cấu trúc lại bố cục luận văn: - Chương 1: Bổ sung thêm so sánh tảng Chatbot Chuyển mục 1.6(Tổng quan Deeplearning) sang chương - Chương 2: Bỏ mục 2.2 (Tổng quan Tensorflow framework), bổ sung thêm số nội dung mạng nơ – ron hồi quy RNN, mơ hình Transformer, so sánh ưu điểm mơ hình Transformer mơ hình RNN, mơ hình DIET - Chương 3: Cấu trúc lại chương theo mơ hình học máy Bỏ mục 3.2 (Mơ hình huấn luyện Chatbot) Bổ sung sơ đồ quy trình hoạt động Chatbot, giới thiệu xây dựng liệu sử dụng • Bổ sung số tài liệu tham khảo sử dụng cho đầy đủ • Sửa lỗi tả, lỗi định dạng, bố cục văn Hà Nội, ngày 06 tháng 09 năm 2022 Giảng viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CẢM ƠN Đầu tiên, cho xin gửi lời cảm ơn chân thành đến Thầy, Cô giáo viện Công nghệ thông tin Truyền thơng Trong suốt q trình học tập thực Luận văn tốt nghiệp, Thầy, Cô dạy không kiến thức, kỹ mà cịn truyền cho tơi cảm hứng nhiệt huyết để vững tâm suốt thời gian qua cho chặng đường dài tương lai tới Tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Phạm Huy Hoàng Thầy người định hướng, bảo tận tình, người động viên khích lệ tơi nhiều để tơi hồn thành Luận văn tốt nghiệp Đồng thời xin gửi lời cảm ơn đến gia đình, anh chị, bạn bè, đồng nghiệp quan ủng hộ tinh thần suốt trình thực Luận văn Học viên Phạm Thị Phương Anh C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Tóm tắt nội dung luận văn Trong năm gần đây, khoa học công nghệ dần tiến đến tầm cao Mặc dù mẻ lĩnh vực khoa học công nghệ Chatbot nghiên cứu phát triển với tốc độ chóng mặt trung tâm nghiên cứu nhiều lĩnh vực ứng dụng công nghệ Chatbot hình thức thơ sơ phần mềm trí tuệ nhân tạo, chương trình tạo từ máy tính tiến hành trị chuyện thơng qua phương pháp nhập văn bản, âm thanh, cảm ứng trả lời câu hỏi xử lý tình cơng cụ giao tiếp, tương tác với người thơng qua trí tuệ nhân tạo lập trình sẵn Đại dịch Covid-19 kéo dài năm qua gây nhiều ảnh hưởng nghiêm trọng đến việc lập kế hoạch học tập học sinh gặp nhiều khó khăn Nhiều học sinh chia sẻ cảm thấy bị rối khơng biết lựa chọn phương thức xét tuyển phù hợp Các bạn thường mắc lỗi sai chọn phương thức xét tuyển tiện mà thường không quan tâm đến mạnh, lực thân dẫn đến chọn sai phương thức xét tuyển Cũng có trường hợp học sinh lại “đặt cược” vào phương thức xét tuyển Việc lựa chọn làm hạ thấp khả trúng tuyển Ảnh hưởng đại dịch làm cho công tác tư vấn tuyển sinh chưa đạt hiệu cao ảnh hưởng đến chất lượng đầu vào Việc trực tiếp trường THPT, tư vấn trực tiếp việc khó khăn với tình hình dịch bệnh nên không đáp ứng nhu cầu cung cấp thông tin cho em học sinh lúc thời điểm Nhắc đến Chatbot khơng thể khơng kể đến RNN, LSTM, neural network… Tuy nhiên việc xây dựng Chatbot khơng cịn q phức tạp Qua trình nghiên cứu thuật tốn, framework, tơi đề xuất sử dụng RASA nhằm thực tối thiểu hóa bước để dựng trợ lý ảo Chatbot Và để trực quan hóa q trình xây dựng Chatbot áp dụng RASA framework dựng sản phẩm chatbot hỗ trợ tư vấn tuyển sinh đại học cụ thể phòng tuyển sinh Trường Đại học Nội vụ Hà Nội Với chức giải đáp trực tiếp thông tin ngành học, phương thức xét tuyển, cách thức nộp hồ sơ, … Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an MỤC LỤC MỞ ĐẦU TỔNG QUAN VỀ CHATBOT 1.1 Khái niệm Chatbot 1.2 Các thành phần Chatbot 1.3 Một số phân loại khác Chatbot 1.3.1 Chatbot dựa luật (Rules Based Chatbot) 1.3.2 Chatbot dựa trí tuệ nhân tạo học máy (AI and Machine learning) 1.3.3 Chatbot phạm vi đóng (Close – domain) 1.3.4 Chatbot phạm vi mở (Open – domain) 1.4 Một số tảng công nghệ xây dựng Chatbot 1.5 Một số ứng dụng Chatbot 11 CƠ SỞ LÝ THUYẾT 13 2.1 Cơ Deep learning 13 2.2 Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) 14 2.3 Mơ hình Transformer 16 2.3.1 Mã hóa vị trí 17 2.3.4 Tầng ý đa đầu 21 2.3.5 Kết nối phần dư Lớp chuẩn hóa 21 2.3.6 Bộ giải mã 22 2.4 Ưu điểm mơ hình Transformer so với mơ hình RNN 24 2.5 Mơ hình DIET 25 2.6 RASA Framework 27 2.6.3 Intent 31 2.6.4 Stories 31 2.6.5 Actions 31 2.6.6 Policies 32 2.6.7 Slots 32 2.6.8 Pipeline compoments 32 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn i C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an XÂY DỰNG CÔNG CỤ HỎI ĐÁP THÔNG TIN TƯ VẤN TUYỂN SINH ĐẠI HỌC 34 3.1 Giới thiệu toán 34 3.2 Sơ đồ quy trình hoạt động Chatbot Tư vấn tuyển sinh Đại học Nội vụ HN36 3.3 Xây dựng liệu Chatbot 38 3.3.1 Xây dựng ý định (intent) 38 3.3.2 Xây dựng câu trả lời cho Chatbot 42 3.3.3 Đào tạo cho chatbot 44 3.4 Cài đặt chương trình 44 3.4.1 Kịch hỏi phương thức tuyển sinh 45 3.4.2 Kịch không hiểu câu hỏi người dùng 46 3.4.3 Kịch người dùng hỏi theo stories xây dựng sẵn 47 3.5 Thử nghiệm đánh giá chương trình 48 3.6 Đánh giá 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 TÀI LIỆU THAM KHẢO 53 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn ii C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết Diễn giải Từ chuẩn tắt AI API Artificial Intelligence Trí tuệ nhân tạo Application Programming Giao diện lập trình ứng dụng Interface CRF Conditional Random Fields Mơ hình CRF DL Deep learning Học sâu DM Dialog Management Quản lý hội thoại FAQ Frequently Asked Questions Các câu hỏi thường gặp NLG Natural language generation Sinh ngôn ngữ tự nhiên NLP Natural Languague Processing Xử lý ngôn ngữ tự nhiên NLU Natural language understanding Hiểu ngôn ngữ tự nhiên Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn iii C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC HÌNH VẼ BẢNG Hình 1-1: Kiến trúc chung chatbot Hình 1-2: Chatbot hỗ trợ nút bấm để thao tác Pizza Hut Hình 1-3:Chatbot Messenger trang Pizzahut 12 Hình 2-1: Mạng nơ-ron hồi quy [4] 14 Hình 2-2: Kiến trúc mơ hình Transformer 16 Hình 2-3:Kiến trúc lớp mã hóa giải mã Transformer 18 Hình 2-4: Kiến trúc chi tiết lớp mã hóa Transformer .19 Hình 2-5: Mô tả kiến trúc Multi-Head Attention 21 Hình 2-6: Kiến trúc lớp khối giải mã 22 Hình 2-7: Tổng quan trình biến đổi vectơ đầu lớp giải mã thành từ vựng tương ứng .23 Hình 2-8: So sánh Transformer với mơ hình khác dựa kết đánh giá báo 24 Hình 2-9: Các thành phần Rasa [8] 28 Hình 2-10: Chế độ học tương tác Rasa [8] 29 Hình 2-11: Cách thức Rasa phản hồi tin nhắn .29 Hình 2-12:Cấu trúc chương trình Rasa 30 Hình 3-1: Cấu trúc hệ thống Chatbot Tư vấn tuyển sinh Đại học Nội vụ Hà Nội35 Hình 3-2: Sơ đồ quy trình hoạt động Chatbot 36 Hình 3-3: Đào tạo model .44 Hình 3-4: Giao diện hỗ trợ nút bấm để thao tác 45 Hình 3-5: Trường hợp Chatbot khơng hiểu ý người dùng 46 Hình 3-6: Kịch người dùng hỏi theo stories 47 Hình 3-7: Biểu đồ thống kê mức độ tin cậy dự đoán ý định (intent) 49 Hình 3-8: Biểu đồ ma trận nhầm lẫn (Confusion matrix) nhãn dự đoán nhãn tác vụ phân loại ý định 50 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn iv C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC BẢNG Bảng 1: So sánh 03 tảng: Chatbot Chatfuel, Dialogflow Rasa Bảng 1: Bảng ý định (intent) chabot 40 Bảng 2: Thông số đo intent 48 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn v C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Nhiệm vụ xây dựng tập ý định theo nguyên tắc mẫu câu hỏi mà người dùng có ý định hay sử dụng Cần định nghĩa ý định khớp với ngôn ngữ tự nhiên nhất, hệ thống tác giả định nghĩa ý định sau với nguồn liệu thực nghiệm Bảng 1: Bảng ý định (intent) chabot STT Tên intent greet name goodbye hotline Chào hỏi Tên Tạm biệt Ý định liên quan số hotline phòng tuyển sinh Ý định liên quan về ngành/chuyên ngành đào tạo Trường nganhdaotao hocphi thongtin lydodangkyxettuyen chitieutuyensinh 10 thongtinkyhieu 11 dieukiendangkyxettuyen 12 phuongthuctuyensinh 13 Ý nghĩa Ý định liên quan vấn đề học phí Trường Ý định liên quan đến thông tin Trường xettuyenketquathiTHPT Ý định liên quan đến lý người dung nên đăng ký xét tuyển Ý định hỏi tiêu tuyển sinh ngành/chuyên ngành Ý định hỏi ký hiệu Trường/ký hiệu mã xét tuyển ngành/chuyên ngành Ý định hỏi điều kiện đăng ký tuyển sinh Ý định hỏi cách thức tuyển sinh Ý định hỏi phương thức xét tuyển theo kết thi tốt nghiệp THPT năm 2022 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Câu hỏi 65 108 44 Câu trả lời 1 68 56 40 32 68 62 59 52 62 36 40 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 14 15 16 xettuyenhocba Ý định hỏi phương thức xét tuyển theo kết học tập THPT (lớp 12) Ý định hỏi phương thức xét tuyển theo kết thi đánh xettuyenbaidanhgianangl giá lực Đại học Quốc uc giá Hà nội Đại học Quốc gia TP Hồ Chí Minh năm 2022 Ý định hỏi phương thức xét Xettuyenchungchitienga tuyển theo chứng tiếng Anh nhquocte quốc tế Ý định hỏi phương thức xét tuyển thẳng Ý định hỏi tiêu xét tuyển ngành học 20 68 36 44 72 17 xettuyenthang 18 chitieutuyensinh 19 tohopxettuyen Ý định hỏi tổ hợp môn thi, thi tổ hợp môn học 54 20 hosodangkyxettuyen Ý định hỏi thông tin hồ sơ đăng ký xét tuyển 40 21 chungchitienganh Ý định hỏi thông tin loại chứng đơn vị cấp dùng để xét tuyển 56 22 thoigiandangky Ý định hỏi thời gian đăng ký kết thúc xét tuyển 44 52 20 32 36 40 44 76 40 44 1 23 24 25 26 27 28 29 30 31 thoigiancongbotrungtuye Ý định hỏi thời gian công bố n trúng tuyển Ý định hỏi phiếu đăng ký phieudangkyxettuyen xét tuyển Ý định hỏi số cách thức nộp cachnophoso hồ sơ xét tuyển Ý định hỏi thông tin ký túc kytucxa xá Ý định hỏi thông tin kết thongtinketqua tuyển sinh Ý định hỏi lệ phí xét tuyển lephixettuyen sinh Ý định hỏi thông tin xebus tuyến xe bus bye Ý định chào thank Ý định cảm ơn Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 41 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.3.2 Xây dựng câu trả lời cho Chatbot Khi người dùng đưa câu hỏi, Chatbot xử lý phân loại câu hỏi phản hồi câu trả lời phù hợp với câu hỏi yêu cầu Rasa xây dựng phản hồi cho Chatbot thông qua hành động (action) Action cung cấp thơng tin mong muốn cho người dùng dựa vào ý định, slot liệu lấy từ sở liệu thông qua kết nối API Chatbot Tư vấn tuyển sinh Đại học Nội vụ Hà Nội sử dụng hành động mặc định để xử lý câu trả lời Các hành động dự đoán đưa câu trả lời dựa vào ý định thực thể trích chọn người dùng, xử lý thành phần Dialog management Rasa cung cấp Hành động định sách sách dựa vào quy tắc (Rule policy), sách ghi nhớ (Memorization policy) sách TED (TED policy) - Khai báo sách dựa vào quy tắc (Rule-based policy): Rulebased policies khai báo file rules.yml Ví dụ người dùng nhập câu có ý định “chao_hoi” Chatbot ln đưa câu trả lời “Chào bạn, Tuyển sinh Đại học Nội vụ Hà Nội vui nhận câu hỏi bạn Cùng tương tác với Chatbot để tìm hiểu thêm thơng tin tuyển sinh ĐH Nội vụ Hà Nội nhé! Thân mến ❤” Khai báo Rule policy file rules.yml - rule: respond to chao_hoi intent step: - intent: chao_hoi - action: utter_chao_hoi - rule: respond to cam_on intent step: - intent: cam_on - action: utter_cam_on Khai báo kịch hội thoại: Bằng cách thu thập hội thoại thực tế chuyên viên tư vấn người dùng, ta dựng kịch thơng dụng Ví dụ trước hỏi hotline, người dùng chào hỏi chuyên viên tư vấn, hỏi thơng tin ngành học, sau đến câu hỏi học phí Các kịch Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 42 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an khai báo file stories.yml Kịch viết tay thông qua học tương tác (interactive learning) ta đánh giá dạy Chatbot cách trả lời ý định người dùng thông qua giao diện lệnh CLI Hệ thống so sánh hội thoại diễn với kịch có sẵn, trùng khớp đưa phản hồi theo kiện kịch Khai báo kịch file stories.yml - story: steps: - intent: ask_school - action: utter_ask_school - intent: ask_hotline - action: utter_ask_hotline - intent: ask_nganhdaotao - action: utter_ask_nganhdaotao - intent: ask_chitieutuyensinh - action: utter_ask_chitieutuyensinh - intent: ask_hocphi - action: utter_ask_hocphi - intent: ask_thongtin - action: utter_ask_thongtin - intent: ask_lydodangkyxettuyen - action: utter_ask_lydodangkyxettuyen - intent: ask_nganhdaotao - action: utter_ask_nganhdaotao - intent: ask_thongtinkyhieu - action: utter_ask_thongtinkyhieu - intent: ask_dieukienxettuyen - action: utter_ask_dieukienxettuyen - intent: ask_phuongthuctuyensinh - action: utter_ask_phuongthuctuyensinh - intent: ask_xettuyenketquathiTHPT - action: utter_ask_xettuyenketquathiTHPT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 43 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an - intent: ask_xettuyenhocba - action: utter_ask_xettuyenhocba - intent: ask_xettuyenbaidanhgianangluc - action: utter_ask_xettuyenbaidanhgianangluc - intent: ask_xettuyenchungchitienganhquocte - action: utter_ask_xettuyenchungchitienganhquocte - intent: bye - action: utter_bye 3.3.3 Đào tạo cho chatbot Tiến hành train cho model sử dụng NLU data kịch (stories),mơ hình đào tạo lưu dạng thư mục /models Hình 3-3: Đào tạo model Việc xây dựng đoạn hội thoại viết tay Thơng qua cửa sổ dịng lệnh người dùng sử dụng để đào tạo cho Chatbot 3.4 Cài đặt chương trình Chương trình thiết kế thử nghiệm chạy hệ điều hành Windows 10 với thông số môi trường sau: - Hệ điều hành Windows 10, Intel i7-6700HQ, Ram 16GB - Python phiên 3.7 - Rasa version 2.0 - Giao diện người dùng web mobile app ứng dụng chat Messenger Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 44 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Chatbot tiếp cận với cách thao tác với nút bấm (Menu/button based) cho phép người dùng nhập nội dung yêu cầu, với việc cung cấp giao diện nút bấm giúp người dùng lựa chọn xác nhanh Thử nghiệm thực liệu gồm 31 intent với 1570 câu mẫu Chatbot xây dựng kịch để giải tốn cụ thể đơn vị giải trường hợp gián đoạn người dùng, ví dụ thử nghiệm 3.4.1 Kịch hỏi phương thức tuyển sinh Hỏi phương thức tuyển sinh, tiêu tuyển sinh, học phí, người dùng ở trang tư vấn tuyển sinh Đại học Nội vụ Hà Nội Chatbot có khả chào hỏi trích xuất thơng tin liên quan đến phương thức tuyển sinh Chatbot đưa lựa chọn phương thức tuyển sinh để người dùng bấm nút trằ lời nhập tin nhắn Hình 3-4:Giao diện hỗ trợ nút bấm để thao tác Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 45 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.4.2 Kịch không hiểu câu hỏi người dùng Trong thực tế Chatbot gặp tình khơng thể giải câu hỏi mập mờ câu hỏi khó, câu hỏi chưa có tập liệu huấn luyện, Chatbot trả lời lại người dùng sau Hình 3-5: Trường hợp Chatbot không hiểu ý người dùng Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 46 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.4.3 Kịch người dùng hỏi theo stories xây dựng sẵn Thực thử nghiệm tương tác với Chatbot với số câu câu hỏi gần với kịch đào tạo cho Chatbot Hình 3-6: Kịch người dùng hỏi theo stories Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 47 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.5 Thử nghiệm đánh giá chương trình Thử nghiệm tiến hành tập liệu training bao gồm 27 intent với 1570 câu mẫu, việc đánh giá chất lượng Chatbot dựa độ xác câu trả lời hỏi câu đơn lẻ tập liệu Để đánh giá độ tin cậy xác model cạc chia số lượng mẫu thử với tỷ lệ 80/20(80 để train 20 để test) chạy 01 lần Kết đánh giá dựa vào thông số Precision, Recall F1-score Precision: tỉ lệ số câu (TP) số câu phân loại (TP + FP) Với TP true positive câu dự đoán kết đúng, FP false positive câu dự đoán sai kết Precision cao độ xác câu dự đoán cao Recall: tỉ lệ số câu (TP) tổng số câu thực (TP + FN) Với FN false negative câu dự đoán sai kết Recall cao tỉ lệ bỏ sót câu thực thấp F1-score: điểm trung bình điều hòa (harmonic mean) Precision Recall Điểm F1-score cao mơ hình dự đốn xác tin cậy Dưới bảng kết thử nghiệm cho intent: Bảng 2: Thông số đo intent Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 48 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Hình 3-7: Biểu đồ thống kê mức độ tin cậy dự đoán ý định (intent) Biểu đồ cho phép hình dung độ tin cậy cho tất dự đoán, với dự đoán sai hiển thị màu xanh lam màu đỏ tương ứng Việc cải thiện chất lượng liệu đào tạo bạn di chuyển biểu đồ màu xanh lên cốt truyện biểu đồ màu đỏ xuống biểu đồ Nó giúp giảm số lượng biểu đồ màu đỏ Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 49 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Hình 3-8: Biểu đồ ma trận nhầm lẫn (Confusion matrix) nhãn dự đoán nhãn tác vụ phân loại ý định Từ trình tìm hiểu nghiệp vụ, xây dựng kết từ thực nghiệm tơi có đánh giá sau: Dữ liệu huấn luyện kịch xây dựng yếu tố vô quan trọng xây dựng Chatbot, liệu kịch cung cấp nhiều tỉ mỉ Chatbot linh hoạt thông minh Việc định nghĩa xây dựng ý định, thực thể đóng vai trị quan trọng Nếu liệu huấn luyện nhiều phân loại cách mập mờ, khơng có Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 50 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an hoạch định rõ ràng, ví dụ câu mẫu ý định lại đặt vào intent khác khó cho Chatbot biết ý định người hỏi Không thể có tốn cụ thể để quy hoạch hết trường hợp xảy phiên hỏi người dùng, cần xây dựng kịch cho trường hợp chưa huấn luyện để Chatbot khơng bị tình cảnh khơng thể đưa câu trả lời cho người dùng đưa câu trả lời sai lệch 3.6 Đánh giá Từ kết thực nghiệm, ta rút số đánh sau: • Trước tiên cần xác định intent Chatbot, intent đặc biệt quan trọng ảnh hưởng đến độ xác tốn Đối với chatbot miền đóng, ta cần xác định intent rõ ràng, làm giàu liệu đủ lớn, độ phủ câu hỏi nhiều, Chatbot trả lời xác • Càng nhiều câu chuyện (stories) bot thơng minh, bot cần trích xuất nhiều stories cần sử dụng nhiều action tùy chọn phù hợp • Chatbot ứng dụng AI có khả đáp ứng tốt với kịch dựng sẵn đào tạo Đối với kịch nằm kịch dựng sẵn, tăng cường khả cho chatbot cách điều hướng người dùng câu mặc định thông qua dạng giao diện, button, menu lựa chọn hỗ trợ ứng dụng chat • Qua thực nghiệm thấy áp dụng chatbot cho hỗ trợ học sinh sinh viên tư vấn đăng ký nguyện vọng xét tuyển đại học khả thi Thêm kênh tiếp nhận giảm thiểu chờ đợi vấn đề phổ biến mà bot đào tạo Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 51 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Đề tài nghiên cứu kiến thức Chatbot bao gồm lịch sử, kiến trúc, nhiệm vụ, thành phần cấu thành, thuật toán áp dụng Để giải tốn theo hướng tiếp cận miền đóng, cụ thể lĩnh vực giáo dục hỗ trợ tư vấn tuyển sinh Trên sở tiếp tục phát triển ứng dụng cho lĩnh vực khác thực tế qua Chatbot Các vấn đề mà luận văn đạt được: • Nghiên cứu sản phẩm, khái quát hệ thống Chatbot, thành phần cấu thành kỹ thuật áp dụng • Tìm hiểu mơ hình chatbot, từ định hình tốn sử dụng hướng nghiên cứu nào, theo mơ hình nào, thuật toán phù hợp với toán Cụ thể chatbot close domain, hướng tác vụ (task-oriented) tư vấn hỗ trợ người sử dụng • Nghiên cứu trả lời ngôn ngữ tự nhiên với tiếng Việt thành công với RASA framework Sản phẩm sau xây dựng đánh gi độ xác cao • Triển khai cài đặt ứng dụng môi trường window với RASA 2.0, ngơn ngữ lập trình python 3.7, kết nối webhook thành công tới ứng dụng chat facebook messenger web app Sản phẩm demo làm tiền đề để tiếp tục bổ sung phát triển hoàn thiện thêm thời gian tới Đồng thời mở nhiều hội, ý tưởng cho toán lĩnh vực khác đưa vào ứng dụng chatbot hoàn toàn khả thi Một số hạn chế: • Câu trả lời cịn cứng, chưa đa dạng linh hoạt • Sản phẩm hỗ trợ dạng text tiếng Việt, khả phát triển voice có chưa nghiên cứu sâu • Các câu hỏi phức tạp liên quan đến nhiều intent chưa trả lời Định hướng nghiên cứu tiếp theo: • Tiếp tục nghiên cứu khắc phục hạn chế nêu • Tăng khả trả lời câu hỏi phức tạp, hiển thị phản hồi nhiều nội dung đa phương tiện text để bớt nhàm chán, tích hợp hỗ trợ voice • Xây dựng Chatbot hỗ trợ multi intent – người dùng hỏi nhiều câu hỏi kép intent Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 52 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an TÀI LIỆU THAM KHẢO [1] Moussiades, E Adamopoulou and Lefteris, "An Overview of Chatbot Technology" [2] P Suta, X Lan, B Wu, P Mongkolnam and J H Chan, "An Overview of Machine Learning in Chatbots," 2020 [3] R Vargas, A Mosavi and R Ruiz, "DEEP LEARNING: A REVIEW," 2018 [4] "WildML," 2015 [Online] Available: http://www.wildml.com/2015/09/recurrent-neural-networks-tutorialpart-1introduction-tornns/ [5] Ruder and Sebastian, "An overview of gradient descent optimization algorithms," 2017 [6] R Pascanu, T Mikolov and Y Bengio, "On the difficulty of training recurrent neural networks" [7] A Vaswani et al., “Attention Is All You Need,” arXiv:1706.03762 [cs], Dec 2017 [8] Tom Bocklisch (2018) Conversational AI with Rasa NLU & Rasa Core [9] J Lafferty, A McCallum and F Pereira, "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data," 2001 [10] M Korobov, "sklearn-crfsuite," 2015 [Online] Available: https://sklearn crfsuite.readthedocs.io/ [11] https://fpt.ai/vi [12] https://www.aimesoft.com/vi/aimefluent.html [13] https://chatfuel.com/ [14] https://cloud.google.com/dialogflow/docs [15] https://rasa.com [16] https://forum.rasa.com/docs/ [17] Dựng chatbot với rasa - https://miai.vn/2019/09/03/rasa-series-1-ai-cung-cothe-lam-chatbot-sieu-ngon-khong-lo/ [18] Towards End-to-End Unified Scene Text Detection and Layout Analysis Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 53 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn