Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn bản

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn PHẠM THỊ PHƯƠNG ANH Ngành: Khoa học máy tính Giảng viên hướng dẫn: TS Phạm Huy Hồng Trường: Công nghệ Thông tin Truyền thông Hà Nội, 09/2022 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn PHẠM THỊ PHƯƠNG ANH Ngành: Khoa học máy tính Giảng viên hướng dẫn: TS Phạm Huy Hồng —————— Trường: Cơng nghệ Thơng tin Truyền thơng Hà Nội, 09/2022 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ———————————— BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Phạm Thị Phương Anh Đề tài luận văn: Nghiên cứu xây dựng chatbot trả lời tự động áp dụng kỹ thuật học máy cho ứng dụng tin nhắn văn Chuyên ngành: Khoa học máy tính Mã số SV: CB190209 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 30/07/2022 với nội dung sau: • Sửa số ý luận văn chưa phù hợp, theo ý kiến Hội đồng • Cấu trúc lại bố cục luận văn: - Chương 1: Bổ sung thêm so sánh tảng Chatbot Chuyển mục 1.6(Tổng quan Deeplearning) sang chương - Chương 2: Bỏ mục 2.2 (Tổng quan Tensorflow framework), bổ sung thêm số nội dung mạng nơ – ron hồi quy RNN, mơ hình Transformer, so sánh ưu điểm mơ hình Transformer mơ hình RNN, mơ hình DIET - Chương 3: Cấu trúc lại chương theo mơ hình học máy Bỏ mục 3.2 (Mơ hình huấn luyện Chatbot) Bổ sung sơ đồ quy trình hoạt động Chatbot, giới thiệu xây dựng liệu sử dụng • Bổ sung số tài liệu tham khảo sử dụng cho đầy đủ • Sửa lỗi tả, lỗi định dạng, bố cục văn Hà Nội, ngày 06 tháng 09 năm 2022 Giảng viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CẢM ƠN Đầu tiên, cho xin gửi lời cảm ơn chân thành đến Thầy, Cô giáo viện Công nghệ thông tin Truyền thơng Trong suốt q trình học tập thực Luận văn tốt nghiệp, Thầy, Cô dạy không kiến thức, kỹ mà cịn truyền cho tơi cảm hứng nhiệt huyết để vững tâm suốt thời gian qua cho chặng đường dài tương lai tới Tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Phạm Huy Hoàng Thầy người định hướng, bảo tận tình, người động viên khích lệ tơi nhiều để tơi hồn thành Luận văn tốt nghiệp Đồng thời xin gửi lời cảm ơn đến gia đình, anh chị, bạn bè, đồng nghiệp quan ủng hộ tinh thần suốt trình thực Luận văn Học viên Phạm Thị Phương Anh Tóm tắt nội dung luận văn Trong năm gần đây, khoa học công nghệ dần tiến đến tầm cao Mặc dù mẻ lĩnh vực khoa học công nghệ Chatbot nghiên cứu phát triển với tốc độ chóng mặt trung tâm nghiên cứu nhiều lĩnh vực ứng dụng cơng nghệ Chatbot hình thức thơ sơ phần mềm trí tuệ nhân tạo, chương trình tạo từ máy tính tiến hành trị chuyện thơng qua phương pháp nhập văn bản, âm thanh, cảm ứng trả lời câu hỏi xử lý tình cơng cụ giao tiếp, tương tác với người thơng qua trí tuệ nhân tạo lập trình sẵn Đại dịch Covid-19 kéo dài năm qua gây nhiều ảnh hưởng nghiêm trọng đến việc lập kế hoạch học tập học sinh gặp nhiều khó khăn Nhiều học sinh chia sẻ cảm thấy bị rối khơng biết lựa chọn phương thức xét tuyển phù hợp Các bạn thường mắc lỗi sai chọn phương thức xét tuyển tiện mà thường không quan tâm đến mạnh, lực thân dẫn đến chọn sai phương thức xét tuyển Cũng có trường hợp học sinh lại “đặt cược” vào phương thức xét tuyển Việc lựa chọn làm hạ thấp khả trúng tuyển Ảnh hưởng đại dịch làm cho công tác tư vấn tuyển sinh chưa đạt hiệu cao ảnh hưởng đến chất lượng đầu vào Việc trực tiếp trường THPT, tư vấn trực tiếp việc khó khăn với tình hình dịch bệnh nên khơng đáp ứng nhu cầu cung cấp thông tin cho em học sinh lúc thời điểm Nhắc đến Chatbot khơng thể khơng kể đến RNN, LSTM, neural network… Tuy nhiên việc xây dựng Chatbot khơng cịn q phức tạp Qua q trình nghiên cứu thuật tốn, framework, đề xuất sử dụng RASA nhằm thực tối thiểu hóa bước để dựng trợ lý ảo Chatbot Và để trực quan hóa q trình xây dựng Chatbot áp dụng RASA framework dựng sản phẩm chatbot hỗ trợ tư vấn tuyển sinh đại học cụ thể phòng tuyển sinh Trường Đại học Nội vụ Hà Nội Với chức giải đáp trực tiếp thơng tin ngành học, phương thức xét tuyển, cách thức nộp hồ sơ, … MỤC LỤC MỞ ĐẦU TỔNG QUAN VỀ CHATBOT 1.1 Khái niệm Chatbot 1.2 Các thành phần Chatbot 1.3 Một số phân loại khác Chatbot 1.3.1 Chatbot dựa luật (Rules Based Chatbot) 1.3.2 Chatbot dựa trí tuệ nhân tạo học máy (AI and Machine learning) 1.3.3 Chatbot phạm vi đóng (Close – domain) 1.3.4 Chatbot phạm vi mở (Open – domain) 1.4 Một số tảng công nghệ xây dựng Chatbot 1.5 Một số ứng dụng Chatbot 11 CƠ SỞ LÝ THUYẾT 13 2.1 Cơ Deep learning 13 2.2 Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) 14 2.3 Mơ hình Transformer 16 2.3.1 Mã hóa vị trí 17 2.3.4 Tầng ý đa đầu 21 2.3.5 Kết nối phần dư Lớp chuẩn hóa 21 2.3.6 Bộ giải mã 22 2.4 Ưu điểm mơ hình Transformer so với mơ hình RNN 24 2.5 Mơ hình DIET 25 2.6 RASA Framework 27 2.6.3 Intent 31 2.6.4 Stories 31 2.6.5 Actions 31 2.6.6 Policies 32 2.6.7 Slots 32 2.6.8 Pipeline compoments 32 i XÂY DỰNG CÔNG CỤ HỎI ĐÁP THÔNG TIN TƯ VẤN TUYỂN SINH ĐẠI HỌC 34 3.1 Giới thiệu toán 34 3.2 Sơ đồ quy trình hoạt động Chatbot Tư vấn tuyển sinh Đại học Nội vụ HN36 3.3 Xây dựng liệu Chatbot 38 3.3.1 Xây dựng ý định (intent) 38 3.3.2 Xây dựng câu trả lời cho Chatbot 42 3.3.3 Đào tạo cho chatbot 44 3.4 Cài đặt chương trình 44 3.4.1 Kịch hỏi phương thức tuyển sinh 45 3.4.2 Kịch không hiểu câu hỏi người dùng 46 3.4.3 Kịch người dùng hỏi theo stories xây dựng sẵn 47 3.5 Thử nghiệm đánh giá chương trình 48 3.6 Đánh giá 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52 TÀI LIỆU THAM KHẢO 53 ii DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết Từ chuẩn Diễn giải tắt AI Artificial Intelligence Trí tuệ nhân tạo API Application Programming Giao diện lập trình ứng dụng Interface CRF Conditional Random Fields Mơ hình CRF DL Deep learning Học sâu DM Dialog Management Quản lý hội thoại FAQ Frequently Asked Questions Các câu hỏi thường gặp NLG Natural language generation Sinh ngôn ngữ tự nhiên NLP Natural Languague Processing Xử lý ngôn ngữ tự nhiên NLU Natural language understanding Hiểu ngôn ngữ tự nhiên iii DANH MỤC HÌNH VẼ BẢNG Hình 1-1: Kiến trúc chung chatbot Hình 1-2: Chatbot hỗ trợ nút bấm để thao tác Pizza Hut .5 Hình 1-3:Chatbot Messenger trang Pizzahut 12 Hình 2-1: Mạng nơ-ron hồi quy [4] 14 Hình 2-2: Kiến trúc mơ hình Transformer 16 Hình 2-3:Kiến trúc lớp mã hóa giải mã Transformer 18 Hình 2-4: Kiến trúc chi tiết lớp mã hóa Transformer 19 Hình 2-5: Mơ tả kiến trúc Multi-Head Attention 21 Hình 2-6: Kiến trúc lớp khối giải mã 22 Hình 2-7: Tổng quan trình biến đổi vectơ đầu lớp giải mã thành từ vựng tương ứng 23 Hình 2-8: So sánh Transformer với mơ hình khác dựa kết đánh giá báo 24 Hình 2-9: Các thành phần Rasa [8] 28 Hình 2-10: Chế độ học tương tác Rasa [8] 29 Hình 2-11: Cách thức Rasa phản hồi tin nhắn 29 Hình 2-12:Cấu trúc chương trình Rasa 30 Hình 3-1: Cấu trúc hệ thống Chatbot Tư vấn tuyển sinh Đại học Nội vụ Hà Nội35 Hình 3-2: Sơ đồ quy trình hoạt động Chatbot 36 Hình 3-3: Đào tạo model 44 Hình 3-4: Giao diện hỗ trợ nút bấm để thao tác 45 Hình 3-5: Trường hợp Chatbot không hiểu ý người dùng 46 Hình 3-6: Kịch người dùng hỏi theo stories 47 Hình 3-7: Biểu đồ thống kê mức độ tin cậy dự đốn ý định (intent) 49 Hình 3-8: Biểu đồ ma trận nhầm lẫn (Confusion matrix) nhãn dự đoán nhãn tác vụ phân loại ý định 50 iv DANH MỤC BẢNG Bảng 1: So sánh 03 tảng: Chatbot Chatfuel, Dialogflow Rasa .9 Bảng 1: Bảng ý định (intent) chabot 40 Bảng 2: Thông số đo intent 48 v