Xây dựng chatbot hỗ trợ quyết định, tư vấn mua hàng trong ứng dụng chat

TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ XÂY DỰNG CHATBOT HỖ TRỢ QUYẾT ĐỊNH, TƢ VẤN MUA HÀNG TRONG ỨNG DỤNG CHAT TRẦN ĐĂNG TUYẾN dangtuyentran@gmail.com Ngành Khoa học Máy tính Giảng viên hƣớng dẫn: TS Phạm Huy Hồng Viện: Viện Cơng nghệ thơng tin Truyền thông HÀ NỘI, 06/2022 TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ XÂY DỰNG CHATBOT HỖ TRỢ QUYẾT ĐỊNH, TƢ VẤN MUA HÀNG TRONG ỨNG DỤNG CHAT TRẦN ĐĂNG TUYẾN dangtuyentran@gmail.com Ngành Khoa học Máy tính Giảng viên hƣớng dẫn: TS Phạm Huy Hồng Viện: Viện Công nghệ thông tin Truyền thông Chữ ký GVHD HÀ NỘI, 06/2022 Lời cảm ơn Đầu tiên, cho em xin phép gửi lời cảm ơn chân thành tới tất thầy cô tham gia giảng dạy học phần môn học năm theo học chương trình thạc sĩ Khoa học Trường Đại học Bách Khoa Hà Nội Các thầy cô tạo điều kiện cho em có mơi trường nghiên cứu thuận lợi định hướng cần thiết để em đủ khả đáp ứng yêu cầu khắt khe luận văn tốt nghiệp công việc tương lai Sau đó, em xin dành lời cảm ơn đến giảng viên hướng dẫn thầy Phạm Huy Hoàng cung cấp kỹ kiến thức cần thiết để giúp em hoàn thành luận văn tốt nghiệp Tóm tắt nội dung luận văn Hiện nay, với chuyển mạnh mẽ cơng nghiệp số, tất dịch vụ, mặt hàng tìm kiếm thông tin internet Tuy nhiên lượng thông tin vô đồ sộ, kéo theo thời gian tìm hiểu lâu nhiều khơng có người chun sâu lĩnh vực tư vấn giúp Việc chăm sóc khách hàng doanh nghiệp quan trọng Đối với doanh nghiệp có hàng triệu khách hàng thật tốn khó ln ln thay đổi đầu Vì để giảm tải, lược bớt trường hợp tương tự nhau, giành nguồn lực cho việc chuyên trách chatbot hỗ trợ giải pháp hàng đầu Nhắc đến chatbot khơng thể khơng kể đến RNN, LSTM, Neural network… Tuy nhiên việc custom chatbot khơng cịn q phức tạp Qua q trình nghiên cứu thuật tốn, framework, em đề xuất sử dụng RASA nhằm thực tối thiều hóa bước để dựng trợ lý ảo chatbot Và để trực quan hóa trình xây dựng chatbot áp dụng RASA em dựng sản phẩm chatbot hỗ trợ khách hàng doanh nghiệp cụ thể xăng dầu Petrolimex Với chức giải đáp trực tiếp vướng mắc khách hàng mua, giao dịch xăng dầu, sử dụng dịch vụ Petrolimex rửa xe, thay dầu cịn cung cấp thơng tin chương trình khuyến mại, tra cứu điểm thưởng… HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ BẢNG CHƢƠNG ĐẶT VẤN ĐỀ VÀ GIỚI THIỆU LÝ THUYẾT 1.1 Giới thiệu đề tài cấu trúc luận văn 1.2 Mục đích đóng góp đề tài 1.3 Khái niệm, lịch sử đời [18] [20] 10 1.4 Tổng quan loại Chatbot phổ biến [7] 11 1.5 Một số tảng công nghệ xây dựng chatbot 13 1.6 Kết luận chương 14 CHƢƠNG GIỚI THIỆU MỘT SỐ KỸ THUẬT SỬ DỤNG XÂY DỰNG CHATBOT VỚI RASA OPEN SOURCE 16 2.1 Một số kỹ thuật sử dụng chatbot 16 2.1.1 Xác định ý định người dùng 16 2.1.2 Trích xuất thơng tin 20 2.1.3 Quản lý hội thoại 22 2.1.4 Mơ hình sinh hội thoại cho chatbot 25 2.2 Tại lựa chọn RASA Framework 27 2.3 So sánh hướng tiếp cận sử dụng rule-based neural 27 2.4 Các thành phần sử dụng RASA [11][4] 28 2.5 2.4.1 NLU (Natural language Uderstanding) 28 2.4.2 Domain File 30 2.4.3 Entities 33 2.4.4 Slots 34 2.4.5 Responses: 35 2.4.6 Stories 37 2.4.7 Pipeline components (thành phần) [11][4] 40 2.4.8 Custome Action 50 Kết luận chương 51 CHƢƠNG ỨNG DỤNG VÀO CHATBOT 52 3.1 Giới thiệu toán thực tế 52 3.2 Xây dựng xác định liệu 52 3.2.1 Xây dựng ý định (intent) 53 3.2.2 Xây dựng domain 58 3.2.3 Xây dựng stories 59 3.3 Thiết kế, luồng liệu vận hành 60 3.4 Đánh giá độ tin cậy 61 3.5 Đánh giá 79 3.6 Kết luận chương 80 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 81 TÀI LIỆU THAM KHẢO 82 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT T viết tắt AI T chu n Diễn giải Artificial Intelligence Application Programming Interface Trí tuẹ nhân tạo CRF Conditional Random Fields Mơ hình CRF DL Deep learning Học sâu DM Dialog Management Quản lý hội thoại FAQ Frequently Asked Questions Các câu hỏi thường gặp ML Machine Learning Học máy NLG NLP NLU Natural language generation Natural Languague Processing Natural language understanding Sinh ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên Hiểu ngơn ngữ tự nhiên API Giao diẹn lạp trình ứng dụng Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC HÌNH VẼ VÀ BẢNG Hình 1-1: Lịch sử phát triển NLP 11 Hình 1-2: Phân loại Chatbot 11 Hình 1-3: so sánh tảng xây dựng chatbot 14 Hình 2-1: Kiến trúc chatbot hội thoại 16 Hình 2-2: Xác định ý định người dùng 17 Hình 2-3: Xác định ý định dựa học máy 19 Hình 2-4: Trích xuất thông tin thực thể 21 Hình 2-5: Trích xuất thơng tin thực thể dựa học máy [15] 22 Hình 2-6: Quản lý hội thoại 23 Hình 2-7: Mơ hình máy trạng thái hữu hạn (Finite-State Machines) 24 Hình 2-8: Mơ hình Frame-based 25 Hình 2-9 : NLP engine trích xuất thơng tin dựa kỹ thuật học máy 26 Hình 2-10: Khai báo synonym 29 Hình 2-11: Sử dụng entities intent 30 Hình 2-12: Khai báo bỏ qua entities 31 Hình 2-13: Định nghĩa entities 31 Hình 2-14: Khai báo roles groups 32 Hình 2-15: Cấu hình session mặc định 33 Hình 2-16: Khai báo slots 34 Hình 2-17: Slot khơng ảnh hưởng đến hội thoại 35 Hình 2-18: Slot tác động đến hội thoại 35 Hình 2-19: Khai báo responses domain 36 Hình 2-20: Khai báo Responses với button 36 Hình 2-21: Truyền entities vào responses 37 Hình 2-22: Ví dụ khai báo stories 38 Hình 2-23: Stories với slot 39 Hình 2-24: Stories sử dụng checkpoint 40 Hình 2-25: Output MitieIntentClassifier 44 Hình 2-26: Output LogisticRegressionClassifier 45 Hình 2-27: Output SklearnIntentClassifier 46 Hình 2-28: Output KeywordIntentClassifier 46 Hình 2-29: Ví dụ output DIETClassifier 47 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Hình 2-30: Output FallbackClassifier 50 Hình 2-31: Tham số cấu hình action server 51 Hình 3-1: Bảng khảo sát chức chatbot 52 Hình 3-2: Bảng danh sách intent chatbot Petrolimex 54 Hình 3-3: Khai báo danh sách intent thuộc general 55 Hình 3-4: Khai báo danh sách intent chuộc chichat 55 Hình 3-5: Khai báo intent thuộc nlu 57 Hình 3-6: Ví dụ nội dung intent 58 Hình 3-7: Tóm tắt cấu trúc domain 59 Hình 3-8: Ví dụ nội dung action response domain 59 Hình 3-9: Khai báo stories 60 Hình 3-10: Sơ đồ luồng giao tiếp chatbot ứng dụng 61 Hình 3-11: Intent confusion Matrix 62 Hình 3-12: Kết test mơ hình 73 Hình 3-13: Kết nối thành cơng tới server webhook Facebook Messenger 74 Hình 3-14: Demo sử dụng chatbot ứng dụng Messenger 75 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an CHƢƠNG ĐẶT VẤN ĐỀ VÀ GIỚI THIỆU LÝ THUYẾT 1.1 Giới thiệu đề tài cấu trúc luận văn Ngày nay, với phát triển khoa học kỹ thuật, Chatbot ứng dụng phổ biến mạnh mẽ nhiều lĩnh vực, tạo nên sốt cơng nghệ có nhiều hãng công nghệ tiếng giới tham gia Google, Facebook, Microsoft, IBM Theo Grand View Research, thị trường Chatbot dự kiến đạt khoảng 1,25 tỷ đô la toàn cầu vào năm 2025 Hơn nữa, chuyên gia dự đoán thị trường tăng trưởng với tốc độ tăng trưởng gộp hàng năm 24% Đặc biệt xu hướng phát triển AI chatbot có khả hội thoại, xử lý tương tác phức tạp với khách hàng Ở Việt Nam, chatbot bắt đầu áp dụng số lĩnh vực chăm sóc khách hàng, mua sắm trực tuyến, trả lời thông tin ngân hàng, y tế… Đối với lĩnh vực lượng nay, thân phục vụ doanh nghiệp lĩnh vực cụ thể Tập đoàn Xăng dầu Việt Nam, em nhận thấy chatbot chưa sử dụng có nhiều vướng mắc phát sinh từ người tiêu dùng mua xăng cửa hàng xăng dầu nhiều hệ thống mới, chương trình Tập đoàn triển khai đến người tiêu dùng phù hợp để đưa vào sử dụng chatbot Chatbot thay người việc trả lời câu hỏi có tính lặp lặp lại, hỗ trợ khách hàng 24/7 cho doanh nghiệp… Cùng với mong muốn hiểu sâu chatbot kỹ thuật giúp chatbot trả lời câu hỏi xử lý theo ngôn ngữ tự nhiên (NLP), em định chọn đề tài “Xây dựng chatbot hỗ trợ định, tư vấn mua hàng ứng dụng chat” làm đề tài luận văn thạc sĩ Qua đề tài em muốn nâng cao hiểu biết AI Chatbot, NLP (xử lý ngôn ngữ tự nhiên) nghiên cứu khả áp dụng thực tiễn doanh nghiệp Việt Nam Nội dung luận văn chia làm phần sau: Chương 1: Giới thiệu tổng quan hệ thống chatbot, kiến trúc high-level thành phần AI chatbot, số tảng ứng dụng chatbot Chương 2: Nghiên cứu, tìm hiểu Rasa Framework kỹ thuật liên quan Chương 3: Trình bày trình xây dựng chatbot trả lời thông tin tới người tiêu dùng mua xăng dầu, hỗ trợ họ sách khuyến mại, chương trình Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an doanh nghiệp triển khai theo hướng có lợi Thực nghiệm đánh giá kết 1.2 Mục đích đóng góp đề tài Mục tiêu hệ thống Chatbot trì tiếp tục hội thoại người dùng với mục tiêu bắt chước kiểu nói chuyện "khơng có cấu trúc" người với người Tính hữu dụng độ thơng minh Chatbot đánh giá dựa phép thử Turing Hiện để tối ưu hóa, hệ thống chatbot tập trung vào việc lựa chọn số lĩnh vực nói chuyện, kiến thức cụ thể cho Chatbot (domain) đánh giá phép thử Turing giới hạn Chatbot tạo để hỗ trợ người lĩnh vực dịch vụ khách hàng mức độ sơ cấp với tác vụ lặp lặp lại nhàm chán Do đó, doanh nghiệp loại bỏ áp lực mặt nhân sự, đội ngũ tư vấn viên tập trung giải công việc mức độ chuyên sâu cấp thiết Với loại hình doanh nghiệp, chatbot lại ứng dụng theo cách khác Một số nhiệm vụ chatbot nhiều doanh nghiệp áp dụng như:  Tư vấn, trả lời câu hỏi thường gặp, 24/7 cho khách hàng  Hỗ trợ chiến dịch marketing (gửi thông tin chương trình khuyến mãi, giảm giá, mắt sản phẩm mới…)  Gợi ý, tìm kiếm, báo giá sản phẩm, dịch vụ theo yêu cầu khách hàng  Đặt lịch hẹn, đặt bàn, đặt phòng, đặt vé máy bay…  Tiếp nhận thông tin khai báo, mở tài khoản, mở thẻ…  Thanh tốn hóa đơn đặt hàng Trong luận văn này, tác giả tập trung vào chatbot tư vấn, trả lời câu hỏi thường gặp 24/7 cho khách hàng với liệu tổng hợp thực tế từ tổng đài chăm sóc khách hàng doanh nghiệp cụ thể Petrolimex Nghiên cứu framework sử dụng để xây dựng chatbot hoàn chỉnh, từ triển khai mơ hình đánh giá độ xác thể qua số Hệ thống lại số kỹ thuật tiếp cận, sử dụng Machinelearning phổ biến Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an "precision": 1.0, "recall": 0.989159891598916, "f1-score": 0.9945504087193461, "support": 369, "confused_with": { "affirm": 1, "out_of_scope_non_vn": } }, "ask_tracuulichsugd": { "precision": 1.0, "recall": 1.0, "f1-score": 1.0, "support": 8, "confused_with": {} }, "ask_chukygia": { "precision": 1.0, "recall": 1.0, "f1-score": 1.0, "support": 12, "confused_with": {} }, "ask_time": { "precision": 1.0, "recall": 1.0, "f1-score": 1.0, "support": 42, "confused_with": {} }, "out_of_scope_non_vn": { "precision": 0.9767441860465116, "recall": 1.0, 71 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an "f1-score": 0.988235294117647, "support": 42, "confused_with": {} }, "greet": { "precision": 0.975609756097561, "recall": 1.0, "f1-score": 0.9876543209876543, "support": 40, "confused_with": {} }, "ask_restaurant": { "precision": 1.0, "recall": 1.0, "f1-score": 1.0, "support": 50, "confused_with": {} }, "accuracy": 0.9909560723514211, "macro avg": { "precision": 0.990794831410332, "recall": 0.9927493185197728, "f1-score": 0.9915738489846725, "support": 1548 }, "weighted avg": { "precision": 0.9911798719421089, "recall": 0.9909560723514211, "f1-score": 0.9909382341611822, "support": 1548 }, "micro avg": { "precision": 0.9909560723514211, 72 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an "recall": 0.9909560723514211, "f1-score": 0.9909560723514211, "support": 1548 } } Hình 3-12: Kết test mơ hình Tính chung, kết test tập liệu test end-to-end cho độ xác khoảng 73% F1-Score: 0.730 Precision: 0.748 Accuracy: 0.733 Test giao diện người dùng cuối: Thực thử nghiệm tương tác với Chatbot với số câu câu hỏi với kịch đào tạo cho Chatbot Kết nối chatbot với giao diện Messenger Thông tin sau: 73 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Hình 3-13: Kết nối thành cơng tới server webhook Facebook Messenger Chat thử nghiệm với Bot: 74 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Hình 3-14: Demo sử dụng chatbot ứng dụng Messenger 75 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 76 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 77 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 78 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.5 Đánh giá Từ kết thực nghiệm, ta rút số đánh sau: - Trước tiên cần xác định intent bot, intent đặc biệt quan trọng ảnh hưởng đến độ xác tốn Đối với chatbot miền đóng, ta cần xác định intent rõ ràng, làm giàu liệu đủ lớn, độ phủ câu hỏi nhiều, bot trả lời xác 79 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an - Càng nhiều câu chuyện (stories) bot thông minh, bot cần trích xuất nhiều stories cần sử dụng nhiều action tùy chọn phù hợp - Chatbot ứng dụng AI có khả đáp ứng tốt với kịch dựng sẵn, đào tạo Đối với kịch nằm kịch dựng sẵn, tăng cường khả cho chatbot cách điều hướng người dùng câu mặc định thông qua dạng giao diện, button, menu lựa chọn hỗ trợ ứng dụng chat - Qua thực nghiệm thấy áp dụng chatbot cho hỗ trợ khách hàng Petrolimex khả thi Thêm kênh tiếp nhận giảm thiểu chờ đợi khách hàng vấn đề phổ biến mà bot đào tạo 3.6 Kết luận chƣơng Trong chương luận văn mơ tả bước xây dựng chương trình thực tế, hiển thị liệu Kiểm tra độ xác liệu cao Trên sở tiếp tục cải thiện intent, tăng độ phủ liệu để bot làm nhiều tác vụ, độ xác phản hổi cao 80 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Đề tài nghiên cứu kiến thức chatbot bao gồm lịch sử, kiến trúc, nhiệm vụ, thành phần cấu thành, thuật toán áp dụng Để giải toán theo hướng tiếp cận miền đóng, cụ thể lĩnh vực tư vấn hỗ trợ khách hàng sử dụng dịch vụ Trên sở tiếp tục phát triển ứng dụng cho lĩnh vực khác thực tế qua chatbot Các vấn đề mà luận văn đạt đƣợc:  Nghiên cứu sản phẩm, khái quát hệ thống chatbot, thành phần cấu thành kỹ thuật áp dụng  Tìm hiểu mơ hình chatbot, từ định hình tốn sử dụng hướng nghiên cứu nào, theo mơ hình nào, thuật tốn phù hợp với toán Cụ thể chatbot close domain, hướng tác vụ (task-oriented) tư vấn hỗ trợ khách hàng  Nghiên cứu trả lời ngôn ngữ tự nhiên với tiếng Việt thành công với RASA framework Sản phẩm sau xây dựng đánh giá độ xác cao (khoảng 73%)  Triển khai cài đặt ứng dụng môi trường window với RASA 2.0, ngơn ngữ lập trình python 3.7, kết nối webhook thành công tới ứng dụng chat facebook messenger web app Sản phẩm demo làm tiền đề để tiếp tục bổ sung phát triển hoàn thiện thêm thời gian tới Đồng thời mở nhiều hội, ý tưởng cho toán lĩnh vực khác đưa vào ứng dụng chatbot hoàn toàn khả thi Một số hạn chế:  Câu trả lời cứng, chưa đa dạng linh hoạt  Sản phẩm hỗ trợ dạng text tiếng Việt, khả phát triển voice có chưa nghiên cứu sâu  Các câu hỏi phức tạp liên quan đến nhiều intent chưa trả lời Định hƣớng nghiên cứu tiếp theo:  Tiếp tục nghiên cứu khắc phục hạn chế nêu  Tăng khả trả lời câu hỏi phức tạp, hiển thị phản hồi nhiều nội dung đa phương tiện text để bớt nhàm chán, tích hợp hỗ trợ voice 81 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an TÀI LIỆU THAM KHẢO [1] Deep Machine Learning and Neural Networks - Chandrahas Mishra, D L Gupta [2] https://rasa.com/docs/rasa/nlu-training-data [3] http://tflearn.org/ [4] https://forum.rasa.com/docs/ [5] Sumit Raj (2019) Building Chatbots with Python Using Natural Language Processing and Machine Learning, Apress [6] https://www.tensorflow.org/tutorials/customization/custom_training_walkthrough [7] Hussain S., Ameri Sianaki O., Ababneh N (2019) A Survey on Conversational Agents/Chatbots Classification and Design Techniques In: Barolli L., Takizawa M., Xhafa F., Enokido T (eds) Web, Artificial Intelligence and Network Applications WAINA 2019 Advances in Intelligent [8] Systems and Computing, vol 927 Springer, Cham https://doi.org/10.1007/978-3-030-15035-8_93 https://developers.redhat.com/learn/openshift-data-science/how-create-tensorflowmodel/build-train-run-tensorflow-model [9] https://towardsdatascience.com/how-to-train-a-classification-model-withtensorflow-in-10-minutes-fd2b7cfba86 [10] Towards End-to-End Unified Scene Text Detection and Layout Analysis [11] RASA whiteboard agorithm - https://www.youtube.com/watch?v=7tAWk_Coj-s [12] Tensorflow Machine learning - https://bizflycloud.vn/tin-tuc/tensorflow-lagi-vai-tro-cua-tensorflow-trong-su-phat-trien-cua-hoc-may20211104172943825.htm [13] RASA NLP for developer - https://www.youtube.com/watch?v=KN3ZL65Dze0 [14] https://petrolimex.com.vn [15] https://docs.microsoft.com/en-us/archive/blogs/machinelearning/machinelearning-and-text-analytics [16] https://phamdinhkhanh.github.io/2020/08/13/ModelMetric.html 82 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an [17] https://www.saashub.com/ [18] A brief history of chatbots – Timeline Truy nhập ngày 10/10/2020: https://roboticsbiz.com/a-brief-history-of-chatbotstimeline/ [19] [20] https://blog.vsoftconsulting.com/blog/understanding-thearchitecture-of-conversational-chatbot Lịch sử hình thành phát triển chatbot https://congdongchatbot.com/lich-su-hinh-thanh-va-phat-trien-cua-chatbot/ 83 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Xây dựng chatbot hỗ trợ định, tư vấn mua hàng ứng dụng chat Tác giả luận văn: Trần Đăng Tuyến Khóa: 2019B Người hướng dẫn: TS Phạm Huy Hồng Từ khóa (Keyword): Chatbot, RASA, RNN, LSTM, Neural network, kỹ thuật học máy, training model, intents, responses, transformer, DIETClassifier, pepiline, component, xử lý ngôn ngữ tự nhiên (NLP), Nội dung tóm tắt: a) Lý chọn đề tài - Sơ lược lịch sử chatbot phân loại - Với phổ biến chatbot tảng xây dựng chatbot nay, nhằm mục đích phân loại, lựa chọn giải pháp tiếp cận, tác giả lựa chọn nghiên cứu sử dụng RASA Framework b) Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu - Nghiên cứu bước xây dựng chatbot miền đóng, quy trình gồm có: -  Xác định ý định người dùng  Trích xuất thơng tin  Quản lý hội thoại  Mơ hình sinh hội thoại cho chatbot Phân tích RASA framework, sử dụng mã nguồn mở nên tập trung vào cấu hình loại chatbot tư vấn mua hàng - Sử dụng liệu hội thoại doanh nghiệp cụ thể Petrolimex Với 1548 mẫu, tiền xử lý phân loại sử dụng để huấn luyện chatbot c) Tóm tắt đọng thành phần - Chương 1: Trình bày tính cần thiết chatbot, phân tích lựa chọn cơng cụ tảng phù hợp để tiếp tục nghiên cứu Đưa so sánh đánh giá tảng Lựa chọn hướng nghiên cứu cụ thể RASA 84 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn