Chương trình Chatbot thử nghiệm trên máy Window 10 với các thông số ứng dụng và môi trường như sau:
-Hệ điều hành Windows 10, Intel i7-6700HQ, Ram 16GB -Python 3.6
-Rasa version 2.1.3 -Rasa X version 0.34.0
47 Chatbot tiếp cận với cả 2 cách thao tác với các nút bấm (Menu/button based) và cho phép người dùng nhập nội dung yêu cầu, với việc cung cấp giao diện nút bấm sẽ giúp người dùng lựa chọn chính xác và nhanh hơn. Thử nghiệm được thực hiện trên bộ dữ liệu gồm 36 intent với 1024 câu mẫu và 4 entity. Chatbot xây dựng các kịch bản để có thể giải quyết được những bài toán cụ thể của doanh nghiệp cũng như giải quyết các trường hợp gián đoạn của người dùng, dưới đây là các ví dụ của thử nghiệm.
Kịch bản hỏi giá
Hỏi giá là câu hỏi thường gặp của người dùng ở các trang web bán hàng, Chatbot Nhất Nam có khả năng chào hỏi cũng như trích xuất thực thể liên quan đến sản phẩm, giả sử nếu trong câu hỏi của người dùng không bao gồm entity của sản phẩm thì Chatbot sẽ đưa ra các lựa chọn về sản phẩm, người dùng có thể bấm nút để trả lời hoặc nhập tin nhắn.
48
Hình 3.13. Người dùng có thể bấm nút để trả lời (hình bên trái) hoặc nhập tin nhắn (hình bên phải)
Kịch bản form nhập liệu
Sau khi cung cấp thông tin về giá sản phẩm đến khách hàng, Chatbot sẽ thực hiện yêu cầu người dùng nhập form bao gồm họ tên và số điện thoại để nhân viên hỗ trợ liên hệ trực tiếp tư vấn. Form được sử dụng nhiều trong Chatbot như hỏi người dùng về Ultraview nếu gặp các trường hợp cần truy cập trực tiếp máy khách hàng hoặc form nhập thông tin doanh nghiệp để tra cứu hóa đơn hoặc thời hạn bảo trì, bảo hành.
Dữ liệu người dùng nhập sẽ được trích xuất các entity để lưu vào các slot, các slot sẽ được action server xử lý và gửi đến hỗ trợ viên thông qua mail, socket hoặc Google Drive.
49
Hình 3.14 Trường hợp nhập form liên hệ
Trường hợp form nhập liệu bị gián đoạn do người dùng hỏi câu hỏi khác thì Chatbot sẽ vẫn trả lời người dùng sau đó tiếp tục yêu cầu người dùng hoàn thành form. Hoặc nếu người dùng không muốn điền form liên hệ bằng ý định từ chối thì Chatbot sẽ không yêu cầu người dùng nhập nữa.
50
Hình 3.15. Trường hợp form bị gián đoạn (hình bên trái) Trường hợp từ chối nhập form (hình bên phải)
Kịch bản không hiểu câu hỏi của người dùng
Trong thực tế Chatbot sẽ gặp tình huống không thể giải quyết được những câu hỏi mập mờ hoặc câu hỏi khó, để giải quyết bài toán này ta sẽ dựa vào ngưỡng dự đoán, cụ thể ở đây là dưới 0.6, nguyên nhân của ngưỡng thấp có thể do ý định của người dùng không rõ ràng hoặc câu hỏi đó chưa có trong tập dữ liệu huấn luyện, Chatbot sẽ trả lời lại người dùng như sau.
51
Hình 3.16. Trường hợp Chatbot không hiểu ý người dùng