Với mỗi câu truy vấn nhận được từ khách hàng, hệ thống cần xác định được các intent (ý định) của họ để đưa ra phản hồi. Intent được xác định đúng thì hệ thống sẽ trả lời đúng với mong muốn của khách hàng. Ngược lại, intent được xác định sai thì hệ thống sẽ đưa ra những câu trả lời sai, không phù hợp với mong muốn
của khách hàng.
Vì có rất nhiều đối tượng khách hàng ở các độ tuổi khác nhau, nghề nghiệp khác nhau, thế hệ khác nhau tham gia sử dụng chatbot và cách nói chuyện của họ cũng khác nhau nên mỗi intent khi được xây dựng cần được diễn đạt theo nhiều
cách khác nhau để hỗ trợ hệ thống có thể bắt đúng intent. Khi muốn hỏi tên, có thể có những cách diễn đạt sau:
dị= {wil, wi2, ...,wim}, wij là trọng số của đặc trưng thứj (1<= j <=m). Cách thức hoạt động của BoW:
Giả sử có 2 bộ tài liệu (1) và (2):
(1) Hoa thích xem phim. Nam thích đọc sách.
Sau khi có dữ liệu huấn luyện, bài toán tiếp theo cần giải quyết sẽ là bài toán phân lớp.
Phát biểu bài toán:
- Input: cho trước một tập các câu hỏi: Q = {q1,q2, ■■■ ,qn}
Tập các lớp được định nghĩa: C = {C1, C2, ..., Cn}
- Output: nhãn Cj của câu hỏi qi
Huân luyên mô hình
Mô hình
phán lớp Két quả
Bước huân luyẽn
DQ Bệu
huán luyện
í.-. Trtch xuãt
Tiên xử lý "_________ * đâc trưng
Câu đầu vào
Bước phàn lớp (xác dιnh intent)
Hình 8: Hệ thống phân lớp intent chatbot
Một hệ thống trên sẽ bao gồm các bước:
- Bước 1: Tiền xử lý dữ liệu. Ở bước này, dữ liệu cần được “làm sạch” bao gồm chuẩn hoá dữ liệu, chuẩn hoá dạng kí tự viết hoa, không viết hoa, chuyển từ viết sai chính tả thành đúng chính tả...
- Bước 2: Trích chọn thông tin. Trong học máy bước này được gọi là trích xuất đặc trưng và sử dụng mô hình BoW để xây dựng vecto hoá đặc trưng kết hợp với TF-IDF để xác định giá trị các phần tử trong vecto.
- Bước 3: hệ thống sẽ huấn luyện mô hình trên dữ liệu đã được trích xuất - Bước 4: sử dụng các phương pháp Machine Learning để học ra một mô
hình phân lớp.