2.2 Các hướng tiếp cận bài toán Chatbot
2.2.4 Hướng tiếp cận sử dụng mơ hình đơn ngữ đa dụng
Hướng tiếp cận sử dụng mơ hình ngơn ngữ đa dụng hiện nay đang là hướng tiếp cận hiện đại nhất. Các mô hfnh ngôn ngữ này đa số sử dụng mơ hình Transformer làm nền tảng. Mơ hình Transformer là cải tiến của mơ hình mạng nơron hồi quy (Recurrent Neural Network). Điểm nổi trội của mơ hình Transformer so với các mơ hình mạng nơron truyền thống đó là việc giới thiệu khái niệm self-attention (tự tập trung). Ý nghiệm tập trung đem lại lợi thế lơn cho mơ hình máy học khi nó có thể tập trung vào một số thành phần chính của một tập dữ liệu đầu vào lớn mà không bị mất đi độ chính xác như khi sử dụng các mơ hình máy học khác. Hiện nay tồn tại khá nhiều các mơ hình đã được huấn luyện từ trước sử dụng mơ hình Transformer và chúng được phân loại vào 2 nhóm chính:
- Nhóm mơ hình chỉ có mã hóa (encoder): nhóm mơ hình này có thể lấy dữ liệu đầu vào và xuất ra một tập hợp các tham số gọi là các đặc trưng. Sau đó có thể chọn ra các tham số phù hợp dựa theo các phương pháp như Grid Search hay Random Search để xác định được tập giá trị đặc trưng nào có thể được sử dụng cho tác vụ đang thực hiện
- Nhóm mơ hình có cả mã hóa (encoder) và giải mã (decoder): nhóm mơ hình này ngồi khả năng chuyển đổi các từ ngữ thành giá trị đặc trưng mà cịn có
13
khả năng đổi mộ tập hợp các giá trị đặc trưng về lại các từ ngữ, về cơ bản tạo ra được một mơ hình có thể tái tạo xâu kí tự từ những kí tự đầu vào.
Các mơ hình huấn luyện sẵn theo mơ hình Transformer có thể kể đến như XLNET, T5, MT5. Nhưng mơ hình có ảnh hưởng nhất có lẽ sẽ là mơ hình BERT (cũng như họ mơ hình BART) và mơ hình GPT-n. Mơ hình BERT là một mơ hình encoder đã được áp dụng rộng rãi với nhiều ngơn ngữ, một số mơ hình pahts sinh từ BERT cho một số ngơn ngữ nhất định (Ví dụ như PhoBERT cho tiếng Việt). Mơ hình GPT-n là mơ hình decoder chun biệt cho tiếng Anh sử dụng tập dữ liệu rất lớn để huấn luyện, mơ hình sản sinh ra các đoạn văn bản mới từ đoạn văn bản trước đó. Hiện tại phiên bản mới nhất là mơ hình GPT-3 đã đạt được những tiến bộ vượt bậc về việc mô phỏng lại phong cách nói và viết của con người.
Tổng kết lại, có rất nhiều cách tiếp cận để xây dựng một Chatbot. Mỗi cách có một số ưu điểm và nhược điểm nhất định của riêng nó. Để cân bằng mức độ kiến thức vận dụng của đồ án và mức độ hiểu biết cũng như khả năng tìm hiểu của bản thân, nhóm quyết định sử dụng hướng tiếp cận mạng nơron truyền thống để huấn luyện Chatbot.