8 Tổng kết
7.6 Số lượng tập dữ liệu tiếng Việt trước và sau khi xử lý
Quá trình huấn luyện và kiểm thử
Cấu hình chung của mô hình QANet trên ngôn ngữ tiếng Việt không có thay đổi nhiều so với trên tiếng Anh. Kích thước bó chúng tôi chọn là 16 trên mô hình tiếng Việt. Như đã trình bày ở mục 6.2, tập mã hóa từ vựng nhóm chúng tôi dùng tập mã hóa với mỗi từ có kích thước 100-D và dùng thư viện Pyvi hỗ trợ cho việc tiền xử lý.
Với tập dữ liệu huấn luyện khoảng 6600 điểm dữ liệu, mô hình chúng tôi huấn luyện xấp xỉ khoảng 30 phút huấn luyện trên Google Colab. Vì mô hình được huấn luyện nhanh nên chúng tôi có nhiều thử nghiệm trên mô hình này.
Hình 7.3 ta thấy rằng mô hình hội tụ ở bước 6000, với mỗi bước là mỗi một bó dữ liệu được huấn luyện, hàm mất mát của tập huấn luyện dao động quanh giá trị 2; trên hình 7.4 từ bước 3500 đến bước 6000, hàm mất mát của mô hình không thay đổi nhiều mà dao dộng ở quanh giá trị 3. Vì vậy sau một vài quá trình huấn luyện, chúng tôi đã áp dụng cơ chế early stopping để dừng quá trình huấn luyện mô hình lại. Trong huấn luyện mô hình học sâu điều chúng ta quan tâm nhất là hàm mất mát trên tập phát triển hoặc tập kiểm thử vì chính kết quả này phần nào phản ánh dữ liệu thực tế mà chúng ta có thể gặp phải.
THÍ NGHIỆM VÀ KẾT QUẢ
Hình 7.3: Đồ thị hàm mất mát trên tập huấn luyện (train) trong quá trình huấn luyện trên tập dữliệu tiếng Việt liệu tiếng Việt
Hình 7.4: Đồ thị hàm mất mát trên tập phát triển (dev) trong quá trình huấn luyện trên tập dữliệu tiếng Việt liệu tiếng Việt
Chúng tôi có đến gần 10 thử nghiệm cho mô hình tiếng Việt xong chúng tôi xin được tóm gọn kết quả cao nhất có thể đạt được. Với mô hình QANet trên tiếng Việt kết quả tốt nhất mà chúng tôi huấn luyện được với điểm F1/EM là76.2/61.8với thông số mô hình: số lượng head trong cơ chế self-attention là 2, kích thước bó là 8 và kích thước tầng ẩn là 128, các thông số và các tầng được giữ nguyên so với mô hình tiếng Anh. Kết quả của quá trình chạy trên tập dữ liệu tiếng Việt chúng tôi tóm tắt trong bảng 7.8. Chúng ta nhận thấy rằng kết quả của mô hình cải tiến lại thấp hơn so với mô hình QANet gốc, chúng tôi đề cập đến một số tồn tại trên tập dữ liệu được đề cập phía dưới.
Với việc áp dụng cơ chế Universal Transformer trên mô hình QANet vào tập dữ liệu tiếng Việt này. Cũng với nhiều thử nghiệm xong chúng tôi thu được kết quả cao nhất75.3/60.4, mô
Mô hình Thông tin chi tiết
QANet5 ml4u_embedding, word dim = 100, connector dim = 128,multihead = 2,batch size =8 QANetUT3 ml4u_embedding, word dim = 100, connector dim = 128,multihead = 1,batch size = 16, numblock = 3