8 Tổng kết
7.4 thị hàm mất mát trên tập phát triển (dev) trong quá trình huấn luyện trên tập
liệu tiếng Việt
Hình 7.4: Đồ thị hàm mất mát trên tập phát triển (dev) trong quá trình huấn luyện trên tập dữliệu tiếng Việt liệu tiếng Việt
Chúng tôi có đến gần 10 thử nghiệm cho mô hình tiếng Việt xong chúng tôi xin được tóm gọn kết quả cao nhất có thể đạt được. Với mô hình QANet trên tiếng Việt kết quả tốt nhất mà chúng tôi huấn luyện được với điểm F1/EM là76.2/61.8với thông số mô hình: số lượng head trong cơ chế self-attention là 2, kích thước bó là 8 và kích thước tầng ẩn là 128, các thông số và các tầng được giữ nguyên so với mô hình tiếng Anh. Kết quả của quá trình chạy trên tập dữ liệu tiếng Việt chúng tôi tóm tắt trong bảng 7.8. Chúng ta nhận thấy rằng kết quả của mô hình cải tiến lại thấp hơn so với mô hình QANet gốc, chúng tôi đề cập đến một số tồn tại trên tập dữ liệu được đề cập phía dưới.
Với việc áp dụng cơ chế Universal Transformer trên mô hình QANet vào tập dữ liệu tiếng Việt này. Cũng với nhiều thử nghiệm xong chúng tôi thu được kết quả cao nhất75.3/60.4, mô
Mô hình Thông tin chi tiết
QANet5 ml4u_embedding, word dim = 100, connector dim = 128,multihead = 2,batch size =8 QANetUT3 ml4u_embedding, word dim = 100, connector dim = 128,multihead = 1,batch size = 16, numblock = 3
THÍ NGHIỆM VÀ KẾT QUẢ
F1 EM
QANet5 76.2 61.8
QANetUT3 75.3 60.4
Bảng 7.8: Các kết quả các thử nghiệm trên tập tiếng Việthình này với số lượng head là 1, kích thước bó là 16 và tầng ẩn vẫn là 128. hình này với số lượng head là 1, kích thước bó là 16 và tầng ẩn vẫn là 128.
Chúng tôi đi đến một vài nhận xét khi huấn luyện mô hình tiếng Việt như sau.
• QANet thông thường:việc huấn luyện với mô hình có kích thước bó là 8 đạt được kết quả tốt hơn so với 16. Số lượng head là 2 tốt hơn so với head là 1. Chúng tôi nghĩ rằng do tập dữ liệu khá nhỏ việc huấn luyện với số bó lớn khiến mô hình khó hội tụ.
• QANet với Universal Transformer:: mô hình QANet với Universal Transformer chỉ đạt
được kết quả khả quan khi huấn luyện với kích thước bó lớn như 16. Vì vậy chúng tôi sẽ thực hiện một số phân tích trên tập kết quả.
Chúng tôi sẽ thực hiện phân tích những lí do vì sao mô hình Universal Transformer lại đạt kết quả không cao bằng cách xem xét các điểm dữ liệu trong tập phát triển. Chúng tôi tiến hành quan sát 70 điểm dữ liệu đầu tiên trong tập phát triển và chúng tôi nhận thấy có 16 điểm dữ liệu (chiếm 22%) có nhiều điểm tồn tại như: câu trả lời không chính xác, câu hỏi với cụm từ không liên qua đến đáp án, những câu trả lời dài không xúc tích. Có thể với toàn bộ 650 điểm dữ liệu sẽ có nhiều hơn những lỗi như thế này. Bảng 7.9 chúng tôi sẽ đề cập 2 ví dụ tiêu biểu trong số 16 điểm dữ liệu có vấn đề và phân tích lí do chúng tôi nghĩ như vậy.
Với ví dụ đầu, câu hỏi là “Người Tuatha de Danaan xuất hiện trong thần thoại nào?”; ta thấy trong đoạn văn có đề cập đến hầm ở tỉnh Down và nói rằng dẫn đến vùng đất của người “Tuatha de Danaan” như vậy không có nghĩa là Tuatha de Danaan xuất hiện trong thần thoại Alien. Câu hỏi này có vẻ khó, vì chúng ta là người đọc chúng ta có thể hiểu đề cập thần thoại Alien ở đầu câu nên đáp án sẽ là Alien nhưng mô hình thì không như vậy. Câu hỏi này khiến chúng tôi với vai trò người đọc cũng hơi thắc mắc về đáp án của câu hỏi. Ta có thể thấy là mô hình có thể hiểu được đối tượng cần trả lời với câu hỏi chứa từ “thần thoại”.
Với ví dụ thứ 2, câu hỏi về nghĩa của từ “photon” trong tài liệu tiếng Việt, nhưng trong đoạn văn chúng ta chứa câu đơn “photon được dịch là thanh tử”, từ “dịch” trong đoạn văn theo ý kiến chúng tôi không tương đương với từ “nghĩa” trong câu hỏi vì vậy chúng tôi nghĩ câu hỏi này nên cần thay đổi để điểm dữ liệu này chính xác hơn. Trên hình 7.5 biểu diễn sự tương quan giữa câu hỏi với đoạn văn; chúng ta thấy từ “nghĩa là” đều có trong câu hỏi và trong đoạn văn.Chúng ta thấy từ “nghĩa là” trong đoạn có sự tương quan cao với từ “nghĩa là ” trong câu hỏi, từ “dịch” thì có sự tương quan kém hơn. Điều này dẫn đến khi đưa qua tầng Model Encoder mô hình sẽ dự đoán ra kết quả là “âm thanh” trong khi đó câu trả lời thực tế của điểm dữ liệu là “thanh tử”.
Với việc sau khi đổi từ “nghĩa” trong câu hỏi thành từ “dịch” thì lúc này từ dịch ở đoạn văn lúc này đã có sự tương quan cao với từ dịch trong câu hỏi; vì vậy lúc này mô hình dự đoán ra kết quả của câu trả lời là “thanh tử” phù hợp với câu trả lời thực tế chúng tôi đã đề cập trên bảng 7.9. Chúng tôi chỉ đưa ra một vài ví dụ rằng một vài điểm dữ liệu trong tập dữ liệu chưa đạt độ chính xác cao là có cơ sở. Việc lạm dụng từ đồng nghĩa trong việc tạo tập dữ liệu đôi khi lại làm cho một vài điểm dữ liệu bị sai lệch.
Việc chúng tôi chỉ ra những điểm chưa đúng của một vài điểm dữ liệu không có nghĩa rằng tập dữ liệu này giảm bớt tính ứng dụng của tập dữ liệu. Chúng ta thấy rằng mô hình QANet đạt điểm F1_score là 76% cũng là kết quả hết sức khả quan. Tuy nhiên đối với những câu hỏi khó mô hình này chưa trả lời được, điều này chúng tôi cho rằng vì tập dữ liệu của chúng ta chưa đủ lớn và câu hỏi chưa đủ đa dạng. Song với những kết quả thu được chúng tôi nghĩ sẽ là khởi đầu cho việc nghiên cứu các bài toán Hỏi-đáp với tiếng Việt trong mô hình học sâu.
THÍ NGHIỆM VÀ KẾT QUẢ
STT Ví dụ Mức độ Nhận xét chung
1
Đoạn văn:Trong thần thoại Celtic có truyền thuyết về một hang động được gọi là "Cruachan",
hay còn được biết đến như là "cổng địa ngục của Ireland",
một hang động huyền thoại và cổ xưa mà theo truyền thuyết nói rằng xưa kia những sinh vật lạ đã chui lên, và hiện còn được nhìn thấy trên mặt đất. Ngoài ra còn có câu chuyện về
các hiệp sĩ thời trung cổ và các vị thánh đã đi hành hương đến một hang động
nằm trên Station Island, tỉnh Donegal ở Ireland. Tại đây, họ đã thực hiện cuộc hành trình
vào trong lòng đất để đến luyện ngục. Thần thoại Ailen còn cho rằng
đường hầm ở tỉnh Down, phía Bắc Ireland, dẫn đến vùng đất của người Tuatha de Danaan, một tộc người được cho là đã truyền dạy đạo Druid (một tôn giáo cổ) cho người Ireland, và sau đó quay trở lại lòng đất.
Câu hỏi:Người Tuatha de Danaan xuất hiện
trong thần thoại nào?
Câu trả lời dự đoán:Celtic
Câu trả lời thực tế:Alien
Khó Đoạn văntối nghĩa
2
Đoạn văn:Chữ photon có nguồn gốc từ tiếng Hy Lạp,
nghĩa là âm thanh, vì các photon ở bước sóng dài chính là sự lan truyền của âm thanh.
Khái niệm photon lần đầu tiên được đề xuất bởi nhà vật lý Nga Igor Tamm.
Ở một số tài liệu tiếng Việt cũ, photon được dịch là thanh tử.
Câu hỏi:Ở một số tài liệu tiếng Việt cũ, photon nghĩa là gì? Câu trả lời dự đoán:âm thanh
Câu trả lời thực tế:thanh tử
Trung bình Câu hỏi sai
THÍ NGHIỆM VÀ KẾT QUẢ
(a)
(b)