Trước hết, chúng tôi đã có sự công hiến trong việc liên tục tiến hành các thử nghiệm với các lựa chọn khác nhau về mô hình dạng sinh dé tìm ra được một mô hình đạt
được độ chính xác cao (F1-Score) trong bài toán hỏI-đáp. Ngoài ra chúng tôi còn thử
nghiệm các mô hình dạng sinh kết hợp với kỹ thuật tách từ đề từ đó có thê đưa ra
nhận định sơ bộ rằng kỹ thuật tách từ có thé có ảnh hưởng phi tuyến tính đối với
hiệu suất của mô hình chúng tôi đang thử nghiệm. Cuối cùng, chúng tôi đã dùng mô hình đề xuất của mình dé so sánh với hệ thống đã được xây dựng san trước đó dé có được cái nhìn thực tế nhất về khả năng của mô hình đề xuất của chúng tôi.
72. Hạn chế:
Đối với một bài toán trong lĩnh vực NLP đặt biệt là bài toán hỏi-đáp, trong suốt công
tác thực hiện nghiên cứu, các nghiên cứu sinh ngoai việc nhận được một số kinh
nghiệm thành tựu hữu ích bên cạnh đó còn phải đối mặt với một số điểm hạn chết nhất định. Và chúng tôi cũng không ngoại lệ, song song với những kết quả khả quan đã đạt
được, nhóm đã phải đôi mặt với một sô vân đê thách thức như sau:
Điều đầu tiên, bộ dữ liệu UIT-ViQuAD2.0 mà chúng tôi dùng cho phạm vi khóa luận
này có thé coi là bộ dữ liệu tương đối vì nó có nhiều lĩnh vực khác nhau, tuy nhiên dé bao quát hết tất cả những linh vực hiện thực trong thế giới hiện tại thì chưa đủ. Ngoài
ra, số lượng mẫu cho từng lĩnh vực cũng chưa đủ cho việc nâng cao hiệu suất của mô
hình đạt đến giới hạn. Ví dụ, trong lĩnh vực y khoa — một lĩnh vực đòi hỏi kiến thức
chuyên môn cao đề có thê đưa ra câu trả lời thật chính xác bởi sự mỗi một câu trả lời
thuộc lĩnh vực này có thé ảnh hưởng ít nhiều sự nhận thức của người dùng đối với vấn
đề sức khỏe, mà vấn đề này đòi sự chuẩn xác đến mức khắc khe bởi nó liên quan đến
vân đê sức khỏe, tính mạng của con người. Chính vì thê, việc hạn chê vê mặt sô lượng
49
lĩnh vực được bao hàm cũng như số lượng mẫu của từng mảng có sự ảnh hưởng to lớn đến độ tin cậy của mô hình.
Tiếp theo, ở phạm vi khóa luận này, chúng tôi dùng hai phương pháp đánh giá chính là
Fl1-Score và EM. Du F1-Score đạt được gia trị khá khả quan nhưng EM không đạt
được kết quả như chúng tôi mong đợi. EM là độ đo phản ánh khắt khe độ chính xác của
mô hình bởi đây là bài toán hoi-dap, dù là lĩnh vực nào, ngôn ngữ nao cũng đòi hỏi sự
chính xác cao nhất dé có thé đưa ra câu trả lời mà người dùng cần. Với sự bùng nỗ về
dữ liệu, việc có thé đưa ra câu trả lời chính xác từ vô van nguồn dữ liệu là một việc vô cùng cấp bách bởi sự hiểu biết của người dùng có thé bị sai lệch nếu hệ thống chưa đạt
được độ chính xác cao trong giới hạn cho phép.
7.3. Huong phát triển:
Đôi mặt với những điêm hạn chê vừa nêu ra ở trên, với tư cách là nghiên cứu sinh thì
nhóm luôn có mong muôn thực hiện khai thác phát triên bài toán ở tâm cao hơn.
Do đó trải qua quá trình nghiên cứu và thực nghiệm với những hạn chế nêu trên chúng tôi đã có một số hướng thực hiện phát triển trong tương lai như sau:
Đầu tiên, chúng tôi có thé tiễn hành mở rộng bộ dữ liệu. Cụ thé là mở rộng số lượng
lĩnh vực mà bộ đữ liệu tiếp cận. Không những thế, chúng tôi cũng có mong muốn tăng
thêm số lượng mẫu của từng mảng. Như thế sẽ có thể giúp ích cho việc tăng hiệu năng
của mô hình.
Thứ hai, dé tối ưu hóa bài toán và có thể tiết kiệm chi phí huấn luyện và nâng cao hiệu suất thì chúng tôi sẽ nghiên cứu nhiều mô hình hơn. Hiện nay, ở mô hình dạng sinh nói riêng, các mô hình được dùng cho các bài toán thuộc lĩnh vực NLP nói chung, đại da số đều dùng thuật toán tối ưu AdamW. Và kết quả thực nghiệm đã được công bé cho thay hiệu năng của thuật toán này vẫn luôn thuộc top đầu trong số các thuật toán đang được
ưa chuộng hiện nay. Thế nhưng thuật toán AdamW vẫn có những hạn chế nhất định, đó
là chi phí huấn luyện. Trong khả năng hạn chế của chúng tôi, việc huấn luyện tốn rat
50
nhiều chi phí cũng gây cho chúng tôi không ít khó khăn. Chính vì thế việc có thể tìm ra thuật toán tối ưu thích hợp cho sự hạn chế về mặt kinh phí cho chúng tôi là việc cấp
thiết.
Cuối cùng, để có thê chứng minh khách quan hơn về vấn đề độ chính xác của kỹ thuật tách từ có thé ảnh hưởng theo chiều hướng tốt hoặc xuất tùy thuộc vào độ chính xác
của kỹ thuật này có quá cao hay không. Trong một bài báo nghiên cứu về vấn đề này
trong tiếng trung, tác giả đã đưa ra được bằng chứng thuyết phục về sự ảnh hưởng
không tuyến tính của bước tách từ đối với hiệu suất của một mô hình. Trong phạm vi
khóa luận, chúng tôi chưa có cơ hội dé có thé đưa ra bằng chứng khách quan nhất dé
chứng minh cho vấn đề này. Vì thế chúng tôi hi vọng trong tương lai gần, chúng tôi có thé có cơ hội nghiên cứu về vấn dé này và đóng góp một phan cho sự phát triển của
lĩnh vực NLP trong tiếng việt.
51