nội dung chính sẽ ảnh hưởng không đáng kể tới toàn bộ ngữ nghĩa chính của cả câu. Ngữ nghĩa của câu chỉ tập trung vào những từ và cụm từ quan trọng mà liên quan trực tiếp tới nội dung của câu hỏi và câu trả lời. Vì vậy, mạng học sâu dựa vào cơ chế chú ý là sự lựa chọn phù hợp với dữ liệu văn bản trong hệ thống hỏi đáp cộng đồng.
Trong chương này, cơ chế chú ý theo từng từ (word-by-word attention) được sử dụng trong việc học sự phù hợp (matching) giữa từ trong câu hỏi với các từ trong câu trả lời trong dữ liệu mạng xã hội CQA. Đầu tiên, mô hình match- LSTM [4] được đề xuất áp dụng vào bài toán lựa chọn câu trả lời. Mô hình match-LSTM được đề xuất trong [4] cho bài toán suy diễn ngôn ngữ qua việc thực hiện gióng những từ quan trọng trong câu tiên đề (premise) với câu giả thiết (hypothesis) trên tập dữ liệu SNLI (Stanford Natural Language Inference). Khi thực thi mô hình match-LSTM áp dụng vào bài toán lựa chọn câu trả lời, các trọng số chú ý giữa từng từ trong câu trả lời với các từ trong câu hỏi được học từ mô hình không hiệu quả trên tập dữ liệu SemEval 2017. Hình 2.2 là một ví dụ minh họa trực quan hình dung về trọng số chú ý của từng từ trong câu trả lời với các từ trong câu hỏi. Ví dụ này cho thấy rằng các trọng số chú ý giữa các từ trong câu trả lời với câu hỏi không tốt như trong bài báo gốc trên dữ liệu SNLI[4]. Vì vậy, mô hình match-LSTM kết hợp với cơ chế chú ý có giám sát được đề xuất để giúp cho việc học trọng số chú ý của từ với từ trong câu hỏi và câu trả lời tốt hơn với hi vọng sẽ làm cho mô hình dự đoán tốt hơn. Kết quả cho thấy, mô hình match-LSTM tích hợp cơ chế chú ý có giám sát đã học được các từ quan trọng mang nội dung chính của câu trả lời và câu hỏi, đồng thời giúp cho mô hình đề xuất dự đoán tốt hơn mô hình gốc match-LSTM khoảng 2% trên độ đo MAP và 1% trên độ đo MRR với tập Semeval 2017. Kết quả này tương đương với các mô hình đứng đầu trong cuộc thi SemEval 2017[21].
2.2. Các công trình liên quan
Sau đây là các nghiên cứu liên quan tới bài toán lựa chọn câu trả lời và các nghiên cứu xoay quanh mô hình đề xuất.
2.2.1. Các nghiên cứu về bài toán lựa chọn câu trả lời
Đây là bài toán cốt lõi và được nghiên cứu nhiều nhất trong hệ thống hỏi đáp cộng đồng. Lịch sử nghiên cứu về bài toán này có thể gồm 3 giai đoạn: Giai đoạn sử dụng các đặc trưng của từ vựng, giai đoạn tiếp theo sử dụng đặc trưng
(a) Cặp câu hỏi và câu trả lời tốt (b) Cặp câu hỏi và câu trả lời không tốt