nội dung chính sẽ ảnh hưởng khơng đáng kể tới tồn bộ ngữ nghĩa chính của cả câu. Ngữ nghĩa của câu chỉ tập trung vào những từ và cụm từ quan trọng mà liên quan trực tiếp tới nội dung của câu hỏi và câu trả lời. Vì vậy, mạng học sâu dựa vào cơ chế chú ý là sự lựa chọn phù hợp với dữ liệu văn bản trong hệ thống hỏi đáp cộng đồng.
Trong chương này, cơ chế chú ý theo từng từ (word-by-word attention) được sử dụng trong việc học sự phù hợp (matching) giữa từ trong câu hỏi với các từ trong câu trả lời trong dữ liệu mạng xã hội CQA. Đầu tiên, mơ hình match- LSTM [4] được đề xuất áp dụng vào bài tốn lựa chọn câu trả lời. Mơ hình match-LSTM được đề xuất trong [4] cho bài tốn suy diễn ngơn ngữ qua việc thực hiện gióng những từ quan trọng trong câu tiên đề (premise) với câu giả thiết (hypothesis) trên tập dữ liệu SNLI (Stanford Natural Language Inference). Khi thực thi mơ hình match-LSTM áp dụng vào bài tốn lựa chọn câu trả lời, các trọng số chú ý giữa từng từ trong câu trả lời với các từ trong câu hỏi được học từ mơ hình khơng hiệu quả trên tập dữ liệu SemEval 2017. Hình 2.2 là một ví dụ minh họa trực quan hình dung về trọng số chú ý của từng từ trong câu trả lời với các từ trong câu hỏi. Ví dụ này cho thấy rằng các trọng số chú ý giữa các từ trong câu trả lời với câu hỏi không tốt như trong bài báo gốc trên dữ liệu SNLI[4]. Vì vậy, mơ hình match-LSTM kết hợp với cơ chế chú ý có giám sát được đề xuất để giúp cho việc học trọng số chú ý của từ với từ trong câu hỏi và câu trả lời tốt hơn với hi vọng sẽ làm cho mơ hình dự đốn tốt hơn. Kết quả cho thấy, mơ hình match-LSTM tích hợp cơ chế chú ý có giám sát đã học được các từ quan trọng mang nội dung chính của câu trả lời và câu hỏi, đồng thời giúp cho mơ hình đề xuất dự đốn tốt hơn mơ hình gốc match-LSTM khoảng 2% trên độ đo MAP và 1% trên độ đo MRR với tập Semeval 2017. Kết quả này tương đương với các mơ hình đứng đầu trong cuộc thi SemEval 2017[21].
2.2. Các cơng trình liên quan
Sau đây là các nghiên cứu liên quan tới bài toán lựa chọn câu trả lời và các nghiên cứu xoay quanh mơ hình đề xuất.
2.2.1. Các nghiên cứu về bài toán lựa chọn câu trả lời
Đây là bài toán cốt lõi và được nghiên cứu nhiều nhất trong hệ thống hỏi đáp cộng đồng. Lịch sử nghiên cứu về bài tốn này có thể gồm 3 giai đoạn: Giai đoạn sử dụng các đặc trưng của từ vựng, giai đoạn tiếp theo sử dụng đặc trưng
(a) Cặp câu hỏi và câu trả lời tốt (b) Cặp câu hỏi và câu trả lời khơng tốt