2017
Models SemEval 2017 SemEval 2016
MAP MRR MAP MRR (A) QA-LSTM 86,68 91,01 74,36 83,4 (B) QA-LSTM-CNN 87,17 92,59 74,97 83,56 (C) QA-LSTM-attention 87,39 91,50 75,87 82,88 (D) Enhanced LSTM 87,23 93,04 76,46 83,51 (E) match-LSTM 86,51 92,12 77,70 83,76 — (E) + Max-pooling 86,90 92,13 78,00 83,90
— (E) + Max-pooling + CharRNN 87,10 92,26 78,01 84,11 (F) Enhanced match-LSTM 87,87 92,28 78,10 84,21
(G) Enhanced match-LSTM + sup. att. 88,38 93,13 78,62 84,56
(H) QCN 88,51 - - -
(I) KELP 88,43 92,82 79,19 86,42
(J) ECNU 86,72 91,45 77,28 84,09
câu trả lời, từ dòng (E) đến dòng (F) là kết quả mô tả quá trình phát triển từ mô hình match-LSTM đến mô hình đề xuất. Dòng (H-J) là kết quả mới nhất công bố trên tập SemEval tính tới thời điểm mô hình mà mô hình match-LSTM tích hợp cơ chế chú ý có giám sát được đề xuất.
Mô hình đề xuất được so sánh so sánh với các mô hình sau:
• Mô hìnhQCN [40]: xem xét phần chủ đề (subject) của câu hỏi như là phần chính của câu hỏi đồng thời tổng hợp với phần nội dung (body) của câu hỏi kết hợp với cơ chế chú ý để khai thác sự tương tác giữa câu hỏi và câu trả lời. Cuối cùng mô hình đi qua lớp mạng CNN để biểu diễn câu hỏi và câu trả lời.
• Mô hìnhKELP[83]: Mô hình này sử dụng nhân cú pháp (Syntactic Kernel) kết hợp với độ tương tự ngữ nghĩa, độ tương đồng từ vựng, độ tương đồng về ngữ pháp và một số đặc trưng đặc biệt khác đưa vào mô hình SVM để dự đoán. Đây là mô hình có kết quả đứng đầu trong cuộc thi SemEval 2017 với bài toán lựa chọn câu trả lời.
• Mô hình ECNU[84]: Mô hình này kết hợp hai mô hình bao gồm mô hình
có giám sát với các đặc trưng cơ bản và mô hình CNN để biểu diễn câu hỏi và câu trả lời.
• Các mô hình QA-LSTM, QA-LSTM-CNN, QA-LSTM attention [7]:
Các mô hình này thực hiện so khớp câu trả lời với câu hỏi liên quan về mặt ngữ nghĩa phức tạp trong câu. Trong đó mô hình QA-LSTM-CNN là mô hình lai giữa LSTM và CNN dùng cho bài toán QA. Sau đó cơ chế chú ý được kết hợp sử dụng vào mô hình QA-LSTM để học biểu diễn câu trả lời