Mơ hình Glove [31] được sử dụng với số chiều là 300 cho lớp đầu vào cho tất cả các mơ hình. Những từ khơng có trong từ điển được khởi tạo một cách ngẫu nhiên. Số chiều của biểu diễn từ ở mức độ kí tự được chọn là 50 trong các mơ hình match-LSTM và mơ hình mở rộng được học qua mơ hình biLSTM. Số chiều của véc tơ ẩn của các đường LSTM trong tất cả các mơ hình được thiết lập là 300. Số chiều véc tơ ẩn của đường mLSTM trong mơ hình match-LSTM và mơ hình mở rộng là 600. Véc tơ từ được học qua mơ hình fastText [35] để tính tốn độ tương tự trong phần cơ chế chú ý có giám sát là 100.
Các tham số của các mơ hình được cài đặt để so sánh với mơ hình đề xuất được thống kê trong bảng 2.2.
Thuật tốn tối ưu Adam được sử dụng với tốc độ học η= 0,0001 và hai tham số β1= 0,9và β2 = 0,999. Hệ số điều chỉnh λ và γ được thiết lập là 0,0001, kích thước lơ - batch size là 64. Để tránh hiện tượng quá khớp, các kỹ thuật drop-out được sử dụng với tỉ lệ là 30% của tất cả các lớp ẩn và dừng sớm trên tập phát triển tại epoch thứ 32.
2
Bảng 2.2: Các tham số của các mơ hình thực nghiệm
Mơ hình Thiết lập các tham số
QA-LSTM Kích thước véc tơ ẩn LSTM : 300
QA-LSTM-CNN
Kích thước véc tơ ẩn LSTM : 300,
Sử dụng kết hợp các kích thước nhân của kernel CNN là 2 *300, 3*300, 4*300, 5*300.
QA-LSTM-attention Kích thước véc tơ ẩn LSTM : 300 Enhanced LSTM Kích thước vector ẩn LSTM : 300 Match LSTM Kích thước véc tơ ẩn LSTM : 300,
Kích thước vector ẩn mLSTM: 600
Enhenced match LSTM
Kích thước véc tơ ẩn LSTM : 300, Kích thước véc tơ ẩn mLSTM : 600,
Kích thước của véc tơ từ mức kí tự biLSTM:50
Enhanced match-LSTM +Sup.att
Kích thước véc tơ ẩn LSTM : 300, Kích thước véc tơ ẩn mLSTM : 600,
Kích thước của véc tơ từ học ở mức kí tự biLSTM: 50, Số chiều của mơ hình fastText: 100
Bảng 2.3: Kết quả so sánh mơ hình đề xuất với các mơ hình khác trên tập dữ liệu SemEval 2016 và2017 2017
Models MAPSemEval 2017MRR MAPSemEval 2016MRR
(A) QA-LSTM 86,68 91,01 74,36 83,4 (B) QA-LSTM-CNN 87,17 92,59 74,97 83,56 (C) QA-LSTM-attention 87,39 91,50 75,87 82,88 (D) Enhanced LSTM 87,23 93,04 76,46 83,51 (E) match-LSTM 86,51 92,12 77,70 83,76 — (E) + Max-pooling 86,90 92,13 78,00 83,90
— (E) + Max-pooling + CharRNN 87,10 92,26 78,01 84,11 (F) Enhanced match-LSTM 87,87 92,28 78,10 84,21 (G) Enhanced match-LSTM + sup. att. 88,38 93,13 78,62 84,56
(H) QCN 88,51 - - -
(I) KELP 88,43 92,82 79,19 86,42
(J) ECNU 86,72 91,45 77,28 84,09
Các mơ hình được thử nghiệm trên Tensorflow và cài đặt bằng ngôn ngữ Python 3.6 và tất cả thử nghiệm này được thực hiện trên GPU Nvidia Tesla p100 16Gb. Tập phát triển được sử dụng để lựa chọn siêu tham số tốt nhất để thiết lập trên tập kiểm thử.