Về việc lựa chọn các tham số trong tất cả mô hình trong luận án, ban đầu, các tham số của mô hình được lựa chọn theo bài báo gốc để thử nghiệm. Sau đó, các tham số này được điều chỉnh để kiểm tra đánh giá mô hình và lựa chọn ra bộ tham số tốt nhất.
Mô hình Glove [31] được sử dụng với số chiều là 300 cho lớp đầu vào cho tất cả các mô hình. Những từ không có trong từ điển được khởi tạo một cách
1https://alt.qcri.org/semeval2017/task3/index.php?id=data-and-tools 2https://alt.qcri.org/semeval2017/task3/
ngẫu nhiên. Số chiều của biểu diễn từ ở mức độ kí tự được chọn là 50 trong các mô hình match-LSTM và mô hình mở rộng được học qua mô hình biLSTM. Số chiều của véc tơ ẩn của các đường LSTM trong tất cả các mô hình được thiết lập là 300. Số chiều véc tơ ẩn của đường mLSTM trong mô hình match-LSTM và mô hình mở rộng là 600. Véc tơ từ được học qua mô hình fastText [35] để tính toán độ tương tự trong phần cơ chế chú ý có giám sát là 100.
Các tham số của các mô hình được cài đặt để so sánh với mô hình đề xuất được thống kê trong bảng 2.2.
Bảng 2.2: Các tham số của các mô hình thực nghiệm
Mô hình Thiết lập các tham số
QA-LSTM Kích thước véc tơ ẩn LSTM : 300
QA-LSTM-CNN
Kích thước véc tơ ẩn LSTM : 300,
Sử dụng kết hợp các kích thước nhân của kernel CNN là 2 *300, 3*300, 4*300, 5*300.
QA-LSTM-attention Kích thước véc tơ ẩn LSTM : 300 Enhanced LSTM Kích thước vector ẩn LSTM : 300 Match LSTM Kích thước véc tơ ẩn LSTM : 300,
Kích thước vector ẩn mLSTM: 600
Enhenced match LSTM
Kích thước véc tơ ẩn LSTM : 300, Kích thước véc tơ ẩn mLSTM : 600,
Kích thước của véc tơ từ mức kí tự biLSTM:50
Enhanced match-LSTM +Sup.att
Kích thước véc tơ ẩn LSTM : 300, Kích thước véc tơ ẩn mLSTM : 600,
Kích thước của véc tơ từ học ở mức kí tự biLSTM: 50, Số chiều của mô hình fastText: 100
Thuật toán tối ưu Adam được sử dụng với tốc độ học η= 0,0001 và hai tham số β1= 0,9và β2 = 0,999. Hệ số điều chỉnh λ và γ được thiết lập là 0,0001, kích thước lô - batch size là 64. Để tránh hiện tượng quá khớp, các kỹ thuật drop-out được sử dụng với tỉ lệ là 30% của tất cả các lớp ẩn và dừng sớm trên tập phát triển tại epoch thứ 32.
Các mô hình được thử nghiệm trên Tensorflow và cài đặt bằng ngôn ngữ Python 3.6 và tất cả thử nghiệm này được thực hiện trên GPU Nvidia Tesla p100 16Gb. Tập phát triển được sử dụng để lựa chọn siêu tham số tốt nhất để thiết lập trên tập kiểm thử.