Thống kê Số lượng
Số lượng câu hỏi Non-factoid 100
Số lượng câu trả lời 361
Số lượng câu tách ra từ các câu trả lời 2.793
Số lượng từ 59.321
Số lượng tóm tắt bằng tay 275
Số lượng trung bình đoạn tóm tắt trên mỗi câu hỏi 2,75
3.4.2. Thiết lập thử nghiệm
Đối với mơ hình Auto-Encoder, đầu vào là véc tơ có số chiều bằng kích thước của tập từ vựng và sử dụng trọng sốtf.idf. Tập từ vựng được tạo ra bằng cách chuyển các từ sang viết thường, loại bỏ từ dừng và những từ hiếm (có số lần xuất hiện dưới 10 lần), đưa từ về dạng gốc và chuẩn hóa số. Mơ hình AE có 4 lớp mã hóa và 4 lớp giải mã (hình 3.3). Véc tơ h với số chiều là 100 được dùng làm biểu diễn câu. Các tham số trong thuật toán tối ưu Adam [102] được chọn như sau: tốc độ học η = 0,001, kích thước mỗi lơ (batch size) là 128 câu, số epoch là 20. Mơ hình được huấn luyện trên tập Yahoo-webscope với thời gian là 8 giờ trên máy tính với CPU 20 core.
Từ được biểu diễn bởi Word2vec5 có kích thước là 300 được đưa vào LSTM- AE. Khi một từ khơng có trong bộ từ điển được huấn luyện trước, nó được lấy mẫu qua phân phối chuẩn. Các dấu câu như dấu phẩy, dấu hai chấm được chuyển thành < dot >. Dấu hiệu kết thúc câu được chuyển thành < eos >. Các siêu tham số trong mơ hình LSTM-AE được chọn như sau: tốc độ họcη = 0.001, kích thước mỗi lơ là 128, số epoch là 20. Thời gian huấn luyện mơ hình trên tập Yahoo-webscope mất 3 tuần với máy tính CPU 20 core. Cả mơ hình AE và LSTM-AE đều được thực hiện trên Tensorflow.
3.4.3. Kết quả thực nghiệm
Độ đo ROUGE [103] được sử dụng để đánh giá mơ hình tóm tắt:
Độ đo Rouge−N là tỉ lệ của số n−Gram trùng nhau giữa đoạn tóm tắt do mơ hình dự đốn với số n−Gram của đoạn tóm tắt do con người thực hiện.
Rouge−L= LCS(X, Y)
m , (3.22)
trong đó LCS(X, Y) là độ dài dãy con chung lớn nhất của X và Y, X là đoạn
tóm tắt do con người tóm tắt, Y là đoạn tóm tắt do mơ hình dự đốn, m là chiều dài của X.
Trước tiên, mơ hình tóm tắt được đánh giá trên hai mơ hình biểu diễn câu: biểu diễn câu qua trọng sốtf.idf và lấy trung bình các véc tơ từ dùng Word2vec