7.4.1 Môi trường huấn luyện mô hình
Các mô hình học máy được huấn luyện trên môi trường có thông số như sau:
• CPU: 16 nhân
• RAM: 64GB
• GPU: 2x NVIDIA Tesla K80
7.4.2 Mô hình ngôn ngữ dùng LSTM
Mô hình ngôn ngữ dùng LSTM là mô hình cơ bản nhất, nhóm sử dụng mô hình này để có thể đưa ra đánh giá với mô hình GPT-2 ở mục 7.4.3. Cụ thể thiết lập thông số cho mạng LSTM như sau:
• vocab size: 52000
• embedding size: 256
CHƯƠNG 7 THÍ NGHIỆM VÀ ĐÁNH GIÁ 49
• hidden size: 256
• number layer: 1
Mô hình được huấn luyện với tập dữ liệu ở mục 4.1 với cái tham số như sau:
• batch size: 16
• number iterator: 10
• learning rate: 0.01
Thời gian huấn luyện mô hình mất khoảng 72 giờ.
7.4.3 Mô hình GPT-2
Mô hình nhóm sử dụng là mô hình GPT-2 và được giảm các thông số để phù hợp với giới hạn về tài nguyên khi huấn luyện và sử dụng. Cụ thể các thông số của mô hình như sau:
• vocab size: 52000 • max length: 128 • dropout: 0.2 • embedding size: 256 • number layer: 8 • number head: 8
Với thiết lập trên thì mô hình có 19 triệu tham số. Và được huấn luyện với tập dữ liệu được chuẩn bị ở mục 4.1 với các tham số như sau:
• batch size: 32
• number steps: 100000
• learning rate: 0.001
Thời gian huấn luyện mô hình mất khoảng 25 giờ.
7.4.4 Kết quả và đánh giá
Hai mô hình được đánh giá trên dựa vào độ đo perplexity(PPL). Kết quả như bảng 7.1:
Bảng 7.2 đưa ra một số câu được sinh ra từ hai mô hình. Có thể thấy rằng mô hình GPT-2 có khả năng bám sát được ngữ cảnh hơn và đưa ra câu trả lời phù hợp hơn so với mô hình LSTM. Đồng thời mô hình GPT-2 còn cho khả năng huấn luyện nhanh hơn khá nhiều so với mô hình LSTM truyền thống.
CHƯƠNG 7 THÍ NGHIỆM VÀ ĐÁNH GIÁ 50 PPL
LSTM 59.7 GPT-2 12.9
Bảng 7.1:Đánh giá PPL giữa hai mô hình LSTM và GPT-2
Câu nhập vào LSTM GPT-2
hôm nay chán quá đi Chúng ta đã nói chuyện này
là anh có gì? Rồi sao?
mới đi làm về mệt quá có nhiều người khác đi Đâu có mệt quá đâu. thi xong rồi đi chơi thôi làm gì vậy. Tôi không thích thế. tôi cảm thấy không được
khoẻ lắm. có.IA.Hmm...và Có lẽ cậu nên xem lại bảnthân. cậu bao nhiêu tuổi rồi? có gì đó không có một người
khác. Hai
cậu ở đâu vậy? IAaron? nhưng không biết là
anh Tớ không biết.
chào tạm biệt nhé! Chúng tôi sẽ không biết là
người đã làm gì? Đợi đã, chờ đã
hẹn gặp lại. lên? Có đi, Tạm biệt.
Bảng 7.2:Một số câu do hai mô hình sinh ra