7.4.1 Mơi trường huấn luyện mơ hình
Các mơ hình học máy được huấn luyện trên mơi trường có thơng số như sau:
• CPU: 16 nhân
• RAM: 64GB
• GPU: 2x NVIDIA Tesla K80
7.4.2 Mơ hình ngơn ngữ dùng LSTM
Mơ hình ngơn ngữ dùng LSTM là mơ hình cơ bản nhất, nhóm sử dụng mơ hình này để có thể đưa ra đánh giá với mơ hình GPT-2 ở mục 7.4.3. Cụ thể thiết lập thơng số cho mạng LSTM như sau:
• vocab size: 52000
• embedding size: 256
CHƯƠNG 7 THÍ NGHIỆM VÀ ĐÁNH GIÁ 49
• hidden size: 256
• number layer: 1
Mơ hình được huấn luyện với tập dữ liệu ở mục 4.1 với cái tham số như sau:
• batch size: 16
• number iterator: 10
• learning rate: 0.01
Thời gian huấn luyện mơ hình mất khoảng 72 giờ.
7.4.3 Mơ hình GPT-2
Mơ hình nhóm sử dụng là mơ hình GPT-2 và được giảm các thơng số để phù hợp với giới hạn về tài nguyên khi huấn luyện và sử dụng. Cụ thể các thơng số của mơ hình như sau:
• vocab size: 52000 • max length: 128 • dropout: 0.2 • embedding size: 256 • number layer: 8 • number head: 8
Với thiết lập trên thì mơ hình có 19 triệu tham số. Và được huấn luyện với tập dữ liệu được chuẩn bị ở mục 4.1 với các tham số như sau:
• batch size: 32
• number steps: 100000
• learning rate: 0.001
Thời gian huấn luyện mơ hình mất khoảng 25 giờ.
7.4.4 Kết quả và đánh giá
Hai mơ hình được đánh giá trên dựa vào độ đo perplexity(PPL). Kết quả như bảng 7.1:
Bảng 7.2 đưa ra một số câu được sinh ra từ hai mơ hình. Có thể thấy rằng mơ hình GPT-2 có khả năng bám sát được ngữ cảnh hơn và đưa ra câu trả lời phù hợp hơn so với mơ hình LSTM. Đồng thời mơ hình GPT-2 cịn cho khả năng huấn luyện nhanh hơn khá nhiều so với mơ hình LSTM truyền thống.
CHƯƠNG 7 THÍ NGHIỆM VÀ ĐÁNH GIÁ 50 PPL
LSTM 59.7 GPT-2 12.9
Bảng 7.1:Đánh giá PPL giữa hai mơ hình LSTM và GPT-2
Câu nhập vào LSTM GPT-2
hôm nay chán quá đi Chúng ta đã nói chuyện này
là anh có gì? Rồi sao?
mới đi làm về mệt quá có nhiều người khác đi Đâu có mệt q đâu. thi xong rồi đi chơi thơi làm gì vậy. Tơi khơng thích thế. tơi cảm thấy khơng được
khoẻ lắm. có.IA.Hmm.....và Có lẽ cậu nên xem lại bảnthân. cậu bao nhiêu tuổi rồi? có gì đó khơng có một người
khác. Hai
cậu ở đâu vậy? IAaron? nhưng không biết là
anh Tớ không biết.
chào tạm biệt nhé! Chúng tôi sẽ không biết là
người đã làm gì? Đợi đã, chờ đã
hẹn gặp lại. lên? Có đi, Tạm biệt.
Bảng 7.2:Một số câu do hai mơ hình sinh ra