4 THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
4.1.2 Kết quả thực nghiệm
Phần này, tác giả sẽ đánh giá kết quả thực hiện với các phiên bản khác nhau của thuật toán SGDM (cố định độ lớn bước nhảy và trọng số; SGDM đa tầng) và so sánh với thuật toán SGD nguyên bản.
Hình 4.3: Kết quả so sánh các phiên bản của SGD
Ta thấy nếu cố định β = 0.9 thì trong 500 bước lặp đầu tiên, với α = 0.1 thì thuật toán hội tụ không nhanh như với α = 1 hoặc α = 0.5, nhưng sau khoảng 10000 vòng lặp, α = 0.1 thu được kết quả tốt hơn so với các giá trị khác. Như vậy chúng ta có thể thấy rằng chúng ta có thể tăng tốc độ hội tụ của thuật toán nếu chúng ta có thể sử dụng α với các giá trị thích hợp tại các vòng lặp khác nhau để thu được kết quả hội tụ nhanh hơn và tốt hơn.
Phần tiếp theo, tác giả sẽ sử dụng thuật toán SGDM đa tầng để so sánh với các thuật toán cố định α và β để có cái nhìn rõ hơn về tốc độ hội tụ cũng như giá trị hàm chi phí thu được sau các vòng lặp.
Thời gian huấn luyện (giây)
Thuật toán Cross Entropy Loss
Seed 1 Seed 2 Seed 3
SGDM đa tầng 0.269 2.318 2.271 2.634
SGDMα= 0.5, β= 0.9 0.305 2.384 2.399 2.362 SGDMα= 0.1, β= 0.9 0.275 2.354 2.342 2.413
SGD 0.275 2.372 2.297 2.464
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
Hình 4.4: Kết quả so sánh các phiên bản của SGD
Ta thấy rằng thuật toán SGDM đa tầng hội tụ nhanh và thu được kết quả tốt hơn so với thuật toán SGD và thuật toán SGDM (trong hai trường hợp cố định bước nhảy α và trọng số β như trong hình 4.4). Trong khi đó, thời gian chạy của các thuật toán không có sự khác biệt rõ rệt (bảng 4.1)
Ở phần tiếp theo, tác giả sẽ sử dụng thuật toán SGDM đa tầng trong bài toán chấm điểm tín dụng.