4 THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
4.7 Đường cong ROC
Đường cong ROC sẽ bao gồm các điểm rời rạc được nối với nhau thành một đường, với mỗi điểm thể hiện FPR và TPR tương ứng với một ngưỡng phân loại xác suất cho nhãn positive. Khi ngưỡng phân loại bằng 1, cả FPR và TPR đều bằng 0 và ngược lại khi ngưỡng phân loại bằng 0, cả FPR và TPR đều bằng 1. Mô hình tốt nhất có thể sẽ có một ngưỡng mà TPR bằng 1 và FPR bằng 0. Người ta đại lượng hóa đường cong ROC bằng một đại lượng là AUC (area under the ROC curve). AUC có giá trị bằng diện tích phần nằm dưới đường cong ROC. Ngoài ra trong bài toán chấm điểm tín dụng, chúng ta cũng hay sử dụng chỉ số Gini, được tính như sau:
Gini= 2∗AU C−1
4.2.4 Kết quả đánh giá
Tác giả sử dụng thuật toán hồi quy Logistic kết hợp với một số phương pháp về lấy lại mẫu để làm giảm sự mất cân bằng của các nhãn cũng như thực hiện các
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
phương pháp về lựa chọn thuộc tính và các biến cho mô hình. Tác giả sử dụng kỹ thuật 5-folds cross-validation để phát triển mô hình trên tập huấn luyện và thực hiện kiểm tra kết quả trên tập kiểm tra thu được kết quả chi tiết như sau:
Train Val
AUC Gini AUC Gini
test1 0.9355 0.8710 0.8360 0.6720 test2 0.9364 0.8728 0.8208 0.6416 test3 0.9357 0.8714 0.8336 0.6672 test4 0.9331 0.8662 0.8309 0.6618 test5 0.9338 0.8676 0.8311 0.6622 test6 0.9323 0.8646 0.8383 0.6766 test7 0.9333 0.8666 0.8384 0.6768 test8 0.9373 0.8746 0.8237 0.6474 test9 0.9360 0.8720 0.8327 0.6654 test10 0.9352 0.8704 0.8334 0.6668
Bảng 4.4: Kết quả mô hình trên tập train/val tính theo cross-validation
Kết quả thu được khá tốt khi các tập validation đều có Gini từ 0.6 trở lên ở tất cả các tập đánh giá và Gini ở các tập train ở mức 0.8. Sau đó, tác giả thực hiện kiểm tra kết quả của mô hình ở tập test, thu được kết quả như sau:
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
Tháng Số lượng khách hàng Tỉ lệ bad AUC test Gini test
2018-09-01 2885 7.47% 0.7392 0.4784 2018-10-01 3570 6.39% 0.8196 0.6392 2018-11-01 2526 5.84% 0.6674 0.3348 2018-12-01 2911 5.84% 0.7150 0.4300 2019-01-01 3546 6.22% 0.7040 0.4080 2019-02-01 3365 6.21% 0.7443 0.4886 2019-03-01 2201 6.92% 0.7022 0.4044 2019-04-01 3420 5.95% 0.7644 0.5288 2019-05-01 2408 5.52% 0.7480 0.4960 2019-06-01 2690 6.04% 0.7528 0.5056 2019-07-01 3423 6.75% 0.7312 0.4624 2019-08-01 3278 6.53% 0.7674 0.5348 2019-09-01 2406 5.76% 0.7854 0.5708 2019-10-01 2313 7.29% 0.7433 0.4866 2019-11-01 2486 7.27% 0.7972 0.5944 2019-12-01 2732 6.95% 0.7843 0.5686 2020-01-01 3146 6.08% 0.7789 0.5578 2020-02-01 3261 6.45% 0.7425 0.4850 2020-03-01 3477 6.89% 0.7833 0.5666 2020-04-01 2229 6.05% 0.7031 0.4062 2020-05-01 2995 7.30% 0.7026 0.4052 2020-06-01 2462 5.96% 0.7082 0.4164
Bảng 4.5: Kết quả mô hình trên tập test tính theo từng tháng
Dựa vào kết quả đánh giá ta thấy rằng mô hình cho kết quả rất ổn định qua các tháng trong tập kiểm tra, đặc biệt trong ba tháng OOT mô hình vẫn cho kết quả tốt (gini đều trên 0.4), đây là một kết quả rất khả quan khi áp dụng vào thực tế. Tiếp theo, tác giả so sánh kết quả khi sử dụng SGDM đa tầng với khi sử dụng các thuật toán khác, kết quả thu được như sau:
Model Gini(Train) Gini(Test) Thời gian huấn luyện (giây)
SGDM đa tầng 0.6697 0.4895 11.0
LGBMClassifier 0.9143 0.5032 30.8
XGBClassifier 0.8271 0.4821 226.7
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
Mô hình sử dụng LGBMClassifier cho kết quả cao nhất nhưng ta thấy rằng kết quả bị overfit khá nặng trên tập huấn luyện. Mô hình sử dụng XGBClassifier mất nhiều thời gian nhất để huấn luyện, và cũng gặp vấn đề với overfit. Mặc dù mô hình sử dụng SGDM đa tầng không thu được kết quả tốt nhất trên tập kiểm tra nhưng lại có được sự ổn định từ tập huấn luyện tới tập kiểm tra và thuật toán chạy trong thời gian nhanh nhất, do đó được đánh giá cao khi sử dụng thực tế. Kết quả cũng mở ra những hướng nghiên cứu kết hợp các phương pháp với nhau để thu được kết quả tốt hơn nữa, cũng như có thể cải thiện thuật toán SGDM đa tầng để thu được kết quả tốt hơn nữa.
KẾT LUẬN
Qua luận văn này, một lần nữa cho ta thấy sức mạnh to lớn của thuật toán hướng giảm gradient ngẫu nhiên trong các bài toán có dữ liệu lớn. Ngoài ra tác giả đã có một số đóng góp chính sau:
• Trình bày thuật toán hướng giảm gradient ngẫu nhiên và thuật toán gradient cải tiến, trình bày chứng minh sự hội tụ của thuật toán.
• Áp dụng thuật toán SGDM vào bài toán phân loại chữ viết tay.
• Tác giả đã áp dụng thuật toán SGDM vào bài toán chấm điểm tín dụng thực tế của doanh nghiệp và thu được kết quả khả quan, có khả năng ứng dụng trong thực tế.
Kết quả của thuật toán hiện đang được sử dụng thực tế trong doanh nghiệp để rút ngắn việc đưa ra quyết định tín dụng cho doanh nghiệp, giúp nâng cao năng suất, hiệu quả công việc cũng như trải nghiệm khách hàng, đồng thời hạn chế những rủi ro tín dụng của tổ chức. Một số hướng phát triển tiếp theo của luận văn:
• Nghiên cứu và đề xuất thêm các phương pháp cải tiến hàm chi phí của thuật toán hướng giảm gradient ngẫu nhiên.
• Thử nghiệm sử dụng mô hình ở phạm vi dữ liệu lớn hơn, đánh giá hiệu quả mô hình sau thời gian chạy thực tế.
Tài liệu tham khảo
[1] L. Bottou, “Large-scale machine learning with stochastic gradient descent,” Proceedings of COMPSTAT, pp. 177–186, 2010.
[2] Y. Liu, “An improved analysis of stochastic gradient descent with momen- tum,” Journal of Field Robotics, vol. 36, pp. 617 – 635, 2019.
[3] N. Loizou and P. Richtárik, “Linearly convergent stochastic heavy ball method for minimizing generalization error,” arXiv preprint arXiv:1710.10737, 2017.
[4] N. Loizou and P. Richtárik., “Momentum and stochastic momentum for stochastic gradi- ent, newton, proximal point and subspace descent meth- ods,” arXiv preprint arXiv:1712.09677, 2017.
[5] P. J. Rahul Kidambi, Praneeth Netrapalli and S. Kakade., “On the insuf- ficiency of existing momentum schemes for stochastic optimization,” Infor- mation Theory and Applications Workshop (ITA), pp. 1–9, 2018.
[6] H. L. Igor Gitman, “Understanding the role of momentum in stochastic gradient methods,” Advances in Neural Information Processing Systems, p. 9630–9640, 2019.
[7] Z. L. Y Yan, T Yang, “A unified analysis of stochastic momentum meth- ods for deep learning,” IJCAI International Joint Conference on Artificial Intelligence, 2018.
[8] R. J. Hao Yu and S. Yang, “On the linear speedup analysis of communication efficient momentum sgd for distributed non-convex optimization,” Interna- tional Conference on Machine Learning, p. 7184–7193, 2019.
[9] R. M. G. Othmane Sebbouh and A. Defazio, “On the convergence of the stochastic heavy ball method,” arXiv preprint arXiv:2006.07867, 2020. [10] I. S. Alex Krizhevsky and G. E. Hinton, “Imagenet classification with deep
convolutional neural networks,” Advances in neural information processing systems, p. 1097–1105, 2012.
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
[11] D. Y. Geoffrey Hinton, Li Deng, “Deep neural networks for acoustic model- ing in speech recognition: The shared views of four research groups,” IEEE Signal processing magazine, vol. 29, pp. 82–97, 2012.
[12] G. D. Ilya Sutskever, James Martens and G. Hinton, “On the importance of initialization and momentum in deep learning,” International conference on machine learning, p. 1139–1147, 2013.