Hinh 4.12. Hinh 4.12. Két qua dir dodn cua m6 hinh Adaboost
4.1.9. Kết quả mô hình Support Vector Machine
Khi tiền hành EVALUATE MODEL mô hình SVM, nhóm nghiên cứu thu được kết quả các chỉ số ACC, Recall, Precision, AUC, F1 Score và Confusion Matrix như sau:
True Positive False Negative Accuracy Precision Threshold — AUC
424 275 0.843 0.793 0.5 0.876
False Positive True Negative Recall F1 Score
111 1647 0.607 0.687
Positive Label Negative Label
1 0
Hinh 4.17. Két qua EVALUATE MODEL cua mé hinh Support Vector Machine.
Accuracy do luong ty lệ dự đoán chính xác của mô hình. Trong trường hợp nảy, mô hình dự đoán chính xác 84.3% trường hợp khách hàng có ngừng dịch vụ thẻ tín dụng hay không. Điều này cho thấy mô hình có khả năng dự đoán tốt khả năng khách hàng ngừng dịch vụ thẻ tín dụng.
Precision la chỉ số đo lường tỷ lệ giữa số lượng các trường hợp mà mô hình dự đoán là khách hàng sẽ ngừng và thực sự là khách hàng rời bỏ sử dụng dịch vụ.
Precision có giá trị là 0.793 có nghĩa là 79.3% trong số những khách hàng được dự đoán sẽ ngừng dịch vụ của ngân hàng là dự đoán chính xác. Đồng nghĩa với việc răng
20.7% là con số dự đoán khách hàng vẫn sẽ tiếp tục dùng dịch vụ thanh toán của ngân hàng.
Recall đo lường tỷ lệ khách hàng thực sự ngừng dịch vụ thẻ tín dụng được dự đoán chính xác. Đối với mô hình này, mô hình có thê phát hiện 60.7% khách hàng thực sự sẽ ngừng dịch vụ thẻ tín dụng.
Thông số F1 score là thước đo téng hop cho ca Precision va Recall, va diém Fl xấp xi 68.7% cho thay vé mat bang chung mô hình có hiệu suất ở mức khá.
50
Hình 4.18. Diện tích dưới đường cong ROC của m6 hinh Support Vector Machine.
Diện tích dưới đường cong ROC (AUC) là thước đo hiệu suất tông thể của mô
hình phân loại. Với giá trị AUC là 0.876, mô hình có hiệu suất khá tốt trong việc phân
biệt khách hàng sẽ ngừng dịch vụ thẻ tín đụng và khách hàng sẽ tiếp tục sử dụng dịch
vụ. Điều này ngụ ý rằng mô hình có khả năng phân loại khá tốt giữa hai nhóm khách hàng này.
4.1.10. Kết quả mô hình Decision Jungle Trong nghiên cứu này, nhóm đã áp dụng mô hình Decision Jungle để dự đoán và phân loại dữ liệu liên quan đến việc dự đoán tỷ lệ khách hàng rời bỏ thẻ tín dụng của ngân hàng. Dưới đây là các chỉ số đo lường quan trọng đề đánh giá hiệu suất của mô hình, bao gồm True Positive, False Negative, Accuracy, Precision, False Positive, True Negative, Recall va F1 Score.
2 Positive False Nega Accurac Precision rsh %SNNRB AUC
595 104 0.932 0.903 0.5 0.978
64 1694 0.851 0.876
1 0
Hinh 4.19. Két qué EVALUATE MODEL cia mé hinh Support Vector Machine.
51
True Positive là số lượng khách hàng được dự đoán là sẽ rời bỏ sử dụng dịch vụ thẻ tín dụng của ngân hàng và thực tế họ đã rời bỏ. Trong trường hợp này, True Positive là 595, cho thấy mô hình đã dự đoán chính xác 595 khách hàng sẽ rời bỏ thẻ tín đụng và thực tế họ đã làm như vậy. Đây là chỉ số quan trọng để đánh giá hiệu suất của mô hình trong việc xác định chính xác những khách hàng có nguy cơ rời bỏ cao.
False Negative là số lượng khách hàng được dự đoán sẽ tiếp tục sử dụng thẻ tín dụng nhưng thực tế đã rời bỏ. Với False Negative là 104, mô hình đã dự đoán sai 104 khách hàng sẽ tiếp tục sử dụng thẻ tín dụng nhưng thực tế họ đã rời bỏ dịch vụ.
False Positive là số lượng khách hàng được dự đoán sẽ rời bỏ nhưng thực tế vấn tiếp tục sử dụng thẻ. False Positive 64 có nghĩa là mô hình đã dự đoán sai 64 khách hàng sẽ rời bỏ thẻ tín dụng nhưng thực tế họ vẫn tiếp tục sử dụng.
True Negative là số lượng khách hàng được dự đoán sẽ tiếp tục sử dụng thẻ và thực tế vẫn tiếp tục sử dụng. True Negative 1694 cho thay mô hình đã dự đoán chính xác 655 khách hàng sẽ tiếp tục sử dụng thẻ tín dụng và thực tế họ vẫn tiếp tục
sử đụng. True Negative là một yếu tố quan trọng thê hiện khả năng dự đoán chính
xác của mô hình đối với những nhóm khách hàng có tỷ lệ rời bỏ thấp.
Accuracy thê hiện mức độ chính xác của mô hình. Trong mô hình nghiên cứu này, accuracy đạt 93.2%, cho thấy mô hình có khả năng dự đoán tốt giữa khách hàng
"sẽ rời bỏ" và "sẽ tiếp tục sử dụng" thẻ tín dụng.
Precision là tỷ lệ khách hàng thực sự rời bỏ trên tông số khách hàng được dự đoán rời bỏ. Với Precision là 90.3%, mô hình có kha nang dự đoán chính xác về việc khách hàng sẽ rời bỏ dịch vụ.
Recall đo lường khả năng của mô hình trong việc nhận diện khách hàng rời bỏ. Mô hình có recall là 85. 1%, cho thấy khả năng nhận diện khách hàng rời bỏ tương đi cao.
F1 Score là thước đo tông hợp hiệu suất của mô hình, kết hợp giữa precision và recall. Với F1 Score là 87.6%, mô hình có hiệu quả khá tốt trong việc dự đoán tỷ lệ khách hàng rời bỏ thẻ tín dụng.
52
Hình 4.20. Dién tich dưới đường cong ROC của mô hình SVM.
Diện tích dưới đường cong ROC (AUC) một độ đo được sử dụng đề đánh giá
hiệu suất tổng thể của một mô hình phân loại. Với giá trị AUC là 0.978, mô hình cho
thấy khả năng phân biệt tốt giữa khách hàng sẽ rời bỏ và khách hàng sẽ tiếp tục sử dụng thẻ tín dụng. AUC càng cao thì mô hình phân loại càng tốt, tức là có khả năng phân biệt tốt hơn giữa các nhóm khách hàng này.
53