CHƯƠNG 4: CHƯƠNG 4: KÉT QUÁ NGHIÊN CỨU
4.1 Kết quả nghiên cứu
4.1.1 Kết quả mô hình Neural Network Nhóm nghiên cứu đã tiến hành EVALUATE SCORE MODEL của mô hình
amt x l ih.
Hinh 4.1. Score Model c#a m6 hinh Two-Class Neural Network Theo dữ liệu trên, ở cột "Scored Labels" đã chỉ ra lớp dự đoán của mô hình Neural Network Classification, đây là việc dự đoán liệu một khách hàng có ngừng sử dụng dịch vụ thẻ tín dụng hay không. Giá trị 0 có nghĩa là mô hình dự đoán khách hàng không ngừng việc sử dụng thẻ tin dung và gia tri 1 là ngược lại, mô hình dự đoán khách hàng có khả năng từ bỏ việc sử dụng thẻ tín dụng.
Cột "Scored Probabilities" cho biét xác suất của dự đoán của mô hình. Đối với mỗi mẫu dữ liệu, một giá trị xác suất được dự đoán, thường nằm trong khoảng từ 0 đến l, với giá trị cảng gần I thì khả năng mô hình dự đoán đúng cảng cao. Ví dụ, trong hàng đầu tiên, mô hình dự đoán răng khách hàng sẽ rời bỏ địch vụ (Scored
Labels = I), và xác suất dự đoán khả năng khách hàng ngừng sử dụng dịch vụ là 88.2%.
Tóm lại, hai cột “Scored Labels” va "Scored Probabilities" cho biét mé hinh dự đoán kết quả và xác suất khách hàng rời bỏ hay rời bỏ việc sử dụng thẻ tin dung.
32
Kết qua Confusion matrix, ACC, Precision, Recall, Fl Score khi nhom tién hanh EVALUATE MODEL nhu sau:
True Positive False Negative Accuracy Precision Threshold C————{) AUC
854 152 0.885 0.836 0.5 0.952
False Positive True Negative Recall F1 Score
168 1618 0.849 0.842
Positive Label Negative Label
1 0
Hinh 4.2. Két qué EVALUATE MODEL cata mé hinh Two-Class Neural
Network
Nhóm nghiên cứu tiến hành phân tích confusion matrix (ma tran nham lẫn) đánh giá hiệu suất của một mô hình dự đoán. Trong trường hợp nảy, chúng ta sử dụng confusion matrix để đánh giá khả năng dự đoán của mô hình neural network trong việc phân loại khách hàng có khả năng ngừng sử dụng dịch vụ thẻ tín dung. Confusion matrix bao gồm bốn phần tử chính: true positive (TP), false positive (FP), true negative (TN) va false negative (FN).
True Positive là số lượng khách hàng được dự đoán đã ngừng sử dụng dịch vụ thẻ tín dụng của ngân hàng. True Positive 492 có nghĩa là mô hình đã dự đoán chính xác 492 khách hàng sẽ ngửng sử dụng thẻ tín dụng và thực tế họ đã ngừng sử dụng.
Ngược lại, False Positive là số lượng khách hàng được dự đoán sẽ ngừng sử dụng nhưng thực tế vẫn tiếp tục sử dụng thẻ. Và False Positive 66 có nghĩa là mô hình đã dự đoán sai 66 khách hàng sẽ ngừng thẻ tín dụng nhưng thực tế họ vẫn tiếp tục sử dụng.
False Negative là số lượng khách hàng được dự đoán sẽ tiếp tục sử dụng thẻ tín dụng nhưng thực tế đã ngừng sử dụng dịch vụ. False Negative 207 đồng nghĩa với việc mô hình đã dự đoán sai 207 khách hàng sẽ tiếp tục sử dụng thẻ tín dụng nhưng thực tế họ đã ngừng dịch vụ.
True Negative là số lượng khách hàng được dự đoán sẽ tiếp tục sử dụng thẻ và thực tế vẫn tiếp tục sử dụng thẻ. True Negative 1692 cho thay mô hình đã dự đoán
33
chính xác 1692 khách hàng sẽ tiếp tục sử dụng thẻ tín dụng và thực tế họ vẫn tiếp tục sử dụng. True Negative là yếu tô thé hiện khả năng dự đoán khả năng chính xác của mô hình đối với những nhóm khách hàng có tý lệ rời bỏ thấp.
Dựa trên các giá trị này, chúng ta có thể tính toán các chỉ số đánh giá hiệu suất
như accuracy, recall, precision va F1-score dé danh giá hiệu suất tông thê của mô
hình trong việc dự đoán khả năng khách hàng ngừng sử dụng dịch vụ thẻ tín dụng.
Accuracy do luong ty lệ dự đoán chính xác của mô hình. Trong trường hợp nảy, mô hình dự đoán chính xác 88.5% trường hợp khách hàng có ngừng dịch vụ thẻ tín dụng hay không bao gồm số lượng quan sát được phân loại (True Positive và True Negative) trên tông số mẫu. Điều này cho thấy mô hình có khả năng dự đoán tốt khả năng khách hàng ngừng dich vụ thẻ tín dụng.
Precision là chỉ số đo lường tỷ lệ giữa số lượng các trường hợp mà mô hình dự đoán là khách hàng sẽ rời bỏ và thực sự là khách hàng đã rời bỏ sử dụng dịch vụ (True Positive), so với tổng số lượng các trường hợp mà mô hình dự đoán là khách hàng sẽ rời bỏ (bao gém ca True Positive va False Positive). Precision = 83.6% có nghĩa là 83.6% trong số những khách hàng được dự đoán là sẽ ngừng thực sự đã ngừng dịch vụ. Điều này chỉ ra rằng mô hình có khả năng dự đoán một cách chính xác về việc khách hàng sẽ ngừng dịch vụ.
Recall đo lường tỷ lệ khách hàng thực sự ngừng sử dụng dịch vụ thẻ tín dụng được dự đoán chính xác. Đối với mô hình nảy, với độ nhạy là 0.849, mô hình có thể phát hiện 84.9% khách hàng thực sự sẽ ngừng dịch vụ thẻ tín dụng.
FL Score là thước đo hiệu suất của mô hình trong các bài toán phân loại Classification. Fl score cia mô hình là 84.2%, là một trung bình điều hòa giữa precision va recall. Day là một chỉ số tông thê về hiệu suât của mô hình.
34
ROC
Rate live True Posi
Hình 4.3. Diệu ch dưới đường cong ROC cửa mô hình Two-Class Neural Network Diện tích dưới đường cong ROC (AUC) là thước đo hiệu suất tông thể của mô
hình phân loại. Với giá trị AUC là 0.952, mô hình có hiệu suất tốt trong việc phân
biệt khách hàng sẽ ngừng dịch vụ thẻ tín đụng và khách hàng sẽ tiếp tục sử dụng dịch
vụ. Điều này ngụ ý rằng mô hình có khả năng phân loại tốt giữa hai nhóm khách hàng này.
35