4 THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
4.2.3 Phương pháp đánh giá
- Ma trận hỗn loạn: Ma trận hỗn loạn (confusion matrix) thường được sử dụng làm cơ sở cho các biện pháp đánh giá mô hình cho các bài toán phân lớp, đặc biệt là các bài toán phân lớp nhị phân.
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
Hình 4.6: Ma trận hỗn loạn
Trong bài toán đánh giá tín dụng, ta quan tâm đến việc tìm ra các người đăng kí tín dụng không thể trả nợ đúng hạn (tín dụng xấu) nên nhãn positive trong thử nghiệm này là nhãn tín dụng xấu và nhãn negative là nhãn tín dụng tốt. True positive là số mẫu mà mô hình gán nhãn là positive và thực sự các mẫu này có nhãn là positive. False positive là số mẫu mà mô hình gán nhãn là positive nhưng thực sự các mẫu này có nhãn là negative. Tương tự ta có các định nghĩa của true negative và false negative.
- Độ chính xác: Độ chính xác của mô hình được tính bởi: Độ chính xác= T P +T N
T P +F P +T N+F N
- Đường cong ROC: Trong bài toán đánh giá tín dụng, việc gán nhãn nhầm một người đăng kí tín dụng có tín dụng xấu thành tín dụng tốt sẽ gây tổn thất hơn nhiều lần so với lợi ích của việc gán nhãn đúng một người đăng kí tín dụng có tín dụng tốt. Thông thường trong bài toán phân lớp nhị phân, các máy phân lớp sẽ gán nhãn sử dụng ngưỡng phân loại xác suất cho nhãn positive là 0.5, tức là với một mẫu bất kì, nếu xác suất dự đoán thuộc nhãn positive lớn hơn 0.5 thì gán nhãn positive cho mẫu; ngược lại thì gán nhãn negative. Tuy nhiên đối với từng tổ chức tín dụng, việc chọn ngưỡng phân loại còn tuỳ thuộc vào khẩu vị rủi ro của từng tổ chức.
Để đánh giá mô hình hoạt động với các ngưỡng phân loại khác nhau như thế nào, ta sẽ sử dụng đến đường cong ROC. Đường cong ROC có trục xlà tỉ lệ false positive (FPR):
FPR= F P F P +T N
LUẬN VĂN THẠC SĨ ĐINH TUẤN CƯỜNG
và trục y là tỉ lệ true positive (TPR): TPR= T P
T P +F N
FPR sẽ thể hiện tỉ lệ số người cho vay có tín dụng tốt nhưng được gán nhãn xấu trên tổng số người cho vay có tín dụng tốt. Ngược lại TPR cho biết tỉ lệ số người cho vay có tín dụng xấu và được gán nhãn xấu trên tổng số người cho vay có tín dụng xấu.
Hình 4.7: Đường cong ROC
Đường cong ROC sẽ bao gồm các điểm rời rạc được nối với nhau thành một đường, với mỗi điểm thể hiện FPR và TPR tương ứng với một ngưỡng phân loại xác suất cho nhãn positive. Khi ngưỡng phân loại bằng 1, cả FPR và TPR đều bằng 0 và ngược lại khi ngưỡng phân loại bằng 0, cả FPR và TPR đều bằng 1. Mô hình tốt nhất có thể sẽ có một ngưỡng mà TPR bằng 1 và FPR bằng 0. Người ta đại lượng hóa đường cong ROC bằng một đại lượng là AUC (area under the ROC curve). AUC có giá trị bằng diện tích phần nằm dưới đường cong ROC. Ngoài ra trong bài toán chấm điểm tín dụng, chúng ta cũng hay sử dụng chỉ số Gini, được tính như sau:
Gini= 2∗AU C−1