Ma trận Confussion là một phương pháp được xây dựng để đánh giá kết quả của những bài toán phân loại bằng việc xem xét tỷ lệ về độ chính xác và độ bao quát của các dự đoán cho từng lớp cụ thể. Một ma trận Confussion gồm có 4 chỉ số sau đối với mỗi lớp phân loại: True positive (TP) là chỉ số số lượng dự đoán chính xác; True Negative (TN) chỉ số số lượng dự báo chính xác một cách gián tiếp; False positive (FP) chỉ số số lượng các dự báo sai lệch; False Negative (FN) chỉ số số lượng các sai lệch một cách gián tiếp.
Trong trường hợp đánh giá kết quả dự báo khả năng vỡ nợ của các doanh nghiệp, ma trận Confussion được mô hình như bảng dưới đây:
Bảng 3.5: Ma trận Confussion Predicted class Actual class Classes Non-default (Không phá sản) Default (Phá sản) Non-default
(Không phá sản) True Negative (TN) False Positive (FP)
Default
(Phá sản) False Negative (FN) True Positive (TP)
Trong đó các chỉ số đối với mỗi lớp phân loại được hiểu như sau:
True Positive (TP): Số lượng dự báo chính xác. Là khi mô hình dự báo đúng một công ty bị phá sản.
True Negative (TN): Số lượng dự báo chính xác một cách gián tiếp. Là khi mô hình dự đoán đúng một doanh nghiệp không bị phá sản, tức là việc không chọn trường hợp doanh nghiệp bị phá sản là chính xác.
False Positive (FP): Số lượng các dự đoán sai lệch. Là khi mô hình dự báo một công ty bị phá sản nhưng công ty đó hoàn toàn khỏe mạnh. Đây có thể được xem là lỗi loại 1 của mô hình.
False Negative (FN): Số lượng các dự đoán sai lệch một cách gián tiếp. Là khi mô hình dự đoán một công ty không bị phá sản nhưng công ty đó lại rơi vào tình trạng phá sản, tức là việc không chọn trường hợp công ty đó bị phá sản là sai.Đây được xem là lỗi loại 2 của mô hình.
Theo các nghiên cứu củaHaydenand Daniel thấy rằng, mục tiêu của mô hình dự báo xác suất vỡ nợ là phân tích, đánh giá và xếp hạng các khách hàng vay, để từ đó phân loại được khách hàng tốt và khách hàng xấu. Tuy nhiên khi rủi ro xảy ra, các thống kê cho thấy rằng
False Negative tức là lỗi loại 2, sẽ mang đến những tổn thất lớn cho ngân hàng hơn là False Positive tức là lỗi loại 1, do khả năng không thu hồi vốn được từ nhóm khách hàng do lỗi loại 2 gây ra.
Từ bốn chỉ số trên, các nhà nghiên cứu xây dựng các nhóm chỉ số để đánh giá mức độ tin cậy của một mô hình dự báo xác suất vỡ nợ của doanh nghiệp.
Tỷ lệ đo lường sự chính xác của mô hình (Accuracy ratio): Mức độ chính xác là khả năng mô hình phân biệt được những công ty phá sản và không phá sản một cách chính xác. Để tính toán mức độ chính xác của một mô hình dự báo, các nhà nghiên cứu đã đưa ra công thức như sau:
Accuracy = (TN + TP)/(TN + FN + TP + FP)
Tỷ lệ đo lường mức độ nhạy cảm của mô hình (sensititvity ratio): Mức độ nhạy cảm là khả năng mô hình xác định được các trường hợp các công ty phá sản một cách chính xác, nó được đo lường bởi tỷ lệ các công ty được dự báo phá sản chính xác trên tổng các công ty bị phá sản thật sự. Mức độ nhạy cảm của mô hình được xác định bởi công thức như sau:
Sensitivity = TP/(TP+FN)
Tỷ lệ specificity (specificity ratio): Đây là tỷ lệ được xây dựng nhằm đo lường khả năng mô hình xác định được các trường hợp các công ty không bị phá sản một cách chính xác. Tỷ lệ này được xác định bởi tỷ lệ các công ty được dự báo không phá sản chính xác trên tổng các công ty không bị phá sản thật sự. Công thức xác định tỷ lệ này như sau:
Specificity = TN/(TN+FP)
Tỷ lệ precision (precision ratio): Đây là tỷ lệ đo lường số lượng công ty được dự báo phá sản chính xác trên tổng các công ty được dự báo phá sản. Tỷ lệ này được xác định thông qua công thức sau: