4. KẾT QUẢ NGHIÊN CỨU
4.3.3. Đánh giá khả năng phân loại của các mô hình
Trong phần này, nhóm tác giả trình bày bảng khả năng phân loại nhằm đo lƣờng sự chính xác trong dự báo tình trạng kiệt quệ tài chính của các công ty đối với từng mô hình đƣợc ƣớc lƣợng. Trƣớc khi xem xét chi tiết kết quả, nhóm tác giả quay lại phần một phần chú thích đã đƣợc trình bày ở phần đồ thị ROC của các mô hình.
Sensitivity =
Specificity =
Vấn đề quan trọng là việc xác định thế nào là một công ty “đúng loại + ”, thế nào là một công ty “đúng loại – “. Điều này tùy thuộc vào mức xác suất “cut – off” mà một nhà nghiên cứu có thể chấp nhận.
Trường hợp cụ thể: Giả sử mức xác suất “cut – off” là 0.5 thì một quan sát (công ty – năm) đƣợc phân loại là “đúng loại +” khi đáp ứng cả hai điều kiện sau:
o Trên thực tế quan sát (công ty – năm) này thực sự rơi vào tình trạng kiệt quệ tài chính, tức giá trị biến phụ thuộc (FD – Financial Distress) là 1;
o Từ các dữ kiện thực tế của quan sát, ta tính ngƣợc lại xác suất để quan sát này nhận giá trị biến phụ thuộc là 1, và xác suất này 0.5.
Hay nói cách khác nếu quan sát đƣợc xem xét có Xác suất (FD = 1) 0.5 và trên thực tế quan sát này thực sự rơi vào tình trạng kiệt quệ tài chính thì quan sát này đƣợc cho là
“đúng loại +”. Ngƣợc lại, nếu quan sát này có Xác suất (FD = 1) 0.5 và trên thực tế quan sát này không rơi vào tình trạng kiệt quệ tài chính thì quan sát này đƣợc cho là “sai loại +”.
Quan sát Được dự báo là kiệt quệ tài chính (được dự báo là +)
Được dự báo là không kiệt quệ tài chính (được dự báo là -) Thực sự kiệt quệ tài chính
(thực sự là +)
Đúng loại +, mô hình tính
đƣợc Xác suất (FD = 1) 0.5
Sai loại -, mô hình tính đƣợc
Xác suất (FD = 0) < 0.5
Thực sự không kiệt quệ tài chính (thực sự là -)
Sai loại +, mô hình tính đƣợc
Xác suất (FD = 1) 0.5
Đúng loại -, mô hình tính đƣợc
Xác suất (FD = 0) < 0.5 Theo nhƣ định nghĩa trên thì với mô hình 3, tại mức xác suất “cut – off” là 0.3653 thì sẽ có:
o 315 quan sát (công ty – năm) đƣợc dự báo là kiệt quệ tài chính (Xác suất (FD = 1)
0.3653) và trên thực tế thực sự những quan sát này rơi vào tình trạng kiệt quệ tài chính; o 137 quan sát (công ty – năm) đƣợc dự báo là kiệt quệ tài chính (Xác suất (FD = 1)
0.3653) nhƣng trên thực tế thực sự những quan sát này không rơi vào tình trạng kiệt quệ tài chính;
o 692 quan sát (công ty – năm) đƣợc dự báo là không kiệt quệ tài chính (Xác suất (FD = 0) < 0.3653) và trên thực tế thực sự những quan sát này không rơi vào tình trạng kiệt quệ tài chính;
o 300 quan sát (công ty – năm) đƣợc dự báo là không kiệt quệ tài chính (Xác suất (FD = 0) < 0.3653) nhƣng trên thực tế thực sự những quan sát này có rơi vào tình trạng kiệt quệ tài chính;
o Về tổng thể, với mức xác suất “cut – off” là 0.3653 thì mô hình 3 có thể phân loại một cách chính xác 69.74% các giá trị của biến phụ thuộc trên thực tế.
o Sensitivity là tỷ lệ các công ty đƣợc phân loại là kiệt quệ tài chính và thực sự rơi vào tình trạng kiệt quệ tài chính chia cho tổng số quan sát thực tế bị kiệt quệ tài chính. Nói cách khác, sensitivity = 315/(315 + 137) = 0.6969 = 69.69%.
o Specificity là tỷ lệ các công ty đƣợc phân loại là không kiệt quệ tài chính và thực sự không rơi vào tình trạng kiệt quệ tài chính chia cho tổng số quan sát thực tế không bị kiệt quệ tài chính. Nói cách khác, specificity = 692/(692 + 300) = 0.6976 = 69.76%. Để đo lƣờng sự chính xác trong dự báo tình trạng kiệt quệ tài chính đối với từng mô hình đƣợc ƣớc lƣợng, nhóm tác giả tiến hành so sánh khả năng phân loại của từng mô hình tại điểm xác suất “cut – off” mà tại đó mỗi mô hình cho tỷ lệ phân loại đúng các quan sát rơi vào kiệt quệ tài chính và các quan sát không rơi vào kiệt quệ tài chính là gần nhƣ nhau. Các điểm này của từng mô hình đƣợc trình bày trong Đồ thị 4 dƣới đây.
Bảng 9 Mức xác suất (cut - off) Đúng Sai Phần trăm Kiệt quệ tài chính Không kiệt quệ tài chính Kiệt quệ tài chính Không kiệt quệ tài chính
Correct Sensitivity Specificity
Mô hình 1 hiệu chỉnh 0.2907 264 580 188 412 58.45 58.41 58.47 Mô hình 2 0.3124 255 561 197 431 56.51 56.42 56.55 Mô hình 3 0.3653 315 692 137 300 69.74 69.69 69.76 Mô hình 4 0.3831 277 608 175 384 61.29 61.28 61.29 Mô hình 5 0.3738 293 645 159 347 64.96 64.82 65.02 Bảng khả năng phân loại đƣợc tính toán cho mô hình 1 hiệu chỉnh (gồm các biến số tỷ số tài chính), mô hình 2 (gồm các biến số tỷ số tài chính và chỉ báo kinh tế vĩ mô), mô hình 3 (đầy đủ các biến số), mô hình 4 (gồm các biến số thị trƣờng), mô hình 5 (gồm các biến số chỉ báo kinh tế vĩ mô và thị trƣờng) nhằm mục đích đánh giá sự biến đổi độ chính xác phân loại giữa các mô hình. Từ kết quả trên, nhóm tác giả thấy rằng mức độ chính xác tổng thể (correct) trong phân loại là lớn nhất đối với mô hình 3 (69.74%). Kết quả này
hàm ý rằng, khi kết hợp tất cả các biến số tỷ số tài chính, chỉ báo kinh tế vĩ mô và thị trƣờng để dự báo khả năng kiệt quệ tài chính của công ty, ta nhận đƣợc một mô hình có khả năng dự báo chính xác hơn các công ty thực sự kiệt quệ tài chính (đƣợc cho thấy qua giá trị sensitivity) và các công ty thực sự không kiệt quệ tài chính (đƣợc cho thấy qua giá trị specificity).