30Tính chất của ROC:

04. MÔ HÌNH NGHIÊN CỨU

30Tính chất của ROC:

Tính chất của ROC:

 Đường cong càng đi dọc theo biên trái và rồi đi dọc theo biên phía trên của không gian ROC, thì chứng tỏ kết quả kiểm tra càng chính xác.

 Đường cong càng tiến tới thành đường chéo 45 độ trong không gian ROC, thì độ chính xác của kiểm tra càng kém.

 Hệ số góc của đường thẳng tiếp tuyến tại một điểm cutpoint cho ta tỉ lệ likelihood ratio (LR) (Chỉ sổ khả năng) của giá trị cutpoint đó của bài kiểm tra.

 Diện tích phía dưới đường cong, giới hạn trong không gian ROC, là thước đo cho độ chính xác của bài kiểm tra, chẳng hạn: 1 là tối ưu, 0.5 là kém. Phần diện tích này có ý nghĩa là thước đo cho khả năng phận biệt (discrimination) tốt hay xấu.

Hệ số tương quan Gini và thống kê Kolmogorov-Smirnov, cũng có mặt trong Bảng 8, được sử dụng rộng rãi các công cụ phân tích bởi các nhà phân tích để đánh giá độ chính xác của dự báo trong mẫu quan sát và giữ bên ngoài mẫu (Altman et al., 2010). Lợi thế của các kiểm trả này là họ có dễ dàng để giải thích và tính toán, như cả hai có thể được bắt nguồn từ các AUC.

Như Anderson (2007) lập luận, các hệ số cấp bậc Gini đã được đồng chọn bởi các nhà phân tích đánh giá tín dụng, người sử dụng nó như là một biện pháp làm thế nào một bảng điểm có thể phân biệt giữa điều tốt và điều xấu, nơi kết quả cuối cùng là một giá trị đại diện cho các khu vực dưới đường cong. Hệ số Gini là rất giống với AUC, sự khác biệt là những tính toán trước đây chỉ có diện tích giữa các đường cong và đường chéo của đường cong Lorenz, không giống như sau này, đã được tính toán đầy đủ các diện tích bên dưới đường cong. Như một điểm tham chiếu, trong phạm vi các nhà phân tích chuyên nghiêp đánh giá tín dụng, hệ số Gini bằng hoặc trên 50% là một mức rất thỏa đáng trong một môi trường nhỏ lẻ, như được thảo luận bởi Anderson (2007). Trong bối cảnh của nghiên cứu này, các hệ số cấp bậc Gini được sử dụng để bổ sung và kiểm tra tính nhất quán của các biện pháp khác như trình bày.

Các kiểm định Kolmogorov-Smirnov được thực hiện để đo độ lệch dọc tối đa giữa hai hàm phân phối tích lũy kinh nghiệm (tốt và xấu) trong mô hình điểm số tín dụng. Biện pháp này theo Anderson (2007) và Mays (2004), "các số liệu thống kê được sử dụng rộng rãi nhất tại Hoa Kỳ để đo sức mạnh tiên đoán của hệ thống giá. Tuy nhiên, Anderson (2007) khuyến cáo không sử dụng số liệu thống kê này (hoặc bất kỳ biện pháp nào khác về tính chính xác dự đoán của một mô hình) một cách độc lập, mà theo bài nghiên cứu là sử dụng như một công cụ bổ sung cho những phương pháp khác khác như AUC hoặc hệ số cấp bậc Gini. Mays (2004) cho rằng các giá trị có thể chấp nhận cho phạm vi thống kê này từ 20% đến 70%, trên mức này thì mô hình 'có thể quá tốt đến nỗi không đúng". R2 của Cox và Snell là một thước đo dựa trên log-likelihood của mô hình, loglikelihood (đường cơ sở) của mô hình ban đầu và kích thước mẫu, và tỷ lệ thay đổi tối đa R2 (Max- rescaled R2) của Nagelkerke là một sàng lọc của các thước đo trước đây. Chúng có thể được giải thích tương tự nhau (nhưng không phải giống nhau), đối với R2 trong hồi quy tuyến tính, khi chúng là thước đo về ý nghĩa của mô hình.

31

Kiểm định goodness-of-fit (mức độ khớp) của Hosmer và Lemeshow cho mô hình logistic cho biến nhị phân cũng được cung cấp. Như đã được thảo luận bởi Ragavan (2008), các đối tượng được chia thành khoảng mười nhóm có kích thước gần giống nhau dựa trên phân phối của các xác suất ước lượng. Sự khác nhau giữa số lượng quan Pearson χ2, cái mà sau đó được so sánh với một phân phối χ2 với k bậc tự do, với k là số nhóm (10 ) trừ đi n (2). Như vậy, một χ2 nhỏ (<15) và một p-value lớn (> 0,05) nên cho thấy rằng mô hình là có hiệu quả để dự đoán hành vi của dữ liệu, hoặc một mô hình phù hợp là một mô hình thích hợp được áp dụng để dự đoán một khả năng mà có hai giá trị được xác định trong tập dữ liệu.

Đọc kết quả bảng 8: Về đóng góp của các biến kinh tế vĩ mô về độ chính xác dự đoán

của mô hình kế toán, như được đo trực tiếp bởi AUC, có thể kết luận rằng các biến này đóng góp dương, mặc dù khá nhẹ, khi mô hình được ước tính trong t - 1. AUC chỉ ra một sự tăng từ 0,87 đến 0,88. Tuy nhiên, khi mô hình được ước tính trong t - 2, sự đóng góp của các chỉ số kinh tế vĩ mô là ít: một giảm rất nhỏ thậm chí quan sát từ AUC khi có sư thay đổi từ 0,8523 đến 0,8514, cho thấy rằng trong t - 2, tỷ số báo cáo tài chính khi xét riêng sẽ mạnh hơn khi dự đoán về kiệt quệ tài chính hơn so với xét trong hỗn hợp cùng với các chỉ số kinh tế vĩ mô.

Từ những tìm hiểu trên, ta sẽ hiểu được ý nghĩa các các biểu đồ trong phần tiếp theo. Cụ thể là nều đường cong ROC tiến về phía góc trái bên trên càng cao thì khả năng dự báo vấn đề càng chính xác, ngược lại sẽ càng thấp. Vì vậy, mô hình 3 (bao gồm cả 3 loại biến) có đường ROC tiến về góc trái cao nhất, chứng tỏ khả năng dự báo của nó là tốt nhất. Bảng 8 cho chúng ta thấy kết quả của toàn bộ của mô hình nghiên cứu. Từ kết của được trình bày ở Panel A, kết quả này phù hợp với mô hình ước lượng trong giai đoạn t-1, có thể kết luận rằng: Mô hình 1, mô hình kế toán có sự phân biệt chính xác được đo lường bởi AUC, việc thêm vào các chỉ số kinh tế vĩ mô và biến thị trường có thể ảnh hưởng đáng kể đến mô hình dự báo kiệt quệ tài chính.

Hơn thế nữa, nó có thể chứng minh rằng mô hình dự báo kiệt quệ tài chính không yêu cầu phải có một số lượng lớn các biến hồi quy độc lập (như các nghiên cứu trước đây) để cho thấy độ chính xác trong dự báo và phân lập cao; trong nghiên cứu này, một tập hợp chỉ gồm 10 biến hồi quy (như trong một vài nghiên cứu trước đây) tạo ra một AUC ấn tượng 0.92 trong giai đoạn t-1. (giảm không đáng kể 0.89 trong giai đoạn t-2), gợi ý rằng các biến độc lập được giữ lại trong mô hình như sự bổ sung và không thay thế (hay loại trừ nhau).

Thật quan trọng để nhấn mạnh rằng, độ chính xác trong dự báo và phân lập cao của mô hình bao gồm tất cả các biến trong bài nghiên cứu này có thể được giải thích bởi sự kết hợp đặc biệt của các biến độc lập (các biến này đã được chọn để đưa vào xem xét trong những nghiên cứu trước đây cùng với việc đánh giá các yếu tố chính có nhiều khả năng và tiềm ẩn gây ra kiệt quệ tài chính). Một số lượng lớn các chỉ số về tài chính, kinh tế vĩ mô và các biến thị trường được kiểm định. Các biến dư thừa sẽ được loại bỏ, các chỉ số được

32

kiểm tra mức độ ảnh hưởng đến kết quả của mô hình trong các nghiên cứu trước đây cũng được tính đến, và những chỉ số nào hữu ích đã được kiểm định.

Một ví dụ của các chỉ số mới chưa được kiểm định là chỉ số vốn hóa thị trường trên tổng nợ (MCTD), chứa đựng nhiều thông tin hữu ích cho dự báo kiệt quệ tài chính. Kết quả là một mô hình dự báo kiệt quệ mới cho các công ty được yết giá trên United Kingdom với một tập hợp biến cho thấy một mối liên quan mật thiết với các mô hình được biết đến trước đây cho việc dự báo tình trạng kiệt quệ của một công ty.

Từ mô hình 1 đến mô hình 2 trong giai đoạn t-1, có một sự gia tăng trong kết quả của mô hình được đo lường bởi AUC (tăng từ 0.872 đến 0.876) cho thấy mức độ ảnh hưởng không đáng kể (tuy là cùng chiều) của các biến kinh tế vĩ mô đến mức độ dự báo chính xác của mô hình dựa trên các chỉ số báo cáo tài chính.

Khi hệ số cấp bậc Gini và thống kê Kolmogorov-Smirnov đều bắt nguồn từ việc tính toán dựa trên mức độ của AUC, chúng nằm trong phạm vi cao nhất được xem xét bởi các chuyên gia xếp hạng tín dụng là chấp nhận được.

Mặt Khác, khi các biến thị trường được thêm vào mô hình 3, AUC tăng từ 0.88 đến 0.92, cho thấy rằng các biến thị trường chứa đựng một lượng thông tin không thể hiện trong báo cáo tài chính nhưng chúng được xem xét bởi thị trường và được xem như phần bổ sung thông tin được nêu bởi các chỉ số kế toán.

Hơn thế nữa, nghiên cứu này cũng so sánh trực tiếp kết quả của mô hình kế toán (Mô hình 1) và mô hình kế toán cộng với các biến kinh tế vĩ mô (Mô hình 2) trái ngược với mô hình thị trường (Mô hình 4 ) và mô hình thị trường cộng với các biến vĩ mô (Mô hình 5). Có thể thấy rằng, xem xét mô hình kế toán và thị trường một cách độc lập sẽ cho độ dự báo chính xác tương tự, với AUC lần lượt là 0.8718 và 0.8712 cho mô hình kế toán và thị trường riêng lẻ và AUC lần lượt là 0.8763 và 0.8727 khi các biến kinh tế vĩ mô được đưa vào mô hình. Trong cả hai trường hợp, việc bao gồm các biến số vĩ mô làm tăng thêm (mặc dù ít) độ dự báo chính xác. Các mô hình kế toán có một kết quả nhỉnh hơn khi ước tính trong khoảng thời gian t - 1 (sử dụng hồi quy logistic nhị phân là phương pháp thống kê chính). Do đó, điều tối quan trọng để làm nổi bật sự gia tăng độ chính xác dự báo (từ AUC = 0,88 đến 0,92) là kết quả từ sự kết hợp của hai mô hình, đó là tạo ra độ chính xác dự báo gần như bằng nhau khi mô hình được tính toán một cách độc lập.

Bảng 8 cũng trình bày những kết quả của Hosmer và Lemeshow về phép kiểm định phù hợp. Mặc dù kết quả khác nhau so với những nghiên cứu trước đây và có những tranh cãi xoay quanh việc nhất quán, nghiên cứu này cũng đưa ra một kết quả kiểm định phù hợp và chỉ ra một điều đáng cân nhắc: Mô hình 1 và mô hình 2 được ước lượng, phép kiểm định phù hợp của Hosmer và Lemeshow cho giá trị chi bình phương lớn và p-value <0.0001. cả hai đều cho thấy mô hình, mặc dù biểu thị với độ chính xác dự báo cao, có thể thiếu các biến độc lập khác vốn dĩ dùng để giải thích một tỷ lệ cao hơn những hiện tượng mà mô hình đang cố gắng để làm sáng tỏ. Mặt khác, có thể thấy điều ngược lại là đúng khi các biến thị trường được kết hợp với các biến kế toán và biến kinh tế vĩ mô trong mô hình 3: kết quả của phép kiểm định phù hợp của Hosmer và Lemeshow cho chi bình phương nhỏ (<15) và p-value (>0.05), điều này cho thấy rằng mô hình 3 là một mô hình đầy đủ. Nói

33

cách khác, các giá trị này ngụ ý rằng các mô hình được xây dựng với các biến thị trường thì thích hợp hơn để dự báo dữ liệu (để phân biệt rõ hơn và dự báo kết quả nhị phân định trong bộ dữ liệu: sức mạnh từ các công ty kiệt quệ tài chính). Lập luận này tìm thấy sự hỗ trợ bổ sung bằng AUC lớn hơn đáng kể (từ 0,88 đến 0,92) khi biến thị trường xuất hiện. Để kiểm tra xem liệu các kết quả tương tự có đúng đối với các mô hình dựa trên các biến của thị trường hay không, kiểm định tương tự cũng được thực hiện cho các mô hình 4 và 5 (Mô hình thị trường và thị trường cộng với các biến kinh tế vĩ mô là riêng lẽ), mô hình 4 cho kết quả chi bình phương có giá trị thấp hơn 15 và p-value trên 0.5 (phù hợp với kết quả của các phân tích trước đây), cho thấy các biến thị trường là biến hồi quy thích hợp để đo lường khả năng kiệt quệ tài chính. Đặc biệt, khi các chỉ số kinh tế vĩ mô được đưa vào mô hình thị trường, cả phép kiểm định phù hợp của Hosmer và Lemeshow đều cho thấy các số liệu thống kê có giá trị phù hợp hơn là mô hình kế toán (Mô hinh 1 và 2). Hơn thế nữa kết luận này cũng rất phù hợp cho mô hình ước lượng với t-2.

Không ngạc nhiên, độ dự báo chính xác của mô hình ước lượng trong giai đoạn t-2 thì giảm, (phù hợp các mô hình dự báo trước đây). Tuy nhiên, các kiểu mô hình tương tự như vậy có thể được quan sát thấy khi các chỉ số trong báo cáo tài chính, các chỉ số kinh tế vĩ mô, các biến thị trường được kết hợp lại trong một mô hình duy nhất. Ngoại trừ khi chúng ta quan sát mô hình 1 và mô hình 2 khi các biến kinh tế vĩ mô được thêm vào mộ hình kế toán, độ dự báo chính xác bị giảm nhẹ (AUC giảm từ 0.852 đến 0.851), cho thấy rằng các chỉ số báo cáo tài chính là các biến hồi quy đáng tin cậy hơn các chỉ số kinh tế vĩ mô, khả năng xảy ra kiệt quệ tài chính được ước lượng trong giai đoạn t-2. Cũng như mô hình 3, có thể kết luận rằng: đưa các biến thị trường vào mô hình 2 (ước lượng trong giai đoạn t- 2) gia tăng độ ước lượng chính xác bởi cùng một độ lớn khi ước lượng trong giai đoạn t-1: AUC tăng từ 0.851 đến 0.892. Mô hình 5 cũng cho thấy một sự gia tăng trong dự báo chính xác liên quan đến mô hình 4: AUC tăng từ 0.835 đến 0.836, cho thấy rằng các biến kinh tế vĩ mô có thể xây dựng tích cực (mặc dù nhỏ) cho kết quả mô hình. Tuy nhiên trong trường hợp của mô hình 1 và 2, sự đóng góp này là rất nhỏ và kết quả mô hình dường như không thay đổi. Một lần nữa, phân tích này khẳng định rằng sự phù hợp của các chỉ số kinh tế vĩ mô, không những khi thêm chúng vào mô hình kế toán mà ngay cả khi thêm chúng vào mô hình thị trường.

Hệ số cấp bậc Gini cũng như kiểm định Kolmogorov-Smirnov được thêm vào cho thấy những mẫu hình nhất quán với các thảo luận ở trên và xác nhận các kết quả trước đó, cho các mô hình ước lượng trong t - 1 và trong t - 2. Hơn nữa, độ chính xác dự báo của các mô hình được trình bày trong nghiên cứu này có thể được đặt ở giới hạn cao của các phạm vi được đặc trưng bởi các nhà quản lý tín dụng chuyên nghiệp khi được đánh giá thông qua hệ số Gini và các số liệu thống kê Kolmogorov-Smirnov.

So sánh độ chính xác dự báo của một số mô hình logit hay mô hình probit bằng cách so sánh diện tích bên dưới đường cong ROC

Theo Cleves (2002), đôi khi cần phải so sánh dự báo chính xác của một vài mô hình logic hoặc mô hình xác suất bằng cách so sánh lĩnh vực có hoạt động thuộc đặc tính của đường cong (ROC). Để thực hiện việc so sánh trên, nghiên cứu này đã thực hiện lần đầu tiên trong mô hình khủng hoảng tài chính, phương pháp nghiên cứu dựa trên một phương pháp

34

tiếp cận phi tham số, đó là sử dụng các lý thuyết phát triển tổng quát Mann-Whitney và thống kê U. Các nghiên cứu hiện nay đi theo các phương pháp trình bày trong DeLong (1988), do đó có tính đến tính tương quan của dữ liệu, điều này sẽ phát sinh khi hai hoặc nhiều đường cong được xây dựng dựa trên kết quả kiểm định của cùng một tập hợp các công ty. (adsbygoogle = window.adsbygoogle || []).push({});

Bài nghiên cứu sử dụng phương pháp được trình bày trong DeLong et al. (1988) và do đó có tính đến bản chất tương quan của dữ liệu phát sinh khi hai hoặc nhiều đường cong thực nghiệm được xây dựng bằng cách sử dụng các kiểm định được thực hiện trên cùng một tập hợp của các công ty. Vấn đề này là tối quan trọng vì hầu hết các so sánh đường cong ROC được thực hiện trong các nghiên cứu trước đây, không chỉ trong lĩnh vực tài chính, mà còn trong các lĩnh vực như khoa học khí tượng thủy văn và chẩn đoán y khoa, mà những dự đoán kết quả cụ thể là rất cần thiết, sử dụng các tính toán đã có sẵn trong hầu