Mô hình Logistic là mô hình hồi quy trong đó biến phụ thuộc là biến giả. Có rất nhiều hiện tượng, nhiều quá trình mà khi mô tả bằng mô hình kinh tế lượng, biến phụ thuộc lại là biến chất, do đó cần phải dùng đến biến giả (biến giả là biến rời rạc, nó có thể nhận một trong hai giá trị: 0 và 1)
Từ biến phụ thuộc nhị phân Y, hàm hồi Logit sẽ tính xác suất xảy ra Y theo quy tắc: xác suất ≥ 0.75 thì KH có nợ đủ tiêu, nếu xác suất < 0.75 thì KH không có nợ đủ tiêu chuẩn (Sử dụng xác suất 0.75 bởi vì điểm tín dụng quy ra thang phần trăm trong XHTD tại ngân hàng Quốc tế khi xếp KH vào mức có nợ đủ tiêu chuẩn là từ 75% trở lên) . Và hàm hồi quy Logit được viết như sau:
𝑃(𝑌𝑖 = 1) = 𝑃𝑖 = ( exp(𝛽1+ 𝛽2𝑋2+ ⋯ + 𝛽𝑛𝑋𝑛) 1 + exp(𝛽1+ 𝛽2𝑋2+ ⋯ + 𝛽𝑛𝑋𝑛)) =
exp (𝑋𝑖𝛽) 1 + exp (𝑋𝑖𝛽) (∗)
Trong đó 𝑃𝑖 là xác suất KH thứ i trả nợ tốt với n biến độc lập 𝑋2, … . . , 𝑋𝑛 được tính toán từ cơ sở dữ liệu của KH thứ i; 𝛽1, … . . , 𝛽𝑛 là các hệ số hồi quy của hàm Logit.
Có hai phương pháp để xây dựng mô hình Logit, đó là phương pháp Berkson
và phương pháp Goldberger. Với mẫu có được, các quan sát là các biến rời rạc nên em lựa chọn phương pháp Goldberger để giải quyết mô hình.
Phương pháp Berkson nhằm xác định xác suất Pi xảy ra của một biến nào đó với một điều kiện cho trước bằng cách đặt 𝑍𝑖 = 𝛽1 + 𝛽2𝑋2+ ⋯ + 𝛽𝑛𝑋𝑛, khi đó có thể viết:
𝑃𝑖 1 − 𝑃𝑖 =
1 + 𝑒𝑧𝑖
1 + 𝑒−𝑧𝑖 = 𝑒𝑧𝑖
Tỷ số Pi/(1-Pi) đơn giản là tỷ số odds ratio – tỷ lệ chênh lệch về việc xác suất để Yi = 1. Lấy Loga tự nhiên hai vế ta được:
𝐿𝑖 = ln ( 𝑃𝑖
1 − 𝑃𝑖) = 𝑍𝑖 = 𝛽1+ 𝛽𝑖𝑋𝑖 (∗∗)
Từ đây ta thấy, L, loga của tỷ lệ chênh lệch, không chỉ tuyến tính đối với X, mà còn (từ quan điểm của việc ước lượng) tuyến tính đối với tham số. L gọi là logit, và vì thế có tên mô hình Logit cho các mô hình có dạng (**).
Song phương pháp này áp dụng khi ta tính được xác suất Pi của việc Yi = 1 với 1 biến độc lập Xi nào đó. Nếu biến Xi là rời rạc thì xác suất Pi = 0 hoặc 1, do đó tỷ số odds ratio là vô nghĩa. Khi đó ta phải dùng phương pháp Goldberger.
Phương pháp Goldberger cũng xuất phát từ phương trình (*) như phương pháp Berkson. Trong hàm này khi 𝑋𝑖𝛽 nhận các giá trị từ −∞ đến +∞ thì Pi nhận giá trị từ 0 → 1. Pi phi tuyến đối với cả X và các tham số 𝛽. Điều này có nghĩa là ta không thể áp dụng trực tiếp OLS để ước lượng. Người ta dùng ước lượng hợp lý tối đa để ước lượng 𝛽. Vì Y chỉ nhận một trong hai giá trị 0 – 1, Y có phân bố nhị thức, nên hàm hợp lý với mẫu kích thước n có dạng sau đây:
𝐿 = ∏ 𝑝𝑖𝑌𝑖(1 − 𝑝𝑖)1− 𝑌𝑖 𝑛 𝑖=1 = 𝑒𝑥𝑝(𝛽′∑𝑛𝑖=1𝑋𝑖𝑌𝑖) ∏𝑛 (1 + 𝑒𝑥𝑝(𝑋𝑖𝛽)) 𝑖=1 Đặt 𝑡∗ = ∑𝑛 𝑋𝑖𝑌𝑖
𝑖=1 , t* là véc tơ hai chiều (số hệ số hồi quy). Ta cần tìm ước lượng hợp lý tối đa của 𝛽 , ta có:
𝐿𝑛(𝐿) = 𝛽′𝑡∗− ∑ 𝐿𝑛(1 + exp(𝑋𝑖𝛽)) 𝑛 𝑖=1 𝜕𝐿𝑛(𝐿) 𝜕𝛽 = 𝑆(𝛽) = − ∑ exp(𝑋𝑖𝛽) 1 + exp(𝑋𝑖𝛽)𝑋𝑖+ 𝑡∗ 𝑛 𝑖=1 = 0 (∗∗∗) 𝑆(𝛽̂) = − ∑ exp(𝑋𝑖𝛽̂) 1 + exp(𝑋𝑖𝛽̂)𝑋𝑖 + 𝑡∗ 𝑛 𝑖=1
Phương trình trên phi tuyến đối với 𝛽 , người ta dùng phương pháp Newton- Raphson để giải hệ phương trình này :
𝐼(𝛽) = 𝐸 (−𝜕2𝐿𝑛(𝐿) 𝜕𝛽𝜕𝛽′ ) = 𝐸 (𝜕𝑆(𝛽) 𝜕𝛽 ) = ∑(1 + exp(𝑋𝑖𝛽))𝑒𝑥𝑝(𝑋𝑖𝛽)𝑋𝑖− (exp(𝑋𝑖𝛽)) 2𝑋𝑖 (1 + exp(𝑋𝑖𝛽))2 𝑛 𝑖=1 = ∑ exp(𝑋𝑖𝛽)𝑖 (1 + exp(𝑋𝑖𝛽))2𝑋𝑖. 𝑋𝑖′ 𝑛 𝑖=1
𝑆(𝛽̂) =𝜕𝐿𝑛(𝐿) 𝜕𝛽 + 𝜕2𝐿𝑛(𝐿) 𝜕𝛽𝜕𝛽′ (𝛽̂ − 𝛽) (𝛽̂ − 𝛽) = − [𝜕2𝐿𝑛(𝐿) 𝜕𝛽𝜕𝛽′ ] −1 𝑆(𝛽) = [𝐼(𝛽)]−1𝑆(𝛽)
Ta có quá trình lặp lại như sau: Bắt đầu với giá trị ban đầu nào đó của 𝛽, chẳng hạn, 𝛽𝑜 ta tính được S(𝛽𝑜) và I(𝛽𝑜), sau đó tìm 𝛽 mới bằng công thức sau đây:
𝛽1 = 𝛽𝑜+ [𝐼(𝛽0)]𝑆(𝛽𝑜)
Quá trình lặp trên sẽ được thực hiện cho đến khi hội tụ. Do I(𝛽) là dạng toàn phương xác định dương, nên quá trình trên sẽ cho ước lượng hợp lý cực đại. Tương ứng với 𝛽̂, ta có [𝐼(𝛽̂)]−1 là ma trận hiệp phương sai của 𝛽̂. Chúng ta sử dụng ma trận này để kiểm định giả thiết và thực hiện các suy đoán thống kê khác.
Sau khi ước lượng được 𝛽̂, ta có thể tính được ước lượng xác suất Pi=P(Y=1/Xi)
𝑃̂𝑖 = exp(𝑋𝑖𝛽̂) 1 + exp(𝑋𝑖𝛽̂)
Kết hợp với (***) ta có ∑ 𝑃̂𝑖𝑋𝑖 = ∑ 𝑌𝑖𝑋𝑖 , phương trình này để kiểm định lại các
𝑃̂𝑖. Như vậy trong mô hình Logit chúng ta không nghiên cứu ảnh hưởng trực tiếp của biến độc lập Xk đối với Y mà xem xét ảnh hưởng của Xk đến xác suất Y để nhận giá trị bằng 1 hay kỳ vọng của Y.
Ảnh hưởng của Xk đến Pi được tính toán như sau:
𝜕 𝜕𝑋𝑖𝑃𝑖 =
exp (𝑋𝑖𝛽̂)
(exp (𝑋𝑖𝛽̂))2𝛽𝑘 = 𝑃𝑖(1 − 𝑃𝑖)𝛽𝑘