04/06/2017 TIÊU ĐỀ Nội dung 01 CHƯƠNG 3: HỒI QUY BINARY LOGISTIC Nội dung 02 Nội dung 03 ThS Đỗ Hoàng Oanh I Giới thiệu MH Binary Logistic Hồi quy Binary Logistic sử dụng biến phụ thuộc dạng nhị phân để ước lượng xác suất kiện xảy với thông tin ỨNG DỤNG CỦA HỒI QUY BINARY LOGISTIC NỘI DUNG MƠ HÌNH BINARY LOGISTIC THỰC HÀNH TRÊN SPSS Tiến trình thực Ý nghĩa kết Vận dụng mơ hình để dự báo Ứng dụng MH Binary Logistic Có nhiều tượng cần dự đoán khả xảy kiện mà ta quan tâm Thí dụ: - Sản phẩm chấp nhận hay không - Người vay trả nợ hay không - Mua hay không mua ? biến độc lập mà ta có 04/06/2017 Tại khơng dùng OLS cho MH này? Phương pháp LPM (Linear Probability Model) phương pháp sử dụng cơng cụ OLS vào liệu có biến phụ thuộc biến giả (dummy) Yi = β1 + β2 Xi + ui Trong Y =1 có kiện xảy ra, Y=0 khơng có xảy Ý nghĩa β2 >0 : Trong điều kiện yếu tố khác khơng đổi, X tăng đơn vị biến phụ thuộc Y tăng β2 đơn vị Tuy nhiên Y nhận giá trị Thực SPSS Tại không dùng OLS cho MH này? (tt) Giả thiết kỳ vọng u: E(u|X)=0 Yi = β1 + β2 Xi + ui E(Yi|X) = β1 + β2 Xi E(Y) = * P(Y=1) + 0* P(Y=0) = P(Y=1) E(Y=1) = P(Y=1|X) = β1 + β2 Xi Xác suất quan sát khả xảy Y=1 mơ hình tuyến tính biến giải thích X TD: β2 = -0.1, X tăng đơn vị xác suất xảy kiện (Y=1) giảm 10% Tại không dùng OLS cho MH này? (tt) Biến phụ thuộc Y theo phân phối Bernoulli với xác suất Pi = β1 + β2 Xi nên u theo phân phối Bernoulli: - Xác suất: P(ui) = β1 + β2 Xi - Phương sai: Var(ui)= P(ui) x [1 - P(ui)] Do đó, phương sai u phương sai sai số có thay đổi (phụ thuộc vào biến X) => Vi phạm giả định OLS 04/06/2017 Tóm lại, khơng nên dùng OLS vì: • Khi biến phụ thuộc dạng nhị phân khơng thể phân tích với dạng hồi quy thơng thường làm xâm phạm giả định, dễ thấy biến phụ thuộc có biểu thật khơng phù hợp giả định phần dư có phân phối chuẩn, mà thay vào có phân phối nhị thức, điều làm hiệu lực kiểm định thống kê phép hồi quy thơng thường • Một khó khăn khác dùng hồi quy tuyến tính thơng thường giá trị dự đốn biến phụ thuộc khơng thể diễn dịch xác suất (giá trị ước lượng biến phụ thuộc hồi quy binary logistic phải rơi vào khoảng (0;1) II Mơ hình hồi quy Binary Logistic (tt): II Mơ hình hồi quy Binary Logistic: • Thơng tin cần thu thập biến phụ thuộc kiện có xảy hay khơng, biến phụ thuộc Y lúc có hai giá trị (với không xảy kiện ta quan tâm có xảy ra) • Từ biến phụ thuộc nhị phân này, thủ tục dùng để dự đoán xác suất kiện xảy theo quy tắc xác suất dự đốn lớn 0.5 kết dự đốn cho “có” xảy kiện, ngược lại kết dự đốn “khơng” II Mơ hình hồi quy Binary Logistic (tt): Xác suất quan sát phụ nữ có làm hay khơng với • Khác với phương pháp bình phương tối thiểu phần dư OLS, mơ hình hồi quy dựa hàm phân phối xác suất Logit dùng phương pháp xác suất tối đa (Maximum Likelihood Estimation – MLE) mối quan hệ biến độc lập thu nhập kỳ vọng làm có • Nếu hàm mục tiêu phương pháp OLS tối thiểu tổng bình phương phần dư biến phụ thuộc, hàm mục tiêu phương pháp MLE tối đa xác suất quan sát mẫu cho trước Nếu Y =1 P(Y|X)= G(.) thể viết sau: P(Y|X) = [G(.)]Y x [1-G(.)]1-Y Nếu Y =0 P(Y|X)= 1- G(.) ( )= = = 04/06/2017 II Mơ hình hồi quy Binary Logistic (tt): G(.) hàm đơn điệu G(.) hàm phân phối xác suất tích lũy, G(.) tăng giảm theo biến giải thích), đơn giản hóa cách chuyển đổi từ hàm tích sang hàm logarithm: II Mơ hình hồi quy Binary Logistic (tt): Mơ hình hàm Binary Logistic sau: ( = =1 li =ln[P(.)]=Yi x ln[G(.)] + [1 – Yi ] x ln[1 – G(.)] việc ước lương theo phương pháp MLE thực cách tối đa hóa tổng xác suất L Max L = Σ{Yi * ln[G(.)] + [1 – Yi] * ln[1 – G(.)] } => βMLE Với Y biến phụ thuộc, G(.) hàm phân phối xác suất tích lũy G(β + β Xi) = ) = 1+ = 1+ + Trong công thức Pi = E(Y=1|X)=P(Y=1) gọi xác suất xảy kiện Y=1 biến độc lập X có giá trị cụ thể Xi II Mơ hình hồi quy Binary Logistic (tt): Xác suất xảy kiện: Thực so sánh xác suất kiện xảy với xác suất kiện khơng xảy ra, tỷ lệ chênh lệch thể cơng thức: ( = II Mơ hình hồi quy Binary Logistic (tt): = + ) = + Vậy xác suất không xảy kiện: P(Y = 0|X) = − P(Y = 1) = − P(Y = 1) = P(Y = 0) − = 1+ 1−1+ 1+ 04/06/2017 II Mơ hình hồi quy Binary Logistic (tt): II Mơ hình hồi quy Binary Logistic: Đối với hồi quy Logit, ( ) = ( ) = Lấy log số e hai vế phương trình thực biến đổi vế phải Sau biến đổi, điều kiện bậc β2 là: ta kết là: = P(Y = 1) = P(Y = 0) 1− = log = = × − × 1+ + =0 Sau biến đổi, điều kiện bậc β2 là: = II Mơ hình hồi quy Binary Logistic (tt): Trong phương pháp MLE, tính phi tuyến điều kiện bậc hai công thức trên, cho nên, thông thường nhà nghiên cứu sử dụng phần mềm chuyên dụng để ước lượng β1 β2 Từ giả định xác suất của: P(Y|X) = G(β + β Xi) − =0 1+ II Mơ hình hồi quy Binary Logistic tổng quát: ∗ = Đặt: = + ∗ + 1+ ∗ ∗ ∗ +⋯+ ⋯ ∗ ∗ ⋯ ∗ ∗ Với thay đổi nhỏ biến X tác động biên lên xác suất tính sau: ( | ) = g( + i)* với g(β + β Xi) hàm mật độ phân phối xác suất 04/06/2017 II Mơ hình hồi quy Binary Logistic tổng quát: Để tính tác động biên X ta có: i = ∗ Trong đó: = = ∗ ∗ = ∗ = + Từ (1) (2) => ∗ (1 − ∗ + = = ∗ ) (1) ∗ ∗ = + ⋯+ ∗( − ∗ ) = (2) File lfp.xls ghi nhận 753 quan sát yếu tố ảnh hưởng đến việc phụ nữ có làm hay khơng Trong đó, biến giải thích cụ thể sau: lfp: phụ nữ có làm hay khơng (= có làm; khác) k5: số tuổi gia đình (người) k618: số độ tuổi từ đến 18 gia đình (người) age: tuổi phụ nữ hay người vợ (tuổi) wc: phụ nữ có cấp hay khơng (= 1nếu phụ nữ có cấp; khác ) hc: chồng có cấp hay khơng (= chồng có cấp; – khác ) lwg: ln thu nhập kỳ vọng phụ nữ làm Thu nhập kỳ vọng tính USD/1 làm việc inc: thu nhập hộ gia đình, sau loại trừ thu nhập phụ nữ (ngàn USD/năm) Ý nghĩa hệ số hồi quy Ý nghĩa hệ số hồi quy Biến k5 k618 Mean P-value ( ) 0.24 -1.46291 0.0000 -0.06457 0.3423 -0.06287 0.0000 0.807274 0.0004 0.111734 0.5876 0.604693 0.0001 -0.03445 0.0000 1.35 age 42.54 wc 0.28 hc Hệ số ước lượng 1.0971 inc 20.1293 Có ý nghĩa thống kê Khơng có ý nghĩa thống kê 0.39 lwg Kết luận Có ý nghĩa thống kế Có ý nghĩa thống kê Khơng có ý nghĩa thống kê Có ý nghĩa thống kê Có ý nghĩa thống kê 04/06/2017 II Mơ hình hồi quy Binary Logistic: 2.1 Kiểm định hệ số hồi quy Đối với hồi quy tuyến tính sử dụng kiểm định t để kiểm định giả thuyết H0: k=0 Còn hồi quy Binary Logistic, đại lượng Wald Chi Square sử dụng để kiểm định ý nghĩa thống kê hệ số hồi quy tổng thể Giá trị p (sig.) nhỏ mức ý nghĩa = 0,05 bác bỏ H0 Như hệ số hồi quy tìm có ý nghĩa mơ hình sử dụng tốt II Mơ hình hồi quy Binary Logistic: 2.2 Độ phù hợp mơ hình II Mơ hình hồi quy Binary Logistic: 2.2 Độ phù hợp mơ hình (tt) Đo lường độ phù hợp tổng qt mơ hình Binary Logistic dựa tiêu -2LL (viết tắt -2 log likelihood), thước đo có ý nghĩa giống RSS (residual sum of square) OLS -2LL nhỏ thể độ phù hợp cao Khi -2LL=0 (tức khơng có sai số) mơ hình có độ phù hợp hoàn hảo Để đánh giá -2LL dựa vào kiểm định Omnibus test kiểm định Hosmer and Lemeshow test Hoặc dung classification table (trình bày slide sau) 04/06/2017 2.2 Độ phù hợp mơ hình (tt) Bảng Omnibus Tests of Model Coefficient H0: Hosmer and Lemeshow test H0: VẬN DỤNG MƠ HÌNH HỒI QUY BINARY LOGISTIC CHO MỤC ĐÍCH DỰ BÁO Mơ hình hồi quy Binary Logistic áp dụng để dự báo khả trả nợ đối tượng vay hay dự báo nhu cầu sử dụng sản phẩm cụ thể Ta sử dụng cơng thức sau: ( = 1+ ⋯ ( 2.2 Độ phù hợp mơ hình (tt) ) ⋯ ) II Mơ hình hồi quy Binary Logistic (tt): • Thơng tin cần thu thập biến phụ thuộc kiện có xảy hay khơng, biến phụ thuộc Y lúc có hai giá trị (với không xảy kiện ta quan tâm có xảy ra) • Từ biến phụ thuộc nhị phân này, thủ tục dùng để dự đoán xác suất kiện xảy theo quy tắc xác suất dự đốn lớn 0.5 kết dự đốn cho “có” xảy kiện, ngược lại kết dự đốn “khơng” 04/06/2017 2.3 Khả dự báo mơ hình (tt) Dự báo mơ hình binary logistic Kết cho thấy : CẢM ƠN! ... -1.46291 0.0000 -0.06457 0 .34 23 -0.06287 0.0000 0.807274 0.0004 0.111 734 0.5876 0.6046 93 0.0001 -0. 034 45 0.0000 1 .35 age 42.54 wc 0.28 hc Hệ số ước lượng 1.0971 inc 20.12 93 Có ý nghĩa thống kê Khơng... tuyến điều kiện bậc hai công thức trên, cho nên, thông thường nhà nghiên cứu sử dụng phần mềm chuyên dụng để ước lượng β1 β2 Từ giả định xác suất của: P(Y|X) = G(β + β Xi) − =0 1+ II Mơ hình hồi... số hồi quy Đối với hồi quy tuyến tính sử dụng kiểm định t để kiểm định giả thuyết H0: k=0 Còn hồi quy Binary Logistic, đại lượng Wald Chi Square sử dụng để kiểm định ý nghĩa thống kê hệ số hồi