Chương 3: Mô hình hồi quy đa biến

MƠ HÌNH HỒI QUY ĐA BIẾN ThS Nguyễn Thị Kim Dung Ví dụ: Thu nhập ảnh hưởng đến chi tiêu (+) Địa điểm: khoảng cách từ nhà đến trung tâm ảnh hưởng đến chi tiêu (-) Số thành viên gia đình ảnh hưởng đến chi tiêu (+) … Vậy: Chi tiêu Thu nhập, Địa điểm, Số thành viên Chi tiêu = f (Thu nhập, Địa điểm, Số thành viên) MƠ HÌNH HỒI QUY 1.1 MƠ HÌNH HỒI QUY TỔNG THỂ Yi =  +  X +  X + +  X + ui 2i 3i k ki (1.1)  1 : hệ số tự  Với:  2 , 3 , ,  k : hệ số hồi quy riêng   ui (i = 2, , k) : sai soá ngẫu nhiên  1    ' Đặt: Xi = (1, X2i , X3i , , Xki ) ;  =     '  k  Yi = X i  + ui MÔ HÌNH HỒI QUY 1.1 MƠ HÌNH HỒI QUY TỔNG THỂ Nếu ta có n quan sát, quan sát gồm k giá trị (Yi , X2i , X3i , , Xki ), (i = 1, n) , ta có hệ n phương trình: Y1 = 1 +  X 21 + 3 X 31 + +  k X k1 + u1 Y =  +  X +  X + +  X + u  2 22 32 k k2 (1.2)   Yn = 1 +  X n + 3 X 3n + +  k X kn + un MƠ HÌNH HỒI QUY 1.1 MƠ HÌNH HỒI QUY TỔNG THỂ  1   Y1      Y2  2    Đặt Y = ,  = ,          Yn   k  Xk1   u1     Xk  u2   , u=       X2 n X3n Xkn   un   Dạng ma trận phương trình (1.2): 1   X=   1 X21 X22 X31 X32 Y = X + u MƠ HÌNH HỒI QUY 1.2 MƠ HÌNH HỒI QUY MẪU Yˆi = ˆ1 + ˆ2 X 2i + ˆ3 X 3i + + ˆk X ki Y = ˆ + ˆ X + ˆ X + + ˆ X + e i ei = Yi − Yˆi 2i 3i gọi phần dư k ki i MƠ HÌNH HỒI QUY 1.2 MƠ HÌNH HỒI QUY MẪU Nếu ta có n quan sát, quan sát gồm k giá trị (Yi , X2i , X3i , , Xki ),(i = 1, n) Ta đặt:  ˆ1   Yˆ1      ˆ  ˆ Y    Yˆ =   , ˆ =   , X      Yˆ   ˆ   n  k  X 21 X 31  X X 22 32  =    X n X 3n = X ˆ Y = X ˆ + e Dạng ma trận phương trình: Yˆ Dạng ma trận mơ hình: X k1   e1     X k  e 2  ,e =       X kn   en  PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT ( OLS ) 2.1 Nội dung phương pháp bình phương nhỏ • Ta có mơ hình hồi quy mẫu Y = X ˆ + e • Ta cần tìm Yˆi cho gần với giá trị thực Yi nhất, tức phần dư ei = Yi − Yi nhỏ tốt Tìm Yˆi cho n (   Yi − Yˆi i =1 ( ) ) n n e  i → i =1 ( =  Yi − ˆ1 − ˆ2 X 2i − − ˆk X ki i =1   ˆ j → → ˆ1 , ˆ2 , , ˆk nghiệm hệ sau:  ˆ =0  j   j = 1, 2, , k → ( j = 1, , k ) Nghĩa cần tìm ˆ1 , ˆ2 , , ˆk cho  ' ) Lượng cam Y 14 13 12 10 Giá cam X 2 Giá quýt 9 7  ˆk   N  k ,  Skk     ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT CÁC HỆ SỐ HỒI QUY 5.1 KHOẢNG TIN CẬY Ta có: ˆi ˆi − i ( ) Se ˆi ( ( )) N i , Var ˆi i = 1, , k T (n − k ) /2 - - t(n-k) /2 /2 t(n-k)/2  ( n−k )  ˆ ( n−k )  −  i i  = 1−  P  −t  t  /2    /2 Se ˆi   ( n−k ) ( n−k )   ˆ ˆ ˆ ˆ P  i − t Se i  i  i + t Se i  = −   /2  /2   ( ) ( ) ( ) /2 - - t(n-k) /2 /2 t(n-k)/2 vaäy : ( ) ( n−k )   ˆ ˆ i   i  t Se i  với tin caäy −   /2   /2 - - t(n-k) /2 /2 t(n-k)/2 5.2 KIỂM ĐỊNH GIẢ THUYẾT * ˆ i − i t= se ˆ ( ) tn − k i ( n−k ) ( n−k )   P  −t t t = 1−   /2    /2 /2 - - t(n-k) /2  : mức ý nghĩa /2 t(n-k)/2 Kiểm định hai bên Kiểm định bên trái  H : i = i*  *  H1 :  i   i  H : i  i*  *  H1 :  i   i Kiểm định bên phải  H : i  i*  *  H1 :  i   i * ˆ i − i t= se ˆ ( ) i /2 - - t/2(n-k) - /2 t/2(n-k)  - t(n-k) -  t(n-k)32 Kiểm định hai bên Kiểm định bên trái  H : i = i*  *  H1 :  i   i  H : i  i*  *  H1 :  i   i Kiểm định bên phải  H : i  i*  *  H1 :  i   i * ˆ i − i t= se ˆ ( ) i Bác bỏ Ho khi: |t0|>t/2(n-k) Bác bỏ Ho khi: t0 < -t(n-k) Bác bỏ Ho khi: t0 > t(n-k) 33 P-VALUE P-value = P(| t(n-k) |  |t|) P-value  t0 t (n-k) 34 P-VALUE P-value = P(| t(n-k) |  |t|) P-value/2 P-value/2 /2 /2 - t/2 -t t t/2 35 Quy luật dùng P-value: P-value <   Bác bỏ Ho P-value    Chấp nhận Ho 5.3 KIỂM ĐỊNH SỰ PHÙ HỢP CỦA HÀM HỒI QUY ESS/ ( k − 1) F= RSS / ( n − k ) Kiểm định giả thiết B1: Tính F = F (k − 1, n − k)  H :R2 =   H1:R  R ( n − k) => Y nghia: kiem dinh cac X co tac dong den Y hay ko? Day la kiem dinh F Tuong duong voi Kiem dinh t (B2, B3, B3, Bk) (H0: Bk = 0; H1: Bk khac 0) => Lam kiem dinh F ko can lam kiem dinh t nhung ko co nguoc lai (1 − R ) ( k − 1) Tra bảng tìm F ( k − 1, n − k ) (phuï luïc 4) B2: Kết luận: Bác bỏ H0 F  F ( k − 1, n − k ) dụ: Kiểm định phù hợp hàm hồi quy vừa tìm được? Mức ý nghĩa 5% Ví alpha = 0,05 *Cac diem moi mo hinh da bien so vs don bien: Cac bien doc lap (can kiem dinh cac bien co doc lap hay ko) Rbinh va R binh dieu chinh Kiem dinh F khong tuong duong kiem dinh T (khac vs mo hinh don bien) Bo so yeu to KIỂM ĐỊNH HỒI QUY CÓ ĐIỀU KIỆN ( KIỂM ĐỊNH GIẢ THIẾT ĐỒNG THỜI) Yi =  +  X +  X + +  X + ui (1) 2i 3i k ki Nếu bỏ m biến mơ hình (1) trở thành: Yi =  +  X +  X + +  X + ui (2) 2i 3i k −m (k −m)i Vậy mơ hình (2) mơ hình (1) với điều kiện  k =  k −1 = =  k −m+1 = Việc lựa chọn mơ hình nào, (1) hay (2), thực kiểm định   H :  k =  k −1 = =  k −m+1 =    H1 : i  Nếu Ho sai, nghĩa m biến giải thích thật có ảnh hưởng đến Y RSS2 > RSS1 Vậy ( RSS2 – RSS1 ) lớn ta bác bỏ Ho Phương pháp kiểm định: RSS2 − RSS1 ) / m ( F=  F (m, n − k) RSS1 / ( n − k ) F= (R −R 2 )/ m (1 − R ) / ( n − k )  F (m, n − k) Nếu F > F(m,n-k) bác bỏ Ho dụ: Mơ hình hồi quy ban đầu (7 biến) có hệ số xác định 0,848004 Người ta nghi ngờ biến SO-KENH PHI-DICH-VU khơng ảnh hưởng nên lập mơ hình hồi quy mới, có hệ số xác định 0.845754 Kiểm định xem có nên bỏ biến khỏi mơ hình ban đầu khơng mức ý nghĩa 5%? Ví