Chuong IV- Mo hinh hoi qui boi - tiep theo potx

Nguyễn Đình Thông CHƯƠNG IV: HỒI QUY TUYẾN TÍNH BỘI (TIẾP THEO) Nguyễn Đình Thơng III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN Khái quát hóa hàm hồi qui tổng thể (PFR) hai biến, chúng ta có thể viết PRF k biến như sau: Hay: Y i = β 1 + β 2 X 2i + β 3 X 3i + + β k X ki + U i E(Y/ X 2 ,X 3 , ,X k )= β 1 + β 2 X 2 + β 3 X 3 + + β k X k Trong đó: Y là biến phụ thuộc, X 2 , X 3 , ,X k là các biến giải thích (hay biến hồi qui độc lập), U là số hạng nhiễu ngẫu nhiên, và i là quan sát thứ i. 1. Hàm hồi qui tổng thể (PRF) Nguyễn Đình Thơng III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 1. Hàm hồi qui tổng thể (PRF) Giả sử chúng ta có n quan sát, mỗi quan sát gồm k giá trò (Y i ,X 2i , ,X ki ), khi đó : Quan sát 1: Y 1 = β 1 + β 2 X 21 + β 3 X 31 + + β k X k1 + U 1 Quan sát 2: Y 2 = β 1 + β 2 X 22 + β 3 X 32 + + β k X k2 + U 2 Quan sát n: Y n = β 1 + β 2 X 2n + β 3 X 3n + + β k X kn + U n (I) Nguyễn Đình Thơng 1. Hàm hồi qui tổng thể (PRF) III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN Ký hiệu: 1 2 (nx1) ; Y n Y Y Y    ÷  ÷ =  ÷  ÷   M 1 2 (kx1) k β β ; β β    ÷  ÷ =  ÷  ÷   M ( ) 1 2 nx1 n U U U U    ÷  ÷ =  ÷  ÷   M ( ) 21 31 1 22 32 2 nxk 2 3 1 1 1 k k n n kn X X X X X X X X X X    ÷  ÷ =  ÷  ÷   L L M M M L M L Nguyễn Đình Thơng Y = X.β +U 1. Hàm hồi qui tổng thể (PRF) Khi đó hệ (I) được viết dưới dạng ma trận như sau: III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN Nguyễn Đình Thơng 2. Các giả thiết của mô hình hồi qui k biến  Giả thiết 1: Các biến độc lập X 1 , X 2 ,…X k đã cho và không ngẫu nhiên.  Gỉa thiết 2: Các sai số ngẫu nhiên U i có giá trò trung bình bằng 0 và có phương sai không thay đổi.  Giả thiết 3: Không có sự tương quan giữa các sai số U i .  Giả thiết 4: không có hiện tượng đa cộng tuyến giữa các biến độc lập X 2 , X 3 ,…X k  Giả thiết 5: không có sự tương quan giữa các biến độc lập X 2 , X 3 ,…X k với các sai số ngẫu nhiên Ui. III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN Nguyễn Đình Thơng III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3. Ước lượng các tham số mô hình - Phương pháp OLS µ ¶ ¶ 1 2 2 i i k ki i Y X X e β β β = + + + + Hay: Hàm hồi qui mẫu (SRF) có dạng µ µ ¶ ¶ 1 2 2 i i k ki Y X X β β β = + + + µ e Y X β = − Hay: µ Y X e β = + Khi đó ta có: µ µ ¶ ¶ 1 2 (kx1) k β β β β    ÷  ÷ =  ÷  ÷  ÷   M Đặt: 1 2 (nx1) ; n e e e e    ÷  ÷ =  ÷  ÷   M Nguyễn Đình Thơng  Theo phương pháp bình phương nhỏ nhất, các tham số của mơ hình được chọn sao cho tổng bình phương của các phần dư (RSS) nhỏ nhất, biểu diễn bằng ký hiệu tốn học: III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3. Ước lượng các tham số mô hình - Phương pháp OLS ( ) 2 2 1 2 2 ˆ ˆ ˆ min i i i k ki e Y X X β β β = − − − − → ∑ ∑ Nguyễn Đình Thơng ˆ , , ,X Y e β ˆ , , , T T T T X Y e β 21 22 2 1 2 1 1 1 n T k k kn X X X X X X X    ÷  ÷ =  ÷  ÷   L L M M O M L III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3. Ước lượng các tham số mô hình - Phương pháp OLS Ta kí hiệu: là các ma trận chuyển vị của (dòng thành cột, cột thành dòng) Tức là: 1 2 ˆ ˆ ˆ ˆ ( , , , ) T k β β β β = ; Y T =(Y 1 , Y 2 ,…, Y n ) ; e T =(e 1 , e 2 ,…, e n ) Nguyễn Đình Thơng  Khi đó: µ ( ) µ ( ) µ ( ) µ ( ) 2 1 min n T T T T T i i e e e Y X Y X Y X Y X β β β β = = = − − = − − → ∑ III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3. Ước lượng các tham số mô hình - Phương pháp OLS µ µ µ µ ( ) min T T T T T T Y Y X Y Y X X X β β β β = − − + → µ µ µ ( ) m n 2 i T T T T T Y Y X Y X X β β β = − + → µ µ ( ) ì : T T T V X Y Y X β β = µ µ ( ) 2 2 0 ( ) T T T e e X Y X X β β ∂ = − + = ∂ µ T T X Y X X β ⇔ = µ 1 ( ) T T X X X Y β − ⇒ = Hệ phương trình chuẩn có dạng: [...]... (XTX )-1 như sau: Trong đó: A11 =e 22 k 33 -h 32 f 23 F32 =-( a11h 32 -g 31b12 ) B21 =-( d 21k 33 -g 31f 23 ) G13 =b12 f 23 -e 22 c13 C31 =d 21h32 -g 31e22 H 23 =-( a11f 23 -d 21c13 ) D12 =-( b12 k 33 -h 32 c13 ) E 22 =a11k 33 -g 31c13 K 33 =a11e 22 -d 21b12 det(A)=a11A11 +b12 B21 + c13C31 Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3 Ước lượng các tham số mô hình - Phương pháp OLS Ví dụ minh họa Bảng... j cột j của ma trận (XTX )-1 Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 6 Khoảng tin cậy cho các hệ số hồi qui β j (j=1,k) Trong thực tế ta thường sử dụng phân phối t sau để tìm khoảng tin cậy cho cácβ j ¶ µ βj - j β j −βj t= = : t (n - k ) µ µ µµ se( β j ) σβ j Ta có khoảng tin cậy của các βj như sau: µ ˆ β j ± tα se( β j ) 2 Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 6.Khoảng... MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7 Kiểm đònh giả thiết 7.2 Kiểm đònh về R2 (kiểm định giả thiết đồng thời) Tra bảng tìm F(k-1, n-k) với mức ý nghóa α Ngun tắc ra quyết định: Bác bỏ giả thiết khơng khi Fc 〉 Fα (k − 1, n − k ) Hoặc giá trị p-value của thống kê F nhỏ hơn mức ý nghĩa cho trước (thường nhỏ hơn 10%) Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 8 ng dụng phân tích hồi qui – vấn... qui β j (j=1,k)  Với ajj là phần tửø nằm ở dòng j cột j của ma trận (XTX )-1 , khi đó: σ 2 ˆ βj ˆ = σ a jj ≈ σ a jj 2 2 2 ˆ se( β j ) = σ βˆ  Với: j RSS ˆ σ = n−k 2 Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7 Kiểm đònh giả thiết 7.1 Kiểm đònh ý nghóa các hệ số hồi quy βj : Kiểm đònh t Phương pháp kiểm đònh như sau: - Bước 1: Lập giả thiết kiểm đònh H0 : β j = β * j H1 : β j ≠ β * j -. .. ) j Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7.1 Kiểm đònh ý nghóa các hệ số hồi quy βj : Kiểm đònh t - Bước 3: Lập miền bác bỏ, tra bảng t-Student với bậc tự do (n-k), tìm tα/2 (đối với kiểm đònh 2 phía) và tα (đối với kiểm đònh 1 phía) ( + Wα = −∞; −tα 2 ) ∪( t + Wα = ( −∞; −tα ) , α 2 ; +∞ ) + Wα = ( tα ; +∞ ) Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7.1 Kiểm đònh ý... A13=0; A21 =-3 ;A22=3 ;A23=0;A31=1 ;A32 =-1 ;A33=2;  Cơng thức tính ma trận nghịch đảo: (i + j )  A11 1  −1 A =  A12 det( A)   A13 A21 A22 A23 A31   6 −3 −1  1 ÷ 1 ÷  A32 ÷ =  0 3 −1÷ =  0 ÷ 6 0 0 2 ÷ 0 A33     Nguyễn Đình Thơng −1 1 2 2 0  −1 ÷ 6÷ −1 ÷ 3 −1 6 III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 3 Ước lượng các tham số mô hình - Phương pháp OLS Bây giờ ta xác đònh ma trận (XTX )-1 như...   0÷  X 2 ÷ → E (Y / X ) = β + β X 0 + + β X 0 - Cho: X = X 0 = 0 1 2 2 k k  M÷  0÷ = X 0T β  Xk  µ µ ¶ 0 ¶ Y 0 = β1 + β 2 X 2 + + β k X k0 - Ta có: µ = X 0T β 2 µ µ var (Y 0 ) = var ( X 0T β ) = X 0T σ β X 0 µ Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 8 ng dụng phân tích hồi qui – vấn đề dự báo 8.1 Dự báo giá trò trung bình 2 - Mặc khác: σ β = σ 2 ( X T X ) −1 µ Do đó: µ 0 )... đònh theo công thức sau: σ = σ (X X ) 2 µ β 2 T Nguyễn Đình Thơng −1 III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 5.Ma trận hiệp phương sai của β Â Ma trận (XTX )-1 là ma trận nghòch đảo của ma trận XTX, σ2 là phương sai của sai số ngẫu nhiên Ui, trong thực tế thường chúng ta không biết, vì vậy ta phải dùng ước lượng không chệch của nó là: ˆ σ 2 ∑e = 2 i RSS = n−k n−k Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN... ( tα ; +∞ ) Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7.1 Kiểm đònh ý nghóa các hệ số hồi quy βj : Kiểm đònh t Qui tắc quyết đònh như sau: - Nếu t ∈ Wα : Kết luận: Bác bỏ gt H0 - Nếu t ∉ Wα : Kết luận: Chưa có cơ sở bác bỏ gt H0 Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 7 Kiểm đònh giả thiết 7.2 Kiểm đònh về R2 (kiểm định giả thiết đồng thời) Giả thiết: H0 : R 2 = 0 H1 :... yi2 ∑ i =1  0 ≤ R 2 ≤ 1 Nếu R2 = 1, có nghóa là đường hồi qui giải thích 100% sự thay đổi của Y Nếu R2 = 0, có nghóa là mô hình không giải thích sự thay đổi nào của Y Nguyễn Đình Thơng III MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 4.Hệ số xác đònh mô hình (R2) và hệ số xác đònh mô hình đã hiệu chỉnh (R2)  Hệ số xác đònh bội hiệu chỉnh R2 được tính theo công thức sau: RSS 2 n − k = 1 − (1 − R 2 ) n − 1 + R . 31 22 C =d -gh e 12 12 33 32 13 D =-( b k -h )c 22 11 33 31 13 E =a k -g c 32 11 32 31 12 F =-( a h -g )b 13 12 23 22 13 G =b f -e c 23 11 23 21 13 H =-( a f -d c ) 33 11 22 21 12 K =a e -d b 11 11. HỒI QUI TUYẾN TÍNH K BIẾN 3. Ước lượng các tham số mô hình - Phương pháp OLS Bây giờ ta xác đònh ma trận (X T X) -1 như sau: Trong đó: 11 22 33 32 23 A =e k -h f 21 21 33 31 23 B =-( d k -g f. (hay biến hồi qui độc lập), U là số hạng nhiễu ngẫu nhiên, và i là quan sát thứ i. 1. Hàm hồi qui tổng thể (PRF) Nguyễn Đình Thơng III. MÔ HÌNH HỒI QUI TUYẾN TÍNH K BIẾN 1. Hàm hồi qui tổng thể