tài liệu mô hình hồi quy bội

ei là các phần dư, thực chất là các ước lượng điểm của sai số ngẫu nhiên Ui... Các tham số đặc trưng của các ước lượng - Phương sai và sai số chuẩn 1 1 ˆ Var... ei là các phần dư, thực

Chương III

Mô hình hồi quy bội

1 Mô hình hồi quy ba biến

- Hàm hồi quy tổng thể (PRF) và mô hình hồi quy tổng thể (PRM) có dạng:

PRF:E Y X( / 2i,X3i)12X2i 3X3i

PRM: Y i 12X2i 3X3i U i i;(  1 N)

- Trong đó:

Y là biến phụ thuộc

2i, 3i

X X là các biến độc lập

1

 là hệ số chặn

2, 3

  là các hệ số góc riêng phần (hệ số hồi quy riêng)

- Hệ số 1 E Y X( / 2i X3i 0) là giá trị trung bình của Y khi X2i = X3i = 0

- Hệ số 2 2 3

2

E Y X X X

 

 cho biết khi X2 tăng một đơn vị thì trung bình của Y thay đổi như thế nào trong điều kiện X3 không thay đổi

- Hệ số 3 2 3

3

E Y X X X

 

 cho biết khi X3 tăng một đơn vị thì trung bình của Y thay đổi như thế nào trong điều kiện X2 không thay đổi

- Giả sử mọi giả thiết của phương pháp OLS đều được thoả mãn

1.1 Ước lượng mô hình

- Từ tổng thể lập mẫu kích thước n: W  ( ,Y X i 2i,X3i);i  1 n

- Hàm hồi quy mẫu (SRF) và mô hình hồi quy mẫu (SRM) có dạng:

SRF: ˆ ˆ1 ˆ2 2 ˆ3 3

Y   X  X

SRM: ˆ ˆ1 ˆ2 2 ˆ3 3 ;( 1 )

Y   X  X e i  n

- Trong đó:

ˆ ˆ ˆ, ,

   là các hệ số hồi quy ước lượng được (ước lượng điểm của   1, 2, 3)

ˆ

i

Y là các giá trị ước lượng được của biến phụ thuộc, thực chất là các ước lượng điểm của E Y X( / 2i,X3i)

ei là các phần dư, thực chất là các ước lượng điểm của sai số ngẫu nhiên Ui

- Tổng bình phương các phần dư được xác định như sau:

ˆ

- Theo phương pháp OLS ta phải tìm   ˆ ˆ ˆ1, 2, 3 sao cho:

ˆ ˆ ˆ

f     Min

- Các hệ số   ˆ ˆ ˆ1, 2, 3 là nghiệm của phương trình:

1 2 3

1 1

1 2

1 3

ˆ ˆ ˆ

ˆ

ˆ ˆ ˆ

ˆ

ˆ ˆ ˆ

ˆ

n

i n

i n

i

f

f

f

  



  



  









































2

2



















(II) là hệ phương trình chuẩn

- Ký hiệu:

1

i i

n 

1

i i

n 

1

i i

n 

i i

y  Y Y x2i X2i  X2 x3i X3i  X3

- Giải hệ phương trình chuẩn (hệ Cramer) ta có:

2

2

ˆ







2

3

ˆ







1.2 Các tham số đặc trưng của các ước lượng

- Phương sai và sai số chuẩn

1

1 ˆ

( )

Var

2 3

2 1

2

ˆ

( )

n i i

x Var





2

2 2

2 1

3

ˆ

( )

n i i

x Var





- Hiệp phương sai:

2 23

ˆ ˆ ( , )

r Cov



 





Trong đó: ( ,ˆ ˆ ) ( , );(ˆ ˆ )

Cov   Var  i

- Do 2

 chưa biết nên ta thay bằng ước lượng điểm của nó trên mẫu:

2

ˆ

3

n i i

e n

  





1.3 Hệ số xác định bội của mô hình

- Công thức:

2 1

1

n i i

ESS RSS R







(?)

- Hệ số xác định bội cho biết tỷ lệ % sự biến thiên của Y được giải thích thông qua hai biến độc lập X2 và X3 của mô hình

1.4 Hệ số tương quan

- Hệ số tương quan bội: R R2 đo mức độ tương quan tuyến tính chung giữa Y,

X2 và X3

- Hệ số tương quan cặp (Simple correlation coefficent)

2 2

12

2

n

i i i

x y r

x y







 

2 3

13

3

n

i i i

x y r

x y







 

2

2 3

23

n

i i i

x x r

x x







 

+ Hệ số r12 đo mức độ tương quan tuyến tính giữa Y và X2

+ Hệ số r13 đo mức độ tương quan tuyến tính giữa Y và X3

+ Hệ số r23 đo mức độ tương quan tuyến tính giữa X2 và X3

- Các hệ số tương quan cặp được xác định trong ma trận hệ số tương quan:

1

1

ij ji

- Hệ số tương quan riêng phần (Partical correlation coefficient):

+ Hệ số r12,3 đo mức độ tương quan tuyến tính giữa Y và X2 khi X3 không đổi

+ Hệ số r13,2 đo mức độ tương quan tuyến tính giữa Y và X3 khi X2 không đổi

+ Hệ số r23,1 đo mức độ tương quan tuyến tính giữa X2 và X3 khi Y không đổi

2 Mô hình hồi quy k biến

- Hàm hồi quy tổng thể (PRF) và mô hình hồi quy tổng thể (PRM) có dạng:

PRF:E Y X( / 2i,X3i, ,X ki)12X2i 3X3i  k X ki

PRM: Y i 12X2i 3X3i  k X ki U i i;(  1 N)

- Trong đó:

Y là biến phụ thuộc

2i, 3i, , ki

X X X là các biến độc lập

1

 gọi là hệ số chặn

2, , ,3 k

   gọi là các hệ số góc riêng phần (các hệ số hồi quy)

- Giá trị của k cho biết: Số biến và số tham số cần ước lượng của mô hình

- Hệ số 1 E Y X( / 2i X3i   X ki 0) là giá trị trung bình của Y khi

mi

X  m  k

- Hệ số ( / 2, 3, , )

k m

m

E Y X X X

X

 cho biết khi Xm tăng một đơn vị thì trung bình của Y thay đổi như thế nào trong điều kiện các biến Xj;( j m) không thay đổi

- Ký hiệu các véc tơ:

1 21 1 1 1

2

k k









- Khi đó PRF và PRM có thể viết dưới dạng ma trận:

: ( )

PRF E Y X và PRM Y: X U

- Giả sử mọi giả thiết của phương pháp OLS đều được thoả mãn

2.1 Ước lượng mô hình

- Từ tổng thể lập mẫu kích thước n: W ( ,Y X i 2i, ,X ki) :i 1 n

- Hàm hồi quy mẫu (SRF) và mô hình hồi quy mẫu (SRF) có dạng:

SRF: ˆ ˆ1 ˆ2 2 ˆ3 3 ˆ

Y   X  X   X

SRM: ˆ ˆ1 ˆ2 2 ˆ3 3 ˆ ;( 1 )

Y   X  X   X e i n

- Trong đó:

ˆ ˆ, , , ˆ

k

   là các hệ số hồi quy ước lượng được, thực chất là các ước lượng điểm của  1, 2, ,k

ˆ

i

Y là các giá trị ước lượng được của biến phụ thuộc, thực chất là các ước lượng điểm của của E Y X( / 2i,X3i, ,X ki)

ei là các phần dư, thực chất là các ước lượng điểm của các sai số ngẫu nhiên Ui

- Ký hiệu các véc tơ:

1

2

1

ˆ ˆ

ˆ ˆ

ˆ

ˆ

e Y

e Y







- Khi đó SRF và SRM có thể viết dưới dạng ma trận:

ˆ ˆ

:

SRF Y X và SRM Y: Xˆ e

- Tổng bình phương các phần dư được xác định như sau:

e eY X  Y X  Y Y   X Y  X X f 

- Theo phương pháp OLS ta phải tìm ˆ sao cho: f ( )ˆ  Min

- Hế số ˆ thoả mãn phương trình: ( )ˆ 0

ˆ

f 







 (III) là phương trình chuẩn

1

2.2 Các tham số đặc trưng của các ước lượng

- Phương sai và hiệp phương sai được xác định bởi ma trận hiệp phương sai:

2

ˆ

k

T k

- Do 2

 chưa biết nên được thay bởi một ước lượng điểm của nó: ˆ2

T

e e

n k



2.3 Hệ số xác định bội

ˆ

R TSS TSS Y Y nY Y Y nY

- Hệ số xác định bội cho biết tỷ lệ % sự biến thiên của Y được giải thích thông qua toàn bộ các biến độc lập của mô hình

- Giá trị của của R2 đồng biến với số biến giải thích đưa vào mô hình Tuy nhiên tính chất này không đủ làm cơ sở để xem xét việc đưa thêm biến giải thích vào mô hình vì giá trị của R2 còn phụ thuộc vào bậc tự do của ESS (k) và RSS (n-k)

2 4 Hệ số xác định bội đã điều chỉnh R2

- Công thức xác định: 2 /( ) 2 1

- Hệ số R2 có thể âm

- Khi số biến giải thích của mô hình tăng lên thì R2 tăng chậm hơn so với R2

- R2 R2 1 vì R2 không phụ thuộc vào số bậc tự do của ESS và TSS

- Hệ số R2 được dùng làm căn cứ để xem xét việc đưa thêm biến giải thích vào mô hình Một biến mới sẽ được đưa vào mô hình nếu: Hệ số của biến mới đưa vào mô hình có ý nghĩa thống kê và hệ số R2 còn tăng

2.5 Hệ số tương quan

- Hệ số tương quan bội R R2 đo mức độ tương quan tuyến tính chung giữa Y

và các biến giải thích trong mô hình

- Các hệ số tương quan cặp được xác định bởi ma trận hệ số tương quan:

ij ji

- Các hệ số tương quan cặp r ij;( ,i j  2 n) cho biết mức độ tương quan tuyến tính giữa biến Xi và Xj

- Các hệ số tương quan cặp r1j;(j  2 n) cho biết mức độ tương quan tuyến tính giữa biến Y và Xj

- Hệ số tương quan riêng phần

+ Xét mô hình: Y i 12X2i 3X3i 4X4i U i

+ Các hệ số tương quan riêng phần bậc 2: r12,34, r13,24, r14,23, r23,14, r24,13, r34,12

+ Hệ số r12,34 cho biết mức độ tương quan tuyến tính giữa Y và X2 trong điều kiện

X3 và X4 không thay đổi

+ Hệ số r23,14 cho biết mức độ tương quan tuyến tính giữa X2 và X3 trong điều kiện

Y và X4 không thay đổi

- Các hệ số trương quan cặp có thể xem là hệ số tương quan riêng phần bậc 0

3 Khoảng tin cậy và kiểm định giả thuyết về các hệ số hồi quy

3.1 Đối với j;(j  1 k)

a Phương pháp ước lượng khoảng tin cậy

- Thống kê: ( )

ˆ ˆ ( )

j

Se







  do đó với độ tin cậy 1  cho trước ta tìm được cặp giá trị  1, 2 sao cho:12  và hai giá trị tới hạn Student là

1n k , n k

T  T 

 thoả mãn điều kiện:

P  Se  T    Se  T     

- Trong thực tế người ta thường sử dụng một trong ba trường hợp sau:

+ Khoảng tin cậy đối xứng ( 1 2

2



   )

P  Se  T    Se  T     

+ Khoảng tin cậy bên phải dùng để ước lượng giá trị tối thiểu (1 0,2  ):

( )

P   Se  T     

+ Khoảng tin cậy bên trái dùng để ước lượng giá trị tối đa (2 0,1  ):

( )

P  Se  T     

b Phương pháp kiểm định giả thuyết.

- Kiểm định các cặp giả thuyết:

* 0

* 1

:

(1) :

H H









* 0

* 1

:

(2) :

H H









* 0

* 1

:

(3) :

H H









- Tiêu chuẩn kiểm định:

* ( )

ˆ ˆ ( )

j

Se







  nếu giả thuyết H0 là đúng

-Miền bác bỏ với mức ý nghĩa  cho trước được xác định như sau:

+ Cặp giả thuyết (1): ( )

2

W T T T  

+ Cặp giả thuyết (2): W T T T: (n k )

+ Cặp giả thuyết (3): W T T: T(n k )

- Trường hợp kiểm địnn bằng 0 của các hệ số có thể sử dụng phương pháp p-value

3.2 Đối với 2



a Phương pháp ước lượng khoảng tin cậy

- Thống kê:

2

2

ˆ

n k

n k







   Do đó với độ tin cậy 1  cho trước ta tìm được một cặp giá trị  1, 2 sao cho:12  và hai giá trị tới hạn

1 (n 2),  (n 2)

     thoả mãn điều kiện:

2

1

1

P

- Trong thực tế người ta thường sử dụng một trong ba trường hợp sau:

+ Khoảng tin cậy hai phía ( 1 2

2



   ):

2

1

1

P



+ Khoảng tin cậy bên phải dùng để ước lượng giá trị tối thiểu (1 0,2  ):

2 2

2

ˆ

1

n k P

n k









+ Khoảng tin cậy bên trái dùng để ước lượng giá trị tối đa (2 0,1  ):

2

1

n k

P       

b Phương pháp kiểm định giả thuyết

- Kiểm định các cặp giả thuyết:

(1)

: :

H H









, (2)

: :

H H









, (3)

: :

H H









- Tiêu chuẩn kiểm định:

2

2 0

ˆ

n k

n k







   nếu giả thuyết H0 là đúng

-Miền bác bỏ tốt nhất với mức ý nghĩa  cho trước được xác định như sau:

+ Cặp giả thuyết (1):

2 2

1 2

:

n k W

n k













+ Cặp giả thuyết (2): W  2:2 2(n k )

+ Cặp giả thuyết (3):  2 2 2 

1

W      n k

4 Kiểm định về sự phù hợp của hàm hồi quy

- Ki m ểm định cặp giả thuyết định cặp giả thuyết nh c p gi thuy t ặp giả thuyết ả thuyết ết

2

2

k j





Hàm hồi quy không phù hợp Hàm hồi quy phù hợp

- Tiêu chuẩn kiểm định:

2 ˆ

ˆ

RSS n k Y Y X Y n k





- Nếu biết R2 thì giá trị của tiêu chuẩn F có thể tính bằng công thức sau:

2 2

R k

R n k



- Với cặp giả thuyết trên ta tìm được giá trị F k(  1,n k ) sao cho:

P F F k  n k  và miền bác bỏ: W  F F: F k(  1,n k )

- Quá trình kiểm định F thường được cho trong bảng phân tích ANOVA:

Nguồn biến thiên Tổng bình phương Bậc tự do Phương sai

Từ hàm hồi quy

(ESS)

2

Từ các sai số ngẫu

nhiên (RSS)

ˆ

Tổng (TSS) Y Y nY'  2 n-1 2

2 '

Y Y nY

S n







5 Kiểm định F về sự thu hẹp của hàm hồi quy

- Xét mô hình k biến, ký hiệu là UR (Unrestricted Model)

Y   X  X   X   X    X U (UR)

- Nếu có cơ sở cho rằng một số biến nào đó của mô hình là không cần thiết, chẳng hạn Xm+1, Xm+2, ,Xk khi đó ta kiểm định cặp giả thuyết:

1

j

H









- Nếu giả thuyết H0 là đúng thì mô hình (UR) trở thành mô hình mới (R) (Restricted Model)

Y   X  X   X U (R) (m biến)

- Thủ tục kiểm định được tiến hành theo các bước sau:

Bước 1: Lần lượt hồi quy các mô hình (UR) và (R) tìm được: RSS UR,R UR2 và

2

,

R R

RSS R

Bước 2: Sử dụng tiêu chuẩn kiểm định:

UR

RSS RSS k m

RSS n k

hoặc

2

UR R UR

R n k

- Trong đó: (k-m) là số biến bị loại khỏi mô hình (UR)

- Miền bác bỏ với mức ý nghĩa  cho trước: W  F F: F k m n k(  ,  )

- Chú ý: Công thức (*) chỉ áp dụng được khi biến phụ thuộc trong hai mô hình (UR) và (R) là như nhau

- Xét mô hình: Y i 12X2i 3X3i U i (UR)

- Một số trường hợp quy về kiểm định thu hẹp hồi quy:

+) Kiểm định xem sự ảnh hưởng của X2, X3 đến Y có như nhau không:



Nếu giả thuyết H0 đúng thì khi đó thay 3 = 2 và mô hình trở thành:

Y   X  X U

Đặt Xi = X2i + X3i ta có: Y i 12X i U i (R)

+) Kiểm định xem sự ảnh hưởng của X2, X3 đến Y có bù trừ cho nhau không:

0 2 3 0 2 3



Nếu giả thiết H0 đúng thì khi đó thay 3 =  2 và mô hình trở thành:

Y   X  X U

Đặt Xi = X2i - X3i ta có: Y i 12X i U i (R)

+) Kiểm định xem ảnh hưởng của X2 đến Y có gấp đôi ảnh hưởng của X3 đến Y?

Nếu giả thuyết H0 đúng thì khi đó thay 3 = 1 2

2 , mô hình trở thành:

1

2

Y   X  X U

Đặt 2 1 3

2

X X  X , ta có: Y i 12X i U i (R)

- Xét mô hình: Y i 12X2i 3X3i U i(UR)

- Khi muốn kiểm định về tổ hợp tuyến tính bất kỳ của các hệ số hồi quy:



Cách 1: Sử dụng kiểm định T

Thống kê: 2 3 ( 3)

n

Se a b







  nếu giả thuyết H0 là đúng

Var a b Var a Cov a b Var b

a Var abCov b Var

Se a b a Var  abCov   b Var 

Miền bác bỏ với mức ý nghĩa  cho trước được xác định như sau:

( 3) 2

W T T T  

Cách 2: Sử dụng kiểm F về sự thu hẹp hàm hồi quy

Nếu giả thuyết H0 đúng thì khi đó thay 3 a

b

  2 và mô hình trở thành:

a

b

Đặt i 2i a 3i

b

  ta có: Y i 12X i U i(R)

6 Dự báo

Xét mô hình hồi quy k biến:

Y   X  X   X U

6.1 Dự báo giá trị trung bình của biến phụ thuộc

- Giả sử trong tương lai biết 0T (1, 02, 03, , 0 )

k

X  X X X ta cần dự báo giá trị E(Y/

X0)

- SRF cho ta một ước lượng điểm của E(Y/X0) là Yˆ0 ˆT X0

- Biến ngẫu nhiên Yˆ0 có phân phối chuẩn với:

ˆ

E Y E Y X

E Y E Y X

Var Y  X X X  X Se Y  X X X  X





- Thống kê: 0 0 ( )

0

ˆ ( )

n k

Y E Y X

Se Y





  Do đó với độ tin cậy 1  cho trước tìm được một cặp giá trị  1, 2 sao cho: 12  và hai giá trị tới hạn

1n k , n k

T  T 

 thoả mãn điều kiện:

P Y  Se Y T  E Y X Y Se Y T     

- Khoảng tin cậy đối xứng: 0 0 ( ) 0 0 0 ( )

Y Se Y T  E Y X Y Se Y T 

- Khoảng tin cậy bên phải: E Y X( / 0) Yˆ0 Se Y T( )ˆ0 (n k )

- Khoảng tin cậy bên trái: ( )

E Y X Y Se Y T 

6.2 Dự báo giá trị cá biệt

- Giả sử trong tương lai biết 0T (1, 02, 03, , 0 )

k

X  X X X ta cần dự báo giá trị cá biệt (Y/X0), ký hiệu là Y0

- SRF cho ta một ước lượng điểm của Y0 là Yˆ0 ˆT X0

- Biến ngẫu nhiên (Y0 Yˆ0) phân phối chuẩn với:

ˆ

E Y Y

E Y Y

Var Y  X X X  X Se Y  X X X  X





- Thống kê: 0 0 ( )

ˆ ˆ

n k

Y Y

Se Y Y







  Do đó với độ tin cậy 1  cho trước tìm được một cặp giá trị  1, 2 sao cho: 12  và hai giá trị tới hạn

1n k , n k

T  T 

 thoả mãn điều kiện:

P Y  Se Y  Y T  Y Y Se Y  Y T     

- Khoảng tin cậy đối xứng: 0 0 0 ( ) 0 0 0 0 ( )

Y Se Y Y T  Y Y Se Y Y T 

- Khoảng tin cậy bên phải: ( )

0 ˆ0 ( ˆ0 0) n k

Y Y Se Y Y T 

- Khoảng tin cậy bên trái: Y0 Yˆ0 Se Y( ˆ0 Y T0) (n k )

7 Một số dạng hàm hồi quy phi tuyến có thể đưa về dạng tuyến tính

7.1 Hàm tổng chi phí

- Dạng hàm: TC i 12Q i 3Q i2 4Q i3 U i;(10,2 0,3 0,4 0)

- Đặt: Q2i Q Q i2, 3i Q i3  TC i 12Q i 3Q2i 4Q3i U i

7.2 Hàm tăng trưởng

- Dạng hàm: 0(1 )t

t

Y Y r Trong đó r là nhịp tăng trưởng

- Biến đổi: lnY t lnY0 tln(1r)

- Đặt: 1 ln ,Y0 2 ln(1r) lnY t 12t

7.3 Hàm sản xuất Coob – Douglas

- Dạng hàm: 2 3

U

Q K L e 



 Trong đó  2, 3 là hệ số co giãn của Q theo K, L

- Biến đổi: lnQ i ln12lnK i 3lnL U i  i

- Đặt: LQ i ln ,Q i 1* ln ,1 LK i lnK LL i, i lnL i

*

LQ   LK  LL U

7.4 Hàm tuyến tính – loga

- Dạng hàm: Y i 12lnX i U i

- Đặt: X i* lnX i  Y i 12X i*U i

- Trong mô hình này, khi X tăng 1% thì Y tăng 2 đơn vị (?)

7.5 Hàm loga – tuyến tính

- Dạng hàm lnY i 12X i U i

- Đặt: Y i* lnY i  Y i* 12X i U i

- Trong mô hình này, khi X tăng 1 đơn vị thì Y tăng 2 % (?)

7.6 Hàm dạng Hypecbol

- Mô hình chi phí trung bình phụ thuộc vào sản lượng: