Bài giảng Kinh tế lượng Chương 2: Mô hình hồi quy tuyến tính bội

Mục tiêu chính của chương 2 Mô hình hồi quy tuyến tính bội thuộc bài giảng Kinh tế lượng trình bày về các nội dung lần lượt như sau: khái niệm mô hình hồi qui bội, mô hình hồi qui tổng thể theo dạng thông thường, mô hình hồi qui bội đối với tổng thể, mô hình hồi qui bội đối với một mẫu.

tham số giải thích của mô hình

biến nội suy

biến ngoại suy

biến ngẫu nhiên

E( ) Var( )

tham số ẩn của mô hình

i ki

k i

Mô hình hồi qui tổng thể Mô hình hồi qui mẫu

Mô hình hồi qui bội

Mô hình hồi qui bội là mô hình trong đó biến phụ thuộc phụ thuộc vào ít nhất hai biến giải thích.

Mô hình hồi quy tuyến tính bội

Dạng biểu thức đầu tiên của mô hình :

y : biến mà giá trị quan sát là y i

i, i = 1, ,n,

x ki : biến mà giá trị quan sát là x it

b1, b2, ,bklà những tham số chưa biết

i : sai số

với i = 1, ,n

i ki

k i

i

y  b ˆ1  b ˆ2 2  b ˆ3 3   b ˆ  

Hay

Hay được biểu diễn một cách tường minh như sau

Giả sử ta có n quan sát và mỗi quan sát gồm k trị số (Yi,X2i Xki)

Mô hình hồi qui tổng thể theo dạng

thông thường

n i

X X

X Y

n i

X X

k k

X X

Y

X X

Y

X X

Y

 b

b b

 b

b b

 b

b b

222

12

11

212

11

Mô hình hồi qui bội đối với tổng thể

Mô hình hai

biến

Đáp số b 1

Y i =b 1 + b 2 X 2i + b 3 X 3i +  i Y

X 3

 i

Mô hình hồi qui bội đối với một

mẫu

i i

Ví dụ :

Mô hình hồi quy tuyến tính bội

Dạng biểu thức thứ hai của mô hình :

i

kn n

n

ki i

i

k k

n

i

x x

x

x x

x

x x

x

x x

x

X

y y

y y

bb

b

;

2

1 2

1

3 2

3 2

2 32

22

1 31

21 2

1

  , 1 n , k      k , 1 n , 1

X n

! Có thể nói những vec tơ và ma trận của mô hình là những biến.

Về nguyên tắc chung, X pt = 1, t, t=1, ,T biến X k là hằng số.

ước lượng tham số b 1 , b 2 ,…b k có thể được thực hiện bằng phương pháp BPBN

Mô hình hồi quy tuyến tính bội

Nguyên tắc hình học của phương pháp bình phương tối thiểu

giả thiết của mô hình

[H1] : X 1 ,…X k là những biến được đo chính xác, có nghiã là quan sát không sai số.

[H2] : t, t=1, ,T, t là một biến ngẫu nhiên là kỳ vọng toán học E( ) = 0 và

phương sai Var( ) =  2 ()

[H3] : i, i ’, i¹i ’, i và  i’ là những biến ngẫu nhiên độc lập về xác suất

[H4] : i, i tuân theo quy luật phân phối chuẩn, Sai số tuân theo N(0, 2)

[H6] : đầu tiên ta không có tý thông tin nào về những tham số b 1 , b 2 ,…, bk

Mô hình hồi quy tuyến tính bội

[H5]1/n(X’X)->M ở đây M là ma trận không suy biến

STT Theo dạng thông thường Theo dạng ma trận

cộng tuyến

Không có đa cộng tuyến, tức hạng của ma trận X bằng khác nhau

Các giả thiết cho mô hình hồi

qui tuyến tính cổ điển

Giả thiết 1

0 0

0 0

) (

) (

) ( )

12

Phương sai của các sai sô

Hiệp phương sai của các sai

Ma trận hiệp phương sai của sai số

I Var

Cov Cov

Cov Var

Cov

Cov Cov

Var

n n

1

2

2 2 2

1

1 2

1

2 1

) ( )

( )

(

) (

) ( )

(

) (

) (

) (

Hiệp

phương

sai

Phương sai

) (

) (

) (

) (

) (

) (

) (

) (

) (

22

1

2

222

1

12

1

21'

n n

n

n n

E E

E

E E

E

E E

E E

2

2 2 2

1

1 2

1

2 1

2 1 2

1 '

) (

) (

n n

n

n n n

n

E u

u u E

( )

(

) (

) ( )

(

) (

) (

) ( )

(

2 2

1

2

2 2 2

1

1 2

1

2 1 '

n n

n

n n

E E

E

E E

E

E E

E E

0

0 0

1 0

0

0 0

( )

(

) (

) ( )

(

) (

) (

) ( )

(

2 2

1

2

2 2 2

1

1 2

1

2 1 '

n n

n

n n

E E

E

E E

E

E E

E E

Hậu quả của những giả thiết

Vecteur kỳ vọng

toán hoặc trung bình

Vecteur ngẫu nhiên  là một vecteur tuân theo phân phối chuẩn, và :

ma trận hiệp phương sai

Y là một vecteur ngẫu nhiên tuân theo

Mô hình hồi quy tuyến tính bội

ước lượng những tham số

e Mine e

ước lượng những tham số - 2

Kết quả của phương pháp bình phương tối thiểu

Ước lượng bằng phương pháp bình phương tối thiểu :

Người ta chứng minh :

có phương sai nhỏ nhât : đó là ước lượng BLUE (Best Linear Unbiased Estimator)

là một đó là ước lượng hội tụ của b

nhưng  2 ( ) là chưa biết

Ví dụ :

Model fitting results for: EXECO.Investment

Independent variable coefficient std error t-value sig.level - CONSTANT 357.188693 42.733747 8.3585 0.0000 EXECO.GNP 0.689021 0.064034 10.7602 0.0000 EXECO.CPI -9.548226 1.137803 -8.3918 0.0000 EXECO.Rate -4.211399 2.296132 -1.8341 0.0938 - R-SQ (ADJ.) = 0.9908 SE= 11.289098 MAE= 8.200200 DurbWat= 1.917

-ước lượng những tham số

Mô hình hồi quy tuyến tính bội

ước lượng những tham số - 3

ước lượng  2 ()

Từ ước lượng a, ta có thể tính được ước lượng Y :

Sai số có thể được ước lượng bởi :

Từ đó có thể ước lượng được:

Y

e   ˆ   

   e n i 

e E

i

n i

1



 I X X X X  e e

2 1

ne

ước lượng những tham số - 4

ước lượng có thể bởi ước lượng 2( ) và bởi công thức

ước lượng không chệch của ma trận hiệp phương sai

ước lượng những tham số - 5

Quy luật phân phối xác suất

Theo giả thiết [H4], ta có :

b b

b

2 1

Mô hình hồi quy tuyến tính bội

 i i 

b

 b

ước lượng những tham số - 6

Luật phân phối đã biết Tính Khoảng tin cậy

Khoảng tin cậy đối với b i

Khoảng tin cậy đối với  2 ()

Mô hình hồi quy tuyến tính bội

 i t i i t i 

ba

k n

Ví dụ :

95 percent confidence intervals for coefficient estimates

Estimate Standard error Lower Limit Upper Limit CONSTANT 357.189 42.7337 263.108 451.270 EXECO.GNP 0.68902 0.06403 0.54805 0.83000 EXECO.CPI -9.54823 1.13780 -12.0532 -7.04328 EXECO.Rate -4.21140 2.29613 -9.26648 0.84368 -

-Mô hình hồi quy tuyến tính bội

kiểm định giả thiết - 1

Kiểm định giả thiết về b

Coefficients a

70015,462 5900,669 11,866 ,000 72,500 2,880 ,716 25,172 ,000 ,995 1,005 -1657,031 108,867 -,433 -15,221 ,000 ,995 1,005

Beta

Standardi zed Coefficien ts

t Sig Tolerance VIF

Định nghĩa

0  R 2  1

R 2  1 : phương sai của biến x được giải thích hoàn toàn bởi mô hình

R 2  0 : phương sai của biến x không được giải thích hoàn toàn bởi mô hình

Kiểm định độ phù hợp của mô hình

R

1

2 1

2 2

y y

t

t i

kiểm định giả thiết - 2

Kiểm định độ phù hợp của mô hình

Test (H 0 ) : b 2 = b 3 = … = bk =0 đối nghịch với (H 1 ) $ i, i=1,…,k, b i  0

hệ số tương quan tuyến tính bội là giá trị quan sát của biến

n i i y y

e R

1

2 1

2 2

Analysis of Variance for the Full Regression

Source Sum of Squares DF Mean Square F-Ratio P-value - Model 192158 3 64052.6 502.595 0.0000 Error 1401.88 11 127.444

Total (Corr.) 193560 14

-R-squared = 0.992757 Stnd error of est = 11.2891 R-squared (Adj for d.f.) = 0.990782 Durbin-Watson statistic = 1.91719

1

Sum of

Predictors: (Constant), age, surface

kiểm định giả thiết - 3

Kiẻm định sự phù hợp của mô hình

Ví dụ về hồi qui bội

dự báo - 1

vì dữ liệu những giá trị, được giả sử đã biết, những biến ngoại suy đối với một giá trị q t.

người ta có thể dự đoán giá trị tương ứng X?

Soit : biến ngẫu nhiên dùng để dự đoán la

Dự báo

Phân tích số dư cho phép xác định :

Tư đó ta có thể tính được khoảng cách dự báo

mô hình hồi quy tuyến tính bội