Mô hình với một biến phụ thuộc với hai hoặc nhiều biến độc lập được gọi là hồi quy bội.. Chúng ta chỉ xem xét hồi quy tuyến tính bội với mô hình tuyến tính với trong tham số, không nhất
Trang 1
BÀI VIẾT
Mô hình hồi quy
bội
Trang 2
Chương I - Nội dung mô hình hồi quy bội
1 Xây dựng mô hình
1.1 Giới thiệu
Mô hình hồi quy hai biến mà chúng ta đã nghiên cứu ở chương 3 thường không đủ khả năng giải thích hành vi của biến phụ thuộc Ở chương 3 chúng ta nói tiêu dùng phụ thuộc vào thu nhập khả dụng, tuy nhiên có nhiều yếu tố khác cũng tác động lên tiêu dùng, ví dụ độ tuổi, mức độ lạc quan vào nền kinh tế, nghề nghiệp… Vì thế chúng ta cần bổ sung thêm biến giải thích(biến độc lập) vào mô hình hồi quy
Mô hình với một biến phụ thuộc với hai hoặc nhiều biến độc lập được gọi là hồi quy bội
Chúng ta chỉ xem xét hồi quy tuyến tính bội với mô hình tuyến tính với trong tham số, không nhất thiết tuyến tính trong biến số
Mô hình hồi quy bội cho tổng thể
i i, k k i,
3 3 i, 2 2
1
Với X2,i, X3,i,…,Xk,i là giá trị các biến độc lập ứng với quan sát i
β2, β2, β3,…, βk là các tham số của hồi quy
εi là sai số của hồi quy
Với một quan sát i, chúng ta xác định giá trị kỳ vọng của Yi
[YX's] 1 2X2i, 3X3i, kXki,(4.2)
1.2.Ý nghĩa của tham số
Các hệ số β được gọi là các hệ số hồi quy riêng
m
X's
Y
β
∂ ⎡⎣ ⎤⎦ =
βk đo lường tác động riêng phần của biến Xm lên Y với điều kiện các biến số khác trong mô hình không đổi Cụ thể hơn nếu các biến khác trong mô hình không đổi, giá trị kỳ vọng của Y sẽ tăng βm đơn vị nếu Xm tăng 1 đơn vị
1.3 Giả định của mô hình
Sử dụng các giả định của mô hình hồi quy hai biến, chúng ta bổ sung thêm giả định sau:
(1) Các biến độc lập của mô hình không có sự phụ thuộc tuyến tính hoàn hảo, nghĩa là không thể tìm được bộ số thực (λ1,λ2, ,λk) sao cho
0 X
X
X2i, 3 3i, k ki,
2
Giả định này còn được được phát biểu là “ không có sự đa cộng tuyến hoàn hảo trong mô hình”
(2) Số quan sát n phải lớn hơn số tham số cần ước lượng k
(3) Biến độc lập Xi phải có sự biến thiên từ quan sát này qua quan sát khác hay Var(Xi)>0
2.Ước lượng tham số của mô hình hồi quy bội
2.1.Hàm hồi quy mẫu và ước lượng tham số theo phương pháp bình phương tối thiểu
Trong thực tế chúng ta thường chỉ có dữ liệu từ mẫu Từ số liệu mẫu chúng ta ước lượng hồi quy tổng thể
Trang 3Hàm hồi quy mẫu
i i, k k i,
3 3 i, 2 2
1
i , k k i,
3 3 i, 2 2 1 i i
i
Với các ˆβm là ước lượng của tham số βm Chúng ta trông đợi là ước lượng không chệch của β
m
ˆβ
m, hơn nữa phải là một ước lượng hiệu quả Với một số giả định chặt chẽ như ở mục 3.3.1 chương 3 và phần bổ sung ở 4.1, thì phương pháp tối thiểu tổng bình phương phần dư cho kết quả ước lượng hiệu quả βm.
Phương pháp bình phương tối thiểu
Chọn β1, β2, …, βk sao cho
n
1
i
i, k k i,
3 3 i, 2 2 1 i
n
1
i
2
∑
=
=
β
−
− β
− β
− β
−
đạt cực tiểu
Điều kiện cực trị của (4.5)
(Y ˆ ˆ X ˆ X ˆ X )X 0 2
e
0 X X ˆ
X ˆ X ˆ ˆ Y 2
e
0 X
ˆ
X ˆ X ˆ ˆ Y 2
e
i, k n
1 i
i, K K i,
3 3 i, 2 2 1 i k
n
1
i
2
i
i, 2 n
1
2
n
1
i
2
i
n
1 i
i, K K i,
3 3 i, 2 2 1 i 1
n
1
i
2
i
= β
−
− β
− β
− β
−
−
=
β
∂
∂
= β
−
− β
− β
− β
−
−
=
β
∂
∂
= β
−
− β
− β
− β
−
−
=
β
∂
∂
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
(4.6)
Hệ phương trình (4.6) được gọi là hệ phương trình chuẩn của hồi quy mẫu (4.4) Cách giải hệ phương trình (4.4) gọn gàng nhất là dùng ma trận Do giới hạn của chương trình, bài giảng này không trình bày thuật toán ma trận mà chỉ trình bày kết quả tính toán cho hồi quy bội đơn giản nhất là hồi quy ba biến với hai biến độc lập Một số tính chất của hồi quy ta thấy được ở hồi quy hai biến độc lập có thể áp dụng cho hồi quy bội tổng quát
2.2.Ước lượng tham số cho mô hình hồi quy ba biến
Hàm hồi quy tổng thể
i i, 3 3 i, 2 2
1
Hàm hồi quy mẫu
i(4.8) i,
3 3 i, 2 2
1
Yˆ =β +β +β +
Nhắc lại các giả định
(1) Kỳ vọng của sai số hồi quy bằng 0: E(eiX2i,, X3i,)= 0
(2) Không tự tương quan: cov(ei, ej)= 0, i≠j
i
e var =σ
(4) Không có tương quan giữa sai số và từng Xm: cov(ei, X2i,)= cov(ei, X3i,)= 0
(5) Không có sự đa cộng tuyến hoàn hảo giữa X2 và X3
Trang 4(6) Dạng hàm của mô hình được xác định một cách đúng đắn
hận được ước
Với các giả định này, dùng phương pháp bình phương tối thiểu ta n
lượng các hệ số như sau
3 3 2
2
ˆ = −β −β
2 n
1
i 2i, 3i,
n 1 i 2 n
1 i
2
n 1 i
i, 3 i, 2 n
1 i
i, 3 i n
1 i 2 n
1
i
i, 2
i
2
x x x
x
x x x
y x
x
y
ˆ
i 3 i
2
i 3
⎟
⎠
⎞
⎜
⎝
⎛
−
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
−
⎟
⎠
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
=
β
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
2 n
1 i
i, 3 i, 2 n
1 i 2 n
1 i
2
n 1 i
i, 3 i, 2 n
1 i
i, 2 i n
1 i 2 n
1
i
i, 3
i
3
x x x
x
x x x
y x
x
y
ˆ
i 3 i
2
i 2
⎟
⎠
⎞
⎜
⎝
⎛
−
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
−
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
=
β
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
2.3 Phân phối của ước lượng tham số
ến phân phối của các hệ số ước lựơng
và ˆβ3 Hơn nữa vì sự tương tự trong công thức xác định các hệ số ước lượng nên chúng ta chỉ khảo sát ˆβ2 Ở đây chỉ trình bày kết quả1
2
ˆβ là một ước lượng không chệch : E( )β ˆ 2 = β 2(4.13)
2 n
1 i
i, 3 i, 2 n
1 i
2 i, 3 n
1
i
2 i, 2
n 1 i
2 i, 3
x
∑
2
x x x
x
ˆ
⎟
⎠
⎞
⎜
⎝
⎛
−
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
=
β
∑
∑
∑
=
=
=
Nhắc lại hệ số tương quan giữa X2 và X3 :
⎟
⎠
⎞
⎜
⎝
⎛
⎟
⎠
⎞
⎜
⎝
⎛
=
∑
∑
∑
=
=
=
n 1 i
2 i, 3 n
1 i
2 i, 2
n 1 i
i, 3 i, 2 X
X
x x
x x r
3 2
Đặt rX2X3= r23 biến đổi đại số (4.14) ta được
( )
( 2 ) 2
n
2
1 ˆ
23 1
i 2i,
2
r 1
=
∑
=
ừ các biểu thức (4.13) và (4.15) chúng ta có thể rút ra một số kết luận như sau:
T
23
( )ˆ 2
var β vô cùng lớn hay ta không thể xác định được hệ số của mô hình hồi quy
yến tính cao thì ước lượng ˆβ2 vẫn không chệch nhưng không hiệu quả quan tu
ng n
Nhữ hận định trên đúng cho cả hồi quy nhiều hơn ba biến
3 R2 và 2
R
Trang 5
Nh lại ắc khái niệm về R2:
TSS
RSS 1
ESS
TSS
Một mô hình có R2lớn thì tổng bình phương sai số dự báo nhỏ hay nói cách khác
độ phù hợp của mô hình đối với dữ liệu càng lớn Tuy nhiên một tính chất đặc trưng quan trọng a là nó có xu hướng tăng khi số biến giải thích trong mô hình tăng lên Nếu chỉ đơn thuần chọn tiêu chí là chọn mô hình có 2
củ
R cao, người ta có
xu hướng đưa rất nhiều biến độc lập vào mô hình trong khi tác động riêng phần của các biến đưa vào đối với biến phụ thuộc không có ý nghĩa th g kê
Để hiệu chỉnh phạt việc đưa thêm biến vào mô hình, người ra đưa ra trị thống kê 2
ốn
R hiệu chỉnh(Adjusted R2 )2
k n
1 n ) R
1
(
2
−
−
−
=
v
(4.16) Với n là số quan sát và k là số hệ số cần ước lượng trong mô hình
ả năng giải
nh giải thích khi toàn bộ
ệ số đồng thời bằng không
Qua thao tác hiệu chỉnh này thì chỉ những biến thực sự làm tăng kh
thích của mô hình mới xứng đáng được đưa vào mô hình
4 Kiểm định mức ý nghĩa chung của mô hình
Trong hồi quy bội, mô hình được cho là không có sức mạ
các hệ số hồi quy riêng phần đều bằng không
Giả thiết
H0: β2 = β
H : Không3
= … = βk = 0
Trị thống kê kiểm định H0:
) k n , 1 k (
F
~ 1)
-(k
SS
E
F=
k)
-(n
SS
Quy tắc quyết định
tt > F(k-1,n-k,α) thì bác bỏ H0
uan hệ giữ
5.Q a R 2 và F
) k n ( ) R 1 (
) 1 k ( R )
R 1 )(
1 k (
R ) k n ( E
1
)(
1
k
(
E
)
k
n
(
E TSS )(
1 k (
E ) k n ( E
) k n ( ) 1
k
(
E
) k
n
(
RSS
2
2 2
2
−
−
−
=
−
−
−
=
−
−
−
=
−
−
−
=
−
SS/TSS) SS/TSS
SS)
SS 1)RSS
-(k
S
6 Ước lượng khoảng và kiểm định giả thiết thống kê cho hệ số hồi quy
Ước lượng phương sai của sai số
e2
i
∑n
k
n
s2 i 1
−
= =
Người ta chứng minh được là ước lượng không chệch của σsε2 2, hay E( )s 2ε = σ 2
Trang 6
2 ) k n ( 2
2
~ s ) k n (
−
σ
−
Ký hiệu
m
ˆ
m)=sβ =σˆβ
e
m
t
~ ) ˆ e
m m
ˆ −β β
Ước lượng khoảng cho β với mức ý nghĩa α là
(4.18)
n lên Y
1 m
Quy tắc quyết định
-stat/≤ t(n-k,α/2) thì ta không thể bác bỏ H0
loại (Biến giả-Dummy variable)
ô hình hồi quy mà chúng ta đã khảo sát từ đầu chương 3 đến đây đều
p và biến phụ thuộc đều là biến định lượng Thực ra mô hình
y có biến định tính
m
ˆ e s t
ˆ )
ˆ e s t
ˆ
m ) 2 / 1 , k n ( m m m ) 2
/
1
,
k
n
(
riêng phầ
H0 : βm = 0
H : β ≠ 0
¾ Nếu /t-stat/ > t(n-k,α/2) thì ta bác bỏ H0
7 Biến phân
Trong các m
dựa trên biến độc lậ
Trong phần này chúng ta khảo sát mô hình hồi qu
Đối với biến định tính chỉ có thể phân lớp, một quan sát chỉ có thể rơi vào một lớp Một số biến định tính có hai lớp như:
Bảng 4.1 Biế
n định lượng và một biến phân loại
ng/năm
hác biệt trong tiêu dùng gạo giữa thành thị và
t quy mô hộ gia đình Xi xác định
n nhị phân
7.1 Hồi quy với một biế
Ví dụ 4.1 Ở ví dụ này chúng ta hồi quy tiêu dùng cho gạo theo quy mô hộ có xem
xét hộ đó ở thành thị hay nông thôn
Mô hình kinh tế lượng như sau:
Y = β + β X + β D + εi(4.19)Y: Chi tiêu cho gạo, ngàn đồi 1 2 i 3 i
X : Quy mô hộ gia đình, người
D: Biến phân loại, D = 1 nếu hộ ở thành thị, bằng D = 0 nếu hộ ở nông thôn
Chúng ta muốn xem xét xem có sự k
nông thôn hay không ứng với mộ
Đối với hộ ở nông thôn
[Y X ,D 0] X
E i i i = =β1+β2 i(4.20)
Đối với hộ ở thành thị
Trang 7[YiXi,Di 1] ( 1 3) 2Xi
Vậy sự chênh lệch trong tiêu dùng gạo giữa thành thị và nông thôn như sau
[ ] [ i 0] 3
ùng gạo gi
i i i
i
khi β3 khác không có ý nghĩa thống kê
t-stat [0,5] [6,4] [-2,2]
2
iữa thành thị và nông thôn
gốc của phuơng trình hồi quy của
au một khoảng β3 = -557 ngàn đồng/năm Cụ thể
hộ gia đình thì hộ ở thành thị tiêu dùng gạo ít hơn hộ ở nông ng/năm
E
kê
i quy nh
Y = 187 + 508*X - 557*D (4.23)
R hiệu chỉnh = 0,61
Hệ số hồi quy βˆ3 =−557 khác không với độ tin cậy 95% Vậy chúng ta không thể bác bỏ được sự khác biệt trong tiêu dùng gạo g
o tung độ Chúng ta sẽ thấy tác động của làm ch
thành thị và nông thôn sai biệt nh
ứng với một quy mô
sau:
0
1000
2000
3000
6000
Nông thôn Thành thị Hồi quy nông thôn
4000
5000
0 1 2 3 4 5 6 7 8 9
Quy mô hộ gia đình (Người)
Hồi quy thành thị
Hình 4.1 Hồi quy với một biến định lượng và một biến phân loại
7.2 Hồi quy với một biến định lượng và một biến phân loại có nhiều hơn hai phân lớp
Ví dụ 4.2 Giả sử chúng ta muốn ước lượng tiền lương được quyết định bởi số năm
kinh nghiệm công tác và trình độ học vấn như thế nào
Gọi Y : Tiền lương
sau đại học
đại học đại học
X : Số năm kinh nghiệm
D: Học vấn Giả sử chúng ta phân loại học vấn như sau : chưa tốt nghiệp đại học, đại học và
Phuơng án 1:
Di = 0 nếu chưa tốt nghiệp đại học
Di = 1 nếu tốt nghiệp
Di =2 nếu có trình độ sau
Trang 8Cách đặt biến này đưa ra giả định quá mạnh là phần đóng góp của học vấn vào tiền lương của người có trình độ sau đại học lớn gấp hai lần đóng góp của học vấn đối
nh độ đại học Mục tiêu của chúng ta khi đưa ra biến D chỉ là phân
ày
εi(4.24)
ô hình (4.24) như sau
a tốt nghiệp đại học
β X (4.25)
ó trình độ đại học
β X (4.26)
iSố biến giả
ố biến giả đúng bằng số phân lớp?
như sau
+εi(4.28)
ng Excel
Coefficients
Standard
với người có trì
loại nên ta không chọn phương án n
Phương án 2: Đặt bộ biến giả
D1iD2i Học vấn
00 Chưa đại học
10 Đại học
01 Sau đại học
Mô hình hồi quy
Yi = β1 + β2X + β3D1i + β4D2i +
Khai triển của m
Đối với người chư
E(Yi )= β1 + 2
Đối với người c
E(Yi )= (β1 + β3)+ 2 3
Đối với người có trình độ sau đại học
E(Y )= (β + β + β )+ β X (4.27) i 1 3 4 2
7.3 Cái bẩy của biến giả
Số lớp của biến phân loạ
Trong ví dụ 4.1 21
Trong ví dụ 4.232
Điều gì xảy ra nếu chúng ta xây dựng s
Ví dụ 4.3 Xét lại ví dụ 4.1
Giả sử chúng ta đặt biến giả
D1iD2iVùng
10Thành thị
01Nông thôn
Mô hình hồi quy là
Yi = β1 + β2X i+ β3D1i + β4D2i
Chúng ta hãy xem kết quả hồi quy bằ
D2 -2048 0
D1i + D2i
ng tuyến hoàn
hoàn toàn k hảo giữ
ó ý ng
và một bi
ế
hằng X2 + X2 = 0 ∀i
Quy tắc: Nếu một biến phân loại có k lớp thì chỉ sử dụng (k-1) biến giả
7.4 Hồi quy với nhiều biến phân loại
Trang 9Ví dụ 4.4 Tiếp tục ví dụ 4.2 Chúng ta muốn khảo sát thêm có sự phân biệt đối xử
cho chưa
+ β ĐHi + β4SĐHi +β5GTi+ εi(4.29)
độ sau đại học 0)= (β + β )+ β2KNi
đình.Để cho
au
hị và bằng 0 nếu hộ ở nông thôn
thể xảy ra như sau
= β = b
g
≠ β , hay có sự khác biệt về độ dốc c(DX)
DX = 0 nếu D = 0 α
có sự khác biệt hoàn toàn về cả tung độ gốc và độ dốc
trong mức lương giữa nam và nữ hay không
Đặt thêm biến và đặt lại tên biến
GTi: Giới tính, 0 cho nữ và 1 cho nam
TL : Tiền lương
KN: Số năm kinh nghiệm làm việc
ĐH: Bằng 1 nếu tốt nghiệp đại học và 0 cho chưa tốt nghiệp đại học
SĐH: Bằng 1 nếu có trình độ sau đại học và 0
Mô hình hồi quy TLi = β1 + β2KNi 3
Chúng ta xét tiền lương của nữ có trình
7.5 Biến tương tác
Xét lại ví dụ 4.1 Xét quan hệ giữa tiêu dùng gạo và quy mô hộ gia
đơn giản trong trình bày chúng ta sử dụng hàm toán như s
Nông thôn: Y = α1 + β1X
Thành thị: Y = α2 + β2X
D : Biến phân loại, bằng 1 nếu hộ ở thành t
Có bốn trường hợp có
(1) α1=α2 và β1= β2, hay không có sự khác biệt trong tiêu dùng gạo giữa thành thị và nông thôn
Mô hình : Y = a + b X
Trong đó α1=α2 = a và β1 2
Mô hình: Y = a + bX + cD
≠α và β = β , hay có sự khác biệt về tung độ gốc
Tron đó α1 = a, α2 = a + c và β1 = β2 = b
(3) α =α và β1 2 1 2
Mô hình: Y = a + bX +
Trong đó DX = X nếu nếu D =1 và
α = = a , β = b và β = b + c 1 2 1 2
(4) α ≠α và β ≠ β , hay1 2 1 2
Mô hình: Y = a + bX + cD + d(DX)
α = a , α = a + c, β = b và β1 2 1 2 = b + d
Trang 10Quy mô hộ, X
a Mô hình đồng nhất
α1=α2
β1 = β2
Tiêu dùng gạo, Y
Tiêu dùng gạo, Y
Quy mô hộ, X
b Mô hình song song
α
α
β1 = β2
Quy mô hộ, X
d Mô hình phân biệt Tiêu dùng gạo, Y
Tiêu dùng gạo, Y
α1=α2
β1
β2
1
α α
β1
β2
Quy mô hộ X
c Mô hình đồng quy
Hình 4.2 Các mô hình hồi quy
Biến DX được xây dựng như trên được gọi là biến tương tác Tổng quát nếu Xp là một biến định lượng và Dq là một biến giả thì XpDq là một biến tương tác Một mô hình hồi quy tuyến tổng quát có thể có nhiều biến định lượng, nhiều biến định tính
và một số biến tương tác
Trang 11Chương II - Phương pháp lập mô hình , phân tích và dự báo hiện tượng
kinh tế bằng Eviews
Bảng dưới đây cho các giá trị quan sát về thu nhập (Y-USD/đầu người ), tỉ lệ lao động nông nghiệp (X1 - %) và số năm trung bình được đào tạo đối với những người trên 25 tuổi (X2 – năm )
6 9 8
8 10 13
8 8 11
7 7 10
7 10 12
12 4 16
9 5 10
8 5 10
9 6 12
10 8 14
10 7 12
11 4 16
9 9 14
10 5 10
11 8 12 Khởi động Eviews , từ cửa sổ Eviews chọn File – New – Workfile
Hộp thoại mở Workfiel như sau :
Trang 12Trong Workfile Range ta chọn Undated or irregular Trong phần Range : Start
date nhập 1 và End date nhập 15 Sau đó click Ok cửa sổ mới sẽ xuất hiện là
Workfile Untitled
Để nhập dữ liệu , từ cửa sổ Eview chọn Quick/Empty group, một cửa sổ sẽ xuất
hiện với tên Group: Untitled –Workfile : Untitled Sau đó nhập số liệu của 3 biến
và lưu tên là Group 1
1) Tìm hàm hồi quy tuyến tính mẫu của Y theo X 1 và X 2
Từ cửa sổ Eviews chọn Quick rồi chọn tiếp Estimate Equation Sau khi nhấp
chuột chọn Estimate Equation , màn hình sẽ xuất hiện cửa sổ Equation
Specification Trong khung Equation Specification gõ Y c X1 X2 Gõ xong
lệnh này thì cửa sổ như sau :
Trang 13nhấp Ok , kết quả phân tích hồi quy sẽ xuất hiện như sau :
Từ kết quả trên ta biết được các hệ số hồi quy :
0
ˆ
β = 6.20298 , βˆ1 = -0.376164 , βˆ2= 0.452514
từ cửa sổ Equation : Untitled Workfile : Untiled ta chọn View Representations Một cửa sổ mới xuất hiện là