Lý thuyết hàm hồi qui đa biến

1 Hàm hồi quy đa biến TS Nguyễn Minh Đức 2009 n Ý nghĩa của hệ số hồi quy n Giả định 1. Mô hình hồi qui tuyến tính 2. Giá trị kì vọng của biến số ngẫu nhiên=0 3. Phương sai của biến số ngẫu nhiên không đổi (Homoscedasticity ) 4. Không có hiện tượng tự tương quan giữa các biến số ngẫu nhiên 5. Không có tương quan giữa ui và Xi 6. Số quan sát phải lớn hơn số lượng tham số 7. Mô hình hồi qui được giả định là chính xác 8. Không có tương quan tuyến tính chính xác giữa các biến độc lập 9. Biến độc lập Xi phải có sự biến thiên iiii uXXY + + + = 33221 β β β 2 TS Nguyễn Minh Đức 2009 n Phương pháp bình phương tối thiểu ikik i ii eXXXY +++++= ββββ ˆ ˆ ˆ ˆ 33221 ( ) 2 1 33221 1 2 ˆ ˆˆˆ ∑∑ == −−−−−= n i kikiii n i i XXXYe ββββ ( ) ( ) ( ) 0 ˆ ˆˆˆ 2 0 ˆ ˆˆˆ 2 0 ˆ ˆˆˆ 2 1 ,,33,221 1 2 ,2 1 ,,33,221 2 1 2 1 ,,33,221 1 1 2 =−−−−−−= ∂ ∂ =−−−−−−= ∂ ∂ =−−−−−−= ∂ ∂ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = ki n i iKKiii k n i i i n i iKKiii n i i n i iKKiii n i i XXXXY e XXXXY e XXXY e ββββ β ββββ β ββββ β TS Nguyễn Minh Đức 2009 n Kết quả: 33221 X ˆ X ˆ Y ˆ β−β−=β 2 n 1i i,3i,2 n 1i 2 n 1i 2 n 1i i,3i,2 n 1i i,3i n 1i 2 n 1i i,2i 2 xxxx xxxyxxy ˆ i,3i,2 i,3       −                         −             =β ∑∑∑ ∑∑∑∑ === ==== 2 n 1i i,3i,2 n 1i 2 n 1i 2 n 1i i,3i,2 n 1i i,2i n 1i 2 n 1i i,3i 3 xxxx xxxyxxy ˆ i,3i,2 i,2       −                         −             =β ∑∑∑ ∑∑∑∑ === ==== 3 TS Nguyễn Minh Đức 2009 TSS RSS 1 TSS ESS R 2 −== k n 1n )R1(1R 22 − − −−= v Phân phối của ước lượng tham số )var()( ^^ kk se ββ =             = ∑∑ ∑ == = n 1i 2 i,3 n 1i 2 i,2 n 1i i,3i,2 XX xx xx r 32 ( ) 2 2 n 1i i,3i,2 n 1i 2 i,3 n 1i 2 i,2 n 1i 2 i,3 2 xxxx x ˆ var σ       −             =β ∑∑∑ ∑ === = Quan hệ giữa R 2 và F )( )1( )1( )1)(1( )( )( )1( SS 2 2 2 2 kn R k R Rk Rkn kn RSS k E F − − − = −− − = − − = TS Nguyễn Minh Đức 2009 ( ) ( ) 2 2 23 n 1i 2 i,2 2 r1x 1 ˆ var σ − =β ∑ = Nếu r 2 23 = 0, phương sai của hệ số ước lượng β2 của hàm hồi quy đa biến và hồi quy đơn là giống nhau Nếu X 2 và X 3 có tương quan tuyến tính hoàn hảo thì r 2 23 =1, phương sai của hệ số ước lượng β 2 vô cùng lớn Nếu X 2 và X 3 tương quan tuyến tính cao, nhưng không hoàn hảo thì hệ số ước lượng β 2 là không chệch nhưng không hiệu quả 2 1 32 1 2 3 1 2 2 1 32 1 3 1 2 3 1 2 22 ˆ       −                         −             += ∑∑∑ ∑∑∑∑ === ==== n i ii n i i n i i n i ii n i ii n i i n i ii xxxx xxxxx εε ββ 4 TS Nguyễn Minh Đức 2009 Không chệch 2 ^ 2 )( ββ =E Khi thay đổi của giá trị biến hồi qui càng lớn so với giá trị trung bình của nó thì phương sai hệ số ước lượng càng nhỏ, tham số ước lượng càng chính xác. Thông thường biến đổi của biến hồi qui càng lớn khi cỡ mẫu (số quan sát) của chuỗi dữ liệu càng lớn. Cóthể giải thích điều này bằng đồ thị hàm mật độ xác xuất. Như vậy số quan sát nào là đủ lớn cho một bộ dữ liệu? TS Nguyễn Minh Đức 2009 Kiểm định mức ý nghĩa chung của mô hình H 0 : β 2 = β 3 = β 4 … = β k = 0 hay R 2 =0 H 1 : Không phải tất cả các hệ số đồng thời =0 F* > F (k-1,n-k,α) thì bác bỏ H 0 F* ≤ F (k-1,n-k,α) thì không thể bác bỏ H 0 ),1( 2 2 ~ )1)(1( )( k)-(n SS 1)-(k SS knk F kR knR R E F −− −− − == 5 TS Nguyễn Minh Đức 2009 Kiểm định giả thuyết về hệ số hồi quy )(~ )( ^^ ^ * knt se t k kk − − = β ββ Kiểm định giả thuyết về phương sai của sai số ) ˆ (e.st ˆ ) ˆ (e.st ˆ m)2/1,kn(mmm)2/1,kn(m β+β≤β≤β−β α−−α−− Ước lượng phương sai của sai số k n e s n 1i 2 i 2 − = ∑ = ε 2 s ε là ước lượng không chệch của σ 2 , hay ( ) 22 sE σ= ε TS Nguyễn Minh Đức 2009 2 0 2 δδ ≠ H 0 : H 1 : 2 0 ^ 2 2 )( δ δ χ kn o − = )()( 2 2/1 2 2 2/ knkn o −− − αα χχχ pp 2 0 2 δδ = Kiểm định Wald (U) (R) H 0 : β m =…= β k-1 =0 H 1 : có ít nhất một β j ≠0 uXXXXXY kkmmmm ++++++++= −−−− 111122110 ββββββ vXXXY mm +++++= −− 1122110 ββββ 6 TS Nguyễn Minh Đức 2009 n Hồi quy mô hình không bị ràng buộc (U), k tham số, RSS(U) có (n-k) bậc tự do n Hồi quy mô hình (R), m tham số, RSS(R) có (n-m) bậc tự do n Nếu F W > F α (k-m, n-k): bác bỏ H 0 n Kiểm định Wald thường được sử dụng khi kiểm định tổ hợp tuyến tính, kiểm định thừa biến… n Kiểm định tổ hợp tuyến tính về hệ số hồi quy ),( 2 2 2 ~ ))(1( )( )/( )/()( knmk U RU U UR W F knR mkRR knRSS mkRSSRSS F −− −− −− = − −− = (U) uXXY + + + = 22110 β β β H 0 : β 1 = β 2 H 1 : β 1 ≠ β 2 TS Nguyễn Minh Đức 2009 n Cách 1: Kiểm định Wald uZuXXY ++=+++= 102110 )( ββββ )3,1( 2 2 2 ~ )3)(1( )23( − −− −− = n U RU W F nR RR F Cách 2: Kiểm định t gián tiếp đặt δ=β 1 - β 2 ; H 0 : β 1 = β 2 ; H 0 : δ=0 uXXXuXXY + − + + = + − + + = 2211021110 )()( δ β β δ β β β uXZY +−+= 210 δββ 3 ^^ ^ * ~ )( 0 − − = n t se t δ δ 7 TS Nguyễn Minh Đức 2009 n Cách 3: Kiểm định t trực tiếp )()( 0 ^ 2 ^ 1 ^ ^ 2 ^ 1 ^^ ^ * ββ ββ δ δ − − = − = sese t )(var)( ^ 2 ^ 1 ^^ 2 ^ 1 ^ ββββ −=−se ),cov(2)(var)(var)(var ^ 2 ^ 1 ^ 2 ^^ 1 ^^ 2 ^ 1 ^ ββββββ −+=− TS Nguyễn Minh Đức 2009 Hàm hồi qui với biến giả n Trong phân tích hồi qui biến giả thường được sử dụng cho những biến định tính: nam, nữ, việc thích hay không thích, tôn giáo, tốt nghiệp đại học hay chưa, sống ở thành thị hay nông thôn, màu da, quốc tịch n Những biến định tính này có thể được lượng hóa là 0, 1hoặc trong khoảng 1-9 n Y i = b 1 + b 2 X i + b 3 D i + e i Cách xây dựng biến giả: Ví dụ: xem ảnh hưởng của trình độ đối với lương của giáo viên n Cách 1: D = 0: nếu là cử nhân, thuộc tính cơ sở D=1: nếu là thạc sĩ Y = b 1 + b 2 D + u n b 1 lương trung bình của giáo viên có trình độ cử nhân n (b 1 + b 2 ) lương trung bình của giáo viên có trình độ thạc sĩ 8 TS Nguyễn Minh Đức 2009 n Nếu biến giả có n thuộc tính, có (n-1) biến giả n Giả sử: có 3 mức độ về trình độ giáo viên (cử nhân, thạc sĩ, tiến sĩ) Y = b 1 + b 2 D 1 + b 3 D 2 + u n b 1 lương trung bình của giáo viên có trình độ cử nhân n (b 1 + b 2 ) lương trung bình của giáo viên có trình độ thạc sĩ n (b 1 + b 3 ) lương trung bình của giáo viên có trình độ tiến sĩ n b 2 chênh lệch giữa mức lương của giáo viên có trình độ cử nhân và thạc sĩ n b 3 chênh lệch giữa mức lương của giáo viên có trình độ cử nhân và tiến sĩ TS Nguyễn Minh Đức 2009 kỹ thuật sử dụng biến giả n Y = b 1 + b 2 X+ b 3 D + u Y: lương của giáo viên X: số năm giảng dạy D: giới tính (nam=1, nữ=0) Dịch chuyển số hạng tung độ gốc: lương khởi điểm của giáo viên nam và nữ khác nhau nhưng tốc độ tăng lương theo số năm giảng dạy là như nhau n PRF: Y = b 1 + b 2 X+ b 3 D + u n SRF: nữ: Y = β 1 + β 2 X n nam: Y = β 1 + β 2 X+ β 3 n Kiểm định giả thuyết H 0 : β 3 =0 Dịch chuyển số hạng độ dốc: lương khởi điểm là như nhau nhưng tốc độ tăng khác nhau PRF: Y = b 1 + b 2 X+ b3(D.X) + u (D.X): bi ến tương tác SRF: nữ: Y = β 1 + β 2 X n nam: Y = β 1 + β 2 X+ β 3 X= β 1 + (β 2 + β 3 )X n Kiểm định giả thuyết H 0 : β 3 =0 9 TS Nguyễn Minh Đức 2009 Dịch chuyển số hạng độ dốc và số hạng tung độ gốc: lương khởi điểm khác nhau và tốc độ tăng lương khác nhau n PRF: Y = b 1 + b 2 X+ b 3 D + b 4 (D.X) + u n SRF: nữ: Y = β 1 + β 2 X n nam: Y = (β 1 + β 3 ) + (β 2 + β 4 ) X n Kiểm định giả thuyết H 0 : β 3 = β 4 =0 . 1 Hàm hồi quy đa biến TS Nguyễn Minh Đức 2009 n Ý nghĩa của hệ số hồi quy n Giả định 1. Mô hình hồi qui tuyến tính 2. Giá trị kì vọng của biến số ngẫu nhiên=0 3. Phương sai của biến số. tiếp )()( 0 ^ 2 ^ 1 ^ ^ 2 ^ 1 ^^ ^ * ββ ββ δ δ − − = − = sese t )(var)( ^ 2 ^ 1 ^^ 2 ^ 1 ^ ββββ −=−se ),cov(2)(var)(var)(var ^ 2 ^ 1 ^ 2 ^^ 1 ^^ 2 ^ 1 ^ ββββββ −+=− TS Nguyễn Minh Đức 2009 Hàm hồi qui với biến giả n Trong phân tích hồi qui biến giả thường được sử dụng cho những biến định tính: nam, nữ, việc thích hay không thích,. của giá trị biến hồi qui càng lớn so với giá trị trung bình của nó thì phương sai hệ số ước lượng càng nhỏ, tham số ước lượng càng chính xác. Thông thường biến đổi của biến hồi qui càng lớn