Chương 4: Mô hình hồi qui đa biến

Hệ số hồi qui cũng được ước lượng thông qua sử dụng phương pháp bình phương bé nhất như trong phân tích hồi qui đơn. Giá trị ước lượng phù hợp của Y trong quan sát thứ i phụ thuộc vào giá trị ước lượng b1, b2, và b3.Sai số ei trong quan sát thứ i là sự khác biệt giữa giá trị thực tế và giá trị ước lượng phù hợp của Y.

Chương Mơ hình hồi qui đa biến Mơ hình hồi qui đa với biến giải thích Yi = β + β X i + β X i + ui Yˆi = b1 + b2 X i + b3 X i Hệ số hồi qui ước lượng thông qua sử dụng phương pháp bình phương bé phân tích hồi qui đơn Giá trị ước lượng phù hợp Y quan sát thứ i phụ thuộc vào giá trị ước lượng b1, b2, b3 11 Mô hình hồi qui đa với biến giải thích Yi = β + β X i + β X i + ui Yˆi = b1 + b2 X i + b3 X i ei = Yi − Yˆi = Yi − b1 − b2 X i − b3 X i Sai số ei quan sát thứ i khác biệt giá trị thực tế giá trị ước lượng phù hợp Y 12 Mơ hình hồi qui đa với biến giải thích RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X i − b3 X i ) Chúng ta xác định tổng bình phương sai số RSS lựa chọn b1, b2, b3 để tối thiểu hóa giá trị 13 Mơ hình hồi qui đa với biến giải thích RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X i − b3 X i ) = ∑ (Yi + b12 + b22 X 22i + b32 X 32i − 2b1Yi − 2b2 X iYi − 2b3 X iYi + 2b1b2 X i + 2b1b3 X i + 2b2 b3 X i X i ) = ∑ Yi + nb12 + b22 ∑ X 22i + b32 ∑ X 32i − 2b1 ∑ Yi − 2b2 ∑ X iYi − 2b3 ∑ X iYi + 2b1b2 ∑ X i + 2b1b3 ∑ X i + 2b2 b3 ∑ X i X i ∂RSS =0 ∂b1 ∂RSS =0 ∂b2 ∂RSS =0 ∂b3 Đầu tiên, triển khai biểu thức RSS sau chung ta sử dụng điều kiện đạo hàm hay vi phân bậc biểu thức để tìm cực tiểu 14 Mơ hình hồi qui đa với biến giải thích b1 = Y − b2 X − b3 X b2 = ∑( X − ∑( X 2i 3i − X )( Yi − Y ) ∑ ( X i − X ) − X )( Yi − Y ) ∑ ( X i − X )( X i − X ) 2 ( ) ( ) ( ) ( )( ) X − X X − X − X − X X − X ∑ 2i ∑ 3i ∑ 2i 3i Chúng ta có phương trình cho tham số chưa biết Giải phương trình để tìm b1, b2, b3, Chúng ta có giá trị tham số tìm Giá trị b3 giống với giá trị b2, với giá trị số thay lẫn nhau.) 15 Mơ hình hồi qui đa với biến giải thích b1 = Y − b2 X − b3 X b2 = ∑( X − ∑( X 2i 3i − X )( Yi − Y ) ∑ ( X i − X ) − X )( Yi − Y ) ∑ ( X i − X )( X i − X ) 2 ( ) ( ) ( ) ( )( ) X − X X − X − X − X X − X ∑ 2i ∑ 3i ∑ 2i 3i Biểu thức b1 mở rộng cách trực tiếp từ mơ hình hồi qui đơn 16 Mơ hình hồi qui đa với biến giải thích b1 = Y − b2 X − b3 X b2 = ∑( X − ∑( X 2i 3i − X )( Yi − Y ) ∑ ( X i − X ) − X )( Yi − Y ) ∑ ( X i − X )( X i − X ) 2 ( ) ( ) ( ) ( )( ) X − X X − X − X − X X − X ∑ 2i ∑ 3i ∑ 2i 3i Tuy nhiên, biểu thức cho hệ số hồi qui tương đối phức tạp so với hệ số hồi qui mơ hình hồi qui đơn 17 Mơ hình hồi qui đa với biến giải thích b1 = Y − b2 X − b3 X b2 = ∑( X − ∑( X 2i 3i − X )( Yi − Y ) ∑ ( X i − X ) − X )( Yi − Y ) ∑ ( X i − X )( X i − X ) 2 ( ) ( ) ( ) ( )( ) X − X X − X − X − X X − X ∑ 2i ∑ 3i ∑ 2i 3i Nhìn chung nhiều biến dùng biều biểu thức đại số thơng thường khơng đủ Vì thế, cần phải sử dụng biểu thức dạng ma trận 18 Mơ hình hồi qui đa với biến giải thích reg EARNINGS S EXP Source | SS df MS -+ -Model | 22513.6473 11256.8237 Residual | 89496.5838 537 166.660305 -+ -Total | 112010.231 539 207.811189 Number of obs F( 2, 537) Prob > F R-squared Adj R-squared Root MSE = = = = = = 540 67.54 0.0000 0.2010 0.1980 12.91 -EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -S | 2.678125 2336497 11.46 0.000 2.219146 3.137105 EXP | 5624326 1285136 4.38 0.000 3099816 8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213 EARNˆ INGS = −26.49 + 2.68 S + 0.56 EXP Đây kết hồi qui 540 quan sát từ số liệu thực tế 19 Tính xác hệ số hồi qui reg EARNINGS S EXP if COLLBARG==1 Source | SS df MS -+ -Model | 3076.31726 1538.15863 Residual | 15501.9762 98 158.18343 -+ -Total | 18578.2934 100 185.782934 Number of obs F( 2, 98) Prob > F R-squared Adj R-squared Root MSE = = = = = = 101 9.72 0.0001 0.1656 0.1486 12.577 -EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -S | 2.333846 5492604 4.25 0.000 1.243857 3.423836 EXP | 2235095 3389455 0.66 0.511 -.4491169 8961358 _cons | -15.12427 11.38141 -1.33 0.187 -37.71031 7.461779 s = RSS n−k u Chúng ta bắt đầu với su Đây RSS cho mẫu có cơng đồn 20 Tính xác hệ số hồi qui reg EARNINGS S EXP if COLLBARG==1 Source | SS df MS -+ -Model | 3076.31726 1538.15863 Residual | 15501.9762 98 158.18343 -+ -Total | 18578.2934 100 185.782934 Number of obs F( 2, 98) Prob > F R-squared Adj R-squared Root MSE = = = = = = 101 9.72 0.0001 0.1656 0.1486 12.577 -EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -S | 2.333846 5492604 4.25 0.000 1.243857 3.423836 EXP | 2235095 3389455 0.66 0.511 -.4491169 8961358 _cons | -15.12427 11.38141 -1.33 0.187 -37.71031 7.461779 s = RSS n−k u Có 101 quan sát mẫu cơng đồn K Và n – k 98 21 Tính xác hệ số hồi qui reg EARNINGS S EXP if COLLBARG==1 Source | SS df MS -+ -Model | 3076.31726 1538.15863 Residual | 15501.9762 98 158.18343 -+ -Total | 18578.2934 100 185.782934 Number of obs F( 2, 98) Prob > F R-squared Adj R-squared Root MSE = = = = = = 101 9.72 0.0001 0.1656 0.1486 12.577 -EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -S | 2.333846 5492604 4.25 0.000 1.243857 3.423836 EXP | 2235095 3389455 0.66 0.511 -.4491169 8961358 _cons | -15.12427 11.38141 -1.33 0.187 -37.71031 7.461779 s = RSS n−k u RSS / (n – k) 158.183 Vì su, bậc phương sai 12.577 22 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Chúng ta thay giá trị bảng với số quan sát 23 Tính xác hệ số hồi qui reg EARNINGS S EXP if COLLBARG==0 Source | SS df MS -+ -Model | 19540.1761 9770.08805 Residual | 73741.593 436 169.132094 -+ -Total | 93281.7691 438 212.972076 Number of obs F( 2, 436) Prob > F R-squared Adj R-squared Root MSE = = = = = = 439 57.77 0.0000 0.2095 0.2058 13.005 -EARNINGS | Coef Std Err t P>|t| [95% Conf Interval] -+ -S | 2.721698 2604411 10.45 0.000 2.209822 3.233574 EXP | 6077342 1400846 4.34 0.000 3324091 8830592 _cons | -28.00805 4.643211 -6.03 0.000 -37.13391 -18.88219 Tương tự trường hợp mẫu khơng cơng đồn, có s u bậc 169.132, 13.005 Chú ý số quan sát hồn tồn khác, 439 24 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Chúng ta tính trung bình bình phương độ lệch chuẩn S cho mẫu 26 Tính xác hệ số hồi qui cor S EXP if COLLBARG==1 (obs=101) | S EXP + -S | 1.0000 EXP | -0.4087 1.0000 cor S EXP if COLLBARG==0 (obs=439) | S EXP + -S | 1.0000 EXP | -0.1784 1.0000 Hệ số tương quan cho S EXP –0.4087 –0.1784 cho hai mẫu 27 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Chúng ta nhìn vào ảnh hưởng thành phần lên sai số chuẩn, sử dụng biểu thức 28 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Thành phần su khơng cần có điều chỉnh 29 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Số quan sát lớn nhiều mẫu khơng có cơng đồn 30 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Tuy nhiên, phương sai số năm đến trường tương đối lớn mẫu khơng có cơng đồn 31 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Sự tương quan số năm đến trường số năm kinh nghiệm tương đối lớn cho mẫu có cơng đồn có ảnh hưởng ngược lên sai số 32 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Nhân nhân tố, có kết 33 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Sai số mẫu khơng có cơng đồn lớn so với mẫu cơng đồn chúng có sơ quan sát lớn Nêu khơng, khác biệt khơng lớn 34 Tính xác hệ số hồi qui 1 s.e.(b2 ) = su × × × n MSD( X ) − rX22 , X Decomposition of the standard error of S Component su n Union 12.577 101 Non-union 13.005 439 MSD(S) rS, EXP s.e 6.2325 –0.4087 0.5493 5.8666 –0.1784 0.2604 Factor product Union 12.577 0.0995 0.4006 1.0957 0.5493 Non-union 13.005 0.0477 0.4129 1.0163 0.2603 Sự tương quan S EXP có ảnh hưởng ngược lên sai số 35 ... ngẫu nhiên có phân phối chuẩn Từ mơ hình hồi qui đơn đến mơ hình hồi qui đa, chúng bắt đầu nhắc lại giả định mô hình hồi qui đơn Đặc điểm hệ số hồi qui đa A.1: Mơ hình tuyến tính tham số xác định... ∑ 2i ∑ 3i ∑ 2i 3i Tuy nhiên, biểu thức cho hệ số hồi qui tương đối phức tạp so với hệ số hồi qui mô hình hồi qui đơn 17 Mơ hình hồi qui đa với biến giải thích b1 = Y − b2 X − b3 X b2 = ∑( X −... hợp giả định mô hình có hiệu lực, ước lượng theo phương pháp bình phương bé mơ hình hồi qui tổng thể ước lượng không chệch hiệu giống mơ hình hồi qui đơn Đặc điểm hệ số hồi qui đa Y = β1 + β