Hiện tượng phương sai sai số thay đổi – cách khắc phục

BÀI THẢO LUẬN MƠN KINH TẾ LƯỢNG NHĨM: Đề tài: Hiện tượng phương sai sai số thay đổi – cách khắc phục Mục lục CƠ SỞ LÝ THUYẾT Định nghĩa • Phương sai sai số thay đổi xảy giả thiết: Var(Ui) = σ2 bị vi phạm Khi giả thiết phương sai sai số đồng bị vi phạm mơ hình hồi quy gặp phải tượng 2 Nguyên nhân • Do chất mối liên hệ đại lượng kinh tế • Do kỹ thuật thu thập xử lý số liệu cải tiến • Con người rút kinh nghiệm từ q khứ • Có quan sát ngoại lai (quan sát khác biệt nhiều với quan sát khác mẫu) • Mơ hình định dạng sai, bỏ sót biến thích hợp dạng giải tích hàm sai Hậu • Các ước lượng bình phương nhỏ β^ ước lượng tuyến tính khơng chệch khơng hiệu • Các ước lượng phương sai ước lượng chệch => Làm giá trị thông kê T& F ý nghĩa • Các tốn ước lượng & kiểm định dự báo sử dụng thông kê T&F khơng đáng tin cậy Phương pháp phát • Phương pháp đồ thị phần dư • Sử dụng tiêu chuẩn kiểm định – Kiểm định Park – Kiểm định Glejser – Kiểm định White No cross terms (Kiểm định White không lát cắt) Phương pháp đồ thị phần dư • Ta hồi quy mơ hình hồi quy gốc Yi=β1+ β2 X2i+β3X3u+….+βk Xki+Ui Ta thu phần dư ei Vẽ đồ thị phần dư ei(ei2) Xi(hoặc với Ŷi trường hợp hồi quy nhiều biến) Nếu độ rộng biểu đồ phần dư tăng hay giảm X tăng giả thiết phương sai số không thỏa mãn Sử dụng tiêu chuẩn kiểm định - Kiểm định Park • Hồi quy mơ hình gốc để thu phần dư ei Ước lượng mơ hình hồi quy sau: Lnei2 = βi+ β2lnXi +Vi Trường hợp có nhiều biến giải thích ước lượng hồi quy với biến giải thích với Ŷi Kiểm định giả thiết Ho : β2 = Nếu giả thiết Ho bị bác bỏ kết luận tồn tượng phương sai sai số thay đổi Kiểm định Glejser • Đầu tiên, hồi quy mơ hình gốc để thu phần dư ei • Hồi quy mơ hình sau | ei | = β1 + β2Xi + Vi | ei | = β1 + β2/Xi + V1 | ei | = β1 + β2√Xi + Vi | ei | = β1 + β2/√Xi + Vi Tương tự kiểm định Park, ta kiểm định giả thiết Ho : β2 = Nếu giả thiết bị bác bỏ kết luận có tượng phương sai sai số thay đổi Kiểm định white • Ước lượng OLS Từ thu phần dư ei • Ước lượng mơ hình sau : ei2=α1+α2X2+α3X3+α4X22+α5X32+α6X2X3+vi • Với H0 : Phương sai sai số không đổi , nR2 có phần xấp xỉ χ2 (df) , df số hệ số mô hình khơng kể hệ số chặn • Nếu nR2 khơng vượt qua giá trị χ2 (df) ,thì giả thiết H0 khơng có sở bị bác bỏ Trong trường hợp ngược lại giả thiết Ho bị bác bỏ Phương pháp khắc phục Như biết phương sai sai số thay đổi làm cho ước lượng khơng ước lượng hiệu Vì biện pháp khắc phục cần thiết Việc chữa chạy bệnh phụ thuộc chủ yếu vào liệu σ i2 , biết hay chưa Ta phân biệt hai trường hợp σ i2 biết Xét mơ hình: Yi = β1 + β2X2i + ui (1) Var(ui) = δ2 Sử dụng phương pháp bình phương nhỏ có trọng số ( WLS:weighted least squares) Yi / δi = β1 / δi + β2 X2i / δi + ui / δi (1a) Yi* = β1 X0i* + β2 Xi* + vi vi = ui / δi ; (1b) Yi* = Yi / δi ; X0i* = X0i / δi ; Xi* = Xi / δi var(vi) = var(ui / δi) = 1/ δ2i var(ui) = 1/ δ2i δ2i = = const  (1b) có phương sai sai số khơng đổi Phương pháp bình phương nhỏ tổng quát (GLS – General Least Square) phương pháp OLS áp dụng cho biến số biến đổi để thỏa mãn giả thiết phương pháp OLS Phương pháp bình phương nhỏ có trọng số (WLS) trường hợp GLS 2 σ i2 chưa biết Trong nghiên cứu kinh tế việc biết trước σ i2 nói chung Vì muốn sử dụng phương pháp bình phương nhỏ có trọng số cần có giả thiết định σ i2 biến đổi mơ hình gốc cho mơ hình biến đổi thoả mãn giả thiết phương sai sai số khơng đổi Phương pháp bình phương nhỏ áp dụng cho mơ hình biến đổi trước đây, phương pháp bình phương nhỏ có trọng số phương pháp bình phương nhỏ áp dụng cho tập số liệu biến đổi Chúng ta minh hoạ cho phép biến đổi qua việc sử dụng mơ hình hồi quy biến mà ta gọi mơ hình gốc: Yi = β1 + β2 Xi + U i Giả sử mơ hình thoả mãn giả thiết mơ hình hồi quy tuyến tính cổ điển trừ giả thiết phương sai sai số không đổi Chúng ta xét số giả thiết sau phương sai sai số Những dạng chưa bao quát tất phổ biến Giả thiết 1: Phương sai sai số tỉ lệ với bình phương biến giải thích: E( U i2 )= σ X i2 (1) Nếu phương pháp đồ thị cách tiếp cận Park Glejser… cho phương sai Ui tỉ lệ với bình phương biến giải thích X biến đổi mơ hình gốc theo cách sau: Chia mơ hình gốc cho Xi (Xi ≠ 0) Yi Xi = Trong vi = β1 Xi + Ui Xi β2 + Ui Xi β1 X i = + β2 + Vi (2) số hạng nhiễu biến đổi, rõ ràng E(v i) = σ2 , thực vậy: E(vi) = E  Ui   Xi    X i2 = E(Ui) = σ X i2 X i2 = σ2 Như tất giả thiết mơ hình hồi quy tuyến tính cổ điển thoả mãn (2) ta áp dụng phương pháp bình phương nhỏ cho phương trình e = α + α X + α X + α X + α X + α X X + Vi 2 2 biến ) Hồi quy Yi Xi đổi theo Xi ( Giả thiết 2: Phương sai sai số tỉ lệ với biến giải thích X E(Ui) = σ2 Xi Nếu sau ước lượng hồi quy phương pháp bình phương nhỏ thơng thường, vẽ đồ thị phần dư biến giải thích X quan sát thấy tượng phương sai sai số liên hệ tuyến tính với biến giải thích mơ hình gốc biến đổi sau: Xi Với i chia vế mơ hình gốc cho (với Xi >0) β1 Xi Yi Xi = Ui β2 X i + β1 Xi + β2 X i Xi = + + vi (3) Ui Xi Trong vi = thấy E(vi) = σ2 Chú ý: Mô hình (3) mơ hình khơng có hệ số chặn ta sử dụng mơ hình hồi quy qua gốc để ước lượng β1 và, sau ước lượng (3) trở lại mơ Xi hình gốc cách nhân vế (3) với Cách khắc phục β2 Bước 1: Ước lượng phương trình (1) Yi= β1+ β2 Xi + ui Bước 2: Vẽ đồ thị phần dư ei theo Xi đánh giá xem phường sai nhiễu có hay khơng tỷ lệ thuận với biến giải thích Xi Bước 3: Chia vế phương trình hồi quy (1) cho β1 Xi Yi Xi = Ui β2 X i + β1 Xi + β2 X i Xi = + + vi (3) Ui Xi Trong vi = thấy E(vi) = σ2 Chuyển thành phương trình khơng có hệ số cắt Bước 4: So sánh mơ hình (1) (2) qua số liệu hồi quy R2, t-stat P- value đánh giá mơ hình Giả thiết 3: Phương sai sai số tỉ lệ với bình phương giả trị kỳ vọng Y, nghĩa E( U i2 )= σ ( E ( Yi ) ) Khi thực phép biến đổi biến số sau: Yi E (Yi ) β1 = β1 E (Yi ) = E (Yi ) + β2 + Trong Vi = β2 X1 E (Yi ) Xi E (Yi ) Ui E (Yi ) Ui E (Yi ) + + Vi (4) σ2 , Var(Vi) = Nghĩa nhiễu Vi có phương sai khơng đổi Điều hồi quy (4) thoả mãn giả thiết phương sai khơng đổi mơ hình hồi quy tuyến tính cổ điển Tuy nhiên phép biến đổi (4) chưa thực chất E(Y i) phụ thuộc vào β1 β2 β1 β2 lại chưa biết Lúc ta làm theo bước sau: • Bước 1: Ước lượng hồi quy ban đầu phương pháp bình phương bé thơng thường, thu Yˆi Sau sử dụng Yˆi để biến đổi mơ hình gốc thành dạng sau: Yi Yˆ i = 1 β  ˆ  Yi     + X β  i ˆ  Yi Ui Yˆ Trong Vi = i     + Vi (5) • Bước 2: Ước lượng hồi quy (5), dù Yˆi không xác E(Yi), chúng ước lượng vững nghĩa mẫu tăng lên vơ hạn chúng hội tụ đến E(Yi) Giả thiết 4: Hạng hàm sai Định dạng lại mơ hình Thay ước lượng mơ hình hồi qui gốc, ta ước lượng mơ hình hồi qui: lnYi = β1 + β2lnXi + Ui Tình trạng phương sai sai số khơng đồng bớt nghiêm trọng so với mơ hình gốc logarit hóa, độ lớn biến bị ‘nén lại’ Một ưu phép biến đổi hệ số β2 đo lường hệ số co giãn Y theo X, nghĩa là, cho biết % thay đổi Y X thay đổi 1% PHẦN THỰC HÀNH Điều tra quan hệ chi tiêu(Y) thu nhập(X) hàng tháng 20 hộ gia đình, ta thu bảng sau (ĐV:10.000đ) Chi tiêu(Y) Thu nhập (X) 19.9 22.3 31.2 32.3 31.8 33.6 12.1 12.1 40.7 42.3 6.1 6.2 38.6 44.7 25.5 26.1 10.3 10.3 38.8 40.2 8.0 8.1 33.1 34.5 33.5 38.0 13.1 14.1 14.8 16.4 21.6 24.1 29.3 30.1 25.0 28.3 17.9 18.2 19.8 20.1 Mơ hình hồi quy mẫu Dependent Variable: Y Method: Least Squares Date: 01/02/13 Time: 00:42 Sample(adjusted): 20 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C 0.707476 0.659498 1.072750 X 0.910260 0.023894 38.09502 R-squared 0.987749 Mean dependent var Adjusted R0.987068 S.D dependent var squared S.E of regression 1.226673 Akaike info criterion Sum squared 27.08507 Schwarz criterion resid Log likelihood -31.41128 F-statistic Durbin-Watson 2.320725 Prob(F-statistic) stat Prob 0.2976 0.0000 23.55500 10.78691 3.341128 3.440701 1451.230 0.000000 Lập phương trình hồi quy Y theo X, theo bảng kết “eq_y_x” có: Ŷ= 0.707476+ 0.910260X (1) Phát hiện tượng phương sai sai số thay đổi: a Phương pháp quan sát theo đồ thị phần dư: Quan sát thay đổi ei theo X: Quan sát “graph_ei_x”, đồ thị satter, ta nhận thấy điểm (x,ei) loe dần ra, giống đồ thị đặc trưng tượng phương sai sai số thay đổi Từ bước đầu ta nhận định có xảy tượng phương sai sai số thay đổi b Kiểm định G-Q: Với mục đích kiểm tra xem phần dư hai mẫu từ mẫu ban đầu có tương đương khơng, ta xếp biến X theo thứ tự tăng dần, sau bỏ quan sát (do n = 20) Từ đó, ta nhận mẫu mới, mẫu gồm quan sát Sau đó, ta ước lượng để thu tổng bình phương phần dư tương ứng mẫu, sử dụng kiểm định F nhận biết sai khác hai giá trị Giả thiết: H0: Phương sai Ui H1: có tượng phương sai sai số thay đổi Xây dựng tiêu chuẩn kiểm định: Phân phối Fα(df,df) Đọc hai bảng kết cho hai mẫu, hai bảng kết “eq01” “eq02”, có: c Kiểm định White: Cho biết phần ei² có phụ thuộc vào biến giải thích có biến đổi theo biến giải thích hay khơng Ước lượng mơ hình: ei²= β1+β2.X+β3.X²+Ui Sau ước lượng mơ hình, sử dụng kiểm định ᵪ²(2) kiểm định giả thiết H0: β2= β3=0 (giả thiết tương đương phương sai Ui nhất) Ta chạy kiểm định White cho bảng kết quả: White Heteroskedasticity Test: F-statistic 14.45799 Obs*R-squared 12.59517 Probability Probability Test Equation: Dependent Variable: RESID^2 Method: Least Squares Date: 01/02/13 Time: 01:06 Sample: 22 Included observations: 20 Variable Coefficient Std Error C 1.224820 1.215234 0.000215 0.001841 t-Statistic 1.007888 Prob 0.3276 X X^2 R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat -0.147350 0.107503 -1.370656 0.005025 0.002086 2.408643 0.629759 Mean dependent var 0.586201 S.D dependent var 1.132668 Akaike info criterion 21.80991 Schwarz criterion -29.24509 F-statistic 1.532774 Prob(F-statistic) 0.1883 0.0276 1.354254 1.760790 3.224509 3.373869 14.45799 0.000215 Bảng kết cho thấy p_value giá trị kiểm định nhỏ, với mức α = 0.5%=> Bác bỏ giả thiết H0 => Có tượng phương sai sai số thay đổi xảy d Kiểm định Park: Tương tự kiểm định White , kiểm định Park cho phép kiểm tra phụ thuộc ei² vào biến giải thích Ta phải ước lượng mơ hình: Ln(ei²)= β1+β2*ln(X)+ Ui (Trường hợp mơ hình có nhiều biến giải thích, ta áp dụng cho biến cho Ŷ) Dependent Variable: LOG(E2) Method: Least Squares Date: 01/02/13 Time: 01:01 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C -8.529469 1.038973 -8.209520 LOG(X) 2.581552 0.330972 7.799916 R-squared 0.771686 Mean dependent var Adjusted R-squared 0.759002 S.D dependent var S.E of regression 0.823093 Akaike info criterion Sum squared resid 12.19468 Schwarz criterion Log likelihood -23.43145 F-statistic Durbin-Watson stat 1.669346 Prob(F-statistic) Prob 0.0000 0.0000 -0.553733 1.676648 2.543145 2.642718 60.83870 0.000000 Sau sử dụng kiểm định T kiểm tra giả thiết H0:β2=0 Đọc bảng kết “kdpark”, ta có giá trị p_value nhỏ =0.0000, với mức α = 0.5% => Có tượng phương sai sai số thay đổi e Kiểm định Glejser: Xác định mối quan hệ ei biến giải thích X Ta hồi quy mơ hình: |ei| =β1+β2.X+Ui Theo bảng KQ có: |ei|= -0.166276+0.045755X Dependent Variable: ABS(EI) Method: Least Squares Date: 01/02/13 Time: 01:04 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C -0.166276 0.191084 -0.870170 X 0.045755 0.006923 6.608966 R-squared 0.708164 Mean dependent var Adjusted R-squared 0.691951 S.D dependent var S.E of regression 0.355419 Akaike info criterion Sum squared resid 2.273802 Schwarz criterion Log likelihood -6.635981 F-statistic Durbin-Watson stat 1.423006 Prob(F-statistic) Prob 0.3957 0.0000 0.982184 0.640368 0.863598 0.963171 43.67843 0.000003 Với p_value bác bỏ giả thiết H0: β = nhỏ, p_value = 0.0000 => Bác bỏ giả thiết H0=> Chấp nhận giả thiết có tượng phương sai sai số thay đổi f Kiểm định dựa biến phụ thuộc Y: Ý tưởng phương pháp kiểm định cho rằng: phương sai yếu tố ngẫu nhiên phụ thuộc vào biến giải thích có khơng có mơ hình, vấn đề ta khơng rõ biến Trong trường hợp này, ta sử dụng biến E(Yi)² để đại diện cho biến giải thích khác Tuy nhiên khơng biết E(Yi)² nên ta dùng ước lượng điểm Ŷi² Ta xét hàm hồi quy: ei²=β1+β2×Ŷ²i+Vi Đọc bảng kết , ta có mơ hình hồi quy mẫu: Dependent Variable: EI^2 Method: Least Squares Date: 01/02/13 Time: 01:26 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error C -0.375963 0.429678 t-Statistic -0.874988 Prob 0.3931 YY^2 R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat 0.002606 0.586956 0.564009 1.162643 24.33129 -30.33908 1.458340 0.000515 5.057558 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) 0.0001 1.354254 1.760790 3.233908 3.333481 25.57889 0.000082 ei²=-0.375963+0.002606X Ta thấy giá trị p_value nhỏ = 0.0001, với α = 0.5% =>bác bỏ H0 => Có tượng phương sai sai số thay đổi Với cách kiểm tra, ta thấy cho mơ hình hồi quy có xảy tượng phương sai sai số thay đổi Ta chấp nhận giả thiết có tượng phương sai sai số thay đổi tới tìm cách khắc phục tượng Phương pháp khắc phục tượng: a Giả thiết 1: σ²i= σ²×Xi Ta hồi quy Yi/Xi theo 1/Xi Dependent Variable: Y/X Method: Least Squares Date: 01/02/13 Time: 01:32 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C 0.917983 0.016421 55.90187 1/X 0.535241 0.252842 2.116901 R-squared 0.199334 Mean dependent var Adjusted R-squared 0.154852 S.D dependent var S.E of regression 0.040702 Akaike info criterion Sum squared resid 0.029819 Schwarz criterion Log likelihood 36.70458 F-statistic Durbin-Watson stat 2.278814 Prob(F-statistic) Bảng kết “gt_1” cho: β1=0.917983, β2=0.535241 Mơ hình hồi quy: Ŷ=0.917983+0.535241*X Prob 0.0000 0.0485 0.946918 0.044274 -3.470458 -3.370884 4.481271 0.048457 Kiểm định White mơ hình được: White Heteroskedasticity Test: F-statistic 2.051338 Probability Obs*R-squared 3.888300 Probability 0.159201 0.143109 Từ bảng thấy p_value có giá trị lớn hẳn so với mơ hình ban đầu, chứng tỏ tượng phương sai sai số thay đổi khắc phục b Giả thiết 2: σ²i= σ²×Xi² Ước lượng mơ hình hồi quy biến Dependent Variable: Y/SQR(X) Method: Least Squares Date: 01/02/13 Time: 04:29 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C 7.963617 0.283700 28.07053 1/SQR(X) -15.23254 1.220178 -12.48386 R-squared 0.896461 Mean dependent var Adjusted R-squared 0.890708 S.D dependent var S.E of regression 0.371639 Akaike info criterion Sum squared resid 2.486075 Schwarz criterion Log likelihood -7.528501 F-statistic Durbin-Watson stat 0.847151 Prob(F-statistic) Prob 0.0000 0.0000 4.577287 1.124158 0.952850 1.052423 155.8469 0.000000 Bảng kết qủa “hq_gt2” cho hệ số mơ hình hồi quy mới: β1=7.963617, β2=15.23254 Mơ hình hồi quy mới: Ŷ=7.963617-15.23254*X Kiểm định mơ hình ta White Heteroskedasticity Test: F-statistic 0.899843 Probability Obs*R-squared 1.914591 Probability 0.425144 0.383930 Từ bảng thấy giá trị p_value ta thu từ hai kiểm định cao nhiều so với ban đầu, điều cho thấy tượng phương sai sai số thay đổi khắc phục c Gt 3: σi²=σ²*E(Yi)² Ta ước lượng Dependent Variable: Y/YY Method: Least Squares Date: 01/02/13 Time: 01:46 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic 1/YY 0.543429 0.265794 2.044546 X/YY 0.917544 0.016641 55.13903 R-squared 0.020474 Mean dependent var Adjusted R-squared -0.033944 S.D dependent var S.E of regression 0.043279 Akaike info criterion Sum squared resid 0.033716 Schwarz criterion Log likelihood 35.47643 Durbin-Watson stat Prob 0.0558 0.0000 0.998489 0.042563 -3.347643 -3.248070 2.287963 Bảng kết “gt_3” cho hệ số mơ hình hồi quy là: β1 =0.543429, β2 = 0.917544 Mơ hình hồi quy mới: Ŷ=0.543429+0.917544*X Kiểm định White mơ hình ta có: White Heteroskedasticity Test: F-statistic 2.313856 Probability Obs*R-squared 4.279428 Probability 0.129189 0.117688 Từ bảng thấy giá trị p_value thu lớn nhiều so với mơ hình hồi quy ban đầu, ta thấy tượng phương sai sai số thay đổi khắc phục d GT 4: sử dụng dạng hàm sai: Ta nhận thấy GT X Y quan sát khơng có giá trị âm nên sử dụng dạng hàm ln để nén sai số mơ hình Ta ước lượng mơ hình sau: ln Y = β1 + β2 lnX +Ui Dependent Variable: LOG(Y) Method: Least Squares Date: 01/02/13 Time: 01:53 Sample(adjusted): 22 Included observations: 20 after adjusting endpoints Variable Coefficient Std Error t-Statistic C 0.059899 0.054941 1.090233 LOG(X) 0.962615 0.017502 55.00057 R-squared 0.994085 Mean dependent var Adjusted R-squared 0.993756 S.D dependent var S.E of regression 0.043525 Akaike info criterion Sum squared resid 0.034100 Schwarz criterion Log likelihood 35.36301 F-statistic Durbin-Watson stat 2.270130 Prob(F-statistic) Prob 0.2900 0.0000 3.033911 0.550836 -3.336301 -3.236727 3025.063 0.000000 Đọc bảng kết “gt4” ta có mơ hình hồi quy: Ln Y = 0.059899 + 0.962615*lnX Kiểm định White cho mơ hình: White Heteroskedasticity Test: F-statistic 3.359793 Probability Obs*R-squared 5.665855 Probability 0.058939 0.058840 Từ bảng ta thấy, giá trị p_value thu cao so với giá trị ban đầu, cho thấy tượng phương sai sai số thay đổi khắc phục phần Từ cách khắc phục tượng phương sai sai số thay đổi, ta thấy giả thiết hợp lý cần thiết giải vấn đề phương sai sai số thay đổi cho ví dụ ... đầu, cho thấy tượng phương sai sai số thay đổi khắc phục phần Từ cách khắc phục tượng phương sai sai số thay đổi, ta thấy giả thiết hợp lý cần thiết giải vấn đề phương sai sai số thay đổi cho ví... Có tượng phương sai sai số thay đổi Với cách kiểm tra, ta thấy cho mơ hình hồi quy có xảy tượng phương sai sai số thay đổi Ta chấp nhận giả thiết có tượng phương sai sai số thay đổi tới tìm cách. .. điển trừ giả thiết phương sai sai số không đổi Chúng ta xét số giả thiết sau phương sai sai số Những dạng chưa bao quát tất phổ biến Giả thiết 1: Phương sai sai số tỉ lệ với bình phương biến giải