CÁC CÁCH PHÁT HIỆN HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN(2) pot

A LÍ THUYẾT: I.GIỚI THIỆU VỀ ĐA CỘNG TUYẾN: Thơng thường biến độc lập khơng có mối quan hệ tuyến tính, quy tắc bị vi phạm có tượng đa cộng tuyến Như vậy, đa cộng tuyến tượng biến độc lập mô hình phụ thuộc lẫn thể dạng hàm số II CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN R cao tỉ số t thấp Trong trường hợp R cao (thường R > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến 2 Tương quan cặp biến giải thích cao Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường khơng xác Có trường hợp tương quan cặp khơng cao có đa cộng tuyến Thí dụ, ta có biến giải thích X , X , X sau X = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X = X + X nghĩa ta có đa cộng tuyến hồn hảo, nhiên tương quan cặp là: r 12 = -1/3 ; r 13 = r 23 =0,59 Như đa cộng tuyến xảy mà khơng có bảo trước cuả tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc không Farrar Glauber đề nghị sử dụng hệ số tương quan riêng Trong hồi quy Y biến X , 2 2 X ,X Nếu ta nhận thấy r 1, 234 cao r 12,34 ; r 13, 24 ; r 14, 23 tương đối thấp điều gợi ý biến X , X X có tương quan cao biến thừa Dù tương quan riêng có ích khơng đảm bảo cung cấp cho ta hướng dẫn xác việc phát tượng đa cộng tuyến Hồi quy phụ Một cách tin cậy để đánh giá mức độ đa cộng tuyến hồi quy phụ Hồi quy phụ hồi quy biến giải thích X i theo biến giải thích cịn lại R tính từ hồi quy ta ký R i2 Mối liên hệ F i R i2 : F= Ri2 /(k − 2) (1 − Ri2 ) /( n − k + 1) F i tuân theo phân phối F với k – n-k +1 bậc tự Trong n , k số biến giải thích kể hệ số chặn mơ hình R i2 hệ số xác định hồi quy biến X i theo biến X khác Nếu F i tính vượt điểm tới hạn F i (k-2,nk+1) mức ý nghĩa cho có nghĩa X i có liên hệ tuyến tính với biến X khác Nếu F i có ý nghĩa mặt thống kê phải quyến định liệu biến X i bị loại khỏi mơ hình Một trở ngại kỹ thuật hồi quy phụ gánh nặng tính tốn Nhưng ngày nhiều chương trình máy tính đảm đương cơng việc tính tốn Nhân tử phóng đại phương sai Một thước đo khác tượng đa cộng tuyến nhân tử phóng đại phương sai gắn với biến X i , ký hiệu VIF(X i ) VIF(X i ) thiết lập sở hệ số xác định R i2 hồi quy biến X i với biến khác sau: VIF(X i ) = − R (5.15) i Nhìn vào cơng thức (5.15) giải thích VIF(X i ) tỷ số chung phương sai thực β hồi quy gốc Y biến X phương sai ước lượng β hồi quy mà X i trực giao với biến khác Ta coi tình lý tưởng tình mà biến độc lập khơng tương quan với nhau, VIF so sánh tình hng thực tình lý tưởng Sự so sánh khơng có ích nhiều khơng cung cấp cho ta biết phải làm với tình Nó cho biết tình khơng lý tưởng Đồ thị mối liên hệ R i2 VIF V IF 100 50 Ri 10 0,9 1 Như hình vẽ R i2 tăng từ 0,9 đến VIF tăng mạnh Khi R i2 =1 VIF vơ hạn Có nhiều chương trình máy tính cho biết VIF biến độc lập hồi quy Độ đo Theil Khía cạnh chủ yếu VIF xem xét đến tương quan qua lại biến giải thích Một độ đo mà xem xét tương quan biến giải thích với biến giải thích độ đo Theil Độ đo Theil định nghĩa sau: k m = R - ∑ ( R - R 2i ) − i=2 Trong R hệ số xác định bội hồi quy Y biến X , X … X k mơ hình hồi quy: Y = β + β X 2i + β X 3i + …… + β k X ki + U i R i hệ số xác định bội mơ hình hồi quy biến Y biên X , X − , … ,X i −1 , X i +1 , … ,X k Đại lượng R - R i gọi “đóng góp tăng thêm vào” vào hệ số xác định bội − Nếu X , X … X k không tương quan với m = đóng góp tăng thêm cộng lại R Trong trường hợp khác m nhận giá trị âm dương lớn Để thấy độ đo có ý nghĩa, xét trường hợp mơ hình có biến giải thích X X Theo ký hiệu sử dụng chương trước ta có: 2 m = R - ( R - r 12 ) – (R – r 13 ) 2 Tỷ số t liên hệ với tương quan riêng r 12,3 , r 13, Trong phần hồi quy bội ta biết: 2 R = r 12 + (1- r 12 ) r 13, 2 2 R = r 13 + (1- r 13 ) r 12,3 Thay công thức vào biểu thức xác định m ta được: 2 2 2 2 m = R - (r 12 + (1- r 12 ) r 13, - r 12 ) - ( r 13 + (1- r 13 ) r 12,3 - r 13 ) 2 2 = R - ((1- r 12 ) r 13, + (1- r 13 ) r 12,3 ) 2 Đặt 1- r 12 = w ; 1- r 13 = w gọi trọng số Công thức (5.16) viết lại dạng 2 m = R - (w r 13, + w r 12,3 ) Như vây độ đo Theil hiệu hệ số xác định bội tổng có trọng số hệ số tương quan riêng Như biết số độ đo đa cộng tuyến tất có ý nghĩa sử dụng hạn chế Chúng cho ta thông báo việc lý tưởng Còn số độ đo liên quan đến giá trị riêng thống kê Bayes không trình bày III Biện pháp khắc phục Sử dụng thông tin tiên nghiệm Một cách tiếp cận để giải vấn đề đa cộng tuyến phải tận dụng thông tin tiên nghiệm thông tin từ nguồn khác để ước lượng hệ số riêng Thí dụ : ta muốn ước lượng hàm sản xuất q trình sản xuất có dạng : Qt =AL Trong Qt lượng sản phẩm sản xuất thời kỳ t ; Lt lao động thời kỳ t ; Kt vốn thời kỳ t ; Ut nhiễu ;A , α, β tham số mà cần ước lượng Lấy ln vế (5.17) ta : LnQt = LnA + αlnLt + βKt Ut Đặt LnQt = Q*t ; LnA = A* ; LnLt = L*t Ta Q*t = A* + αL*t + βK*t + Ut (5.18) Giả sử L|K L có tương quan cao dĩ nhiên điều dẫn đến phương sai ước lượng hệ số co giãn hàm sản xuất lớn Giả sử từ nguồn thông tin có lới theo quy mơ mà ta biết ngành công nghiệp thuộc ngành cso lợi tức theo quy mô không đổi nghĩa α + β =1 Với thông tin ,cách xử lý thay β = - α vào (5.18) thu : Q*t Q*t – K*t = A* + α(L*t – K*t ) + Ut Từ ta Đặt = A* + αL*t + ( - α )K*t + Ut (5.19) Q*t – K*t = Y*t L*t – K*t = Z*t ta Y*t = A* + α Z*t + Ut Thông tin tiên nghiệm giúp giảm số biến độc lập mơ hình xuống cịn biến Z*t µ µ µ µ Sau thu ước lượng α α β tính từ điều kiện β = – α Thu thập số liệu lấy thêm mẫu mới Vì đa cộng tuyến đặc trưng mẫu nên có mẫu khác liên quan đến biến mẫu ban đầu mà đa cộng tuyến khơng nghiêm trọng Điều làm chi phí cho việc lấy mẫu khác chấp nhận thực tế Đôi cần thu thập them số liệu , tăng cỡ mẫu làm giảm tính nghiêm trọng đa cộng tuyến Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “ đơn giản “là bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau : Giả sử mơ hình hồi quy ta có Y biến giải thích cịn X2 X3 …Xk biến giải thích Chúng ta thấy X2 tương quan chặt chẽ với X3 Khi nhiều thơng tin Y chứa X2 chứa X3 Vậy ta bỏ biến X2 X3 Khỏi mơ hình hồi quy , ta giải vấn đề đa cộng tuyến phần thông tin Y Bằng phép so sánh R R phép hồi quy khác mà có khơng có biến định nên bỏ biến biến X2 X3 khỏi mơ hình Thí dụ R2 hồi quy Y tất biến X1X2X3 …Xk 0.94; R2 loại biến X2 0.87 R2 loại biến X3 0.92 ;như trường hợp ta loại X3 Chúng ta lưu ý hạn chế biện pháp mơ hình kinh tế có trường hợp địi hỏi định phải có biến biến khác mơ hình Trong trường hợp việc loại bỏ biến phải cân nhắc cẩn thận sai lệch bỏ biến cộng tuyến với việc tăng phương sai ước lượng hệ số biến mơ hình Sử dụng sai phân cấp Thủ tục trình bày chương – tự tương quan Mặc dù biện pháp giảm tương quan qua lại biến chúng sử dụng giải pháp cho vấn đề đa cộng tuyến Thí dụ Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X2 X3 theo mơ hình sau : Yt = β + β X 2t + β 3X 3t+ U t (5.20) Trong t thời gian Phương trình với t với t-1 nghĩa : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 (5.21) Từ (5.20) (5.21) ta : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt (5.23) Mơ hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng đa cộng tuyến dù X2 X3 tương quan cao khơng có lý tiên nghiệm chắn sai phân chúng tương quan cao Tuy nhiên biến đổi sai phân bậc sinh số bấn đề chẳng hạn số hạng sai số Vt (5.23) khơng thỏa mãn giả thiết mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa lại cịn tồi tệ bệnh 5.Giảm tương quan hồi quy đa thức Nét khác hồi quy đa thức biến giải thích xuất với lũy thừa khác mơ hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà không giảm đa cộng tuyến thù người ta phải xem xét đến kỹ thuật “ đa thức trực giao “ Một số biện pháp khác Ngồi biện pháp kể người ta cịn sử dụng số biện pháp khác để cứu chữa bệnh sau : - hồi quy thành phần - Sử dụng ước lượng từ bên ngồi Nhưng tất biên pháp trình bày làm giải pháp cho vấn đề đa cộng tuyến phụ thuộc vào chất tập số liệu tính nghiêm trọng vấn đề đa cộng tuyến B VÍ DỤ MINH HỌA Bài toán: Cho bảng số liệu sau Trong đó: Y: sản lượng dầu thơ (đơn vị: nghìn tấn) X: kim ngạch xuất dầu thơ (đơn vị: nghìn tấn) Z: vốn đầu tư khai thác (đơn vị trăm triệu đồng) Yêu cầu: Hãy phát hiện tượng đa cộng tuyến tìm biện pháp khắc phục Cho α = 5% 2.9975 3.2615 3.9534 5.3669 6.0973 7.2072 7.8243 8.1796 9.5359 13.0394 13.2836 13.6048 13.937 14.3781 14.5893 15.2548 15.7597 15.9621 26.444 71.3427 129.8 230.7305 341.7524 481.4634 601.2952 696.9732 863.8135 10.7118 11.9966 13.9931 15.9544 17.1974 18.4503 16.1865 16.8256 17.6121 18.2776 18.8364 18.8881 1003.6598 1144.594 1287.8756 1420.5488 1569.5317 1814.2707 Tiến hành ước lượng hàm hồi quy mẫu ta Dependent Variable: Y Method: Least Squares Date: 05/06/10 Time: 19:25 Sample: 15 Included observations: 15 Variable C X Z R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat Coefficient 12.47549 0.228322 0.001431 0.990379 0.988776 0.210776 0.533118 3.743892 1.650553 Std Error t-Statistic Prob 0.301090 41.43445 0.0000 0.105322 2.167852 0.0510 0.000924 1.547751 0.1476 Mean dependent var 15.76234 S.D dependent var 1.989505 Akaike info criterion -0.099186 Schwarz criterion 0.042424 F-statistic 617.6576 Prob(F-statistic) 0.000000 I/ Phát hiện tượng đa cộng tuyến Ta có hàm hồi quy mẫu: ˆ Yi = 12.47549+0.228322X i + 0.001431Zi ( − 12 tαn/2 k ) = t0.025 = 2.179 Cách 1: Hệ số xác định bội R cao t thấp Nhận xét: R = 0.990379 > 0.8 Thống kê t hệ số ứng với biến X T = 2.167852 < 2.179 Thống kê t hệ số ứng với biến Z T = 1.547751 < 2.179 Vậy R cao t thấp Suy có tượng đa cộng tuyến Cách 2: Hệ số tương quan cặp biến giải thích cao Ta có X X 1.00000 0.994412 Z Z 0.994412 1000000 r12 = 0.994412 > 0.8 => Như ta có sở kết luận có tượng đa cộng tuyến mơ hình Cách 3: Hồi quy phụ Ta hồi quy biến X theo biến Z kết sau: Dependent Variable: X Method: Least Squares Date: 05/06/10 Time: 21:05 Sample: 15 Included observations: 15 Variable Coefficient Std Error t-Statistic Prob C Z 2.717476 0.008727 0.246174 0.000257 11.03884 33.96160 0.0000 0.0000 R-squared Adjusted R-squared 0.988854 0.987997 Mean dependent var S.D dependent var 9.515147 5.066274 S.E of regression 0.555048 Akaike info criterion 1.784043 Sum squared resid 4.005022 Schwarz criterion 1.878449 Log likelihood -11.38032 F-statistic 1153.390 Durbin-Watson stat 0.703053 Prob(F-statistic) 0.000000 Ta có α = 0.05 ta kiểm định giả thiết H : X khơng có tượng đa cộng tuyến với Z H1 : X có tượng đa cộng tuyến với Z Nhận xét: Ta thấy giá trị p-value thống kê F 0.000000 < α =0.05 => bác bỏ giả thiết H chấp nhận giả thiết H1 Vậy có sở khẳng định mơ hình có tượng đa cộng tuyến Cách 4: Độ đo Theil Ta có hệ số tương quan biến Y X,Z Y X Z Y 1.000000 0.994213 0.993283 X 0.994213 1.000000 0.994412 Z 0.993283 0.994412 1.000000 2 Để tính độ đo Theil ta phải tính R , r12,3và,r13,2 Theo công thức biết chương hai ta có 13,2 r =r 12,3 (r13 − r12 r23 ) (0.993283 − 0.994213 × 0.994412) = ≈ 0.16636 = 2 (1 − r12 )(1 − r23 ) (1 − 0.9942132 )(1 − 0.9944122 ) r13 = (0.993283) ≈ 0.98661 2 R = r12 + (1 − r12 )r13,2 = (0.994213)2 + (1 − 0.9942132 )0.16636 ≈ 0.99038 2 2 Vậy m = R − (1 − r12 )r13,2 + (1 − r13 )r12,3  ] = 0.99038 – 2(1-0.98846)0.16636=0.98654 m khác nên chứng tỏ có tượng đa cộng tuyến sảy Và mức độ đa cộng tuyến 0.98654 II/ Khắc phục tượng đa cộng tuyến Cách 1: Bỏ biến Bước 1: hồi quy Y theo X => R12 , R12 Bước 2: hồi quy Y theo Z => R22 , R2 Bước 3: so sánh R R hồi quy Bước 4: kết luận * Bước quy Y Dependent Variable: Y Method: Least Squares Date: 05/06/10 Time: 22:44 Sample: 15 Included observations: 15 Dependent Variable: Y Coefficient Variable Method: Least Squares C 13.09595 Date: 05/06/10 Time: 22:42 Z 0.003423 Sample: 15 R-squared 0.986612 Included observations: 15 0.985582 Adjusted R-squared S.E of Variable regression Sum squared resid C X Log likelihood Durbin-Watson stat R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat * Bước Hồi quy Y theo Z 0.238892 Coefficient 0.741904 12.04740 0.390423 1.265315 1.580353 0.988459 0.987571 0.221801 0.639543 2.378807 1.323845 : Hồi theo X Std Error 0.105953 0.000111 t-Statistic 123.6014 30.95139 Prob 0.0000 0.0000 Mean dependent var S.D dependent var Akaike info criterion Std Error t-Statistic Schwarz criterion 0.125199 96.22580 0.011701 33.36762 F-statistic Prob(F-statistic) var Mean dependent S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) 15.76234 1.989505 0.097958 Prob 0.192365 0.0000 0.0000 957.9883 0.000000 15.76234 1.989505 -0.050508 0.043899 1113.398 0.000000 * Bước : Từ kết hồi quy ta có: R = 0.988776 R = 0.990379 R12 = 0.988459 R12 = 0.987571 R22 = 0.986612 R22 = 0.985582 * Bước 4: Ta tiến hành so sánh Và kết luận trường hợp loại biến Z Cách 2: Sử dụng sai phân cấp Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X,Z theo mô hình sau Yt = β1 + β X + β X + U t (*) Với t thời gian Phương trình với t với t-1 nghĩa : Yt −1 = β1 + β X t −1 + β3 X 3t −1 + U t −1 (**) Trừ (* ) cho (** ) Và đặt zt yt = Yt − Yt −1 xt = X t − X t −1 zt = Z t − Z t −1 Ta thu bảng số liệu yt xt 0.2442 0.3212 0.3322 0.4411 0.2112 0.6655 0.5049 0.2024 0.2244 0.6391 0.7865 0.6655 0.5588 0.0517 0.264 0.6919 0.14135 0.7004 1.1099 0.6171 0.3553 1.3563 1.1759 1.2848 1.9965 1.9613 1.243 1.2529 Hồi quy sai phân cấp zzt t 44.8987 58.4573 100.9305 111.0219 139.711 119.8318 95.678 166.8403 139.8463 140.9342 143.2816 132.6732 148.9829 244.739 Dependent Variable: Y Method: Least Squares Date: 05/07/10 Time: 00:26 Sample: 14 Included observations: 14 Variable C X Z R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood Durbin-Watson stat Coefficient 0.492919 0.253956 -0.002599 0.318112 0.194132 0.199640 0.438416 4.380378 1.895777 Std Error 0.156868 0.118246 0.001415 t-Statistic 3.142245 2.147699 -1.836880 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) Prob 0.0094 0.0549 0.0934 0.417764 0.222390 -0.197197 -0.060256 2.565840 0.121737 Ta có hệ số tương quan biến giải thích xt zt xt 1.000000 0.582640 zt 0.582640 1.000000 Hồi quy phụ biến sai phân xt theo zt ta Dependent Variable: X Method: Least Squares Date: 05/07/10 Time: 00:52 Sample: 14 Included observations: 14 Variable C Z R-squared Adjusted R-squared Coefficient 0.120602 0.006971 0.339469 0.284425 Std Error 0.381380 0.002807 t-Statistic 0.316226 2.483386 Mean dependent var S.D dependent var Prob 0.7573 0.0288 1.010761 0.576160 S.E of regression Sum squared resid Log likelihood Durbin-Watson stat 0.487384 2.850513 -8.724231 1.094455 Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) 1.532033 1.623327 6.167204 0.028779 Nhận xét R =0.318112< 0.8 r12 = 0.582640 R12 , R12... thấp Suy có tượng đa cộng tuyến Cách 2: Hệ số tương quan cặp biến giải thích cao Ta có X X 1.00000 0.994412 Z Z 0.994412 1000000 r12 = 0.994412 > 0.8 => Như ta có sở kết luận có tượng đa cộng tuyến