các cách phát hiện đa cộng tuyến. các biện pháp khắc phục hiện tượng đa cộng tuyến. ví dụ minh họa

LỜI MỞ ĐẦU Trong mơ hình phân tích hồi quy bội, giả thiết biến giải thích mơ hình độc lập tuyến tính với nhau, tức hệ số hồi quy biến cụ thể số đo tác động riêng phần biến tương ứngkhi tất biến khác mô hình giữ cố định Tuy nhiên giả thiết bị vi phạm tức biến giải thích có tương quan khơng thể tách biệt ảnh hưởng riêng biệt biến Hiện tượng gọi đa công tuyến.Vậy phải làm để nhận biết khắc phục tượng này.Chúng ta nghiên cứu đề tài: “Các cách phát đa cộng tuyến Các biện pháp khắc phục tượng đa cộng tuyến Ví dụ minh họa” A LÍ THUYẾT I GIỚI THIỆU VỀ ĐA CỘNG TUYẾN Thơng thường biến độc lập khơng có mối quan hệ tuyến tính, quy tắc bị vi phạm có tượng đa cộng tuyến Như vậy, đa cộng tuyến tượng biến độc lập mơ hình phụ thuộc lẫn thể dạng hàm số II CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN 1.R cao tỉ số t thấp 2 Trong trường hợp R cao (thường R > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến 2.Tương quan cặp biến giải thích cao Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường khơng xác Có trường hợp tương quan cặp khơng cao có đa cộng tuyến Thí dụ, ta có biến giải thích X , X , X sau X = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X = X + X nghĩa ta có đa cộng tuyến hồn hảo, nhiên tương quan cặp là: r 12 = -1/3 ; r 13 = r 23 =0,59 Như đa cộng tuyến xảy mà khơng có bảo trước cuả tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích 3.Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc không Farrar Glauber đề nghị sử dụng hệ số tương quan riêng Trong hồi quy Y biến X 2 2 , X ,X Nếu ta nhận thấy r 1, 234 cao r 12,34 ; r 13, 24 ; r 14, 23 tương đối thấp điều gợi ý biến X , X X có tương quan cao biến thừa Dù tương quan riêng có ích khơng đảm bảo cung cấp cho ta hướng dẫn xác việc phát tượng đa cộng tuyến 4.Hồi quy phụ Một cách tin cậy để đánh giá mức độ đa cộng tuyến hồi quy phụ Hồi quy phụ hồi quy biến giải thích X i theo biến giải 2 thích cịn lại R tính từ hồi quy ta ký R i Mối liên hệ F i R i : Ri2 /( k − 2) F= (1 − Ri ) /( n − k + 1) F i tuân theo phân phối F với k – n-k +1 bậc tự Trong n , k số biến giải thích kể hệ số chặn mơ hình R i hệ số xác định hồi quy biến X i theo biến X khác Nếu F i tính vượt điểm tới hạn F i (k2,n-k+1) mức ý nghĩa cho có nghĩa X i có liên hệ tuyến tính với biến X khác Nếu F i có ý nghĩa mặt thống kê phải quyến định liệu biến X i bị loại khỏi mơ hình Một trở ngại kỹ thuật hồi quy phụ gánh nặng tính tốn Nhưng ngày nhiều chương trình máy tính đảm đương cơng việc tính tốn 5.Nhân tử phóng đại phương sai Một thước đo khác tượng đa cộng tuyến nhân tử phóng đại phương sai gắn với biến X i , ký hiệu VIF(X i ) VIF(X i ) thiết lập sở hệ số xác định R i hồi quy biến X i với biến khác sau: VIF(X i ) = − R i (5.15) Nhìn vào cơng thức (5.15) giải thích VIF(X i ) tỷ số chung phương sai thực β hồi quy gốc Y biến X phương sai ước lượng β hồi quy mà X i trực giao với biến khác Ta coi tình lý tưởng tình mà biến độc lập không tương quan với nhau, VIF so sánh tình hng thực tình lý tưởng Sự so sánh khơng có ích nhiều khơng cung cấp cho ta biết phải làm với tình Nó cho biết tình không lý tưởng 2 Đồ thị mối liên hệ R i VIF V IF 100 R i 1 0,9 Như hình vẽ R i tăng từ 0,9 đến VIF tăng mạnh Khi R i =1 VIF vơ hạn Có nhiều chương trình máy tính cho biết VIF biến độc lập hồi quy Độ đo Theil Khía cạnh chủ yếu VIF xem xét đến tương quan qua lại biến giải thích Một độ đo mà xem xét tương quan biến giải thích với biến giải thích độ đo Theil Độ đo Theil định nghĩa sau k ∑ 2 m = R - i = ( R - R −i ) Trong R hệ số xác định bội hồi quy Y biến X , X … X k mơ hình hồi quy: Y = β + β X 2i + β X 3i + …… + β k X ki + U i R −i hệ số xác định bội mơ hình hồi quy biến Y biên X , X , … ,X i −1 , X i +1 , … ,X k Đại lượng R 2 - R −i gọi “đóng góp tăng thêm vào” vào hệ số xác định bội Nếu X , X … X k khơng tương quan với m = đóng góp tăng thêm cộng lại R Trong trường hợp khác m nhận giá trị âm dương lớn Để thấy độ đo có ý nghĩa, xét trường hợp mơ hình có biến giải thích X X Theo ký hiệu sử dụng chương trước ta có: 2 2 m = R - ( R - r 12 ) – (R – r 13 ) 2 Tỷ số t liên hệ với tương quan riêng r 12,3 , r 13, Trong phần hồi quy bội ta biết: 2 12 2 12 2 R = r 13, 2 + (1- r ) r R = r 13 + (1- r 13 ) r 12,3 Thay công thức vào biểu thức xác định m ta được: 2 2 2 2 m = R - (r 12 + (1- r 12 ) r 13, - r 12 ) - ( r 13 + (1- r 13 ) r 12,3 - r 13 ) 2 12 = R - ((1- r ) r 13, 2 13 + (1- r ) r 12, ) 2 Đặt 1- r 12 = w ; 1- r 13 = w gọi trọng số Công thức (5.16) viết lại dạng 2 m = R - (w r 13, + w r 12,3 ) Như vây độ đo Theil hiệu hệ số xác định bội tổng có trọng số hệ số tương quan riêng Như biết số độ đo đa cộng tuyến tất có ý nghĩa sử dụng hạn chế Chúng cho ta thông báo việc khơng phải lý tưởng Cịn số độ đo liên quan đến giá trị riêng thống kê Bayes khơng trình bày II Biện pháp khắc phục Sử dụng thông tin tiên nghiệm Một cách tiếp cận để giải vấn đề đa cộng tuyến phải tận dụng thông tin tiên nghiệm thông tin từ nguồn khác để ước lượng hệ số riêng Thí dụ : ta muốn ước lượng hàm sản xuất trình sản xuất có dạng : Qt =AL Trong Qt lượng sản phẩm sản xuất thời kỳ t ; Lt lao động thời kỳ t ; Kt vốn thời kỳ t ; Ut nhiễu ;A , α, β tham số mà cần ước lượng Lấy ln vế (5.17) ta : LnQt = LnA + αlnLt + βKt Ut Đặt LnQt = Q*t ; LnA = A* ; LnLt = L*t Ta Q*t = A* + αL*t + βK*t + Ut (5.18) Giả sử L|K L có tương quan cao dĩ nhiên điều dẫn đến phương sai ước lượng hệ số co giãn hàm sản xuất lớn Giả sử từ nguồn thơng tin có lới theo quy mơ mà ta biết ngành công nghiệp thuộc ngành cso lợi tức theo quy mô không đổi nghĩa α+ β =1 Với thông tin ,cách xử lý thay β = - α vào (5.18) thu : Q*t = A* + αL*t + ( - α )K*t + Ut (5.19) Q*t – K*t = A* + α(L*t – K*t ) + Ut Từ ta Đặt Q*t – K*t = Y*t L*t – K*t = Z*t ta Y*t = A* + α Z*t + Ut Thông tin tiên nghiệm giúp giảm số biến độc lập mơ hình xuống biến Z*t Sau thu ước lượng α tính từ điều kiện = – Thu thập số liệu lấy thêm mẫu mới Vì đa cộng tuyến đặc trưng mẫu nên có mẫu khác liên quan đến biến mẫu ban đầu mà đa cộng tuyến khơng nghiêm trọng Điều làm chi phí cho việc lấy mẫu khác chấp nhận thực tế Đôi cần thu thập thêm số liệu , tăng cỡ mẫu làm giảm tính nghiêm trọng đa cộng tuyến Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “ đơn giản “là bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau : Giả sử mơ hình hồi quy ta có Y biến giải thích cịn X2 X3 …Xk biến giải thích Chúng ta thấy X2 tương quan chặt chẽ với X3 Khi nhiều thơng tin Y chứa X2 chứa X3 Vậy ta bỏ biến X2 X3 khỏi mơ hình hồi quy , ta giải vấn đề đa cộng tuyến phần thông tin Y Bằng phép so sánh R2 R phép hồi quy khác mà có khơng có biến định nên bỏ biến biến X2 X3 khỏi mơ hình Thí dụ R hồi quy Y tất biến X1X2X3 …Xk 0.94; R2 loại biến X2 0.87 R2 loại biến X3 0.92 ;như trường hợp ta loại X3 Chúng ta lưu ý hạn chế biện pháp mơ hình kinh tế có trường hợp địi hỏi định phải có biến biến khác mơ hình Trong trường hợp việc loại bỏ biến phải cân nhắc cẩn thận sai lệch bỏ biến cộng tuyến với việc tăng phương sai ước lượng hệ số biến mơ hình Sử dụng sai phân cấp Thủ tục trình bày chương – tự tương quan Mặc dù biện pháp giảm tương quan qua lại biến chúng sử dụng giải pháp cho vấn đề đa cộng tuyến Thí dụ Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X2 X3 theo mơ hình sau : Yt = β + β X 2t + β 3X 3t+ U t (5.20) Trong t thời gian Phương trình với t với t-1 nghĩa : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 (5.21) Từ (5.20) (5.21) ta : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt (5.23) Mô hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng đa cộng tuyến dù X2 X3 tương quan cao khơng có lý tiên nghiệm chắn sai phân chúng tương quan cao Tuy nhiên biến đổi sai phân bậc sinh số bấn đề chẳng hạn số hạng sai số Vt (5.23) khơng thỏa mãn giả thiết mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa lại tồi tệ bệnh 5.Giảm tương quan hồi quy đa thức Nét khác hồi quy đa thức biến giải thích xuất với lũy thừa khác mơ hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà không giảm đa cộng tuyến thù người ta phải xem xét đến kỹ thuật “ đa thức trực giao “ Một số biện pháp khác Ngoài biện pháp kể người ta sử dụng số biện pháp khác để cứu chữa bệnh sau : - Hồi quy thành phần - Sử dụng ước lượng từ bên Nhưng tất biên pháp trình bày làm giải pháp cho vấn đề đa cộng tuyến phụ thuộc vào chất tập số liệu tính nghiêm trọng vấn đề đa cộng tuyến B VÍ DỤ MINH HỌA Cho bảng số liệu sau: Y X Z 130771 321853 435319 150033 342607 474855 177983 382137 527055 217434 445221 603688 253686 511221 701906 298543 584793 822432 358629 675916 951456 493300 809862 1108752 589746 1091876 1436955 632326 1206819 1580461 770211 1446901 1898664 827032 1794466 2415204 http://gso.gov.vn/default.aspx?tabid=715( tổng cục thống kê từ năm 2000 -2011) Trong đó: Y tích lũy tài sản quốc gia theo giá thực tế( tỉ đồng) X tiêu dùng cuối quốc gia theo giá thực tế( tỉ đồng) Z tổng thu nhập quốc gia theo giá thực tế( tỉ đồng) Yêu cầu: Hãy phát hiện tượng đa cộng tuyến tìm biện pháp khắc phục Với α = 5% Lập mơ hình hàm hồi quy Ta có mơ hình hàm hồi quy tuyến tính thể phụ thuộc tích lũy tài sản quốc gia vào tiêu dùng cuối tổng thu nhập quốc gia: Mơ hình ước lượng hàm hồi quy: = + Xi + Zi Từ bảng số liệu sử dụng phần mềm eviews ta kết sau: Dependent Variable: Y Method: Least Squares Date: 03/24/14 Time: 22:04 Sample: 12 Included observations: 12 Variable Coefficient Std Error t-Statistic Prob C X Z 15390.94 1.035505 -0.404423 30957.40 0.750666 0.572356 0.497165 1.379448 -0.706593 0.6310 0.2011 0.4977 R-squared 0.973185 Adjusted R-squared 0.967227 S.E of regression 44621.06 Sum squared resid 1.79E+10 Log likelihood -143.7727 F-statistic 163.3196 Prob(F-statistic) 0.000000 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion Hannan-Quinn criter Durbin-Watson stat 408307.8 246478.9 24.46212 24.58334 24.41723 1.004286 Từ kết ước lượng thu hàm hồi quy mẫu sau: i = 15390.94 + 1.035505Xi – 0.404423Yi I Phát hiện tượng đa cộng tuyến Cách 1: Hệ số xác định bội R cao t thấp Với α = 0.05 ta có: = = 2.262 Nhận xét: Từ bảng kết eviews ta có: R2 = 0.973185 > 0.8 Thống kê t hệ số tương ứng với biến X T = 1.379448 < 2.262 Thống kê t hệ số tương ứng với biến Z T = 0.706593 < 2.262 Vậy R2 cao t thấp Suy có tượng đa cộng tuyến Cách 2: Hệ số tương quan biến giải thích cao Kết từ eviews ta thấy tương quan biến giải thích: X Z X 1.000000 0.999305 Z 0.999305 1.000000 Ta có: r12 = 0.999305 > 0.8  Như có sở kết luận tượng đa cộng tuyến mơ hình Cách 3: Hồi quy phụ Ta hồi quy biến X theo biến Z kết sau: Dependent Variable: X Method: Least Squares Date: 03/28/14 Time: 22:54 Sample: 12 Included observations: 12 Variable Coefficient Std Error t-Statistic Prob C Z -21542.70 0.761934 11120.44 0.008990 -1.937217 84.75422 0.0815 0.0000 R-squared Adjusted R-squared S.E of regression Sum squared resid Log likelihood F-statistic Prob(F-statistic) 0.998610 0.998471 18797.19 3.53E+09 -134.0309 7183.278 0.000000 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion Hannan-Quinn criter Durbin-Watson stat 801139.3 480684.5 22.67181 22.75263 22.64189 1.116681 Ta có α = 0.05 ta kiểm định giả thiết H : X khơng có tượng đa cộng tuyến với Z H1 : X có tượng đa cộng tuyến với Z Nhận xét: Ta thấy giá trị p-value thống kê F 0.000000 < α =0.05 => bác bỏ giả thiết H chấp nhận giả thiết H1 Vậy có sở khẳng định mơ hình có tượng đa cộng tuyến Cách 4: : Độ đo Theil Ta có hệ số tương quan biến Y X,Z sau: Y X Z Y 1.000000 0.985747 0.983624 X 0.985747 1.000000 0.999305 Z 0.983624 0.999305 1.000000 2 r và,r Để tính độ đo Theil ta phải tính R , 12,3 13,2 Theo công thức biết chương hai ta có 2 r13,2 = r12,3 = = 0.05257 Ta có: = 0.96752 Trong phần hồi quy bội ta biết: 2 2 2 2 R = r 12 + (1- r 12 ) r 13, R = r 13 + (1- r 13 ) r 12,3 Vậy R = 0.96752 + (1 – 0.96752) 0.05257 0.96581 Mặt khác ta có: 2 2 2 2 2 m = R - (r 12 + (1- r 12 ) r 13, - r 12 ) - ( r 13 + (1- r 13 ) r 12,3 - r 13 ) 2 = R - ((1- r 12 ) r 13, + (1- r 13 ) r 12,3 ) Suy ra: m = 0.96581 – ((1 - ) 0.05257) + (1 - 0.05257) = 0.96261 Vậy m khác nên chứng tỏ có tượng đa cộng tuyến sảy Và mức độ đa cộng tuyến 0.98654 II Biện pháp khắc phục Cách 1: Bỏ biến 2 Bước 1: Hồi quy Y theo X => R1 , R1 2 Bước 2: Hồi quy Y theo Z => R2 , R2 2 Bước 3: So sánh R R hồi quy Bước 4: Kết luận * Bước 1: Hồi quy Y theo X Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 09:16 Sample: 2000 2011 Included observations: 12 Variable Coefficient C 3365.264 X 0.505458 R-squared 0.971698 Adjusted R-squared 0.968868 S.E of regression 43489.57 Sum squared resid 1.89E+10 Log likelihood -144.0966 Durbin-Watson stat 1.148020 Std Error t-Statistic 25203.61 0.133523 0.027279 18.52920 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) Prob 0.8964 0.0000 408307.8 246478.9 24.34944 24.43026 343.3314 0.000000 Std Error t-Statistic 27563.81 -0.250931 0.022283 17.25817 Mean dependent var S.D dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic) Prob 0.8069 0.0000 408307.8 246478.9 24.48725 24.56807 297.8446 0.000000 * Bước 2: Hồi quy Y theo Z Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 09:18 Sample: 2000 2011 Included observations: 12 Variable Coefficient C -6916.624 Z 0.384564 R-squared 0.967516 Adjusted R-squared 0.964268 S.E of regression 46591.90 Sum squared resid 2.17E+10 Log likelihood -144.9235 Durbin-Watson stat 1.252724 * Bước : Từ kết hồi quy ta có: R = 0.973185 R12 2 R = 0.971698 = 0.968868 R = 0.967227 R12 = 0.967516 R2 = 0.964268 * Bước 4: Ta tiến hành so sánh Và kết luận trường hợp loại biến Z Cách 2: Thu thập thêm số liệu để tang kích thước mẫu Ta thu thập thêm số mẫu để tăng kích thước bảng số liệu sau: Y 130771 150033 177983 217434 253686 298543 358629 493300 589746 632326 770211 827032 892837 942822 992838 1023847 1092733 1123883 1200389 X 321853 342607 382137 445221 511221 584793 675916 809862 1091876 1206819 1446901 1794466 1811238 1899678 1915089 1997283 2001838 2078934 2121838 Z 435319 474855 527055 603688 701906 822432 951456 1108752 1436955 1580461 1898664 2415204 2523146 2600198 2822899 3016754 3199767 3202984 3300484 Từ bảng số liệu, sử dụng phần mềm eview ta kết sau: Dependent Variable: Y Method: Least Squares Date: 03/29/14 Time: 08:31 Sample: 19 Included observations: 19 Variable Coefficient Std Error t-Statistic Prob C 5556.839 20959.22 0.265126 0.7943 X 0.242395 0.112216 2.160078 0.0463 Z 0.189806 0.073213 2.592498 0.0196 R-squared 0.989332 Mean dependent var 640475.9 Adjusted R-squared 0.987999 S.D dependent var 372159.5 S.E of regression 40770.30 Akaike info criterion 24.21323 Sum squared resid 2.66E+10 Schwarz criterion 24.36236 Log likelihood -227.0257 Hannan-Quinn criter 24.23847 Durbin-Watson stat 1.096358 F-statistic 741.9164 Prob(F-statistic) 0.000000 Ta có mơ hình hồi quy mới: i = 5556.839 + 0.242395Xi + 0.189806Zi t1 =0.265126 t2 = 2.160078 t3 = 2.592498 R2 = 0.989332 Mô hình sau tăng kích thước mẫu có R2 gần một, tỷ số t cao nên mơ hình ước lượng phù hợp ... giảm tính nghiêm trọng đa cộng tuyến Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “ đơn giản “là bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau... thuộc lẫn thể dạng hàm số II CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN 1.R cao tỉ số t thấp 2 Trong trường hợp R cao (thường R > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến 2.Tương quan... 0.05257) + (1 - 0.05257) = 0.96261 Vậy m khác nên chứng tỏ có tượng đa cộng tuyến sảy Và mức độ đa cộng tuyến 0.98654 II Biện pháp khắc phục Cách 1: Bỏ biến 2 Bước 1: Hồi quy Y theo X => R1 , R1 2