Các cách phát hiện đa cộng tuyến các biện pháp khắc phục hiện tượng đa cộng tuyến ví dụ minh họa

LỜI MỞ ĐẦU Trong mơ hình phân tích hồi quy bội, giả thiết biến giải thích mơ hình độc lập tuyến tính với nhau, tức hệ số hồi quy biến cụ thể số đo tác động riêng phần biến tương ứngkhi tất biến khác mô hình giữ cố định Tuy nhiên giả thiết bị vi phạm tức biến giải thích có tương quan khơng thể tách biệt ảnh hưởng riêng biệt biến Hiện tượng gọi đa công tuyến.Vậy phải làm để nhận biết khắc phục tượng này.Chúng ta nghiên cứu đề tài: “Các cách phát đa cộng tuyến Các biện pháp khắc phục tượng đa cộng tuyến Ví dụ minh họa” A- Lý thuyết Khái niệm Khi xây dựng mô hình hồi quy bội, trường hợp lý tưởng biến Xi mơ hình khơng có tương quan với nhau; biến Xi thông tin riêng Y, thông tin khơng chứa biến Xi khác Trong thực hành, điều xảy ta không gặp tượng đa cộng tuyến Ở trường hợp ngược lại, ta gặp tượng đa cộng tuyến hoàn hảo Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích X1, X2, X3, Xk Y1 = β1 +β2X2i +β3X3i+ +βkXki+Ui Các biến X2, X3, , Xk gọi đa cộng tuyến hoàn hảo hay cịn gọi đa cộng tuyến tồn phần tồn λ2, , λk không đồng thời cho: λ2X2 + λ3X3 + + λkXk = với i Các biến X2, X3 , Xk gọi đa cộng tuyến khơng hồn hảo tồn λ2, , λk không đồng thời cho λ2X2+ λ3X3+ + λkXk+ Vi= (1.1) đó: Vi sai số ngẫu nhiên Trong (1.1) giả sử ∃λi ≠ ta biểu diễn: X2i= – X4i (1.2) Từ (1.2) ta thấy, tượng đa cộng tuyến xảy biến tổ hợp tuyến tính biến cịn lại sai số ngẫu nhiên, hay nói cách khác có biến biểu diễn xấp xỉ tuyến tính qua biến lại Nguyên nhân Do phương pháp thu thập liệu: Các giá trị biến độc lập phụ thuộc lẫn mẫu không phụ thuộc lẫn tổng thể Ví dụ: Người thu nhập cao có xu hướng chi tiêu nhiều Điều với mẫu mà khơng với tổng thể Trong tổng thể có quan sát cá nhân có thu nhập cao chi tiêu ngược lại +Các dạng mơ hình dễ xảy đa cộng tuyến: -Hồi quy dạng biến độc lập bình phương xảy đa cộng tuyến, đặc biệt phạm vi giá trị ban đầu biến độc lập nhỏ -Các biến độc lập vĩ mô quan sát theo chuỗi thời gian Hậu Nếu có cộng tuyến gần hồn hảo: Phương sai hiệp phương sai ước lượng OLS lớn Khoảng tin cậy rộng Tỉ số t khơng có ý nghĩa R2 cao tỉ số t có ý nghĩa Các ước lượng OLS sai số chuẩn chúng trở nên nhạy với thay đổi nhỏ liệu Dấu ước lượng hệ số hồi quy sai Thêm vào hay bớt biến cuộng tuyến với biến khác, mơ hình sé thay đổi dấu thay đổi độ lớn ước lượng Đa cộng tuyến tượng theo mẫu, nghĩa cho dù biến độc lập Xi không tương quan tuyến tính tổng thể chúng tương quan tuyến tính mẫu cụ thể Do cỡ mẫu lớn tượng đa cơng tuyến nghiêm trọng cỡ mẫu nhỏ Các cách phát đa cộng tuyến a R2 cao tỷ số t thấp: Trong trường hợp R2 cao ( thường R2> 0.8) mà tỷ số t thấp dấu hiệu tượng đa cộng tuyến b Tương quan cặp biến giải thích cao : Nếu hệ số tương quan cặp biến giải thích cao (vượt 0.8) có khả tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường khơng xác Có trường hợp tương quan cặp khơng cao có đa cộng tuyến Thí dụ, ta có biến giải thích sau: X1= (1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0) X2= (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X3=(1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0 ) Rõ ràng X3 = X1+ X2 nghĩa ta có đa cộng tuyến hoàn hảo tương quan cặp : r12 , r13 Như đa cộng tuyến xảy mà khơng có báo trước tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích c Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc O.Farrar Glouber đề nghị sử dụng hệ thống tương quan riêng Trong hồi quy Y biến X2,X3,X4 Ta nhận thấy r21,234 cao r212,34 , r213,24 , r214,23 tương đối thấp điều gợi ý X2,X3 X4 có tương quan cao biến thừa Dù tương quan riêng có ích khơng đảm bảo cung cấp cho ta hướng dẫn xác việc phát tượng đa cộng tuyến d Hồi quy phụ: Một cách tin cậy để đánh giá mức độ đa cộng tuyến hồi quy phụ.Hồi quy phụ hồi quy biến giải thích theo biến giải thích cịn lại R tính từ hồi quy ta ký hiệu R2i Mối liên hệ Fi R2i Fi tuân theo phân phối F với k-2 n-k+1 bậc tự do.Trong n: cỡ mẫu ,k: biến số giải thích kể hệ số chặn mơ hình R2i hệ số xác định hồi quy biến Xi có liên hệ với biến X khác Nếu Fi có ý nghĩa mặt thống kê phải định biến Xi phải loại khỏi mơ hình Một trở ngại kỹ thuật hồi quy phụ gánh nặng tính tốn Nhưng ngày nhiều chương trình máy tính đảm đương cơng việc tính tốn e Nhân tử phóng đại phương sai: Phân tử phóng đại phương sai gắn với biến Xi ký hiệu : VIF(Xi)=1/(1-R2i) Nhìn vào cơng thức giải thích VIF(Xi) tỷ số phương sai thực βi hồi quy gốc Y với biến X phương sai ước lượng βi hồi quy mà Xi trực giao với biến khác Ta coi tình lý tưởng tình mà biến độc lập không tương quan với nhau,và VIF so sánh tình thực với tình lý tưởng Sự so sánh khơng có ích nhiều khơng cung cấp cho ta biết phải làm với tình Nó cho biết tình hình khơng lý tưởng Đồ thị mối liên hệ R2i VIF là: VIF Như hình vẽ ra, R2i tăng từ 0,9 đến VIF tăng mạnh Khi R2i =1 VIF vơ hạn Có nhiều chương trình máy tính cho biết VIF biến độc lập hồi quy f Độ đo Theil Khía cạnh chủ yếu VIF xem xét đến tương quan qua lại biến giải thích Một độ đo mà xem xét tương quan biến giải thích với biến giải thích độ đo Theil Độ đo Theil định nghĩa sau: m= R2i (R2 –R2-i) Trong R2-i hệ số xác định bội hồi quy Y biến X2, X3, … ,Xk mơ hình hồi quy: Y = β1 + β2 X 2i + β3 X 3i + …… + β k Xki + Ui R2-i hệ số xác định bội mô hình hồi quy biến Y biên X2, X3 , … ,Xi-1 , Xi+1 , … ,Xk Đại lượng R2 – R2-i gọi “đóng góp tăng thêm vào” hệ số xác định bội Nếu X2, X3 … Xk khơng tương quan với m = đóng góp tăng thêm cộng lại R Trong trường hợp khác m nhận giá trị âm dương lớn Để thấy độ đo có ý nghĩa, xét trường hợp mơ hình có biến giải thích X2 X3 Theo ký hiệu sử dụng chương trước ta có: m= R2 –(R2 –r212) – (R2 –r213) -Tỷ số t liên hệ với tương quan riêng r312,3 , r213,2 Trong phần hồi quy bội ta biết: -R2 = r212 +(1-r212) r213,2 -R2 = r213 +(1-r213) r212,3 Thay công thức vào biểu thức xác định m ta được: m= R2 – (r212 +(1 – r212)r213,2 –r212) – (r213 +(1-r213) r212,3 – r213) = R2 – ((1-r212) r213,2 + (1 – r213)r212,3) * Đặt 1-r212=w2; 1-r213=w3 gọi trọng số Công thức * viết lại dạng: m= R2 – (w2r213,2 +w3r212,3) Như vây độ đo Theil hiệu hệ số xác định bội tổng có trọng số hệ số tương quan riêng Như biết số độ đo đa cộng tuyến tất có ý nghĩa sử dụng hạn chế Chúng cho ta thông báo việc khơng phải lý tưởng Cịn số độ đo liên quan đến giá trị riêng thống kê Bayes khơng trình bày Các cách khắc phục 5.1 Sử dụng thông tin tiên nghiệm Một cách tiếp cận để giải vấn đề đa cộng tuyến phải tận dụng thông tin tiên nghiệm thông tin từ nguồn khác để ước lượng hệ số riêng Thí dụ : ta muốn ước lượng hàm sản xuất q trình sản xuất có dạng : (1.3) Trong lượng sản phẩm sản xuất thời kỳ t; lao động thời kỳ t; vốn thời kỳ t; số hạng nhiễu ; A , α , β tham số mà cần ước lượng Lấy ln vế (1.3) ta : Ln = LnA + αln+ β Đặt Ln =; LnA = ; Ln = Ta =+α+β+ (1.4) Giả sử K L có tương quan cao dĩ nhiên điều dẫn đến phương sai ước lượng hệ số co giãn hàm sản xuất lớn Giả sử từ nguồn thông tin mà ta biết ngành cơng nghiệp thuộc ngành có lợi tức theo quy mơ khơng đổi, nghĩa α +β = Với thông tin này, cách xử lý thay β = −α vào (1.4) thu : = + α+ (1−α)+ (1.5) Từ ta – = + α() + Đặt – = −= ta được: =+ α+ Thông tin tiên nghiệm giúp giảm số biến độc lập mơ hình xuống cịn biến Sau thu ước lượng α tính từ điều kiện =1− 5.2 Thu thập thêm số liệu lấy thêm mẫu Vì đa cộng tuyến đặc trưng mẫu nên có mẫu khác liên quan đến biến mẫu ban đầu mà đa cộng tuyến khơng nghiêm trọng Điều làm chi phí cho việc lấy mẫu khác chấp nhận thực tế Đôi cần thu thập thêm số liệu, tăng cỡ mẫu làm giảm tính nghiêm trọng đa cộng tuyến 5.3 Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “đơn giản nhất” bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau: Giả sử mơ hình hồi quy ta có Y biến giải thích cịn , ,…, biến giải thích Chúng ta thấy tương quan chặt chẽ với Khi nhiều thơng tin Y chứa chứa Vậy ta bỏ biến khỏi mơ hình hồi quy, ta giải vấn đề đa cộng tuyến phần thông tin Y Bằng phép so sánh phép hồi quy khác mà có khơng có biến định nên bỏ biến biến khỏi mơ hình Thí dụ hồi quy Y tất biến 0.94; loại biến 0.87 loại biến 0.92; trường hợp ta loại Chúng ta lưu ý hạn chế biện pháp mô hình kinh tế có trường hợp địi hỏi định phải có biến biến khác mơ hình Trong trường hợp việc loại bỏ biến phải cân nhắc cẩn thận sai lệch bỏ biến cộng tuyến với việc tăng phương sai ước lượng hệ số biến mơ hình 5.4 Sử dụng phân sai cấp Mặc dù biện pháp giảm tương quan qua lại biến chúng sử dụng giải pháp cho vấn đề đa cộng tuyến Thí dụ có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc theo mơ hình sau: = +++ (1.6) Trong t thời gian Phương trình với t với t-1 nghĩa : = +++ (1.7) Từ (1.6) (1.7) ta được: −=()+)+ Đặt (1.8) =; −; ; Vt=Ut-Ut-1 Ta : (1.9) Mơ hình hồi quy dạng (1.9) thường làm giảm tính nghiêm trọng đa cộng tuyến dù tương quan cao khơng có lý tiên nghiệm chắn sai phân chúng tương quan cao Tuy nhiên biến đổi sai phân bậc sinh số vấn đề chẳng hạn số hạng sai số (1.9) khơng thỏa mãn giả thiết mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa lại cịn tồi tệ bệnh 5.5 Giảm tương quan hồi quy đa thức Nét khác hồi quy đa thức biến giải thích xuất với lũy thừa khác mơ hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà khơng giảm đa cộng tuyến người ta phải xem xét đến kỹ thuật “đa thức trực giao” 5.6 Một số biện pháp khác Ngoài biện pháp kể người ta sử dụng số biện pháp khác sau: Bỏ qua đa cộng tuyến t > Bỏ qua đa cộng tuyến mơ hình cao mơ hình hồi quy phụ Bỏ qua đa cộng tuyến hồi quy mơ hình dùng để dự báo khơng phải kiểm định Hồi quy thành phần Sử dụng ước lượng từ bên Nhưng tất biên pháp trình bày làm giải pháp cho vấn đề đa cộng tuyến phụ thuộc vào chất tập số liệu tính nghiêm trọng vấn đề đa cộng tuyến B-Bài Tập Cho bảng số liệu sau: Y 130771 150033 177983 217434 253686 298543 358629 493300 589746 632326 770211 827032 X 321853 342607 382137 445221 511221 584793 675916 809862 1091876 1206819 1446901 1794466 Z 435319 474855 527055 603688 701906 822432 951456 1108752 1436955 1580461 1898664 2415204 ( tổng cục thống kê năm 2000 -2011) Y tài sản quốc gia ( tỉ đồng) X tiêu dùng quốc gia ( tỉ đồng) Z tổng thu nhập ( tỉ đồng) Hãy phát hiện tượng đa cộng tuyến tìm biện pháp khắc phục Với mức ý nghĩa α = 5% a Phát hiện tượng đa cộng tuyến - Ta có mơ hình hồi quy tuyến tính thể phụ thuộc tài sản quốc gia theo tổng thu nhập tổng thu nhập: Yi = β1 + β2Xi + β3Zi + Ui Với mức ý nghĩa α = 5%, phát đa cộng tuyến khắc phục - Ta có mơ hình ước lượng hàm hồi quy thể phụ thuộc tài sản quốc gia theo tổng thu nhập, tổng thu nhập: Ŷi = + Xi + Zi Từ bảng số liệu, sử dụng phần mềm eviews ta có kết sau: Dependent Variable: Y Method: Least Squares Date: 04/14/16 Time: 21:17 Sample: 12 Included observations: 12 Coefficie Variable X Z C nt 1.035505 -0.404423 15390.94 Std Error t-Statistic Prob 0.750666 0.572356 30957.40 1.379448 -0.706593 0.497165 0.2011 0.4977 0.6310 408307 R-squared 0.973185 Mean dependent var 246478 Adjusted R-squared 0.967227 S.D dependent var 24.4621 S.E of regression 44621.06 Akaike info criterion 24.5833 Sum squared resid 1.79E+10 Schwarz criterion 24.4172 Log likelihood -143.7727 Hannan-Quinn criter 1.00428 F-statistic Prob(F-statistic) 163.3196 0.000000 Durbin-Watson stat Bảng  Từ bảng eviews ta thu hàm hồi quy mẫu sau: Ŷi = 15390.94 + 1.035505Xi – 0.404423Zi Có t (n – k)α/2 = t90.025 = 2.262 Hệ số xác định bội R2 cao t thấp - Từ bảng kết eviews ta có: R2 = 0.973185 > 0.8 t1 = 0.497165 < 2.262 t2 = 1.379448 < 2.262 t3 = -0.706593 < 2.262 Ta thấy hệ số xác định bội R2 mơ hình cao t thấp Vậy nghi ngờ tượng đa cộng tuyến xảy mơ hình Hệ số tương quan biến giải thích cao Sử dụng phần mềm eviews ta có bảng sau: Y X Z Y 1.000000 0.985747 0.983624 X 0.985747 1.000000 0.999305 Z 0.983624 0.999305 1.000000 Từ bảng ta thấy hệ số tương quan cặp biến giải thích cao Hệ số tương quan biến X Z 0.999305 > 0.8 Có thể nghi ngờ có tượng đa cộng tuyến xảy mơ hình Hồi quy phụ - Ta tiến hành hồi quy X theo Z Sử dụng phần mềm eviews ta có bảng sau: Dependent Variable: X Method: Least Squares Date: 04/16/16 Time: 10:21 Sample: 12 Included observations: 12 Coefficie Variable Z C nt 0.761934 -21542.70 Std Error t-Statistic Prob 0.008990 11120.44 84.75422 -1.937217 0.0000 0.0815 801139 R-squared 0.998610 Mean dependent var 480684 Adjusted R-squared 0.998471 S.D dependent var 22.6718 S.E of regression 18797.19 Akaike info criterion 22.7526 Sum squared resid Log likelihood 3.53E+09 -134.0309 Schwarz criterion Hannan-Quinn criter 22.6418 1.11668 F-statistic Prob(F-statistic) 7183.278 0.000000 Durbin-Watson stat Bảng Với α = 0.05 ta kiểm định giả thiết: H0: X khơng có tượng đa cộng tuyến với Z H1: Z có tượng đa cộng tuyến với Z Hay tương đương: H0: R2X = H1: R2X # Xây dựng tiêu chuẩn kiểm định F = Nếu H0 F ~ F (k - 2; n – k +1) Ta có miền bác bỏ Wα = {ftn: ftn > fα(k – 2, n – k + 1)} Từ bảng ta có ftn = 7183.278 Với n = 12, k = 3, α = 0,05 ta có f0.05(1, 10) = 24.2 Có ftn > f0.05(1, 10) nên ftn ϵ Wα  Bác bỏ H0 chấp nhận H1 Vậy với mức ý nghĩa 5% X có mối quan hệ tuyến tính với Z Kết luận: Mơ hình có xảy tượng đa cộng tuyến Đo độ Theil - Xét mơ hình hồi quy Y theo X ta kết quả: Dependent Variable: Y Method: Least Squares Date: 04/16/16 Time: 10:26 Sample: 12 Included observations: 12 Coefficie Variable X C nt 0.505458 3365.264 Std Error t-Statistic Prob 0.027279 25203.61 18.52920 0.133523 0.0000 0.8964 408307 R-squared 0.971698 Mean dependent var 246478 Adjusted R-squared 0.968868 S.D dependent var 24.3494 S.E of regression 43489.57 Akaike info criterion 24.4302 Sum squared resid 1.89E+10 Schwarz criterion 24.3195 Log likelihood -144.0966 Hannan-Quinn criter 1.14802 F-statistic Prob(F-statistic) 343.3314 0.000000 Durbin-Watson stat Bảng * Xét mơ hình hồi quy Y theo Z ta kết sau: Dependent Variable: Y Method: Least Squares Date: 04/16/16 Time: 10:27 Sample: 12 Included observations: 12 Coefficie Variable Z C nt 0.384564 -6916.624 Std Error t-Statistic Prob 0.022283 27563.81 17.25817 -0.250931 0.0000 0.8069 408307 R-squared 0.967516 Mean dependent var 246478 Adjusted R-squared 0.964268 S.D dependent var 24.4872 S.E of regression 46591.90 Akaike info criterion 24.5680 Sum squared resid 2.17E+10 Schwarz criterion 24.4573 Log likelihood -144.9235 Hannan-Quinn criter 1.25272 F-statistic 297.8446 Durbin-Watson stat Prob(F-statistic) 0.000000 Bảng Từ bảng hồi quy (1), (4) (5) ta có kết sau: r212 = 0.971698 r213 = 0.967516 R2 = 0.973185 Đo độ Theil: m = R2 – (R2 - r212) – (R2 - r213) = 0.973185 – (0.973185 – 0.971698) – (0.973185 – 0.967516) = 0.966029  Vậy độ đo Theil đa cộng tuyến 0.966029 b Khắc phục 1, Bỏ biến Hồi quy eviews ta có kết : Khi ta bỏ biến X: Khi ta bỏ biến Z : + Bằng phép so sánh R2 phép hồi quy mà có biến X, Z mà biết định bỏ biến khỏi mơi hình : - R2 loại bỏ X : 0,967516 - R2- loại bỏ Z : 0,971698 Như trường hợp nên bỏ biến Z bỏ biến Z khỏi mơ hình hàm hồi quy mẫu giải thích 97,1698 % tỷ lệ giải thích cao so với loại bỏ biến X Khắc phục đa cộng tuyến phương pháp thu thập thêm số liệu để tăng kích thước mẫu - Thu thập thêm số liệu sau: Y 130771 150033 177983 217434 253686 298543 358629 493300 589746 632326 770211 827032 X 321853 342607 382137 445221 511221 584793 675916 809862 1091876 1206819 1446901 1794466 Z 435319 474855 527055 603688 701906 822432 951456 1108752 1436955 1580461 1898664 2415204 892837 942822 992838 1811238 1899678 1915089 2523146 2600198 2822899 1023847 1092733 1997283 2001838 3016754 3199767 1123883 2078934 3202984 1200389 2121838 3300484 - Sử dụng phân mềm eviews thu kết sau: Có mơ hình hồi quy mẫu I = 0,242395 + 0,189806+ 5556,839     T1 = 2,1600078 T2 = 2,592498 T3 = 0,265126 R2 = 0,989332 Mơ hình sau tăng kích thước mẫu có R2 gần 1, tỉ số t cao nên mơ hình ước lượng phù hợp Kết Luận: Có nhiều cách phát khắc phục tượng đa cộng tuyến khác Mỗi phương pháp có hạn chế định, ta cần cân nhắc kĩ lưỡng để mang kết đáng tin cậy ... tổng thu nhập ( tỉ đồng) Hãy phát hiện tượng đa cộng tuyến tìm biện pháp khắc phục Với mức ý nghĩa α = 5% a Phát hiện tượng đa cộng tuyến - Ta có mơ hình hồi quy tuyến tính thể phụ thuộc tài... giảm tính nghiêm trọng đa cộng tuyến 5.3 Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “đơn giản nhất” bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành... biện pháp khác Ngoài biện pháp kể người ta sử dụng số biện pháp khác sau: Bỏ qua đa cộng tuyến t > Bỏ qua đa cộng tuyến mơ hình cao mơ hình hồi quy phụ Bỏ qua đa cộng tuyến hồi quy mơ hình dùng