đa cộng tuyến

TRƯỜNG ĐẠI HỌC THƯƠNG MẠI BÀI THẢO LUẬN HIỆN TƯỢNG ĐA CỘNG TUYẾN Mục lục I LÝ LUẬN CƠ BẢN VỀ HIỆN TƯỢNG ĐA CỘNG TUY ẾN Khái niệm đa cộng tuyến nguyên nhân a) Khái niệm Trong mơ hình hồi quy, biến độc lập có quan h ệ ch ặt v ới nhau, biến độc lập có mối quan hệ tuyến tính, nghĩa biến độc lập có t ương quan chặt, mạnh với có tượng đa cộng tuyến, hi ện tượng biến độc lập mơ hình phụ thuộc lẫn th ể đ ược dạng hàm số Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến gi ải thích X1, X2, X3, … ,Xk Yi = β1+ β2 X2i + β3 X3i + Ui , (i=1;n) Ví dụ Có hai biến độc lập A B, A tăng B tăng, A gi ảm B gi ảm… dấu hiệu đa cộng tuyến Nói cách khác hai biến đ ộc l ập có quan hệ mạnh với nhau, hai biến phải bi ến nh ưng thực tế mơ hình nhà nghiên cứu lại tách làm biến Hiện tượng đa c ộng tuyến vi phạm giả định mơ hình hồi qui tuyến tính cổ điển biến độc lập khơng có mối quan hệ tuyến tính với b) Nguyên nhân Do chất mối quan hệ biến số: chẳng hạn biến v ốn biến lao động doanh nghiệp ngành có quan hệ ến tính chặt doanh nghiệp nhiều vốn vốn thường s dụng nhi ều lao động Tương tự vậy, giá mặt hàng A giá mặt hàng bổ sung B có mối quan hệ tương quan chặt giá m ặt hàng A cao giá mặt hàng B thường cao theo Do mơ hình v ới biến biến độc lập thường có tượng đa cộng tuyến cao Mơ hình có dạng đa thức: Biến X hay thương có quan hệ tuyến tính chặt, đặc biệt biến X nhận giá trị m ột kho ảng nh ỏ Do mơ hình dạng đa thức thường xuất vấn đề đa c ộng ến cao Mẫu không mang tính đại diện: chẳng hạn việc lấy mẫu ch ỉ h ạn chế nhóm nhỏ, có đặc trưng giống nhau, làm tăng m ức độ cộng ến biến số Ước lượng có đa cộng tuyến Ta xét ví dụ a) Đa cộng tuyến hồn hảo Nếu, ví dụ, hảo =1–3 +3 = 1, có trường hợp đa cộng ến hồn Vì thế, đưa , vào mô hình hồi quy, có tượng đa cộng tuyến hoàn hảo, nghĩa là, m ối quan h ệ tuyến tính hồn hảo hai biến giải thích Trong trường h ợp nh thế, chí khơng thể ước lượng hệ số h ồi quy, nên thực loại suy diễn thống kê b) Đa cộng tuyến khơng hồn hảo Trái lại, có +3 = , hạng nhiễu ngẫu nhiên, có trường hợp đa cộng tuyến khơng hồn h ảo, =1 Vì thế, trường hợp này, khơng có mối quan hệ ến tính hồn h ảo hai biến Sự diện hạng nhiễu vi, làm giảm mối quan hệ hoàn hảo biến Hậu đa cộng tuyến Phương sai độ lệch tiêu chuẩn hệ số hồi quy mẫu số r ất l ớn a) b) Khoảng tin cậy cho trở nên rộng, nghĩa ước lượng trở nên xác c) Hệ số ước lượng dễ ý nghĩa thống kê Sai số chuẩn lớn làm cho tỷ lệ số t tr nên bé, làm m ất kh ả bác bỏ kiểm định giả thuyết hệ số góc tương ứng với biến Như theo kết luận kiểm định ta cho biến khơng có ảnh hưởng đến biến phụ thuộc lẽ có ảnh hưởng Dấu hệ số ước lượng biến ngược với kỳ vọng: Khi phương sai var( ) lớn, nghĩa độ phân tán giá trị cao, thu từ mẫu khác biệt với giá trị đến mức nhận giá trị âm thực số dương Chẳng hạn ta nhận kết như: hệ số ước lượng biến giả mô hình cầu nhận giá trị âm sau kiểm tra yếu tố liên quan khác Một thay đổi dù bé mẫu có th ể gây s ự thay đ ổi lớn kết ước lượng.Nguyên nhân tượng đ ược lý giải di var( ) nhận giá trị lớn Điều làm cho giá trị sử dụng kết ước lượng trở nên thấp Phát tồn đa cộng tuyến Bởi đa cộng tuyến tượng mẫu quan tr ọng xu ất hi ện tập số liệu phi thực nghiệm lớn thu thập h ầu hết ngành khoa học xã hội Nhưng khơng có phương pháp nh ất đ ể phát đo lường độ mạnh Nh ững ta có vài qui t ắc kinh nghiệm số ngoại lệ Dưới vài trường hợp qui tắc kinh nghiệm này: a) cao, tỷ số t thấp: Khi > 0.8 Tồn | |< P-value > α thấp => Kết luận: Có tượng đa cộng tuyến Ngược lại, không th ỏa mãn điều kiện khơng xảy t ượng đa cộng ến b) Hồi quy phụ Hồi quy phụ hồi quy biến độc lập theo bi ến l ại Nếu hồi quy biến độc lập định bội thu kí hiệu = theo biến độc lập cịn lại hệ số xác Trong n cỡ mẫu, k số biến giải thích kể hệ số ch ặn mơ hình KĐGT : cộng tuyến = Nếu bác bỏ kết luận mơ hình có tượng đa c) Tương quan biến độc lập Hệ số tương quan = đo mức độ phụ thuộc tuyến tính X Z - = - |ρ|≤1, ρ = 0: X, Z độc lập Nếu | | > 0,8 mơ hình có tượng đa cộng tuyến d) Nhân tử phóng đại phương sai (VIF - Variance Inflating Factor): Nhân tử phóng đại phương sai gắn với biến xác định: VIF( Trong thích khác , kí hiệu VIF( )= hệ số xác định hồi quy phụ VIF >10 => Mơ hình có đa cộng tuyến cao Biện pháp khắc phục đa cộng tuyến ) qua biến giải Trước hết cần khẳng định đa cộng ến cao không gây hiệu nghiêm trọng khơng cần đến biện pháp khắc ph ục, ch ẳng hạn trường hợp sau: - Tồn đa cộng tuyến cao mơ se (βj) khơng q lớn so với j Đa cộng tuyến cao se (βj) , biến Xj khơng lớn, Xj biến mà ta quan tâm đến việc đo lường tác động lên biến Y Khi đa cộng tuyến gây hậu nghiêm trọng, v ới số li ệu chéo có số biện pháp giúp làm giảm nhẹ mức độ ảnh h ưởng nó, sau: a) Bỏ biến Giả sử mơ hình hồi quy có Y bi ến đ ược gi ải thích cịn X 2, X3, Xk biến giải thích Chúng ta thấy X2 tương quan chặt chẽ với X3 Khi nhiều thơng tin Y chứa X2 chữa X3 Vậy ta bỏ biến X2 X3 khỏi mơ hình hồi quy, ta giải vấn đề đa cộng tuyến số thơng tin Y Bằng phép só sánh R2 phép hồi quy khác mà có khơng có biến định lên bỏ biến biến X2 X3 khỏi mơ hình b) Thu thập thêm số liệu lấy thêm mẫu Vì đa cộng tuyến đặc trưng mẫu nên có th ể có m ẫu khác liên quan đén biến mẫu ban đầu mà cộng ến có th ể khơng nghiêm trọng Điều chi phí co việc lấy m ẫu khác chấp nhận thực tế Đôi cần thu thập thêm số liệu, tăng cỡ mẫu có th ể làm gi ảm tính nghiêm trọng đa cộng tuyến c) Giảm tương quan hồi quy đa thức Nét đặc biệt hồi quy đa thức biến giải thích xu ất hi ện v ới lũy thừa khác mơ hình hồi quy Trong th ực hành, để giảm t ương quan hồi quy đa thức, người ta thường sử dụng dạng độ lệch (lệch so v ới giá trị trung bình) Nếu việc sử dụng dạng độ lệch mà khơng giảm đa c ộng tuyến người ta phải xem xét đến kỹ thuật “đa th ức tr ực giao” d) Sử dụng sai phân cấp Mặc dù biện pháp giảm tương quan qua l ại gi ữa bi ến chúng sử dụng giải pháp cho vấn đề đa c ộng tuyến Thí dụ có số liệu chi thời gian biểu th ị liên h ệ gi ữa bi ến Y biến phụ thuộc X2 X3 theo mơ hình sau : Yt = β + β X 2t + β 3X 3t+ U t Trong t thời gian Phương trình v ới t v ới t1 nghĩa : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 Ta : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt Mơ hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọng c đa cộng tuyến dù X2 X3 tương quan cao khơng có lý tiên nghiệm chắn sai phân chúng tương quan cao Tuy nhiên biến đổi sai phân bậc sinh số vấn đ ề ch ẳng hạn số hạng sai số Vt (1.22) khơng thỏa mãn giả thiết mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa lại cịn tồi tệ II BÀI TẬP MINH HỌA Dựa sở lý luận ta tìm hiểu, sau phân tích tình kinh tế cụ thể để thấy cách phát kh ắc phục tượng đa cộng tuyến nào? Theo điều tra mức sống hộ gia đình m ột địa phương năm, người ta tiến hành thu thập số liệu m ẫu tiêu bi ểu với biến sau: ● Chi phí tiêu dùng Y (triệu đồng/ năm) ● Thu nhập từ lương X2 (triệu đồng/ năm) ● Thu nhập từ trồng trọt X3 (triệu đồng/ năm) ● Tiền tiết kiệm X4 (triệu đồng/ năm) Ta có bảng số liệu thu thập : n=10 ST Y X2 X3 X4 T 55.7 36.6 20.1 99.7 56.3 40.3 29.8 101.2 71.8 47.2 30.1 102.3 80.6 50.4 43.2 104.1 85.6 55.2 44.1 105.3 94.3 60.3 47.6 120.9 108.7 77.6 65.3 132.7 135.4 98.7 77.7 143.4 144.2 100 86.5 156.4 10 185.6 101.2 99.8 157.9 Lập mơ hình hàm hồi quy Ta có mơ hình hàm hồi quy ến tính th ể s ự ph ụ thu ộc chi phí tiêu dùng vào thu nhập tiền tích lũy: = + X2 + X3 + X4 Từ bảng số liệu, sử dụng phần mềm eviews ta kết sau: Bảng Ta có mơ hình hồi quy theo bảng: Y = 7.294352 – 0.454258*X2 + 1.775584*X3 + 0.230575*X4 Giải thích mơ hình: – 0.454258 cho biết với yếu tố khác không đổi, thu nhập t lương tăng thêm triệu đồng tiêu dùng giảm xuống 0.454258 triệu đồng = 1.775584 cho biết với yếu tố khác không đổi, thu nh ập t nơng trại tăng 1triệu động tiêu dùng tăng lên 1.775584 triệu đồng = 0.230575 cho biết với yếu tố khác không đổi, tiền tiết kiệm tăng lên triệu đồng tiêu dùng tăng lên 0.230575 triệu đồng 2 a) Phát tồn tượng đa cộng tuyến R2 cao tỷ số t thấp Từ bảng kết eviews(Bảng 1) ta có: R2 = 0.968895 > 0.8 -value( X2) = 0.5424 -value( X4) = 0.7438 Có = 0.05 < -value( X2), -value( X4) t có giá trị thấp Ta thấy hệ số xác định bội R mơ hình gần 1, điều chứng tỏ mơ hình đưa phù hợp, th ống kê t l ại có giá tr ị thấp, kết làm tăng khả chấp nhận Mơ hình hồi quy khơng có ý nghĩa mặt thống kê Vậy nghi ngờ có tượng đa c ộng tuyến xảy mơ hình b) c) Tương quan cặp biến giải thích (biến độc lập) cao Do có biến giải thích X 2, X3, X4 => có hệ số tương quan cặp (r 23, r24, r34) Trong r23 : hệ số tương quan biến giải thích X2 biến giải thích X3 r24 : hệ số tương quan biến giải thích X2 biến giải thích X4 r23 : hệ số tương quan biến giải thích X3 biến giải thích X4 Nhìn vào bảng ta có, ma trận hệ số tương quan R = r11 r12 r13 r14 = 0.954701 0.983224 0.956324 r21 r22 r23 r24 0.954701 0.979143 0.978989 r31 r32 r33 r34 0.983224 0.979143 0.973036 r41 r42 r43 r44 0.956324 0.978989 0.973036 Ta thấy, hệ số tương quan cặp cao (r23, r24, r34) > 0.8  Có thể tồn đa cộng tuyến mơ hình h ồi quy Xét hồi quy phụ -Ta tiến hành hồi quy X2 theo X3, X4 Sử dụng phần mềm eviews ta có bảng sau: Bảng Ta kiếm định giả thuyết : H0 : = H1 : Ta xây dựng tiêu chuẩn kiểm định : F= Nếu H0 F F(k-1;n-k) P(F > (k-1, n-k)) = Ta có miền bác bỏ: = { : > (k-1, n-k)} Từ bảng eviews ta có f tn = 120.0479 Với n=10, k=3 , = 0.05 ta có = 4.74 Có f tn = 120.0479 > 4.74 bác bỏ H0, chấp nhận H1 Kết luận : Vậy với mức ý nghĩa 5% mơ hình có x ảy hi ện t ượng đa cộng tuyến Ta tiến hành hồi quy X theo X2, X4 Sử dụng phần mềm eviews ta có bảng sau: Bảng Như ta thấy f tn = 93.06195 > = 4.74 Ta tiến hành hồi quy tiếp X theo X2, X3 Sử dụng phần mềm eviews ta có bảng sau: - Bảng Ta thấy f tn = 92.36105 > = 4.74 Tất trường hợp hồi quy phụ biến khẳng định có tồn đa cộng tuyến mơ hình Sử dụng nhân tử phóng đại phương sai  d) Ta tiến hành hồi quy X theo X3, X4; X3 theo X2, X4 theo X2, X3 Sử dụng phần mềm eviews ta có bảng 5,6,7 X4 Bảng Bảng e) Bảng Ta thấy VIF(X2) = 18.79668 VIF(X 3) = 24.04975 VIF(X 4) = 24.22559 Vì VIF(Xi) > 10 Mơ hình có đa cộng tuyến cao Đo độ Theil ( để xem xét mức độ tương quan gi ữa biến ) Hồi quy Eview ta có kết sau: - Xét mơ hình hồi quy Y theo X2 ta kết quả: Bảng - Xét mơ hình hồi quy Y theo X3 ta kết quả: Bảng - Xét mơ hình hồi quy Y theo X4 ta kết quả: Bảng 10 Từ bảng hồi quy ta thu kết quả: R2 = 0.968895 r122 = 0.911454 r132 = 0.966730 r142 = 0.914555 Độ đo Theil: m = R2 – (R2 – r212) - (R2 – r213) - (R2 – r214) = 0.968895 – ( 0.968895 – 0.911454) – (0.968895 - 0.966730) - (0.968895 - 0.914555) = 0.854949 Vì m nên chứng tỏ có tượng đa cộng tuyến xảy Độ đo Theil mức độ đa cộng tuyến 0.475124 Khắc phục tượng đa cộng tuyến trường hợp a) Thu thêm số liệu để tăng kích thước mẫu Ta tiến hành điều tra số liệu mức sống hộ gia đình v ới kích thước mẫu lớn thu kết sau: (n=15) ST T Y X2 X3 X4 55.7 36.6 20.1 99.7 56.3 40.3 29.8 101.2 71.8 47.2 30.1 102.3 80.6 50.4 43.2 104.1 85.6 55.2 44.1 105.3 94.3 60.3 47.6 120.9 108.7 77.6 65.3 132.7 135.4 98.7 77.7 143.4 144.2 100 86.5 156.4 10 185.6 101.2 99.8 157.9 11 200.3 109.4 109.7 100.7 12 87.6 65.4 87.5 176.4 13 109.7 76.4 99.6 189.9 14 76.4 99.4 109.7 99.8 15 209.7 109.7 87.5 189 Từ bảng số liệu, sử dụng phần mềm eviews ta kết sau: Bảng 11 Từ bảng hồi quy máy tính, ta có mơ hình hàm hồi quy m ới: Y = -45.71646+ 2.329117*X – 0.834033*X3 + 0.316595*X4 Mơ hình sau tăng kích thước mẫu có R2 = 0.786672 < 0.8 = 0.05 > -value t có giá trị cao Hiện tượng đa cộng tuyến loại bỏ Loại bỏ biến đa cộng tuyến khỏi mơ hình - Bỏ biến X2, sử dụng hồi quy theo eview ta có :  b) ảng 12 - Bỏ biến X3, sử dụng hồi quy theo eview ta có : B - Bảng 13 Bỏ biến X4, sử dụng hồi quy theo eview ta có : Bảng 14 Từ bảng 12, 13 14 ta thấy sau bỏ biến mơ hình v ẫn có t ượng đa cộng tuyến ( R2 cao t lại thấp)  Cách khắc phục bỏ biến không khả thi cho mơ hình  ... độ cộng ến biến số Ước lượng có đa cộng tuyến Ta xét ví dụ a) Đa cộng tuyến hồn hảo Nếu, ví dụ, hảo =1–3 +3 = 1, có trường hợp đa cộng ến hồn Vì thế, đưa , vào mơ hình hồi quy, có tượng đa cộng. .. sau: - Tồn đa cộng tuyến cao mơ se (βj) không lớn so với j Đa cộng tuyến cao se (βj) , biến Xj khơng lớn, Xj biến mà ta quan tâm đến việc đo lường tác động lên biến Y Khi đa cộng tuyến gây hậu... (0.968895 - 0.914555) = 0.854949 Vì m nên chứng tỏ có tượng đa cộng tuyến xảy Độ đo Theil mức độ đa cộng tuyến 0.475124 Khắc phục tượng đa cộng tuyến trường hợp a) Thu thêm số liệu để tăng kích thước