Phát hiện hiện tượng đa cộng tuyến và biện pháp khắc phụcLỜI MỞ ĐẦU Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến giải thích Xi của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứngkhi tất cả các biến khác trong mô hình được giữ cố định. Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó. Hiện tượng trên được gọi là đa công tuyến.Vậy để đa cộng tuyến là gì, hậu quả của hiện tượng này như thế nào, làm thế nào để phát hiện và biện pháp khắc phục nó. Để trả lời được những câu hỏi trên, sau đây chúng ta cùng đi thảo luận về đề tài “ Hiện tượng đa cộng tuyến”.
TRƯỜNG ĐẠI HỌC THƯƠNG MẠI KHOA HỆ THỐNG THÔNG TIN KINH TẾ & BÀI THẢO LUẬN Môn: KINH TẾ LƯỢNG Đề tài: Phát hiện tượng đa cộng tuyến biện pháp khắc phục Giảng Viên : Nhóm : Lớp : Cộng hòa xã hội chủ nghĩa Việt Nam Độc lập - Tự - Hạnh phúc BIÊN BẢN HỌP NHÓM LẦN Thời gian: 15h30’, ngày 21 tháng 10 năm 2014 Địa điểm : Sân thư viện trường ĐH Thương mại Thành phần: Sinh viên nhóm 6 Có mặt: Vắng: Nội dung: - Thống nhất hướng đề tài, dàn ý chung cho thảo ḷn Nhóm trưởng phân cơng nội dung cho thành viên nhóm, thớng nhất thời gian nộp Nhóm trưởng Cộng hòa xã hội chủ nghĩa Việt Nam Độc lập - Tự - Hạnh phúc BIÊN BẢN HỌP NHÓM LẦN Thời gian: 9h ngày 25 tháng 10 năm 2014 Địa điểm : Sân thư viện Đại Học Thương Mại Thành phần: Sinh viên nhóm 6 Có mặt: Vắng: Nội dung: Nhóm trưởng nhận xét, đánh giá làm của thành viên, không đảm bảo nội dung yêu cầu làm lại - Các thành viên đóng góp ý kiến để hồn thành báo cáo chung Và thống nhất nội dung buổi họp sau - Cộng hòa xã hội chủ nghĩa Việt Nam Độc lập - Tự - Hạnh phúc BIÊN BẢN HỌP NHÓM LẦN Thời gian: 14h ngày 27 tháng 10 năm 2014 Địa điểm : Sân kí túc xá sinh viên trường ĐH Thương mại Thành phần: Sinh viên nhóm 1.Mai Thị Thùy 2.Ngơ Minh Tú 3.Nguyễn Linh Trang 4.Cao Thị Kiều Trang 5.Nguyễn Thu Trang 6.Đỗ Hồng Việt 7.Vũ Thu Trang Có mặt: Vắng: Nội dung: - Thống nhất nội dung báo cáo lần ći Cả nhóm chuẩn bị cho buổi thảo luận lớp Đánh giá, xếp loại thành viên Nhóm trưởng BẢNG TỰ ĐÁNH GIÁ XẾP LOẠI CÁ NHÂN Họ tên Mã SV Xếp loại Kí tên 10 Nhóm trưởng BẢN ĐÁNH GIÁ ĐIỂM CỦA THẦY GIÁO Họ tên Nhiệm vụ Điểm Chọn số liệu Nhóm trưởng Word Phát ĐCT Khắc phục ĐCT Slide & Thuyết trình Tìm sớ liệu Lập mơ hình HQ Ghi chú LỜI MỞ ĐẦU Trong mơ hình phân tích hồi quy bội, chúng ta giả thiết biến giải thích Xi của mơ hình độc lập tuyến tính với nhau, tức hệ số hồi quy đối với biến cụ thể số đo tác động riêng phần của biến tương ứng tất cả biến khác mơ hình giữ cớ định Tuy nhiên giả thiết bị vi phạm tức biến giải thích có tương quan chúng ta khơng thể tách biệt sự ảnh hưởng riêng biệt của biến Hiện tượng gọi đa công tuyến.Vậy để đa cộng tuyến gì, hậu quả của tượng nào, làm để phát biện pháp khắc phục Để trả lời câu hỏi trên, sau chúng ta thảo luận đề tài “ Hiện tượng đa cộng tuyến” Chương Lý luận tượng đa cộng tuyến 1.1 Khái niệm đa cộng tuyến nguyên nhân 1.1.1 Khái niệm Khi xây dựng mơ hình hồi quy bội, trường hợp lý tưởng biến Xi mơ hình khơng có tương quan với nhau; biến Xi chứa thông tin riêng Y, thông tin khơng chứa bất kì biến Xi khác Trong thực hành, điều xảy ta không gặp tượng đa cộng tuyến Trong trường hợp còn lại, ta gặp tượng đa cộng tuyến.Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích X1, X2, X3,… ,Xk Y1 = β1+ β2 X2i + β3 X3i + Ui , (i = 1, n) Các biến X2 , X3 , , Xk gọi đa cộng tuyến hoàn hảo hay còn gọi đa cộng tuyến chính xác tồn tại λ2 , , λk không đồng thời không cho: λ2 X2 + λ3 X3 + + λk Xk = Các biến X2 , X3 , , Xk gọi đa cộng tuyến khơng hồn hảo tồn tại λ2 , , λk không đồng thời không cho: λ2 X2 + λ3 X3 + + λk Xk + Vi = (1.1) Vi sai số ngẫu nhiên Trong (1.1) giả sử − Xi = ∃ λi ≠ ta biểu diễn: λ2 X − λ3 X − − λ2 − V λi λi λi λi Từ (1.2) ta thấy tượng đa cộng tuyến xảy biến tổ hợp tuyến tính của biến còn lại sai sớ ngẫu nhiên, hay nói cách khác có biến biểu diễn xấp xỉ tuyến tính qua biến còn lại 1.1.2 Nguyên nhân • Do phương pháp thu thập liệu: Các giá trị của biến độc lập phụ thuộc lẫn mẫu không phụ thuộc lẫn tổng thể Ví dụ: Người thu nhập cao có khuynh hướng nhiều của cải Điều có thể đúng với mẫu mà không đúng với tổng thể Trong tổng thể có quan sát cá nhân có thu nhập cao khơng có nhiều của cải ngược lại • Các dạng mơ hình dễ xảy đa cộng tuyến: - Hồi quy dạng biến độc lập bình phương xảy đa cộng tuyến, đặc biệt phạm vi giá trị ban đầu của biến độc lập nhỏ - Các biến độc lập vĩ mô quan sát theo chuỗi thời gian 1.2 Ước lượng có đa cộng tuyến 1.2.1 Ước lượng có tượng đa cộng tuyến hồn hảo Sau chúng ta có đa cộng tuyến hồn hảo hệ sớ hồi quy không xác định còn sai số tiêu chuẩn vô hạn Để đơn giản mặt trình bày chúng ta xét mơ hình hồi quy biến chúng ta sử dụng dạng độ lệch đó: yi = Yi − Y Y= n ∑ Yi n i =1 ; x i = Xi − X ; (i = 1, n) n X = ∑ Xi n i =1 ; (1.3) (1.4) mơ hình hồi quy biến có thể viết lại dạng: ∧ ∧ yi = β x2i + β x3i + ei (1.5) Theo tính toán chương hồi quy bội ta thu ước lượng: 10 Giả sử từ nguồn thông tin mà ta biết ngành cơng nghiệp thuộc ngành có lợi tức theo quy mơ khơng đổi, nghĩa α + β = Với thông tin này, cách xử lý của chúng ta thay β = - α vào (1.17) thu : Qt* = A* + αLt* + (1 - α) K*tt + Utt Qt* – Kt* = A* + α(Lt* – Kt*) + Ut Từ ta Đặt (1.18) Qt* – Kt* = Yt* Lt* – Kt* = Zt* ta được: Yt* = A* + α Zt* + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm sớ biến độc lập mơ hình x́ng còn biến Zt* Sau thu ước lượng αµ của α βµ tính từ điều kiện βµ =1– αµ 1.5.2 Thu thập số liệu lấy thêm mẫu Vì đa cộng tuyến đặc trưng của mẫu nên có thể có mẫu khác liên quan đến biến mẫu ban đầu mà đa cộng tuyến có thể khơng nghiêm trọng Điều có thể làm chi phí cho việc lấy mẫu khác có thể chấp nhận thực tế Đơi cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tính nghiêm trọng của đa cộng tuyến 1.5.3 Bỏ biến Khi có tượng đa cộng tuyến nghiêm trọng cách “đơn giản nhất” bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp cách thức tiến hành sau: Giả sử mơ hình hồi quy của ta có Y biến giải thích còn X 2, X3, …, Xk biến giải thích Chúng ta thấy X2 tương quan chặt chẽ với X3 Khi nhiều thơng tin Y chứa ở X chứa ở X3 Vậy ta bỏ biến X2 X3 khỏi mơ hình hồi quy, ta giải vấn đề đa cộng tuyến mất phần thông tin Y 21 R2 Bằng phép so sánh R phép hồi quy khác mà có khơng có biến chúng ta có thể định nên bỏ biến biến X2 X3 khỏi mơ hình Thí dụ R2 đới với hồi quy của Y đối với tất cả biến X1, X2, X3, …, Xk 0.94; R2 loại biến X2 0.87 R2 loại biến X3 0.92; vậy trường hợp ta loại X3 Chúng ta lưu ý hạn chế của biện pháp mơ hình kinh tế có trường hợp đòi hỏi nhất định phải có biến biến khác ở mơ hình Trong trường hợp vậy việc loại bỏ biến phải cân nhắc cẩn thận sai lệch bỏ biến cộng tuyến với việc tăng phương sai của ước lượng hệ sớ biến ở mơ hình 1.5.4 Sử dụng sai phân cấp Mặc dù biện pháp có thể giảm tương quan qua lại biến chúng có thể sử dụng giải pháp cho vấn đề đa cộng tuyến Thí dụ chúng ta có sớ liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X2 X3 theo mơ hình sau : Yt = β + β X 2t + β 3X 3t+ U t (1.19) Trong t thời gian Phương trình đúng với t đúng với t-1 nghĩa : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 (1.20) Từ (1.19) (1.20) ta : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt (1.22) 22 (1.21) Mơ hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọng của đa cộng tuyến dù X2 X3 có thể tương quan cao khơng có lý tiên nghiệm chắn sai phân của chúng tương quan cao Tuy nhiên biến đổi sai phân bậc nhất sinh số vấn đề chẳng hạn số hạng sai số Vt (1.22) có thể khơng thỏa mãn giả thiết của mơ hình hồi quy tuyến tính cổ điển nhiễu khơng tương quan Vậy biện pháp sửa chữa có thể lại còn tồi tệ 1.5.5 Giảm tương quan hồi quy đa thức Nét khác của hồi quy đa thức biến giải thích xuất với lũy thừa khác mơ hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà khơng giảm đa cộng tuyến người ta có thể phải xem xét đến kỹ thuật “đa thức trực giao” 1.5.6 Thay đổi dạng mơ hình Mơ hình kinh tế lượng có nhiều dạng hàm khác Thay đổi dạng mơ hình có nghĩa tái cấu trúc mơ hình 1.5.7 Một số biện pháp khác Ngồi biện pháp đã kể người ta còn sử dụng số biện pháp khác sau: Bỏ qua đa cộng tuyến t > Bỏ qua đa cộng tuyến R2 của mơ hình cao R2 của mơ hình hồi quy phụ Bỏ qua đa cộng tuyến hồi quy mơ hình dùng để dự báo không phải kiểm định Hồi quy thành phần chính Sử dụng ước lượng từ bên Nhưng tất cả biên pháp đã trình bày ở có thể làm giải pháp cho vấn đề đa cộng tuyến còn phụ thuộc vào bản chất của tập số liệu tính nghiêm trọng của vấn đề đa cộng tuyến - 23 24 Phần 2: Bài tập minh họa Dựa sở lý luận ta đã tìm hiểu, sau chúng ta phân tích tình h́ng kinh tế cụ thể để thấy cách phát khắc phục tượng đa cộng tuyến nào? Khảo sát giá trị bất động sản nhà ở Mẫu : 88 Biến phụ thuộc Price : giá trị của nhà : đơn vị 1000$ Các biến giải thích : Assess : giá trị rao bán : đơn vị 1000$ Bedrooms : số phòng ngủ Housesize: diện tích nhà : đơn vị ft^2 ( square feet) Colonial : nhà xây phong cách cổ hay khơng : có =1 , khơng= Bảng sớ liệu Stt Price assess bedrooms lotsize housesize colonial 300 370 191 195 373 466,275 332 315 206 240 285 300 405 212 265 227.4 240 285 268 310 266 349.1 351.5 217.7 231.8 319.1 414.5 3 6126 9903 5200 4600 6095 8566 2438 2076 1374 1448 2514 2754 1 1 367.8 300.2 236.1 256.3 314 416.5 434 279.3 287.5 232.9 303.8 305.6 266.7 326 294.3 3 3 3 4 3 9000 6210 6000 2892 6000 7047 12237 6460 6519 3597 5922 7123 5642 8602 5494 2067 1731 1767 1890 2336 2634 3375 1899 2312 1760 2000 1774 1376 1835 2048 1 0 1 1 1 1 10 11 12 13 14 15 16 17 18 19 20 21 25 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 270 225 150 247 275 230 343 477.5 350 230 335 251 235 361 190 360 575 209,001 225 246 713.5 248 230 375 265 313 417.5 253 315 264 255 210 180 250 250 209 258 289 316 225 266 310 318.8 294.2 208 239.7 294.1 267.4 359.9 478.1 355.3 217.8 385 224.3 251.9 354.9 212.5 452.4 518.1 289.4 268.1 278.5 655.4 273.3 212.1 354 252.1 324 475.5 256.8 279.2 313.9 279.8 198.7 221.5 268.4 282.3 230.7 287 298.7 314.6 291 286.4 253.6 3 3 3 4 4 4 5 3 4 3 3 4 4 7800 6003 5218 9425 6114 6710 8577 8400 9773 4806 15086 5763 6383 9000 3500 10892 15634 6400 8880 6314 28231 7050 5305 6637 7834 1000 8112 5850 6660 6637 15267 5146 6017 8410 5625 5600 6525 6060 5539 7566 5484 5348 26 2124 1768 1732 1440 1932 1932 2106 3529 2051 1573 2829 1630 1840 2066 1702 2750 3880 1854 1421 1662 3331 1656 1171 2293 1764 2768 3733 1536 1638 1972 1478 1408 1812 1722 1780 1674 1850 1925 2343 1567 1664 1386 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 0 1 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 471.25 335 495 279.5 380 325 220 215 240 725 230 306 425 318 330 246 225 111 268,125 244 295 236 202.5 219 242 482 384.3 543.6 336.5 515.1 437 263.4 300.4 250.7 708.6 276.3 388.6 252.5 295.2 359.5 276.2 249.8 202.4 254 306.8 318.3 259.4 258.1 232 252 4 4 3 3 4 4 3 15834 8022 11966 8460 15105 10859 6300 11554 6000 31000 4054 20700 5525 92681 8178 5944 18838 4315 5167 7893 6056 5828 6341 6362 4950 2617 2321 2638 1915 2589 2709 1587 1694 1536 3662 1736 2205 1502 1696 2186 1928 1294 1535 1980 2090 1837 1715 1574 1185 1774 1 1 1 1 0 1 1 1 0 Nguồn: http://www.stata.com/links/examples-and-datasets/ I Lập mơ hình hàm hồi quy Ta có mơ hình hàm hồi quy tuyến tính thể sự phụ thuộc của giá trị nhà ở vào giá trị rao bán, số phòng ngủ diện tích nhà: Mơ hình ước lượng của hàm hồi quy: Từ bảng số liệu, sử dụng phần mềm eviews ta kết quả sau: 27 Bảng Từ kết quả ước lượng ta thu hàm hồi quy mẫu sau: II Phát hiện tượng đa cộng tuyến Cách 1: Xem xét tương quan cặp biến giải thích Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn tại đa cộng tuyến Ta có ma trận hệ sớ tương quan cặp biến sau: 28 R25 = 0.865634 > 0.8 => Như vậy ta có sở kết luận có tượng đa cộng tuyến mơ hình Cách 2: Hồi quy phụ Xét mơ hình hồi quy: Yi = β1 + β2X2i + β3X3i + …… + βkXki + Ui Thủ tục kiểm định sau: Bước 1: ƯL mơ hình hồi quy phụ có dạng sau: Xji = +2X2i +3X3i + + j-1Xj-1i + j+1Xj+1i + kXki +Vi ; j = Thu được: Rj2, j = Bước Kiểm định cặp giả thuyết: Ho: Xj khơng có mới quan hệ tuyến tính với biến còn lại H1:Xj có mới quan hệ tuyến tính với biến còn lại Bước 3: so sánh Pvalue với mức ý nghĩa α đưa kết ḷn có mới quan hệ tuyến tính với biến còn lại Ta tiến hành hồi quy biến X5 theo biến X thu kết quả sau: 29 Ta có: H0 α = 0.01 ta kiểm định giả thiết: : X khơng có mới quan hệ tuyến tính với biến còn lại H1 : X có mới quan hệ tuyến tính với biến còn lại Từ bảng hồi quy ta có: Pvalue = 0.000000 < α=0.01 nên ta bác bỏ giả thuyết H0, chấp nhận H1 → X5 có quan hệ tuyến tính với X2 KL: Mơ hình có xảy tượng đa cộng tuyến Trên chúng ta nêu cách phát hiện tượng đa cộng tuyến đơn giản, phương pháp còn lại tham khảo tài liệu II/ Khắc phục tượng đa cộng tuyến Bỏ biến đa cộng tuyến cao khỏi mơ hình: Xét mơ hình hồi quy: =+X2i +X3i+X4i +X5i 30 Giả sử thấy có X2i tương quan chặt chẽ với X5i Nhiều thông tin Y chứa ở X2i chứa ở X5i Bỏ hai biến X2i X5i Do để bỏ biến đa cộng tuyến cao khỏi mơ hình ta tiến hành bước sau: B1: Hồi quy Y theo biến B2: Tính R2 R’2 hồi quy: có khơng có hai biến B3: Loại biến mà giá trị R2 tính khơng có mặt biến lớn *Bước 1.1 : Hồi quy Y theo X2i 31 * Bước 1.2 Hồi quy Y theo X5i *Bước : Từ kết quả hồi quy ở ta có: Khi bỏ biến X5i ta có mơ hình hồi quy = -38.95143 + 0.905694 X2i +11.55093 X3i +0.00059 X4i R2= 0.829203 Khi bỏ biến X2i ta có mơ hình hồi quy: = -21.77031+13.85252 X3i +0.002068 X4i +0.122778 X5i R’2 = 0.672362 * Bước 3: Có R2 > R’2 nên mơ hình bỏ biến X5i có sự phù hợp bỏ biến X2i → Bỏ biến X5i để giảm bớt mức độ đa cộng tuyến 32 Thu thập số liệu hoặc lấy thêm mẫu mới: Đặc trưng của đa cộng tuyến phát sinh từ mẫu số liệu => thay mẫu Thu thập thêm số liệu để kích thước mẫu tăng lên Ta tiến hành lấy thêm mẫu sớ liệu thu kết quả sau: Sử dụng phần mềm eview ta thu bảng hồi quy sau: 33 Từ bảng hồi quy , ta có hàm hồi quy = -50.99151+ 0.852579 X2i + 12.78677 X3i + 0.00072 X4i + 0.009917 X5i Mơ hình sau đã tăng kích thước mẫu có gần 1, tỷ sớ t cao nên mơ hình ước lượng phù hợp Có: R’2 = 0.808585 < R2 Pvalue < α Mức độ cộng tuyến đã suy giảm Để đơn giản chúng ta nêu cách khắc phục tượng đa cộng tuyến, phương pháp còn lại có thể tham khảo ở phần lý thuyết tài liệu lien quan Kết luận: 34 Có nhiều cách phát khắc phục tượng đa cộng tuyến khác Mỗi phương pháp có hạn chế nhất định Vì vậy, áp dụng phương pháp ta cần cân nhắc kĩ lượng để mang lại kết quả tin cậy nhất Tài liệu tham khảo: Bài giảng Kinh tế lương – Trường Đại học Thương Mại Hà Nội – 2013 Giáo trình kinh tế lượng - ĐH Kinh tế Q́c Dân Mơ hình Kinh tế lượng ứng dụng – Phạm Trí Cao Luanvan.co Tailieu.vn 35 ... hệ tuyến tính với X2 KL: Mơ hình có xảy tượng đa cộng tuyến Trên chúng ta nêu cách phát hiện tượng đa cộng tuyến đơn giản, phương pháp còn lại tham khảo tài liệu II/ Khắc phục tượng đa. .. biến Hiện tượng gọi đa công tuyến. Vậy để đa cộng tuyến gì, hậu quả của tượng nào, làm để phát biện pháp khắc phục Để trả lời câu hỏi trên, sau chúng ta thảo luận đề tài “ Hiện tượng đa. .. Ngoài biện pháp đa? ? kể người ta còn sử dụng số biện pháp khác sau: Bỏ qua đa cộng tuyến t > Bỏ qua đa cộng tuyến R2 của mơ hình cao R2 của mơ hình hồi quy phụ Bỏ qua đa cộng tuyến hồi quy