bài thảo luận hiện tượng đa cộng tuyến

Hiện tượng trên được gọi là đa cộng tuyến.Vậy đa cộng tuyến là gì, hậu quả của hiện tượng này như thế nào, phải là như thế nào để nhận biết và khắc phục hiện tượng này. Để trả lời cho những câu hỏi trên chúng ta sẽ cùng tìm hiểu đề tài “ Hiện tượng đa cộng tuyến ”.

MỤC LỤC Contents LỜI MỞ ĐẦU Trong mô hình phân tích hồi quy bội, giả thiết biến giải thích mô hình độc lập tuyến tính với nhau, tức hệ số hồi quy biến cụ thể số đo tác động riêng phần biến tương ứng tất biến khác mô hình giữ cố định Tuy nhiên giả thiết bị vi phạm tức biến giải thích có tương quan tách biệt ảnh hưởng riêng biệt biến Hiện tượng gọi đa cộng tuyến.Vậy đa cộng tuyến gì, hậu tượng nào, phải để nhận biết khắc phục tượng Để trả lời cho câu hỏi tìm hiểu đề tài “ Hiện tượng đa cộng tuyến ” I LÝ THUYẾT VỀ HIỆN TƯỢNG ĐA CỘNG TUYẾN Khái niệm đa cộng tuyến nguyên nhân 1.1Khái niệm Khi xây dựng mô hình hồi quy bội, trường hợp lý tưởng biến mô hình tương quan với nhau, biến chứa thông tin riêng Y, thông tin không chứa biến khác Trong thực hành, điều xảy ta không gặp tượng đa cộng tuyến Trong trường hợp lại, ta gặp tượng đa cộng tuyến Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích (i=) Cho biến gọi đa cộng tuyến hoàn hảo hay gọi đa cộng tuyến xác tồn ,… , không đồng thời không cho: Các biến gọi đa cộng tuyến không hoàn hảo tồn ,… , không đồng thời không cho: (1.1) sai số ngẫu nhiên Trong (1.1) giả sử ta biểu diễn: = … (1.2) Từ (1.2) ta thấy tượng đa cộng tuyến xảy biến tổ hợp tuyến tính biến lại sai số ngẫu nhiên, hay nói cách khác có biến biểu diễn xấp xỈ tuyến tính qua biến lại 1.2 Nguyên nhân - Do phương pháp thu thập liệu: giá trị biến độc lập phụ thuộc lẫn mẫu không phụ thuộc lẫn tổng thể Ví dụ: Người thu nhập cao có khuynh hướng nhiều cải Điều với mẫu mà không với tổng thể Trong tổng thể có quan sát cá nhân có thu nhập cao nhiều cải ngược lại - Các dạng mô hình dễ xảy đa cộng tuyến: + Hồi quy dạng biến độc lập bình phương xảy đa cộng tuyến, đặc biệt phạm vi giá trị ban đầu biến độc lập nhỏ + Các biến độc lập vĩ mô quan sát theo chuỗi thời gian 1.3 Ước lượng có đa cộng tuyến 1.3.1 ước lượng có tượng đa cộng hoàn hảo Cho biến gọi đa cộng tuyến hoàn hảo hay gọi đa cộng tuyến xác tồn ,… , không đồng thời không cho: Ví dụ: 10 15 18 24 11 50 75 90 120 55 52 78 97 129 63 có mối quan hệ tuyến tính xác: =  Có đa cộng tuyến hoàn hảo Xét hàm hồi quy tuyến tính biến: Và giả sử có đa cộng tuyến hoàn hảo: = βˆ2 = ( ∑ y x )( ∑ x ) − ( ∑ x x )( ∑ y x ) ( ∑ x )( ∑ x ) − ( ∑ x x ) 3i i 2i 2i i 3i 3i Vì = i 3i 2 i 3i βˆ2 = ( ∑ y x ) ( a ∑ x ) − ( a ∑ x x )( a∑ y x ) = 0 ( ∑ x )( a ∑ x ) − ( a∑ x x ) 2 2i i 2i 2i 2i 2i 2i i 2i 2i 2i Đây mô hình vô định => không xác định Tương tự => không xác định Tổng quát : ma trận (XTX) suy biến, ma trận nghịch đảo Như trường hợp đa cộng tuyến hoàn hảo không xây dựng mô hình hồi quy 1.3.2 ước lượng có đa cộng tuyến không hoàn hảo Đa cộng tuyến hoàn hảo trường hợp đặc biệt xảy Trong số liệu liên quan đến chuỗi thời gian, thường xảy đa cộng tuyến không hoàn hảo Xét mô hình (5.5) Bây giả thiết X2 X3 có cộng tuyến không hoàn hảo theo nghĩa: Trong #0, Vi nhiễu ngẫu nhiên cho =0 Trong trường hợp theo phương pháp bình phương bé ta dễ dàng thu ước lượng , Chẳng hạn Trong trường hợp lý để nói (5.9) không ước lượng Hậu tượng đa cộng tuyến Ta xét trường hợp mô hình có tượng đa cộng tuyến không hoàn hảo, tức biến độc lập Xi xấp xỉ tuyến tính theo biến X2 , X3 ,…, Xk Có số trường hợp xảy sau: 2.1 Phương sai hiệp phương sai ước lượng bình quân bé lớn Trong chương mô hình hồi quy bội ta có biểu thức: Var2 (1.1) Var3 (1.2) Và cov(2,3)= (1.3) Trong r23 hệ số tương quan X2 , X3 Từ (1.1) (1.2) ta thấy r23 tăng dần tới ( nghĩa cộng tuyến tăng) phương sai hai ước lượng tăng dần tới vô hạn (1.3) r23 tăng dần tới cov(2,3) tăng giá trị tuyệt đối 2.2 Khoảng tin cậy rộng Giả sử thực hành ta có khoảng tin cậy 95% cho có giá trị xấp xỉ biết là: 1,96se(2) 33 ) Trong đó: Se(2)= = Se(3)= = Cho nên ta viết lại khoảng tin cậy 95% cho là: 1,96 (1.4) Và cho là: (1.5) Từ 1.4 1.5 chứng tỏ r23 gần tới khonagr tin cậy cho tham số rộng Do trường hợp có đa cộng tuyến hoàn hảo số liệu mẫu thích hợp với tập giả thiết khác Vì xác suất chấp nhận giả thiết sai tăng lên ( tức tăng sai lầm loại II) 2.3 Tỷ số t ý nghĩa Như biết, kiểm định giả thiết: H0: =0 sử dụng tỷ số t= đem so sánh giá trị t ước lượng với giá trị tới hạn t Nhưng có đa cộng tuyến gần hoàn hảo sai số tiêu chuẩn ước lượng cao làm cho tỉ số t nhỏ Kết làm tăng khả chấp nhận giả thiết H0 2.4 R2 cao tỉ số ý nghĩa Để giải thích điều Ta xét mô hình hồi quy k biến sau: Trong trường hợp có đa cộng tuyến gần hoàn hảo, trên, ta tìm hệ số góc riêng ý nghĩa ý nghĩa thống kê sở kiểm định t R2 lại cao, nên kiểm định F bác bỏ giả thiết: H0: Mâu thuẫn tín hiệu đa cộng tuyến 2.5 Các ước lượng bình phương bé sai số tiêu chuẩn chúng trở nên nhạy thay đổi nhỏ số liệu -Chỉ cần thay đổi nhỏ mẫu liệu kéo theo thay đổi lớn hệ số ước lượng -Bởi hệ số ước lượng chứa đựng mối quan hệ mạnh biến độc lập Ví dụ: Kết ước lượng hàm tiêu dùng:  Y = 24.77 + 0.94X2 - 0.04X3  R2=0.96, F = 92.40  X2 : thu nhập  X3 : cải R2 cao giải thích 96% biến đổi hàm tiêu dùng Sai sót : - Có biến sai dấu - Biến thu nhập cải tương quan mạnh với ước lượng tác động biên xác cho thu nhập cải lên tiêu dùng 2.6 Dấu ước lượng hệ số hồi quy sai Khi có đa cộng tuyến gần hoàn hảo thu ước lượng hệ số hồi quy trái với điều mong đợi Chẳng hạn lý thuyết kinh tế cho hàng hóa bình thường thu nhập tăng, cầu hàng hóa tăng, nghĩa hồi quy thu nhập biến giải thích, biến phụ thuộc lượng cầu hàng hóa, xảy tượng đa cộng tuyến gần hoàn hảo ước lượng hệ số biến thu nhập mang dấu âm - mâu thuẫn với điều ta mong đợi Ví dụ: ước lượng hồi quy cầu hàng hóa thông thường theo thu nhập, xảy tượng đa cộng tuyến gần hoàn hảo, hệ số biến thu nhập mang dấu (-) , điều mâu thuẫn với lý thuyết kinh tế 2.7 Thêm vào hay bớt biến cộng tuyến với biến khác, mô hình thay đổi độ lớn ước lượng dấu chúng Đa cộng tuyến làm tang sai số chuẩn, sai số chuẩn lớn phản ánh biến thiên hệ số hồi quy từ mẫu đến mẫu khác cao Tóm lại triệu chứng chủ yếu đa cộng tuyến mà ta nói tăng sai số tiêu chuẩn Sai số tiêu chuẩn cao có ngụ ý biến thiên hệ số hồi quy từ mẫu đến mẫu khác cao thay đổi nhỏ số liệu mô hình hồi quy (như thêm vào bớt biến) gây thay đổi lớn hệ số Như biết số hậu đa cộng tuyến Nhưng dù hậu điều quan trọng làm để thâý tồn đẻ ta ngăn ngừa hậu tai hại thủ tục ước lượng sử dụng mô hình hồi quy để dự đoán, điều khiển hiểu trình liên quan với Sau trình bày số phương pháp để phát đa cộng tuyến mô tả triệu chứng chủ yếu Phát tồn đa cộng tuyến 3.1 R2 cao tỉ số t thấp Trong trường hợp R2 cao (thường R2 > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến 3.2 Tương quan cặp biến giải thích cao Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường không xác Có trường hợp tương quan cặp không cao có đa cộng tuyến Thí dụ, ta có biến giải thích X1,X2,X3 sau: X1 = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X2 = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X3 = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X3 = X2 + X1 nghĩa ta có đa cộng tuyến hoàn hảo, nhiên tương quan cặp là: r12 = -1/3 ; r13=r23=0,59 Như đa cộng tuyến xảy mà bảo trước tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích 3.3 Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc không Farrar Glauber đề nghị sử dụng hệ số tương quan riêng Trong hồi quy Y biến X2, X3, X4, Nếu ta nhận thấy (r1,234)2 cao (r12,34)2 , (r13,24)2 , (r14,23)2 tương đối thấp điều gợi ý biến X2 , X3 , X4 có tương quan cao biến thừa Dù tương quan riêng có ích không đảm bảo cung cấp cho ta hướng dẫn xác việc phát đa cộng tuyến 3.4 Hồi quy phụ Một cách tin cậy để đánh giá mức độ đa cộng tuyến hồi quy phụ Hồi quy phụ hồi quy biến giải thích Xi theo biến giải thích lại R2 tính từ hồi quy ta ký R2i Mối liên hệ Fi R2i: Fi= Fi tuân theo phân phối F với k – n - k +1 bậc tự Trong n cỡ mẫu , k số biến giải thích kể hệ số chặn mô hình R2i hệ số xác định hồi quy biến Xi theo biến X khác Nếu Fi tính vượt điểm tới hạn F(k-2, n-k+1) mức ý nghĩa cho có nghĩa Xi có liên hệ tuyến tính với biến X khác Nếu Fi có ý nghĩa mặt thống kê phải quyến định liệu biến Xi bị loại khỏi mô hình Một trở ngại kỹ thuật hồi quy phụ gánh nặng tính toán Nhưng ngày nhiều chương trình máy tính đảm đương công việc tính toán 3.5 Nhân tử phóng đại phương sai Một thước đo khác tượng đa cộng tuyến nhân tử phóng đại phương sai gắn với biến Xi, ký hiệu VIF(Xi) VIF(Xi) thiết lập sở hệ số xác định R2i hồi quy biến Xi với biến khác sau: VIF(X) = (1.15) Nhìn vào công thức (1.15) giải thích VIF(Xi) tỷ số chung phương sai thực βi hồi quy gốc Y biến X phương sai ước lượng βi 10 Với = 636369,5 số tiền phụ cấp , số tiền làm thêm, số tiền hỗ trợ không thay đổi, tình trạng làm thêm, Mức chi tiêu trung bình tháng sinh viên 636369,5 (đồng) = 0,076629 Số tiền làm thêm, số tiền hỗ trợ không thay đổi, tình trạng làm thêm , số tiền phụ cấp tăng đơn vị Mức chi tiêu trung bình sinh viên tháng tăng 0,076629 (đồng) = 0,052558 số tiền phụ cấp , số tiền hỗ trợ không thay đổi tình trạng làm thêm, số tiền làm thêm tăng đơn vị Mức chi tiêu trung bình sinh viên tháng tăng 0,052558(đồng) Với 4= 0,102755 số tiền phụ cấp , số tiền làm thêm, không thay đổi tình trạng làm thêm số tiền hỗ trợ tăng đơn vị Mức chi tiêu trung bình sinh viên tháng tăng 0,102755 (đồng) = số tiền phụ cấp , số tiền làm thêm, số tiền hỗ trợ không thay đổi , sinh viên có làm thêm có mức chi tiêu trung bình tháng cao sinh viên không làm thêm 2 Phát hiện tượng đa cộng tuyến 2.2.1 R2 cao tỷ số t thấp Như chạy eviews 19 Ta có hàm hồi quy mẫu: Ŷi = 636369,5+0, 076629+0,052558 +0,102755 + Với = 5% , n=45 ,k=5 ta có: = = 2,021 Từ bảng eviews ta có : R2 = 0,801797 > 0,8 =1,654165 < =2,021 =0,486645 = 2,021 =0,599048 = 2,021 Nhận xét: Ta thấy hệ số xác định bội mô hình gần với 1, điều chứng tỏ mô hình phù hợp Trong thống kê , lại có giá trị gần 0, kết làm tăng khả chấp nhận ý nghĩa mặt thống kê Vậy nghi ngờ có tượng đa cộng tuyến xảy mô hình 20 2.2.2 Hồi quy phụ * Ta tiến hành hổi quy , Sử dụng phần mềm eview ta có bảng kết sau Từ bảng eviews ta mô hình hồi quy phụ : = 1646556+ 0,008445+0,322389-145615,4 Với mức ý nghĩa α =5% Ta kiểm định cặp giả thuyết  Xây dựng tiêu chuẩn kiểm định : F= Ta có miền bác bỏ : Ta thấy gía trị p-value thống kê (F- statistic)= 0,282003> α= 0,05  Chấp nhận giả thuyết H0, bác bỏ H1 Vậy với mức ý nghĩa α =5% Xi mối liên hệ tuyến tính với 21 *Ta lại tiến hành hồi quy theo ta kết bảng : Từ bảng số liệu ta thu mô hình Với mức ý nghĩa α =5% Ta kiểm định cặp giả thuyết  Nhìn vào bảng eviews ta có p- value= 0,043901 có tượng đa cộng tuyến xảy Vậy độ đo Thiel mức độ đa cộng tuyến -1,398248 Biện pháp khắc phục 3.1 Biệp pháp Bỏ biến: - Khi chưa khắc phục mô hình hồi quy có kết bảng eview sau: - Với R2 = 0,801796 > 0,8 24 - Để biết cần bỏ biến giải thích biến giải thích: Số tiền phụ cấp : Xi Số tiền làm thêm: Mi Số tiền hỗ trợ: Ni Tình trạng làm thêm: Zi • Ta cần hồi quy với trường hợp sau để sau lựa chọn loại bỏ biến giải thích cho phù hợp Trường Hợp 1: Hồi quy mức chi tiêu sinh viên ( Yi ) theo số tiền phụ cấp(Xi): - Chạy eview với mô hình hồi quy biến Yi Xi ta có kết sau: 25 • Ta thấy R2 trường hợp ( R2 STPC) = 0,004070 (1) Trường Hợp 2: Hồi quy mức chi tiêu sinh viên ( Yi) theo số tiền làm thêm ( Mi): - chạy eview mô hình hồi quy biến Yi Mi ta có kết sau: • Ta thấy: R2 trường hợp (R2STLT) 0,185130 (2) Trường Hợp 3: Hồi quy mức chi tiêu sinh viên (Yi) theo số tiền hỗ trợ (Ni): - Chạy eview với mô hình hồi quy biến ta có kết thu sau: 26 Ta thấy R2 trường hợp (R2STHT) = 0,044547 • (3) Trường Hợp 4: Hồi quy mức chi tiêu sinh viên (Yi) theo tình trang làm thêm (Zi): Chạy eview với mô hình hồi quy biến Yi Zi ta thu kết sau: - • Ta thấy: R2 trường hợp (R2TTĐLT) = 0,773393 (4) Vậy : từ (1)-(2)-(3) (4) ta thấy: R2STPC < R2STHT< R2STLT < R2TTĐLT (5) 27  R2STPC đạt giá trị nhỏ nên: theo lý thuyết ta bỏ biến Xi, thực tế biến Xi số tiền phụ cấp yếu tố có ảnh hưởng lớn đến Yi: mức chi tiêu sinh viên Khi mô hình không phù hợp với thực tế  Vì vậy: theo (5) bỏ biến Ni- số tiền tiết kiệm - Sau sử dụng biện pháp bỏ biến mô hình hồi quy tồn biến gồm biến giải thích Xi, Mi, Zi, biến giải thích Yi - Chạy eview ta có kết thu sau: Do với mức ý nghĩa kiểm định mô hình có xảy hện tượng cộng tuyến hay không? Có: t0,025(41) 2,201 R2 = 0,800018 > 0,8 tc = 1,713026 < t(41)0,025 ≈ 2,201 txi = 0,700572 < t(41)0,025=2,201 tmi = 2,230932 > t(41)0,025=2,201 tzi = 11,19197 > t(41)0,025 =2,201 28 dựa vào so sánh ta chưa khẳng định mô hình sau bỏ Ni có tồn tượng đa cộng tuyến hay không  Tiếp tục bỏ biến giải thích Mi dựa vào dấu hiệu (5) Khi thực chạy eview với mô hình hồi quy biến là: Yi, Xi, Zi ta có kết sau: t(42)0,025 = 2.201 Có R2 = 0,775742 < 0.8 tc = 1,641894 < 2,201 txi = 0,663238 2,201 mô hình hồi quy không tồn tượng đa cộng tuyến Kết luận: Mô hình hồi quy biến là: Ŷi = 654124,7 +0,103554 Xi+ 4017801Zi Với mức ý nghĩa: 29 =0,103554: Khi số tiền trợ cấp người có tình trạng làm thêm mà tăng thêm đồng mức chi tiêu trung bình sinh viên tăng thêm 0,103554 đồng = 4017801 : với người có số tiền trợ cấp không thay đổi mức chi tiêu trung bình người có làm thêm lớn người không làm thêm 4017801 đồng 3.2 Phương pháp thêm số liệu - Ban đầu n=45, k=5, với số liệu cho có xảy tượng đa cộng tuyến, phương pháp thêm số liệu từ điều tra thêm mẫu tức n tăng để khắc phục tượng đa cộng tuyến ta có: Khi n’=65 tức thêm 20 mẫu vào n=45 - Ta thêm số liệu sau: - Tiến hành hồi quy eview với n’=65 k=5 với số liệu ta kết sau: 30 Nhận thấy: với mức ý nghĩa 5%: R2 = 0,518744 < 0,8 t(60)0,025 =2,000 tc = 3.126249 > 2,0000 txi = 0,898776 < 2,000 tMi = 3,050481 > 2,000 tNi = 1,279698 2,000  Với so sánh ta nhận thấy mô hình không tồn tượng đa cộng tuyến Kết luận: Phương trình hồi quy mẫu là: Ŷi = 1031960 + 0,134340 Xi +0,080455Mi +0,238019Ni +2459636 Zi 31 Ý nghĩa: = 0,134340: Khi số tiền làm thêm số tiền hỗ trợ không thay đổi người có tình trạng làm thêm hay không, số tiền phụ cấp tăng thêm đồng mức tiêu dùng trung bình sinh viên tăng thêm 0,134340 đồng = 0,080455: Khi số tiền phụ cấp số tiền hỗ trợ khong thay đổi người có tình trạng làm thêm hay không, số tiền làm thêm tăng thêm đồng mức tiêu dùng trung bình sinh viên tăng thêm 0,080455đồng = 0,238019: Khi số tiền hỗ trợ số tiền làm thêm không thay đổi người có tình trạng làm thêm hay không, số tiền hỗ trợ tăng thêm đồng mức tiêu dùng trung bình sinh viên tăng thêm 0,238019 đồng = 2459636: Khi số tiền hỗ trợ, số tiền làm thêm, số tiền phụ cấp không thay đổi mức tiêu dùng trung bình sinh viên làmthêm người có làm thêm có mức tiêu dùng trung bình cao so với người không làm thêm 2458636 đồng 32 33 ... biến Hiện tượng gọi đa cộng tuyến. Vậy đa cộng tuyến gì, hậu tượng nào, phải để nhận biết khắc phục tượng Để trả lời cho câu hỏi tìm hiểu đề tài “ Hiện tượng đa cộng tuyến ” I LÝ THUYẾT VỀ HIỆN TƯỢNG... gặp tượng đa cộng tuyến Trong trường hợp lại, ta gặp tượng đa cộng tuyến Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích (i=) Cho biến gọi đa cộng tuyến hoàn hảo hay gọi đa cộng tuyến. .. làm giải pháp cho vấn đề đa cộng tuyến phụ thuộc vào chất tập số liệu tính nghiêm trọng vấn đề đa cộng tuyến 14 II: BÀI TẬP VẬN DỤNG VÀ KHẮC PHỤC HIỆN TƯỢNG ĐA CỘNG TUYẾN Bài Toán Bảng số liệu điều