CÁC CÁCH PHÁT HIỆN HIỆN HIỆN TƯỢNG đa CỘNG TUYẾN(2) (1)

bài tiểu luận nghiên cứu đề tài: “Các cách phát hiện và khắc phục hiện tượng đa cộng tuyến”

DANH SÁCH THÀNH VIÊN NHÓM 04

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

LỜI MỞ ĐẦU

Trong mô hình phân tích hồi quy bội chúng ta đã giả thiết các biến độc lậpkhông có mối quan hệ tuyến tính, nếu quy tắc này bị vi phạm sẽ có hiệntượng đa cộng tuyến Hiện tượng đa cộng tuyến có ảnh hưởng vào mọi khíacạnh của hồi quy bội bởi vì khi ta nghiên cứu mối quan hệ giữa biến Y vớicác biến Xi , ta gặp quan hệ nào đó giưa các biến Xi với nhau Hiện tượng

đa cộng tuyến có thể dẫn đến một số hiện tượng:

- Phương sai và hiệp phương sai của các ước lượng bình phương bénhất lớn

- Khoảng tin cậy rộng hơn

- Tỉ số t mất ý nghĩa

- R2 cao nhưng tỉ số t thấp

- Các ước lượng bình phương bé nhất và các sai số tiêu chuẩn củachúng trở lên rất nhạy cảm với những thay đổi nhỏ trong số liệu

- Dấu của các ước lượng của hệ số hồi quy có thể sai

- Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình

sẽ thay đổi về độ lớn của các ước lượng hoặc dấu của chúng

Như vậy hiện tượng đa cộng tuyến có thể làm sai lệch mô hình hồi quy bội,hàm hồi quy bội có thể không có ý nghĩa thống kê trong thực tế Vấn đề đặt

ra là làm cách nào để phát hiện và khắc phục hiện tượng đa cộng tuyến.Nhóm 04 - chúng tôi sẽ đi vào nghiên cứu đề tài: “Các cách phát hiện vàkhắc phục hiện tượng đa cộng tuyến”

A LÍ THUYẾT

I CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN

1 R2 cao nhưng tỉ số t thấp

Trong trường hợp R2 cao (thường R2> 0,8) mà tỉ số t thấp thì đó chính

là dấu hiệu của hiện tượng đa cộng tuyến

2 Tương quan cặp giữa các biến giải thích cao

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì cókhả năng có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường khôngchính xác Có những trường hợp tương quan cặp không cao nhưng vẫn có

đa cộng tuyến Thí dụ, ta có 3 biến giải thích X1, X2, X3 như sau

3 Xem xét tương quan riêng

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar vàGlauber đã đề nghị sử dụng hệ số tương quan riêng Trong hồi quy của Yđối với các biến X2, X3 ,X4 Nếu ta nhận thấy răng r2

234 ,

1 cao trong khi

13 ; r2

23 ,

14 tương đối thấp thì điều đó có thể gợi ý rằng các biến

X2 , X3 và X4 có tương quan cao và ít nhất một trong các biến này là thừa

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽcung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đacộng tuyến

4 Hồi quy phụ

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến làhồi quy phụ Hồi quy phụ là hồi quy mỗi một biến giải thích Xi theo cácbiến giải thích còn lại R2 được tính từ hồi quy này ta ký hiện R2

i

Mối liên hệ giữa Fi và R2

i : F=

) 1 /(

) 1 (

) 2 /(

2 2

k R

i i

Fi tuân theo phân phối F với k – 2 và n-k +1 bậc tự do Trong đó n là ,

k là số biến giải thích kể cả hệ số chặn trong mô hình R 2

i là hệ số xác địnhtrong hồi quy của biến Xi theo các biến X khác Nếu Fi tính được vượtđiểm tới hạn Fi (k-2,n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là Xi cóliên hệ tuyến tính với các biến X khác Nếu Fi có ý nghĩa về mặt thống kêchúng ta vẫn phải quyến định liệu biến Xi nào sẽ bị loại khỏi mô hình Mộttrở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán Nhưng ngày naynhiều chương trình máy tính đã có thể đảm đương được công việc tính toánnày

5 Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đạiphương sai gắn với biến Xi , ký hiệu là VIF(Xi)

VIF(Xi ) được thiết lập trên cơ sở của hệ số xác định R2

i trong hồi quy củabiến Xi với các biến khác nhau như sau:

VIF(Xi) = 1 1R2

i

 (5.15) Nhìn vào công thức (5.15) có thể giải thích VIF(Xi ) bằng tỷ số chungcủa phương sai thực của β1 trong hồi quy gốc của Y đối với các biến X vàphương sai của ước lượng β1 trong hồi quy mà ở đó Xitrực giao với cácbiến khác Ta coi tình huống lý tưởng là tình huống mà trong đó các biếnđộc lập không tương quan với nhau, và VIF so sánh tình huông thực và tìnhhuống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấpcho ta biết phải làm gì với tình huống đó Nó chỉ cho biết rằng các tìnhhuống là không lý tưởng

Đồ thị của mối liên hệ của R2

i và VIF là

Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các

biến giải thích Một độ đo mà xem xét tương quan của biến giải thích vớibiến được giải thích là độ đo Theil Độ đo Theil được định nghĩa như sau:

2 , X3… Xk trong mô hình hồi quy:

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có

2 biến giải thích X2 và X3 Theo ký hiệu đã sử dụng ở chương trước ta có:

12 , r2

2 , 13

Trong phần hồi quy bội ta đã biết:

R2 = r2

12 + (1- r2

12) r2

2 , 13

R2 = r2

13 + (1- r2

13) r2

3 , 12

Thay 2 công thức này vào biểu thức xác định m ta được:

m = R2 - (r2

12 + (1- r2

12) r2

2 ,

12 - r2

13 ) = R2 - ((1- r2

12) r2

2 ,

13 + (1- r2

13) r2

3 ,

12 ) Đặt 1- r2

12 = w2 ; 1- r2

13 = w3và gọi là các trọng số Công thức (5.16)được viết lại dưới dạng

m = R2 - (w2 r2

2 ,

13 + w3 r2

3 ,

12 ) Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng

số của các hệ số tương quan riêng

Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có

ý nghĩa sử dụng hạn chế Chúng chỉ cho ta những thông báo rằng sự việckhông phải là lý tưởng

Còn một số độ đo nữa nhưng liên quan đến giá trị riêng hoặc thống kêBayes chúng ta không trình bày ở đây

II Biện pháp khắc phục

1 Sử dụng thông tin tiên nghiệm

Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phảitận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượngcác hệ số riêng

Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nào đó códạng :

Qt =AL Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t ; Lt lao động thờikỳ t ; Kt vốn thời kỳ t ; Ut là nhiễu ;A , , β là các tham số mà chúng ta cầnước lượng Lấy ln cả 2 vế (5.17) ta được :

LnQt = LnA + lnLt + βKt UtĐặt LnQt = Q*t ; LnA = A* ; LnLt = L*t

Ta được Q*t = A* + L*t + βK*t + Ut (5.18)

Giả sử L|K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đếnphương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn

Giả sử từ 1 nguồn thông tin có lới theo quy mô nào đó mà ta biết đượcrằng ngành công nghiệp này thuộc ngành cso lợi tức theo quy mô không đổinghĩa là  + β =1 Với thông tin này ,cách xử lý của chúng ta sẽ là thay β =

1 -  vào (5.18) và thu được :

Q*t = A* + L*t + ( 1 -  )K*t + Ut (5.19)

Từ đó ta được Q*t – K*t = A* + (L*t – K*t ) + Ut

Đặt Q*t – K*t = Y*t và L*t – K*t = Z*t ta được

Y*t = A* +  Z*t + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong môhình xuống còn 1 biến Z*t

Sau khi thu được ước lượng  của  thì tính được β từ điều kiện β = 1 –

2 Thu thập thêm số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan

đến cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể khôngnghiêm trọng nữa Điều này có thể làm được khi chi phí cho việc lấy mẫukhác có thể chấp nhận được trong thực tế

Đôi khi chỉ cần thu thập them số liệu , tăng cỡ mẫu có thể làm giảm tínhnghiêm trọng của đa cộng tuyến

3 Bỏ biến

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất

“là bỏ biến cộng tuyến ra khỏi phương trình Khi phải sử dụng biện pháp nàythì cách thức tiến hành như sau :

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích cònX2 X3 …Xk là các biến giải thích Chúng ta thấy rằng X2 tương quan chặtchẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 Vậynếu ta bỏ 1 trong 2 biến X2 hoặc X3

Khỏi mô hình hồi quy , ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽmất đi 1 phần thông tin về Y

Bằng phép so sánh R2 và 2

R trong các phép hồi quy khác nhau mà có vàkhông có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trongbiến X2 và X3 khỏi mô hình

Thí dụ R2 đối với hồi quy của Y đối với tất cả các biến X1, X2, X3, …Xk

là 0.94; R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là 0.92 ;như vậytrong trường hợp này ta loại X3

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế cónhững trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong

mô hình Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắccẩn thận giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai củacác ước lượng hệ số khi biến đó ở trong mô hình

4 Sử dụng sai phân cấp 1

Thủ tục được trình bày trong chương 7 – tự tương quan Mặc dù biệnpháp này có thể giảm tương quan qua lại giữa các biến nhưng chúng cũng cóthể được sử dụng như 1 giải pháp cho vấn đề đa cộng tuyến

Thí dụ Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y vàcác biến phụ thuộc X2 và X3 theo mô hình sau :

Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số bấn đề chẳng hạn như

số hạng sai số Vt trong (5.23) có thể không thỏa mãn giả thiết của mô hìnhhồi quy tuyến tính cổ điển là các nhiễu không tương quan Vậy thì biện phápsửa chữa này có thể lại còn tồi tệ hơn căn bệnh

5.Giảm tương quan trong hồi quy đa thức

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũythừa khác nhau trong mô hình hồi quy Trong thực hành để giảm tương quantrong hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sửdụng dạng độ lệch mà vẫn không giảm đa cộng tuyến thù người ta có thểphải xem xét đến kỹ thuật “ đa thức trực giao “

6 Một số biện pháp khác

Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khácnữa để cứu chữa căn bệnh này như sau :

- hồi quy thành phần chính

- Sử dụng các ước lượng từ bên ngoài

Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp chovấn đề đa cộng tuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu

và tính nghiêm trọng của vấn đề đa cộng tuyến

B VÍ DỤ MINH HỌA

Bảng số liệu về tiêu dùng cho thực phẩm của 1 thị trấn Banshee, Illinois,Hoa Kỳ trong đó:

Y: Sản lượng tiêu thụ thịt lợn của thị trấn trong 1 tuần (kg)

X1: Mức chi tiêu trung bình cho thực phẩm của 1 hộ gia đình trong 1tuần(USD)

X2: Giá thịt lợn(USD/kg)

X3: Giá thịt bò(USD/kg)

Tiến hành ước lượng hàm hồi quy mẫu ta được

Ta có hàm hồi quy mẫu:

Y=492,3815+3.446478*X1-74,99765*X2+50,26541*X3

t(n k/2 ) t0.02512 2.179

I/ Phát hiện hiện tượng đa cộng tuyến

Cách 1: Hệ số xác định bội R2 cao nhưng t thấp

Vậy R2 cao nhưng t thấp Suy ra có hiện tượng đa cộng tuyến

Cách 2: Hệ số tương quan cặp giữa các biến giải thích cao

Ta có:

X1 1.000000 0.729115 0.712735X2 0.729115 1.000000 0.989064X3 0.712735 0.989064 1.000000

Ta có   0.05 ta đi kiểm định giả thiết

H0: X1 không có hiện tượng đa cộng tuyến với X2,X3

H1: X1 có hiện tượng đa cộng tuyến với X2,X3

Nhận xét:

Ta thấy giá trị p-value của thống kê F là 0.006907 <  =0.05

=> bác bỏ giả thiết H0 chấp nhận giả thiết H1

 Hồi quy biến X2 theo biến X1,X3 được kết quả như sau:

Ta có   0.05 ta đi kiểm định giả thiết

H0: X2 không có hiện tượng đa cộng tuyến với X1,X3

H1: X2 có hiện tượng đa cộng tuyến với X1,X3

Nhận xét:

Ta thấy giá trị p-value của thống kê F là 0.000000 <  =0.05

=> bác bỏ giả thiết H0 chấp nhận giả thiết H1

 Hồi quy biến X3 theo biến X1,X2 được kết quả như sau:

Ta có   0.05 ta đi kiểm định giả thiết

H0: X3 không có hiện tượng đa cộng tuyến với X1,X2

H1: X3 có hiện tượng đa cộng tuyến với X1,X2

Nhận xét:

Ta thấy giá trị p-value của thống kê F là 0.000000 <  =0.05

=> bác bỏ giả thiết H0 chấp nhận giả thiết H1

Như vậy có hiện tượng đa cộng tuyến trong mô hình hồi quy trên

Cách 4 Nhân tử phóng đai phương sai.

* Bước 1: Hồi quy Y theo X1,X2.

* Bước 2: Hồi quy Y theo X1,X3

* Bước 4:Ta tiến hành so sánh

Kết luận : trong trường hợp này loại biến X3Còn với việc bỏ biến X1 ta có:

Xem ra hiên tượng đa cộng tuyến không được khắc phục.

Như vậy ta có hàm hồi quy mới:Y = 1629.732+3.580905*X1 - 117.9675*X2

KL:Với hàm hồi quy mới này thì ta đã khắc phục được hiện tượng đa cộng

tuyến nhưng với việc bỏ biến X3 (giá thịt bò) thì hàm hồi quy của chúng taphải chăng đã giảm đi tính lí thuyết kinh tế vì như ta đã biết thì thịt bò là 1sản phẩm thay thế của thịt lợn nên sự thay đổi giá của thịt bò chắc chắn sẽảnh hưởng đến lượng tiêu thụ của thịt lợn

Cách 2 Lấy thêm số liệu mới

Ta lấy thêm số liệu:

Hàm hồi quy mới thu được có R2 cao nhưng tỉ số t lớn hơn nhiều.

Ta có hàm hồi quy: Y=365.2300+3.348428*X1-62.19178*X2+55.76752*X3

KL: Như vậy thêm biến đã có hiệu quả trong việc khắc phục hiện tượng đa

cộng mà không làm thay đổi tính lí thuyết về kinh tế trong bài toán này

D1=dX1 = X 1t - X 1t-1

D2=dX2= X 2t - X 2t-1

KL: Như vậy ta thấy phương pháp này không có hiệu quả giảm mức đa

cộng tuyến trong trường hơp này

Kết Luận

Có nhiều cách phát hiện và khắc phục hiện tượng đa cộng tuyến khác nhau.Mỗi phương pháp có những ưu điểm và hạn chế nhất định và không phải làphù hợp trong mọi trường hợp Vì vậy, khi áp dụng một phương pháp nào tacần cân nhắc kĩ lượng để mang lại kết quả tin cậy nhất

Tài liệu tham khảo

1 Bài giảng kinh tế lượng – Nguyễn Quang Đông – NXB Giao thông vận tải

2006

2 Hướng dẫn sử dụng Eviews

3 Trang WWW illinois.gov

Mục Lục