Hiện tượng đa cộng tuyến

Hiện tượng đa cộng tuyến

LỜI MỞ ĐẦU

Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến giải thích Xi của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứngkhi tất cả các biến khác trong mô hình được giữ cố định Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó.

Hiện tượng trên được gọi là đa công tuyến.Vậy để đa cộng tuyến là gì, hậu quả của hiện tượng này như thế nào, làm thế nào để phát hiện và biện pháp khắc phục nó Để trả lời được những câu hỏi trên, sau đây chúng ta cùng đi thảo luận về đề tài “ Hiện tượng đa cộng tuyến”.

Chương 1 Lý luận cơ bản về hiện tượng đa cộng tuyến

1.1 Khái niệm đa cộng tuyến và nguyên nhân1.1.1.Khái niệm

Khi xây dựng mô hình hồi quy bội, trường hợp lý tưởng là các biến Xitrong mô hình không có tương quan với nhau; mỗi biến Xi chứa một thông tin riêng về Y, thông tin không chứa trong bất kì biến Xi khác Trong thực hành, khi điều này xảy ra ta không gặp hiện tượng đa cộng tuyến.

Trong những trường hợp còn lại, ta gặp hiện tượng đa cộng tuyến.Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích X1, X2, X3,… ,Xk

Y1 = β1+ β2 X2i + β3 X3i + Ui , (i 1,n)

Các biến X2 , X3 , , Xk gọi là các đa cộng tuyến hoàn hảo hay còn gọilà đa cộng tuyến chính xác nếu tồn tại λ2 , , λk không đồng thời bằng không sao cho:

λ2 X2 + λ3 X3 + + λk Xk = 0

Các biến X2 , X3 , , Xk gọi là các đa cộng tuyến không hoàn hảo nếu tồn tại λ2 , , λk không đồng thời bằng không sao cho:

λ2 X2 + λ3 X3 + + λk Xk + Vi = 0 (1.1)trong đó Vi là sai số ngẫu nhiên.

Trong (1.1) giả sử  λi ≠ 0 khi đó ta biểu diễn:

VX  X

Từ (1.2) ta thấy hiện tượng đa cộng tuyến xảy ra khi một biến là tổ hợp tuyến tính của các biến còn lại và một sai số ngẫu nhiên, hay nói cách khác là có một biến biểu diễn xấp xỉ tuyến tính qua các biến còn lại.

1.1.2 Nguyên nhân

 Do phương pháp thu thập dữ liệu: Các giá trị của các biến độc lập phụthuộc lẫn nhau trong mẫu nhưng không phụ thuộc lẫn nhau trong tổng thể.

Ví dụ: Người thu nhập cao sẽ có khuynh hướng nhiều của cải hơn Điều

này có thể đúng với mẫu mà không đúng với tổng thể Trong tổng thể sẽ có các quan sát về các cá nhân có thu nhập cao nhưng không có nhiều của cải và ngược lại.

 Các dạng mô hình dễ xảy ra đa cộng tuyến:

- Hồi quy dạng các biến độc lập được bình phương sẽ xảy ra đa cộng tuyến, đặc biệt khi phạm vi giá trị ban đầu của biến độc lập là nhỏ.

- Các biến độc lập vĩ mô được quan sát theo chuỗi thời gian

1.2 Ước lượng khi có đa cộng tuyến

1.2.1 Ước lượng khi có hiện tượng đa cộng tuyến hoàn hảo

Sau đây chúng ta sẽ chỉ ra rằng khi có đa cộng tuyến hoàn hảo thì các hệ số hồi quy là không xác định còn các sai số tiêu chuẩn là vô hạn Để đơn giản về mặt trình bày chúng ta sẽ xét mô hình hồi quy 3 biến và chúng ta sẽ sử dụng dạng độ lệch trong đó:

y  ; x X  X ; (i 1,n) (1.3)

 (1.5) Theo tính toán trong chương hồi quy bội ta thu được các ước lượng:

  2222

 (1.6)

Vì sao chúng ta lại thu được kết quả như ở (1.8)? Lưu ý đến ý nghĩa của

 có thể giải thích điều đó 2

 cho ta tốc độ thay đổi trung bình của Y khi

nghĩa là không thể tách ảnh hưởng của X2 vàX3 khỏi mẫu đã cho Trong kinh tế lượng thì điều này phá hủy toàn bộ ý định tách ảnh hưởng riêng của từng biến lên biến phụ thuộc.

Thí dụ: X3i X2ithay điều kiện này vào (1.5) ta được:

 là vô hạn.

1.2.2 Ước lượng trong trường hợp có đa cộng tuyến không hoàn hảo

Đa cộng tuyến hoàn hảo chỉ là 1 trương hợp đặc biệt hiếm xảy ra Trong các số liệu liên quan đến chuỗi thời gian, thường xảy ra đa cộng tuyến khônghoàn hảo.



Xét mô hình (1.5) Bây giờ chúng ta giả thiết giữa X2và X3 có cộng tuyến không hoàn hảo theo nghĩa:

Trong đó0, Vi là nhiễu ngẫu nhiên sao cho x2iVi 0

Trong trường hợp này theo phương pháp bình phương nhỏ nhất ta dễ dàng thu được các ước lượng 

 Chẳng hạn:

Trong trường hợp này không có lý do gì để nói rằng (1.9) là không ước lượng được.

1.3 Hậu quả của hiện tượng đa cộng tuyến

Ta xét trường hợp mô hình có hiện tượng đa cộng tuyến không hoàn hảo, tức là biến độc lập Xi có thể xấp xỉ tuyến tính theo các biến X2 , X3 , , Xk Có một số trường hợp xảy ra như sau:

1.3.1 Phương sai và hiệp phương sai của các ước lượng bình quân bé nhất

Trong chương mô hình hồi quy bội ta đã có biểu thức:

Và: cov( ) = (1.12)

Trong đó là hệ số tương quan giữa

Từ 1.10 và 1.11 ta thấy tăng dần tới 1 (nghĩa là cộng tuyến tăng) thì phương sai của hai ước lượng này tăng dần tới vô hạn 1.12 chỉ ra rằng khi tăng dần tới 1 thì cov( ) tăng về giá trị tuyệt đối.

1.3.2.Khoảng tin cậy rộng hơn

Giả sử khi thực hành ta có khoảng tin cậy 95% cho khi đã biết là:

1.3.3.Tỷ số t mất ý nghĩa

Như đã biết, khi kiểm định giả thiết : chúng ta đã sử dụng tỷ số

và đem so sánh giá trị t đã được ước lượng với giá trị tới hạn t thong khi có đa cộn tuyến gần hoàn hảo thì sai số tiêu chuẩn ước lượng đượcsẽ rất cao vì vậy làm cho chỉ số t nhỏ đi Kết quả là sẽ làm tăng khả năng chấp nhận giả thiết H0.

1.3.4. cao nhưng tỉ số ít ý nghĩa

Để giải thích điều này Ta hãy xét mô hình hồi quy k biến như sau:

Trong trường hợp có đa cộng tuyến gần hoàn hảo, như đã chỉ ra ở trên, ta có thể tìm được một hoặc một số hệ số góc riêng là không có ý nghĩalà không có ý nghĩa thống kê trên cơ sở kiểm định t nhưng trong khi đó lại có thể rất cao, nên bằng kiểm định F chúng ta có thể bác bỏ giả thiết: Mâu thuẫn này cũng là tín hiệu của đa cộng tuyến.

1.3.5 Các ước lượng bình phương bé nhất và các sai số tiêu chuẩn của

chúng trở lên rất nhạy đối với những thay đổi nhỏ trong số liệu

1.3.6 Dấu của các ước lượng của các hệ số hồi quy có thể sai

Khi có đa cộng tuyến gần hoàn hảo thì có thể thu được các ước lượng của các hệ số hồi quy trái với điều chúng ta mong đợi Chẳng hạn lý thuyết kinh tế cho rằng đối với hàng hoá thong thường thu nhập tăng thì cầu hàng hoá tăng, nghĩa là khi hồi quy thu nhập là một trong các biến giải thích, biến phụ thuộc là lượng cầu hàng hoá, nếu xảy ra hiện tượng đa cộng tuyến gần hoàn hảo thì ước lượng của hệ số của biến thu nhập có thể mang dấu âm – mâu thuẫn với điều ta mong đợi.

1.3.7 Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình

sẽ thay đổi về độ lớn trong các ước lượng hoặc dấu của chúng

1.4 Phát hiện sự tồn tại của đa cộng tuyến1.4.1 R2 cao nhưng tỉ số t thấp

Trong trường hợp R2 cao (thường R2 > 0,8) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến

1.4.2 Tương quan cặp giữa các biến giải thích cao

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường không chính xác

Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến Thí dụ, ta có 3 biến giải thích X1, X2 , X3 như sau:

X1 = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0)X2 = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)X3 = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)

Rõ ràng X3 = X2 + X1nghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên tương quan cặp là:

r12 = -1/3 ; r13 = r23 = 0,59

Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích.

1.4.3 Xem xét tương quan riêng

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar và Glauber đã đề nghị sử dụng hệ số tương quan riêng Trong hồi quy của Y đối với các biến X2 , X3 ,X4 Nếu ta nhận thấy răng r2

1 cao trong khi đó r2

34,12 ; r2

24,13 ; r2

14 tương đối thấp thì điều đó có thể gợi ý rằng các biến X2, X3 và X4 có tương quan cao và ít nhất một trong các biến này là thừa.

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến.

1.4.4 Hồi quy phụ

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ Hồi quy phụ là hồi quy mỗi một biến giải thích Xi theo các biến giải thích còn lại R2 được tính từ hồi quy này ta ký hiện R2

Mối liên hệ giữa Fi và R2

i : F=

Fi tuân theo phân phối F với k – 2 và n - k +1 bậc tự do Trong đó n là ,k là số biến giải thích kể cả hệ số chặn trong mô hình R2

i là hệ số xác định trong hồi quy của biến Xi theo các biến X khác Nếu Fi tính được vượt điểm tới hạn Fi(k-2, n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là Xi có liên hệ tuyến tính với các biến X khác Nếu Fi có ý nghĩa về mặt thống kê chúng ta vẫn phải quyến định liệu biến Xi nào sẽ bị loại khỏi mô hình Mộttrở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán này.

1.4.5 Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến Xi, ký hiệu là VIF(Xi).

VIF(Xi ) được thiết lập trên cơ sở của hệ số xác định R2

i trong hồi quy của biến Xi với các biến khác nhau như sau:

VIF(Xi) = 1 1R2i

Nhìn vào công thức (1.15) có thể giải thích VIF(Xi ) bằng tỷ số chungcủa phương sai thực của β1 trong hồi quy gốc của Y đối với các biến X và phương sai của ước lượng β1 trong hồi quy mà ở đó Xi trực giao với các biến khác Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó Nó chỉ cho biết rằng các tình huống là không lý tưởng.

Đồ thị của mối liên hệ của R2

Như hình vẽ chỉ ra, khi R2

i tăng từ 0,9 đến 1 thì VIF tăng rất mạnh Khi R2

i =1 thì VIF là vô hạn.

Có nhiều chương trình máy tính có thể cho biết VIF đối với các biến độc lập trong hồi quy.

1.4.6 Độ đo Theil

Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích Một độ đo mà xem xét tương quan của biến giải thích vớibiến được giải thích là độ đo Theil Độ đo Theil được định nghĩa như sau:

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến giải thích X2 và X3 Theo ký hiệu đã sử dụng ở chương trước ta có:

m = R2- ( R2 - r2

12) – (R2 – r213)Tỷ số t liên hệ với tương quan riêng r2

3,12 , r2

Trong phần hồi quy bội ta đã biết:R2 = r2

12 + (1- r212) r2

R2 = r2

13 + (1- r213) r2

3,12

= R2 - ((1- r212) r2

13 + (1- r213) r2

3,12 )(1.16)

Đặt 1- r2

12 = w2 ; 1- r2

13 = w3và gọi là các trọng số Công thức (1.16) được viết lại dưới dạng:

m = R2- (w2 r22,

13 + w3 r23,12 )

Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của các hệ số tương quan riêng.

Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đềucó ý nghĩa sử dụng hạn chế Chúng chỉ cho ta những thông báo rằng sự việckhông phải là lý tưởng.

1.5 Biện pháp khắc phục

1.5.1 Sử dụng thông tin tiên nghiệm

Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phảitận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượngcác hệ số riêng.

Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nàođó có dạng : Qt =AL

Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t; Lt lao độngthời kỳ t; Kt vốn thời kỳ t; Ut là nhiễu ; A, , β là các tham số mà chúng tacần ước lượng Lấy ln cả 2 vế (1.16) ta được :

LnQt + = LnA + lnLt + βKtlnUtĐặt LnQt = Qt* ; LnA = A* ; LnLt = Lt*

Ta được Qt* = A* + Lt* + βKt* + Ut (1.17)Giả sử K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đếnphương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn.

Giả sử từ 1 nguồn thông tin nào đó mà ta biết được rằng ngành côngnghiệp này thuộc ngành có lợi tức theo quy mô không đổi, nghĩa là  + β =1 Với thông tin này, cách xử lý của chúng ta sẽ là thay β = 1 -  vào (1.17)và thu được :

Qt* = A* + Lt* + (1 - ) K*tt + Utt (1.18)Từ đó ta được Qt* – Kt* = A* + (Lt* – Kt*) + Ut

Đặt Qt* – Kt* = Yt* và Lt* – Kt* = Zt* ta được: Yt* = A* +  Zt* + Ut

Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong môhình xuống còn 1 biến Zt*

Sau khi thu được ước lượng  của  thì tính được từ điều kiện = 1 –

1.5.2 Thu thập số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan

đến cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể khôngnghiêm trọng nữa Điều này có thể làm được khi chi phí cho việc lấy mẫukhác có thể chấp nhận được trong thực tế.

Đôi khi chỉ cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tínhnghiêm trọng của đa cộng tuyến.

1.5.3 Bỏ biến

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “đơn giản nhất”là bỏ biến cộng tuyến ra khỏi phương trình Khi phải sử dụng biện pháp nàythì cách thức tiến hành như sau:

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X2,X3, …, Xk là các biến giải thích Chúng ta thấy rằng X2 tương quan chặtchẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 Vậynếu ta bỏ 1 trong 2 biến X2 hoặc X3 khỏi mô hình hồi quy, ta sẽ giải quyếtđược vấn đề đa cộng tuyến nhưng sẽ mất đi 1 phần thông tin về Y.

Bằng phép so sánh R2 và R trong các phép hồi quy khác nhau mà có và2không có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trongbiến X2 và X3 khỏi mô hình.

Thí dụ R2 đối với hồi quy của Y đối với tất cả các biến X1, X2, X3, …, Xklà 0.94; R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là 0.92; như vậytrong trường hợp này ta loại X3.

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế cónhững trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trongmô hình Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắccẩn thận giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai củacác ước lượng hệ số khi biến đó ở trong mô hình.

1.5.4 Sử dụng sai phân cấp 1

Mặc dù biện pháp này có thể giảm tương quan qua lại giữa các biếnnhưng chúng cũng có thể được sử dụng như 1 giải pháp cho vấn đề đa cộngtuyến.

Thí dụ chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa cácbiến Y và các biến phụ thuộc X2 và X3 theo mô hình sau :

Yt = β 1 + β 2 X 2t + β 3X 3t+ U t (1.19)Trong đó t là thời gian Phương trình trên đúng với t thì cũng đúng vớit-1 nghĩa là :

Yt-1 = β 2 + β 2 X 2t-1 + β 3X 3t-1 + U t-1 (1.20)Từ (1.19) và (1.20) ta được :

Yt – Yt-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1) + U t - U t-1 (1.21) Đặt yt = Yt – Yt-1

x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1

Ta được : yt = β 2 x2t + β 3 x3t + Vt (1.22)

Mô hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọng củađa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý dotiên nghiệm nào chắc chắn rằng sai phân của chúng cũng tương quan cao Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số vấn đề chẳng hạn nhưsố hạng sai số Vt trong (1.22) có thể không thỏa mãn giả thiết của mô hìnhhồi quy tuyến tính cổ điển là các nhiễu không tương quan Vậy thì biện phápsửa chữa này có thể lại còn tồi tệ hơn.

1.5.5 Giảm tương quan trong hồi quy đa thức

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũythừa khác nhau trong mô hình hồi quy Trong thực hành để giảm tương quantrong hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sửdụng dạng độ lệch mà vẫn không giảm đa cộng tuyến thì người ta có thểphải xem xét đến kỹ thuật “đa thức trực giao”.