Thảo luận kinh tế lượng về hiện tượng đa cộng tuyến

Trong mô hình phân tích hồi quy, chúng ta giả thiết các biến giải thích X có mối quan hệ độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứng khi tất cả các biến khác trong mô hình giữ cố định. Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt riêng sư ảnh hưởng của một biến nào đó. Hiện tượng trên được gọi là hiện tượng đa cộng tuyến. Vậy đa cộng tuyến trên là gì? Hậu quả của hiện tượng trên là như thế nào, làm thế nào để phát hiện và biện pháp khắc phục của nó thế nào? Để trả lời câu hỏi trên, chúng ta đi vào bài thảo luận “ Hiện tương đa cộng tuyến”

MỤC LỤC LỜI MỞ ĐẦU

I.Bản chất và hậu quả của hiện tượng đa cộng tuyến 1.1.Bản chất của hiện tượng đa cộng tuyến.

1.2.Ước lượng khi có đa cộng tuyến.

1.3.Hậu quả của hiện tượng đa cộng tuyến.

II.Phát hiện và khắc phục hiên tượng đa cộng tuyến 2.1.Phát hiện hiện tượng đa cộng tuyến.

2.2.Khắc phục hiện tượng đa cộng tuyến.

III.Vân dụng.

3.1.Bài toán minh họa

3.2.Kết luận

LỜI MỞ ĐẦU

Trong mô hình phân tích hồi quy, chúng ta giả thiết các biến giải thích X i có mối quan hệ độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứng khi tất cả các biến khác trong mô hình giữ cố định Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt riêng sư ảnh hưởng của một biến nào đó Hiện tượng trên được gọi là hiện tượng đa cộng tuyến Vậy đa cộng tuyến trên

là gì? Hậu quả của hiện tượng trên là như thế nào, làm thế nào để phát hiện và biện pháp khắc phục của nó thế nào? Để trả lời câu hỏi trên, chúng ta đi vào bài thảo luận “ Hiện tương đa cộng tuyến”

Với bài thảo luận này, chúng tôi chia ra làm 3 Phần

PHẦN I:Bản chất và hậu quả của hiện tượng đa cộng tuyến

PHẦN II: Phát hiện và khắc phục

Phần III.Vận dụng

I.Bản chất và hậu quả của hiện tượng đa cộng tuyến.

Trong trường hợp lý tưởng là các biến X i trong môi trường hồi quy bội

không có tương quan với nhau; mỗi biến X i chứa một thông tin riêng về Y, thông tin không chứa trong các biến khác Trong thực hành, khi điều này xảy ra ta không gặp

đa công tuyến

Ở trường hợp ngược lại, chúng ta gặp đa cộng tuyến hoàn hảo Giả sử ta phải

ước lượng hàm hổi quy Y gồm k biến giải thích X1, X2, X3, Xk

Y = β 1 + β 2 X 2i + β 3 X 3i + …… + β k X ki + U i

Đa cộng tuyến hoàn hảo giữa các biến giải thích được biểu diễn dưới dạng tuyến tính tổ hợp của các biến giải thích còn lại đối với mọi điểm của tập số liệu Hay nói một cách dễ hiều, đa cộng tuyến là hiện tượng có sự tương quan của các biến độc lập

1.2.1.Ước lượng khi có đa cộng tuyến hoàn hảo

Trường hợp đa cộng tuyến hoàn hảo,các hệ số hồi quy không xác định và sai số chuẩn của chúng là vô hạn

Xét mô hình hồi quy 3 biến dưới dạng sau :

Yi=β2X 2i +β3X 3 i + e i

Theo tính toán trong chương hòi quy bội ta thu được các ước lượng :

^β2=¿ ¿ (1)

^β3=¿ ¿ (2)

Giả sử X 3 i=λ X 2i trong đó λ là hằng số không thay đổi.thay vào điều kiện vào (1)

ta được:

^β2=¿ ¿ (3)

Là biểu thức không xác định.Tương tự như vậy ta cũng có thể chỉ ra ^β3 cũng không xác định

Như vậy trong trường hợp đa cộng tuyến hoàn hảo,chúng ta không thể nhận được lời giả duy nhất cho các hệ số hồi quy riêng,nhưng trong khi đó ta lại có thể nhận được lời giải duy nhất cho tổ hợp phím tuyến tính của hệ số này Chú ý rằng trong trường hợp đa cộng tuyến hoàn hảo thì phương sai và các sai số tiêu chuẩn của các ước lượng ^β2, ^β3 là vô hạn

1.2.2.Ước lượng khi có đa cộng tuyến không hoàn hảo:

Đa cộng tuyến hoàn hảo chỉ là trường hợp đặc biệt hiếm xảy ra Trong các số liệu liên quan đến chuỗi thời gian, thường xảy ra đa cộng tuyến không hoàn hảo

Xét mô hình hồi quy 3 biến có dạng sau :

Y i=β2X 2i + β 3 i X 3i +e i

Giả định x 3 i=λ x 2 i + V i

Trong đó λ¿ 0, V i là nhiễu ngẫu nhiên sao cho ∑x 2 i V i=0

Theo phương pháp bình phương nhỏ nhất ta cũng dễ dàng thu được các ước lượng β2,β3 Chẳng hạn :

^β2=¿ ¿ (*)

Trong trường hợp này không có lý do gì để nói rằng (*) là không ước lượng được

- Phương sai và hiệp phương sai của các bình phương nhỏ nhất lớn

- Khoảng tin cậy rộng

- Tỉ số t mất ý nghĩa

- R2 cao nhưng tỉ số t ít ý nghĩa

- Các ướclượng bình phương nhỏ nhất và các sai số tiêu chuẩn trở nên rất nhạy đối với những thay đổi nhỏ trong số liệu

- Dấu của các ước lượng của các hệ số hồi quy có thể sai

- Thêm hay bớt cácbiến cộng tuyến với các biến khác mô hình sẽ thay đổi về độ lớn hoặc dấu của các ước lượng

II.Phát hiện ra hiện tượng đa cộng tuyến và cách khắc phục

2.1 Phát hiện hiện tượng đa cộng tuyến

Trong trường hợp R 2 cao (thường R 2 > 0,8) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến

2.1.2.Tương quan cặp giữa các biến giải thích cao.

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng

có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường không chính xác Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến Thí dụ, ta có 3 biến giải thích X 1 , X 2 , X 3 như sau:

X 1 = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0)

X 2 = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)

X 3 = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)

Rõ ràng X 3 = X 2 + X 1 nghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên tương quan cặplà:

r 12 = -1/3 ; r 13 = r 23 =0,59

Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích

2.1.3 Xem xét tương quan riêng.

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar và Glauber đã

đề nghị sử dụng hệ số tương quan riêng Trong hồi quy của Y đối với các biến X 2 ,

X 3 , X 4 Nếu ta nhận thấy rằng r 1,234

2

cao trong khi đó r 12,34

2

; r 13,24

2

; r 14,23

2

tương đối thấp thì điều đó có thể gợi ý rằng các biến X 2 , X 3 và X 4 có tương quan cao và ít nhất một trong các biến này là thừa

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến

2.1.4.Hồi quy phụ.

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ Hồi quy phụ là hồi quy mỗi một biến giải thích X i theo các biến giải thích còn

lại R 2 được tính từ hồi quy này ta ký hiện R i

2

Mối liên hệ giữa F i và R i

2

:

F=

R i2/(k −2)

(1−R i2)/(n−k +1 )

F i tuân theo phân phối F với ( k – 2 ) và (n-k +1) bậc tự do Trong đó n là,

k là số biến giải thích kể cả hệ số chặn trong mô hình R i2

là hệ số xác định trong hồi quy của biến X i theo các biến X khác Nếu F i tính được vượt điểm tới hạn F i

(k-2,n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là X i có liên hệ tuyến tính với các

biến X khác Nếu F i có ý nghĩa về mặt thống kê chúng ta vẫn phải quyến định liệu

biến X i nào sẽ bị loại khỏi mô hình Một trở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán này

2.1.5.Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến X i , ký hiệu là VIF(X i )

VIF(X i ) được thiết lập trên cơ sở của hệ số xác định R i2

trong hồi quy của biến X i với các biến khác nhau như sau:

VIF(X i ) =

1

1−R i2 (5.15) Nhìn vào công thức (5.15) có thể giải thích VIF(X i ) bằng tỷ số chung của phương sai thực của β 1 trong hồi quy gốc của Y đốivới các biến X và phương sai của ước lượng β 1 trong hồi quy mà ở đó X i trực giao với các biến khác Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huống thực và tình huống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó Nó chỉ cho biết rằng các tình huống là không lý tưởng

2.1.6 Độ đo Theil

Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích Một độ đo mà xem xét tương quan của biến giải thích với biến được giải thích là độ đoTheil Độ đo Theil được định nghĩa như sau:

m = R 2 - ∑

i=2

k

( R 2 - R −2i ) Trong đó R 2 là hệ số xác định bội trong hồi quy của Y đối với các biến X 2 ,

X 3 … X k trong mô hình hồi quy:

Y = β 1 + β 2 X 2i + β 3 X 3i + …… + β k X ki + U i

R −2i là hệ số xác định bội trong mô hình hồi quy của biến Y đối với các biến X

2 , X 3 , … ,X i−1 , X i+1 , … ,X k

Đại lượng R 2 - R −i

2

được gọi là “đóng góp tăng thêm vào” vào hệ số xác định bội Nếu X 2 , X 3 … X k không tương quan với nhau thì m = 0 vì những đóng góp tăng thêm đó cộng lại bằng R 2 Trong các trường hợp khác m có thể nhận giá trị âm hoặc dương lớn

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến giải thích X 2 và X 3 Theo ký hiệu đã sử dụng ở chương trước ta có:

m = R 2 - ( R 2 - r 12

2

) – (R 2 – r 13

2

)

Tỷ số t liên hệ với tương quan riêng r 12,32 , r 13,22

Trong phần hồi quy bội ta đã biết:

R 2 = r 122 + (1- r 122 ) r 13,2

2

R 2 = r 13

2

+ (1- r 13

2

) r 12,32

Thay 2 công thức này vào biểu thức xác định m ta được:

m = R 2 - (r 122 + (1- r 122 ) r 13,2

2

- r 122 ) - ( r 13

2

+ (1- r 13

2

) r 12,3

2

- r 13 2

)

= R 2 - ((1- r 12

2

) r 13,22 + (1- r 132 ) r 12,32 ) Đặt 1- r 12

2

= w 2 ; 1- r 13

2

= w 3 và gọi là các trọng số Công thức (5.16) được viết lại dưới dạng:

m = R 2 - (w 2 r 13,22 + w 3 r 12,32 )

Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của các hệ số tương quan riêng

2.2.1.Sử dụng thông tin tiên nghiệm

Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phải tận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượng các hệ số riêng

Thí dụ: ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nào đó có

dạng:

Qt=AL t α K t β e Ut (1)

Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t; Lt lao động thời kỳ t; Kt vốn thời kỳ t; Ut là nhiễu; A,, β là các tham số mà chúng ta cần ước lượng Lấy ln cả

2 vế (1) ta được :

LnQt = LnA + lnLt + βKtUt

Đặt LnQt = Q*t ; LnA = A* ; LnLt = L*t

Ta được Q*t = A* + L*t + βK*t + Ut(2)

Giả sử K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đến phương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn

Giả sử từ 1 nguồn thông tin khác nào đó mà ta biết được rằng ngành công nghiệp này thuộc ngành có lợi tức theo quy mô không đổi nghĩa là  + β =1.Với thông tin này,cách xử lý của chúng ta sẽ là thay β = 1 - vào (2) và thu được:

Q*t = A* + L*t + (1 - )K*t + Ut (3)

Từ đó ta được Q*t – K*t = A* + (L*t – K*t ) + Ut

Đặt Q*t – K*t = Y*t và L*t – K*t = Z*t ta được

Y*t = A* +  Z*t + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong mô hình xuống còn 1 biến Z*t

Sau khi thu được ước lượng α^của  thì ^βtính được từ điều kiện ^β= 1 –α^

2.2.2.Thu thập số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng nữa

Điều này có thể làm được khi chi phí cho việc lấy mẫu khác có thể chấp nhận được trong thực tế

Đôi khi chỉ cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tính nghiêm trọng của đa cộng tuyến

2.2.3.Bỏ biến

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất” là bỏ biến cộng tuyến ra khỏi phương trình Khi phải sử dụng biện pháp này thì cách thức tiến hành như sau :

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X2.X3 …

Xk là các biến giải thích Chúng ta thấy rằng X2 tương quan chặt chẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3.Vậy nếu ta bỏ 1 trong 2 biến X2 hoặc X3 khỏi mô hình hồi quy, ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽ mất đi 1 phần thông tin về Y

Bằng phép so sánh R2 và R2trong các phép hồi quy khác nhau mà có và không

có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trong biến X2 và X3 khỏi

mô hình

Thí dụ: R2 đối với hồi quy của Y đối với tất cả các biến X2.X3 …Xk là 0.94; R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là 0.92;như vậy trong trường hợp này ta loại X3

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế có những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong mô hình.Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắc cẩn thận giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai của các ước lượng hệ số khi biến đó ở trong mô hình

2.2.4.Sử dụng sai phân cấp 1

Thủ tục được trình bày trong chương “tự tương quan”.Mặc dù biện pháp này có thể giảm tương quan qua lại giữa các biến nhưng chúng cũng có thể được sử dụng như

1 giải pháp cho vấn đề đa cộng tuyến

Thí dụ: Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và

các biến phụ thuộc X2 và X3 theo mô hình sau:

Y t = β 1 + β 2 X 2t + β 3 X 3t + U t (4)

Trong đó t là thời gian Phương trình trên đúng với t thì cũng đúng với t-1 nghĩa

là :

Y t-1 = β 2 + β 2 X 2t-1 + β 3 X 3t-1 + U t-1 (5)

Từ (4) và (5) ta được:

Y t – Y t-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1 ) + U t - U t-1 (6)

Đặt yt = Yt – Yt-1

x2t = X2t - X2t-1

x3t = X3t - X3t-1

Vt = Ut - Ut-1

Ta được : yt = β 2 x 2t + β 3 x 3t + V t (7)

Mô hình hồi quy dạng (7) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào chắc chắn rằng sai phân của chúng cũng tương quan cao

Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số vấn đề chẳng hạn như số hạng sai số Vt trong (7) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu không tương quan.Vậy thì biện pháp sửa chữa này có thể lại còn tồi

tệ hơn căn bệnh

2.2.5.Giảm tương quan trong hồi quy đa thức

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa khác nhau trong mô hình hồi quy.Trong thực hành để giảm tương quan trong hồi quy

đa thức người ta thường sử dụng dạng độ lệch.Nếu việc sử dụng dạng độ lệch mà vẫn không giảm đa cộng tuyến thì người ta có thể phải xem xét đến kỹ thuật “đa thức trực giao”

2.2.6 Một số biện pháp khác

Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khác nữa để cứu chữa căn bệnh này như sau:

- Hồi quy thành phần chính

- Sử dụng các ước lượng từ bên ngoài

Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp cho vấn đề

đa cộng tuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu và tính nghiêm trọng của vấn đề đa cộng tuyến

III.Vận Dụng

3.1.Bài tập vận dụng.

Cho bảng số liệu:

Y: Sản lượng dầu thô (nghìn tấn)

X: Kim ngạch xuất khẩu dầu thô (nghìn tấn)

Z: Vốn đầu tư khai thác (trăm triệu đồng)

Phát hiện hiện tượng đa cộng tuyến và biện pháp khắc phục với α = 5%

Y X Z

Ta có bảng kết quả

Dependent Variable: Y

Method: Least Squares

Date: 03/08/13 Time: 23:05

Sample (adjusted): 1 15

Included observations: 15 after adjustments

Từ kết quả ước lượng ta thu được hàm hồi quy mẫu sau:

^

Y i = 12.47593 + 0.228163X + 0.001432Z Kết luận:

tấn, sản lượng dầu thô sẽ tăng thêm 0.228163 nghìn tấn dầu thô trong điều kiện vốn đầu tư khai thác không đổi

sản lượng dầu thô sẽ tăng thêm 0.001432 nghìn tấn trong điều kiện kim ngạch xuất khẩu dầu thô không đổi

1 R 2 cao nhưng tỷ số t thấp

Từ bảng kết quả eview ta có

R 2 = 0.990381

T1 = 41.43773

T2 = 2.166433 T3 = 1.549401

thấp nên ta có thể nghi ngờ mô hình tồn tại hiện tượng đa cộng tuyến

Ta tiến hành hồi quy X theo Z

Dependent Variable: X

Method: Least Squares

Date: 03/08/13 Time: 23:14

Sample (adjusted): 1 15

Included observations: 15 after adjustments