các cách phát hiện đa cộng tuyến. các biện pháp khắc phục hiện tượng đa cộng tuyến. ví dụ minh họa

LỜI MỞ ĐẦUTrong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến giải thích X i của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể l

LỜI MỞ ĐẦU

Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến giải thích X i của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứngkhi tất cả các biến khác trong mô hình được giữ cố định Tuy nhiên khi giả thiết

đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó.

Hiện tượng trên được gọi là đa công tuyến.Vậy phải làm như thế nào để

nhận biết và khắc phục hiện tượng này.Chúng ta đi nghiên cứu đề tài: “Các

cách phát hiện đa cộng tuyến Các biện pháp khắc phục hiện tượng đa cộng tuyến Ví dụ minh họa”

A LÍ THUYẾT

I GIỚI THIỆU VỀ ĐA CỘNG TUYẾN

Thông thường các biến độc lập không có mối quan hệ tuyến tính, nếu quy tắc này bị vi phạm sẽ có hiện tượng đa cộng tuyến Như vậy, đa cộng tuyến là hiện tượng các biến độc lập trong mô hình phụ thuộc lẫn nhau và thể hiện được dưới dạng hàm số

II CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN

1.R 2 cao nhưng tỉ số t thấp

dấu hiệu của hiện tượng đa cộng tuyến

2.Tương quan cặp giữa các biến giải thích cao

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng

có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường không chính xác Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến Thí

Rõ ràng X 3 = X 2 + X 1 nghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên tương quan cặp là:

Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích

3.Xem xét tương quan riêng

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar và Glauber đã

đề nghị sử dụng hệ số tương quan riêng Trong hồi quy của Y đối với các biến X

r 14,23

2

có tương quan cao và ít nhất một trong các biến này là thừa

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến

4.Hồi quy phụ

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi

F=

R i2/(k −2)

(1−R i2)/(n−k +1 )

F i tuân theo phân phối F với k – 2 và n-k +1 bậc tự do Trong đó n là , k là

hồi quy phụ là gánh nặng tính toán Nhưng ngày nay nhiều chương trình máy tính

đã có thể đảm đương được công việc tính toán này

5.Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại

2 trong hồi quy của

VIF(X i ) =

1

coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó Nó chỉ cho biết rằng các tình huống là không lý tưởng

Đồ thị của mối liên hệ của R i2 và VIF là

0,9

100

1

1

0

5

V IF

R

i

2

Như hình vẽ chỉ ra khi R i

2 tăng từ 0,9 đến 1 thì VIF tăng rất mạnh Khi

Có nhiều chương trình máy tính có thể cho biết VIF đối với các biến độc lập trong hồi quy

6 Độ đo Theil

Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích Một độ đo mà xem xét tương quan của biến giải thích với biến được giải thích là độ đo Theil Độ đo Theil được định nghĩa như sau

i=2

k

2 được gọi là “đóng góp tăng thêm vào” vào hệ số xác

có thể nhận giá trị âm hoặc dương lớn

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến

2

2 )

Trong phần hồi quy bội ta đã biết:

2

2 ) r 13,22

2

2 ) r 12,32

Thay 2 công thức này vào biểu thức xác định m ta được:

2

2 ) r 12,32 - r 13

2

)

2 ) r 13,2

2

+ (1- r 132 ) r 12,3

2

)

2

được viết lại dưới dạng

2

2

) Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của các hệ số tương quan riêng

Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có ý nghĩa sử dụng hạn chế Chúng chỉ cho ta những thông báo rằng sự việc không phải là lý tưởng

Còn một số độ đo nữa nhưng liên quan đến giá trị riêng hoặc thống kê Bayes chúng ta không trình bày ở đây

II Biện pháp khắc phục

1 Sử dụng thông tin tiên nghiệm

Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phải tận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượng các hệ số riêng

Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nào đó có dạng :

Qt =AL

Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t ; Lt lao động thời kỳ t ; Kt vốn thời kỳ t ; Ut là nhiễu ;A , , β là các tham số mà chúng ta cần ước lượng Lấy

ln cả 2 vế (5.17) ta được :

LnQt = LnA + lnLt + βKt Ut Đặt LnQt = Q*t ; LnA = A* ; LnLt = L*t

Giả sử L|K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đến phương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn

Giả sử từ 1 nguồn thông tin có lới theo quy mô nào đó mà ta biết được rằng ngành công nghiệp này thuộc ngành cso lợi tức theo quy mô không đổi nghĩa là

+ β =1 Với thông tin này ,cách xử lý của chúng ta sẽ là thay β = 1 -  vào (5.18)

và thu được :

Q*t = A* + L*t + ( 1 -  )K*t + Ut (5.19)

Y*t = A* +  Z*t + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong mô hình xuống còn 1 biến Z*t

2 Thu thập số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến

cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng nữa Điều này có thể làm được khi chi phí cho việc lấy mẫu khác có thể chấp nhận được trong thực tế

Đôi khi chỉ cần thu thập thêm số liệu , tăng cỡ mẫu có thể làm giảm tính nghiêm trọng của đa cộng tuyến

3 Bỏ biến

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất “là bỏ biến cộng tuyến ra khỏi phương trình Khi phải sử dụng biện pháp này thì cách thức tiến hành như sau :

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X2 X3

…Xk là các biến giải thích Chúng ta thấy rằng X2 tương quan chặt chẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 Vậy nếu ta bỏ 1 trong 2 biến X2 hoặc X3 khỏi mô hình hồi quy , ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽ mất đi 1 phần thông tin về Y

có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trong biến X2 và X3 khỏi mô hình

trường hợp này ta loại X3

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế có những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong mô hình Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắc cẩn thận giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai của các ước lượng

hệ số khi biến đó ở trong mô hình

4 Sử dụng sai phân cấp 1

Thủ tục được trình bày trong chương 7 – tự tương quan Mặc dù biện pháp này có thể giảm tương quan qua lại giữa các biến nhưng chúng cũng có thể được

sử dụng như 1 giải pháp cho vấn đề đa cộng tuyến

Thí dụ Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và các biến phụ thuộc X2 và X3 theo mô hình sau :

Yt = β 1 + β 2 X 2t + β 3X 3t+ U t (5.20)

Trong đó t là thời gian Phương trình trên đúng với t thì cũng đúng với t-1 nghĩa là :

Yt-1 = β 2 + β 2 X 2t-1 + β 3X 3t-1 + U t-1 (5.21)

Từ (5.20) và (5.21) ta được :

Yt – Yt-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1

x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1

Ta được : yt = β 2 x2t + β 3 x3t + Vt (5.23)

Mô hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào chắc chắn rằng sai phân của chúng cũng tương quan cao

Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số bấn đề chẳng hạn như số hạng sai số Vt trong (5.23) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu không tương quan Vậy thì biện pháp sửa chữa này

có thể lại còn tồi tệ hơn căn bệnh

5.Giảm tương quan trong hồi quy đa thức

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa khác nhau trong mô hình hồi quy Trong thực hành để giảm tương quan trong hồi

quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch

mà vẫn không giảm đa cộng tuyến thù người ta có thể phải xem xét đến kỹ thuật “

đa thức trực giao “

6 Một số biện pháp khác

Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khác nữa

để cứu chữa căn bệnh này như sau :

- Hồi quy thành phần chính

- Sử dụng các ước lượng từ bên ngoài

Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp cho vấn đề

đa cộng tuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu và tính nghiêm trọng của vấn đề đa cộng tuyến

B VÍ DỤ MINH HỌA

Cho bảng số liệu sau:

http://gso.gov.vn/default.aspx?tabid=715( tổng cục thống kê từ năm

2000 -2011)

Trong đó: Y là tích lũy tài sản quốc gia theo giá thực tế( tỉ đồng)

X là tiêu dùng cuối cùng quốc gia theo giá thực tế( tỉ đồng)

Z là tổng thu nhập quốc gia theo giá thực tế( tỉ đồng)

Yêu cầu: Hãy phát hiện hiện tượng đa cộng tuyến và tìm biện pháp khắc phục Với

α = 5%

1 Lập mô hình hàm hồi quy

Ta có mô hình hàm hồi quy tuyến tính thể hiện sự phụ thuộc của tích lũy tài sản quốc gia vào tiêu dùng cuối cùng và tổng thu nhập quốc gia:

Y i=β1+β2X i+β3Z i+U i

Mô hình ước lượng của hàm hồi quy:

^y i = ^β1 + ^β2Xi + ^β3Zi

Từ bảng số liệu sử dụng phần mềm eviews ta kết quả sau:

Dependent Variable: Y

Method: Least Squares

Date: 03/24/14 Time: 22:04

Sample: 1 12

Included observations: 12

Từ kết quả ước lượng thu được hàm hồi quy mẫu sau:

Cách 1: Hệ số xác định bội R2 cao nhưng t thấp

Với α = 0.05 ta có: t α / 2 n−k

= t0.0259

= 2.262 Nhận xét:

Từ bảng kết quả eviews ta có:

Thống kê t của hệ số tương ứng với biến X

T = 1.379448 < 2.262

Thống kê t của hệ số tương ứng với biến Z

T = 0.706593 < 2.262

Cách 2: Hệ số tương quan giữa các biến giải thích cao

Kết quả từ eviews ta thấy được tương quan giữa các biến giải thích:

X 1.000000 0.999305

Z 0.999305 1.000000

Ta có: r12 = 0.999305 > 0.8

Cách 3: Hồi quy phụ

Ta hồi quy biến X theo biến Z được kết quả như sau:

Dependent Variable: X

Method: Least Squares

Date: 03/28/14 Time: 22:54

Sample: 1 12

Included observations: 12

Nhận xét:

Ta thấy giá trị p-value của thống kê F là 0.000000 <  =0.05

Vậy càng có cơ sở khẳng định mô hình trên có hiện tượng đa cộng tuyến

Cách 4: : Độ đo Theil

Ta có các hệ số tương quan giữa các biến Y và X,Z như sau:

Z 0.983624 0.999305 1.000000

chương hai ta có

r13,22 r12,32 = (r13−r12r23)

2

(1−r122)(1−r232) = (0.983624−0.985747 × 0.999305)

2

(1−0.9857472)×(1−0.9993052) ≈ 0.05257

Trong phần hồi quy bội ta đã biết:

2

2 ) r 13,22

2

2 ) r 12,32

Mặt khác ta có:

2

2 ) r 12,32 - r 13

2 )

2 ) r 13,2

2

+ (1- r 132 ) r 12,3

2

)

= 0.96261

Vậy m khác 0 nên chứng tỏ có hiện tượng đa cộng tuyến sảy ra Và mức độ đa cộng tuyến là 0.98654

II Biện pháp khắc phục

Cách 1: Bỏ biến

Bước 1: Hồi quy Y theo X =>R R12, 12

Bước 4: Kết luận

* Bước 1: Hồi quy Y theo X

Dependent Variable: Y

Method: Least Squares

Date: 03/29/14 Time: 09:16

Sample: 2000 2011

Included observations: 12

* Bước 2: Hồi quy Y theo Z

Dependent Variable: Y

Method: Least Squares

Date: 03/29/14 Time: 09:18

Sample: 2000 2011

Included observations: 12

* Bước 3 :

Từ kết quả hồi quy ở trên ta có:

R2= 0.973185 R = 0.967227

R12= 0.971698 R12= 0.967516

R22= 0.968868 R22= 0.964268

* Bước 4:

Ta tiến hành so sánh Và kết luận trong trường hợp này loại biến Z

Cách 2: Thu thập thêm số liệu để tang kích thước mẫu

Ta thu thập thêm một số mẫu để tăng kích thước được bảng số liệu sau:

Từ bảng số liệu, sử dụng phần mềm eview ta được kết quả sau:

Dependent Variable: Y

Method: Least Squares

Date: 03/29/14 Time: 08:31

Sample: 1 19

Included observations: 19

Ta có mô hình hồi quy mới:

cao nên mô hình ước lượng là phù hợp