Phát hiện hiện tượng đa cộng tuyến

Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biếngiải thích X i của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi quy đối với một biến cụ thể là số đo tác

TRƯỜNG ĐẠI HỌC THƯƠNG MẠIKHOA KINH TẾ - LUẬT - -

BÀI THẢO LUẬN

Môn: KINH TẾ LƯỢNG

Đề tài: Phát hiện hiện tượng đa cộng tuyến

và biện pháp khắc phục

Cộng hòa xã hội chủ nghĩa Việt Nam

Độc lập - Tự do - Hạnh phúc

BIÊN BẢN HỌP NHÓM

LẦN 1

Thời gian: 15h30’, ngày 12 tháng 9 năm 2013

Địa điểm : Sân thư viện trường ĐH Thương mại

- Thống nhất hướng đề tài, dàn ý chung cho bài thảo luận.

- Nhóm trưởng phân công nội dung cho từng thành viên trong nhóm, và thống nhất thời gian nộp bài.

Cộng hòa xã hội chủ nghĩa Việt Nam

Độc lập - Tự do - Hạnh phúc

BIÊN BẢN HỌP NHÓM

LẦN 2

Thời gian: 9h30’ ngày 19 tháng 9 năm 2013

Địa điểm : Sân thư viện trường ĐH Thương Mại

Cộng hòa xã hội chủ nghĩa Việt Nam Độc lập - Tự do - Hạnh phúc

BIÊN BẢN HỌP NHÓM

LẦN 3

Thời gian: 16h ngày 19 tháng 10 năm 2013

Địa điểm : Sân kí túc xá sinh viên trường ĐH Thương mại.

- Thống nhất nội dung bài báo cáo lần cuối.

- Cả nhóm chuẩn bị cho buổi thảo luận trên lớp.

- Đánh giá, xếp loại các thành viên.

BẢN ĐÁNH GIÁ ĐIỂM CÁ NHÂN

BẢN ĐÁNH GIÁ ĐIỂM CỦA THẦY GIÁO

Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biếngiải thích X i của mô hình độc lập tuyến tính với nhau, tức là các hệ

số hồi quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứngkhi tất cả các biến khác trong mô hình được giữ cố định Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích

có tương quan thì chúng ta không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó

Hiện tượng trên được gọi là đa công tuyến.Vậy để đa cộng tuyến

là gì, hậu quả của hiện tượng này như thế nào, làm thế nào để phát hiện và biện pháp khắc phục nó Để trả lời được những câu hỏi trên,

sau đây chúng ta cùng đi thảo luận về đề tài “ Hiện tượng đa cộng

tuyến”

CHƯƠNG 1: LÝ LUẬN CƠ BẢN

VỀ ĐA CỘNG TUYẾN

cộng tuyến hoàn hảo và đa cộng tuyến không hoàn hảo.

Trong trường hợp lý tưởng các biến X i trong môi trường hồi quybội không có tương quan với nhau; mỗi một biến X i chứa một thông tin riêng về Y, thông tin không chứa trong bất kỳ biến X i khác Trong thực hành, khi điều này xảy ra ta không gặp hiện tượng đa cộng

tuyến Ở trường hợp ngược lại, ta gặp hiện tượng đa cộng tuyến

Giả sừ hàm hồi quy Y có k biến giài thích X1, X2,…,X k:

Y i=β1+β2X 2i+β3X 3 i+…+ β k X ki+U i

Đa cộng tuyến xảy ra khi một biến giải thích được biểu diễn dưới dạng tổ hợp tuyến tính của các biến giải thích còn lại đối với mọi điểm của tập số liệu Hay có thể nói nếu tồn tại các λ i không đồng nhất bằng không làm cho:

λ2x 2 i+λ3x 3 i+…+λ k X ki+ν i=0; Trong đó ν i là nhiễu (sai số ngẫu nhiên) ; E(ν i

)=0; Trong trường hợp này chúng ta có thể nói là có đa cộng tuyến

Đa cộng tuyến hoàn hảo xảy ra khi một biến giải thích được biểu diễn dưới dạng tổ hợp tuyến tính của các biến giải thích còn lại

đối với mọi điểm của tập số liệu Hoặc có thể nói: Đa cộng tuyến hoàn hảo giữa các biến giải thích X1, X2, X3, … , X k xảy ra nếu điều kiện sau được thỏa mãn:

λ1X1+λ2X2+λ3+…+λ k X k=0

Trong đó λ1, λ2, λ3, … , λ k là các hằng số không đồng thời bằng không

Thuật ngữ đa cộng tuyến lần đầu tiên được Ragnar Frisch sử dụng vào năm 1934 với nội dung trên Tuy nhiên ngày nay, thuật ngữ này được sử dụng theo nghĩa rộng hơn Nó bao gồm cả đa cộng tuyến hoàn hảo và trường hợp trong đó các biến giải thích có tương quan với nhau theo nghĩa sau:

λ1X 1 i+λ2X 2 i+λ3X 3 i+…+ λ k X ki+V i=0 (1.1)Trong đó: V i là sai số ngẫu nhiên

Trong trường hợp này thì :

- X 3 i= 5X 3 i, có cộng tuyến hoàn hảo giữa X2và X3; r23 = 1

- X2 và X4 có cộng tuyến không hoàn hảo

1.2 Ước lượng khi có đa cộng tuyến hoàn hảo.

Sau đây chúng ta sẽ chỉ ra rằng khi có đa cộng tuyến hoàn hảothì các hệ số hồi quy là không xác định còn các sai số tiêu chuẩn là

vô hạn Để đơn giản về mặt trình bày chúng ta sẽ xét mô hình hồi quy 3 biến và chúng ta sẽ sử dụng dạng độ lệch trong đó:

yi= Yi− Y ; x i=X i− ´X; ( i=1,n)

(1.3)

thì mô hình hồi quy 3 biến có thể viết lại dưới dạng:

Giả sử: X3 i= λX2i trong đó λ là hằng số khác không, thay

điều kiện này vào (1.6) ta được:

Nhưng khi X3 i= λX2i thì điều đó có nghĩa là không thể tách ảnh

hưởng của X2 và X3 khỏi mẫu đã cho Trong kinh tế lượng thì

điều này phá hủy toàn bộ ý định tách ảnh hưởng riêng của từng biếnlên biến phụ thuộc

Thí dụ: X3 i= λX2i thay điều kiện này vào (1.5) ta được:

Như vậy dù α được ước lượng một cách duy nhất thì cũng

không thể xác định được β¿2 và β¿3 từ một phương trình 2 ẩn.

Như vậy trong trường hợp đa cộng tuyến hoàn hảo, chúng ta không thể nhận được lời giải duy nhất cho các hệ số hồi quy riêng, nhưng trong khi đó ta lại có thể nhận được lời giải duy nhất cho tổ hợp tuyến tính của các hệ số này Chú ý rằng trong trường hợp đa cộng tuyến hoàn hảo thì phương sai và các sai số tiêu chuẩn của các

ước lượng β¿2 và β¿3 là vô hạn.

1.3 Ước lượng trong trường hợp có đa cộng tuyến không hoàn hảo.

Đa cộng tuyến hoàn hảo chỉ là 1 trương hợp đặc biệt hiếm xảy

ra Trong các số liệu liên quan đến chuỗi thời gian, thường xảy ra đa cộng tuyến không hoàn hảo

Xét mô hình (1.5) Bây giờ chúng ta giả thiết giữa X2 và X3 có

cộng tuyến không hoàn hảo theo nghĩa:

x3i= λx2i+ Vi

Trong đó λ≠0 , Vi là nhiễu ngẫu nhiên sao cho

∑ x2iVi=0

Trong trường hợp này theo phương pháp bình phương nhỏ nhất ta

dễ dàng thu được các ước lượng β¿2 và β¿3 .

Chẳng hạn:

β2=( ∑ y i x 2 i) λ2

∑x 2i2 +∑V i2

không ước lượng được

1.4 Hậu quả của đa cộng tuyến.

Ta xét trường hợp mô hình có hiện tượng đa cộng tuyến không hoàn hảo, tức là biến độc lập Xi có thể xấp xỉ tuyến tính theo các biến X2 , X3 , , Xk Có một số trường hợp xảy ra như sau:

1.4.1 Phương sai và hiệp phương sai của các ước lượng bình

Từ 1.10 và 1.11 ta thấy r23 tăng dần tới 1 (nghĩa là cộng tuyến tăng) thì phương sai của hai ước lượng này tăng dần tới vô hạn 1.12 chỉ ra rằng khi r23 tăng dần tới 1 thì cov(^β 2 , ^β3) tăng về giá trị tuyệt đối

1.4.2 Khoảng tin cậy rộng hơn

Giả sử khi thực hành ta có khoảng tin cậy 95% cho ^β2, ^β3 khi σ2

đã biết là:

^β2± 1,96 se(β^2)và ^β3±1,96 se¿)Trong đó:

1.4.3 Tỷ số t mất ý nghĩa

Như đã biết, khi kiểm định giả thiết H0: ^β2=0 chúng ta đã sử dụng

tỷ số t= β^2

tới hạn t thong khi có đa cộn tuyến gần hoàn hảo thì sai số tiêu chuẩn ước lượng được sẽ rất cao vì vậy làm cho chỉ số t nhỏ đi Kết quả là sẽ làm tăng khả năng chấp nhận giả thiết H0

1.4.4 R2cao nhưng tỉ số ít ý nghĩa

Để giải thích điều này Ta hãy xét mô hình hồi quy k biến như sau:

Y1=¿^β

1 + ^β2x 2i+ ^β3x 3 i+…+ ^β k x ki+U i¿

Trong trường hợp có đa cộng tuyến gần hoàn hảo, như đã chỉ

ra ở trên, ta có thể tìm được một hoặc một số hệ số góc riêng là không có ý nghĩa là không có ý nghĩa thống kê trên cơ sở kiểm định

t nhưng trong khi đó R2 lại có thể rất cao, nên bằng kiểm định F chúng ta có thể bác bỏ giả thiết: H0: ^β2=^β3=…=^β k=0 Mâu thuẫn này cũng là tín hiệu của đa cộng tuyến

1.4.5 Các ước lượng bình phương bé nhất và các sai số tiêu

chuẩn của chúng trở lên rất nhạy đối với những thay đổi nhỏ trong số liệu

1.4.6 Dấu của các ước lượng của các hệ số hồi quy có thể sai

Khi có đa cộng tuyến gần hoàn hảo thì có thể thu được các ướclượng của các hệ số hồi quy trái với điều chúng ta mong đợi Chẳng hạn lý thuyết kinh tế cho rằng đối với hàng hoá thong thường thu nhập tăng thì cầu hàng hoá tăng, nghĩa là khi hồi quy thu nhập là một trong các biến giải thích, biến phụ thuộc là lượng cầu hàng hoá, nếu xảy ra hiện tượng đa cộng tuyến gần hoàn hảo thì ước lượng của

hệ số của biến thu nhập có thể mang dấu âm – mâu thuẫn với điều

ta mong đợi

1.4.7 Thêm vào hay bớt đi các biến cộng tuyến với các biến

khác, mô hình sẽ thay đổi về độ lớn trong các ước lượng hoặc dấu của chúng

1.5 Phát hiện sự tồn tại của đa cộng tuyến

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường không chính xác

Có những trường hợp tương quan cặp không cao nhưng vẫn có

đa cộng tuyến Thí dụ, ta có 3 biến giải thích X 1 , X 2 , X 3 như sau:

1.5.3 Xem xét tương quan riêng

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar và Glauber đã đề nghị sử dụng hệ số tương quan riêng Tronghồi quy của Y đối với các biến X 2 , X 3 ,X 4 Nếu ta nhận thấy răng r 1,2342 cao trong khi đó r 12,342 ; r 13,242 ; r 14,232 tương đối thấp thì điều đó có thể gợi ý rằng các biến X 2 , X 3 và X 4 có tương quan cao và ít nhất một trong các biến này là thừa

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện

ra hiện tượng đa cộng tuyến

1.5.4 Hồi quy phụ

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ Hồi quy phụ là hồi quy mỗi một biến giải thích X i theo các biến giải thích còn lại R 2 được tính từ hồi quy này ta ký hiện R i2

Mối liên hệ giữa F i và R i

F i tuân theo phân phối F với k – 2 và n - k +1 bậc tự do

Trong đó n là , k là số biến giải thích kể cả hệ số chặn trong mô hình R i2 là hệ số xác định trong hồi quy của biến X i theo các biến X khác Nếu F i tính được vượt điểm tới hạn F i (k-2, n-k+1) ởmức ý nghĩa đã cho thì có nghĩa là X i có liên hệ tuyến tính với cácbiến X khác Nếu F i có ý nghĩa về mặt thống kê chúng ta vẫn phảiquyến định liệu biến X i nào sẽ bị loại khỏi mô hình Một trở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán này

1.5.5 Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến X i , ký hiệu là VIF(X i )

VIF(X i ) được thiết lập trên cơ sở của hệ số xác định R i2 tronghồi quy của biến X i với các biến khác nhau như sau:

X i trực giao với các biến khác Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì vớitình huống đó Nó chỉ cho biết rằng các tình huống là không lý

tưởng

1.5.6 Độ đo Theil

Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích Một độ đo mà xem xét tương quan của biến giải thích với biến được giải thích là độ đo Theil Độ đo Theil được định nghĩa như sau:

Y = β 1 + β 2 X 2i + β 3 X 3i + …… + β k X ki + U i

R −2i là hệ số xác định bội trong mô hình hồi quy của biến Y đốivới các biên X 2 , X 3 , … ,X i−1 , X i+1 , … ,X k

Đại lượng R 2 - R −2i được gọi là “đóng góp tăng thêm vào” vào hệ số xác định bội Nếu X 2 , X 3 … X k không tương quan với nhau thì m = 0 vì những đóng góp tăng thêm đó cộng lại bằng R 2 Trong các trường hợp khác m có thể nhận giá trị âm hoặc dương lớn.

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp

mô hình có 2 biến giải thích X 2 và X 3 Theo ký hiệu đã sử dụng ởchương trước ta có:

m = R 2 - ( R 2 - r 12

2

) – (R 2 – r 132 )

Tỷ số t liên hệ với tương quan riêng r 12,32 , r 13,22

Trong phần hồi quy bội ta đã biết:

Đặt 1- r 122 = w 2 ; 1- r 13

2

= w 3 và gọi là các trọng số Công thức (1.16) được viết lại dưới dạng:

m = R 2 - (w 2 r 13,2

2 + w 3 r 12,3

2)

Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng

có trọng số của các hệ số tương quan riêng

Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có ý nghĩa sử dụng hạn chế Chúng chỉ cho ta những thông báo rằng sự việc không phải là lý tưởng

1.6 Biện pháp khắc phục.

1.6.1 Sử dụng thông tin tiên nghiệm

Một trong các cách tiếp cận để giải quyết vấn đề đa cộngtuyến là phải tận dụng thông tin tiên nghiệm hoặc thông tin từnguồn khác để ước lượng các hệ số riêng

Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sảnxuất nào đó có dạng :Q t =AL t α K t β e Ut

(1.16)Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t; Lt laođộng thời kỳ t; Kt vốn thời kỳ t; Ut là nhiễu ; A,, β là các tham số màchúng ta cần ước lượng Lấy ln cả 2 vế (1.16) ta được :

Giả sử từ 1 nguồn thông tin nào đó mà ta biết được rằng ngànhcông nghiệp này thuộc ngành có lợi tức theo quy mô không đổi,nghĩa là  +β = 1 Với thông tin này, cách xử lý của chúng ta sẽ làthay β = 1 -  vào (1.17) và thu được :

Q t¿

= A¿ + L t¿

+ (1-α))K t¿

+ U t (1.18)

1.6.2 Thu thập thêm số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khácliên quan đến cùng các biến trong mẫu ban đầu mà đa cộng tuyến

có thể không nghiêm trọng nữa Điều này có thể làm được khi chiphí cho việc lấy mẫu khác có thể chấp nhận được trong thực tế

Đôi khi chỉ cần thu thập them số liệu , tăng cỡ mẫu có thể làmgiảm tính nghiêm trọng của đa cộng tuyến

1.6.3 Bỏ biến.

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “đơngiản nhất” là bỏ biến cộng tuyến ra khỏi phương trình Khi phải sửdụng biện pháp này thì cách thức tiến hành như sau:

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thíchcòn X2, X3, …, X k là các biến giải thích Chúng ta thấy rằng X2 tươngquan chặt chẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũngchứa ở X3 Vậy nếu ta bỏ 1 trong 2 biến X2 hoặc X3khỏi mô hình hồiquy, ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽ mất đi 1phần thông tin về Y

Bằng phép so sánh R2và ´R2trong các phép hồi quy khác nhau mà

có và không có 1 trong 2 biến chúng ta có thể quyết định nên bỏbiến nào trong biến X2 và X3 khỏi mô hình

Thí dụ R2đối với hồi quy của Y đối với tất cả các biến

X1, X2, X3, … , X klà 0.94;R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là0.92; như vậy trong trường hợp này ta loại X3

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các môhình kinh tế có những trường hợp đòi hỏi nhất định phải có biến nàyhoặc biến khác ở trong mô hình Trong trường hợp như vậy việc loại

bỏ 1 biến phải được cân nhắc cẩn thận giữa sai lệch khi bỏ 1 biếncộng tuyến với việc tăng phương sai của các ước lượng hệ số khibiến đó ở trong mô hình

1.6.4 Sử dụng phân sai cấp một.

Mặc dù biện pháp này có thể giảm tương quan qua lại giữa cácbiến nhưng chúng cũng có thể được sử dụng như 1 giải pháp chovấn đề đa cộng tuyến

Thí dụ chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữacác biến Y và các biến phụ thuộc X2 và X3 theo mô hình sau :

Y t=β1+β2X 2 t+β3X 3 t+U t (1.19)Trong đó t là thời gian Phương trình trên đúng với t thì cũngđúng với t-1 nghĩa là :

Mô hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọngcủa đa cộng tuyến vì dù X2 và X3 có thể tương quan cao nhưngkhông có lý do tiên nghiệm nào chắc chắn rằng sai phân của chúngcũng tương quan cao.

Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số vấn đề chẳnghạn như số hạng sai số Vt trong (1.22) có thể không thỏa mãn giảthiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu khôngtương quan Vậy thì biện pháp sửa chữa này có thể lại còn tồi tệ hơn

1.6.5 Giảm tương quan trong hồi quy đa thức.

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiệnvới lũy thừa khác nhau trong mô hình hồi quy Trong thực hành đểgiảm tương quan trong hồi quy đa thức người ta thường sử dụngdạng độ lệch Nếu việc sử dụng dạng độ lệch mà vẫn không giảm đacộng tuyến thì người ta có thể phải xem xét đến kỹ thuật “đa thứctrực giao”

1.6.6 Một số biện pháp khác.

Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biệnpháp khác nữa như sau:

- Bỏ qua đa cộng tuyến nếu t > 2

- Bỏ qua đa cộng tuyến nếu R2 của mô hình cao hơn R2 của môhình hồi quy phụ

- Bỏ qua đa cộng tuyến nếu hồi quy mô hình được dùng để dựbáo chứ không phải kiểm định

- Hồi quy thành phần chính

- Sử dụng các ước lượng từ bên ngoài

Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giảipháp cho vấn đề đa cộng tuyến như thế nào còn phụ thuộc vào bảnchất của tập số liệu và tính nghiêm trọng của vấn đề đa cộng tuyến