bài thảo luận hiện tượng đa cộng tuyến

Hiện tượng trên được gọi là đa cộng tuyến.Vậy đa cộng tuyến là gì, hậu quả của hiện tượng này như thế nào, phải là như thế nào để nhận biết và khắc phục hiện tượng này. Để trả lời cho những câu hỏi trên chúng ta sẽ cùng tìm hiểu đề tài “ Hiện tượng đa cộng tuyến ”.

cố định Tuy nhiên khi giả thiết đó bị vi phạm tức là các biến giải thích có tương quan thìchúng ta không thể tách biệt sự ảnh hưởng riêng biệt của biến nào đó.

Hiện tượng trên được gọi là đa cộng tuyến.Vậy đa cộng tuyến là gì, hậu quả của hiệntượng này như thế nào, phải là như thế nào để nhận biết và khắc phục hiện tượng này Đểtrả lời cho những câu hỏi trên chúng ta sẽ cùng tìm hiểu đề tài “ Hiện tượng đa cộng tuyến

”

I LÝ THUYẾT VỀ HIỆN TƯỢNG ĐA CỘNG TUYẾN

1 Khái niệm đa cộng tuyến và nguyên nhân

1.1Khái niệm

Khi xây dựng mô hình hồi quy bội, trường hợp lý tưởng là các biến trong mô hình không có tương quan với nhau, mỗi biến chứa một thông tin riêng về Y, thông tin không

chứa trong bất kì biến khác Trong thực hành, khi điều này xảy ra ta không gặp hiện tượng đa cộng tuyến.

Trong những trường hợp còn lại, ta gặp hiện tượng đa cộng tuyến Giả sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích

( i = )

Cho các biến gọi là các đa cộng tuyến hoàn hảo hay còn gọi là đa cộng tuyến chính

xác nếu tồn tại ,… , không đồng thời bằng không sao cho:

Các biến gọi là các đa cộng tuyến không hoàn hảo nếu tồn tại

,… , không đồng thời bằng không sao cho:

(1.1)

trong đó là sai số ngẫu nhiên

Trong (1.1) giả sử 0 khi đó ta biểu diễn:

Ví dụ: Người thu nhập cao sẽ có khuynh hướng nhiều của cải hơn Điều này có thể

đúng với mẫu mà không đúng với tổng thể Trong tổng thể sẽ có các quan sát về các cánhân có thu nhập cao nhưng không có nhiều của cải và ngược lại

- Các dạng mô hình dễ xảy ra đa cộng tuyến:

+ Hồi quy dạng các biến độc lập được bình phương sẽ xảy ra đa cộng tuyến, đặcbiệt khi phạm vi giá trị ban đầu của biến độc lập là nhỏ

+ Các biến độc lập vĩ mô được quan sát theo chuỗi thời gian

1.3 Ước lượng khi có đa cộng tuyến

1.3.1 ước lượng khi có hiện tượng đa cộng hoàn hảo

Cho các biến gọi là các đa cộng tuyến hoàn hảo hay còn gọi là đa cộng tuyến chính xác

nếu tồn tại ,… , không đồng thời bằng không sao cho:

và có mối quan hệ tuyến tính chính xác: = 5

Có đa cộng tuyến hoàn hảo

Xét hàm hồi quy tuyến tính 3 biến:

Và giả sử có đa cộng tuyến hoàn hảo: =

3 2

2 3

2 2

3 3

2

2 3 2

i

i i i i i

i i

x x x

x

x y x

x x

x y

β

Vì =

( ) ( ) ( ) ( )

0 ˆ

2 2 2

2 2 2 2 2

2 2

2

2 2

2 2

i

i i i

i i

i i

x x a x a x

x y a x x a x a x y

β

Đây là mô hình vô định => không xác định được

Tương tự => không xác định được

Tổng quát : ma trận (XTX) suy biến, không có ma trận nghịch đảo

Như vậy trong trường hợp đa cộng tuyến hoàn hảo thì sẽ không xây dựng được môhình hồi quy

1.3.2 ước lượng khi có đa cộng tuyến không hoàn hảo

Đa cộng tuyến hoàn hảo chỉ là trường hợp đặc biệt hiếm xảy ra Trong các số liệu liênquan đến chuỗi thời gian, thường xảy ra đa cộng tuyến không hoàn hảo Xét mô hình(5.5)

Bây giờ chúng ta giả thiết giữa X2 và X3 có cộng tuyến không hoàn hảo theo nghĩa:

Trong đó #0, Vi là nhiễu ngẫu nhiên sao cho =0

Trong trường hợp này theo phương pháp bình phương bé nhất ta dễ dàng thu được cácước lượng ,

Chẳng hạn

Trong trường hợp này không có lý do gì để nói rằng (5.9) là không ước lượng được

2 Hậu quả của hiện tượng đa cộng tuyến

Ta xét trường hợp mô hình có hiện tượng đa cộng tuyến không hoàn hảo, tức là biến độc lập Xi có thể xấp xỉ tuyến tính theo các biến X2 ,X3 ,…, Xk Có một số trường hợp xảy ra như sau:

2.1 Phương sai và hiệp phương sai của các ước lượng bình quân bé nhất lớn.

Trong chương mô hình hồi quy bội ta có biểu thức:

Var2 (1.1)

Var3 (1.2)

Và cov(2,3)= (1.3)

Trong đó r23 là hệ số tương quan giữa X2 , X3

Từ (1.1) và (1.2) ta thấy r23 tăng dần tới 1 ( nghĩa là cộng tuyến tăng) thì phương sai của hai ước lượng này tăng dần tới vô hạn (1.3) chỉ ra rằng khi r23 tăng dần tới 1 thì cov(2,3) tăng về giá trị tuyệt đối

2.2 Khoảng tin cậy rộng hơn

Giả sử khi thực hành ta có khoảng tin cậy 95% cho khi có giá trị xấp xỉ đã biết là:

Từ 1.4 và 1.5 chứng tỏ r23 càng gần tới 1 thì khonagr tin cậy cho các tham số càng rộng.

Do đó trong trường hợp có đa cộng tuyến càng hoàn hảo thì số liệu của mẫu có thể thích hợp với tập các giả thiết khác nhau Vì thế xác suất chấp nhận giả thiết sai tăng lên ( tức là tăng sai lầm loại II)

2.3 Tỷ số t mất ý nghĩa.

Như đã biết, khi kiểm định giả thiết: H0: =0 chúng ta sử dụng tỷ số t= và đem so sánh giá trị t đã được ước lượng với giá trị tới hạn t Nhưng khi có đa cộng tuyến gần hoàn hảo thì sai số tiêu chuẩn ước lượng sẽ rất cao vì vậy làm cho tỉ số t nhỏ đi Kết quả là sẽ làm tăng khả năng chấp nhận giả thiết H0

2.4 R 2 cao nhưng tỉ số ít ý nghĩa

Để giải thích điều này Ta hãy xét mô hình hồi quy k biến như sau:

Trong trường hợp có đa cộng tuyến gần hoàn hảo, như đã chỉ ra ở trên, ta có thể tìm được một hoặc một số hệ số góc riêng là không có ý nghĩa là không có ý nghĩa thống kê trên cơ sở kiểm định t nhưng trong khi đó R2 lại có thể rất cao, nên bằng kiểm định F chúng ta có thể bác bỏ giả thiết: H0: Mâu thuẫn này cũng là tín hiệu của đa cộng tuyến2.5 Các ước lượng bình phương bé nhất và các sai số tiêu chuẩn của chúng trở nên rất nhạy đối với những thay đổi nhỏ trong số liệu

-Chỉ cần một sự thay đổi nhỏ trong mẫu dữ liệu sẽ kéo theo sự thay đổi lớn các hệ số ước lượng

-Bởi vì các hệ số ước lượng chứa đựng những mối quan hệ mạnh giữa các biến độc lập

Ví dụ: Kết quả ước lượng của hàm tiêu dùng:

 Y = 24.77 + 0.94X2 - 0.04X3

 R2=0.96, F = 92.40

 X2 : thu nhập

 X3 : của cải

R2 rất cao giải thích 96% biến đổi của hàm tiêu dùng

Sai sót :

- Có một biến sai dấu

- Biến thu nhập và của cải tương quan rất mạnh với nhau do đó không thể nào ước lượng được tác động biên chính xác cho thu nhập hoặc của cải lên tiêu dùng

2.6 Dấu của các ước lượng của hệ số hồi quy có thể sai

Khi có đa cộng tuyến gần hoàn hảo thì có thể thu được các ước lượng của các hệ số hồi quy trái với điều chúng ta mong đợi Chẳng hạn lý thuyết kinh tế cho rằng đối với hàng hóa bình thường khi thu nhập tăng, cầu hàng hóa tăng, nghĩa là khi hồi quy thu nhập

là một trong các biến giải thích, biến phụ thuộc là lượng cầu của hàng hóa, nếu xảy ra hiện tượng đa cộng tuyến gần hoàn hảo thì ước lượng của các hệ số của biến thu nhập có thể mang dấu âm - mâu thuẫn với điều ta mong đợi

Ví dụ: khi ước lượng hồi quy cầu của hàng hóa thông thường theo thu nhập, nếu xảy rahiện tượng đa cộng tuyến gần hoàn hảo, thì có thể hệ số của biến thu nhập mang dấu (-) , điều này mâu thuẫn với lý thuyết kinh tế

2.7 Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về

độ lớn của các ước lượng hoặc dấu của chúng

Đa cộng tuyến làm tang sai số chuẩn, sai số chuẩn lớn hơn phản ánh sự biến thiên của hệ số hồi quy từ mẫu này đến mẫu khác cao hơn

Tóm lại triệu chứng chủ yếu của đa cộng tuyến mà ta đã nói ở trên là tăng sai số tiêu chuẩn Sai số tiêu chuẩn cao hơn có ngụ ý rằng sự biến thiên của hệ số hồi quy từ mẫu này đến mẫu khác cao hơn do đó một sự thay đổi nhỏ trong số liệu hoặc trong mô hình hồi quy (như thêm vào hoặc bớt đi một biến) sẽ gây ra sự thay đổi lớn của các hệ số Như vậy chúng ta đã biết được một số hậu quả của đa cộng tuyến Nhưng dù hậu quảthế nào đi chăng nữa thì điều quan trọng là làm thế nào để thâý được sự tồn tại của nó đẻ

ta có thể ngăn ngừa những hậu quả tai hại đối với thủ tục ước lượng và sử dụng mô hình hồi quy để dự đoán, điều khiển hoặc hiểu quá trình liên quan với nó Sau đây sẽ trình bày một số phương pháp để phát hiện đa cộng tuyến và mô tả những triệu chứng chủ yếu của nó.

3 Phát hiện sự tồn tại của đa cộng tuyến

3.1 R 2 cao nhưng tỉ số t thấp

Trong trường hợp R2 cao (thường R2 > 0,8) mà tỉ số t thấp thì đó chính là dấu hiệu củahiện tượng đa cộng tuyến

3.2 Tương quan cặp giữa các biến giải thích cao

Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng có tồn tại đa cộng tuyến Tuy nhiên tiêu chuẩn này thường không chính xác

Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến Thí dụ,

ta có 3 biến giải thích X1,X2,X3 như sau:

3.3 Xem xét tương quan riêng

Vì vấn đề được đề cập đến dựa vào tương quan bậc không Farrar và Glauber đã đề nghị sử dụng hệ số tương quan riêng Trong hồi quy của Y đối với các biến X2, X3, X4, Nếu ta nhận thấy rằng (r1,234)2 cao trong khi đó (r12,34)2 , (r13,24)2 , (r14,23)2 tương đối thấp thì

điều đó có thể gợi ý rằng các biến X2 , X3 , X4 có tương quan cao và ít nhất một trong các biến này là thừa.

Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra đa cộng tuyến

3.4 Hồi quy phụ

Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ Hồi quy phụ là hồi quy mỗi một biến giải thích Xi theo các biến giải thích còn lại R2 đượctính từ hồi quy này ta ký hiện R2

i Mối liên hệ giữa Fi và R2

3.5 Nhân tử phóng đại phương sai

Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến Xi, ký hiệu là VIF(Xi)

VIF(Xi) được thiết lập trên cơ sở của hệ số xác định R2

i trong hồi quy của biến Xi với các biến khác nhau như sau:

VIF(X) = (1.15) Nhìn vào công thức (1.15) có thể giải thích VIF(Xi) bằng tỷ số chung của phương sai thực của βi trong hồi quy gốc của Y đối với các biến X và phương sai của ước lượng βi

trong hồi quy mà ở đó Xi trực giao với các biến khác Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó Nó chỉ cho biết rằng các tình huống là không lý tưởng.

-i được gọi là “đóng góp tăng thêm vào” vào hệ số xác định bội Nếu

X2 , X3… Xk không tương quan với nhau thì m = 0 vì những đóng góp tăng thêm đó cộng lại bằng R2 Trong các trường hợp khác m có thể nhận giá trị âm hoặc dương lớn

Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có hai biến giải thích X2 và X3 Theo ký hiệu đã sử dụng ở chương trước ta có:

R2 = r2

12 + (1- r2

12) r2 13,2

R2 = r2

13 + (1- r2

13) r2 12,3 Thay 2 công thức này vào biểu thức xác định m ta được:

m = R2 – [r2

12 + (1- r2

12) r2 13,2 – r2

12] – [ r2

13 + (1- r2

13) r2 12,3- r2

13 ] = R2 - [(1- r2

12) r2 12,3 + (1- r2

13) r2 12,3] (1.16) Đặt 1- r2

số tương quan riêng Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có ý nghĩa sử dụng hạn chế Chúng chỉ cho ta những thông báo rằng sự việc không phải là lý tưởng

4 Biện pháp khắc phục

4.1 Thu thập số liệu hoặc lấy thêm mẫu mới

Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến cùng các

biến trong mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng nữa Điều này cóthể làm được khi chi phí cho việc lấy mẫu khác có thể chấp nhận được trong thực tế Đôi khi chỉ cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tính nghiêm trọngcủa đa cộng tuyến

4.2 Bỏ biến

Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “đơn giản nhất” là bỏ biếncộng tuyến ra khỏi phương trình Khi phải sử dụng biện pháp này thì cách thức tiến hànhnhư sau:

Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X2, X3, …, Xk làcác biến giải thích Chúng ta thấy rằng X2 tương quan chặt chẽ với X3 Khi đó nhiềuthông tin về Y chứa ở X2 thì cũng chứa ở X3 Vậy nếu ta bỏ 1 trong 2 biến X2 hoặc X3

khỏi mô hình hồi quy, ta sẽ giải quyết được vấn đề đa cộng tuyến nhưng sẽ mất đi 1 phầnthông tin về Y.

Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế có nhữngtrường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong mô hình Trongtrường hợp như vậy việc loại bỏ 1 biến phải được cân nhắc cẩn thận giữa sai lệch khi bỏ 1biến cộng tuyến với việc tăng phương sai của các ước lượng hệ số khi biến đó ở trong môhình

4.3 Sử dụng sai phân cấp 1

Mặc dù biện pháp này có thể giảm tương quan qua lại giữa các biến nhưng chúng cũng

có thể được sử dụng như 1 giải pháp cho vấn đề đa cộng tuyến

Thí dụ chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và cácbiến phụ thuộc X2 và X3 theo mô hình sau :

Mô hình hồi quy dạng (1.22) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì

dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào chắc chắn rằngsai phân của chúng cũng tương quan cao

Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số vấn đề chẳng hạn như số hạng sai số

Vt trong (1.22) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển làcác nhiễu không tương quan Vậy thì biện pháp sửa chữa này có thể lại còn tồi tệ hơn

4.4 Giảm tương quan trong hồi quy đa thức

Nét khác nhau của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa khácnhau trong mô hình hồi quy Trong thực hành để giảm tương quan trong hồi quy đa thứcngười ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà vẫn khônggiảm đa cộng tuyến thì người ta có thể phải xem xét đến kỹ thuật “đa thức trực giao”

4.5 Thay đổi dạng mô hình

Mô hình kinh tế lượng có nhiều dạng hàm khác nhau Thay đổi dạng mô hình cũng cónghĩa là tái cấu trúc mô hình

4.6 Một số biện pháp khác

Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khác nữa như sau:

- Bỏ qua đa cộng tuyến nếu t > 2

- Bỏ qua đa cộng tuyến nếu R2 của mô hình cao hơn R2 của mô hình hồi quy phụ

- Bỏ qua đa cộng tuyến nếu hồi quy mô hình được dùng để dự báo chứ không phảikiểm định

- Hồi quy thành phần chính

- Sử dụng các ước lượng từ bên ngoài

Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp cho vấn đề đa cộngtuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu và tính nghiêm trọng củavấn đề đa cộng tuyến

II: BÀI TẬP VẬN DỤNG VÀ KHẮC PHỤC HIỆN TƯỢNG ĐA CỘNG TUYẾN

1 Bài Toán

Bảng số liệu điều tra về Mức chi tiêu(đồng), số tiền phụ cấp (đồng), số tiền làm thêm(đồng), số tiền hỗ trợ (đồng ), tình trạng đi làm thêm của sinh viên trường đại học Thương Mại n=45

Mức chi tiêu

(đồng)

Số tiền phụcấp (đồng)

Số tiền làmthêm (đồng)

Số tiền

hô trợ(đồng)

Tìnhtrạng đilàm thêm

=0 không đi làm thêm

Ui: sai số ngẫu nhiên

* Dùng Eviews ước lượng mô hình hồi quy mẫu theo phương pháp bình phương nhỏnhất:

Bước 1: File →woldfile→chọn các thông số như hộp thoại→OK

Bước 2:

+ Chọn Quick→Empty group (Edit series)

Sau đó ta copy phần số liệu để trong tệp excel vào bảng và khai báo tên các biến lầnlượt là , kết quả như sau:

Ta viết câu lệnh như trong hình rồi ấn Enter, kết quả:

Từ kết quả ước lượng trên ta có hàm hồi quy mẫu:

Ŷ i = 636369,5+0, 076629+0,052558 +0,102755 +

Ý nghĩa của các hệ số hồi quy

Với 1 = 636369,5 số tiền phụ cấp , số tiền đi làm thêm, số tiền hỗ trợ không thay đổi,cùng tình trạng đi làm thêm, thì Mức chi tiêu trung bình trong 1 tháng của sinh viên là636369,5 (đồng)

2 = 0,076629 Số tiền đi làm thêm, số tiền hỗ trợ không thay đổi, cùng tình trạng đi làmthêm , khi số tiền phụ cấp tăng 1 đơn vị thì Mức chi tiêu trung bình của sinh viên trong 1tháng tăng 0,076629 (đồng)

3 = 0,052558 số tiền phụ cấp , số tiền hỗ trợ không thay đổi và cùng tình trạng đi làmthêm, khi số tiền đi làm thêm tăng 1 đơn vị thì Mức chi tiêu trung bình của sinh viên trong

1 tháng tăng 0,052558(đồng)

Với 4= 0,102755 số tiền phụ cấp , số tiền đi làm thêm, không thay đổi và cùng tìnhtrạng đi làm thêm khi số tiền hỗ trợ tăng 1 đơn vị thì Mức chi tiêu trung bình của sinhviên trong 1 tháng tăng 0,102755 (đồng)

5= số tiền phụ cấp , số tiền đi làm thêm, số tiền hỗ trợ không thay đổi , những sinhviên có đi làm thêm có mức chi tiêu trung bình trong 1 tháng cao hơn những sinh viênkhông đi làm thêm là

2 2 Phát hiện hiện tượng đa cộng tuyến

2.2.1 R 2 cao nhưng tỷ số t thấp

Như đã chạy eviews ở trên