yˆ =β β
4.1. Bản chất của đa cộng tuyến
Trường hợp lý tưởng là các biến không có tương quan với nhau; mỗi một biến Xj chứa một thông tin riêng về Y, thông tin không chứa trong bất kỳ biến Xj khác. Trong thực tế, khi điều này xảy ra ta không gặp hiện tượng đa cộng tuyến. Ở trường hợp ngược lại, ta gặp hiện tượng đa cộng tuyến.
Giả sử ta phải ước lượng hàm hồi qui Y gồm k biến giải thích X1,X2,.. , Xk: Yi= β1+ β2X2i+ β3X3i,... + βkXki + ui
Đa cộng tuyến xảy ra khi một biến giải thích được biểu diễn dưới dạng tổ hợp tuyến tính của các biến giải thích còn lại đối với mọi điểm của tập số liệu. Hay có thể nói, nếu tồn tại các λi không đồng nhất bằng 0 làm cho:
λ2x2i + λ3x3i +...+ λkxki +νi = 0; Trong đó νi là nhiễu; E(νi)=0; Var(νi)=σ 2νi ≥0
Trường hợp này chúng ta có thể nói là có đa cộng tuyến
Nói chung hồi qui đa biến là có đa cộng tuyến, vấn đề là ở mức nào. Trường hợp Var(νi)= 0, => νi = 0 do E(νi)=0, khi đó ta có λ2x2i + λ3x3i +...+ λkxki = 0, trường hợp này được gọi là đa cộng tuyến hoàn hảo. Nhưng thực tế Var(νi)= 0 rất khó xảy ra, chỉ có khi số liệu quá ít hoặc đưa vào xi sai. Khi Var(νi)> 0, ta có đa cộng tuyến không hoàn hảo, Var(νi) lớn thì đa cộng tuyến thấp.
Ví dụ: Giả sử chúng ta ước lượng hàm tiêu dùng. Y = tiêu dùng, X2 = thu nhập và X3 = của cải.
Y = β1 + β2X2 + β3X3 + u; X3 = 5X2 Y = β1 + β2X2 + β35X2 + u
Y = β1 + (β2 + 5β3)X2 + u
Chúng ta có thểước lượng (β2 + 5β3) nhưng không ước lượng riêng từng hệ số hồi qui. Hay có thể nói không thể có nghiệm duy nhất cho từng hệ số hồi qui (xem lại cách tính các hệ số hồi qui). Như vậy các hệ số hồi qui sẽ không xác định được.