Tự tương quan (Autocorrelation) ppt

Tự tương quan Autocorrelation Bản chất và nguyên nhân của hiện tượng tự tương quan  Ước lượng bình phương nhỏ nhất khi có tự tương quan  Ước lượng tuyến tính không chệch tốt nhất khi

Tự tương quan (Autocorrelation)

 Bản chất và nguyên nhân của hiện

tượng tự tương quan

 Ước lượng bình phương nhỏ nhất khi

có tự tương quan

 Ước lượng tuyến tính không chệch tốt

nhất khi có tự tương quan

 Hậu quả của việc sử dụng phương pháp

OLS khi có tự tương quan

 Phát hiện tự tương quan

 Các biện pháp khắc phục

Bản chất và nguyên nhân của hiện

tượng tự tương quan

Trong mô hình hồi qui tuyến tính cổ điển,

ta giả định rằng không có tương quan giữa các sai số ngẫu nhiên ui, nghĩa là:cov(ui, uj) = 0 (i  j)

Nói một cách khác, mô hình cổ điển giả

định rằng sai số ứng với quan sát nào

đó không bị ảnh hưởng bởi sai số ứng với một quan sát khác

Bản chất và nguyên nhân của hiện tượng tự tương quan

 Tuy nhiên trong thực tế có thể xảy ra hiện

tượng mà sai số của các quan sát lại phụ

thuộc nhau, nghĩa là:

cov(ui, uj)  0 (i  j) Khi đó xảy ra hiện tượng tự tương quan.

 Sự tương quan xảy ra đối với những quan sát

“cắt ngang” đgl “tự tương quan không

gian”.

 Sự tương quan xảy ra đối với những quan sát

“chuổi thời gian” đgl “tự tương quan thời

gian”.

2 Nguyên nhân của tự tương quan

 Quán tính: mang tính chu kỳ, VD: các chuổi số

liệu thời gian về: GDP, chỉ số giá, sản lượng,

thất nghiệp, …

 Sai lệch do lập mô hình: bỏ sót biến, dạng hàm

sai.

 Hiện tượng mạng nhện: phản ứng của cung của

nông sản đối với giá thường có một khoảng trễ

về thời gian: QSt = 1 + 2Pt-1 + ut

 Độ trễ: một hộ chi tiêu nhiều trong khoảng thời

gian t có thể do chi tiêu ít trong giai đoạn t-1

Ct = 1 + 2It + 3Ct-1 + ut

 Hiệu chỉnh số liệu: do việc “làm trơn” số liệu 

loại bỏ những quan sát “gai góc”.

Ước lượng OLS khi có tự tương

quan

 Giả sử tất cả các giả định đối với mô

hình hồi qui tuyến tính cổ điển đều thoảmãn trừ giả định không tương quangiữa các sai số ngẫu nhiên ut

 và không còn là ước lượng hiệu

quả nữa, do đó nó không còn là ướclượng không chệch tốt nhất

^

1

  ˆ2

Ước lượng bình phương nhỏ nhất

khi có tự tương quan

 Xét mô hình với số liệu chuổi thời gian:

Ước lượng bình phương nhỏ

nhất khi có tự tương quan

 Với mô hình AR(1), ta có thể chứng minh được:

 Nếu =0, thì phương sai sai số của AR(1) bằng

phương sai sai số của OLS.

 Nếu sự tương quan giữa các ut và ut-1 rất nhỏ, thì

phương sai sai số của AR(1) cũng bằng phương sai sai số của OLS.

 Vậy n ếu  tương đối lớn , các ước lượng của  vẫn

không chệch nhưng không còn hiệu quả nữa nên chúng không là “BLUE”.

Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan

 Ước lượng bình phương tổng quát (GLS) của 1

phối hợp được tham số tự tương quan  vào công thức ước lượng Đó chính là lý do vì sao ước lượng bình phương nhỏ nhất tổng quát là ước lượng tuyến tính không chệch tốt nhất.

và

Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan

 C và D là các nhân tố điều chỉnh, có

thể được bỏ qua trong phân tích thực tế

 Khi  = 0, không có thông tin bổ sung

cần được xem xét và vì vậy cả haihàm ước lượng GLS và OLS là nhưnhau

Hậu quả của việc sử dụng OLS khi

có tự tương quan

1 Các ước lượng OLS vẫn là các ước

lượng tuyến tính, không chệch, nhưng chúng không phải là ước lượng hiệu

quả nữa

2 Phương sai ước lượng được của các

ước lượng OLS thường là chệch Kiểm định t và F không còn tin cậy nữa

Ví dụ

 Giả sử hãy xem xét khoảng tin cậy

95% từ các ước lượng OLS[AR(1)] và GLS, giả sử giá trị đúng của 2 = 0

 Xem xét một giá trị ước lượng cụ thể

của 2, chẳng hạn b2

 Chúng ta chấp nhận giả thuyết H0: 2

= 0, nếu dùng khoảng tin cậy OLS; nhưng bác bỏ H0, nếu dùng khoảng tin cậy GLS

Ví dụ

Hậu quả của việc sử dụng OLS khi

có tự tương quan

3 = RSS/df là ước lượng chệch của  2 và

trong một số trường hợp là chệch về phía dưới (underestimate)

4 Giá trị ước lượng R 2 có thể bị ước lượng cao

hơn (overestimate) và không tin cậy khi

dùng để thay thế cho giá trị thực của R 2

5 Phương sai và sai số chuẩn của các giá trị

dự báo không được tin cậy (không hiệu

quả)

2

 ˆ

Phát hiện tự tương quan

1 Phương pháp đồ thị

2 Kiểm định d của Durbin – Watson

3 Kiểm định 2 về tính độc lập của các

phần dư

Phương pháp đồ thị

 Giả định về sự tự tương quan liên quan đến

các giá trị ut của tổng thể, tuy nhiên, các

giá trị này không thể quan sát được.

 Ta quan sát et, hình ảnh của et có thể cung

cấp những gợi ý về sự tự tương quan.

 Ta có thể chạy OLS cho mô hình gốc và thu

thập et từ đó Vẽ đường et theo thời gian và quan sát.

Phát hiện tự tương quan

2 Kiểm định d của Durbin – Watson

Thống kê d Durbin – Watson được định nghĩa như

sau:

d là tỷ số giữa tổng bình phương của chênh lệch

giữa 2 sai số liên tiếp với RSS

Do et2 và et-12 chỉ khác nhau có một quan sát, nên

ta có thể xem chúng bằng nhau d có thể được

1 2

2 2

t

t t t

t n

e

e e e

e e

) e

e ( d

t

t t

e

e e d

Kiểm định d của Durbin – Watson

Tức là: 0  d 4.

Nếud khác các giá trị ta cần tra bảng tìm dU và dL và

áp dụng quy tắc kiểm định sau:

Kiểm định d của Durbin – Watson

Kiểm định d của Durbin – Watson

Trong đó dU và dL là các giá trị tra bảng giá

trị d (phần phụ lục)

Giả thuyết H0 Quyết định nếu

Không có tự tương quan

dương

Không có tự tương quan

dương

Không có tự tương quan âm

Không có tự tương quan âm

Không có tự tương quan âm

hoặc dương

Bác bỏ Không qđ Bác bỏ Không qđ

Kiểm định d của Durbin – Watson

 Nếu giá trị của d thuộc miền không có

quyết định, => một số cải biên kiểm

Kiểm định d của Durbin –

Kiểm định d của Durbin –

Watson

Các bước thực hiện:

 Chạy mô hình OLS và thu thập phần

sai số et

 Tính d theo công thức trên.

 Với cở mẫu n và số biến giải thích k,

tìm giá trị tra bảng dL và dU

 Dựa vào các quy tắc kiểm định trên

để ra kết luận

Kiểm định Breusch-Godfrey (BG)

 Kiểm định này cho phép các biến ước lượng

không ngẫu nhiên là các biến trễ của Yt, các mối tương quan bậc cao AR(2), AR(3), … và

những trung bình di động bậc cao của sai

số “trắng”, t trong mô hình.

 Giả sử có mô hình hồi quy hai biến

Yt = 1 + 2Xt + ut, Lưu ý: Xt có thể là biến trễ của Yt.

 Giả sử ut có sự tự tương quan bậc p, AR(p):

u t =  1 u t-1 +  2 u t-2 + … +  p u t-p + t,

 Kiểm định giả thuyết H0:  1 =  2 = … =  p =0

Kiểm định Breusch-Godfrey (BG)

Các bước thực hiện kiểm định BG:

1 Ước lượng OLS mô hình gốc và thu thập sai số et,

et-1, et-2, …, et-p.

2 Hồi quy et theo các biến Xt, và các biến et-1, et-2,

…, et-p Ví dụ, p = 3, thì ta thêm 3 biến trễ vào

mô hình Lưu ý, khi chạy mô hình này, ta chỉ có (n-p) quan sát.

e t =  1 +  2 X t +  1 e t-1 +  2 e t-2 + … +  p e t-p + t, Thu thập R 2 từ mô hình ước lượng này.

3 N ếu cở mẫu lớn, BG chứng minh rằng:

(n – p)R 2 ~ p2 Nếu (n – p)R 2 > p2 tra bảng ở một mức ý nghĩa cho

trước, ta bác bỏ giả thuyết H0.



R1

Số phần dư

âm tại t - 1

A21(E21)

A22(E22)

R2

Kiểm định 2 về tính độc lập của các

phần dư

 Để kiểm định giả thuyết về tính độc lập

của các phần dư ta có thể tiến hành

kiểm định giả thuyết H0: Các hàng và

cột độc lập với nhau; với giả thuyết đối:

H1: Các hàng và cột không độc lập với

nhau

 Để kiểm định giả thuyết H0 nêu trên

ta dùng tiêu chuẩn kiểm định 2:

E

E A



bỏ giả thuyết H0 về tính độc lập của cácphần dư Nếu xảy ra trường hợp trái lạithì ta chấp nhận giả thuyết H0.

n C

R i j

Các biện pháp khắc phục

Những việc cần làm khi phát hiện sự tự tương

quan:

1. Hãy xem xét xem hiện tượng này có phải là tự

tương quan thuần túy (pure autocorrelation)

hay là do xác định dạng mô hình sai.

2. Nếu là tự tương quan thuần túy, ta dùng

những cách chuyển đổi mô hình thích hợp.

3 Đối với mẫu lớn, ta có thể dùng phương pháp

Newey-West để thu thập s.e của các ước

lượng OLS đã được điều chỉnh cho tự tương

quan.

4 Trong một số trường hợp, ta có thể tiếp tục

dùng OLS.

Các biện pháp khắc phục

1 Trường hợp đã biết cấu trúc của tự

tương quan: Phương pháp GLS:

Trong thực hành, người ta thường giả sửrằng ut theo mô hình tự hồi qui bậc nhất, nghĩa là:

ut = ut-1 + et (*)Trong đó  < 1 và et thoả mãn các giả

định của phương pháp OLS Giả sử (*) làđúng thì vấn đề tương quan chuỗi có thểđược giải quyết thoả đáng nếu hệ số

tương quan  đã biết

ta xét mô hình hai biến:

Trừ (4.23) cho (4.25) ta được:

yt - yt-1 = 1(1 - ) + 1 (xt - xt – 1) + (ut - ut

– 1 )

= 1(1 - ) + 1 (xt - xt – 1) + et(4.26)

Đặt: 1* = 1 (1 - ); 1* = 1

yt* = yt - yt – 1; xt* = xt - xt – 1Khi đó (4.26) có thể viết lại dưới dạng:

yt* = 1* + 1*xt* + et (**)

Vì et thoả mãn các giả định của phương pháp OLS đối

với các biến y* và x* nên các ước lượng tìm được sẽ là các ước lượng tuyến tính không chệch tốt nhất

 Phương trình hồi qui (**) được gọi là

phương trình sai phân tổng quát (Generalized Least Square – GLS)

sát đầu của y và x được biến đổi như sau:

2 Trường hợp  chưa biết:

Thông thường cấu trúc của tự tương quan

là không biết nên GLS khó thực hiện

2 1 Phương pháp sai phân cấp 1

 Nếu  = 1 thì phương trình sai phân

tổng quát (4.27) quy về phương trình sai phân cấp 1:

yt – yt – 1 = 1(xt – xt – 1) + (ut – ut – 1) = 1(xt – xt – 1) +

et

Hay:

yt = 1  xt + et (4.28)Trong đó:  là toán tử sai phân cấp 1 Để

ước lượng hồi qui (4.28) ta sẽ sử dụng mô hình hồi qui qua gốc toạ độ

Giả sử mô hình ban đầu là:

 Nếu  = -1 nghĩa là có tương quan âm

hoàn toàn Phương trình sai phân tổng quát bây giờ có dạng: (suy ra từ 4.27)

Hay:

Mô hình này được gọi là mô hình hồi qui

trung bình trượt (2 thời kỳ) vì chúng ta hồi qui giá trị của một trung bình trượt đối với một trung bình trượt khác

2 2 Ước lượng  dựa trên thống kê Durbin-Watson

d-d  2(1 - ) hay

=> xấp xỉ và có thể không đúng với mẫu nhỏ Đối với các mẫu nhỏ có thể sử dụng thống kê d cải biên của Theil – Nagar



2 2

2 2

2 1

k n

k )

/ d (

Một khi có được giá trị của , ta có thể dùng các

chuyển đổi như đã nêu ở trên

 ˆ

2 3 Thủ tục lặp Cochrance – Orcutt đểước lượng 

Phương pháp này sử dụng các phần dư et

đã được ước lượng để thu được thông tin

về  chưa biết

Ta xét phương pháp này dựa trên mô hình hai biến sau:

yt = 1 + 1xt + ut(4.34)

Giả sử ut được sinh ra từ phương trình

Các bước ước lượng  được tiến hành như sau:

Bước 1: Ước lượng mô hình (4.34) bằng phương pháp OLS và thu được các phần dư et

Bước 2: Sử dụng các phần dư để ước lượng hồi

Bước 3: sử dụng thu được từ (4.36) để ước

lượng phương trình sai phân tổng quát (4.26)

Bước 4: Vì chúng ta chưa biết trước rằng thu được từ (4.36) có phải là ước lượng tốt nhất của  hay không Ta thế giá trị ước

lượng của 1* và 1* thu được từ (4.37)

vào hồi qui gốc (4.34) và thu được các

phần dư mới et*:

et* = yt – (1* + 1* xt)(4.38)

Ước lượng phương trình hồi qui tương tự

với (4.36)

et* =  e*t – 1 + wt (4.39)

là ước lượng vòng 2 của 

Thủ tục này tiế tục cho đến khi các ước

lượng kế tiếp nhau của  khác nhau một

lượng rất nhỏ, chẳng hạn nhỏ hơn 0,05

ˆ

ˆ

2 4 Phương pháp Durbin – Watson 2 bước

để ước lượng 

Để minh hoạ phương pháp này, chúng ta

viết lại phương trình sai phân tổng quát

2 4 Phương pháp Durbin – Watson 2 bước

Như vậy, theo phương pháp này thì bước 1

là để ước lượng  còn bước 2 là để thu

được các tham số

ˆ

ˆ

ˆ

Ví dụ: Cho các số liệu về thu nhập (Y) và

tiêu dùng (C) trong khoảng thời gian từ

1975-2005 cho ở bảng (4.5)

Hồi qui C theo Y ta được kết quả:

= -161,5117 + 0,6841864YtDurbin – Watson d – statistic (2,31) = 0,6838804

Tra bảng với n = 31; k = 1; Ta được

dL = 1,363; dU = 1,496 Vì d < dL do đó có

tự tương quan dương

Cˆ

= 31,53429 + 0,41511Yt*Durbin – Watson d-statistic (2,30) =

Phương pháp Newey-West để điều

chỉnh sai số chuẩn của ước lượng OLS

 Các phương pháp trước chủ yếu tiến hành qua

2 bước: 1) ước lượng giá trị , và 2) dùng giá trị  vừa được ước lượng để chuyển đổi mô

hình hồi quy.

 Phương pháp Newey-West dựa trên các ước

lượng OLS nhưng điều chỉnh sai số chuẩn để khắc phục sự tự tương quan

 Thuật toán để điều chỉnh s.e này không được

trình bày ở đây vì rất phức tạp, các phần mềm máy tính mới đều tính được các s.e điều chỉnh này.

 Sai số chuẩn đã được điều chỉnh đgl “sai số

chuẩn HAC” hay “sai số chuẩn Newey West”.