Khắc phục hiện tượng phương sai của sai số thay đổi

Đề tài: Khắc phục hiện tượng phương sai của sai sốthay đổi Lời nói đầu Trong việc tính toán các giá trị ước lượng bình phương tối thiểu thông thườngOLS cũng như các giá trị ước lượng cự

Đề tài: Khắc phục hiện tượng phương sai của sai số

thay đổi

Lời nói đầu

Trong việc tính toán các giá trị ước lượng bình phương tối thiểu thông thường(OLS) cũng như các giá trị ước lượng cực đại(MLE), chúng ta đã thiết lập giả thuyết cho rằng các số hạng sai số Ui có phân phối giống nhau với giá trị trung bình bằng không và phương sai δ2 như nhau Gỉa thuyết phương sai bằng nhau được hiểu là phương sai của sai số không đổi(có nghĩa là phân tán như nhau) Phương sai δ2 là một đại lượng đo lường mức độ phân tán của các

số hạng sai số t, xung quanh giá trị trung bình 2ero Một cách tương đương,

đó là một đại lượng đo lường mức độ phân tán của giá trị biến phụ thuộc quan sát được (Y) xung quanh đường hồi quy β1 + β2Y2 +…+ βkk Phương sai của sai số không đổi có nghĩa là mức độ phân tán như nhau cho tất cả các quan sát.

Tuy nhiên trong nhiều trường hợp thông thường có liên quan đến những dữ liệu chéo, giả thuyết này có thể sai, gây ra hiện tượng phương sai của sai số thay đổi Nhóm chúng tôi sẽ đi sâu vào nghiên cứu vấn đề khắc phục hiện tượng phương sai của sai số thay đổi.

I, Phương sai của sai số thay đổi.

Khi xét mẫu hàm hồi quy tuyến tính(MHHQTT) cổ điển ta có giả thiết rằng:

Phương sai của mỗi một ngẫu nhiên Ui trong điều kiện giá trị đã cho của biến giải thích Xi là không đổi, hay:

Var(Ui / Xi) = E[Ui - EUi]2 = E(Ui)2 = δ2 i=(1,n) ∀i=(1,n)

Hiện tượng phương sai có điều kiện của Yi thay đổi khi Xi thay đổi hay E(Ui)2 = δ2

(các δ2 khác nhau), là hiện tượng phương sai của sai số thay đổi.

II, Nguyên nhân của phương sai của sai số thay đổi.

nhập và tiết kiệm.

hướng giảm dần.

dạng giải tích của hàm là sai.

III, Hậu quả.

- Các ước lượng theo phương pháp OLS không còn là ước lượng hiệu quả nữa(không còn blue),

mức ý nghĩa và khoảng tin cậy dựa theo phân phối t và F không còn ý

nghĩa nữa.

Vì quan tâm của chúng ta chủ yếu là hệ số góc β2 cho nên để đơn giản ta xét

mô hình không có hệ số chặn sau:

Yi = βiXi + Ui (a)

Trong đó Ui là ngẫu nhiên thỏa mãn các điều kiện:

Theo phương pháp bình phương nhỏ nhất ta được ước lượng bình phương nhỏ nhất của β2 là:

β2 = i=1nXiYii=1nXi2 = i=1nkiYi : trong đó ki = Xii=1nXi2.

Vậy β2 vẫn tuyến tính theo Yi Mặt khác từ Yi = β2Xi + Ui ta suy ra:

β2 = i=1nXiYii=1nXi2 = i=1nXi(β2Xi + Ui)i=1nXi2 = β2 +

i=1nXiUii=1nXi2.

Vì E(Ui) = 0 và X không phải ngẫu nhiên nên E(β2) = β2, vậy β2 là ước lượng không chệch của β2.

Ta tính được:

Var(β2*) = i=1nXi2δi2i=1nXi22 (b)

Với: β2* =

i=1nWii=1nWiXiYi-i=1nWiXii=1nWiYii=1nWii=1nWiXi2-i=1nWiXi2 (c)

(cách làm tương tự như đã nói ở trên).

Bây giờ chúng ta thực hiện đánh trọng số cho quan sát thứ i là 1Zi trong đó

Zi thỏa mãn điều kiện Zi2 = δi2 / δ2 (δ2 là hằng số) (Lưu ý rằng phép biến đổi ở đây tổng quát hơn ở trên một chút vì chỉ cần đặt δ2 = 1 ta được ngay Zi

= 1/ Wi) Ta sử dụng β* để chỉ ước lượng tham số của mô hình đã biến đổi Lúc đó (c) có thể viết lại là:

YiZi = β2XiZi + UiZi (d)

Đặt Vi = UiZi, khi đó

E(Vi)2 = E(UiZi)2 = E(Ui2)Zi2; E(Vi)2 = δi2Zi2 = δ2.

Hồi quy mẫu của (d) có dạng:

YiZi =β2* XiZi + Vi,

Ưowc lượng bình phương nhỏ nhất của (a) như đã biết đó là ước lượng bình

β2* = i=1nYi/Zi(Xi/Zi)in(Xi/Zi)2 = β2 + i=1n(Xi/Zi)Viin(Xi/Zi)2 (e) Lấy kỳ vọng 2 vế của (e) ta có E(β2*) = β2

Như vậy β2* là ước lượng không chệch của β2 Ta sẽ chỉ ra rằng β2* hiệu quả hơn β2.

Chúng ta có

Var(β2*) = δ2in(Xi/Zi)2

Thay δi2 = δ2Zi vào Var(β2*) =

i=1nWii=1nWii=1nWiXi2-i=1nWiXi2, ta có:

Var(β2) = δ2i=1nXi2Zi2i=1nXi22.

Lập tỉ số

Var(β2*)Var(β2) = i=1nXi22i=1nXi2/Zi2i=1nXi2Zi2.

Đặt ai = XiZi; bi= Xi/Zi lúc đó:

Var(β2*)Var(βi) = i=1naibi2i=1nai2i=1nbi2 (f)

Theo bất đẳng thức Bunhiacopski cho n số tùy ý thì:

i=1nai2i=1nbi2 ≥ i=1naibi2;

a1b1 = a2b2=…=anbn

Var(β2*)Var(β2) ≤ 1

Nghĩa là Var(β2*) ≤ Var(β2), dấu bằng chỉ xảy ra khi và chỉ khi

a1b1 = XiZiXi/Zi = Zi2 = const

Nghĩa là δi2 không đổi, vậy ước lượng β2 không hiệu quả Bây giờ ta quay lại với ước lượng của phương sai của β2 như đã biết, nó được ước lượng bởi công thức sau: RSSn-11Xi2 Trong đó RSS là tổng bình phương các phần dư thu được từ mô hình ước lượng bình phương nhỏ nhất Ta tính kỳ vọng của RSS:

E(RSS) = E[Yi-β2Xi2]

= i=1nδi2 - i=1nXi2δi2i=1nXi2 = i=1nδi2i=1nXi2-i=1nXi2δi2i=1nXi2

mà giá trị kỳ vọng của nó là:

ERSSn-i1Xi2 = 1(n-1)Xi2E(RSS) = δi2Xi2- δi2Xi2(n-1)Xi22

Trong khi đó phương sai thực là: Xi2δi2Xi22

Như vậy phương sai đã được ước lượng cũng là ước lượng chệch Bây giờ giả thiết rằng δi2 và Xi2 có tương quan dương (điều này thường xảy ra với các số liệu kinh tế)

mà thỏa mãn điều kiện

i=1nXi2δi2> 1ni=1nXi2i=1nδi2

Thì giá trị kỳ vọng của phương sai đã được ước lượng nhỏ hơn phương sai thực Như vậy chúng ta sẽ ước lượng quá thấp phương sai thực của ước lượng bình phương nhỏ nhất và sẽ thu được khoảng tin cậy hẹp hơn khoảng tin cậy thực Điều này sẽ làm ảnh hưởng kiểm định giả thiết về β2 Hay nói cách khác là khoảng tin cậy và các kiểm định

giả thiết dựa trên phân phối t và F không còn đáng tin cậy nữa Vì vậy nếu sử dụng thủ

tục kiểm định giả thiết thông thường có thể dẫn đến những kết luận sai lầm Điều này sẽ dẫn đến hậu quả không lường trước được trong thực tiễn Đó chính là lý do vì sao chúng

ta phải nghiên cứu vấn đề này Nhưng làm thế nào để biết được rằng phương sai của sai

số thay đổi hay không?

IV, Phát hiện ra phương sai của sai số thay đổi.

 Kiểm định PARK

Kiểm định PARK là một phương pháp kiểm định hiện tượng phương sai của sai số thay đổi trong các mô hình hồi quy Đây là một phương pháp kiểm định cho kết quả khá chính xác

Xét mô hình hồi quy đơn:

Yi = βiXi + Ui (g)

Kiểm định: - H0: phương sai của sai số ngẫu nhiên Ui là đồng đều

- H1: phương sai của sai số ngẫu nhiên Ui là thay đổi

PARK đã giả thiết rằng nếu phương sai của sai số thay đổi thì nó là một hàm của biến giải thích, cụ thể là hàm số sau

Var(Ui) = δi2 = α1Xiα2eVi

Trong đó:

- α1, α2 là các hệ số hồi quy

thong thường

Gỉa thiết trên có thể đưa về dạng tương đương sau:

Ln(δi2) = Lnα1 + α2LnXi + Vi (h)

=≫ thủ tục kiểm định PARK như sau: thủ tục kiểm định PARK như sau:

Bước 1: Dùng OLS hồi quy mô hình (g) để tìm các phần dư Ej

Bước 2: Lấy Ei2 thay cho δi2 ở mô hình (g) và dùng OLS hồi quy mô hình sau: Ln(Ei2) = α1 + α2LnXi + Vi (i)

Bước 3: Dùng kết quả hồi quy thu được ở bước 2 để tiến hành kiểm định T với cặp giả thiết:

- H0 : α2 = 0 (phương sai của sai số ngẫu nhiên trong MH(g) đồng đều)

- H1 : α2 ≠ 0 (phương sai của sai số ngẫu nhiên trong MH(g) thay đổi)

Nếu H0 bị bác bỏ thì KẾT LUẬN có phương sai của sai số thay đổi

Tuy nhiên kiểm định này cho KL với độ chính xác cao đối với MHHQ đơn Vì thế cần

có những phương pháp để mở rộng nó cho các MHHQ bội

Xét MHHQ bội:

Yi = β1 + β2X2i + … + βkXki + Ui (j)

Kiểm định PARK có thể mở rộng để áp dụng cho mô hình (g) theo 3

phương pháp sau:

 Phương pháp 1: Tiến hành kiểm định theo phương pháp đã trình bày ở trên, lần lượt với từng biến giải thích Tuy nhiên hạn chế của phương pháp nayflaf nếu kết quả kiểm định với mọi biến giải thích đều cho kết quả giống nhau(hoặc mô hình có hiện tượng phương sai của số thay đổi hoặc không) thì mới cho phép đưa ra KL cuối cùng, còn nếu chúng lại cho KL mâu thuẫn nhau thì không thể đưa ra được một KL chung cho cả M

 Phương pháp 2: Lấy kỳ vọng toán của biến phụ thuộc đại diện cho tất cả các biến giải thích, vì bản than kỳ vọng toán của biến phụ thuộc theo giả thiết

là 1 hàm của các biến giải thích Lúc đó giả thiết (h) có dạng:

Var(Ui) = δi2 = α1[E(Yi)]α2EVi

Thủ tục kiểm định:

Bước 1: Dùng OLS HQMH (j) để tìm các Ei và các giá trị ước lượng của Y

dùng OLS hồi quy mô hình sau:

Bước 3: Dùng kết quả hồi quy thu được ở B2 để tiến hành kiểm định T với giả thiết:

H0 : α2 = 0 (phương sai của sai số ngẫu nhiên trong MH(j) đồng đều)

H1 : α2 ≠ 0 (phương sai của sai số ngẫu nhiên trong MH(j) thay đổi)

(chú ý:MHjphải ược ịnh dạng úng)được định dạng đúng) được định dạng đúng) được định dạng đúng)

 Phương pháp 3: Gỉa sử phương sai của sai số ngãu nhiên là một hàm của tất cả các biến giải thích, tức là ta giả thiết rằng:

Bước 1: Dùng OLS hồi quy MH(j) để tìm Ei

Bước 2: Lấy Ei2 thay cho δi2 và dùng OLS hồi quy MH sau:

LnEi2 = α1 + α2LnY2i + … + αkLnYki + Vi

Bước 3: Dùng kết quả hồi quy thu được ở B2 để tiến hành KĐ F với cặp giả thiết:

H0 : α1=α2=…=αk= 0 (phương sai của sai số ngẫu nhiên trong MH (j)đồng đều)

H1 ; có ít nhất 1 hệ số α ≠0 (phương sai của sai số ngãu nhiên trong MH(J)thay đổi)

thiết (m) là úng, ồng thời không có hiện tượng a cộng tuyến giữađược định dạng đúng) được định dạng đúng) được định dạng đúng) các biến giải thích của mô hình

 Kiểm định GLEJSER

Sauk hi thu được phần dư ei từ hồi quy theo phương pháp BPNN, glejser đề nghị hồi quy giá trị tuyệt đối của ei, |ei| đối với biến X nào mà có thể có kết hợp chặt chẽ với δi2

Xét hàm:

- | ei| = β1 + β2Xi + Vi

- | ei| = β1 + β2Xi + Vi

- | ei| = β1 + β21Xi + Vi

- | ei| = β1 + β21Xi + Vi

- | ei| = β1+β2Xi + Vi

- | ei| = β1+ β2Xi2 + Vi Trong đó Vi là sai số

Nếu H0: β2 = 0 bị bác bỏ thì KL phương sai của sai số thay đổi

 Ngoài ra còn có thể phát hiện phương sai của sai số thay đổi bằng các kiểm định

- Kiểm định tương quan của SPEARMAN

- Kiểm định GOLDFELD – QUANDT

- Kiểm định BREUSCH – PAGAN – GODFREY(BPG)

- Kiểm định WHITE

- Kiểm định dựa trên biến phụ thuộc

- Xem xét đồ thị phần dư

V, Phương pháp khắc phục thay đổi.

Để khắc phục hiện tượng này phải phụ thuộc vào δ2 được biết hay chưa Có 2 trường

hợp:

1, δi2 đã biết

- Khi δi2 đã biết chúng ta sử dụng phương pháp bình phương nhỏ nhất có trọng số

trong ó: được định dạng đúng) X0i = 1 ( i) ∀i=(1,n)

Với mỗi i, chia cả 2 vế của 1cho δi (δi>0)ta được:

Yiδi = β1Xiδi + β2Xiδi + Uiδi (2) Đặt : Xiδi = X0i* ; Xiδi = Xi* ; Uiδi = Ui* và ta cũng sử dụng kí hiệu β1* và β2* chỉ các tham số của mô hình đã được biến đổi để phân biệt với các tham số của ước lượng bình phương nhỏ nhất thông thường β1 & β2

Vậy mô hình đã được biến đổi có dạng:

Yi* = β1*Xi* + β2*Xi* + Ui* (3)

Xét số hạng sai soosddax được biến đổi Ui* ta được:

Vậy Ui* có phương sai không đổi.

Thủ tục ước lượng β1* và β2*:

Hàm hồi quy mẫu dưới dạng:

Yiδi = β1*X0iδi + β2*Xiδi + eiδi

 Yi* = β1*X0i* + β2* Xi*+ ei* (4)

Cực tiểu hàm:

i=1n(ei*)^2 = i=1nYi*- β1*X0i*- β2*Xi*2

 i=1nei2δi2 = i=1nYiδi- β1*X0iδi- β2*Xiδi2

= i=1n1δi2Yi- β1*- β2*Xi2

Đặt Wi = 1δi2,

β1* = Y* - β2*X*

β2* = i=1nWii=1nWiXiYi- i=1nWiXii=1nWiYii=1nWii=1nWiXi2- i=1nWiXi2 Var(β2*) = i=1nWii=1nWii=1nWiXi2- i=1nWiXi2

2, δi2 chưa biết:

Xét mô hình hồi quy 2 biến gốc:

Yi = β1+ β2Xi+ Ui

Gỉa sử mô hình này thỏa mãn các giả thiết của MHHQ tuyến tính cổ điển(trừ giả thiết phương sai của sai số không đổi)

Giả thiết 1 : Phương sai của sai số tỷ lệ với bình phương biến giải thích.

E(Ui2) = δ2Xi2

Chia 2 vế của MH gốc cho Xi(Xi ≠0)

YiXi = β1Xi + β2+ UiXi = β11Xi + β2 + Vi

Trong đó Vi = UiXi là số hạng nhiễu được biến đổi

 EVi2 = EUiXi2 = 1Xi2EUi2 = δ2Xi2Xi2 = δ2

Như vậy các giả thiết của MHHQ tuyến tính cổ điển được thỏa mãn ta có thể áp dụng phương pháp BPNN cho các phương trình đã được biến đổi

ei2 = α1+ α2X2+ α3X3+ α4X22+ α5X32+ α6X2X3+ ViX22+ α5X32+ α6X2X3+ ViX32+ α6X2X3+ ViX2X3+ Vi

Hồi quy YiXi theo 1Xi

Chú ý: trong hồi quy đã được biến đổi thì số hạng chặn β2 là hệ số góc trong phương trình hồi quy gốc và hệ số góc β1 là số hạng chặn trong MH gốc

Gỉa thiết 2: Phương sai của sai số tỉ lệ với biến giải thích X.

EUi2 = δ2Xi2

Với mỗi i chia cả 2 vế của MH gốc cho X (với X>0)

YiXi = β1Xi+ β2Xi + UiXi = β1Xi + β2Xi + Vi

Trong đó Vi = UiXi => E(Vi) = δ2 CHÚ Ý: Mô hình biến đổi không có hệ số chặn nên ta sẽ sử dụng MHHQ qua gốc để ước lượng và

Gỉa thiết 3: Phương sai của sai số tỉ lệ với bình phương của giá trị kỳ vọng của Y

Nghĩa là E(Ui2) = δ2E(Yi)2,

Chia 2 vế cho E(Yi) Ta có:

YiE(Yi) = β1E(Yi)+ β2E(Yi)Xi + UiE(Yi)

= β11E(Yi) + β2XiE(Yi) + Vi Trong đó: Vi = UiE(Yi) ; Var(Vi) = δ2

 Nhiễu vi có phương sai không dổi dẫn tới hồi quy (3) thỏa mãn giả thiết phương sai không đổi của MHHQ tuyến tính cổ điển

Tuy nhiên E(Yi) phụ thuộc vào β1,β2 chưa biết

Mà Yi = β1 + β2Xi là ước lượng của E(Yi) Do đó có thể tiến hành theo 2 bước sau; Bước 1: Uoc lượng hồi quy bằng phương pháp BPNN thong thường, thu được Yi, sau đó sử dụng Yi để biến đổi MH gốc thành dạng như sau:

YiYi = βi1Yi + βiXiYi + Vi (*) Trong đó Vi = UiYi Bước 2: ước lượng hồi quy (*), dù Yi không chính xác là E(Yi), chúng chỉ là ước lượng vững nghĩa là khi cỡ mẫu tăng lên vô hạn thì chúng hội tụ đến E(Yi) vì vậy phép biến đổi (*) có thể sử dụng trong thực hành khi cỡ mẫu tương đối lớn

Gỉa thiết 4 : Hạng hàm sai:

Đôi khi thay cho việc dự đoán về δi2 người ta định dạng lại mô hình Chẳng hạn thay cho việc ước lượng hồi quy gốc có thể chúng ta sẽ ước lượng hồi quy

lnYi = β1 + β2lnXi + Ui (**) Việc ước lượng hồi quy (**) có thể làm giảm phương sai của sai số thay đổi do tác động của phép biến đổi loga Một trong ưu thế của của phép biến đổi loga là hệ số góc β2 là hệ số co dãn của Y đối với X

CHÚ Ý: HiỆN tượng mà chúng ta đang xét đến là tương đối phổ biến, cho nên biện

pháp khắc phục nó là rất quan trọng Nhưng biện pháp khắc phục thực chất là toa thuốc cho con bệnh, bệnh đó có chữa được hay không chỉ toa thuốc có hay hay không, mà trước hết là chuẩn đoán đúng bệnh Vì vậy, cả hai vấn đề chuẩn đoán và chữa bệnh đều quan trọng

Vì thế cần phải lưu ý một số vấn đề sau:

biến đổi cần phải có xem xét cẩn thận

các biến lại có thể tương quan: chẳng hạn xét mô hình:

Giữa Yi & Xi có thể không tương quan nhưng trong mô hình ược biến ổi dước dạng:

được định dạng đúng) được định dạng đúng)

YiXi = β1(1Xi) + β2 Thì YiXi và 1Xi lại là tương quan

các kiểm định t, F mà chúng ta sử dụng chỉ có hiệu lực trong những mẫu lớn

Do đó chúng ta phải cẩn thận khi giải thích các kết quả dựa trên các phép biến đổi khác nhau trong các mẫu nhỏ

VI, VÍ DỤ:

Ví dụ: Cho bảng số liệu sau

Y: Doanh thu ( triệu/tháng)

Mô hình 1:

Mô hình 2:

1, Viết mô hình hồi quy mẫu cho 2 mô hình trên

2, Với độ tin cậy α = 1% thì mô hình 1 có được coi là có phương sai sai số đồng đều không?

3, Kiểm định hiện tượng phương sai sai số thay đổi trong mô hình 2 với α = 5%

4, Việc đổi dạng mô hình có khắc phục được hiện tượng phương sai sai số thay đổi không?

5, Sử dụng kiểm định Park để phát hiện hiện tượng phương sai sai số thay đổi của mô hình 2 với α = 5%

6, Nêu cách khắc phục hiện tượng phương sai sai số thay đổi ở mô hình 2

Bài làm

1 Mô hình 1:

Dependent Variable: Y

Method: Least Squares

Included observations: 10

Y=C(1)+C(2)*X2

Coefficient Std Error t-Statistic Prob C(1) 36.18672 23.80498 1.520132 0.1670 C(2) 4.986216 1.123927 4.436422 0.0022 R-squared 0.711002 Mean dependent var 139.9000 Adjusted R-squared 0.674877 S.D dependent var 24.90181 S.E of regression 14.19890 Akaike info criterion 8.321062 Sum squared resid 1612.870 Schwarz criterion 8.381579 Log likelihood -39.60531 Durbin-Watson stat 1.957082

Mô hình 2: