Phan này được viết dựa trên các tài liệu: [16], [6], [15], [17], [12], [2], [9].
Đặt C{ỉ] = F(6] EF[ỉ], thỡ khi đú ký hiệu ma trận tớch được phõn tớch như sau:
CĂj]| CĂa|0 F, (6) F, [6] FĂ|6] Ea|ứ
ce) = (Cn Cel | _ [Fl ! lúc Bị ! PP |) _ pl[p0ỉ| (325)
Cail0| Caa|0| F.(6| F, (0) F2/6] FEa|0|
Chúng ta giả sử rằng +C{@] > Q{6], khi n > oo. Khi đó, Q/6] là ma trận xác định dương khai triển như sau
Q9] = Qui Qui ,Q„lỉ] = lim = 6, (6), jk =1,2. (2.2.6)
Ước lượng bình phương cực tiểu phi tuyến không có ràng buộc (URN) xuất phat từ phương trình đạo hàm của tổng bình phương sai số
Sl8l = [y — f(ỉ)] ly — f(8)].
Ô có được từ việc giải phương trình
ly — £(6)] F(6] = 0.
Với cỏc điều kiện chớnh quy ở phần 1.2.7, S|ỉ] đạt cực tiểu tại ụ. Chỳ ý rằng vector URN 6 chỉ dựa trên di liệu mẫu và không kết hợp với NSI, xem [2].
2.2.1. Ước lượng phi tuyến không có ràng buộc (URN)
Trong ước lượng URN 6 có được bằng nhiều phương pháp khác nhau, chẳng hạn
như phương pháp Gauss- Newton mà ta sử dụng để tìm được giá trị của vector tham số 6 ở chương mot.
Theo (2.1.1), mụ hỡnh hồi quy phi tuyến cú dạng sau y* = y — fụ = Eỉ +e. Trong
đó, FO = (EF\,E¿)(0,0›)? = Fi0) + E¿6¿.
Vậy ta xét mô hình sau
y' = F@-+e,
với ỉ là vector p x 1 va (q+r =p). Ap dung phương phỏp bỡnh phương cực tiểu,
chúng ta tìm được ước lượng không có ràng buộc của @ là
6 = (F.F) 'F.y'
/ / —1 /
eG fT MB) TY, (2.2.7)
FF, F,F2 F,y*
Một ước lượng vững của ma trận hiệp phương sai có được từ phương pháp Gauss- Newton của ước lượng này là
Theo (1.2.38),
Var|ô] = ô?(Ê. Ê.)—1, (2.2.8)
trong đó
2
— (n=p)
1
Ma trận hiệp phương sai này được sử dung trong việc xây dựng ước lượng co sau này.
Ta đã biết ước lượng không có ràng buộc chỉ dựa trên dữ liệu mẫu và không kết hợp với NSI. Tuy nhiên, nếu chúng ta sử dụng sử dụng NSI thì có được ước lượng cải tiến hơn. Vì vậy, chúng ta sẽ tìm hiểu ước lượng phi tuyến có ràng buộc (REN), xem [17]
va [2].
2.2.2. Ước lượng phi tuyén có ràng buộc (REN)
Ước lượng bình phương cực tiểu phi tuyến có ràng buộc (REN) cũng có thé tim được bằng nhiều phương pháp khác nhau. Tùy thuộc vào bản chất thông tin tiên nghiệm (NSI), ước lượng REN có thể là mô hình tuyến tính hoặc phi tuyến có tham số với vài thành phần x;. Dù trong bất kỳ trường hợp nào thì ước lượng REN 6 cũng
luôn tìm được và là nghiệm của phương trình
{y — fiỉ|} F|ỉ| = 0, (2.2.9)
trong đó các điều kiện 6) = 0 được 4p dụng như một ràng buộc, xem [2].
Tương tự dạng mô hình đã xét ở phần trước
v`=E0-ơe,
trong đú ỉ = (6), 2, ...,4,)’, F là ma trận n x p, yŸ là vector n x 1.
Ta sẽ đi cực tiểu hóa [y* — E6] [y* — E6] với điều kiện ràng buộc là RO = r.
Vậy ta sẽ cực tiểu hóa hàm Lagrangian có dạng sau
L(0,À) = (y* — F6)'(y* — F6) — 2À(R0 - r)
= yYy`- 20Fy" + 6’F’F6 — 2À (R6 - r), (2.2.10)
Azxi là vector nhân Lagrange, ta đạo ham ham Lagrangian theo @ và A. Ta có
OL2p = TOE + 2E'FO - 2R'A = 0, (2.2.11) OLay = —2(R0 —r) =0,
Từ (2.2.11), chọn 6 để cực tiểu hóa hàm Lagrange ta có
F'FO = EFEy'+-R/A 2 (FF) !FE)ð = (EE) '(F’y* +R’)
ð = (FF) 'F’y*+(F’F)'RA 26 = Ô+(EE) 'RẠ.
Nhan ma tran R va hai vé ta c6
Rỉ = Rb + R(F'F)'R’X.
Vì (EF'E) 1 là ma trận xác định dương nên R(F’F)~'R’ cũng là ma trận xác định dương và do đó nó không suy biến. Ta có được
À = [R(FEF) 'R] '(Rỉ — Rổ)
©®À = [R(FF) 'R']-'(r-— Rô).
Vậy ta có ước lượng có ràng buộc @ là
ð =Ôô+(EFEF)-'R/[R(EF)-'R']-!{r — Rồi). (2.2.12)~
Xem [15].
Như chúng ta đã biết, ước lượng cho mô hình hồi quy tuyến tính có ràng buộc thì
hiệu quả hơn ước lượng không có ràng buộc. Tuy nhiên, các ước lượng có ràng buộc
thông thường thì chệch và không vững. Do vậy, việc chọn các ràng buộc không đúng
với một vài tham số trong mô hình tham số thống kê, cụ thể ở đây là việc chon 62 thì dẫn đến ước lượng của tất cả tham số thống kê trong mô hình chệch và không vững.
Độ chệch thì không giảm khi kích thước mẫu lớn hơn. Điều này tương tự khi chúng ta Ap dụng trong mô hình phi tuyến. Vì vậy, những nhà toán kinh tế van mong muốn ước lượng ỉ mà khụng cần biết điều kiện NSI ỉ; = 0 cú đỳng hay khụng. Do đú, ta đi tìm hiểu một phương pháp ước lượng mới mà không cần biết ràng buộc có đúng hay không. D6 chính là ước lượng tiền kiểm định (PTN), xem [2].
2.2.3. Ước lượng phi tuyến tiền kiểm định (PTN)
Như ta đó biết, phõn hoạch của tham số là ỉ = |ỉ,|ỉ.„|', trong đú ỉ› là vector r x 1.
Ta quan tâm đến kiểm định thống kê với
Giả thuyết Hyp: 0. = 65 ae (2.2.13) Đối thuyết H,:0. 4 6,
trong đú ỉ9 = 0. Vậy ta cú 6 = ie và theo (2.2.5) ma trận Clỉ] cú dang
—1 —1
C-'|ứ| = C0). CĂiaj0) Ci Cie — fF BPs — {Bu Br
C2 [8] C22/6] Cai Cr FF, FF, Bo Ba;
(2.2.14)
Theo định lý 1.2.1, ta có ổ ~ N(0,0°C"') với C = F.E.
Vậy
Var| | = ứ?(FZE)T 6
0›
/ / -1 FF, E,E
ơ. n (2.2.15)
F,F, F,F>
Theo định lý 2.5.4, ta có
6. ~ N (02, 07Bx2(6)), (2.2.16)
với F = (Ê¡|Ê¿), trong đó F, là ma trận n x7.
Do đó
ô) — Cz¡(Ô)C¡¡(ổ)—!C¡¿(ổ) (xem phụ lục A2)
F,(6) — F,(6)'F, (6) (F,6)'F6)) F, (6) F2(6) (I, — Fi (6))(F1 (6) F: (6) 1Fi (6) ]F2(6)
(Bz())' = Cy
Trong đó M,(6) = L„ — F,(6)(F,(6)F,(6))1F; (6) là hình chiếu trực giao lên không gian cột của F,(6), xem [17], [5].
Do URN va REN là các ước lượng chệch và vững (REN là ước lượng chệch khi NSI đúng), một kiểm định thống kê A„ với mẫu lớn khi 63 = 0 được thỏa. Trong tiểu mục này, một thống kê hợp lý cho (2.2.13) được định nghĩa như sau:
An = (6—=65)/(Bz(8)) '(ô› — 63)/27
= (8,)(F›(ð/M¡(8)E:(8))(8,)/27
= (62)'[6?(F2(6) Mi(Ô)E:(8))'] (62). (2.2.17)
œ›
Áp dụng công thức (2.5.157) trong Phu lục A2, ta có C› ¡(ổ) = Cs›(Ô) — C2, (8)C¡¡(Ô)—1C¡¿(Ô).
Sử dụng cỏc ký hiệu (2.2.5) và ỉ5 = 0, ta cú thể viết A„ dưới dạng sau:
A„ = 6-785)! (C22, (8)) (82). (2.2.18)
Dưới các điều kiện chính quy từ A1-A9 trong phần 1.2.7, thống kê kiểm định A,, có phân phối tiệm cận y2 khi Họ đúng, trong đó r là bậc tự do.
Ước lượng phi tuyến tiền kiểm định (PNT) là ước lượng URN khi thống kê kiểm định của ước lượng này nằm trong vùng tới hạn và lấy giá trị của ước lượng REN tại vùng còn lại.
6, A,>À¿, 6P = 9.Li\ <r] + 6.150):
Do đú, A, là một thống kờ kiểm định phự hợp với giả thuyết khụng ỉ9 = 0 và Aq là
một giá trị tới hạn đối với một kiểm định với mức ý nghĩa œ được đưa ra bởi phân phối của A, khi giả thuyết Hp đúng. Do đó, 6? sẽ là một trong hai ước lượng sau:
e Ước lượng REN ổ, khi kiểm định A„ chưa đủ cơ sở bác bỏ giả thuyết không rằng
các hạn chế được thỏa mãn.
e Ước lượng URN 6 khi kiểm định bác bỏ giả thuyết đó.
Xem [2].
2.2.4. Ước lượng phi tuyên James - Stein (JSN) Theo như ước lượng tiền kiểm định ở phần trên thì
e Ước lượng chỉ đưa ra sự chọn lựa giữa hai giá trị ước lượng có ràng buộc hoặc ước lượng không có ràng buộc.
e Ước lượng này quá phụ thuộc vào mức ý nghĩa œ của thống kê kiểm định.
Vì vậy Stein đã đưa ra một ước lượng để cải thiện hạn chế của ước lượng tiền kiểm định, đó là ước lượng James - Stein (hay ước lượng co). Sau đó, so sánh ước lượng tiền kiểm định với ước lượng James - Stein dựa trên ma tran MSE va hàm rủi ro có trọng lượng dưới hàm ton thất bậc hai, xem [16].
1. Hàm ton thất có trọng lượng:
Với W là ma trận trọng lượng nửa xác định dương và a* là hằng số dương. Ham ton thất được định nghĩa như sau:
L(6*,0; W) = a*n(6* — 6) W(6* — 6). (2.2.19)/
2. Hàm rủi ro có trong lượng:
Hàm rủi ro chính là kỳ vọng của hàm tổn thất được viết,
E|L(0',0;W)] = R(6*,6; W) = R(6*,6) = R(6*), (2.2.20)
h(0'.06W) = E[L(6*,0;W)|
= nE{(0* —0) W(6* —6)}
= n?r|W{E(8* — 6)(6* — 9) }Ì
= tr(WP),
trong đú T là ma trận hiệp phương sai tiệm cận của ỉ” và a* = 1.
Ta xét lại mô hình
y' = Fỉ +e, (2.2.21)
trong đó 6 = (61, 02,...,9,)’, F là ma tran n x p, y là vector n x 1. Ta có E(e) = 0 và
Var(e) = ơ?. Với ma trận trọng lượng W = I, xét hai trường hợp sau:
a) Trường hợp 1: Biét o* = 1,a* = s= 1:z 1
e Hàm tổn thất:
e Ham rủi ro:
R(O,0) = E(L(0,6)) = E[(6 — 8} (ô — 6)],
Ung với 6 có được từ (2.2.7), ta có ham rủi ro
h(6.ô) = E|(ô - 0/(Ô—0)|=p — theo (2.451). (2.2.22)
Xem [12].
Stein [1956] đã chứng minh được rằng ham rủi ro của 6 là không thé chấp nhận khi
p > 2, xem [19]. Do đó sẽ tồn tại một ước lượng thay thé 6*, để mà
h(0.6*) < R(0.Ô). (2.2.23)
Xem [2].
James và Stein [1961] đã chỉ ra ước lượng phi tuyến trội hơn ước lượng hợp lý cực đại dưới ham rủi ro trong trường hợp p > 3, xem [10]. Ước lượng này được gọi là ước
wa
lượng co và được viết như một ham của ước lượng hợp lý cực dai ỉ
ộJS = ( _ 5) 6, (2.2.24)
66 vậy ham rủi ro của ước lượng James-Stein ỉ7” là
R(0,ô15) = E|(ô‡5 - 6}(ô75 — 9)|
= Ellụ-ứ—%\ lệ a_—
60 60
(2.2.25)
= E|(ô—0)(ô—0)| — 2aE |(ê—0}-—| +u>p | “9
: | ỡô (66)
= Ê{6—0)6—6)] —28 |ŠS| +2àœ | 2) +aằp | 2?
66 ỡô (66)
~ {6-66 —6)| — 3a +2a8'E |-— | + ứ>E FA (2.2.26)
- 1 06 00
; 6 LAA Ộ 66 ..
Định lý 2.2.1. || =0 | trong đó 88 ~ Xfpay V&A = > là tham
06 X(p+2,d) , 2
số không quy tam.
Chứng minh
Xem phu luc A2.
0
ALA
60 Ap dụng định lý 2.5.1, ta đặt f(w’w) = —, ta có được E = 0F, 1alad X(p+2,d)2 ?| |
với tham số không quy tam A = 06/2.
Từ định lý 2.2.1, khi đó
. ˆ ơ ụ 1
R(0,6/°) = E lơ — 8} (8 —6)| — 2a + 2aỉ'E | =| +a?E FA
- 00 00
X5 a2) | / 2 1
X(p—2,d) | X(p+-2,d) X(p,d)
Dinh lý 2.2.2. Cho ham giá trị thực f va ma trận xác định dương A,
B | f(88)(ỗ Aụ)| = B [fxe,.2.))tr(A)] +B [f0ọ,:42))] 648),
trong đó tr(A) là vét của ma trận A.
Chứng minh
Xem phu luc A2.
Ap dung định lý 2.2.2, với (66) = va A =I với hang là p — 2, ta có
Xếp s2)
Xf_- —9 12
—2aF; oe = —2qF; — | — 2009 E 5 | .
X(-2,M) X(p,d) X(p+2,2) Vậy hàm rủi ro của 6/% từ (2.2.27) là
A ~9 1
R(0,0)/°) = p_—2aE a | — 2aỉ9E | + 2uỉ9 | +a^F |
X(p,d) X(p+2,) X(p+-2,d) X(p,d)
= p—al2(p—2)—-alE 2 | . (2.2.28)1
(p,À)
Dé R(0,815) =p— a|2(p — 2) — a]E < R(0.Ô) = p.VY9 nếu 0 <a < 2(p— 2).
X(p.d) Bay giờ ta tìm ước ước lượng co nay bằng cách giải phương trình sau
OR(0, 6°)
= 0 Oa
& (-2(p—2)+2a)E |— | = 0,1
X(p,d)
` 1 1 ˆ : Mà ⁄/|-—| = ———~ > 0 (do p = 3, A> 0), nên a = p — 2. Do đó
Xp.) p+tA-—2
A7 ?— 2À“
600 Vậy hàm rủi ro của ước lượng James- Stein là
h(0.01”)=p—(p—2)?E |— | . (2.2.30)^ 1
X(p,d)
Xem [12].
b) Trường hợp 2: Chua biêt o*,a* = —z 1
o
James - Stein [1961] mở rộng đến tinh huống phức tap hon của ước lượng là
ộjŠ = ( _ A 6, (2.2.31)
00
a) , ˆ Le mA ah z
với = có phân phối Xin „ độc lập với 6. Ta có
s=(n— p)ôê? =y My,
Trong đó M =1„ — F(6)[F (6)F(6)|-!F (6) là ma trận lũy đẳng, và MF(6) = 0.
Vậy y My ~ Xin pa): Tương tự, ham rủi ro của ước lượng co bây giờ là
Rl0.ứ°:ụj°) = - PụjE —8)(8j5 =9)
= SE |J(ụ-ứ)- 1ˆ lụ—ứ)— 49
ơ 00 00
1 ope le ls ,Ô › s2? 66
Tr 4/Â Ậ 2 Ah
= “EF (6 —6)'(8—@)| —2aE Se + 2a,60'E So +a2E; = a6
ơ |2 66 7? 66)?
_ + (6 — 6)'(6 — 9) — 2a, E[—] + 2a: —|+a2F vi
= g2 ay ay 2 ALA Cy ơ2 66
= 5 +a2E1
ỉ X(p+2,d)
So X(p-2,0)
= З 2a1E
| o* X(p-2,.0)
s4 1 |
~3.^.2
0” X(p,d)
— 9\fq —
= p_—2u‡E ứ Min ?) — 2a¡8'81;
Xœ.A)
—
Xfp+2.A)2
2
X(p+2,d)2
(n — p) X(p,d) |2
+ai(n—pt+2)E
= p-(n—p)a(n—p+2)E |— |- m
ms (p,A)
mm... 1 |
(n—p+2) Xâ¿)
2(n — p)ay(n — p+ 2)(p— 2) 1
(n —p+ 2) Xipr) (n= p(n =p +2) D |
2(p — 2)
(n— p+ 2) Tương tự ta tim ước ước lượng co này bang cách giải phương trình
AR(6, 62°) Dé R(O, 0? O°) < R(O, 02:6) = p,VO thi 0 < a, <
AIS —_ _ p-2 5 \Ââ
ô} =Í xa xzg)Ê (2.2.32)
Vậy ước lượng co James-Stein có dang
= [l—c/ulé. (2.2.33)
(p — 2) —p) 06
đó c= — —=p_—dg.
[rong đú c r(n ) ơ Tar = P|
Goi Z là vector ngẫu nhiên có chuẩn, Z ~ NV(0,I,). Vector ngẫu nhiên wy = Z—O9 ~ N(6 — 6,1,), với 09 cho trước.
: 6 — 6o)ˆ(8 — 6
Vậy wqWo ~ XÐay với tham số không quy tâm là À = nh 0)
Vậy ước lượng co James-Stein theo công thức (2.2.29) của = (8 — 89) sé là
pS = [l———D
ww”?
(z — 00)'(z — TỦC
vậy ước lượng của 8”°: 07° = 075 + Ap là
= {f1- z — 00), (2.2.34)
ộ = [1_— TT. ry — 65) +95
675 = [1 —c/ul(6 — 6) +o, (2.2.35) Trong trường hop giả thuyết thống kờ 0) = ỉ. Ước lượng James-Stein cú dang sau
675 = [1 — cA; "I(ô — 6) + ỗ, (2.2.36)~
trong đó,
+ wa ~ aw ~
(ỉ — 8) (0 — 8)
A, = (2.2.37)G2
+ ¢1& hằng số co được chọn trong một khoảng cho trước dé 6/5 trội hơn 6,
e Trường hợp mau hữu han p < 2 thi c= p — 2.
e Trường hợp mau lớn p > 3 thi c = (n — p)(p — 2)/[r(n — p+ 2)|.
Xem [12].
Hạn chế lớn nhất của ước lượng nay là khi A„ quá nhỏ so với giá trị hằng số co c. Do đó, [1 — cA; !] âm. Điều này dẫn đến ngược dấu các ước lượng không có ràng buộc hoặc ước lượng hợp lý cực đại. Vì vậy, để khắc phục hạn chế này ta tìm hiểu về ước lượng phi tuyến đương James- Stein (PJSN), xem [2].
2.2.5. Ước lượng phi tuyên dương James - Stein (PJSN)
Trong công thức (2.2.36), ta chỉ chọn phần dương của [1 — cA„ 1]. Vì vậy, ước lượng James - Stein có dạng như sau
ậP75 =[1— eA„']*(ô — 6) +8,~
trong đó [1 — eA;,!]T = max{0, [1 — cA;"]}.
Vậy ước lượng dương James-Stein đã điều chỉnh được hệ số co cho phù hợp và điều này cải thiện ước lượng James-Stein, xem |2].