Khi ước lượng tham số thống kê, theo như lý thuyết thì các mô hình biểu diễn của các cặp quan trắc thường là tuyến tính và chúng ta dễ dàng ước lượng cho mô hình này.. Ta ước lượng cho t
Ước lượng bình phương cực tiểu cho mô hình phi tuyến
1.2.1 Ước lượng bình phương cực tiéu
Giả sử rằng cú n cặp quan trắc (x;,y;),7 = 1, ,n và một hàm ƒ(x;;ỉ*) biểu diễn mối quan hệ giữa giá trị quan trắc và tham số Ta có mô hình hồi quy phi tuyến yi = ƒ(x;;0”) +e; (= 1,2, ,n) (1.2.1)
Ta ký hiệu £0) = (fi(8), fo(9), -, f.(6)}, (1.2.2) e Ele;] =0, e x; la vector & x 1, e ỉ* là tham số thực, ỉ* thuộc vào khụng gian tham số 0 (0 C R?), eụlà giỏ trị ước lượng bỡnh phương cực tiểu của ỉ* bằng cỏch cực tiểu húa tổng bình phương sai số nm
Giả sử e; độc lập, cựng phõn phối và cú phương sai là ứ? Ta cú e ỉ là ước lượng vững của 6”, es? = a là ước lượng vững của o?.
Giả sử ¢; có phân phối chuẩn thì khi đó 6 sẽ trở thành ước lượng hợp lý cực đại
Khi đú với mỗi ƒ(x;;ỉ) khả vi theo ỉ và ổ € â, 6 được xỏc định bởi ô5(8)OO, 6 =0 (r =1,2, ,p) (1.2.4) Để viết ngắn gọn, ta đặt
Yn — fn(8) ( ôƒi(0) af.) Afi (@) \ a0, 05 Ô0p
) 1) _ ỉ61 002 OOp ôƒ„(6) Ôƒfa(9) ôƒ„ (6) a0; 003 ệệp | np
S39 HAO) =O =A 2D
ORR)'ORRIy — (4)
Biểu diễn trên là bước Gauss- Newton cho mô hình chuyển đổi và cực tiểu ham OLS tuyến tính đối với ổ,
= Íz— k(ỉ“)) — KG) [z — k(0) — K.96),Do đó 6 có được bằng phương pháp OLS của hàm tuyến tính z—k(9) = K.6+4+y7,với n là sai số trong mô hình này.
Tại vòng lặp cuối khi mà 0 = 6c, af
(X'X)7! = (K.'K).71 = (F.V"B.)71, — và tổng bình phương sai số là
Vậy ước lượng ma trận hiệp phương sai từ phương pháp bình phương cực tiểu là Var|ôc].
Trên thực tế, ta không tính toán được R = (U})'1 để mà nhân trực tiếp R vào mô hình, cu thể Ry(= z) Thay vào đó, cách tốt nhất để giải quyết ma trận tam giác dưới U bằng cách thế z vào trực tiếp, ta có Uz = g.
Ta giải tương tự U k(0®)) = f(0)) tại k(@TM), trong trường hợp phương pháp Gauss- Newton UK.(® =F tại K.,
Nhiều ứng dung phat sinh từ bai toán bình phương cực tiểu có hiệu chỉnh, với V là ma trận đường chéo Do đó mà U cũng là ma trận đường chéo, trong đó các phần tử trên đường chéo bằng căn bậc hai của các phần tử tương ứng của V Từ đó mà việc tính toán z trở nên dé dàng và đơn giản hơn.
Túm tắt cỏc bước chớnh dẫn đến việc tớnh toỏn 6Â và tỡm giỏ trị của ỉ để cực tiểu tổng bình phương sai số sau
S(8) = ly — £0) V “Ly — f(9)|, va Var 6c] = â? (- V'Ê) là ước lượng của ma trận hiệp phương sai tiệm cận của bc:
1 Thuc hién khai trién Cholesky V = U U cho ma tran V.
2 Giải phương trỡnh U'z = y và Uk(ỉ) = f(6), tỡm z và k(ỉ).
3 Áp dụng phương pháp BPCT phi tuyến thông thường để cực tiểu hóa hàm sau iz — k(ỉ)] Íz — k(ỉ)].
4 Nếu áp dụng phương pháp Gauss- Newton cho ý (3), thì ta tìm được 9+) 6) +6, trong đó
69 = (K.“K.®))-!1K Iz — K(9TM)), và ma trận K được tìm thấy bằng cách giải phương trình ƯK.(0%)) = F.(0)).
5 Varlô¿] = 6?(K.'K.)~! là ma trận phân tán có được từ bước (3) Nếu phương pháp Gauss- Newton được sử dụng, (.E.)1 và ở? tìm được từ mô hình hồi quy tuyến tính bởi ý (4) tại lần lặp cuối cùng.
1.2.4 Sự tồn tại ước lượng bình phương cực tiểu Mô hình phi tuyến thông thường yi = ƒ(x;;8”) + e; (i = 1,2, ,n), (1.2.40) trong đó - ỉ*: là giỏ trị thực của vector tham số ỉ p x 1, - x;: là vector k x 1 trong R*. Để có sự tồn tại của ước lượng bình phương cực tiểu, ta cần các giả định sau:
A(1) e;¿ độc lập cựng phõn phối với kỳ vọng 0 và phương sai là o? (ứˆ > 0).
A(2) Với mỗi ¿, ƒ;(ỉ) = ƒ,(x;;ỉ) là hàm liờn tục của 0,0 € â.
A(3) © là tập compact (nghĩa là đóng, bị chặn), 0 C R?.
Khi đú tồn tai giỏ trị ỉ với ỉ â để cực tiểu húa hàm sau nm
Sn (8) = S [yi — flO)? (1.2.41) i=l được gọi là ước lượng bình phương cực tiểu (LSE) va ky hiệu giá trị ước lượng là 6,,.
Với gia định A(1) đến A(3), ta biết rang ƒ,(ỉ) là một ham liờn tục Vỉ € 8, mà O là một tập compact nờn ƒ;(ỉ) bị chặn trong â và hàm ƒ;(ỉ) cú được giỏ trị cực đại hay cực tiểu trên © Vậy các giả định trên cho thấy rằng ƯLBPCT tồn tại, đó là hàm đo được 6,, = O(y1, 12, ,„) của tập quan trắc dé cực tiểu S„(0).
1.2.5 Tính vững Amemiya/1983] đưa ra một phát thảo các thành phần cần thiết cho tính vững của
6,,, xem [1]. Định nghĩa 1.2.1 6,, gọi là ước lượng uững mạnh cho tham số 6 6, fee, 6) nếu
Tì—>CŒX2 hay tước lượng ô, hội tụ hau chắc chắn đến giá trị thực của tham số 0 khi số lần quan trắc n tăng lên uô han. Định nghĩa 1.3.3 6,, gọi là ước lượng vitng yộu cho tham số 0 6, ơ› O)nộu
Vel > 0,Vỉ € â lim P |lụ, -ỉ|< et} =1,
T,—>CŒœ© hay ước lượng ô, hội tụ theo xác suất đến giá trị thực của tham số 0 khi số lần quan trắc n tăng lên uô han. e Ô„ là giá trị để cực tiểu n7'S,, (8). e 0" là giá trị thực để cực tiểu hóa œ~!⁄S„(8). e và Ô„ sẽ gần với 6*.
Bây giờ ta tính n*'S,(0) = n> [yi — f(6)ẽƒ
= me cĂ] + 2n7! ằ ei[fi(O") — f(6)]+n > Lủ(0”) — f(6)ẽ/
1 bá Lá Đặt: £? = — e7 Theo luật số lớn yếu thì £? > #(eŸ) Mà
Ele( hi) — fi(@)]]| = EGĂ)E|ủ(0”) — f(6)| (vie và ƒ(0”) — fi(@) độc lập)
D,,(9, 61) = ằ.ˆ —— fi(01))’, (1.2.46) và thêm vào một số giả thiết sau
A(4) (a) n!B„(0,ỉ)) hội tụ đều đến (6,6), VO, 6; c â (hàm này thỡ liờn tục nếu
A(2) và A(3) đúng) Diều này có nghĩa là bằng cách mở rộng công thức
(b) Chỳng ta cú một giả định thờm rằng D(6,6*) = 0 khi va chỉ khi ỉ = ỉ*, cú nghĩa là 2(ỉ,60”) xỏc định dương.
Bây giờ ta sẽ cần thêm hai giả thiết liên quan là A(4) D,(8,01) 4 co khi n > oử VO, 0; € â sao cho ỉ8 #01.
A(5’) ¢; là biến ngẫu nhiên liên tục, với miền giá trị thuộc (—oo, 00).
Vậy từ (1.2.43), (1.2.44) và các giả định trên, ta có n1, (8) +> ơ? (1.2.47)
Diều này cú nghĩa là ——^ là ước lượng vững yếu của ứ2 Vậy 6,, là ước lượng vững 5(8) yờu của ỉ* '
Với giả định A(1) đến A(3), Jenrich [1969] (xem [11]) cũng đã chứng minh rằng A(4) là điều kiện đủ để cho 6,, là ước lượng vững mạnh của ỉ* và ở? = S„(ễ„)/n là ước lượng vững mạnh của ứ? Tuy nhiờn, ta thắt chặt A(3) để â là tập hữu han cỏc phần tử, A(4) là điều kiện đủ cho ổ„ là vững mạnh (Wu [1981] đã chứng minh, xem [20]). Để 6,, vững mạnh, ta thêm điều kiện A(5’) và A(4') Điều này có nghĩa là nếu ta có thể tỡm thấy một cặp ỉ va 6, hữu han trong â sao cho 2„(6,ỉ) < co thỡ ụ, khụng là ước lượng vững Ta xét ví du.
Ví dụ 1.2.2 Ta zét mô hành phân huy Ụ =€ “he — (=1,2, n) (1.2.48)
Trong đó 0 €©, uới một tập con (0,2) C O va e € (—œ, ov).
Với bắt ky 0(# 0\) € (0.2m), 6, không uững.
Ta cú thể thay thộ cỏc giả định để cú ước lượng vững mạnh của ỉ„ và ụ3.
B(1) e; là biến ngẫu nhiên độc lập cùng phân phối với kỳ vọng là 0 và phương sai là ơ?(ơ2 > 0).
B(3) 2 CR* và © C R? là tap compact (nghĩa là đóng và bị chặn ).
B(4) Các quan trắc x; để H„(x) > H(z) với xác suất bằng 1, trong đó
+ H,,(x): là hàm phân phối thực nghiệm.
B(ð) Nếu ƒ(x;ỉ) = f(x;6*) với xỏc suất bang 1 thỡ ỉ = 6*.
Nếu các giả định B(1) đến B(5) đúng ,thì 6,, sẽ là ước lượng vững mạnh của 6”.
1.2.7 Tiệm cận chuẩnBây giờ ta tìm điều kiện để ô„ là tiệm cận đến phân phối chuẩn dưới giả định ước lượng vững yếu Diéu này có thể đạt được bằng cách thực hiện khai triển 0S,,(0) /00 của f;(9)
(6—6") = 0, (1.2.49) ey DSnlO*) | ỉ25,(8) g8 9890 trong đú ổ„ là điểm nằm giữa 6,, và ỉ*.
Vn(ỗ„ — 6") = — | (1.2.50) và ta cần chứng minh hai ý quan trọng sau:
(i) n~1⁄2ỉ%„(0*)/ỉ8 là tiệm cận phõn phối chuẩn
(ii) n-'0?S,, (6,,.) /0000' hội tụ theo xác suất đến ma trận khong suy biến.
Vay ta chứng minh ý đầu tiên (i), từ công thức (1.2.8) ta có :
Công thức (1.2.51) là đại diện cho trung bình có trọng số của biến ngẫu nhiên độc lập cùng phân phối e; Ta áp dụng định lý giới hạn trung tâm để có được e ~ W(0,ứ'1,) ae O*)e —> N(0, 407)
Q = lim —-F.(0')E.(0') (1.2.53) noo TN) ton tai va khong suy bién.
Dé chứng minh (ii), ta lấy vi phân và có khai triển sau
Nếu 6,, là ước lượng vững mạnh thỡ ổ„ ““} 8 Do đú, khi n > 00, ỉ„ sẽ thuộc về â*, hee lan cận mở Nếu h„(ỉ) là dóy ham liờn tục và ủ„(ỉ) hội tụ hầu chắc chắn về một ham ngẫu nhiờn h(@) đều theo ỉ, khi đú
Từ (1.2.54), ta có Gy ” 2Q, Gp “4 0, Gs “2$ 0 Kết hợp với (1.2.53), vì vậy màhee
Từ (1.2.50), (1.2.51), (1.2.52) và (1.2.55), ta thấy rằng a peat 2b OSn(8")
Từ (1.2.50), (1.2.51), (1.2.53) và (1.2.56) ta được công thức ô„ — 0° = [F (6")F.(0")] 1F (6*)e, (1.2.58)
Từ quá trình thảo luận trên, ta trình bày thêm một số giả định cần dé cho (1.2.57) đúng.
A(5) ỉ* là một điểm trong của â (tức là 6* khụng nằm trờn biờn, nhưng thuộc tap mở chứa trong â) Đặt â* là vựng lõn cận của ỉ” chứa trong â Tức là ỉ* € O* CO.
A(6) Dao hàm bậc một và hai của hai hàm ỉƒ,(0)/96, va 0° f;(0)/00,00, (r,s 1,2, ,p) tồn tại và liờn tục Vỉ € â*.
A(7) (1/n) 3°, (Of; (0) /00)(0f;(0) /00°) = n~!E'.(0)EF.(6) hội tụ về ma trận â(ỉ) trờn
A(8) (1/n) SẺ |92ƒ,(6)/00,06,]2 hoi tụ đều theo 6, ỉ € â* (r,s = 1,2, p).
A(9) Q = O(ỉ*) là ma trận khụng suy biến.
Nếu giả định từ A(1) đến A(9) đúng, thì vn(ô„ — 6") ~ N,(0, 0727) (1.2.59)
Vậy Vn(ỗ,„ — 8”) tiệm cận về phân phối chuẩn Ta cũng có n'F.(6,,) F.(6,) là ước lượng vững của Q Điều này là do giả định A(7) và tinh vững mạnh của ổ„ Cuối cùng, sử dụng công thức (1.2.53) với n đủ lớn,
Jennrich[1969] đã chứng minh tiệm cận về phân phối chuẩn nếu thay thé các giả dinhh A(7) và A(8) bởi giả định mạnh hơn, xem [11].
A(8)?.n=1S”.ứ(0)h,(ỉ1) hội tụ đều trờn ỉ, 6; € â, trong đú g; và h; là một trong số hàm như ƒ,(ỉ), Of;(0)/00, và 0? f;(0)/00,00, (r,s = 1,2, ,p).
Chú ý rằng, mặc dù ổ„ là tiệm cận về phân phối chuẩn dưới các giả định trên, nhưng nó không là tiệm cận hữu hiệu Vì vậy, để tiệm cận hữu hiệu thì ¢,; là phân phối chuẩn.
Chương 2 Ước lượng co cho mô hình hồi quy phi tuyên
Chương này được viết dựa trên các tài liệu: [16], [6], [17], [10], [12], [8], [18], [2],
Phan nay được viết dựa trên các tài liệu: [17], [8], [2].
Trong nhiều năm, kỹ thuật ước lượng co được biết đến như một kỹ thuật tối ưu hơn so với ước lượng hợp lý cực đại trong việc đo độ rủi ro Diều này có nghĩa rằng có thể xây dựng được ước lượng có độ rủi ro nhỏ hơn phương pháp MLE Stein đã thiết lập một ước lượng với độ rủi ro nhỏ hơn phương pháp MLE và ước lượng đó được gọi là ước lượng James- Stein.
Tuy nhiên, kỹ thuật này vẫn chưa được áp dụng rộng rãi vì chưa có giá trị kỳ vọng để tính toán được khoảng tin cậy Cho tới gần đây khi Kazimi và Brownstone đã đưa ra được khoảng tin cậy dựa vào kỹ thuật bootstrap Ông đã cung cấp đủ cho các ứng dụng thực nghiệm của phương pháp ước lượng co. Ước lượng co được phát triển trong nhiều trường hợp bao gồm mô hình hồi quy phi tuyến Ta quan tâm đến ứng dụng của ước lượng co cho mô hình hồi quy phi tuyến. Ước lượng co James và Stein biểu diễn tối ưu hơn về độ chệch và độ rủi ro so với các ước lượng khác, dưới các điều kiện khác nhau, xem |2].
ADB(6) = 09,
Phân phối tiệm cận: Độ rủi ro (ADR)
Phan này được viết dựa trên các tài liệu: [16], [12], [2], [13], [3], [9].
Ta xem xét ADR của chuỗi {K„} định nghĩa 6 (2.3.40) Gia sử rằng dưới đối thiết địa phương này, n'/2(6* — 8) có phân phối tiệm cận
NCO biểu thức nay cũng được gọi là ham phân phối tiệm cận (ADF) của 6* Hơn nữa, dat:
[fo [sen là ma trận phân tan có được từ ADF trong (2.4.44) Va ADR được định nghĩa như sau:
Một ước lượng ỉ* được gọi là trội hon ước lượng tiệm cận 6° nếu ?t(0*;8) < R(O°; 8).
Hơn nữa, nếu ?(6*;ỉ) < P(0°;ỉ) cho ớt nhất một (ỉ,W) khi đú ỉ* trội ngặt hơn ỉ°.
Với đối thiết địa phương trong (2.3.40) và những giả định chớnh quy, với a* = ứ 3,ta có được ham ADR của ước lượng như sau: Định lý 2.4.1.
ADR(ô”) = tr(WQ¡;0")) — tr(WQ¡i;l8"))H,¿(x22¡ A) + ð QI2H,:¿2(x„¡ A) — ®„+4(X22¡ AD, ADR('5%) = ADR(ô) +6 Q°O(r? — E(x f(A) =
ADR(%") = ADR(6"*) + (k = 2)trace(WQ¡i,l0"))Í2E{xx22(A)10242(A)) < — 2)} —
(r — DEY (AL Oe (A)) < (r — 2) 4}, trong đó
Dé chứng minh định lý 2.3.2 và 2.4.1, ta xét từng ước lượng: a Ước lượng không có ràng buộc:
Ta vẫn xét mô hình (2.2.21) và tìm được ước lượng bình phương cực tiểu không có ràng buộc là Ô=(F.F.) 'E.y' (2.4.47)
Theo định lý 1.2.1, ta có ô ~.N(0.ơ?(EFE)-)).
Do chệch ADB bậc hai:
Với a* = 0 ? Hàm rủi ro ADR
ADR(6,0) = tr(F'F)! = p (2.4.51) Trong trường hợp có ma trận trọng lượng W, ADR của ô là
Xem [12]. b Ước lượng có ràng buộc:
6 =ô- (F'F)-'R/[R(FE)-!R'] !(RÊ — r) (2.4.53) 6 có phân phối chuẩn với kỳ vọng và phương sai được tinh
E“EF)-!'R/[R(FE)-'R'j-'(RE(ô) - r) EFF) 'R[R(FTE) 'R]'(R6 - r)
= Ô—(F'F)-'R'[R(FE)-'R']'!R(ô — 6) 6-0 = ô—0-—(F'F)-'R[R(FE)-'R']-'!R(ô — 6) 6-6 = (6—6)(I— Pp), (2.4.55) trong đó Pg = (F’F)"'R’'[R(F’F)'R)7'R va Pr là ma trận lity đẳng, nên
Pp =P, > PrR(I—-PrR)=0 và PRF’F(I— Pr) =0 (2.4.56)
= ơ7{(FF) !—-Pn(FF) '-—- Pn|(ŒF) | — Pr(F’F)'}}
= o°{(F’F)!— (FF) !R[R(EFF) !1R] 'R(EFE) 3.457) Độ chệch ADB của 6
= lim 0rẺ|—(FE) "R(RŒE) RỤ LÊ]
Mà ta có ơ (Cy, — Cy2C 5, Cai) —ŒCĂ'CĂz(— CC: ‘Cio + Cạ;) 1
Qo] = Qi:19] Q:a|0) _ Qi, Qe Q„lỉ| = = lim 20,16), jk
Từ ma tran R trong công thức (2.3.39), ta có
RIPE) 'R' = (Opseqs Torr), X (BnuJ@xứ (is x
= ((B¿i)qœx¿), Bair) xp X (O(r0) }]
Vậy QADB(ÔP”Š) được tính
= (QiQ¡sð |Hi:a(6, A)=ự=2)E {Xơ+2Ajou ,>r—2) }] ) Que x (Qi Qi2d |Hi:a(c, A) —(r—2)E {xœ+220(fsvu., ,>—3) } |)
Q*(8°) = QaĂ(02)Qù7 (87) Qi1.2(8°)Qi7 (8° )Qi2(8") (2.4.121)
Ham rủi ro của ước lượng dương James - Steins:
ADR(6"!5 0: W)
= B {tr |(ê'%~8= Ta, 6, (2.5.138) ký hiệu > viết tắt cho sự trội.
2.5.3 So sánh ham ADR của ước lượng URN va JSN
Ta so sánh 67° với 6 Khai triển ADR của ước lượng đó được đưa ra trong định lý
5 Q°6(r? — 4)E(x,4(A)) — (r—2)r(WQ¡i¿l0))12E0-i2(A)) = (7 = 2) EÚv22(Ä))}: © ADR(ô75)— ADR(6) và 67° trội hơn ổ nếu AR(Ô75) < ADR(6) hay ð Q°6 (1? A) E(x fa(A)) —(r—2) tr (WQ i287) 2E (x f2(A)) (7-2) EC 2(A))} 3va sul < t h 3 Do đó, ADRh(ô”5) < ADR(6), nếu các điều kiện sau được thỏa: i) p* = min(q,r), ii) ch„„z(Q°) < str(Q?), iii) 0 < (r— 9) 0 © 2E [XxzsA] ~ €E[XzisAl ~ (6+ 4)hA [E [xe faa) ] > 0 (2.5.141)
A ðQ„¡ô < ch„a„(Q°Q3z¡) = Chmax(Q®) = h.tr(Q’) (theo (2.5.130)), vậy dé biểu thức (2.5.141) dương, thi ta phải chon c sao cho phù hợp Mà ta đã biết
2(r 2)E(v2sA) +2AE(aiA) — CB [XisAl — (e+ RA [E[xzA]) >0
& (r= 2) — dE (ras) + ÍB— (e+4)BJAE [4a] >0 (2.5.14) để biểu thức trên dương thì r > 3, 0 < ¢ < 2(r — 2) và 0 < h(e + 4) < 2, hay °
Qy7 Ques = QY(Qu — Qi2Q5;'Qo1)
= I, — Q;; Qa:iQ¡;.Qs›, vậy tr(Q®) = tr¿T— Qi Quis) [= fríL — Q2 Q21) | < p*
2.5.4 So sánh ham ADR cua ước lượng JSN và PJSN
Cuối cùng, ta so sánh 673” và 67° Ta có thể kết luận từ ham ADR của các ước lượng trong định lý 2.4.1, ta có
Dựa vào bat đẳng thức trên ta có kết luận: 67°” là tiệm cận trội hơn so với 67° Theo phần 2.5.3, thi ổ2Š trội hơn 6 Do đó, 67°” cũng trội hơn 6, vì vậy ta có:
ApR mr(W@3›) ADR) wR) a aan -
Hình 2.3: Ham rủi ro của ước lượng URN, JSN va PJSN, với W =I1
Ta quan sát thay rằng, ước lượng JSN va PJSN kết hợp mẫu va NSI theo cách tốt
^ hơn, vỡ vậy cỏc ước lượng này trội hon so với ỉ (ước lượng khụng phụ thuộc vào NSI).
Tuy nhiên, mức tăng ADR trên 6 là đáng kể khi NSI là " gần đúng" Ta có thể kết luận rằng ước lượng đề xuất ổ”ŠP là tiệm cận trội hon ổ25 và 6 Tuy nhiên, điểm quan trọng ở đây không phải là việc cai thiện ý nghĩa trong việc giảm độ rủi ro ADR bằng cách sử dụng phần dương của 67° Quan trọng hơn, các thành phần của 673?
"eó dấu hiệu giống" như các thành phần của 6 Nói cách khác, 67°” không phải chịu các tiêu chuẩn như ước lượng Jame-Stein (ô7 5) để nó không co vượt quá 6, xem [2].
KET LUẬN
dé cực tiểu hóa 56) ta có
Xem [15], [14]. ii) và iii) Ta đó biết ước lượng khụng chộch của ứ? là s? = 5(8)/(n
Trong đó: Pg là ma trận hình chiếu, ta có
là độc lap thống kê với S(ổ)
Ta cũng suy ra được „5 ~ Xap: S(6 iv) Nếu e ~ N(0,07I,,) và F là ma tran p chiều, ta có e Pge/ứ? ~ x2 vae (I, — Pr)e/o? ~ x37_, Do đú
—p) Do F6 = a Với 2 là không gian con của R”, y là vector n x 1, vậy vector y được khai triển duy nhất thành dạng y = u, + vụ, trong đó: u, € 2 và v, € +, là phần bù trực giao của Â,
Nếu uy, = Poy, thì Po là duy nhất va Po được gọi là hình chiếu trực giao của R” trên Q va có những tính chất sau: i Q= Z[Po|, không gian cột của Po. ii Pg là ma trận đối xứng và lũy đẳng (nghĩa là: P2 = Po) iii rank(Pg)= tr(Po)= số chiều của 2.
Vụ = lạ — Pọ val, — Po là hình chiếu trực giao của R” trên 0+.
Nếu Q = &(X), với X là ma trận n x p có hạng là p thì
Px=X(XX) 'X (2.5.151) là ma trận hình chiéu trực giao lên không gian cột của X (hay @(X)), xem [17].
€ là ma trận xác định dương n x n có dạng
21 22 vậy C là ma trận không suy biến Vậy ma trận C7! được xác định như sau:
Goi ma trận B = C~! Ma trận B có dạng
C¡jB¿¡i+Cj2Bại CyBiz + C+¿B I Opn
Co, By, dCa¿Bạai Car Big + Ca¿Bạ; Onn L;_¿
Ta giải hệ phương trình sau (2.5.154) như sau
C©¡Bii+C¿2Bai = i (a) Ci Bio + Ci2Bo2 = Oj „By (0) Co Bi, + Co2Bo1 = On jụ (c) C2: Big + Coa2Bo = L„ (d)
By = —ŒC¡¡'C¡¿Ba¿;¿ (e)Bo = —Cx7 C21 By, (f)
=CiBai+C ¿Bị = k (ứ) © Cy By + Cy(-—Cy CC) = i
& (Cy — CC Cai)Bại = Ik
&By = (Cy —CyCyCn)* (25.155) Tương tự (d) có dang
=> CaiBị¿+C¿¿B; = In_x © Co (—Cy'Ci2Bo2) + Ca¿¿¿ = L„ÿ
& (—Cy,Cy' Cy + Cx2)Boy = L„
Vay (e) và (f) được tinh như sau
By = —Cy Cyo(—Cy Cy C2 + Co)7!
Bo = —Œsz„ Cn (Cy — C¡haCz; Cy) 71.
Vay œ1 B _ (Cy, ~~ CC Cài) 1 —Cij'Ciz(C¿iC;/ Ơi: + Co)!
—Cz„ Cu (Cy — C¡ạC22 C21)! (Ca¿ — CCC)!
(2.5.157) Đặt C¡i¿ = Cy — C¿C22 Ca, và Cạ¿¡ = Cạa — Cay CT Ca.
Vậy Cii¿ = (Cu — Ci2C2¿ Cai) Xem [6|, [5]
2 Một số bổ đề hỗ trợ
Bo đề 2.5.1 Giả sử to ~ (6,1) va f(w) là một ham Borel do được Thi
Ta 2 vi £ I/(xia)Xãa| = to
Va ham Gamma có dang
Vì vay, (2.5.159) được khai triển như sau
Bo dé 2.5.2 Giả sử to ~ (6,1) va f(w) là một ham Borel do được Thi
Hàm mật độ của phân phối chuẩn là fw) = Cup eet)
= exp >| sam | fv ) exp -E cứ dw
lt; {EU (w*)] exp =}
gt; (5) nữ /n8a)]
= exp T7: 6 ps (5) Gj — pie Podsằ)
= 0E|f(x306/2))| ff (2.5.162) 3 Một số định lý cơ bản
Dinh lý 2.5.1 w là vector (p x 1), to ~ (6, T,),
Dat w = (0u, t0a, , tạ), WW = 3) _¡ Uƒ, ta cd
Fiiiwvlm] =f 8 E EIE joes + Seirus #p |}, áp dụng bổ đề 2.5.2, ta có
El f(w'w)w] =6;F |E f (X6.00/2) + Sow )lwys j - | Pp j=2 vậy
Dinh lý 2.5.2 w là vector (p x 1), w~ N(6,I,), A là ma trận xác định dương,
El f(ww)wAw] = EU( )Jtr(A) + OELf( )\(@'AB) — (2.5.164) 2 2
Dat P 1A ma tran truc giao dé ma dị 0 0 PAP=D=|[: : - : J, (2.5.165)
D là ma trận đường chéo với các phan tử d; > 0, (¿ = 1, p) là giá trị riêng của ma trận A Ta định nghĩa vector w = Pw ~ V(P6,T) Do đó tt = w’P’Pw = tư va w’ Dw = w’P’APw = ư Aw.
F[lƒ(ww)wAw] = Elf (w’'w)w’Dw] p m „m Áp dụng bổ đề 2.5.1, ta được
Trong đó pj là hàng thứ ¿ của ma trận P.
Vì Ð 2i đ(p0)2 = 0A0 và 3 )—¡ dị = tr(A), nên
Dinh lý 2.5.3 (Ourant - Fisher, xem Gruber (1998), p.205) Néu B va D là hai ma trận nửa xác định dương va uới D không suụ biến, cả hai ma trận có có kích thước m XM, AI, Àa, A„, là giá trị riêng của ma trận BD, thà khi đó hmin( BDTM') < —— < ch„„(BD 2.5.166œ Ba chu„(BD `) < TU $< chinae( BD), (2.5.166) trong đó mịn \; = Chmin(BDTM) va max \; = ch„„„(BDˆ}) tương ứng là giá trị riêng nhỏ nhất va lớn nhất của (B.D~') va œ là vector cột m x 1.
Ta đã biết BD~! là ma trận xác định dương và Aq, Àa, , Am là giá trị riêng của ma trận BD~! Dat A = BD-', vậy A = Q’AQ, trong đó Q là ma trận trực giao va A là ma trận đường chéo chứa các tri riêng À¡.
Nên x’Ax = x’Q’AQx = (Qx}A(Qx) Vi Q là ma trận trực giao nên ||Qx|| = ||x||, vậy x Ax = xAx Vay trong trường hợp này ta xét A = A, khi đó: ÀI ves 0 X1 m x’ Ax = x’BD 'x = (x, " xu) Oo - Q = SOX (2.5.167)
_ dizi Xi AL NO 2A 25.168 x!x x!x — x!x 2x , ( ) và xAx So, Ax? Am= a = = Min (2.5.169)
/ B ô Clmin(BD7!) < === < Chinax(BDTM) 6N (2.5.170) x/Dx Định ly 2.5.4 6 là vector px 1 uà ễ ~ V(0,0°C"!) hay ễ ~.(8,ứ?(E'.E)=') va
6,~ N (Oi, ỉ?œĂĂ) uới cị là thành phõn thỳ Ă trờn đường chộo của ma trận (E'.E)1
