4 Ước lượng Bayes trong mơ hình hồi qui
4.2Về sự tồn tại ước lượng Bayes trong cấu trúc thống kê
kê.
Xét phần tử ngẫu nhiên X có tập giá trị là không gian metric compact I: Xét không gian Euclide r chiều Rr và tập compact Rr: Ký hiệu vết của đại số Br trên tập là
B( ). Tập được gọi là không gian tham compact. Theo quan điểm Bayes, trên( ; B( ))
ta xác định một độ đo xác suất và gọi là phân phối xác suất tiên nghiệm của tham ẩn 2 .
VìI compact nênI là một khơng gian metric đầy đủ, khả li. Tương tự cũng là không gian metric đầy đủ, khả li. Do đó với mọiX và 2 như trên, tồn tại phân phối xác suất có điều kiện chính quyPX= , 2 thường được ký hiệu là Q ; 2 .
Định nghĩa 4.2.1. Bộ ba (X; I;fQ ; 2 g) gọi là cấu trúc thống kê với tham ẩn 2 . Xét trường hợp đặc biệt khi. X ='( ) +" (F)
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI
Trong đó
" : Vector sai số ngẫu nhiên trong Rr: ' :Hàm phi tuyến cho trước.
: Tham ẩn định vị 2 .
Lúc đó phương trình (F) gọi là mơ hình thống kê phi tuyến với khơng gian tham compact Rr:
Định nghĩa 4.2.2. Hàm Borel đo được h : (I; B(I))! (Rr; Br) gọi là ước lượng của tham ẩn 2 Rr:
Ước lượng hgọi là bị chặn nếu
sup
x2Ikh(x)kRr <+1:
Tập hợp tất cả các ước lượng bị chặn của tham ẩn 2 , theo định lý 4:1:3 là một không gian Banach B(I;Rr)với chuẩn
khkB = sup
x2I kh(x)kRr:
Định nghĩa 4.2.3. Cho hàm L:Rr !R+ và hàm H :I !Rr được xác định bởi H(x; ) = (h(x); ):
Hàm hợp L(h(:); :) :=L H :I !R+ được gọi là hàm tổn thất của ước lượng h:
Định nghĩa 4.2.4. Phiếm hàm :B(I;Rr)!R được xác định bởi
(h) =
Z Z I
L(h(x); )Q (dx) (d ):
gọi là hàm mạo hiểm Bayes với phân phối xác suất tiên nghiệm . Ước lượng bh 2 B(I;Rr) thỏa điều kiện (bh) = inf
B(I;Rr) (h) gọi là ước lượng Bayes với xác suất tiên nghiệm .
Cho là độ đo hữu hạn trên không gian đo được(I; B(I))và giả sửQ ;8 2 . Lúc đó, theo định lý Random - Nicodym, tồn tại hàm mật độ xác suất có điều kiện chính quy f (x) có dạng
f (x) = Q (dx) (dx) :
Khi ấy hàm mạo hiểm Bayes sẽ được viết dưới dạng
(h) =
Z Z I (adsbygoogle = window.adsbygoogle || []).push({});
L(h(x); ) (dx)f (x) (d ):
Định nghĩa 4.2.5. Hàm tổn thất L(y; )gọi là liên tục đều đối với y và đồng bậc đối với nếu
8" >0;9 = (")>0
sao cho
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI
y0 y"
Rr < =) jL(y0; ) L(y"; )j< ";8y0; y" 2Rr;8 2 :
Từ các định nghĩa trên, ta có định lý sau đây về ước lượng Bayes.
Định lý 4.2.1. Cho cấu trúc thống kê (X; I;fQ ; 2 g) và B(I;Rr) là tập hợp tất cả các ước lượng bị chặn của tham ẩn 2 : Giả sử tập K các ước lượng của và hàm tổn thất L(y; )thỏa các điều kiện
(i) h(I) ;8h2K:
(ii) K đồng liên tục tại từng điểm trên I:
(iii) Hàm tổn thất L(y; ) liên tục đều đối với y và đồng bậc đối với .
Khi ấy K là tập compact tương đối trong B(I;Rr) và trong lớp ước lượng K, tồn tại
ước lượng Bayes. Chứng minh
Vì compact, nên theo điều kiện (i) 9M >0 sao cho
sup
x2I kh(x)kRr M;8h 2K:
Do đóK là tập hợp đồng bị chặn của khơng gian BanachB(I;Rr). Mặt khác, theo điều
kiện (ii) thì tậpK đồng liên tục tại từng điểmx2I. Vì vậy theo định lý 4:1:4thìK là tập compact tương đối trong B(I;Rr). Tiếp theo, ta sẽ chứng tỏ rằng, từ h(I) ;8h 2 K
suy ra h(I) ;8h 2 K. Thật vậy, lấy bất kỳ h 2 K. Khi ấy 9(hn) K sao cho khn hkB !0 khi n! 1 từ đó ta suy ra
sup
x2Ikhn(x) h(x)kRr !0; n! 1:
) khn(x) h(x)kRr !0;8x2I; n! 1:
Vì hn 2K, nên hn(x)2 ;8x2I;8n 2N.
Nhưng vì compact nên h(x)2 ;8x2I;8n2N, tức làh(I) . Điều này có nghĩa
h(I) ;8h2K:
Cuối cùng xét hàm mạo hiểm Bayes :B(I;Rr)!R+ được xác định bởi
(h) =
Z Z I
L(h(x); )f (dx) (d ): (adsbygoogle = window.adsbygoogle || []).push({});
Ta sẽ chứng minh rằng liên tục đều trên B(I;Rr), tức là ta phải chứng minh 8" >
0;9 = (") sao cho h0 h00 B< ) j (h0) (h00)j< ";8h0; h" 2B(I;Rr): Thật vậy, ta thấy từ h0 h" B < ) h0(x) h"(x) Rr < ;8x2I: Từ nay và theo điều kiện (iii), ta được
jL(h0(x); ) L(h"(x); )j< ": Suy ra j (h0) "(x)j Z Z IjL(h0(x); ) L(h"(x); )jQ (dx) (d ) < Z Z I "Q (dx) (d ) =":
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI
Vậy liên tục đều trên tập compact K B(I;Rr): Do đó9bh2K sao cho
(bh) = inf
h2K
(h):
Định lý chứng minh xong.
Định lý 4.2.2. Cho cấu trúc thống kê (X; I;fQ ; 2 g) và B(I;Rr) là tập hợp tất cả các ước lượng bị chặn cho các tham ẩn 2 :Giả sử tập K các ước lượng của 2 và hàm tổn thất L(y; )thỏa các điều kiện
(i) h(I) ;8h2K:
(ii) K đồng liên tục tại từng điểm trên I:
(iii) Hàm tổn thất L(y; ) thỏa điều kiện Lipschitz, tức là 9C > 0 :jL(y0; ) L(y"; )j C y0 y"
Rr;8y0; y" 2Rr;8 2 :
Khi ấy K là tập compact tương đối trong B(I;Rr) và trong lớp ước lượng K tồn tại ước lượng Bayes.
Chứng minh
Chứng minh giống định lý 4:2:1.
Nhận xét : Nếu L(y; ) thỏa điều kiện Lipschitz thì L(y; )sẽ liên tục đều và đồng bậc với ; nhưng ngược lại chưa chắc đúng. Như vậy định lý 4:2:2 mạnh hơn định lý 4:2:1.
4.3 Ước lượng Bayes trong mơ hình hồi qui phi tuyến1 chiều