4 Ước lượng Bayes trong mơ hình hồi qui
4.5Ước lượng Bayes trong mơ hình hồi qui phi tuyế nr chiều với ước lượng bị
vị là hàm ngẫu nhiên
a) Sự tồn tại ước lượng Bayes
Xét mơ hình hồi qui phi tuyến r-chiều có dạng.X ='( ) +". Trong đó
X : vectơ quan trắc ngẫu nhiên r-chiều có giá trị trong khơng gian compact I Rr: ": vectơ sai ngẫu nhiên r-chiều có giá trị trong khơng gian Rr:
: tập hợp compact trong không gianRr:
: tham ẩn định vị và 2 :
' :hàm phi tuyến cho trước, ' : !Rr:
Giả sử cho không gian xác suất ( ;F; ), ta định nghĩa h: I !Rr.
Với hàm h vừa mới định nghĩa, nếu ta coi f!tg là tập các chỉ số khi đó ta có một dãy hàmfh!ig. Giả sử8! 2 ;hàmh! =h(!; )bị chặn và đo được, khi đó tập hợp tất cả
h(!; ) gọi là các ước lượng bị chặn, đo được của tham ẩn định vị tạo thành một không gian BanachB( I;Rr) với chuẩn
khkB( I;Rr) = sup
(!;x)2 Ikh(!; x)kRr
và khi ta cố định!khi đóB( I !Rr)kí hiệu làB!(I;Rr). Ta nhận thấyB( I;Rr) =
S !2
B!(I;Rr):
Ta giả sử phân phối trên nghiệm của là liên tục tuyệt đối với một độ đo hữu hạn #, lúc đó có đạo hàm Random-Nikodym dưới dạng hàm mật độ g( ) = dd#( )( ):Ta đặt gx( ) = f (x)g( )f(x) trong đó tồn tại f(x) = R
f (x) (d ); f (x) gọi là hàm mật độ có điều kiện chính quy.
Giả sử rằng hàm tổn thất L(; ) thỏa định lý Fubini khi đó hàm mạo hiểm Bayes là phiếm hàm :B!(I;Rr)!R+ được xác định bởi
(h!) = Z Z I L(h!(x); )f (x) (dx) g( )d#( ) = Z I Z L(h!(x); )gx( )d#( ) f(x) (dx);
với L(h!(x); ) được gọi là hàm tổn thất.
Với mỗi! 2 cố định cho trước; ước lượngbh! 2B!(I;Rr) gọi làước lượng Bayes của tham ẩn định vị 2 với phân phối tiên nghiệm nếu (bh!) = inf (h!)
h!2B!(I;Rr)
:
Ta giả sử rằng hàm mạo hiểm hậu nghiệm 0(x) : I ! R+ được định nghĩa 0(x) =
E[L(x; )jX =x] =R
L(x; )f (x)g( )f(x) d#( ) =R
L(x; )gx( )d#( )là Lipschitz liên tục tức là tồn tại hằng sốK sao cho
0
(x) 0(y) Kkx ykRr;8x; y 2I:
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI và E j 0(h(x))jp = Z j 0(h(x))jp (d!)<1;8p2(2;3];8h2B( I !Rr);8x2I; E [ 0(h(x))] = Z 0 (h) (d!) = 0;8h2B( I !Rr);8x2I:
Định lý 4.5.1.Với mỗi! 2 cố định cho trước, cho cấu trúc thống kê(X;Rr;fQ ; 2 g) và B!(I;Rr) là tập hợp tất cả các ước lượng bị chặn cho các tham ẩn 2 : Giả sử tập K! các ước lượng của 2 và hàm tổn thất L(y; ) thỏa các điều kiện (adsbygoogle = window.adsbygoogle || []).push({});
(i) h!(I) ;8h! 2K!:
(ii) K! đồng liên tục tại từng điểm trên I:
(iii) Hàm tổn thất L(y; ) thỏa điều kiện Lipschitz, tức là 9C > 0 :jL(y0; ) L(y"; )j C y0 y"
Rr;8y0; y" 2Rr;8 2 :
Khi ấyK! là tập compact tương đối trong B!(I;Rr)và trong lớp ước lượngK! tồn tại ước lượng Bayes.
Chứng minh.
Với mỗi !2 cố định cho trước, ta chứng minh tương tự định lý 4:2:2 . Ta đặt K = S
!2
K! và M =fbh!jbh! 2K!; ! 2 glà tập hợp các ước lượng Bayes. Ta suy ra rằng tồn tại bh!b 2 B( I;Rr) sao cho (bh!b) = inf (h)
h2B( I;Rr) = inf h2K (h) = inf b h!2M
(bh!):Khi đóbhb! là ước lượng tốt nhất trong tập các ước lượng Bayes M:
b) Ứng dụng giới hạn Berry - Esseen cho cấu trúc hàm lập ngẫu nhiên của tổng các ước lượng bị chặn cho tham ẩn định vị
Giả sử ta lấy phần tử cố địnhx0 2I, vì hàm ước lượng có tính ngẫu nhiên nên ta thu được
một mẫu ngẫu nhiên các giá trị ước lượng của tham ẩn là(h!1(x0); h!2(x0); : : : h!n(x0)),
ta giả sử rằng các phần tử của mẫu này là không độc lập. Ta sẽ xây dựng cấu trúc sao cho các h!1(x0); h!2(x0); : : : là phụ thuộc, cấu trúc ta sử dụng là cấu trúc hàm lặp ngẫu nhiên.
Ta xây dựng cấu trúc như sau
Y1(x0) = h(!1; x0) =h!1(x0)
và Yn(x0) = h!n h!n 1 : : : h!1(x0);
giả sử rằng h! là Lipschitz liên tục tức làkh!(x) h!(y)kRr K!kx ykRr;8x; y 2Rr. Tiếp theo ta trình bày bổ đề 4:5:1và mệnh đề 4:5:1được suy ra từ kết quả của định lý
2:4 và định lý 3:4 và ứng dụng kết quả đó để thiết lập sự liên hệ giữa tổng các đại lượng ngẫu nhiên (hàm mạo hiểm hậu nghiệm) không độc lập.
Bổ đề 4.5.1: Giả sử tồn tại y0 2 Rr và > 0 sao cho Ev(ky0 h!(y0)kRr) =
R
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI
r=r( )2(0;1), C =C( )>0sao cho
Ev(kYn(x) Yn(x0)kRr) =R
kYn(x) Yn(x0)kRr (d!) Crnkx x0kRr
với mọi x2I và n 1;k:kRr là một chuẩn trênRr. Khi đó với mọi x2I giới hạn
lim
k!1h!n h!n 1 :::h!n k(x)
tồn tại hầu chắc chắn và khơng phụ thuộc vào x. Nếu Yn có giới hạn khi đó Yn = (adsbygoogle = window.adsbygoogle || []).push({});
M(:::; !n 1; !n) với hàm đo được M : N !I. Khi đó dãy fYng là dừng ngặt, Ergodic và thoả mãn Yn =h!n(Yn 1); Yn ; Evh Yn; M(:::; !0n m 1; !0n m; !n m+1; :::; !n) Rr i Crm: Đặt Xn = T(Yn), trong đó T :Rr
! R là hàm liên tục Lipschitz , tức là tồn tại hằng sốL sao cho jT(x) T(y)j L (x; y)với mọi x; y 2Rr.
Mệnh đề 4.5.1. Giả sử cho rằng các điều kiện ở bổ đề4:5:1thoả với = 2:Cho bất kỳ hàm Lipschitz liên tụcT :Rr
!Rta định nghĩaXn=T(Yn)và giả sử rằngE jX1jP <1; p2(2;3]:Cho H >(1 3p=4)=logr: Khi đó chuỗi
2 =E X12+ 2X k 2
E (X1Xk)
hội tụ tuyệt đối và với n đủ lớn
sup
1<x<1 n
(x) 76EvjX1= jp(10Hlogn)p 1n1 p=2;
và
n(x) C(1 +jxj) 2EvjX1= jp(Hlogn)p 1n1 p=2;
trong đóC là một hằng số dương. Trong đó n(x) = jP(Sn xBn) (x)j , (x)là phân phối chuẩn Sn =X1+:::+Xn và Bn2 =EvSn2 .
Ta sẽ áp dụng 2 định lý trên cho hàm mạo hiểm hậu nghiệm. Giả sử Yn thỏa mãn các điều kiện trong bổ đề 4:5:1. Ta đặt.
Xn = T(Yn) = 0(Yn) = 0(h!n); Sn = X1+:::+Xn = 0(h!1) +:::+ 0(h!n); Bn2 = EvSn2: 2 = E X12+ 2X k 2 E (X1Xk)
CHƯƠNG 4. ƯỚC LƯỢNG BAYES TRONG MƠ HÌNH HỒI QUI
Theo điều kiện giả thiết cho trước.
j 0(h!0) 0(h!1)j Ckh!0(x); h!1(x)kRr;8h!0; h!1 2B( I;Rr):
Theo điều kiện cho trước E j 0(h!1)jp <1;8p2(2;3]và E [ 0(h!i)] = 0;8h!i; thì áp dụng mệnh đề 4:5:1, ta được. n(x) = jP(Sn xBn) (x)j C(1 +jxj) 2E jX1= jp(Hlogn)p 1n1 p=2; và sup 1<x<1 n(x) 76EvjX1= jp(10Hlogn)p 1n1 p=2:
Và theo Leo Breiman ( [11] tài liệu tham khảo tiếng anh) ta có với bất kỳ x2Rr; khi
n! 1 thì 1 n n P i=1 0 (Yi)!E 0(Y1) với xác suất bằng 1.
Phần kết luận
Đề tài luận văn đã trình bày về :
- Những khái niệm cơ bản, tính chất và ứng dụng của hàm lặp ngẫu nhiên và tổng các biến ngẫu nhiên phụ thuộc.
- Xây dựng được cấu trúc thống kê và tiêu chuẩn tồn tại ước lượng Bayes cho tham ẩn định vị trong mơ hình hồi qui phi tuyến hữu hạn chiều, bên cạnh đó đã khảo sát tiêu chuẩn tồn tại và mốt số tính chất của ước lượng của tham ẩn định vị là một hàm ngẫu nhiên.
Với những kết quả nghiên cứu trong luận văn này chúng ta có thể mở rộng các bài tốn như ta có thể xây dựng được các đa thức xấp xỉ ước lượng Bayes của tham ẩn định vị trong các lớp ước lượng khả tích tức là h2L1( ;Rr;Rr)với là độ đo Lebesgue trênRr. Ngoài ra ta có thể khảo sát các lớp ước lượng ngẫu nhiên khả tích h2L1( ; Rr;Rr).
Hơn nữa ta có thể xây dựng các lớp ước lượng bị chặn và khả tích cho tham ẩn phương sai 2 hoặc tham ẩn hổn hợp = ( ; 2):
Tài liệu tham khảo
TIẾNG VIỆT
[1] Nguyễn Duy Tiến , Đặng Hùng Thắng (adsbygoogle = window.adsbygoogle || []).push({});
Các mơ hình xác suất và ứng dụng Phần I : Quá trình Markov và ứng dụng Phần II : Quá trình dừng và ứng dụng
NXB Đại học Quốc gia Hà Nội – 2002.
[2] Nguyễn Duy Tiến, Vũ Viết Yên - Lý thuyết xác suất - NXB Giáo dục - 2000. [3] Nguyễn Bác Văn - Xác suất và xử lý số liệu thống kê - NXB Giáo dục - 1996. [4] Ung Ngọc Quang - Giáo trình Thống kê Bayes - ĐHKHTN - 2006.
[5] Ung Ngọc Quang - Về tiêu chuẩn Compact tương đối của không gian hàm và ứng dụng trong cấu trúc thơng kê - Tạp chí phát triển KH&CN - 2006.
[6] Tô Anh Dũng, Võ Văn Tài, Phạm Gia Thụ - Ước lượng Bayes cho tỷ lệ trộn trong phân loại và nhận dạng hai tổng thể - Tạp chí phát triển KH&CN - 2007.
[7] Dương Minh Đức - Giải tích hàm - Nhà xuất bản đại học quốc gia - 2002. [8] Nguyễn Xuân Liêm - Bài tập giải tích hàm - Nhà xuất bản giáo dục - 2005. [9] Nguyễn Phụ Hy - Bài tập giải tích hàm - Nhà xuất bản KHKT - 2007. TIẾNG ANH
[1] Peter M.Lee - Bayesian Statistics An Introduction - Oxford University Press Inc., New York - 2003.
[2] Peter Congdon - Bayesian Statistical Modelling - Wiley - 2005.
[3] Seigfried Hormann -Berry-Esseen bounds for econometric time series - Latin Amer- ican Journal of Probability and Mathematical Statistics Journal - 2005.
[4] Wei Biao Wu, XiaoFeng Shao - Limit Theorems for Iterated Random Functions - J. Appl. Probab. Volume 41, Number 2 - 2004.
[5] Persi Diaconis, David Freedman -Iterated Random Functions - AMS Journal - 1999. [6] Valentin Vladimirovich Petrov - Limit theorems of probability theory: sequences of independent random variables - Oxford science publication - 1995.
[7] Louis H. Y. Chen, QI-Man Shao - Normal approximation under local dependence - The Annals of Probability - 2004.
[8] Herbert Robbins -The Empirical Bayes Approach to Statistical Decision Problems - The Annals of Mathematical Statistics - 1964.
Tài liệu tham khảo
[9] D. L. Hanson -On the representation problem for stationary stochastic processes with trivial tail field - Bull. Amer. Math. Soc. Volume 68, Number 2 -1962.
[10] V. l Ladokhin, D. A. Moskvin - An estimate for the remainder term in the central limit theorem for sums of functions of independent variables and sums of the form P
f(t2k)
- Theory of Probability and its Applications - 1971:
[11] Leo Breiman - The Strong Law of Large Numbers for a Class of Markov Chains - Institute of Mathematical Statistics - 1960.
[12] Walter Rudin - Functional Analysis - 1991.
Phụ lục A
Cơ sở lý thuyết thống kê Bayes
A1. Phân bố tiên nghiệm và hậu nghiệm
Giả sử X là một biến ngẫu nhiên có hàm mật độ là f(x) phụ thuộc vào tham số , do ta không biết chắc giá trị của nên ta xem h( ) là hàm mật độ của biến ngẫu nhiên (h( ) được xem là phân phối tiên nghiệm của ). Hàm f(x) có thể xem như hàm mật độ có điều kiện của X khi = , do đó f(x) có thể được kí hiệu f(xj ), hàm mật độ đồng
thời của X và là f(x; ) =f(xj )h( ) và hàm phân phối hậu nghiệm của khi X =x là
h( ). Để cho rõ ràng, ta diễn đạt mơ hình thơng qua ký hiệu sau : Xj s f(xj )
s h( )
Cho X1; X2; : : : ; Xn là mẫu ngẫu nhiên của X có hàm mật độ có điều kiện cho trước
= làf(xj ). Ta gọiX0 = (X1; : : : ; Xn)vàx0 = (x1; : : : ; xn);khi đó hàm mật độ có điều kiện cho trước = của X là
L(xj ) =f(x1j )f(x2j ): : : f(xnj ): (adsbygoogle = window.adsbygoogle || []).push({});
Từ đó hàm mật độ đồng thời của X và là
g(x; ) =L(xj )h( ):
Nếu là biến ngẫu nhiên liên tục, khi đó hàm mật độ lề của X là
g1(x) =
1
R
1
g(x; )d ;
trong trường hợp là biến ngẫu nhiên rời rạc khi đó ta sẽ thay dấu R
bằng dấu P . Hàm mật độ có điều kiện của cho trước mẫuX=x hay hàm mật độ hậu nghiệm là
k( jx) = g(x; )
g1(x) =
L(xj )h( )
g1(x) :
Ví dụ : Cho phân phối Poisson với tham số > 0, và giả sử rằng = 2 hoặc = 3.
Trong thống kê Bayesian, tham số ta coi như là một biến ngẫu nhiên :Giả sử rằng xác suất tiên nghiệm P( = 2) = 1=3 và P( = 3) = 2=3. Ta giả sử có một mẫu ngẫu nhiên
PHỤ LỤC A. CƠ SỞ LÝ THUYẾT THỐNG KÊ BAYES
n= 2 với giá trị quan sát x1 = 2; x2 = 4. Với dữ liệu cho trước, xác suất hậu nghiệm của = 2 và = 3 là bao nhiêu ? Theo định lý Bayesian, ta có
P( = 2jX1 = 2; X2 = 4) = P( = 2\( X1 = 2; X2 = 4)) P(X1 = 2; X2 = 4) = (1=3) e 222 2! e 224 4! (1=3)e 2!222e 4!224 + (2=3)e 2!322e 4!234 = 0:245: Tương tự ta có : P( = 3jX1 = 2; X2 = 4) = 1 P( = 2jX1 = 2; X2 = 4) = 1 0:245 = 0:755:
Ta có thể nhận thấy xác xuất mà = 3 sau khi qua các quan sát đã tăng lên trong khi đó xác suất = 2qua quan sát đã giảm xuống và điều đó làm ta có vẻ chấp nhận rằng
x= 3:
Ví dụ : Giả sử cho mơ hình sau :
Xij s idd Poisson( ) s ( ; ); và biết
Ký hiệuidd nghĩa là “độc lập có cùng phân phối xác định”.Theo mơ hình thì mẫu ngẫu nhiên được sinh ra từ phân phối Poisson với trung bình và có hàm mật độ phân phối tiên nghiệm là ( ; ). Cho mẫu X0 = (X1; :::; Xn), hàm mật độ phân phối xác suất đồng thời có điều kiện của X với = cho trước là
L(xj ) =
x1e x1! :::
xne xn! :
và hàm mật độ phân phối tiên nghiệm là
h( ) =
1 (adsbygoogle = window.adsbygoogle || []).push({});
e =
( ) ;0< <1:
Vì thế hàm phân mật độ phối đồng thời của X và là
g(x; ) =L(xj )h( ) = x1 e x1! ::: xn e xn! 1 e = ( ) :
xác định với xi = 0;1;2;3; :::; i = 1;2; :::; n và 0 < < 1 và bằng 0 tại các giá trị khác. Khi đó hàm mật độ phân phối lề của mẫu là
g1(x) = 1 Z 0 P xi+ 1 e (n+1= ) x1!:::xn! ( ) d = n P i=1 xi+ x1!:::xn! ( ) (n+ 1= )Pxi+ :
Cuối cùng hàm mật độ phân phối hậu nghiệm của cho trướcX =x là
PHỤ LỤC A. CƠ SỞ LÝ THUYẾT THỐNG KÊ BAYES k( jx) = L(xj )h( ) g1(x) = Pxi+ 1 e =[ =(n +1)] n P i=1 xi+ [ (n+ 1= )]Pxi+ :
Ta nhận thấy hàm mật độ phân phối hậu nghiệm là một dạng hàm Gamma với =
n P i=1
xi+ và = =(n + 1). Ta nhận thấy rằng hàm mật độ xác suất hậu nghiệm phản
ánh cả thông tin tiên nghiệm ( ; ) và thông tin mẫu n P i=1
xi.
A2. Ước lượng điểm Bayes
Cho mẫu X = (X1; X2; : : : ; Xn) nhận giá trị trong không gian mẫu (xét không gian đo -hữu hạn ( ; A; n); n = : : : - tích độ đo n lần), trong đó Xi là các biến ngẫu nhiên độc lập có cùng hàm mật độ f(xi; ) = f (xi) = dFXi
d (giả sử dFXi ) phụ thuộc vào tham số ta coi như là biến ngẫu nhiên nhận giá trị thuộc không gian tham số (tham ẩn) (xét không gian đo -hữu hạn ( ; C; )), giả sử F thì có hàm mật độ là (u) = dFd :
Đối với bài toán ước lượng điểm ta cần xây dựng thống kê ước lượng giá trị của qua mẫu X thu được bằng quan trắc:
b=T(X) = T(X1; X2; : : : ; Xn);
trong đóT thuộc một lớp ánh xạ Borel nào đó. Thống kêT xây dựng sao chobthỏa mãn các tính chất tốt như (tiệm cận) vững, (tiệm cận) không lệch E(b) = .
Nếu kèm theo sự tổn thất khi có sự sai lệch giữa ước lượng b và giá trị thực sự của thì cần phải đảm bảo sự thiệt hại này là tối thiểu. Tổn thất (thiệt hại hay rủi ro) của ước lượngbứng với thống kê T là kì vọng
r(T) = E(w[ ;b]) = RE[w( ; T(x))jX=x] n(dx) = R R w(u; T(x1; : : : ; xn)) n Q k=1 f(xk; u) (u) (du) n(dx)
(giả sử áp dụng được định lý Fubini khi tách tích phân) trong đó hàm đo được nguyên dươngw(x; y) gọi là hàm tổn thất.
Chúng ta cần xây dựng thống kê T để
r(T)!min
T :
Giả sử tồn tại T là nghiệm của bài tốn tối ưu trên thì b=T (X1; X2; : : : ; Xn) gọi là ước lượng Bayes cho tham ẩn :
Giả sử Xi là biến ngẫu nhiên thực 1 chiều và giả sử có tổn thất bình phươngw(x; y) = C(x y)2 với C > 0. Khi đó ta cần giải quyết bài toán biến phân
CR R
(u T(x1; : : : ; xn))2
n Q k=1 (adsbygoogle = window.adsbygoogle || []).push({});
f(xk; u) (u) (du) n(dx)!min
PHỤ LỤC A. CƠ SỞ LÝ THUYẾT THỐNG KÊ BAYES
Điều kiện cực trị là biến phân bậc nhất r(T) = 0 hay
2CR R (u T(x1; : : : ; xn))2 n Q k=1 f(xk; u) (u) (du) T(x1; : : : ; xn) n(dx) = 0 hay R (u T(x1; : : : ; xn))2 n Q k=1 f(xk; u) (u) (du) = 0: Từ đó rút ra nghiệm : T (X1; : : : ; Xn) = E( jX) = R u n Q k=1 f(xk; u) (u) (du) R Qn k=1 f(xk; a) (a) (da) ;
cũng dễ thấy biến phân bậc hai 2r(T)jT=T >0 nên thỏa mãn điều kiện cực tiểu.
Cho không gian mẫu và không gian tham số là R, với các khái niệm được trình bày trong phần A1, ta sẽ xây dựng ước lượng Bayes tương ứng. Một cách tương tự, ta có
ước lượng Bayes là một hàm T(x) sao cho EfL[ ; T(x)]jX = xg đạt cực tiểu, trong đó