Hàm lặp ngẫu nhiên

Một phần của tài liệu ước lượng bayes trong mô hình hồi qui phi tuyến hữu hạn chiều (Trang 27 - 54)

h(f) =Lf = sup

x6=y2S0

[f(x); f(y)]= (x; y) 1:

Rõ ràng, f ! Lf là một hàm Borel trên H0: Nếu Lf < 1 khi đó f với tính chất hàm Lipschitz trênS0 có thể mở rộng trên tồn bộ tập S. Ngược lại nếu f là Lipschitz trên S,

nó sẽ thu hẹp trên S0 với Lf =Kf: Vì thế, hàm Lipschitz f trên S có thể được xác định như hàm f trên S0 với Lf <1;và Kf =Lf:Điều này đã chứng minh được (i) và (ii):

Chứng minh (iii), ta coi S0 là tập hợp fs1; s2; ::g. Ta cố định số tự nhiên n; đặt Bn;1

là quả cầu tâm s1 bán kính 1=n. Tương tự như vậy ta xây dựng các tập hợp Bn;i sao cho chúng rời nhau. Như vậy ứng với mỗin; ta có dãy Bn;i rời nhau và

1

[ i=1

Bn;j =S:

Cho ánh xạ f :S ! S, đặt fn(s) = f(sj) với s 2 Bn;j. Khi đó fn là xấp xỉ của f bởi

f(sj) trong lận cận của sj. Ánh xạ (f; s)!fn(s) là ánh xạ Borel từH0 S vào S:và trên

tập hợp các hàm Lipschitz f, các dãy ánh xạ này hội tụ từng điểm đến ánh xạ tương ứng.

Metric cảm sinh một metric Prokhorov trên các độ đo xác suất được ký hiệu là p được định nghĩa dưới đây (mặc dù metric Prokhorov đã được trình bày ở chương 1 nhưng để tiện sử dụng trong chương 2 ta định nghĩa lại một lần nữa).

Định nghĩa 2.1. Nếu P; Q là các độ đo xác suất trên S, khi đó p(P; Q) là inf của

>0 sao cho

P(C)< Q(C ) + và Q(C)< P(C ) + ;

với mọi tập compact C S, trong đó C là tập hợp tất cả các điểm mà khoảng cách đến

C bé hơn :

Nhận xét :

(i) Rõ ràng, (P; Q) 1:

(ii) Cho metric Prokhorov như định nghĩa 2.1, với C khác nhau trên tất cả các tập Borel. Rõ ràng < đưa đến p . Khi đó, p . Ngược lại giả sử p < . Cố định một tập Borel B và " > 0 nhỏ:Tìm một tập compact C B với P(B) < P(C) +" và

Q(B)< Q(C) +". Khi đó

P(B) < P(C) +" < Q(C ) + +"

< Q(C+") + +" < Q(B +") + +"

và tương tự cho Q(B). Vì thế, p+" tức là p. Từ đó ta suy ra = p:

Định nghĩa 2.2. Một biến ngẫu nhiên U có phân phối đi đại số nếu có hằng số dương ; sao cho ProbfU > ug< =u với mọi u > 0. Điều kiện này vẫn được sử dụng

cho số dương lớn u nghĩa là ta choProbfU = 1g>0.

Bổ đề 2.2. Cho X; X0 là ánh xạ ngẫu nhiên vào S, với các phân phối ; 0. Nếu

Probf (X; X0) g < khi đó p( ; 0) trong đó là metric trên S; p là metric Prokhorov đươc cảm sinh trên các độ đo xác suất.

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN (adsbygoogle = window.adsbygoogle || []).push({});

Ta cố định một độ đo trên H. Giả sử rằng :

f !Kf có phân phối đi đại số tương ứng với độ đo : (2.1) Với điểm bất kỳ x0 2S, giả sử rằng :

f ! (f) = [f(x0); x0]có phân phối đi đại số tương ứng với độ đo : (2.2) Ta giả sử thêm điều kiện nữa :

Z H

logKf (df)<0; (2.3)

tích phân có thể nhận giá trị 1:

Bổ đề 2.3. Cho f ig là các biến ngẫu nhiên độc lập cùng phân phối và Probf i =

1g >0. Ta giả sử rằng có hằng số dương ; sao cho Probf i > #g < e # với mọi

# >0. Cho có cùng phân phối với i. Khi đó (i) 1 Ef g <1

(ii) Nếu clà số thực hữu hạn sao cho c > Ef g, có một hằng số dương, hữu hạnA và

r sao cho r <1 và Probf 1+:::+ n > ncg< Arn với mọi n = 1;2; :::Hằng số A và r phụ thuộc vào cvà quy luật phân phối của biến ngẫu nhiên , không phụ thuộc vào n.

Chứng minh.

Trường hợp 1: Giả sử rằng bị chặn dưới, khi đó (i) thỏa. Ta đi chứng minh (ii) Đầu tiên Efexp( )g<1 với 1< < . Tiếp theo ta đặtm=Ef g:

Cố định sao cho 0< < , cho jtj<1và =t . Khi đó j j< ;vì thế

2

2je 1 j e j j 1 j j;

ta thấy vế phải có giá trị kỳ vọng là hữu hạn. Kết quả là có các hằng số dương 0 và dsao cho

Efe g 1 +m +d 2 em +d 2;

với 0< < 0.

Ngoài ra ta suy ra được kết quả sau :

Efe g= 1 + m+O( 2) khi !0

Ta đặt

r ;c =e cEfe g

Ta có f =e x; nếu >0 thì f(EX)> E(f(X); áp dụng ta được:

c < Ef g )r ;c =e cEfe g< e E Efe g< e E eE = 1:

Áp dụng bất đẳng thức Markov ta có :

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN

Probf 1+:::+ n> ncg< Ef 1+:::+ ng

nc

nc nc = 1: (adsbygoogle = window.adsbygoogle || []).push({});

Đặt = (c m)=2d >0, ta tính được với r=r ;c =e (c m)2=4d. Do đó ta suy ra chọn được Ac = (rn) 1và r; khi đó

Probf 1+:::+ n> ncg< Acrn:

Nếu m c c0 = 2m+ 2d 0 thì c0 thay thế c: Ta hoàn thành chứng minh với trường hợp này.

Trường hợp 2: Cho 0i bị chặt cụt bởi i do một hằng số mà không phụ thuộc vào i:

Khi đó P i i

P i

0

i:Ta có thể chặt cụt i bởi c bằng i nếu i < c và bằng c nếu i > c:

Sau đó chứng minh tương tự trường hợp 1.

Cho dãy f fnglà dãy độc lập cùng phân phối xác định bởi độ đo . Cố địnhx2S , ta coi quá trình tiến bắt đầu từ x:

X0(x) = x; X1(x) =f1(x); X2(x) = (f2 f1)(x):::: Bổ để 2.4 : [Xn(x); Xn(y)] [ n Q j=1 Kfj] [Xn(x); Xn(y)]: Chứng minh.

Ta dùng quy nạp với n= 0 và n= 1 rõ ràng đúng. Từ đó ta suy ra

[fn+1(Xn(x)); fn+1(Xn(y))] Kfn+1 [Xn(x); Xn(y)]:

Bổ đề 2.5. Giả sử thỏa điều kiện (2:1)và (2:3). Nếu " > 0 là đủ nhỏ, có một hằng số dương, hữu hạn A và r <1và Probf n X i=1 logKfi > n"g< Arn;

với mọi n = 1;2; :::Hằng số A và r phụ thuộc vào " nhưng không phụ thuộc vào n:

Chứng minh.

Áp dụng bổ đề 2:3 với biến ngẫu nhiên i = logKfi:

Bổ đề 2.6. Giả sử thỏa điều kiện(2:1)và (2:3). Với " dương đủ nhỏ : loại trừ tập hợp ff1; :::; fng có xác suất bé hơn Arn thì ta có :

[Xn(x); Xn(y)] e n" (x; y);

với mọi x; y 2S và A; r phụ thuộc vào " không phụ thuộc vào n:

Chứng minh. Ta chú ý rằng : Probf n X i=1 logKfi > n"g= Prob eK > e n" =P(B)< Arn;

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN với K = n Q j=1 Kfj; B =ffiji= 1; :::; n;eK > e n"g. Áp dụng bổ đề 2:4 và 2:5, ta có kết quả cần chứng minh.

Các bổ đề trên nhằm mục đích chứng minh rằng q trình tiến X0(x) = x; X1(x) =

f1(x); X2(x) = (f2 f1)(x)::::có duy nhất một độ đo xác suất bất biến. Thật vậy giả sử gọi

và 0 là hai xác suất bất biến, khi đó ứng với ta chọn x và ứng với 0 ta chọn x0. Ta đặt Yn =Xn(x) và Yn0 = Xn(x0), theo bổ đề 2:6 ta có (Yn; Yn0) exp( n") (Y0; Y00) . Rõ ràng là khi n ! 1, thì luật phân phơí của Yn; Yn0 là trùng nhau tức là = 0:

Bổ đề 2.7.

(i) NếuU là biến ngẫu nhiên khơng âm và bị chặn trên, khi đóU có phân phối đi đại số.

(ii) Nếu U có phân phối đi đại số và c >0, khi đócU có phân phối đi đại số. (iii) Nếu U và V có phân phối đi đại số, thì U+V cũng có phân phối đi đại số (có thể những biến ngẫu nhiên này phụ thuộc).

Chứng minh.

(i) và (ii) hiển nhiên đúng. Đối với (iii) ta áp dụng bất đẳng thức : (adsbygoogle = window.adsbygoogle || []).push({});

ProbfU+V > tg ProbfU > t=2g+ ProbfV > t=2g

với t >0:Sau khi áp dụng định nghĩa và sau một số bước biến đổi ta có được kết quả. ProbfU > t=2g< u=(t=2) u ProbfV > t=2g< v=(t=2) v từ đó ta suy ra : ProbfU +V > tg< u=(t=2) u+ v=(t=2) v < max( u; v)[(2=t) u + (2=t) v] < 2 max( u; v)[(1=t)max( u; v) ]

Vậy (iii) đã được chứng minh.

Hệ quả 2.1. Giả sử thỏa điều kiện (2:1). Nếu điều kiện (2:2)đúng cho một x0 2 S cụ thể nào đó, khi đó(2:2)đúng với mọi x2S:Nói cách khác, có các hằng số dương ; sao cho

ff : [f(x0); x0]> ug< =u ;

với mọi u >0. Hằng số có thể phụ thuộc vào x0, nhưng thì khơng.

Việc chứng minh hệ quả 2:1 dựa vào bổ đề 2:7 và bất đẳng thức tam giác. Bổ đề 2.8. Cho f và g là ánh xạ từ S vào S, cho x2S. Khi đó

[(f g)(x); x] [f(x); x] +Kf [g(x); x]

Chứng minh.

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN

Theo bất đẳng thức tam giác ta có :

[(f g)(x); x] [f(x); x] + [(f g)(x); f(x)] [f(x); x] +Kf (g(x); x):

vì theo định nghĩa của Kf.

Hệ quả 2.2 : Chofgig là các ánh xạ từ S vàoS, cho x2S. Khi đó

[(g1 g2 ::: gm)(x); x] [g1(x); x] +Kg1 [g2(x); x] +Kg1Kg2 [g3(x); x] +:::

+Kg1Kg2:::Kgm 1 [gm(x); x]:

Chứng minh.

Áp dụng bổ đề 2:8 cho từng cặp gi; gi+1 ta được kết quả.

Sau đây là 2 kết quả quan trọng do Persi Diaconis và David Freedman trình bày trong bài báo nghiên cứu của hai ông. Nội dụng cụ thể được trình bày dưới đây.

Định lý 2.1. Cho là một độ đo xác suất trên không gian các hàm Lipschitz. Giả sử rằng điều kiện 2:1, 2:2 và2:3thỏa. Ta coi xích Markov trên S di chuyển theo độ đo . Gọi

Pn(x; dy)là luật phân phối của xích sau n lần chuyển bắt đầu từ x:

(i) Có duy nhất một phân phối xác suất bất biến .

(ii) Có một hằng số dương hữu hạn Ax và 0< r <1 sao cho

p[Pn(x; :); ] Axrn;

với mọi n= 1;2; ::: và x2S.

(iii) Hằng số r không phụ thuộc vào n hoặc x; hằng số Ax không phụ thuộc vào n và

Ax < a+b p(x; x0), trong đó0< a; b <1:

Mệnh đề 2.1. Giả sử điều kiện 2:1, 2:2 và 2:3 đều thỏa. Ta định nghĩa quá trình lùi fYn(x)glà Yn(x) = (f1 f2 ::: fn)(x): Khi đóYn(x)hội tụ tới giới hạn ngẫu nhiên không phụ thuộc vào điểm bắt đầu x:

Chứng minh. Sử dụng bổ đề 2.4 ta có: [Yn+m(x); Yn(x)] Kf1:::Kfn [(fn+1 fn+2 ::: fn+m)(x); x]: Tiếp tục sử dụng hệ quả 2.2 ta có: [Yn+m(x); Yn(x)] 1 X i=0 n+i Y j=1 Kfj ! [fn+i+1(x); x]:

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN (adsbygoogle = window.adsbygoogle || []).push({});

n+i Y j=1

Kfj e (n+i)"

với mọi n n0 và mọi i= 0;1; :::

Ta có các hằng số dương hữu hạn c0; c1; r0; r1 với r0 <1 và r1 <1 sao cho với mọi n0, với mọi n n0 và với mọim = 0;1; :::

[Yn+m(x); Yn(x)] rn1

bỏ đi tập có xác suất c0r0n0. Vì fYn(x)g là dãy Cauchy và vì thế sẽ hội tụ tới một giới hạn trong S ta gọi giới hạn đó là Y1:

Tiếp theo ta sẽ trình bày sự liên hệ giữa bài tốn ta đặt ra với định lý 2.1 đó là tìm điều kiện để quá trình tiến X0 =x0;X1 =f 1(x0); X2 = (f 2 f 1)(x0); :::có phân phối dừng. Ta

cóff g là họ hàm Lipschitz với chỉ số 2 , ta cần ánh xạ !f (x) là đo được ứng mỗi

x2S0. Khi đó !f là ánh xạ đo được từ vàoH, độ đo trên cảm sinh độ đo trên H

và trong phần 2:1 này ta luôn làm việc trên H: Persi Diaconis và David Freedman đã đưa ra định lý sau :

Định lý 2.2. Cho (S; ) là không gian metric đầy đủ, tách được. Cho ff : 2 g là họ hàm Lipschitz trênS và cho là một xác suất trên các . Giả sử rằng

Z K (d )<1, Z [f (x0); x0] (d )<1 với bất kỳx0 2S và Z logK (d )<1. (i) Q trình tiến Xn có duy nhất phân phối dừng .

(ii) Có một hằng số dương hữu hạn Ax và 0< r <1 sao cho

p[Pn(x; :); ] Axrn

với mọi n= 1;2; ::: và với mọi điểm bắt đầu x2S.

(iii) Hằng số r không phụ thuộc vào n hoặc x; hằng số Ax không phụ thuộc vào n và

Ax < a+b p(x; x0), trong đó0< a; b <1:

Mệnh đề 2.2. Giả sử điều kiện định lý 2:2 đều thỏa. Khi đó quá trình lùi fYn(x)g là

Yn(x) = (f1 f2 ::: fn)(x) hội tụ hầu chắc chắn tới giới hạn ngẫu nhiên. Giới hạn này có duy nhất phân bố dừng .

2.2 Moment hình học co

Cũng như phần 2.1 ta đặt (S; ) là không gian metric đầy đủ tách được với các tập Borel của S. Hệ thống lặp ngẫu nhiên trên không gian trạng tháiS được đinh là

Xn =f n(Xn 1); n2N;

trong đó ; n; n 2 N; là hai giá trị trên không gian đo được ; độc lập và cùng xác định phân phối biên F. Gọi hàm xác suất chuyển là

Q(x;B) =Ff :f(x; )2B

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN

trong đó x2S, tập BorelB S.

Trong phần 2.2, ta sẽ thiết lập sự hội tụ của Xntới dưới ý nghĩa moment hình học co. Ta sẽ định nghĩa moment hình học co như dưới đây.

Định nghĩa 2.3. Cho X00 s độc lập với X0 s và dãy ( k)k 1 và định nghĩa quá trình lặp tiến Xn(x) = f n f n 1 ::: f1(x). Vì thế ta coi Xn(X00) như là bản sao của

Xn(X0):Ta nóiXnlà moment hình học co nếu tồn tại >0; C =C( )và0< r=r( )<1

sao cho với mọi n2N; (adsbygoogle = window.adsbygoogle || []).push({});

Ef [Xn(X00); Xn(X0)]g Crn:

Ý nghĩa của moment hình học co là từ hai điểm xuất phát ban đầu độc lập nhau, quỹ đạo của Xn(X00)và Xn(X0)sẽ tiến tới gần nhau với tốc độ hội tụ là hàm mũ.

Điều kiện 1. Tồn tại y0 2S và >0 sao cho

I( ; y0) :=Ef [y0; f (y0)]g=R

[y0; f (y0)]Ffd g<1:

Điều kiện 2. Tồn tại x0 2S, >0; r( )2(0;1)và C( )>0sao cho

Ef [Xn(x); Xn(x0)]g C( )rn( ) (x; x0)

đúng với mọi x2S; n2N.

Chú ý. Ta có thể giả định 0< 1trong 2 điều kiện vì với mọi >1nào làm 2 điều kiện xảy ra thì đều đúng với mọi 1. Thật vậy, với mọi 2(0; ); choC( ) =C( ) = và r( ) =r( ) =

2(0;1)khi đó :

Ef [Xn(x); Xn(x0)]g (Ef [Xn(x); Xn(x0)]g) =

C( ) = [r( ) = ]n (x; x0):

Ta có q trình lặp lùi Zn(x) = f 1 f 2 ::: f n(x). Chú ý rằng với mọi x 2 S; Zn(x)=D Xn(x) tức là có cùng phân phối nhưng Zn lại hội tụ đến phân phối dừng còn Xn

hội tụ đến một biến ngẫu nhiên. Ta nói biến ngẫu nhiên Y có phân phối đi đại số nếu tồn tạiA; B >0 sao cho P(jYj> y)< A=yB với mọi y >0tương đương E(jYj )<1 với mọi >0.

Định lý 2.3. Giả sử điều kiện 1 thỏa,

E(logK ) =

Z

logK Ffd g<0; trong đó K = sup

x06=x

[f (x0); f (x)] (x0; x)

và K có phân phối đi đại số. Khi đó tồn tại duy nhất phân phối dừng cho Xn =

f n(Xn 1), n2N: Và Zn(x)!Z1 s . Giới hạn Z1 không phụ thuộc vào x:

Định lý 2.4. Giả sử điều kiện một và hai thỏa. Khi đó tồn tại một biến ngẫu nhiên

Z1 sao cho với mọi x 2 S; Zn(x) ! Z1 hầu chắc chắn. Giới hạn Z1 là ( 1; 2; : : :) đo được và không phụ thuộc vào x. Hơn thế nữa , với mọi n 2N;

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN

Ef [Zn(x); Z1]g Crn( );

trong đó C >0 phụ thuộc vào x; x0; y0 và , và0< r( )<1. Ngoài ra

Ef [Xn(X00); Xn(X0)]g Crn( );

với X00 s độc lập với X0 s . Chứng minh

Cho 0< <1thỏa mãn điều kiện 1 và 2, ta có (adsbygoogle = window.adsbygoogle || []).push({});

I( ; x0) (x0; y0) +I( ; y0) +Ef [f (x0); f (y0)]g<1:

Ta có

Ef [Zn+1(x0); Zn(x0)]g = E[Ef [Zn f n+1(x0); Zn(x0)]j n+1g]

C( )rn( )Ef [f n+1(x0); x0]g

C( )rn( )I( ; x0) =: n:

Cho (En) là một dãy các biến cố trong không gian xác suất, bổ đề Borel-Cantelli cho rằng nếu tổng các xác suất củaEn là hữu hạn tức là

1

X n=1

Prob(En)<1;

thì xác suất để chúng xảy ra vơ hạn là bằng không, nghĩa là

Prob( lim n!1supEn) = 0: Từ bổ đề Borel-Cantelli ta có Prob( [Zn+1(x0); Zn(x0)] 1 2 n ) 1 2 n. Vì 1=2n là khả tổng, Zn(x0)! Z1 hầu chắc chắn do không gian S là không gian đầy đủ. Rõ ràng là Z1

là ( 1; 2; :::) đo được. Theo bất đẳng thức tam giác ta có

Ef [Zn(x0); Z1]g E ( 1 P j=0 [Zn+1+j(x0); Zn+j(x0)] ) 1 P j=0 Ef [Zn+1+j(x0); Zn+j(x0)]g n 1 r( ): Cho C =C( )[I( ; x0)=(1 r( )) + (x; x0)]: Ta có Ef [Zn(x); Z1]g Ef [Zn(x0); Z1]g+Ef [Zn(x); Zn(x0)]g n 1 r( ) +C( )r n( ) (x; x0) =Crn( ):

CHƯƠNG 2. HÀM LẶP NGẪU NHIÊN

Vì Zn(x)!Z1 hầu chắc chắn nên với mọix2S, giới hạnVn = limm!1f 1+n f 2+n ::: f n+m(x)tồn tại hầu chắc chắn. Ta nhận raVn có phân phối xác địnhZ1 =Zn(Vn)s và Vn là độc lập với ( i)1 i n. Vì thế ta có Ef [Xn(X00); Xn(X0)]g Ef [Xn(X00); Xn(x0)]g+Ef [Xn(x0); Xn(X0)]g = 2Ef [Zn(Vn); Zn(x0)]g = 2Ef [Z1; Zn(x0)]g 2 n 1 r( ):

Vậy định lý đã được chứng minh xong.

Chú ý. VìK có phân phối đi đại số nên E(K )<1 với >0 đủ nhỏ. Vì

Một phần của tài liệu ước lượng bayes trong mô hình hồi qui phi tuyến hữu hạn chiều (Trang 27 - 54)