Chuỗi markov trong thời gian liên tục
BÀI TẬP LỚN MÔN: QUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG CHUỖI MARKOV TRONG THỜI GIAN LIÊN TỤC !"# $%& ' ()*)*$+,- !./ $01 /234566 7808 Lời nói đầu! $/, 1,9 !:+;<!= ! $&+ ! >? $@ >?A!BC9 !>D9E>!+@>9 FG HI!BC9F>?+,: !BC9***%J1>? CKHLM/N+>?= !71?O*PCQR>9!R >S;2>ME !JC;#: － ) !!BCT U?;1>CHVC!+, $! CW+: $X XW $%Y $?Z>;S !CCZ [:C\1M]>!+,D>CCN+>?= !71?O*? $ $/ !K[R !R 1, !:+C!+, $1M]>!+,D>/>!JC!/ !C^ $?Z>N+1 >G;>#N+>?= !71?O _C!+ $9C^ $ !"CCN+>?= !H !－>`!1,N+ >?= !!ab!YC _? $* #[:>/>=;!c+C!+d71?O>? $>!e$1 M >YC9>/MR+ /,C+ $ CZb;2>CC!O![f,[\:CCO! R;9[. !Mg9CCN+>?= !C\1C!+d 71?O>? $>!e$1 M >YC*7PC%A@,9>/MR+O!< $>?C!["hCCC >!D+H_>; $?i $Hj !@ ["hC !:+gOD C\1C<$/CCQS [c?k> O ! $!R;9/M"h $OD >!WCC\1>/MR+;1 $MSHj["hC!/ >!R !K 9 Ql]C!!K * !_;H ! >!JC!R 'T!_;64V 2 Tài liệu tham khảo: (?Q1QM>,1 %;1?1QMXH1 %)>C!1H>C(?CXHHXHm >! 3 >!1 1HH(1b+MH )M%X'n+>?= ! $&+ ! /W $%Y $T)(V bbMX%)>C!1H>C(?CXHHXH3oC!X XX?*6pqrq455r Chuỗi Markov trong thời gian liên tục I. Định nghĩa và tính chất cơ bản Định nghĩa 4.1: Cho p t ,t≥0 là một chuỗi các ma trận ngẫu nhiên trên một khoảng không gian rời rạc S.một quá trình ngẫu nhiên (x t ) t ≥0 được gọi là (thời gian đồng nhất) chuỗi Markov liên tục theo thời gian với không gian trạng thái S và xác suất chuyển tiếp p s yz , nếu: Với mỗi n∈ 0 N ,0≤t1 ≤t2≤….≤ n t , s≥0 và x,y,y 1 ,….,y n , z ∈ S (với điều kiện xác xuất có điều kiện cũng được xác định). ở đây p x là quy luật của (x t ) t ≥0 khi bắt đầu tại x. Lưu ý rằng trong các thiết lập thời gian liên tục, chúng ta cần một chuỗi gồm toàn bộ ma trận ngẫu nhiên.Mô tả các trạng thái của chuỗi chứ không phải là quá trình chuyển đổi một ma trận duy nhất như trong quá trình rời rạc. Tương tự bổ đề (1.3) gọi là phương trình Chapman-Kolmogorov Theo luật của xác xuất tổng và(4.1) có nghĩa là p t thỏa mãn : (cho tất cả các s, t ≥ 0 và x,y∈S) Nói cách khác, chuỗi p t .t≥0 là một nửa nhóm các ma trận ngẫu nhiên. Việc phân bố đường đi của (x t ) t ≥0 không phải là duy nhất được xác định bởi hữu hạn chiều. phân phối (4.1) có thể được chứng minh bằng ví dụ sau: cho 3 Và Trong đó U là phân bố đều trên khoảng thời gian đơn vị [0,1] ,nói. Cả hai quá trình đã chuyển tiếp xác suất. Để có tính duy nhất của ta cần độ phẳng của những đường dẫn. II. Quá trình bước nhảy (Jump processes) n+>?= ! !s,M/;2>>f $M#bN+1 >?B $C\1C!+d71?OM >YC >!X>!e$1 *!k $C_>!cC !"C!+d71?O?e?SC>!X>!e$1 # HIMf >lC!WCb!G C!1 $&+ ! ! 5 't Uu>v5'w > xw 5 y/$s[. !( z u 5 v5yt69>WCM/C!+dC!"1 $1, M@b>WC%C!+,c ?1O!{>!e[c;Q1 [f+C\1 _TH1+[_C!k $>1Hj>=; !c+CCN+>?= !O!< $b!sM/>?"e $!hb /,V*>] !C!Z>71?OT|*6VC_ $!E1' )J>!D+!Y>C\1>!+2C>] ! !#T|*4VM/[PC[c;? $QR>C\1b!G b!I;^9>WCM/0T 5 Vt}zbTN z VC!;2>HI5~N z •€[:+ /,C!>!Z,RC >Db>!XzG,%J $;2>C!+d71OM >YC>!X>!e$1 *0/ !• $>!W ;/>1Cf • ?S $>!b!Y>!+2C/>‚MRQ"#C !s,N z 9z∈)ƒ • 72>Q"#C !s,T $&+ ! V;1>?@ To z, V z9, ∈ „* * c[K $s >1Hj$s[. ! n+1 !R|*4/|*m _?i $…† !s,QZ>O‡M/;2>Q"#C !s,>!JCHJ†† TzX;Q/>@b|*41V[I#;2>>!JC>D !• $$s[. ! /,O!< $;Z>>] ! >l $N+>**;2>;<>sQi $Me _:;2>Q"#C !s,TN9ˆV‰N+>?= !M/ !" H1+'O!QŠ>[f+N+>?= !>S.>?]z 4 − ‹>SzC!;2>}zbTN z V‰b!G b!I>!e$1 5 − !s,>#,#zCH+Z>o z, − & L,C!;2>}zbTN , V3b!G QI>!e$1 6 T[2CM@bC\1 5 V − !s,>#„#zCH+Z>o ,„ − Œ Giải thích 4.2TC H>?+C> |*4V !T V •5 M/;2>C!+d71?O>!e$1 ?e?SC#;1>?@ ˆ* #T 5 9 6 ŒVtT, 6 9, 6 Œ**VC! 9 •5M/[2CM@b}zbT, V‰b!G b!IQD $&+ ! *>!D>M@b w > t, 9 D+) ~>•) Ž6 9 7/) 5 't5/) Ž6 't) Ž 9 •5*H1+[_Tz > V >•5 ["hCC!M/1TN9ˆVN+>?= ! !s,/T, V •5 tTwH V •5 ["hC$BM/C!+d71?O !k $* III. Nổ (Explosion) wG,%J $:N+>?= ! !s,TN9ˆV‰zC[. !["e $%& Tz > V >•5 #;B>•5 C!•O!>l $>!e$1 Š;$•Cf !D>CC>?YC>!e$1 9>WCM/ D+ +, ! 9 D+>‚MRC!+,c [lN z b!>>?c !1 !C!_ $9H1+[_•C_ >!cM/!•+!S * Định nghĩa 4.3T%X‘ > |*mV D+••€9N+>?= ! !s,Hj["hCC!M/HjQA $ l/•$BM/>!e $1 QA $ l* D+( z u•t€yt6>#;Bz∈)9H1+[_N+>?= !Tz > V >•5 ["hC $BM/>!"e $z+, Bổ đề 4.4TMX1;;1|*|1V' TN9ˆVN+>?= ! !s,M/>!"e $z+, D+/C!• D+ !W $ ; !*[f+ > zX; z’> C!+d 71?O !k $ T, V •5 M/ zC [. !9 $!E1M/$s[. ![I#;dz“)C!k $>1C_ I#;2>HIT, z V •5 ∈H ℕ 5 >? $>?"e $!hb /,C!k $>1Cf b!s >!Z,?i $ 5 I#CCb!f Cf >!D>C\1|*”N+1 H>>!Z, F[_ I#CC!"# $O!CMf [f+> N+1 H>>!Z, •?/ $C!k $>1C_>!c$s[. !N , z v5#;B *Qi $CC![2CM@b$s [. !C\1 9>1C_ F[_ G,$e!–,[cTz > V >•5 C_;2>Q"#C !s,;1>?@ ˆ*M+@>C\1zCH+Z> >l $* ? $[_$') 5 —˜596™["hC[. ! $!E1M/ #5~$~69C!k $>1C_ šCCb!f [f+C\1Qi $>?W $C!k $>1QD>?i $ F[_ 6 Hệ quả 4.5 TC?MM1?,V' TN9ˆV‰Q"#C !s,N+>?= !>!"e $z+, O!;2>>? $CC[:+OR H1+>lC!WC i. )+b z ∈ H N z •€ƒ ii. ›)›•€ƒ iii. T V •5 M/;2>C!+d71?O[. !O‡ i $C!W $*?•?/ $9[:+OR VQ1!/;V9 D+V>lC!WC*>!= I#VM"+g?i $ 0zM/HIM"h $CCC!+,D >SzQLT V •5 *. !Mg6*œ9(zu0zt€yt 69 D+zM/;2>>?S $>!>!"e $z+, C\1T V •5 * Ví dụ • n+>?= !H !>!+f >k,*C!b!’boz9zŽ6t6#;Bz∈)/Nzt x α *H1+[_ F[_9C!+dQA $ l D+•v69>? $O![_ _M/[:+[P 9 D+5••~6 • n+>?= ! !.b!G $1M> ‰ž1>H * cC!N z tŸz9z∈/ )1+[_ 7 :+ /,C!•?1?i $N+>?= ! !.b!G >!e$1 M >YC$1M> 3 ž1>H >!"e $z+, n+>?= !>I>!c+T>!X; ;1Mb?CXHHV '_;2>/,D+>IO!< $C_ >? $)/>!D>M@b s ∆ 't)˜∪u y*CN+>?= !>I>!c+T t x ∆ w¡>V>•5H1+O! CC[2 $MJCTN9ˆV["hCzG,%J $ !">? C!>Z>CsCC>!e[c;>?"#C• /["hC>!D>M@b>"K $["K $#>!e[c;H1+Y lT!Zb>!YQ $/ >?S $>![<O!$M/O!+ $!E1>?1 $V*N+>?= !>I>!c+M/ !"@,;2> C!+d71?O>!e$1 M >YC>? s ∆ #zCH+I>C!+,c [l* )J!aH !H1+Y lT?X1M1U>X?XzbMH V '!1,=[cN+>?= !!Zb >!Y>? $ $!E1>?1 $¢C!k $>1C_>!c>!1,[lN+>?= !TN9ˆV‰Q"#C !s, H1C!(zu mod t X “)yt6_;B>•5*>S>!e[c;Y lC!b!’b>D >?= ! $1,M@b>WC>?LMSQD )#zCH+Z>„M/;2>HI[zCH+Z>>? H*>SY { >Db>!XMPbMS;2>CC![2CM@b>!\>YC /,T>"K $>JV*%& [D N+>?= !T mod t X V>•5M/;2>C!+d71?O>!e$1 M >YC>? )C_b!G b!Ib!Y >!+2C/* IV. Ngược và phương pháp chuyển tiếp Cb!"K $>?= ! $"hC/C!+,c >DbM/4!R>!I $b!"K $>?= ! b!G C!b > '? Ž 5 —˜596™*g>"L $H1+[_M/9 _C!+ $>] !>1 HC\1CCb > z, M/ O!_O!£ >? $O!>] !> C\1 z xy dt dp M/>"K $[I%-%/ $*[PC>] !C\1 71?O*!• $[PC[c;<CA $ !{ C!W1T$f !"V>Z>CsCC>!< $ > :N+>?= !C!+,c [l `1 !_;Tb > V > •5 Chuẩn đoán'b!G >]C! t p $f >t5*Q{N+1>C[2 $C\1Q"#C !s,TH H !Q/>@bL|*mVC!k $>1C_T !#MS$s[. !ˆ zz ∈u596yV / 8 0 N+1 >#;1>?@ nOD>!hb#N/ˆT!PCb!>[R <CA $C\1 Q"#C !s,T t x V•5V["hC[. ! $!E1 Lưu ý:N/ˆC_>!c["hC!ab!YC>šn* $/?1>š 0 xy p t xy δ *!k $>1 C_>!cD>MS|*r/|*p>? $;1>?@ Og!R+M/ I#CCb!"K $>?= ! $"hCC!k $b!G !\,CCN+>?= !>D !_1 C![D >!e[c;>Ž%>[I#z %> $!E1M/ a $ !Z>|*œC!>!Z,?i $ I#CCb!"K $>?= !C!+,c >Db9C!k $b!G !\,N+>?= !>D !_1>#>!e[c;>Ž%>[I#z > *[:+ /,;1 $MS !"@,C!k $>1; $[h Định lý 4.6-phương trình ngược(Q1COž1?%XN+1> HV cTb > V > ≥5 M/N+>?= !C!+,c [l `1 !_;1TN9ˆVC\1N+>?= !Q"#C !s,* #;z9,∈)/>•5*[PCQR> 9 0"+g#;d,∈)CI[. !9T|*65VM/;2>!R>!I $b!"K $>?= !b!G C! t u 't t y p *C!k $>1HjC_["hC;2>b!"K $>?= !O!< $>!c>C!?e# b > z, *H`%Y $>!+2C>] !C\1Tz > V >•5 >1C_ +G >!\>!XCC[:+[_ 0/;2>!/;M >YCOc>šO! n+1T|*6V9>l $[f+> >D >5M/!¤5C!;dO!•+!S 9>? $O! >l $!hb>!W4C_>!c["hC !{!K >A,gQi $CC!C!B CC>!D>M@bO[\ M# * F[_9C< $>!WC>]C!HIC!HIM"h $O!CQR> I#>] !M >YCC\1CC%& z+Z>Lb!]1Q b!sC\1T|*6mV$BMS T|*64V Định lý 4.7:phương trình chuyển tiếp(forward equations) !Tb > V >•5 N+>?= !C!+,c [l `1 !_;C\11TN9ˆV‰N+>?= !Q"#C !s,/$s[. ! 10 [...]... xem giải thích của chúng ta như là tiệm cận tỉ lệ của thời gian mà chuỗi gửi đến trong x Lưu ý rằng là tiệm cận tỉ lệ của thời gian tại x trong khi 1/qx là thời gian dự kiến dùng x mỗi lần Các định lý sau đây là thời gian liên tục tương tự như định lý 1.25 (Bài tập 4.6 như là một bằng chứng) Định lý 4.10 (Định lý hội tụ) Cho (Yn) n≥0 là một chuỗi Markov tối giản và giả sử rằng (P t) t≥0 Có phân phối... mãn (4.16) Ví dụ K2 : Đây là một ví dụ chuỗi Markov thời gian liên tục với trạng thái không gian S = N0 mà có một trạng thái ổn định nhưng không bảo thủ Ở trạng thái chuỗi ở một phân phối thời gian trước đó nó nhảy tới i – 1 Khi bắt đầu tại 0 quá trình chờ đợi một phân phối thời gian trước đó nó nhảy tới , sau đó ngay lập tức “nổ tung” và cuối cùng đã hấp thụ trong 1 Một quá trình có thể được xây dựng... cao dự kiến của bước nhảy là (M+1)/2 trong khi thời gian quay trở lại dự kiến sẽ là (Với ) Để vượt qua tới giới hạn chúng ta cần một sự thay thế công thức của (), t ≥ 0 Hãy Tại đây () thời gian của quá trình nhảy tại 0 trước t Chúng ta mô tả một sự tìm hiểu của quá trình nhảy bắt đầu từ 0 tại thời gian t (thời gian thực) bởi -Thời gian , -Chiều cao của nó , -Thời gian của nó Để làm được vì vậy hãy... rằng: Thiết lập 14 Có thể dễ dàng xác định rằng xác suất chuyển đổi của chuỗi Markov (Xt), t ≥ 0 thỏa mãn (4.16) Ví dụ K1 Quá trình thứ 2 là một ví dụ của một chuỗi Markov liên tục theo thời gian với một trạng thái tức thời Các không gian trạng thái là sự thiết lập một lần nữa của các số nguyên không âm N 0 Tại quá trình nằm ở một thời gian phân phối Exp(i 2), sau đó nhảy tới 0 Để hiểu tốt hơn cái gì đã... stationarity ergodicity được giới thiệu trong chương 1 có một phần mở rộng tự nhiên để thiết lập thời gian liên tục Ngoài ra, các kết quả chính mở rộng ra thời gian liên tục với chỉ một thay đổi nhỏ Định nghĩa 4.8: Một phép xác suất trên S được gọi là một phân phối tĩnh (Pt) với t ≥ 0, nếu với mọi t ≥ 0 Định lý 4.9: Giả sử rằng chuỗi nhúng (Yn) với n≥0 là bất khả quy và liên tục trả về với phân phối tĩnh v... xy 12 VI Tiêu chuẩn hóa quá trình chuyển đổi bán-nhóm Trong phần 4.2 chúng tôi đã thu được một bán nhóm của ma trận ngẫu nhiên bắt đầu từ mô tả sự động của một chuỗi Markov thời gian liên tục về tỉ lệ chuyển tiếp q và sự nhảy ma trận J Và bây giờ chúng ta chuyển đến những thứ xung quanh, bắt đầu từ chuỗi của ma trận ngẫu nhiên Định nghĩa 4.11 Một chuỗi các ma trận ngẫu nhiên Pt, t0 được gọi là một quá... x S được gọi là -Tức thời, nếu -Ổn định, nếu Một trạng thái ổn định của x S được gọi là Bảo thủ, nếu Và ngược lại là không bảo thủ 13 Bây giờ chúng ta sẽ thảo luận về ý nghĩa xác suất của các trạng thái tức thời và không bảo thủ Lưu ý rằng, ngay lập tức, quá trình này đã nhày từ trạng thái tức thời x (khi Qxx ) Tuy nhiên, bằng cách giả định liên tục iii), chuỗi tại x cho thời gian nhỏ h với xác suất... không gian cơ bản) Tìm hiểu vị trí thứ I bắt đầu tại thời gian thực Và kết thúc tại Quá trình nhảy () với t ≥ 0 có thể được phục hồi từ quá trình điểm thông qua Khác so với công thức ở 4.2, quá trình điểm Poisson xây dựng ở trên cũng làm việc cho : Với là một quá trình điểm Poisson trên với cường độ như trong (4.21) Xác định At được thời gian đi từ 0 cho tới hiện tại khi (lần đầu tiên) dành thời gian. .. trả lời là có Thuộc tính i) và ii) cũng như (4.16) là dễ dàng để xác minh trong khi sự liên tục iii) có tham gia một chút Chúng ta sẽ không đưa ra một bằng chứng đầy đủ ở đây Tuy nhiên, kết quả tiếp theo sẽ cho một số bằng chứng mạnh mẽ Bổ đề 4.14 Với tất cả (với tất cả các t đủ nhỏ) Khẳng định (4.24) nói rằng tỉ lệ của thời gian trước t rằng quá trình dành ra khỏi trạng thái 0 có xu hướng tới 0 như...Với mọi x,y ∈S và t≥0 (pt)t≥o là liên tục khả vi với • • • Ghi chú Khẳng định về 4.7 tổ chức mà không có giả đinh (4.12) (xem[10],pp.100-103 là một bằng chứng) Điều kiện (4.14) có thể được hiểu là chuỗi có giới hạn tốc độ dự kiến tại thời điểm Với mỗi x∈S cố định,(4.15) là hệ thống phương trình vi phân cho v t := p t x Bằng chứng.với . XX?*6pqrq455r Chuỗi Markov trong thời gian liên tục I. Định nghĩa và tính chất cơ bản Định nghĩa 4.1: Cho p t ,t≥0 là một chuỗi các ma trận ngẫu nhiên trên một khoảng không gian rời rạc S.một. rời rạc S.một quá trình ngẫu nhiên (x t ) t ≥0 được gọi là (thời gian đồng nhất) chuỗi Markov liên tục theo thời gian với không gian trạng thái S và xác suất chuyển tiếp p s yz , nếu: Với mỗi. rằng trong các thiết lập thời gian liên tục, chúng ta cần một chuỗi gồm toàn bộ ma trận ngẫu nhiên.Mô tả các trạng thái của chuỗi chứ không phải là quá trình chuyển đổi một ma trận duy nhất như trong