D d~ (n) (0) (I) (n)
1.5.1. Dfnh nghia va cac khai ni~m cd ban
Ta xet qua trlnh ng~u nhien voi thoi gian lien tt;Ic {X(t), t;;::: 0} nh~n gia tri trong t~p h<;1p E c z+ cac s6 nguyen khong am.
Dfnh nghia 1 Qua trlnh {X(t), t;::: 0} du<;5c gQi la xkh Markov voi thoi gian lien tvc, ne'u Vs > u;::: 0, Vt > 0 vli Vi, j, k E E thl
P{X(t+s)= j I X(s)=i,X(u)=k} =P{X(t+s):;:: jl X(s)=i} (1.24) N6i each khac, xkh Markov voi thoi gian lien tt;tc la qua trlnh ng~u nhien c6
. .
tinh chfft Markov, pharr ph6i c6 di~u ki<%n cua tuong lai X(t + s) khi cho bie't hi<%n t~i X(s) va qua khu X(u), 0::; u. < s chi pht;t thu<)c vao hi~n t~i va d<)c l~p voi qua khu, Ne'u them vao d6, xac xufft chuygn P{X(t+s)=j!X(s)~i}=pu(t)
Pij(t) = P{X(t) = j I X(O) = i} , Vt;;:: 0, Vi,j e E, trong d6 ta quy U'dc trong d6 ta quy U'dc
Pii(O) = O,i ={~ ne'u i = j
ne'u i :;t:j
T~p h<;Jp E dtt<;Jc gQi la khong gian tr:;mg thai ciia xich.
(1.25)
Sau day chung ta chi xet cac xich Markov vdi thai gian lien tt;tc va thu~n
nha't, rna ta se gQi Hit la xich Markov lien tt;J.C va th~~n nha't.
Djnh nghia 2. Qua trlnh ngftu nhien {X(t), t;;:: 0} nh~n gia tri trong t~p h<;Jp
E c z+ dU'<;JC gQi Ia xich Markov lien tt;J.C va thu~n nha't, ne'u tl;li m6i thai di€m n6
a m9t trC}.ng thai i nao d6 va tho a man hai diSu ki~n sau
a) Khmlng thai gian Ti qua trlnh htu lC].i tre].ng thai i trttdc khi chuy€n sang trC].ng thai khac c6 phan pho'i mfi vdi trung blnh 1/A.j. Cac khmlng thai gian cho
Ti la cac bie'n ngftu nhien d(>c l~p.
b) Khi qua trlnh roi khoi trC].ng thai i n6 chuy€n ngay l~p tll'c sang trC].ng thai J tie'p theo vdi xac sua't Pij nao d6 rna
Pii = 0 ' LPiJ = 1 ' Vi E E
j¢i
Theo dinh nghia nay tham so' ~;;:: 0 dtt<;Jc gQi la cttong d9 chuy€n khoi trC].ng thai i. Ta d~t A.ij = AiPij;;:: 0 (i :;t: j) va gQi d6 la cttong d(> chuy€n (ngay l~p tll'c) tu trC].ng thai i sang trC}.ng thai j.
Ta c6 Ai = A.i LPiJ = L"-i Pij = LAiJ (1.26)
j¢i j¢i j¢i
~· . . "
pij = _JL= A. ij I ( 2:A.!i) . Trd lC].i vdi xac sua't chuyen
pij(t) = P{X(t + s) = j I X(s) = i} , (i, j E E)
trong dinh nghia thu nha't, ta c6 mo'i quan h~ ch~t che va phu hqp voi cac gia tri
Aj, Pij· Aij trong dinh nghia thu hai.