Quỏ trỡnh X t t( ); T được gọi là quỏ trỡnh Markov nếu:
Với mọi thời điểm t1t2 ....tn, với mọi giỏ trị a a1, ,....,2 an cho trước, với mọi thời điểm ttn và với mọi a ta cú
( ) ( )1 1,..., ( )n n ( ) ( )n n
P X t a X t a X t a P X t a X t a . (4.5)
Nghĩa là qui luật phõn bố xỏc suất trong tương lai chỉ phụ thuộc hiện tại và độc lập với quỏ
khứ. Núi cỏch khỏc quỏ trỡnh Markov mụ tả cỏc hệ khụng cú trớ nhớ (memoryless). Với mọi ts; với mọi tập giỏ trị A và giỏ trị a ta ký hiệu
( , ; , ) ( ) ( )
p s a t A P X t A X s a (4.6)
và gọi là hàm xỏc suất chuyển từ thời điểm s đến thời điểm t.
Như vậy cụng thức (4.5) được viết lại
( ) ( )1 1,..., ( )n n ( , ; , )n n
P X t a X t a X t a p t a t A , trong đú A ,a. (4.7)
Quỏ trỡnh Markov với khụng gian trạng thỏi rời rạc được gọi là chuỗi Markov (hay xớch
Markov, Markov chains). Chuỗi Markov với thời gian rời rạc và thuần nhất được xột trong
mục tiếp theo.
Quy luật phõn bố xỏc suất của biến ngẫu nhiờn rời rạc được xột qua hàm khối lượng xỏc suất
( ) ,
X
p x P X x x ; vỡ vậy tớnh chất Markov – cụng thức (4.5) đối với chuỗi
Markov X nn; 0,1,2,... với thời gian rời rạc được viết lại như sau
n 1 0 0, 1 1,..., n n 1 n
P X j X i X i X i P X j X i , i i0 1, ,..., ,i j E. (4.8) f. Quỏ trỡnh dừng (stationary)
Xột quỏ trỡnh ngẫu nhiờn X t t( ); T cú thời gian T , , hoặc .
Núi một cỏch khỏi quỏt một quỏ trỡnh ngẫu nhiờn là quỏ trỡnh dừng nếu cỏc tớnh chất thống kờ của quỏ trỡnh khụng phụ thuộc thời gian. Cỏc tớnh chất thống kờ của quỏ trỡnh được xỏc định
bởi cỏc hàm phõn bố đồng thời của quỏ trỡnh tại cỏc thời điểm. Tựy theo mức độ khụng phụ
thuộc thời gian của cỏc biến ngẫu nhiờn của quỏ trỡnh tại cỏc thời điểm ta cú cỏc mức độ dừng
khỏc nhau.
Quỏ trỡnh dừng bậc nhất nếu: với mọi h, với mọi t1Thai biến ngẫu nhiờn
1( ) ( )
X t và X t(1h)
cú cựng quy luật phõn bố xỏc suất.
Như vậy quỏ trỡnh dừng bậc nhất cú quy luật phõn bố xỏc suất tại mọi thời điểm là như nhau. Do đú quỏ trỡnh dừng bậc nhất cú hàm trung bỡnh là hàm hằng E ( )X t const.
Quỏ trỡnh dừng bậc hai nếu: với mọi h, với mọi t t1 2, Thai vộc tơ ngẫu nhiờn X t( ), ( )1 X t2 và X t(1h X t), (2 h)
Như vậy X t( ), ( )1 X t2 và X(0), (X t2t1) cú cựngquy luật phõn bố xỏc suất. Núi
cỏch khỏc hàm phõn bố xỏc suất đồng thời của quỏ trỡnh dừng bậc hai khụng phụ thuộc thời điểm t t1 2, T mà chỉ phụ thuộc khoảng cỏch giữa hai thời điểm là t2t1.
Trong chương trỡnh Xỏc suất Thống kờ ta đó biết rằng nếu FX Y, ( , )x y là hàm phõn bố
xỏc suất đồng thời của hai biến ngẫu nhiờn X Y, thỡ ta cú thể xỏc định hàm phõn bố xỏc suất
thành phần theo cụng thức sau , , ( ) ( , ) lim ( , ) X X Y y X Y F x F x F x y và Y( ) X Y, ( , ) lim X Y, ( , ) x F y F y F x y .
Do đú quỏ trỡnh dừng bậc hai cũng là quỏ trỡnh dừng bậc nhất. Hơn nữa
E ( )X t const
E X t X t( ) ( ) chỉ phụ thuộc .
Dựa vào kết quả này, ta mở rộng khỏi niệm dừng bậc hai theo nghĩa rộng