Giáo trình lý thuyết xác suất và thống kê toán chương 6: Sơ lược về quá trình ngẫu nhiên

≥ Tập hợp tất cả các giá trị có thể có mà các biến ngẫu nhiên Xt có thể nhận sẽ được gọi là kông gian các trạng thái.. Tóm lại: Một quá trình ngẫu nhiên là một hệ các biến ngẫu nhiên dùn

Chương 6 Sơ lược về quá trình ngẫu nhiên vμ xích

Markov

i khái niệm về quá trình ngẫu nhiên

Một quá trình ngẫu nhiên {X(t), t∈T} là một tập hợp các biến ngẫu nhiên X(t), có nghĩa là một t∈T thì X(t) là một biên ngẫu nhiên

Chỉ số t thường là chỉ thời gian và do đó ta coi X(t) như là trạng thái của quá trình thời gian t Chẳng hạn ta có thể coi X(t) là

a Tổng số khách hàng đã vào một siêu thị trong khoảng thời gian t

b Tổng số khách hàng bước vào một siêu thị ở thời điểm t

c Tổng số doanh thu của một siêu thị trong khoảng thời gian t

Tập hợp T được gọi là tập chỉ số của quá trình ngẫu nhiên được gọi là quá trình rời rạc theo thời gian

Nếu T là một khoảng đường thẳng thực thì quá trình ngẫu nhiên được gọi

là quá trình liên tục theo thời gian

Thí dụ:

a {Xn, n = 0, 1, 2, } là một quá trình ngẫu nhiên rời rạc với tập chỉ số

là những số nguyên không âm

b {X(t), t 0} là một quá trình ngẫu nhiên liên tục theo thời gian mà tập chỉ số là các số thực không âm

≥

Tập hợp tất cả các giá trị có thể có mà các biến ngẫu nhiên X(t) có thể nhận sẽ được gọi là kông gian các trạng thái

Tóm lại: Một quá trình ngẫu nhiên là một hệ các biến ngẫu nhiên dùng mô tả

sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu)

ii khái niệm về xích markov

1 Chú ý mở đầu

Sau đây ta dẽ xét một quá trình ngẫu nhiên {Xn, n = 0, 1, 2, } với một tập hữu hạn hoặc đếm được các giá trị có thể có

Nếu không có chú thích gì khác thì tập hợp các giá trị có thể có của quá trình (không gian các trạng thái) cũng sẽ được ký hiệu là tập hợp các số nguyên không âm {0,1, 2, 3, }

Nếu Xn=i thì ta bảo tại thời điểm n quá trình ở voà trạng thái i

2 Định nghĩa về xích Markov

Quá trình ngẫu nhiên {Xn} được gọi là một xích Markov nếu

) i X j X ( P ) i X , i X , , i X , i X

j

X

(

P n+1 = 0 = 0 1 = 1 nư1 = nư1 n = n = n+1 = n =

với mọi (n, i, j, i0 , i1, , in-1)

ý nghĩa: Điều kiện nêu trong định nghĩa muốn nói rằng xác suất có điều kiện

của trạng thái tương lai Xn+1 khi biết các trạng thái quá khứ X0, Xρ, , Xn-1

và trạng thái hiện tại Xn thì chỉ phụ thuộc vào trạng thái hiện tại Xn mà thôi

Ghi chú 1: Nếu ký hiệu P(Xn+1=j⎮Xn=i) là Pij thì Pij gọi là xác suất truyền một bước Do các suất của mọi biến cố đều không âm và do quá trình thể nào cũng phải ở voà một trạng thái nào đó nên ta có:

Pij 0, i, j ≥ ≥0 ; P ( i , , )

j ij 1 0 1 0 = = ∑∞ = Nếu ký hiệu P(1) là ma trận các xác suất truyền một bước thì ta có: P(1) =

P P P

P P P

P P P i i i 0 1 2 12 11 10 02 01 00 Ghi chú 2: Tương tự nếu ký hiệu Pij(n) là xác suất truyền n bước thì ta có: Pij(n) =P(Xm+n=j⎮Xm=i) Ghi chú 3: Nếu Pij không phụ thuộc vào n, tức là P(Xn+1=j⎮Xn=i)= P(X1=j⎮X0=i) (n = 0, 1, 2, )

thì ta có một quá trình dừng

Thí dụ: Giả sử việc ngày mai trời mưa hay nắng chủ phụ thuộc vào tình hình thời tiết của ngày hôm nay, chứ không phụ thuộc vào thời tiết của những ngày qua

Giả sử nếu hôm nay trời vẫn mưa là α, còn nếu hôm nay trời không mưa thì xác suất để ngày mai trời mưa là β

Nếu ta ký hiệu trạng thái 0 là “trời mưa” và trạng thái 1 là “trời không mưa” thì ta có thể mô tả tình hình thời tiết như vừa nêu trên bằng một xích Markov có 2 trạng thái với ma trận của xác suất truyền một bước như sau:

P(1) =

β

ư β

α

ư α

= 1

1

11 10

01 00

P P

P P

iii phương trình chapmam-kolmogorov

Ta đã biết các xác suất truyền 1 bước là Pij và các xác suất truyền n bước

là Pij(n) và các xác suất truyền n bước là Pij(n) từ đó ta có phương trình sau:

Pij(n) = P P(nkj-m)

o k

(m) ik

∑∞

=

ý nghĩa: Pik(m)Pkj(n-m) là xác suất có điều kiện để xuất phát từ trạng thái i quá trình sẽ chuyển đến trạng thái k sau m bước, rồi chuyển đến trạng thái j sau (n-m) bước Từ đó nếu lấy tổng các xác suất có điều kiện này với mọi trạng thái k có thể có (k=0, 1, 2, ) ta sẽ được xác suất Pij(n)

Chứng minh

Thật vậy, ta có

P P

P

) m n ( kj k

) m ( ik

m m

n k

m n

k

n )

n ( ij

) i X k X ( P ) i X , k X , j X ( P

) i X k X , j X ( P

) i X j X ( P

ư

∞

=

∞

=

∞

=

∑

∑

∑

=

=

=

=

=

=

=

=

=

=

=

=

=

=

0

0 0

0

0 0

0

Nhận xét: Nếu m=1 và n=2 thì ta có

=

= 0 2

k kj ik )

(

ij P P

P

Đây là phần tử ở vị trị (i, j) của ma trận P(2) Vậy P(2)= P(2)

Bằng quy nạp ta suy ra:

P(n)= P(n)

Từ đó phương trình Chapman-Kolmogorov có thể viết dưới dạng ma trận như sau:

PP (n)= P(m)P(n-m)

Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết với 2 trạng thái và đã được mô hình hoá bởi xích Markov đã nêu trên Giả sử α= 0,7 và β = 0,4 Khi đó hãy tính xác suất để trời sẽ mưa 4 ngày liền, biết rằng hôm nay trời mưa

Bài giải Như vậy ta có ma trận các xác suất chuyển một bước là

P=

6 0 4 0

3 0 7 0

, ,

, ,

Từ đó

P(2)=P(2)=

6 0 4 0

3 0 7 0 , ,

, ,

6 0 4 0

3 0 7 0 , ,

, ,

=

48 0 52 0

39 0 61 0

, ,

, ,

(4)=P(4)=

48 0 52 0

39 0 61 0

, ,

, ,

48 0 52 0

39 0 61 0

, ,

, ,

=

4332 0 5668 0

4251 0 5749 0

, ,

, ,

Vậy xác suất phải tìm là P00=0,5749

Ghi chú: Từ đầu chương tới đây ta đều xét các xác suất có điều kiện, chẳng

hạn Pij(n) là xác suất để ở thời điểm n hệ ở vào trạng thái j biết rằng ở thời

điểm o hệ ở vào trạng thái i

Nếu như muốn xác định P(Xn=j) tức là muốn tính xác suất không điều kiện để trong tương lai (ở bước n) hệ sẽ ở vào trạng thái j thì ta có:

) i X ( P P

) i X ( P ) i X j X ( P )

j X ( P

i

) n ( ij

n i

n

=

=

=

=

=

=

=

∑

∑

∞

=

∞

=

0 0

0 0

0

Nh− vậy nếu biết đ−ợc quy luật phân phối xác suất của trạng thái ban

đầu, chẳng hạn

P(X0= i)=αi với i 0 và ≥ 1

0

= α

∑∞

= i i

Thì ta có thể tính đ−ợc:

∑∞

= α

=

=

0 i

i ) n ( ij

n j ) P X

( P

Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết Nếu đầu ngày hôm nay ta tính đ−ợc xác suất trời m−a là α0= 0,4 và xác suất trời không m−a là α1= 0,6 thì xác suất để sau 3 hôm nữa trời không m−a sẽ là

P(X4 =0) = (0,4)P00(4) + (0,6)P10(4) Trong ma trận truyền PP

(4) tính ở trên ta đã có P00(4) = 0,5749; P10(4) = 0,5668

Vì thế P(X4 =0) = (0,4)(0,5749) + (0,6)(0,5668) = 0,5700

iV phân loại các trạng thái của xích markov

1.Trạng thái j gọi là đến đ−ợc từ trạng thái i (ký hiệu i→j) nếu Pij(n) >0 với n nào đó (n 0) ≥

Nh− vậy j đến đ−ợc từ i khi và chỉ khi xuất phát từ i thể nào quá trình cũng có lúc sẽ ở vào trạng thái j

Thật vậy nếu j không đến đ−ợc từ i, tức là Pij(n) =0 với mọi n thì ta suy ra: P(Quá trình thể nào cũng ở vào trạng thái j ⎢Xuất phát từ i) =

∑

=

∞

=

∞

=

=

=

=

≤

=

=

0

) n ( ij 0

n

0 n

i n n

P )

i X j P(X )

i X j X ( (

P U

2 Hai trạng thái i và j gọi là thông nhau (ký hiệu i↔j) nếu (i→j, j ← i) Như vậy bất kỳ một trạng thái nào cũng thông nhau với bản thân nó vì

Pii(0)=P(X0= i⎥ X0=i) = 1

Ta thấy mối quan hệ thông nhau có 3 tính chất sau:

a Trạng thái i thông nhau với trạng thái i với mọi i ≥0

b Nếu i thông nhau với j thì j cũng thông nhau với i

c Nếu i thông nhau với k và k thông nhau với j thì i thông với j

Tính chất a và b được suy ra từ định nghĩa, còn tính chất bắc cầu c có thể chứng minh như sau:

Do i↔k và k ↔j nên có tồn tại 2 số nguyên n và m sao cho

Pikn) >0 và Pkj(m) >0

Từ đó theo phương trình Chapman- Kolmogorov ta có:

0 0

;

∑∞

=

+ = ≥ i

) m ( kj ) n ( ik ) m ( kj ) n ( ik )

m n (

ij P P P P P

Như vậy j đến được từ i

Chứng minh tương tự, ta thấy i đến được từ j Do đó tính chất c được chứng minh

3 Hai trạng thái thông nhau sẽ thuộc cùng một lớp Từ các tính chất trên ta thấy hai lớp trạng thái nào đó hoặc là trùng nhau hoặc rời nhau Như vậy không gian các trạng thái được phân hoạch thành các lớp tương ứng

Nếu không gian các trạng thái chỉ gồm một lớp tương đương thì xích Markov gọi là không thu gọn được Khi đó mọi trạng thái đều thông nhau với nhau

4 Ta ký hiệu fịj là xác suất để quá trình bắt đầu từ trạng thái i sẽ lại quay lại

i ở một lúc nào đó:

Khi đó:

a Nếu fij =1 thì trạng thái i gọi là trạng thái lặp

b Nếu fij<1 thì trạng thái i gọi là trạng thái quá độ

Ta thấy nếu trạng thái i là lắp thì nó sẽ được quay lại vô hạn lần Sở dĩ như vậy vì quá trình Markov không phụ thuộc vào quá khứ nên khi ở trạng thái i thì xác suất quay lại trạng thái i bằng 1 và cứ như vậy nên i sẽ được quay lại vô hạn lần

Nếu i là trạng thái quá độ thì người ta chứng minh được rằng kỳ vọng của

số lần mà quá trình quay lại i là một số hữu hạn

ii f

ư 1 1

Trên đây là một số giới thiệu sơ lược về quá trình ngẫu nhiên và xích Markov Mặc dù xuất phát từ lý thuyết xác suất, nhưng giờ đây lý thuyết về các quá trình ngẫu nhiên đã trở thành một ngành phát triển độc lập và có nhiều ứng dụng trong các lĩnh vực tự nhiên và xã hội