QUÁ TRÌNH NGẪU NHIÊN XÍCH MARKOV

Nội dung trình bàyQuá trình ngẫu nhiên  Biến ngẫu nhiên  Quá trình ngẫu nhiên  Ví dụ một bài toán mô tả bằng quá trình ngẫu nhiên  Phân loại quá trình ngẫu nhiên  Ma trận xác suất c

QUÁ TRÌNH NGẪU NHIÊN

XÍCH MARKOV

-Thành viên thực hiện:

 Nguyễn Chí Thanh

 Trần Thái Sơn

Lương Nhựt Quang

Lâm Duy Quý

Nguyễn Hồng Hoan Sang

Nội dung trình bày

Quá trình ngẫu nhiên

 Biến ngẫu nhiên

 Quá trình ngẫu nhiên

 Ví dụ một bài toán mô tả bằng quá trình ngẫu nhiên

 Phân loại quá trình ngẫu nhiên

 Ma trận xác suất chuyển 1 bước

 Ma trận xác suất chuyển n bước

 Véctơ phân phối xác suất của hệ tại thời điểm n

 Phân phối dừng

 Ví dụ giải một bài toán áp dụng mô hình xích Markov

 Phân loại trạng thái xích Markov

QUÁ TRÌNH NGẪU NHIÊN

Quá trình ngẫu nhiên

Dữ liệu ngẫu nhiên:

 Không biểu diễn được bằng các hàm toán học chặt chẽ

 Biểu diễn sử dụng các công cụ xác suất

 Ví dụ: Đặt X(t) là kết quả của lần gieo một con xúc sắc tại thời điểm t Vì X(t) là ngẫu nhiên nên

ta không thể xác định chính xác được giá trị X(t) bao nhiêu Thay vào đó, ta có:

Quá trình ngẫu nhiên

 Định nghĩa 1: Xét một hệ thống vật lý (hay một hệ thống sinh thái, hệ thống dịch vụ,… ) tiến triển theo thời gian

 Gọi X(t) là trạng thái của hệ tại thời điểm t Như vậy ứng với mỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả trạng thái của hệ

 Quá trình { X(t), t T ∈ } được gọi là một quá trình ngẫu nhiên Chỉ số t thường chỉ thời gian.

 Tóm lại: Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu).

 Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái Không gian trạng thái được kí hiệu là E

 Ví dụ, khi gieo con xúc sắc, X(t) chỉ có thể nhận giá trị là một trong 6 mặt của con xúc sắc ∀t, thì E = {1, 2, 3, 4, 5, 6}

Bài toán được mô tả bằng quá trình ngẫu nhiên

 Ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của

hệ thống siêu thị này) Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% vào B và 30% vào C

 Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn

ở siêu thị C thì X(0) = 3 Lúc đó, X(0) có bảng phân phối xác suất sau:

 Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn,

tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân phối xác suất tương ứng

 Ta xây dựng được quá trình { X(0), X(1), X(2), …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên.

Phân loại quá trình ngẫu nhiên

Quá trình ngẫu nhiên { X(t), t T }: ∈

 Nếu T là tập con của tập số nguyên (T ) thì quá trình

{ X(t), t T } ∈ được gọi là quá trình rời rạc theo thời gian Trường hợp này ta ký hiệu Xn thay cho X(t) và gọi là một dãy ngẫu nhiên.

 Theo ví dụ 1, ta cho t là các tháng 0, 1,… : tập T = { 0, 1, 2, 3, 4, 5, …} rời rạc

 Nếu T = [0;) thì {X(t); t ∈ T} được gọi là quá trình liên tục theo thời gian



Tóm lược

theo thời gian (là chủ yếu).

 Kí hiệu: { X(t), t T } ∈

 Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái Kí hiệu là E



XÍCH MARKOV

Ứng dụng của Markov

 Dùng để mô hình hóa nhiều quá trình trong Lý thuyết hàng đợi và Thống kê

 Dùng rất nhiều trong Nhận dạng tiếng nói và trong Tin sinh học, chẳng hạn để mã hóa vùng/dự đoán gene

 PageRank của một trang web dùng bởi Google được định nghĩa bằng một xích Markov

 Chuỗi Markov cũng có nhiều ứng dụng trong mô hình sinh học, đặc biệt là trong tiến trình dân số - một tiến trình tương tụ như tiến trình sinh học

 Trong ngành quản lý đất đai: người ta còn ứng dụng GIS, RS và chuỗi Markov vào phân tích sự thay đổi sử dụng đất (land use change), từ đó dự báo được tình hình sử dụng đất trong giai đoạn kế tiếp.

Quá khứ Thời điểm hiện tại (s) Thời điểm trong tương

lai (t)

Tính Markov

 Xét quá trình ngẫu nhiên (hệ) { X(t), t T } có không gian trạng thái ∈ E.

 P( X(t) = j | X(s) = i ) gọi là hàm xác suất chuyển từ thời điểm s đến thời điểm t

 Đặt p(s, i, t, j) = P( X(t) = j | X(s) = i ) Nếu p(s, i, t, j) đúng với => tính Markov

 Tóm lại: Một hệ được gọi là có tính Markov nếu trạng thái của hệ trong tương lai chỉ phụ thuộc vào trạng thái của hệ ở hiện tại và độc lập với quá khứ

Tính Markov

 Dân số nước ta hiện tại là 90 triệu người

 Trong tương lai, dân số nước ta phát triển chỉ phụ thuộc vào dân số hiện tại mà độc lập với quá khứ

 Vậy, sự phát triển của dân số nước ta có tính Markov

Quá trình ngẫu nhiên

Quá trình Markov

• Có tập không gian trạng thái rời rạc

Xích Markov Quá trình Markov

 Quá trình { X(t), t T } có tính Markov gọi là quá trình Markov ∈

Xích Markov

 Định nghĩa 1: Xét quá trình Markov { X(t), t T ∈ } có không gian trạng thái E Nếu E đánh số được (đếm được) thì

quá trình

{ X(t), t T ∈ } được gọi là xích Markov

 Lúc này, có thể kí hiệu E = {1, 2, 3, }, tức là các trạng thái được đánh số

 Nếu tập các giá trị t đếm được (chẳng hạn, t = 0, 1, 2, ) thì ta có xích Markov với thời gian rời rạc, hay xích Markov

rời rạc

 Nếu t ∈ [0, ∞ ) thì ta có xích Markov với thời gian liên tục, hay xích Markov liên tục

 Nếu xác suất chuyển chỉ phụ thuộc vào (t – s) , tức là:

p (s, i, t, j) = p (s+h, i, t+h, j) , s, i, t, j, h 0 thì ta nói hệ là thuần nhất theo thời gian.



Bài toán ứng dụng Xích Markov

 Xem lại ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1,

2, 3 của hệ thống siêu thị này) Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% vào B và 30% vào C

 Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn

ở siêu thị C thì X(0) = 3 Lúc đó, X(0) có bảng phân phối xác suất sau:

 Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn,

tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân phối xác suất tương ứng

 Ta xây dựng được quá trình { X(t), t = {1, 2, …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên.

Bài toán ứng dụng Xích Markov

 Xác suất để một người khách, đã vào mua hàng ở siêu thị A tháng trước, vào lại A trong tháng sau luôn là 0,8 ; chuyển sang mua hàng ở B luôn là 0,1 và chuyển sang C luôn là 0,1

 Xác suất để một người khách, đã vào mua hàng ở siêu thị B tháng trước chuyển sang A luôn là 0,07 ; vào lại B luôn là 0,9

và chuyển sang C luôn là 0,03

 Xác suất để một người khách, đã vào siêu thị C tháng trước chuyển sang A luôn là 0,083 ; chuyển sang B luôn là 0,067 và

vào lại C luôn là 0,85

Bài toán ứng dụng Xích Markov

 Dùng mô hình xích Markov cho bài toán trên sẽ trả lời được cho chúng ta các câu hỏi:

 Tỉ lệ phần trăm số khách hàng vào các siêu thị A (hoặc B, hoặc C) trong tháng thứ 5 (tháng bất kì) là bao nhiêu?

 Tỉ lệ phần trăm số khách hàng vào các siêu thị A, B, C sẽ thay đổi cho đến khi nào thì ổn định?

 Dùng như thế nào?

Xích Markov

Về phương diện toán học, ta có thể định nghĩa như sau:

 Định nghĩa: Ta nói rằng X(t) có tính Markov nếu:

P { X(tn+1} = j | X(t0) = i0, … , X(tn-1) = in-1, X(tn) = i}

= P{X(tn+1} = j | X(tn) = i}

với t0 < t1 < … < tn < tn+1 < … và i0 , i1 , … , in-1 , i, j E∈

 Ta xem tn là hiện tại, tn+1 là tương lai và t0 , t1 , … , tn-1 là quá khứ Vì thế, biểu thức trên chính là tính Markov của X(t).

 Ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của

hệ thống siêu thị này) Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% v ào B và 30% vào C

Xích Markov

 Các giá trị: t0 , t1…, tn+1 là các tháng 1,2,3…

 Không gian trạng thái E: các giá trị 1,2,3 vị trí các siêu thị.

 X(tn) là các đại lượng ngẫu nhiêu.

 P là ma trận xắc suất chuyển : sẽ xét & minh họa trong mục sau.

Xích Markov

 Ma trận xác suất chuyển một bước.

 Định nghĩa: Giả sử (Xt) , t = 0, 1, 2, … là xích Markov rời rạc và thuần nhất Khi đó tính Markov và tính thuần nhất của (Xt)

có nghĩa là

pij = P { X(tn+1} = j | X(t0) = i0, … , X(tn-1) = in-1, X(tn) = i}

 Ý nghĩa: pij là xác suất có điều kiện để hệ tại thời điểm tn ( hiện tại) ở trạng thái i chuyển sang trạng thái j tại thới điểm

tn+1.

 Xét lại ví dụ 1, thêm các dữ liệu sau.

 Xác suất để một người khách, đã vào mua hàng ở siêu thị A(1) tháng trước, vào lại A trong tháng sau luôn là 0,8 ; chuyển sang mua hàng ở B (2)luôn là 0,1 và chuyển sang C(3) luôn là 0,1

 Xác suất để một người khách, đã vào mua hàng ở siêu thị B tháng trước chuyển sang A luôn là 0,07 ; vào lại B luôn là 0,9

và chuyển sang C luôn là 0,03

 Xác suất để một người khách, đã vào siêu thị C tháng trước chuyển sang A luôn là 0,083 ; chuyển sang B luôn là 0,067 và vào lại C luôn là 0,85

Xích Markov

 =0.8 Nghĩa là sau 1 tháng cửa hàng A(đặt là 1) khách hàng tiếp tục vào lại A là 0.8.

 =0.1 Nghĩa là sau 1 tháng khách hàng của hàng A(đặt là 1) chuyển sang cửa hàng B(đặt là 2) là 0.1

 =0.1 Nghĩa là sau 1 tháng khách hàng của hàng A(đặt là 1) chuyển sang cửa hàng C(đặt là 3) là 0.1

 Làm tương tự ta được: =0.07, =0.9, = 0.03, =0.083, =0.067, =0.85 Vậy ta được ma trận chuyển như sau:

= = 3x3



Xích Markov

 Ma trận xác suất chuyển sau n bước.

 Định nghĩa: Ma trận xác suất chuyển n bước có được định nghĩa theo công thức.

= P(Xn+m =j|Xm=i)=P(Xn =j|X0 =i) Ma trận P(n) = (với i,j E)∊

 Ý nghĩa: là xác suất có điều kiện để hệ tại thời điểm ban đầu ở trạng thái i, sau n bước chuyển sang trạng thái j.

 Cách 2:



1 2 3

1

1

1 k k

k p p

∑

=

=

Xích Markov

 Phân phối ban đầu.

 Định nghĩa: Giả sử tại thời điểm t = n, X(n) cũng có thể nhận một trong N giá trị 1, 2,…, N với các xác suất tương ứng là

π1(n), π2(n),… πN(n) (với π1(n)+ π2(n)+… πN(n) = 1) thì vectơ ∏(n) = [π1(n), π2(n),… πN(n)] được gọi là vectơ phân

phối tại thời điểm t = n Công thức tổng quát như sau ∏(n) = =P(Xn =j); n=0,1,2 ; j ∊

 Với n = 0 ta có vectơ phân phối ban đầu ∏(0) = [π1(0), π2(0),… πN(0)]

Xích Markov

 Xét lại ví dụ 1: Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng

ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn ở siêu thị C thì X(0) = 3 Lúc đó, X(0) có bảng phân phối xác suất sau:

0,3] được gọi là véctơ phân phối xác suất tại thời điểm t = 0 hay véc tơ phân phối ban đầu.

03 , 0 9 , 0 07 , 0

1 , 0 1

, 0 8

, 0

x 2900 , 0 4901 , 0 2199 , 0

x )1()

2(

Xích Markov

• Tính ergodic: Xích Markov được gọi là tính ergodic theo nghĩa sau: tồn tại giới hạn ∏ j = pnij không phụ thuộc vào i sao cho:

∏i > 0, j ϵ E , = 1.

• Giả sử P = [pij] là ma trận xác suất chuyển của xích Markov (Xn) có không gian trạng thái hữu hạn E={1,2,…,N}.

 Nếu P chính quy theo nghĩa sau: tồn tại n0 sao cho >0 thì tồn tại các số ∏ 1,…, ∏ n sao cho ∏ j > 0, = 1 và mỗi j ϵ E thì = ∏j

 Ngược lại , nếu tồn tại các số ∏1,…, ∏n thỏa mãn các điều kiện

∏j >0, = 1 và với mỗi j ϵ E, = 1 thì sẽ tồn tại n0 thỏa mãn

minij >0 , tức là mà trận chính quy.

 Các số ∏ 1,…, ∏ n là nghiệm của hệ phương trình ∏ j = , j ϵ E và đó là nghiệm duy nhất thỏa mãn điều kiện ∏ j > 0 , Vj ϵ E , = 1 nếu ma trận P

là chính quy.



Xích Markov

 Xét lại ví dụ 1: Để dự đoán sự phân chia thị trường trong tương lai sẽ cân bằng như thế nào ta tìm phân phối dừng Xét ma trận:

= Theo định lý ergodic, ta có ma trận trên là chính quý vì >0

Vậy ta có phương trình sau j = , vậy ta có hệ phương

trình sau.



Xích Markov

Xích Markov

Phân loại trạng thái xích Markov

 Trạng thái liên thông: Ta nói rằng trạng thái j đạt được từ trạng thái i nếu tồn tại n>=0 sao cho pij (n) >0 Ký hiệu

i->j Hai trạng thái được gọi là liên thông với nhau nếu i-i->j và j->i Và kí hiệu là i<-i->j.

Phân loại trạng thái xích Markov

Ví dụ: Cho xích Markov với ma trận xác suất chuyển:

Phân loại trạng thái xích Markov

 Trạng thái hồi quy & không hồi quy.

 Mở đầu: Giả sử (Xn) là xích Markov Xét trạng thái cố định iϵ E, ta đặt fij(n) =P{ Xn = j, X1 ≠j,…, Xn ≠j/ X0 =i}, jϵ E.

 Ý nghĩa: fij(n ) là xác suất để hệ xuất phát từ i lần đầu tiên chuyển sang trạng thái j tại thời điểm n Và fii(n) là xác suất để

hệ xuất phát từ i lần đầu tiên trở về i tại thời điểm n.

Phân loại trạng thái xích Markov

 Trạng thái hồi quy dương và trạng thái hồi quy không.

 Trong trường hợp i là hồi quy ta đặt µi = đó là thời gian trung bình để hệ trở lại i Trạng thái i là trạng thái dươi nếu µi

< ∞, trạng thái i là trạng thái không nếu µi = ∞.

 Ý nghĩa: Trạng thái i là trạng thái dương có nghĩa là thời gian chờ đợi để hệ xuất phát từ i trở về i là hữu hạn,trong khi đó

thời gian nay bằng ∞ nếu i là trạng thái 0.



Phân loại trạng thái xích Markov

 Tiêu chuẩn hồi quy và không hồi quy.

 Trạng thái i là hồi quy khi và chỉ khi = ∞ và i không hồi quy khi và chỉ khi ∞

 Nếu i ->j và hồi quy thì j->i và j cũng hồi quy.

 Nếu i<->j và j hồi quy nếu fij=1

 Ví dụ: Cho xích Markov với không gian trạng thái E={0,1,2,3} VÀ ma trận xắc suất chuyển.



Phân loại trạng thái xích Markov

Giải

 Xét trạng thái 2 Theo định lý trên ta cần tính , ta tính được =1/4, = (1/4)2 , , = (1/4)n Do đó ta có = 1/4 + (1/4)2 + + (1/4)n = 1/4/(1-1/4)=1/3 < ∞, suy ra 2 là trạng thái không hồi quy.

 Xét trạng thái 3: Theo định lý trên ta cần tính ta có thể tinhd dược =1, = 1 , , = 1, do đó ta có.

= 1+1+ +1=∞ , suy ra 3 là trạng thái hồi quy.



TRÂN TRỌNG CẢM ƠN!

Ví dụ

 Ví dụ về t không phải là thời gian:

 Xét quá trình chơi bài trong 1 ngày của anh A tại sòng bài:

 Trong ngày, anh A có thể chơi n ván bài.

 Tại ván bài t nào đó nào đó thì kết quả của người chơi là ngẫu nhiên: thắng hoặc thua

 Do đó, ta dùng X(t) là biến ngẫu nhiên mô tả tình trạng của người đó tại ván bài t

 Và t ở đây là chỉ số của ván bài, t {1, 2, …, n}.



Tính Markov

 Định nghĩa: Giả thiết ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý hoặc sinh thái nào đó:

 Kí hiệu X(t) là vị trí của hệ tại thời điểm t

 Tập hợp các vị trí có thể có của hệ được gọi là không gian trạng thái Kí hiệu E

 Giả sử trước thời điểm s hệ ở trạng thái nào đó Còn tại thời điểm s (hiện tại) hệ có trạng thái i

 Ta cần biết tại thời điểm t trong tương lai (t >s) hệ có trạng thái j với xác suất là bao nhiêu?

 Nếu xác suất này chỉ phụ thuộc vào s, i, t, j , có nghĩa là sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc

lập với quá khứ , đó là tính Markov