TÌM HIỂU về XÍCH MARKOV và ỨNG DỤNG

Trong chương này trình bày các định nghĩa cơ bản và kết quả quantrọng như: tính Markov, xác suất chuyển, phương trình Chapman-Kolmogorov, phân phối dừng, định lí ergodic.. Chẳng hạn, nếu

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

LỜI CẢM ƠN

Trong quá trình nghiên cứu và thực hiện khóa luận, với sự cố gắng củabản thân cùng với sự hướng dẫn và giúp đỡ nhiệt tình của các thày cô giáo vàcác bạn sinh viên, em đã hoàn thành khóa luận này Em xin bày tỏ lòng biết

ơn tới các thày, các cô công tác tại Khoa Toán Trường Đại học sư phạm HàNội 2 và các Thày cô đã trực tiếp giảng dạy, truyền đạt cho em những kinhnghiệm quý báu về chuyên môn cũng như kinh nghiệm nghiên cứu khoa họctrong thời gian qua Em xin được gửi lời cảm ơn chân thành tới gia đình, bạn

bè đã luôn bên em, cổ vũ, động viên, giúp đỡ em trong suốt quá trình họctập và thực hiện khóa luận tốt nghiệp

Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến thày giáo, TS Trần MinhTước, người đã tận tình hướng dẫn để em có thể hoàn thành khóa luận này

Hà Nội, Ngày 15 tháng 05 năm 2014

Sinh viên

Trần Thị Thư

LỜI CAM ĐOAN

Tên em là Trần Thị Thư, là sinh viên đại học khóa 2010-2014, lớp K36A

sư phạm Toán, khoa Toán, trường Đại Học Sư Phạm Hà Nội 2 Em xin camđoan đề tài " Tìm hiểu về xích Markov và ứng dụng" là kết quả nghiên cứu

và thu thập của riêng em, không trùng lặp với bất kì kết quả nào đã đượccông bố Nội dung trong khóa luận này là do em thực hiện dưới sự hướngdẫn trực tiếp của thày Trần Minh Tước Mọi tham khảo dùng trong báo cáonày đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểmcông bố Nếu không có gì trung thực trong luận văn, em xin hoàn toàn chịutrách nhiệm trước hội đồng khoa học

Hà Nội, Ngày 15 tháng 05 năm 2014

Sinh viên

Trần Thị Thư

Mục lục

Lời mở đầu 3

Chương 1 Tổng quan về xích Markov 5

1.1 Định nghĩa và ví dụ 5

1.1.1 Định nghĩa 5

1.1.2 Ví dụ 6

1.2 Xích Markov rời rạc và thuần nhất 8

1.2.1 Ma trận xác suất chuyển 8

1.2.2 Phân phối ban đầu 10

1.3 Xích Markov có hữu hạn trạng thái 12

1.3.1 Xích có hai trạng thái 12

1.3.2 Định lý ergodic 13

1.3.3 Phân phối dừng 14

1.3.4 Phân phối giới hạn và phân phối ergodic 16

Chương 2 Một số mô hình xích Markov 20

2.1 Mô hình trò chơi 20

2.2 Mô hình phân chia thị trường 27

2.3 Mô hình phục vụ khách hàng 31

Kết luận 33

Tài liệu tham khảo 34

LỜI MỞ ĐẦU

Xác suất Thống kê là lĩnh vực toán ứng dụng, nó đòi hỏi một cơ sở toánhọc sâu sắc Ngày nay các mô hình xác suất đã thực sự được ứng dụng rộngrãi trong khoa học tự nhiên cũng như khoa học xã hội Đầu thế kỷ XX,A.A.Markov (14/ 6/ 1856-20/ 7/ 1922)- nhà Toán học và vật lý nổi tiếngngười Nga đã đưa ra một mô hình toán học để mô tả chuyển động của cácphân tử chất lỏng trong một bình kín Về sau mô hình này được phát triển

và sử dụng trong nhiều lĩnh vực khác như cơ học, sinh học, y học, kinhtế,v.v và được mang tên là: Quá trình Markov

Trong những năm gần đây, xích Markov được ứng dụng rất nhiều trongthương nghiệp, tin học, viễn thông, v.v và là một môn học bắt buộc đốivới sinh viên của nhiều trường đại học Vậy nên, tìm hiểu về xích Markovđang là một vấn đề ngày càng trở nên quan trọng và được nhiều người quantâm

Với những lí do trên cùng với lòng say mê nghiên cứu cùng sự giúp đỡtận tình của thày giáo, TS.Trần Minh Tước, em đã chọn đề tài : ” Tìm hiểu

về xích Markov và ứng dụng”

Nội dung khóa luận bao gồm 2 phần sau:

• Chương 1: Tổng quan về xích Markov

Trong chương này trình bày các định nghĩa cơ bản và kết quả quantrọng như: tính Markov, xác suất chuyển, phương trình Chapman-Kolmogorov, phân phối dừng, định lí ergodic

• Chương 2: Một số mô hình xích Markov

Trình bày một số mô hình ứng dụng quan trọng của xích Markov vàothực tiễn gồm mô hình trò chơi, mô hình phân chia thị trường và môhình phục vụ khách hàng

Tuy đã có nhiều cố gắng nhưng do thời gian thực hiện khóa luận khôngnhiều, kiến thức còn hạn chế nên khi làm khóa luận không tránh khỏi nhữnghạn chế và sai sót Em rất mong nhận được sự góp ý và xây dựng của quý

thầy cô và bạn đọc Xin chân thành cảm ơn!

Hà Nội, Ngày 15 tháng 05 năm 2014

Sinh viên

Trần Thị Thư

t trong tương lai (t > s) hệ ở trạng thái j với xác suất là bao nhiêu? Nếu xác

suất này chỉ phụ thuộc vào s,t, i, j thì điều này có nghĩa là: sự tiến triển của

hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ Đó

là tính Markov Hệ có tính chất này được gọi là quá trình Markov

Chẳng hạn, nếu gọi X (t) là dân số tại thời điểm t (trong tương lai) thì

có thể xem X (t) chỉ phụ thuộc vào dân số hiện tại và độc lập với quá khứ.Nói chung, các hệ (sinh thái, vật lý hoặc cơ học, v.v ) không có trí nhớ(memory) hoặc sức ỳ là những hệ có tính Markov

Ta kí hiệu E là tập gồm các giá trị của X (t) và gọi E là khộng gian trạngthái của X (t) Nếu X (t) có tính Markov và E đánh số được (đếm được) thì

X(t) được gọi là xích Markov Thêm vào đó, nếu t = 0, 1, 2, thì ta cóxích Markov với thời gian rời rạc, còn nếu t ∈ [0, ∞] thì ta có khái niệm xíchMarkov với thời gian liên tục

Về phương diện toán học, tính Markov có thể định nghĩa như sau:

Định nghĩa 1.1.1 Ta nói rằng X (t) có tính Markov nếu:

Nếu xác suất chuyển chỉ phụ thuộc vào (t − s), tức là: p(s, i,t, j) = p(s +

h, i,t + h, j) thì ta nói hệ (hay quá trình) là thuần nhất theo thời gian Trong

luận văn này, nếu không nói gì thêm thì ta chỉ xét xích Markov thuần nhất.

1.1.2 Ví dụ

Ví dụ 1.1.1 Cho X0, X1, , Xn, là dãy biến ngẫu nhiên rời rạc, độc lập,

Eklà tập các giá trị của Xk, Ek hữu hạn hay đếm được (k = 0, 1, 2, , n, ).

Còn trong Ví dụ 1.1.2, nếu cho η1, η2, , ηn, là dãy biến ngẫu nhiênrời rạc, độc lập và cùng phân phối xác suất thì (Xn, n = 1, 2, ) là xích

Markov thuần nhất Thật vậy, bằng lập luận trên ta có

không phụ thuộc vào n

pi j (= p(n, i, n + 1, j)) là xác suất có điều kiện để hệ tại thời điểm n (hiệntại) ở trạng thái i chuyển sang trạng thái j tại thời điểm n + 1 (tương lai)

P = (pi j) được gọi là ma trận xác suất chuyển sau 1 bước.

Tính Markov có nghĩa là P(A|B) = P(A|BC) nếu ta đặt các biến cố

= P(B)P(C|B)P(A|B)

P(B)

= P(C|B)P(A|B)

tức là, nếu cho trước hiện tại thì quá khứ và tương lai độc lập với nhau.Theo công thức xác suất đầy đủ, suy ra ma trận P = (pi j) có tính chất

0 ≤ pi j ≤ 1; ∀i, j ∈ E;∑

j∈E

pi j = 1

Ma trận có tính chất trên được gọi là ma trận ngẫu nhiên.

Xác suất để hệ tại thời điểm ban đầu ở trạng thái i, sau n bước chuyểnsang trạng thái j là

Đặt P(n) = (p(n)i j ) thì Pn là ma trận xác suất chuyển sau n bước

Bây giờ ta lập luận như sau: hệ xuất phát từ trạng thái i, sau n + 1 bướcchuyển sang trạng thái j là kết quả của việc hệ xuất phát từ trạng thái i, sau

1 bước chuyển sang trạng thái k nào đó, thế rồi hệ xuất phát từ trạng thái k,sau n bước tiếp theo chuyển sang trạng thái j Vì vậy từ công thức xác suấtđầy đủ và tính Markov ta có:

gọi là phương trình ngược Chứng minh tương tự ta được

được gọi là phương trình Chapman-Kolmogorov

Dạng ma trận của phương trình trên :

1.2.2 Phân phối ban đầu

Giả sử tại thời điểm t = n, X (n) có thể nhận một trong N giá trị 1, 2, , N

với các xác suất tương ứng là π1(n), π2(n), , πN(n) (với π1(n) + π2(n) + · · · +

πN(n)= 1) thì vectơ π(n)= [π1(n), π2(n), , πN(n)] được gọi là vectơ phân phối tại

thời điểm t = n Với t = 0 ta có vectơ phân phối ban đầu π(0)= [π1(0), π2(0), , πN(0)]

Định nghĩa 1.2.1 Phân phối của hệ tại thời điểm n được cho bởi công thức

sau:

p(n)j = P(Xn= j); n = 0, 1, 2, ; j ∈ E

Ta quy ước viết Π(n) = (p(n)j , j ∈ E) là vectơ hàng Dễ dàng thấy rằng

Π(n) = ΠP(n),

Π(n+1) = Π(n)P,

Π(n+1)= Π(1)P(n),

Π(n+m) = Π(n)P(m).Thật vậy, theo công thức xác suất đầy đủ ta có:

Nếu có Π = Π(n) hay Π = ΠP, tức là Π(n) không phụ thuộc vào n, thì

phối ban đầu được gọi là phân phối dừng.

Như vậy, mô hình của một xích Markov rời rạc và thuần nhất là bộ

ba (Xn, Π, P), trong đó:

(Xn) là dãy các đại lượng ngẫu nhiên rời rạc,

Π là phân phối ban đầu,

P là ma trận xác suất chuyển

1.3 Xích Markov có hữu hạn trạng thái

1.3.1 Xích có hai trạng thái

Ta xét trường hợp đơn giản nhất của xích Markov: không gian trạng thái

E của xích (Xn) gồm hai phần tử Ta kí hiệu E = {0, 1}

Ví dụ 1.3.1 Ta nghiên cứu một vấn đề xã hội nào đó, chẳng hạn vấn đề

Đơn vị thời gian là một quý (3 tháng) Thống kê nhiều năm cho thấy xác suất

trạng thái của một người (nghiện hay không nghiện) được mô tả bởi một

(0, 83; 0, 17) Sang quý 2, phân bố số người nghiện và không nghiện sẽ là:

Ví dụ 1.3.2 Cho (Xn) là xích Markov có 2 trạng thái E = {0, 1} với ma

Có thể kiểm tra lại rằng a = 1 − b khi và chỉ khi X1, X2, là các biến ngẫu

phụ thuộc, nhưng có tính Markov.

πi > 0, ∀ j ∈ E,∑

i∈E

πj = 1

Định lý 1.3.1 Giả sử P = (pi j) là ma trận xác suất chuyển của xích Markov

(Xn) có không gian trạng thái hữu hạn E = {1, 2, , N}.

(i) Nếu P chính quy theo nghĩa sau: tồn tại n0 sao cho

Định nghĩa 1.3.1 Nghiệm không âm (π, , πN) của phương trình (1.3.9)

Phân phối dừng có ý nghĩa sau:

Nếu ta coi xích Markov có phân phối ban đầu là (π1, , πN), tức là πj =P(X0= j) ; j = 1, 2, N thì

trận, thì phân phối dừng là vectơ cột bất biến đối với ma trận chuyển vị

Ví dụ 1.3.3 Cho (Xn) là một xích Markov có 3 trạng thái E = {1, 2, 3} với

Hãy tìm tất cả các phân phối dừng?

Đặt U = (x, y, z) Khi đó U là phân phối dừng khi và chỉ khi x, y, z lànghiệm không âm của hệ sau:

x+ y + z = 1

Từ phương trình thứ nhất và thứ hai của hệ, khử z ta rút ra y = 5x

1.3.4 Phân phối giới hạn và phân phối ergodic

Định nghĩa 1.3.2 Ta nói rằng xích Markov có phân phối giới hạn, nếu

∀ j = 1, 2 , N tồn tại các giới hạn πj = limn→∞p(n)i j không phụ thuộc vào

i và thỏa mãn các điều kiện πj ≥ 0 , ∑ πj = 1 Trong trường hợp đó ta gọi

(π1, π2, , πN) là phân phối giới hạn.

Định nghĩa 1.3.3 Ta nói rằng xích Markov có tính ergodic, nếu ∀ j =

1, 2, , N tồn tại các giới hạn πj = limn→∞p(n)i j không phụ thuộc vào i

(π1, π2, , πN) là phân phối ergodic.

Nếu phân phối giới hạn tồn tại thì phân phối dừng cũng tồn tại và duynhất Hơn nữa hai phân phối này trùng nhau Tuy nhiên ngược lại khôngđúng, tức là có những xích Markov có tồn tại phân phối dừng nhưng khôngtồn tại phân phối giới hạn Chẳng hạn

Định lý 1.3.2 Nếu tồn tại phân phối giới hạn, thì đó là phân phối dừng duy

đảm bảo duy nhất phân phối dừng, đó là: πj = limn→∞ p(n)i j

Định lý 1.3.3 Cho Xn là xích Markov với không gian trạng thái hữu hạn

E = {1, 2, , d} với ma trận xác suất chuyển sau n bước là P(n) = (p(n)i j ).

Khi đó tồn tại phân bố giới hạn π = (π1, , πd) với πj > 0, ∀ j ∈ E khi và

chỉ khi xích là chính quy theo nghĩa : Tồn tại n0 sao cho p(ni j0)> 0, ∀i, j ∈ E.

Ví dụ 1.3.4 Mỗi người dân trong một vùng nào đó có thể ở trong ba tầng

lớp: giàu, trung lưu và nghèo Con cái của họ có thể ở một trong 3 tầng lớp nói trên với các xác suất khác nhau tùy thuộc vào việc họ đang ở trong tầng lớp nào Giả sử bằng thống kê, người ta xác định được: Nếu 1 người giàu thì với xác suất 0,448 con họ giàu, với xác suất 0,484con họ trung lưu và với xác suất để con họ nghèo Tương tự, với một người trung lưu thì xác suất

để con họ giàu, trung lưu và nghèo tương ứng là 0,054; 0,069 và 0,247 Với một người nghèo để con họ giàu, trung lưu hay nghèo tương ứng là 0,011; 0,503 và 0,486 Như vậy sự thay đổi trạng thái của một gia đình trong xã

hội từ thế hệ này qua thế hệ khác có thể mô tả bởi một xích Markov ba trạng thái: 1 (giàu), 2(trung lưu), 3(nghèo) với xác suất chuyển như sau:

Xích Markov này là chính quy Thành thử tồn tại phân bố giới hạn π =

(π1, π2, π3) Phân bố này chính là phân bố dừng duy nhất và tìm được bằng

cách giải hệ phương trình sau:

(π1, π2, π3)P = (π1, π2, π3)

Theo định lý trên phân phối giới hạn tồn tại Ta hãy tìm phân phối giới hạn

không gian trạng thái E = { 1, 2, } Gọi Xn là số dư khi chia Sn cho 7 Khi

đó Xncũng là một xích Markov với không gian trạng thái E = { 0, 1, 2, , 6}.

Ma trận xác suất chuyển của Xn là

Đây là ma trận ngẫu nhiên kép.

Ma trận này chính quy vì ma trận xác suất chuyển sau 2 bước

7).

30 - 30, 40 - 15, 30 - 40, 40 - 30, Advantage B, Deuce, Advantage A, Game

B, Game A Tuy nhiên, có thể thấy rằng các trường hợp sẽ tập trung về cáccặp: { 30 - 30, Deuce}, { 30 - 40, Advantage B} Kết quả được mô tả bởi sơ

đồ hình 2.1

Khi game thứ nhất kết thúc, game thứ 2 bắt đầu với người giao bóng vàngười nhận giao bóng lần lượt như vậy, và tiếp tục như vậy cho đến khi cóngười chiến thắng ít nhất 6 game với cách biệt người kia ít nhất 2 game Khi

đó sẽ kết thúc 1 séc Vì vậy điểm trong 1 séc chỉ có thể như sau: 6 : 0, 6 : 1,

6 : 2, 6 : 3, 6 : 4, 7 : 5, 8 : 6 hoặc ngược lại và tiếp tục Người chơi sẽ thắngtrận nếu thắng 2 trong 3 séc hoặc thắng 3 trong 5 séc

Hình 2.1: Sơ đồ trạng thái của game tennis

Game Sơ đồ hình 2.1 là sơ đồ trạng thái của 1 game trong đó các trạng

thái là điểm số

Sự chuyển đổi từ trạng thái này sang trạng thái khác chỉ phụ thuộc vào trạngthái hiện tại tương ứng với xác suất chuyển, và không phụ thuộc vào quákhứ Vì vậy, game có thể được mô hình hóa bởi 1 xích Markov

Kí hiệu p là xác suất để người giao bóng có 1 điểm, và q = 1 − p là xácsuất để người trả giao bóng có 1 điểm Vì vậy, điểm đầu tiên được ghi vớicác xác suất

P(13 : 0) = p, P(0 : 15) = q

Điểm thứ 2 được ghi với các xác suất P(30 : 0) = p2, P(15 : 15) = 2pq,P(0 : 30) = q2 Tương tự điểm thứ 3 được ghi với xác suất P(40 : 0) = p3,P(30 : 15) = 3p2q, P(15 : 30) = 3pq2, P(0 : 40) = q3, và điểm thứ 4 đượcghi với xác suất

P(người giao bóng thắng) = p4, P(40 : 15) = 4p3q,

P(deuce) = 6p2q2, P{15 : 40} = 4pq3,

P(người trả giao bóng thắng) = q4

Cuối cùng, điểm thứ 5 được ghi với các xác suất

p0= P( giao bóng thắng) = p4(1 + 4p),

p1 = P(adv in) = 4q3q2, p2 = P{deuce} = 6p2q2,

p3= P( adv.out ) = 4p2q3, p4= P(người trả giao bóng thắng) = p4(1+4p)

(2.1.1)Phần còn lại của game đấu tương tự như một xích Markov trên 5 trạng tháivới 2 trạng thái hấp thụ tại 2 điểm kết thúc

(e0, e4) ≡ (người giao bóng thắng; người trả giao bóng thắng)

và 3 trạng thái chuyển (adv.in, deuce, adv.out) Ma trận xác suất chuyển choxích Markov này là

Đối với 3 trạng thái chuyển ej, j = 1, 2, 3, ta có p(n)i j → 0, và vì vậy xích chỉ

có một số hữu hạn trạng thái và hệ thống sẽ bị hút vào 1 trong 2 điểm kếtthúc

Kí hiệu fk,0 và fk,4 từ các xác suất hấp thụ từ các trạng thái chuyển

cả 2 đấu thủ có cùng trình độ, cùng với người được giao bóng có lợi thế hơn

vì p = 0, 52 và q = 0, 48 thì xác suất để thắng 1 game của người giao bóng

và trả giao bóng tương ứng là 0,55 và 0,45 Chú ý rằng, xác suất thắng ở 1điểm chênh nhau 0,04 nhưng xác suất thắng ở 1 game chênh nhau là 0,1

Séc: Để hoàn thành 1 séc, các đấu thủ phải chơi cho đến khi có 1 bên

thắng ít nhất 6 game với cách biệt ít nhất 2 game Kết quả được mô tả bởi sơ

đồ hình 2.2

Sơ đồ trạng thái hình 2.2 đối với 1 séc khi các trạng thái đồng nhất vớiđiểm số Chú ý rằng pg là xác suất người giao bóng thắng 1 game và qg =

1 − pg là xác suất người trả giao bóng thắng 1 game Vì vậy P(6 : 0) = p6g

và từ sơ đồ hình 2.2, ở game thứ 11 hoặc game thứ 12 một xích Markov mớidiễn ra với p và q được thay thế bởi pg và qg tương ứng