Xích markov và một số ứng dụng

Để hiểu hơn về các ứng dụng của xích Markovvào thực tế, trong khuôn khổ của luận văn thạc sỹ, tôi chọn đề tài cho luậnvăn là “Xích Markov và một số ứng dụng” .Nội dung của luận văn được

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC VINH

LUẬN VĂN THẠC SỸ TOÁN HỌC

Người hướng dẫn khoa học:

TS Nguyễn Thị Thế

Nghệ An - 2015

MỤC LỤC

1.1 Không gian xác suất và tính chất của xác suất 4

1.2 Xác suất có điều kiện và biến cố độc lập 6

1.3 Biến ngẫu nhiên và phân phối xác suất 7

1.4 Các số đặc trưng của biến ngẫu nhiên 9

1.5 Kỳ vọng có điều kiện 11

2 Xích markov và một số ứng dụng 12 2.1 Các khái niệm cơ bản về xích Markov 12

2.2 Một số ví dụ và mô hình ứng dụng 17

2.3 Mô phỏng xích Markov 22

hệ có tính chất này Nghiên cứu những hệ có tính chất này là một lĩnh vựcquan trọng của lý thuyết xác suất hiện đại Trong thực tế sự tiến triển củanhiều hệ thống có thể mô hình bởi quá trình Markov Quá trình Markovđược ứng dụng nhiều trong tin học, viễn thông, dân số học, di truyền học, Trong trường hợp trạng thái của hệ là rời rạc thì ta có khái niệm xíchMarkov Theo cách nhìn của Toán học thì xích Markov vừa khó vừa dễ:định nghĩa và tính chất cơ bản của xích Markov không liên quan đến cáckhái niệm toán học phức tạp nào, nhưng để nghiên cứu và hiểu sâu về xíchMarkov thì đòi hỏi các công cụ toán học nâng cao (chẳng hạn vấn đề tiệmcận của xích Markov) Xích Markov cũng là một nguyên liệu cơ bản chothuật toán ngẫu nhiên hóa Để hiểu hơn về các ứng dụng của xích Markovvào thực tế, trong khuôn khổ của luận văn thạc sỹ, tôi chọn đề tài cho luậnvăn là “Xích Markov và một số ứng dụng”

Nội dung của luận văn được chia thành hai chương

Chương I Các khái niệm cơ bản về xác suất

Trong chương I, trình bày một số kiến thức cơ bản trong lý thuyết xácsuất

Chương II Xích Markov và một số ứng dụng Chương này lànội dung chính của luận văn Chương này trình bày các khái niệm cơ bản

về xích Markov, một số mô hình ứng dụng cũng như mô phỏng xích Markov.Luận văn trên được thực hiện và hoàn thành tại trường Đại học Vinh,dưới sự hướng dẫn của cô giáo TS Nguyễn Thị Thế Tác giả xin được bày

tỏ lòng biết ơn sâu sắc nhất tới cô giáo, về sự hướng dẫn tận tình đối vớitác giả trong suốt thời gian học tập và nghiên cứu Nhân dịp này tác giảxin gửi lời biết ơn tới các thầy cô: GS.TS Nguyễn Văn Quảng, PGS.TS LêVăn Thành, TS Nguyễn Trung Hòa, TS Nguyễn Thanh Diệu, TS Võ ThịHồng Vân cùng các thầy cô giáo trong tổ XSTK và Toán ứng dụng, khoa

sư phạm Toán học Đồng thời tác giả xin gửi lời cảm ơn tới gia đình, bạn

bè, người thân đã quan tâm giúp đỡ tác giả hoàn thành luận văn này Và

cuối cùng tác giả xin được chân thành cảm ơn ban lãnh đạo trường THPTCon Cuông cùng các đồng nghiệp - nơi tác giả đang công tác, đã tạo điềukiện bố trí thời gian cũng như động viên tinh thần trong suốt quá trình tácgiả tham gia khóa đào tạo SĐH này.

Mặc dù đã có nhiều cố gắng song năng lực vẫn còn hạn chế nên khôngthể không tránh khỏi sự thiếu sót Tác giả rất mong nhận được những lờichỉ bảo quý báu của các thầy cô giáo và sự góp ý tận tình của bạn đọc đểluận văn được hoàn thiện hơn

Nghệ An, tháng 10 năm 2015

Tác giả

CHƯƠNG 1

CÁC KHÁI NIỆM CƠ BẢN VỀ XÁC SUẤT

Trong chương này, tôi trình bày một số kiến thức cơ bản của lý thuyếtxác suất để vận dụng vào chương sau Các nội dung được trình bày dựa vàotài liệu chính [1] và [3]

1.1 Không gian xác suất và tính chất của xác

suất

Giả sử Ω 6= Ø, P (Ω) là họ tất cả các tập con của Ω

Định nghĩa 1.1.1 Họ các tập con F ⊂ P (Ω) được gọi là σ-đại số nếu:(i) Ω ∈ F (hoặc ∅ ∈ F ),

(ii) Nếu A ∈ F thì ¯A ∈ F ,

(iii) Nếu {An, n = 1, 2, } ⊂ F thì S∞

n=1An ∈ F (hoặc T∞

n=1An ∈ F ).Khi đó cặp (Ω, F ) được gọi là không gian đo

Định nghĩa 1.1.2 Giả sử (Ω, F ) là không gian đo Khi đó ánh xạ

P : F → Rđược gọi là độ đo xác suất trên F nếu:

(i) P (A) > 0, với mọi A ∈ F ,

Khi đó,

• Bộ ba (Ω, F ,P) được gọi là không gian xác suất ;

• Tập Ω được gọi là không gian biến cố sơ cấp;

• σ- đại số F được gọi là σ-đại số các biến cố ;

• P được gọi là độ đo xác suất trên F ;

• Mỗi A ∈ F được gọi là một biến cố ;

• Biến cố Ω ∈ F được gọi là biến cố chắc chắn;

• Biến cố ∅ ∈ F được gọi là biến cố không thể ;

• Biến cố A = Ω \ A được gọi là biến cố đối của biến cố A;

• Hai biến cố A, B thỏa mãn AB = ∅ được gọi là hai biến cố xung khắc

Không gian xác suất (Ω, F ,P) được gọi là không gian xác suất đầy đủ nếumọi tập con của biến cố có xác suất 0 đều là biến cố Để đơn giản, từ nay

về sau, khi nói đến không gian xác suất( Ω, F ,P), ta luôn xem đó là khônggian xác suất đầy đủ

Tính chất 1.1.3 Giả sử A, B, C là những biến cố Khi đó, xác suất củachúng có các tính chất sau

(i) Nếu (An, n ≥ 1) là dãy đơn điệu tăng, tức là A1 ⊂ A2 ⊂ ⊂ An ⊂ , thì tồn tại

limn→∞P(An) = P(

∞

\

n=1

An)

1.2 Xác suất có điều kiện và biến cố độc lập

Định nghĩa 1.2.1 Giả sử (Ω, F ,P) là không gian xác suất, A, B ∈ F ,P(A) >

0 Khi đó số

P(B/A) = P(AB)

P(A) ,được gọi là xác suất có điều kiện của của biến cố B đối với biến cố A

Trong thực tiễn P(B/A) là số đo khả năng xảy ra biến cố B trong điềukiện giả thiết rằng biến cố A đã xảy ra

Tính chất 1.2.2 1) P(B/A) ≥ 0

2) Nếu B ⊃ A thì P(B/A) = 1, đặc biệt P(Ω/A) = 1

3) Nếu (Bn) là dãy các biến cố đôi một xung khắc thì

Định lý 1.2.4 Giả sử H1, H2, , Hn là họ đầy đủ các biến cố và P(Hi) >

0, ∀i = 1, 2, , n Khi đó, với biến cố A bất kì ta có

(i) P(A) =Pni=1P(A/Hi)P(Hi),

(ii) Nếu P(A) > 0 thì

P(Hk/A) = PPn(A/Hk)P(Hk)

i=1P(A/Hi)P(Hi), k = 1, 2, , n.

Công thức (i) gọi là công thức xác suất đầy đủ còn công thức (ii) gọi làcông thức Bayes

Định nghĩa 1.2.5 Giả sử (Ω, F ,P) là không gian xác suất

Hai biến cố A và B được gọi là độc lập nếu

P(AB) = P(A).P(B)

Tính chất 1.2.6 Giả P(A) > 0,P(B) > 0, Khi đó:

1) A, B độc lập khi và chỉ khi P(A/B) = P(A) hoặc P(B/A) = P(B),

2) Hai biến cố A và B độc lập khi và chỉ khi một trong các điều kiện sauthỏa mãn

(i) A, B độc lập,

(ii) A, B độc lập,

(iii) A, B độc lập

Nhận xét 1.2.7 Qua chứng minh trên, ta thấy rằng hai đẳng thứcP(A/B) =

P(A) và P(B/A) = P(B) đều tương đương với định nghĩa độc lập và do đótương đương với nhau

Định nghĩa 1.2.8 Họ các biến cố (Ai)i∈I được gọi là độc lập đôi một nếuhai biến cố bất kỳ của họ đều độc lập

Họ các biến cố (Ai)i∈I được gọi là độc lập toàn cục (gọi vắn tắt là độclập), nếu đối với mọi họ hữu hạn các biến cố Ai1, Ai2, , Ain của họ đó, tađều có

P(Ai1Ai2 Ain) = P(Ai1)P(Ai2) P(Ain)

Nhận xét 1.2.9 Một họ độc lập thì độc lập đôi một Tuy nhiên điều ngượclại nói chung không đúng

1.3 Biến ngẫu nhiên và phân phối xác suất

Định nghĩa 1.3.1 Giả sử (Ω1, F1) và (Ω2, F2) là hai không gian đo Ánh

xạ X : Ω1 → Ω2 được gọi là ánh xạ F1/F2 đo được nếu với mọi B ∈ F2 thì

X−1(B) ∈ F1

Định nghĩa 1.3.2 Giả sử (Ω, F ,P) là không gian xác suất, G là σ đại sốcon của σ đại số F Khi đó ánh xạ X : Ω →R được gọi là biến ngẫu nhiên

G đo được nếu nó là ánh xạ G/B(R) đo được (tức là với mọi B ∈ B(R) thì

X−1(B) ∈ G) Khi đó:

• Nếu X là biến ngẫu nhiên F - đo được thì X được gọi là biến ngẫunhiên;

• Biến ngẫu nhiên G - đo được thì nó là biến ngẫu nhiên;

• Biến ngẫu nhiên còn gọi là đại lượng ngẫu nhiên;

• Biến ngẫu nhiên X chỉ nhận hữu hạn giá trị thì được gọi là biến ngẫunhiên đơn giản

Định nghĩa 1.3.3 Giả sử (Ω, F ,P) là không gian xác suất, X : Ω → R

là biến ngẫu nhiên Khi đó hàm tập

PX : B(R) →R

B 7→ PX(B) = P(X−1(B))được gọi là phân phối xác suất của X

Định lý 1.3.4 Cho biến ngẫu nhiên X : Ω → R Với mỗi B ∈ B(R), kíhiệu

PX(B) := P (X−1(B))

Khi đó PX là độ đo xác suất trên σ đại số Borel B(R)

Định nghĩa 1.3.5 Giả sử (Ω, F ,P) là không gian xác suất, X : Ω → R

là biến ngẫu nhiên Khi đó, hàm số F (x) := P (X < x) = P (ω : X(ω) <x), ∀x ∈R được gọi là hàm phân phối xác suất của biến ngẫu nhiên X.Hàm phân phối F (x) có các tính chất sau

(i) F (x) là đơn điệu không giảm: x < y ⇒ F (x) 6 F (y)

(ii) F (x) liên tục trái, có giới hạn phải tại mọi điểm

(i) p(x) > 0; ∞ < x < +∞,

(ii) F (x) = R−∞x p(t)dt; ∞ < x < +∞

Hàm số p(x) được gọi là hàm mật độ của X

Định nghĩa 1.3.7 Giả sử (Ω, F ,P) là không gian xác suất cố định Họhữu hạn {Fi, i ∈ I} các σ đại số con của F được gọi là độc lập nếu

P(\i∈I

+ Họ các biến ngẫu nhiên {Xi, i ∈ I} được gọi là độc lập nếu họ các σ

- đại số sinh bởi chúng {F (Xi), i ∈ I} là độc lập

+ Họ các biến cố {Ai, i ∈ I} ⊂ F được gọi là độc lập nếu họ các biếnngẫu nhiên {IAi, i ∈ I} độc lập

1.4 Các số đặc trưng của biến ngẫu nhiên

Định nghĩa 1.4.1 Giả sử X : (Ω, F ,P) → (R, B(R)) là biến ngẫu nhiên.Khi đó tích phân Lebesgue của X theo độ đo P (nếu tồn tại) được gọi là kỳvọng của X và ký hiệu là EX

và tồn tại n đểEXn− < ∞ (tương ứngEXn+ < ∞), thìEXn ↑EX (tươngứng EXn ↓EX).

7) (Bổ đề Fatou) Nếu Xn ≥ Y với mọi n ≥ 1 và EY > −∞ thì

ElimXn ≤ limEXn,Nếu Xn ≤ Y với mọi n ≥ 1 và EY < +∞ thì

ElimXn ≥ limEXn,Nếu |Xn| ≤ Y với mọi n ≥ 1 và EY < ∞ thì

ElimXn ≤ limEXn ≤ limEXn ≤ ElimXn.8) (Định lý Lebesgue về sự hội tụ bị chặn) Nếu |Xn| ≤ Y với mọi n ≥ 1,

EY < ∞ và Xn → X thì X khả tích, E|Xn − X| → 0 và EXn → EX(khi n → ∞)

9) (Bất đẳng thức Markov) Giả sử X là biến ngẫu nhiên không âm Khi

đó nếu tồn tại EX thì mọi ε > 0 ta có

P(X ≥ ε) ≤ EX

ε .Định nghĩa 1.4.3 Giả sử X là biến ngẫu nhiên Khi đó, số DX := E(X −

EX)2 (nếu tồn tại) được gọi là phương sai của X

Nhận xét 1.4.4 Từ định nghĩa trên và từ tính chất của kỳ vọng, suy rarằng phương sai DX của biến ngẫu nhiên X có thể tồn tại hoặc không tồntại và nếu tồn tại thì có thể được tính theo công thức

(ii) Với mọi A ∈ G, ta có

10) Nếu Y là G-đo được, E|Y | < ∞ và E|X.Y | < ∞ thì E(XY |G) =

YE(X|G) (h.c.c)

CHƯƠNG 2

XÍCH MARKOV VÀ MỘT SỐ ỨNG DỤNG

Chương này trình bày các khái niệm cơ bản về xích Markov, một số môhình ứng dụng cũng như mô phỏng xích Markov Các nội dung được trìnhbày dựa vào tài liệu chính [2], [7], [8] và [9]

2.1 Các khái niệm cơ bản về xích Markov

Trước hết ta xét ví dụ sau

Ví dụ 2.1.1 (Du động ngẫu nhiên đơn giản) Giả sử có một người đi bộngẫu nhiên trong một phố rất nhỏ có 4 đường phố với 4 góc cua v1, v2, v3, v4(thứ tự từ v1 → v2 → v3 → v4 → v1 theo chiều kim đồng hồ) Tại thời điểmban đầu (thời điểm 0), người này đứng ở góc v1 Tại thời điểm 1, người nàytung một đồng xu và di chuyển ngay tới v2 hoặc v4 tương ứng với đồng xusấp hoặc ngữa Tại thời điểm 2 người này lại tung đồng xu để quyết định dichuyển theo qui tắc: nếu đồng xu xuất hiện mặt sấp thì đi theo chiều kimđồng hồ và ngược lại Quá trình này lặp lại tại các thời điểm tiếp theo

Ký hiệu Xn là thứ tự góc phố mà người này đứng tại thời điểm n Khi{X0, X1, } đó là quá trình ngẫu nhiên nhận giá trị {1, 2, 3, 4}

Do người này bắt đầu tại v1 vào thời điểm 0 nên ta có

Thực tế là xác suất này có tính đến các vị trí tại các thời điểm trước n thìcũng không thay đổi vì bước n + 1 chỉ liên quan đến vị trí thứ n, tức là vớimọi lựa chọn (i0, i1, , in−1) thì

P(Xn+1 = 1/X0 = i0, X1 = i1, Xn−1 = in−1, Xn = 2) = 1

2,

P(Xn+1 = 3/X0 = i0, X1 = i1, Xn−1 = in−1, Xn = 2) = 1

2.Với mô hình này ta thấy quá trình chuyển động của hệ trong tương laichỉ phụ thuộc vào vị trí hiện tại và độc lập với quá khứ, những hệ với tínhchất này gọi là hệ có tính Markov, được định nghĩa như sau:

Định nghĩa 2.1.2 Giả sử S là một tập hợp không quá đếm được Một quátrình ngẫu nhiên {Xn, n ∈ N} được gọi là xích Markov (thời gian rời rạc)với không gian trạng thái S, nếu với mọi n ∈ N và mọi i, j, i0, , in−1 ∈ S

Khi đó p(n, i, m, j) chính là xác suất có điều kiện để quá trình tại thời điểm

n ở trạng thái i, đến thời điểm m ở trạng thái j Ta gọi p(n, i, m, j) là xácsuất chuyển của quá trình

Nếu p(n, i, m, j) chỉ phụ thuộc vào m − n, tức là

p(n, i, m, j) = p(n + k, i, m + k, j), mọi k ∈ N,

thì ta nói quá trình là thuần nhất

Như vậy đối với xích Markov thuần nhất thì với mọi n ∈ N và mọi

Định nghĩa 2.1.3 (Ma trận ngẫu nhiên) Ma trận P = (pij, i, j ∈ S) đượcgọi là ma trận ngẫu nhiên nếu

(i) pij ≥ 0 với mọi i, j ∈ S,

(ii) Pj∈Spij = 1 với mọi i ∈ S

Định lý 2.1.4 Ma trận xác suất chuyển của xích Markov thuần nhất là

p(n+m)ij = X

k∈E

p(n)ik p(m)kj

Chứng minh Ta có

trận xác suất chuyển P nếu với mọi n và mọi i, j, i0, , in−1 ∈ S, ta có

p(n)ij := P(Xn = j/X0 = i)

Khi đó P(n) := (p(n)ij ) được gọi là ma trận chuyển sau n bước

Như vậy p(1)ij = pij Với qui ước

p(n)j = P(Xn = j), j ∈ S

Ta gọi Π(n) = (p(n)j , j ∈ S) (với qui ước là véc tơ hàng) là phân phối của

hệ tại thời điểm n và Π = Π(0), là phân phối ban đầu

Phân phối ban đầu được gọi là dừng nếu Π(n) không phụ thuộc vào n,tức là Π = Π(n) hay Π = ΠP

Vậy mô hình một xích Markov rời rạc và thuần nhất là bộ ba (Xn, Π,P),trong đó

(Xn) là dãy các biến ngẫu nhiên rời rạc,

Π là phân phối ban đầu,

P là ma trận xác suất chuyển

Mối quan hệ giữa phân phối ban đầu và ma trận xác suất chuyển nhưsau

Định lý 2.1.9 Giả sử Π và P tương ứng là phân phối ban đầu và ma trậnxác suất chuyển của xích Markov Khi đó với mọi n, m ∈N, ta có

Π(n+m) = ΠnPm.Với ví dụ du động ngẫu nhiên trên (Ví dụ 2.1.1) thì phân phối của X0là

2 0 12 0

0 12 0 121

Trong mục này, tôi trình bày một số ví dụ và mô hình ứng dụng

Ví dụ 2.2.1 (Lướt web trên Internet như một xích Markov) Thử hìnhdung rằng bạn đang lướt web trên Internet, và mỗi lần bạn đối mặt với mộttrang web, bạn chọn click vào một trong các link của nó một cách ngẫunhiên (một cách đều) Ký hiệu Xn là trang nơi bạn đang ở sau n click Khi

đó {X0, X1, } có thể được mô tả như xích Markov với không gian trạngthái S bằng số trang web trên internet và ma trận xác suất chuyển P chobởi

pij =

1

d i nếu i có đường link tới trang j,

trong đó di là số trang từ trang i (Mô hình này nếu có tính đến "backbutton" thì nó không còn là xích Markov nữa)

Ở trên ta đã xét mô hình du động ngẫu nhiên đơn giản Du động ngẫunhiên đã được nghiên cứu bởi các nhà vật lý và toán học, sau đó được mởrộng và áp dụng vào nhiều lĩnh vực (xem [9]) Du động ngẫu nhiên đượctổng quát như sau

Ví dụ 2.2.2 (Du động ngẫu nhiên tổng quát) Xét một người biểu diễntrên đường thẳng thực và được đánh số

{ , −2, −1, 0, 1, 2, },

như là không gian trạng thái Mỗi thời điểm người này ở trạng thái i có thểtiến tới i + 1 với xác suất p và lùi một bước với xác suất 1 − p (0 < p < 1).Khi đó gọi Xn là vị trí của người này ở thời điểm n thì ta có xích Markovvới xác suất chuyển là

Giả sử tổng số lượng hàng cần phải đáp ứng nhu cầu trong chu kỳ n

là biến ngẫu nhiên ξn có phân phối độc lập với chu kỳ thời gian: với mọi

Mức hàng dự trữ được kiểm kê tại cuối mỗi chu kỳ Cách nhập hàng căn

cứ vào hai chỉ số tiêu chuẩn s và S(s < S) như sau:

Nếu ở cuối chu kỳ lượng hàng dự trữ nhỏ hơn hay bằng s thì ngay lậptức phải nhập hàng để có số dự trữ bằng S

Hàng dự trữ hiện có lớn hơn S thì không cần nhập hàng

Gọi Xn là lượng hàng hiện có tại cuối chu kỳ n vào trước khi nhậphàng Các trạng thái của quá trình (Xn) là số lượng hàng dự trữ: S, S −

1, , 1, 0, −1, −2, (giá trị âm là nhu cầu không được thoả mãn mà sẽđược đáp ứng ngay sau khi nhập hàng)

Theo cách kiểm kê hàng hoá như trên, các mức hàng dự trữ tại hai chu

kỳ tiếp theo có mối quan hệ:

nhiên độc lập có cùng phân phối (2.4) thì dãy các giá trị dự trữ: X0, X1, lập thành xích Markov với xác suất chuyển

Vậy ta có ma trận xác suất chuyển là

đó, thì các khách mới có thể tới và ngồi chờ

Giả sử trong mỗi chu kỳ thời gian, cửa hàng chỉ phục vụ một khách vàgiả sử số khách đến cửa hàng trong chu kỳ thứ n là biến ngẫu nhiên ξn cóphân phối xác suất như sau: xác suất để có k khách hàng tới trong một chu

kỳ cho bởi công thức:

pij =



P(ξ = j + 1 − i) nếu i > 1,

P(ξ = j) nếu 0 ≤ i ≤ 1