Xích markov và ứng dụng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KHOA TỐN PHAN THỊ HÂN XÍCH MARKOV VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP Người hướng dẫn: TS LÊ VĂN DŨNG Đà Nẵng - 2014 LỜI CẢM ƠN Để hoàn thành luận văn khơng có nỗ lực, cố gắng nhiều thân mà cịn có giúp đỡ nhiều người Lời đầu tiên, xin bày tỏ lịng kính trọng biết ơn sâu sắc tới thầy giáo, tiến sĩ Lê Văn Dũng, khoa Toán, Trường Đại học Sư phạm - ĐHĐN Trong suốt thời gian làm luận văn, bận rộn công việc thầy giành nhiều thời gian tâm huyết việc hướng dẫn Thầy cung cấp cho nhiều thông tin khoa học để định hướng tốt làm luận văn Cho đến nay, luận văn tốt nghiệp tơi hồn thành, nhờ nhắc nhở, đôn đốc, giúp đỡ nhiệt tình thầy Một lần nữa, tơi xin cảm ơn thầy Tôi xin gửi lời cảm ơn tới các thầy cô Trường Đại học Sư phạm ĐHĐN, đặc biệt thầy giáo khoa Tốn giảng dạy cho kiến thức chuyên môn làm sở để thực tốt luận văn tốt nghiệp tạo điều kiện cho tơi hồn thành tốt khố học Nhân tơi xin gởi lời cảm ơn đến gia đình, bạn bè giúp đỡ động viên tơi suốt q trình làm luận văn tốt nghiệp Đà Nẵng, tháng 05 năm 2014 Sinh viên thực Phan Thị Hân MỤC LỤC Kiến Thức Cơ Sở 1.1 Không gian xác suất 1.2 Xác suất có điều kiện 1.3 Cơng thức xác suất tồn phần cơng thức Bayes 1.4 Biến ngẫu nhiên 1.5 Các tham số đặc trưng Biến ngẫu nhiên Xích Markov ứng dụng 11 2.1 Xích Markov với thời gian rời rạc 11 2.2 Ứng dụng xích Markov 20 2.3 Xích Markov với thời gian liên tục 22 LỜI MỞ ĐẦU Lí chọn đề tài Trong sống chúng ta, tất vật tượng dù lớn hay nhỏ có phụ thuộc lẫn độc lập lý tưởng hóa cho đơn giản người ta cần nghiên cứu vấn đề Đầu kỉ XX, Andrei Andreevitch Markov (14/6/1856 - 20/7/1922) nhà Toán học - Vật lý tiếng người Nga lý tưởng hóa vật sống trạng thái độc lập với nhau, xây dựng nên trình gọi trình Markov Trong năm gần đây, trình Markov ứng dụng nhiều thương nghiệp, tin học, viễn thông, môn học bắt buộc với sinh viên nhiều trường Đại học Xích Markov trường hợp riêng q trình Markov (khi ta đánh số trạng thái) Luận văn trình bày về: ” Xích Markov ứng dụng” Mục đích nghiên cứu Nghiên cứu khái niệm xích Markov, ma trận xác suất chuyển trạng thái, phân bố dừng, phân bố giới hạn xích Markov rời rạc theo thời gian với không gian trạng thái gồm N phần tử Nghiên cứu số ứng dụng xích Markov Đối tượng nghiên cứu Đối tượng nghiên cứu xích Markov với thời gian rời rạc xích Markov với thời gian liên tục Phạm vi nghiên cứu Phạm vi nghiên cứu luận văn tập trung xích Markov ứng dụng Phương pháp nghiên cứu Nghiên cứu trực tiếp từ tài liệu xác suất có liên quan đến đề tài Sử dụng kiến thức lĩnh vực: Lý thuyết xác suất thống kê Ý nghĩa khoa học Tìm hiểu xích Markov nhằm phục vụ tốt cho việc nghiên cứu Là tài liệu tham khảo phục vụ cho việc dạy học môn Lý thuyết xác suất thống kê trường cao đẳng, đại học Xích Markov ứng dụng SVTH: Phan Thị Hân Cấu trúc luận văn Ngoài phần mở đầu, kết luận tài liệu tham khảo, luận văn bao gồm chương : • Chương Kiến thức sở • Chương Xích Markov ứng dụng Mặc dù tơi cố gắng nỗ lực nhiều việc nghiên cứu hồn thành luận văn trình độ, kỹ hạn chế nhiều bỡ ngỡ, nên luận văn không tránh khỏi thiếu sót Vì vậy, tơi mong nhận đóng góp ý kiến thầy bạn để tạo điều kiện cho luận văn hồn thiện Tơi xin chân thành cảm ơn! Đà Nẵng, tháng 05 năm 2014 Sinh viên Phan Thị Hân CHƯƠNG KIẾN THỨC CƠ SỞ 1.1 1.1.1 Không gian xác suất Phép thử Trong tốn học có khái niệm khơng có định nghĩa mà mơ tả chúng hình ảnh tư trực quan Chẳng hạn hình học khái niệm điểm, đường thẳng, mặt phẳng khái niệm định nghĩa Trong xác suất, khái niệm phép thử khái niệm khơng có định nghĩa Ta hiểu phép thử việc thực nhóm điều kiện để quan sát tượng có xảy hay khơng Phép thử gọi ngẫu nhiên ta dự báo trước xác kết xảy ta thực phép thử 1.1.2 Khơng gian mẫu Tập hợp tất kết xảy phép thử ngẫu nhiên Ta thường kí hiệu Ω Cho khơng gian mẫu Ω Ta xét lớp F tập Ω thoã mãn điều kiện: +∅∈F + Nếu A ∈ F Ac ∈ F + Nếu A1 , A2 , , An , ∈ F ∞ n=1 An ∈F Lớp F gọi σ -đại số tập Ω 1.1.3 Độ đo xác suất Một hàm tập hợp P : F → R gọi độ đo xác suất thoã mãn điều kiện sau: + Với A ∈ F , ≤ P(A) ≤ + P(Ω) = + Nếu A1 ,A2 , ,An , đôi không giao nhau(Ai ∩ Ai = ∅ với i = j) ∞ ∞ P( n=1 An ) = P (An ) n=1 Xích Markov ứng dụng SVTH: Phan Thị Hân Khi phần tử F gọi biến cố P(A) gọi xác suất xảy biến cố A Bộ ba (Ω, F, P ) gọi khơng gian xác suất 1.2 Xác suất có điều kiện Định nghĩa 1.1 Giả sử biến cố B có xác suất khác không Xác suất biến cố A với điều kiện B , kí hiệu P (A/B), định nghĩa sau: P (A/B) = P (A ∩ B) P (B) (P (B) = 0) Một hệ trực tiếp định nghĩa xác suất có điều kiện công thức nhân xác suất Hệ 1.2 P (A ∩ B) = P (A).P (B/A) (nếu P (A) > 0) = P (B).P (A/B) (nếu P (B) > 0) (1.1) Tổng quát, ta có P (A1 A2 An ) = P (A1 ).P (A2 /A1 ).P (A3 /A1 A2 ) P (An /A1 A2 An−1 ), A1 A2 An = A1 ∩ A2 ∩ ∩ An Công thức gọi công thức nhân xác suất Và từ công thức ta lại có hệ sau Hệ 1.3 Nếu P (A) > P (B) > P (B/A) = P (B)P (A/B) P (A) Định lý 1.4 Cho P (B) > Khi đó, (1) P (∅) = 0, P (Ω/B) = P (B/B) = 1; (2) Nếu A1 A2 = ∅ P (A1 ∪ A2 /B) = P (A1 /B) + P (A2 /B); (3) P (A/B) + P (Ac /B) = 1.3 Công thức xác suất tồn phần cơng thức Bayes Định nghĩa 1.5 Cho không gian xác suất (Ω, F, P ) Một họ hữu hạn biến cố E1 , E2 , , En gọi hệ đầy đủ (phân hoạch) không gian mẫu Ω thỏa mãn điều kiện (1) Ei ∩ Ej = ∅ với i = j ; (2) E1 ∪ E2 ∪ ∪ En = Ω Xích Markov ứng dụng SVTH: Phan Thị Hân Định lý 1.6 (Công thức xác suất tồn phần) Cho khơng gian xác suất (Ω, F, P ) Cho {Ek ; ≤ k ≤ n} hệ đầy đủ thỏa mãn P (Ek ) > với k = 1, 2, , n A biến cố Khi n P (A) = P (Ek )P (A/Ek ) (1.2) k=1 Đặc biệt, < P (B) < P (A) = P (B)P (A/B) + P (B c )P (A/B c ) Hệ 1.7 (Công thức Bayes) Cho không gian xác suất (Ω, F, P ) Cho {Ek ; ≤ k ≤ n} hệ đầy đủ thỏa mãn P (Ek ) > với k = 1, 2, , n A biến cố có P (A) > Khi P (Ek /A) = 1.4 P (Ek ).P (A/Ek ) , ∀1 ≤ k ≤ n n P (E )P (A/E ) i i i=1 Biến ngẫu nhiên Định nghĩa 1.8 Cho không gian xác suất (Ω, F, P ) Ánh xạ X : Ω → R gọi Biến ngẫu nhiên X hàm đo được, tức với a ∈ R, {ω ∈ Ω : X(ω) < a} ∈ F 1.4.1 Hàm phân phối xác suất Định nghĩa 1.9 Cho biến ngẫu nhiên X , hàm số F (x) = P (X < x), x ∈ R gọi hàm phân phối xác suất X 1.4.2 Biến ngẫu nhiên độc lập Cho n Biến ngẫu nhiên X1 , , Xn xác định không gian mẫu có hàm phân phối xác suất F1 (x), , Fn (x) Ta nói biến ngẫu nhiênX1 , , Xn độc lập với x1 , , xn ∈ R ta có P (X1 < x1 , , Xn < xn ) = F1 (x1 ) Fn (xn ) 1.4.3 Biến ngẫu nhiên rời rạc biến ngẫu nhiên liên tục Ta gọi X biến ngẫu nhiên rời rạc, có miền giá trị hữu hạn vô hạn đếm Nếu biến ngẫu nhiên X có miền giá trị x1 , x2 , , xn bảng số X P x1 P (X = x1 ) x2 P (X = x2 ) xn P (X = xn ) gọi bảng phân phối xác suất biến ngẫu nhiên X Xích Markov ứng dụng SVTH: Phan Thị Hân Biến ngẫu nhiên X gọi biến ngẫu nhiên liên tục tồn hàm số f : R → R khả tích khơng âm cho với y ∈ R, y F (y) = f (x)dx, −∞ : F (y) hàm phân phối X Khi đó, f (x) gọi hàm mật độ X 1.5 1.5.1 Các tham số đặc trưng Biến ngẫu nhiên Kỳ vọng toán Cho biến ngẫu nhiên X xác định không gian xác suất (Ω; F; P ), khả tích Lebesgue Kì vọng X , kí hiệu E(X), xác định E(X) = XdP Ω + Nếu Biến ngẫu nhiên rời rạc X có bảng phân phối xác suất X P E(X) = x1 p1 x2 p2 xn pn x k pk k + Nếu Biến ngẫu nhiên liên tục X có hàm mật độ f (x) thì: +∞ E(X) = xf (x)dx −∞ 1.5.2 Phương sai Cho Biến ngẫu nhiên X , số V ar(X) = E(X − E(X))2 gọi phương sai Biến ngẫu nhiên X + Nếu Biến ngẫu nhiên rời rạc X có bảng phân phối xác suất X P x1 p1 x2 p2 xn pn x2 k p k − V ar(X) = k xk p k k Xích Markov ứng dụng SVTH: Phan Thị Hân Định lý 2.25 Cho q trình Markov với nửa nhóm P (t), t > xác suất chuyển Gọi A ma trận cực vi nửa nhóm Khi ta có P (t) = P (t)A ↔ Pij (t) = Pik (t)akj − Pij (y)aj (2.5) k=j P (t) = AP (t) ↔ Pij (t) = Pkj aik − Pij (y)ai (2.6) k=i Phương trình (2.5) gọi phương trình thuận phương trình (2.6) gọi phương trình ngược Kolmogorov Chứng minh Ta có tính chất nửa nhóm P (t + h) − P (t) P (t)(P (h) − I) = h h (P (h) − I)P (t) = h Cho h → ta có điều cần chứng minh Phương trình thuận nghịch phương trình vi phân với điều kiện ban đầu P (0) = I giải phương pháp quen thuộc lý thuyết phương trình vi phân Ta có kết sau: Định lý 2.26 Phương trình (2.5) phương trình (2.6) có nghiệm ∞ P (t) = e At =I+ n=1 An tn n! Ngược lại cho trước ma trận A = aij cấp d × d thỏa mãn aij ≥ i = j aij = Đặt j P (t) = eAt Khi tồn q trình Markov với d trạng thái nhận P (t) làm họ ma trận xác suất chuyển Ví dụ 2.27 (Q trình Markov hai trạng thái) Xét trình Markov với hai trạng thái E = {0, 1} ( Chẳng hạn ta xét tiến triển theo thời gian hệ thống trạng thái biểu thị trạng thái trì tuệ cịn trạng thái biểu thị trạng thái làm việc tích 25 Xích Markov ứng dụng SVTH: Phan Thị Hân cực hệ thống) Giả sử cường độ chuyển từ trạng thái sang trạng thái λ cường độ chuyển từ trạng thái sang trạng thái µ Ma trận cực vi A= −λ λ µ −µ Ta tìm cơng thức cho xác suất chuyển Pij (t) cách giải phương tình ngược Phương trình (2.6) cho ta P00 (t) = −λP00 (t) + λP10 (t) P10 (t) = µP00 (t) − µP10 (t) Trừ hai phương trình vế với vế ta có: (P00 (t) − P10 (t)) = −(λ + µ)(P00 (t) − P10 (t)) ⇒ P00 (t) − P10 (t) = (P00 (0) − P10 (0))e−(λ+µ)t = e−(λ+µ)t Vậy P00 (t) = −λ(P00 (t) − P10 (t)) = −λe−(λ+µ)t t ⇒ P00 (t) = P00 (0) + P00 (s)ds λ (1 − e−(λ+µ)t ) µ+λ µ λ −(λ+µ)t = + e µ+λ µ+λ =1− Từ P10 (t) = P00 (t) − e−(λ+µ)t µ µ −(λ+µ)t = − e µ+λ µ+λ Hồn tồn tương tự từ phương trình (2.6) ta có P01 (t) = −λP01 (t) + λP11 (t) P11 (t) = µP01 (t) − µP11 (t) Ta tìm λ λ −(λ+µ)t − e µ+λ µ+λ λ µ −(λ+µ)t P11 (t) = + e µ+λ µ+λ P01 (t) = 26 Xích Markov ứng dụng SVTH: Phan Thị Hân Bây xét dáng điệu tiệm cận ma trận xác suất chuyển P (t) t → ∞ Cho q trình Markov X(t) với khơng gian trạng thái E hữu hạn ma trận xác suất chuyển P (t) = Pij (t) Ta nói q trình tối giản Pij ≥ với i, j ∈ E (Chú ý ta khơng có khái niệm "chu kì trạng thái" xích Markov) Định lý 2.28 Cho q trình Markov tối giản (Xt ) với không gian trạng thái E = 1, 2, , d hữu hạn ma trận xác suất chuyển P (t) = Pij (t) Khi với i, j ∈ E tồn giới hạn hữu hạn lim Pij (t) = πj t→∞ phụ thuộc j khơng phụ thuộc i Thêm vào π = (π1 , π2 , , πd ) phân bố xác suất thỏa mãn phương trình ∀t > π = πP (t), Chứng minh Với h > cố định P (h) ma trận xác suất chuyển với phần tử dương, Vậy theo Định lý 2.16 ta có tồn lim P (nh) = lim P (h)n = Π(h) n→∞ n→∞ Π(h) ma trận với dịng π(h) Thêm vào π(h) = (π1 (h), π2 (h), , πd (h)) phân bố xác suất thỏa mãn phương trình π(h) = π(h)P (h), ∀t > Mặt khác ta biết P(t) liên tục [0, ∞) Trong giải tích ta biết hàm P (t) liên tục cho lim P (nh) tồn với h > kéo theo lim P (t) tồn n→∞ t→∞ Vậy ta kết luận tồn lim P (t) = Π t→∞ với Π = Π(h)với h > Từ suy kết luận định lý Ví dụ 2.29 Trong ví dụ q trình Markov hai trạng thái từ biểu thức Pij ta có lim Pij (t) = πj t→∞ với π0 = µ , λ+µ π1 = λ λ+µ Nếu chọn π = (π0 , π1 ) phân bố đầu trình P (Xt = 0) = P (X0 = 0)P00 (t) + P (X0 = 1)P10 (t) µ = π0 P00 (t) + π1 P10 (t) = π0 = λ+µ Tương tự P (Xt = 1) = π1 = λ λ+µ Như phân bố Xt khơng phụ thuộc vào t 27 Xích Markov ứng dụng 2.3.2 SVTH: Phan Thị Hân Trường hợp không gian trạng thái vô hạn đếm Trong trạng thái không gian trạng thái vô hạn đếm ta thường gặp khó khăn tốn học muốn mở rộng kết trường hợp hữu hạn Ta có kết sau đây: Định lý 2.30 (1) Với i = j giới hạn Pij (t) = aij t→0 t Pij (0) = lim tồn hữu hạn (2) Với i giới hạn Pii (t) − = aii = −ai t→0 t Pii (0) = lim tồn vơ Đối với trường hợp không gian trạng thái hữu hạn ta có aij = hay j aij = j=i Trong trường hợp E vơ hạn nói chung ta có bất đẳng thức sau aij ≤ ∀i ∈ E (2.7) j=i Thật ta có Pij (t) = − Pii (t) j=i n Pij (t) ≤ − Pii (t) với m j=i,j=i Chia hai vế cho t ta đẩy t → ta thu m aij ≤ j=i,j=i Cho m → ∞ ta thu (2.7) Từ sau ta xét trình Markov thỏa mãn điều kiện aij = < ∞ j=i Ma trận vô số chiều A = (aij ) gọi ma trận cực vị trình xét 28 Xích Markov ứng dụng SVTH: Phan Thị Hân Định lý 2.31 Cho trình Markov với P (t) = (Pij (t)) họ ma trận xác suất chuyển Gọi A ma trận cực vi q trình Khi ta có P (t) = P (t)A ⇔ Pij (t) = Pik (t)akj − Pij (y)aj (2.8) k=j P (t) = AP (t) ⇔ Pij (t) = Aik (t)Pkj − Pij (y)aj (2.9) k=j Phương trình (2.8) gọi phương trình thuận phương trình (2.9) gọi phương trình ngược Kolmogorov Chứng minh Ta chứng minh cho phương trình ngược cịn thừa nhận đắn phương trình thuận chứng minh phức tạp tốn học Ta có: Pij (s + t) − Pij (t) = Pik (s)Pkj (t) − Pij (t) k Pik (s)Pkj (t) + (Pii (s) − 1)Pij (t) = (2.10) k=i Với m cố định ta có m lim inf s −1 s→0 Pik (s)Pkj (t) ≥ lim inf s s→0 k=i −1 Pik (s)Pkj (t) k=1,k=i m = aik Pkj (t) k=1,k=i Cho m → ∞ ta lim inf s−1 s→0 Pik (s)Pkj (t) ≥ k=i (2.11) aik Pkj (t) k=i Tiếp theo với m > i ta có ∞ m Pik (s)Pkj (t) ≤ k=i Pik (s)Pkj (t) + k=1,k=i m Pik (s) m+1 m Pik (s)Pkj (t) + − Pii (s) − = k=1,k=i Pik(s) k=1,k=i 29 Xích Markov ứng dụng SVTH: Phan Thị Hân Chia hai vế cho s lấy lim sup ta thu m m lim sup s −1 s→0 aik Pkj (t) + − Pik (s)Pkj (t) ≤ k=1,k=i k=1,k=i k=i Cho m → ∞ ý đến điều kiện aik (s) aij = < ∞ ta j=i lim sup s−1 s→0 Pik (s)Pkj (t) ≤ k=i aik Pkj (t) k=i So sánh với (2.11) ta nhận lim s−1 s→0 Pik (s)Pkj (t) = k=i aik Pkj (t) k=i Trong (2.10) chia hai vế cho s cho s → áp dụng đẳng thức ta suy (2.9) Bây xét dáng điệu tiệm cận ma trận xác suất chuyển P (t) t → ∞ Cho trình Markov (Xt ) với không gian trạng thái E vô hạn đếm ma trận xác suất chuyển P (t) = Pij (t) Ta nói q trình tối giản Pij (t) > với i, j ∈ E (Chú ý ta khơng có khái niệm "chu kỳ trạng thái" xích Markov) Định lý 2.32 Cho q trình Markov tối giản (Xt )với không gian trạng thái E = 1, 2, , đếm ma trận xác suất chuyển P (t) = Pij (t) Khi với i, j ∈ E tồn giới hạn hữu hạn lim Pij (t) = πj t→∞ phụ thuộc j không phụ thuộc i Thêm vào giới hạn π = (π1 , π2 , , ) tất không πj = ∀j ∈ E tất dương lập thành phân bố xác suất Phân bố gọi phân bố giới hạn trình πj > ∀j ∈ E, πj = j Định lý 2.33 Phân bố giới hạn π = (π1 , π2 , , ) thỏa mãn hệ phương trình tuyến tính sau π j aj = πk akj k=j Chứng minh Từ phương trình C-K Pij (s + t) = Pik (s)Pkj (t) k∈E 30 Xích Markov ứng dụng SVTH: Phan Thị Hân cho s → ∞ ta thu πj = πk Pkj (t) k Suy πj (1 − Pjj (t)) = πk Pkj (t) k=j Chia hai vế cho t cho t → ta hệ thức cần chứng minh Ví dụ 2.34 (Q trình sinh chết) Xét q trình Markov (Xt ) với khơng gian trạng thái E = 0, 1, 2, (Xt ) gọi trình sinh chết xác suất chuyển Pij (t) thảo mãn điều kiện sau Pi,i+1 (t) = λi t + o(t) ∀i ≥ t → Pi,i−1 (t) = µi t + o(t) ∀i ≥ t → Pii (t) = − (λi + µi )t + o(t), ∀i ≥ t → Pij (t) = o(t) với |i − j| > Pij (0) = δij µi = 0, λ0 > 0, µi , λi > 0, i = 1, 2, Q trình Xt sử dụng để mơ tả phát triển quần thể A Mỗi cá thể quần thể A điểm sinh thể bị chết Ký hiệu Xt số lượng thể quần thể thời điểm t Các điều kiện có nghĩa thời điểm t quần thể có i cá thể khoảng thời gian bé (s, s + t) xác suất để số lượng quần thể tăng thêm cá thể λi t + o(t) xác suất để giảm cá thể µi t + o(t), xác suất để tăng giảm hai cá thể o(t) Các tham số λi , i = 0, 1, gọi cường độ sinh, tham số µi , i = 1, 2, gọi cường độ chết Ma trận cực vi A = (aij ) có dạng ai,i+1 = λi ai,i−1 = µi , = λi + µi , aij = |i − j| > 31 Xích Markov ứng dụng tức SVTH: Phan Thị Hân −λ0 λ0 0 µ −(λ + µ ) λ 0  1   µ2 −(λ2 + µ2 ) λ2  A=    Phương trình thuận (2.8) trường hợp có dạng Pij (t) = Pi,j−1 (t)λj−1 + Pi,i+1 (t)µj+1 − (λj + µj )Pij (t) (2.12) Pi0 (t) = −λ0 Pi0 (t) + µ1 Pi1 (t) (2.13) Giả sử q trình sinh chết có phân bố giới hạn π = (πi ) Từ định lý 2.35 ta có λ π = µ π1 (λk + µk )πk = λk−1 πk−1 + µk+1 πk+1 Đặt ak = µk πk − λk−1 πk−1 Từ phương trình suy ak = ak+1 Vì a1 = µ1 π1 − λ0 π0 = nên suy ak = ∀k hay µk πk = λk−1 πk−1 ∀k = 1, 2, λk−1 ⇒ πk = πk−1 µk λk−1 λk−2 λ0 ⇒ πk = π0 µk µk−1 µ1 Vì k (2.14) (2.15) (2.16) πk = nên từ (1.14) suy ∞ = π0 + π0 k=1 λk−1 λk−2 λ0 µk µk−1 µ1 Vậy điều kiện cần để có phân bố giới hạn chuỗi ∞ k=1 λk−1 λk−2 λ0 µk µk−1 µ1 (2.17) hội tụ ngược lại chứng minh điều kiện chuỗi (2.17) hội tụ điều kiện đủ để q trình có phân bố giới hạn Ta xét số ví dụ Ví dụ 2.35 (Một mơ hình đơn giản lý thuyết xếp hàng) Giả sử cửa hàng dịch vụ A có người phục vụ Khách đến xếp hàng đợi đến lượt phục vụ cửa hàng phục vụ khách Khi cửa hàng phục vụ khách khách đến xếp hàng chờ Khách phục vụ xong rời khỏi cửa hàng Giả sử xác suất để khoảng thời gian (t, t + h) có khách vào hàng λh + o(h) 32 Xích Markov ứng dụng SVTH: Phan Thị Hân giả sử thời điểm t khách phục vụ xác suất để phục vụ hoàn tất trong thời gian (t, t + h) µh + o(h) Gọi Xt số khách có mặt cửa hàng thời điểm t (tức số khách xếp hàng chờ phục vụ cộng với khách phục vụ thời đểm t) Dễ thấy trình sinh chết với cường độ sinh cường độ chết số λi = λ, µi = µ Khi chuỗi (2.17) trở thành chuỗi ∞ k=1 λ ( )k µ Vậy: Q trình có phân bố giới hạn ( phân bố dừng) λ < µ Khi ta có 1− πk = Tỷ số r = λ µ λ µ λ ( )k µ gọi cường độ giải phóng hàng Nếu r < t lớn, số khách có mặt cửa hàng Xt ĐLNN có phân bố hình học P (Xt = k) = (1 − r)rk Suy số khách có mặt trung bình EXt = 1−r Trong thái cực khác, ta giả sử cửa hàng có nhiều nhân viên phục vụ cho người khách đến phục vụ Gọi Xt số khách có mặt cửa hàng thời điểm t ( tức số khách phục vụ thời diểm t) ta có Pi,i+1 (h) = P Xt+h = i + 1|Xt = i = λh + o(h), Pi,i−1 (h) = P (có khách i khách phục vụ xong) = i [µh + o(h)][1 − µh + o(h)]i−1 = iµh + o(h) Vậy Xt trình sinh chết với λi = λ, µi = iµ Khi cơng thức (2.14) cho ta πk = λ k ( ) π0 k! µ chuỗi (2.17) trở thành chuỗi ∞ k=1 λ k ( ) = eλ/µ − k! µ Từ điều kiện ∞ πk = π0 eλ/µ 1= k=0 33 Xích Markov ứng dụng SVTH: Phan Thị Hân rút πk = e−r rk k! Như t đủ lớn Xt có phân bố Poisson với tham số r = µλ Giá trị trung bình Xt t đủ lớn r, tỷ số thời gian phục vụ trung bình 1/µ với khoảng thời gian trung bình xuất khách 1/λ Một kết luận phù hợp với thực tế! Ví dụ 2.36 (Q trình sinh túy) Nếu trình sinh chết mà khơng xảy chết ta gọi q trình sinh túy Như trình sinh túy ta có µj = ∀j ≥ Pij (t) = j < i Phương trình thuận (2.12) trở thành Pij (t) = λj−1 Pi,j−1 − λj Pij (t) (2.18) Pii (t) = −λi Pii (t) (2.19) Vì Pii (0) = ta suy Pii (t) = e−λi t (2.20) Để giải phương trình vi phân (2.18) ta có bổ đề sau: Bổ đề 2.37 Phương trình vi phân f (t) = −λf (t) + g(t) (2.21) có nghiệm t f (t) = f (0)e−λt + e−λ(t−s) g(s)ds Từ bổ đề phương trình (2.18) ta có t e−λj (t−s) Pi,j−1 (s)ds Pij (t) = λj−1 (2.22) Ta sử dụng (2.20) (2.22) công thức truy hồi để tìm Pij (t) với j = i + 1, i + 2, Chẳng hạn ta có t e−λi+1 (t−s) e−λi s ds Pi,i+1 (t) = λi Suy Pi,i+1 (t) = λi −λi t λi+1 −λi (e λi te−λi t − e−λi+1 t ) λi+1 = λi λi+1 = λi (2.23) 34 Xích Markov ứng dụng SVTH: Phan Thị Hân Ví dụ 2.38 (Q trình sinh tuyến tính) Xét tăng trưởng cá thể quẩn thể Giả sử cá thể quẩn thể độc lập với khoảng thời gian (t, t + h) có xác suất sinh thêm cá thể λh + o(h) xác suất để không sinh thêm cá thể khoảng thời gian (t, t + h) − λh + o(h) Gọi Xt số lượng cá thể thời điểm t Xt trình sinh túy Pii (h) = P {Xt+h = i|Xt = i} = [1 − λh + o(h)]i = − λih + o(h), Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i} = i [λh + o(h)][1 − λh + o(h)]i−1 = iλh + o(h) Như cường độ sinh λi = λi Từ (2.23) ta có Pi,i+1 (t) = ie−iλt (1 − e−λt ) Để tính Pi,i+2 (t) ta đặt j = i + (2.22) thu t e−(i+2)λ(t−s) e−iλs (1 − e−λs )ds Pi,i+2 (t) = (i + 1)iλ t = (i + 1)iλe−(i+2)λt e2λi (1 − e−λs )ds t = (i + 1)iλe−(i+2)λt = (i + 1)iλe−(i+2)λt = eλt (eλs − 1)ds (eλt − 1)2 2λ i + −iλt e (1 − e−λt )2 Tiếp tục áp dụng công thức truy hồi (2.22) quy nạp ta thu Pi,i+k (t) = i + k − −iλt e (1 − e−λt )k k Như gia tăng dân số Xs+t − Xs khoảng thời gian t có phân bố nhị thức âm với tham số p = e−λt r = i, i = Xs Thành thử E[Xs+t − Xs |Xs = i] = ieλt (1 − e−λt ) Q trình sinh tuyến tính đơi cịn gọi q trình Yule, nhà toán học người Anh Yule đưa năm 1924 35 Xích Markov ứng dụng SVTH: Phan Thị Hân Ví dụ 2.39 (Q trình Poisson) Xét q trình sinh túy Xt với cường độ sinh số λi = λ , i = 0, 1, Khi cơng thức (2.22) trở thành t e−λ(t−s) Pi,j−1 (s)ds Pij (t) = λ (2.24) Từ công thức (2.23) ta thu Pi,i+1 (t) = λte−λt Để tính Pi,i+2 (t) ta đặt j = i + (2.24) thu t e−λ(t−s) e−λs ds Pi,i+2 (t) = λ t = λ2 e−λt sds = (λ)2 −λt e Tiếp tục áp dụng công thức truy hồi (2.24) quy nạp ta thu Pi,i+k (t) = (λt)k −λt e k! Như gia tăng dân số Xs+t − Xs khoảng thời gian t có phân bố Poisson với tham số λt Một cách tổng quát ta chứng minh với < s < t ĐLNN Xt − Xs có phân bố Poisson với tham số λ(t − s) Thật ta có ∞ P (Xt − Xs = k) = P (Xs = i)P (Xt = k + i|Xs = i) i=0 ∞ P (Xs = i)Pi,i+k (t − s) = i=0 ∞ = P (Xs = i) i=0 (λ(t − s))k −λ(t−s) e k! (λ(t − s))k −λ(t−s) = e k! = (λ(t − s))k k! ∞ P (Xs = i) i=0 e−λ(t−s) Tiếp theo ta chứng minh Xt q trình ngẫu nhiên có gia số độc lập 36 Xích Markov ứng dụng SVTH: Phan Thị Hân Thật vậy, với ≤ t1 < t2 < < tn ta có P (Xt2 − Xt1 = i1 , , Xtn − Xtn−1 = in−1 ) ∞ P (Xt1 = i)P0i1 (t2 − t1 ) P0in−1 (tn − tn−1 ) = i=0 ∞ = P0i1 (t2 − t1 ) P0 in−1 (tn − tn−1 ) P (Xt1 = i) i=0 = P0i1 (t2 − t1 ) P0 in−1 (tn − tn−1 ) = P (Xt2 − Xt1 = i1 ) P (Xtn − Xtn−1 = in−1 ) Thành thử Xt2 − Xt1 , , Xtn − Xtn−1 ĐLNN độc lập Quá trình Xt , t ≥ gọi trình Poisson với cường độ λ > thỏa mãn điều kiện sau X0 = Với ≤ s < t ĐLNN Xt − Xs cố phân bố Poisson với tham số λ(t − s) Xt q trình ngẫu nhiên có gia số độc lập Như ta chứng minh trình sinh túy với cường độ sinh số λ q trình Poisson với cường độ λ > Q trình Poisson có nhiều ứng dụng thực tế Nó dùng để mơ tả số lần xuất kiện ngẫu nhiên thời khoảng thời gian t, chẳng hạn số lần gọi đến tổng đài, số khách hàng đến cửa hàng đó, số lần hỏng hóc đường dây, 37 KẾT LUẬN Sau trình tiếp cận, tập trung nghiên cứu xích Markov ứng dụng, luận văn đạt kết sau: Hệ thống lại số vấn đề lý thuyết xác suất Trình bày định nghĩa bản, định lý, ví dụ minh họa xích Markov với thời gian hữu hạn xích Markov với thời gian liên tục Tìm hiểu ứng dụng xích Markov: tìm cân thị phần, sách thay vật tư thiết bị 38 TÀI LIỆU THAM KHẢO [1] Nguyễn Viết Phú Nguyễn Duy Tiến (2007), Cơ sở lý thuyết xác suất, NXB ĐHQG Hà Nội [2] Nguyễn Duy Tiến Vũ Viết Yên (2009), Lý thuyết xác suất, NXB Giáo dục [3] Đặng Hùng Thắng (2006), Q trình ngẫu nhiên tính tốn ngẫu nhiên, NXB ĐHQG Hà Nội 39 ... Xích Markov ứng dụng 11 2.1 Xích Markov với thời gian rời rạc 11 2.2 Ứng dụng xích Markov 20 2.3 Xích Markov với thời gian... số ứng dụng xích Markov Đối tượng nghiên cứu Đối tượng nghiên cứu xích Markov với thời gian rời rạc xích Markov với thời gian liên tục Phạm vi nghiên cứu Phạm vi nghiên cứu luận văn tập trung xích. .. Luận văn trình bày về: ” Xích Markov ứng dụng? ?? Mục đích nghiên cứu Nghiên cứu khái niệm xích Markov, ma trận xác suất chuyển trạng thái, phân bố dừng, phân bố giới hạn xích Markov rời rạc theo thời