MơC LơC XÝch Markov 1.1 Ma trËn x¸c st chun cđa xÝch Markov 1.2 XÝch Markov ergodic vµ ®Þnh lÝ Markov 3 Xích Markov hữu hạn 2.1 Phân loại trạng thái cña xÝch Markov 2.2 XÝch Markov hót 2.2.1 Thời gian trung bình để hệ thống đạt tới trạng thái hút 2.2.2 Xác suất để hệ thống đạt tới trạng thái hút 2.3 Xích Markov ®Ịu 2.4 øng dông vào môn tennix 2.5 Một vài lệnh trợ giúp to¸n x¸c suÊt 17 17 20 23 25 27 30 34 Qu¸ trình ngẫu nhiên xích markov Nguyễn Ngọc Cừ Tài liệu dùng cho học sinh lớp cao học xây dựng ngành kĩ thuật công trình tr-ờng Đại học xây dựng Ch-ơng Xích Markov 1.1 Ma trận x¸c st chun cđa xÝch Markov XÐt mét hƯ thèng trạng thái vật lí, trạng thái chuyển đổi ngẫu nhiên theo thời gian Giả sử tập hợp trạng thái rời rạc không làm tính tổng quát ta kí hiệu tập tập hợp số tự nhiên (N = {0, 1, , n, }) Kí hiệu n trạng thái hệ thống thời điểm rời rạc t = n (Biến cố ngẫu nhiên {n = i} biến cố thời điểm t = n, hệ thống trạng thái i) Định nghĩa 1.1.1 Dãy đại l-ợng ngẫu nhiên , , , , n, (đồng thời dãy trạng thái theo thời gian hệ thống) đ-ợc gọi xích Markov, với số tự nhiên n, k0 , k1 , k2 , , kn tïy ý P (ξn+1 = k/ξ0 = k0 , ξ1 = k1 , ξ2 = k2 , , ξn = kn ) = P (ξn+1 = k/ξn = kn ) (1.1) Xem t = n thời điểm tại, t = n + t-ơng lai t < n khứ Điều kiện (1.1) giải thích nh- sau: trạng thái tr-ớc hệ thống ảnh h-ởng lên trạng thái sau hệ thống thông qua trạng thái - trạng thái thời điểm n n Ta chứng minh, với số tù nhiªn n1 < n2 < < nr trạng thái ki tùy ý đẳng thức (1.1) mở réng thµnh P (ξn+1 = k/ξn1 = k1 , ξn2 = k2 , , ξnr = kr ) = P (ξn+1 = k/ξnr = kr ) Ch-¬ng I XÝch Markov P (m+n = k/n = j) xác suất để hệ thống từ trạng thái j thời điểm t = n chuyển vào trạng thái k thời điểm t = m + n Xác suất đ-ợc gọi xác suất chuyển sau m b-ớc, xác suất nói chung phụ thuộc vào m, n, j, k Nếu tất xác suất chuyển sau m b-ớc không phụ thuộc vào thời điểm n, kí hiệu (m) Pjk = P (ξm+n = k/ξn = j), xích Markov đ-ợc gọi Trong mục xét xích Markov Kí hiệu m ma trận xác suất chuyển sau m b-íc (m) (m) (m) P00 P01 P02 · · · (m) (m) (m) P10 P11 P12 · · · (m) Πm = (Pjk ) = (m) (m) (m) P20 P21 P22 · · · ··· ··· ··· ··· DƠ dµng nhËn thÊy matrận xác suất chuyển gồm phần tử số thực không âm, tổng phần tử nằm hàng (m) Pjk = k=0 P (ξm+n = k/ξn = j) = k=0 §Ĩ thn tiƯn, ta kÝ hiƯu (1) Pjk = Pjk P00 P10 vµ Π = P20 ··· P01 P11 P21 ··· P02 P12 P22 ··· ··· · · · · · · ··· Π lµ ma trËn c¸c x¸c st chun sau b-íc Trong hầu hết ví dụ sau này, nhắc đến xích Markov, ta th-ờng nói đến ma trận x¸c st chun Π cđa nã C¸c vÝ dơ Cho dãy đại l-ợng ngẫu nhiên độc lập phân bố , 2, Đại l-ợng ngẫu nhiên i nhận giá trị 1, với xác suất 12 , 12 t-ơng ứng Khi = 0, ξ1 = η1, ξ2 = η1 + η2 , , ξn = η1 + η2 + · · · + ηn , 1.1 Ma trËn x¸c st chun xích Markov lập thành xích Markov Trạng thái n , n thực chất vị trí điểm ngẫu nhiên sau n b-ớc xuất phát từ 0, b-ớc dịch chuyển sang trái sang phải đơn vị Xích Markov đ-ợc gọi lang thang ngẫu nhiên tập số nguyên (tập trạng thái) trục số Ma trận xác suất chuyển ma trận vô hạn ãã ·· ··· Π = 1 · · · 2 · · · 3· · · · 0 0 · 0 0 ··· 12 12 0 · · · 0 12 12 0 · · · 0 12 12 · · · · · · · · · · · 2 Trong ví dụ -K K t-ờng chắn, nói cách khác lang thang quay ng-ợc trở lại với xác suất trạng thái -K K, n , n tạo thành xích Markov Ma trận xác suất chuyển ma trận vuông cấp 2K + K Π= · · · 0 -K+1 1 ··· 0 · · · · · · · · · K-1 K ··· 0 -K ··· 0 -K + ··· 0 0 -K + · · · · · · · · · · · · · · · ··· 0 ··· K- 2 1 0 ··· K- ··· K Mét ng-êi ®am mê đánh bạc máy đánh bạc Ta kí hiệu trạng thái thua đ-ợc sau lần chơi ng-ời t-ơng ứng với số Máy đ-ợc thiết kế để ng-ời đánh bạc từ trạng thái (thua) sau lần chơi chuyển sang trạng thái (đ-ợc) với xác suất ng-ợc lại từ trạng thái chuyển sang trạng thái với xác suất 1 Ma trận xác suất chuyển 1à Ch-ơng I Xích Markov Ta coi ma trận xác suất chuyển trạng thái thời M-a Nắng tiết m-a nắng M-a Nắng 1à Giả thiết hàng năm sinh viên tr-ờng đại học bị buộc học với xác suất p, xác suất để sinh viên học lại với khoá sau q r xác suất để sinh viên học tiếp Kí hiệu s1 trạng thái sinh viên theo học năm thứ nhất, s2 trạng thái sinh viên theo học năm thứ hai, , s4 trạng thái sinh viên theo học năm thứ t- (năm cuối cùng) Kí hiệu tiếp s5 trạng thái sinh viên bị buộc học s6 trạng thái sinh viên tốt nghiệp tr-ờng Chóng lËp thµnh xÝch Markov víi ma trËn chun: s5 s6 Π = s4 s3 s2 s1 s5 s6 s4 s3 0 0 0 p r q p r q p 0 r p 0 s2 0 0 q r s1 0 0 q Định lí sau cho ta c¸ch tÝnh ma trËn c¸c x¸c st chun sau m b-ớc Định lí 1.1.1 Với xích Markov m = Πm (hay Πm+n = ΠmΠn ) Chøng minh Tr-íc hÕt ta chøng minh Π2 = Π2 hay Π2 = ã Theo định lí xác suất đầy đủ ∞ P (ξ2 = k, ξ0 = j) = P (ξ2 = k/ξ1 = l, ξ0 = j)P (ξ1 = l, ξ0 = j) l=0 ∞ hay P (ξ2 = k/ξ0 = j) = ∞ (2) ∞ l=0 Pjl Plk VËy Π2 = Π · Π = Π2 Nãi c¸ch kh¸c Pjk = l=0 Pjl Plk P (ξ1 = l/ξ0 = j)P (ξ2 = k/ξ1 = l) = l=0 1.1 Ma trËn x¸c st chun cđa xÝch Markov Tổng quát ta chứng minh m = Πr · Πm−r Sư dơng Π2 = Π2 ta ®-ỵc ®.p.c.m ∞ P (ξm+n = k, ξn = j) = P (ξm+n = k/ξn+r = l, ξn = j)P (ξn+r = l, ξn = j), l=0 chia vÕ cho P (n = j) ta đ-ợc P (m+n = k/ξn+r = l)P (ξn+r = l/ξn = j) Suy P (ξm+n = k/ξn = j) = l=0 ∞ (m) Pjk = ∞ (r) P (ξn+r = l/ξn = j)P (ξm+n = k/ξn+r = l) = l=0 (m−r) Pjl Plk l=0 Do d-ới dạng ma trận, đẳng thøc trªn chøng tá Πm = Πr · Πm−r Nhận xét để xác định phân bố n , ta cần biết xác suất phân bố trạng thái ban đầu hệ thống thời điểm t = P0 (k) = P (ξ0 = k) víi mäi k = 0, 1, 2, Khi ®ã theo định lí xác suất đầy đủ Pn (k) = P (ξn = k) = ∞ (n) P (ξn = k/ξ0 = i)P (ξ0 = i) = i=0 P0 (i)Pik (1.2) i=0 KÝ hiÖu Pn = (Pn (0) Pn (1) Pn (2) ã ã ã ) ma trận phân bố xác suất n thời điểm t = n Đây ma trận hàng, công thức viết cã thĨ biĨu diƠn d-íi d¹ng ma trËn Pn = P0 ã n (1.3) Để minh họa cách tÝnh ma trËn c¸c x¸c st chun sau m b-íc, ta xÐt mét vÝ dô sau VÝ dô 1.1.1 Trong ví dụ thứ trình bày xích Markov gồm trạng thái thời tiết m-a nắng, ma trận xác suất chuyển M-a Nắng M-a Nắng 1à = 1 1à Ch-ơng I Xích Markov Với = = ma trËn c¸c x¸c st chun: Π = 2 2 Dễ dàng tính đ-ợc ma trËn c¸c x¸c st chun sau b-íc Π2 = Π, sau b-íc Π3 = Π, , sau n b-íc Πn = Π • Víi λ = ,à = ma trận xác suất chuyển: Π = trËn c¸c x¸c st chun sau b-íc Π2 = Π · Π = Π3 = 8 2 4 suy ma , sau b-ớc Nhìn vào ma trận ta nói: Nếu hôm trời nắng, ngày mai chắn trời m-a, không nắng Nếu hôm trời nắng, ngày trời nắng trở lại với xác suất 12 (khả m-a nắng nh- nhau) Nếu hôm trời nắng, ngày sau trời nắng trở lại với xác suất 14 Bây ta tính n tr-ờng hợp tổng quát (0 , 1) Hai tr-ờng hợp nêu tr-ờng hợp riêng Ma trận xác suất chuyển có ®a thøc ®Ỉc tr-ng p(x) = − λ − µ + (λ + µ − 2)x + x2 = (x − 1)(x + λ + µ − 1) DƠ dàng tính đ-ợc trị riêng véc tơ riêng t-¬ng øng a) λ1 = 1, u1 = (1, 1) b) λ2 = − λ − µ, u2 = (−λ, µ) −λ , mµ µ cét véc tơ riêng u1, u2 nói làm chÐo hãa ma trËn Π KÝ hiÖu Λ= ma trận chéo gồm trị riêng, Π = T ΛT −1 ⇒ 1−λ−µ µ λ Từ suy n = T nT , T = +à 1 Trong đại số tuyến tính ta biết ma trận, kÝ hiƯu T = n Π = λ(1−λ−µ)n +µ λ+µ −µ(1−λ−µ)n +µ λ+µ λ−λ(1−λ−µ)n λ+µ λ+µ(1−λ−µ)n λ+µ NÕu P0 (0) P0 (1) phân bố xác suất ban đầu trạng thái thời tiết m-a nắng áp dụng (1.3) ta tính đ-ợc xác suất để sau n ngày thời tiết m-a hay nắng 1.2 Xích Markov ergodic định lí Markov Xác suất trêi sÏ m-a sau n ngµy Pn (0) = µ (1 − λ − µ)n + λP0 (0) − µP1 (0) +à +à Xác suất trời nắng sau n ngµy λ (1 − λ − µ)n − λP Pn (1) = (0) − µP1 (0) λ+µ λ+µ NhËn xÐt r»ng < λ < vµ < < nên |1 à| < 1, suy lim Pn (0) = n→∞ µ , λ+µ lim Pn (1) = n→∞ λ , λ+µ giới hạn không phụ thuộc vào phân bố xác suất ban đầu P0 (0), P0 (1) Nhận xét đặt vấn đề quan trọng lí thuyết xích Markov: sau thời gian dài xác suất xuất trạng thái không phụ thuộc vào phân bố xác suất ban đầu P0 (0), P0 (1) Chẳng hạn với = 14 , = 12 ví dụ ma trận xác suất chuyển: = 4 M-a = T ΛT −1 = N¾ng 1 −2 0 14 1 −1 1 1 1 3 −→ n → ∞ 1 −2 4n −1 3 Nh- vËy nói (sau thời gian đủ dài), xác suất để ngày trời m-a 23 trời nắng 13 Khả trời m-a lớn gấp đôi trời nắng Các xác suất không phụ thuộc vào thời tiết ngày Từ suy n = 1.2 Xích Markov ergodic định lí Markov Định nghĩa 1.2.1 Xích Markov , , , , n, đ-ợc gọi xích Markov ergodic, với trạng thái i, k tùy ý, giới hạn sau tồn không phụ thuộc vào trạng thái i (n) lim Pik = Pk (1.4) n k=0 đồng thời Pk = Véc tơ = (P1 , P2 , , Pn, ) đ-ợc gọi véc tơ phân bố giới hạn xác suất Ch-ơng I Xích Markov 10 Tr-ờng hợp xích Markov gồm hữu hạn trạng thái, đẳng thức đ-ợc suy từ (1.4) Ta thừa nhận định lí sau k=0 Pk = Định lí 1.2.1 (Định lí Markov) Một xích Markov hữu hạn trạng thái xích Markov ergodic ma trận m có cột gồm phần tử d-ơng, m > số tự nhiên (m) (m) (m) P00 P01 · · · P0N (m) (m) (m) P P11 · · · P1N Πm = 10 ··· ··· ··· ··· (m) (m) (m) PN PN · · · PN N Các nhận xét liên quan đến định lí Markov Đối với xích Markov ergodic, cho dù ban đầu hệ thống đ-ợc phân bố (chẳng hạn hệ thống xuất phát từ trạng thái i), hệ thống chuyển vào trạng thái k với xác suất xấp xỉ Pk n đủ lớn (độc lập với trạng thái xuất phát i ban đầu, với trạng thái k nµo) ThËt vËy theo (1.3) ∞ ∞ (n) P0 (i)Pik Pn (k) = → i=0 P0 (i)Pk = Pk i=0 Từ định lí 1.1.1, ta có N n+1 = Π · Π hay n (n+1) Pik (n) = Pik Pjk j=0 Chun qua giíi h¹n n +, ta đ-ợc N Pk = Pj Pjk j=0 Vậy Pk nghiệm hệ ph-ơng trình tuyến tÝnh X = XΠ, ®ã X = (x0 , x1, , xN ) ẩn cần tìm Ta chứng minh hệ có nghiệm thoả m·n ®iỊu kiƯn N k=0 Pk = ThËt vËy nhân vế N ph-ơng trình xk = j=0 xj Pjk víi Pkm , råi céng l¹i theo k (ở hệ có mét nghiÖm xk = Pk ) N xm = N xk Pkm = k=0 N N (2) xj Pjk Pkm = k=0 j=0 xj Pjk j=0 2.2 XÝch Markov hót 23 Bỉ ®Ị 2.2.1 Víi Qn → O, ma trËn I Q khả nghịch (I Q) −1 Qi = I + Q + Q + ããã = i=0 Định nghĩa 2.2.1 Ma trận N = (I Q)1 đ-ợc gọi ma trận sở xích Markov 2.2.1 Thời gian trung bình để hệ thống đạt tới trạng thái hút Định nghĩa 2.2.2 Gọi T tập trạng thái không quay l¹i, víi j ∈ T , kÝ hiƯu nÕu sau k b-ớc hệ thống trạng thái j, ukj = tr-ờng hợp ng-ợc lại Hiển nhiên ®ã ∞ ukj νj = k=0 lµ sè b-íc ®Ĩ hệ thống b-ớc vào trạng thái j Ta có định lí Định lí 2.2.1 Với i, j T ma trËn {Ei (νj )} = N Ei (νj ) kì vọng j với điều kiện hệ thống trạng thái i (0) Chứng minh Sử dụng định lí kì vọng có điều kiện (với quy -ớc Pii = 1) Ei (νj ) = E(νj /ξ0 = i) = Pik E(νj /ξ0 = i, ξ1 = k) k = Pik E(νj /ξ1 = k) = δij + k Pik Ek (νj ) k∈T Suy ma trËn {Ei (νj )} = I + Q · {Ei(νj )} ⇒ {Ei (νj )} = (I − Q)−1 = N Ch-ơng II Xích Markov hữu hạn 24 Nhận xét định lí khẳng định phần tử ma trận sở N thời gian trung bình để hệ thống chuyển từ trạng thái i sang trạng thái j Chú ý từ định nghĩa j ta thấy t= j , với T tập trạng thái không quay lại, jT thời gian để hệ tới trạng thái không quay lại (kể vị trí đầu) Nhvậy t số b-ớc tr-ớc hệ thống b-ớc vào trạng thái hút Do số b-ớc trung bình để hệ thống chuyển từ trạng thài i vào trạng thái hút Ei (t) = Ei (νj ) j∈T Ng-êi ta th-êng biĨu diƠn thời gian trung bình để hệ thống chuyển vào trạng thái hút d-ới dạng ma trận Kí hiệu e ma trận cột gồm toàn số 1, = {E(t)} = N.e tổng hàng ma trận N Quay lại ví dụ 2.2.2 trên, lang thang ngẫu nhiên tập sè nguyªn T = {1, 2, 3, 4, 5} víi trạng thái hút, tr-ờng hợp p = q = 12 0 0 1 0 12 2 1 1 Π= 01 01 ⇒ Q = 01 0 0 2 0 0 32 12 −1 N = (I − Q) = , τ = 4 12 32 Chóng ta thÊy nÕu hƯ thèng xt ph¸t từ trạng thái 3, trung bình sau b-ớc hệ thống quay trở lại 3, từ trạng thái 4, số b-ớc trung bình để hệ thống trở 12 Điều lí giải trạng thái "quá gần" trạng thái hút Từ véc tơ , ta đọc đ-ợc thời gian trung bình để hệ thống xuất phát từ trạng thái "lang thang" trạng thái 2, 3, b-ớc Đó số b-ớc trung bình để hệ thống bị hút từ trạng thái 2.2 XÝch Markov hót 25 17 75 65 45 VÝ dô 2.2.2, tr-êng hỵp p = 23 , q = 13 , N = 35 95 65 , τ = 18 11 5 5 Nh- vËy trung b×nh sau b-ớc hệ thống từ trạng thái lại quay lại (0) trạng thái (Chú ý quy -íc Pii = 1, sè b-íc trung b×nh tõ trạng thái kể tới vị trí ban đầu) Cũng từ ma trận N , ta đọc đ-ợc hệ thống từ trạng thái chuyển sang trạng thái trung bình 65 b-ớc Hệ thống từ trạng thái chuyển sang trạng thái trung bình 15 b-ớc Điều phù hợp với thực tế: với xác suất cao hơn, từ trạng thái hệ thống dễ chuyển sang trạng thái hút (trạng thái 5) Bài tập Chứng minh tr-ờng hợp tổng quát ma trận sở vÝ dô 2.2.2 p+q2 p p2 p2 +q2 p2 +q2 p2 +q2 q p N = (I − Q)−1 = p2 +q2 p2 +q p2 +q2 q2 q q+p2 2 2 2 p +q p +q p +q 2.2.2 Xác suất để hệ thống đạt tới trạng thái hút Định lí 2.2.2 Gọi T tập trạng thái không quay lại T tập trạng thái hút Kí hiệu bij , i T, j T xác suất để hệ thống từ trạng thái i (không quay lại) tới trạng thái j (trạng thái hút) thời điểm Khi B = {bij } = NR, i ∈ T, j ∈ T Chøng minh Ta biÕt r»ng bkj = nÕu k ∈ T , suy bij = Pij + Pik bkj hay B = R + QB ⇔ B = (I − Q)−1 R = NR kT Quay lại ví dụ 2.2.2, tr-ờng hợp p = q = 12 1 3 3 1 2 R = 0 , N = 1 ⇒ B = NR = 21 1 32 12 1 Đây kết nhắc đến cuối ví dụ 2.2.2, xác suất giới hạn (2.2) Ch-ơng II Xích Markov hữu hạn 26 Tr-ờng hợp p = 23 , q = 13 7 1 R = 0 , N = 35 23 5 6 7 15 ⇒ B = NR = 51 15 15 4 14 15 I , phần tử bij B ma trận xác suất để hệ thống từ trạng thái i tới trạng thái j Khi hiển nhiên limn n = B ∗ Chó ý r»ng nÕu ta më réng ma trËn B ∗ = ΠB ∗ = I R Q I B I R + QB = 0 0 3/4 1/4 0 1/2 1/2 0 1/4 3/4 0 4 0 0 0 = Víi vÝ dơ 2.2.2, tr-êng hỵp p = q = B∗ = 1 I B = B∗ VÝ dô 2.2.3 XÐt mét vÝ dụ khác Giả thiết hàng năm sinh viên tr-ờng đại học bị buộc học với xác suất p, xác suất để sinh viên học lại với khoá sau q r xác suất để sinh viên học tiếp Kí hiệu s1 trạng thái sinh viên theo học năm thứ nhất, s2 trạng thái sinh viên theo học năm thứ hai, , s4 trạng thái sinh viên theo học năm thứ t- (năm cuối cùng) Kí hiệu tiếp s5 trạng thái sinh viên bị buộc học s6 trạng thái sinh viên tốt nghiệp tr-ờng Chúng lËp thµnh xÝch Markov víi ma trËn chun: s5 s6 s4 s3 s2 s1 s5 0 0 s6 0 0 0 Π = s4 p r q 0 0 s3 p r q 0 s2 p 0 r q 0 s1 p 0 r q 2.3 XÝch Markov ®Ịu 27 Suy ma trËn c¬ së N = (I − Q)−1 = Víi p = 0, 2, p+r r (p+r) r2 (p+r)3 r3 (p+r)4 p+r r (p+r)2 r2 (p+r)3 0 p+r r (p+r)2 0 p+r q = 0, 1, r = 0, 0 s4 1, 111 0 s 0, 864 1, 111 N = 3 s2 0, 672 0, 864 1, 111 s1 0, 523 0, 672 0, 864 1, 111 C¸c số ma trận N khẳng định hệ thống không đạt tới, chẳng hạn sinh viên năm thứ ba không quay năm thứ thø hai 0.2 0.7 0.2 0.7 1, 111 0 0.2 0 ⇒ B = NR = 0.2 0, 864 1, 111 R= 0.2 0.2 0, 672 0, 864 1, 111 0.2 0.2 0, 523 0, 672 0, 864 1, 111 Ma trËn B cho ta xác suất để học sinh bị buộc học hc tèt nghiƯp tr-êng s6 s5 s4 0.22 0.78 B = s3 0.395 0.605 s2 0.53 0.47 s1 0.634 0.366 Nhìn vào kết ta thấy xác suất để học sinh năm thứ bị buộc học cao: 0.634, nh- xác suất để học sinh năm cuối tèt nghiƯp tr-êng b»ng 0.78 2.3 XÝch Markov ®Ịu Định nghĩa 2.3.1 Một xích Markov hữu hạn trạng thái với ma trận xác suất chuyển đ-ợc gọi xích Markov nếu tồn số tự nhiên N cho phần tử ma trận N khác Ch-ơng II Xích Markov hữu hạn 28 Nhận xét với xích Markov đều, tất trạng thái trạng thái quay trở lại Từ định lí 1.2.1 suy Định lí 2.3.1 Đối với xích Markov đều, lim n = A (A ma trận xác n suất có hàng giống nhau) Nếu kÝ hiÖu α = (α1, α2 , , αk ) hàng A, = , A = A = A Các kết liên quan đến xích Markov đ-ợc chứng minh t-ơng tự nhxích Markov hút Trong mục đ-a cách tính thời gian trung bình mij = Ei (fj ) để hệ thống chuyển từ trạng thái i trạng thái j cách sử dụng kết từ xích Markov hút Ví dụ 2.3.1 Các trạng thái M-a, Nắng, Tuyết lập thành xích Markov với ma trận xác suất chuyển M-a = Nắng Tuyết M-a N¾ng TuyÕt 1 2 2 1 2 Ta dễ dàng chứng minh xích Markov Do ma trận chuyển xác suất hai lần stochastic ( tồng phần tử nằm cột 1) Khi giới hạn xác suất phân bố tập trạng thái 1 (n) (n) (n) P1 = lim Pi1 = , P2 = lim Pi2 = , P3 = lim Pi3 = n→∞ n→∞ n→∞ 3 1 1 Nh- vËy lim Πn = 31 n→∞ 3 3 1 3 Điều lần khẳng định xích Markov Theo định lí 2.1.1, thời gian trung bình để hệ thống chuyển từ trạng thái (m-a, nắng tuyết) quay lại trạng thái ngày 2.3 XÝch Markov ®Ịu 29 XÐt xÝch Markov gồm trạng thái M-a, Nắng, Tuyết với ma trËn c¸c x¸c st chun kh¸c vÝ dơ tr-íc M-a Π= N¾ng TuyÕt M-a N¾ng TuyÕt 5 5 5 Bạn đọc tự tính đ-ợc phân bố xác suất giới hạn tập trạng 16 , 21 , 21 ) Tõ c¸c xác suất giới hạn này, thái M-a, Nắng, Tuyết lần l-ợt là: ( 21 nh- ví dụ tr-ớc, sử dụng định lí 2.1.1, ta tìm đ-ợc thời gian trung bình để hệ thống chuyển từ trạng thái vỊ chÝnh nã B©y giê ta cã thĨ tÝnh thêi gian trung bình để hệ thống chuyển từ trạng thái đến trạng thái khác cách lập xich Markov hút t-ơng ứng với xich Markov ban đầu Xem M-a trạng thái hút có ma trận xác suất chuyển d-ới đây, t-ơng ứng với xich Markov ®· cho M-a Π= N¾ng TuyÕt Khi ®ã ma trËn Q = N¾ng TuyÕt N = (I − Q)−1 = 5 5 20 25 M-a N¾ng TuyÕt 0 5 5 vµ ma trËn c¬ së cđa Π ⇒ τ = {E(t)} = N · e = 25 30 Nh- vËy tõ tr¹ng thái Nắng, trung bình phải đợi 25 ngày để có ngày M-a gần từ trạng thái Tuyết, trung bình phải đợi 30 ngày để có ngày M-a Ch-ơng II Xích Markov hữu hạn 30 Để tính thời gian trung bình từ trạng thái M-a, Tuyết trạng thái Nắng, ta xem Nắng trạng thái hót cđa xÝch Markov hót t-¬ng øng T-¬ng tù nh- Q= M-a Tuyết ⇒N = 0 ⇒ τ = {E(t)} = N · e = 5 Nh- trung bình phải đợi ngày để thời tiết chuyển từ Tuyết sang Nắng, nhiên cần ngày thời tiết chuyển từ M-a sang Nắng T-ơng tự xem Tuyết trạng thái hút, ta có kết Q= M-a N¾ng 5 ⇒N = 25 16 16 5 ⇒ τ = {E(t)} = N · e = 45 16 25 16 Nhận xét với xích Markov đều, xác suất bij để hệ thống từ trạng thái i sang trạng thái j Ta kiểm tra điều định lí 2.2.2 Thật tr-ờng hợp M-a trạng thái hút, ma trËn R = biÕt ®ã N = Ta ®· 20 VËy 25 B =N ·R = 2.4 5 20 25 = ứng dụng vào môn tennix XÐt mét øng dơng m«n tennix Tr-íc hÕt ta xét ván tennix hai đấu thủ A B, xác suất để A thắng B lần giao bóng p (do xác suất B thắng A lần giao bóng q = p) Hình vẽ sau minh hoạ trạng thái ván tennix hai đấu thủ 2.4 ứng dụng vào môn tennix 31 Các trạng thái 30-40, 30-30, 40-30 đồng với trạng thái "lợi B", "đều" "lợi A" Có thể chia toàn trạng thái ván tennix thành trình: trình "chuẩn bị" trình lang thang ngẫu nhiên Quá trình lang thang ngẫu nhiên bao gồm trạng thái biểu diễn sơ đồ dòng cùng: "B thắng", "lợi B", "đều","lợi A", "A thắng" Chúng lập thành xích Markov hút với trạng thái hút "B thắng" "A thắng" Quá trình chuẩn bị tạo phân bố ban đầu = (c1 , c2, c3 , c4 , c5) cho trạng thái kể Đây thực chất toán xét ví dụ 2.2.2: toán lang thang ngẫu nhiên tập số nguyªn T = {1, 2, 3, 4, 5} víi "B thắng" Ch-ơng II Xích Markov hữu hạn 32 "A thắng" - trạng thái hút Ma trËn chun cã d¹ng nh- sau | 0 1 | 0 5 −− −− −− −− −− I O = Π= | p R Q 2 q | q p 3 0 p | q q 0 p ®ã Q = q p , R = 0 0 p q p p2 1−pq 1−2pq 1−2pq 1−2pq q(1 − pq) p3 q p q2 p2 N = 1−2pq 1−2pq 1−2pq , B = NR = − 2pq q 1−pq q q p(1 − pq) 1−2pq 1−2pq 1−2pq + 2p2 , τ = − 2pq + 2q pq 1−pq p q H = 1−pq 2pq q2 q 1−pq p2 1−pq p 1−pq pq 1−pq §Ĩ tính xác suất cho "A thắng" - ta cần nhân cột t-ơng ứng B với phân bố ban đầu π PA = c1 · + c2 b2 + c3b3 + c4b4 + c5 · = (c2p3 + c3 p2 + c4p(1 − pq)) + c5 2pq Thật vậy, bi xác suất để hệ thèng tõ i vµo 5, hay bi = P (A thắng/0 = i) Do P (A thắng/0 = i)P (ξ0 = i) = P (A th¾ng) = i Dùa vào sơ đồ ta tính đ-ợc c1 = q 4(1 + 4p), c2 = C41 p2 q = 4p2 q c3 = C42p2 q = 6p2 q 2, c4 = 4p3 q 2, c5 = p4 (1 + 4q) bi ci i 2.4 øng dụng vào môn tennix 33 Vậy xác suất để A thắng ván PA = = [4p2 q · p3 + 6p2 q · p2 + 4p3 q · p(1 − pq)] + p4 (1 + 4q) = − 2pq 10q 10p4 q 4 (1 + 2q)(1 + 4q ) + p4 (1 + 4q) = p4 + p (1 + 4q) = p − 2pq p + q2 p2 + q Trong luật chơi môn tennix, hai đấu thủ phải đấu tối đa séc, ng-ời thắng đấu thủ giành tr-ớc séc thắng Tuy nhiên séc đấu gồm ván, ng-ời thắng séc ng-ời thắng đ-ợc ván séc đó, nhiên số ván thắng phải đối ph-ơng ván Nh- trận đấu séc minh hoạ nh- sơ đồ sau Mỗi séc đấu lại dẫn đến trình lang thang ngẫu nhiên bao gồm trạng thái biểu diễn sơ đồ dòng cùng: "B thắng", "lợi B(4-5)", "đều(4-4)","lợi A(5-4)", "A thắng" (nh- nghiên cứu ván đấu, toán khác trình chuẩn bị) Bây ta kí hiệu p xác suất để đấu thủ A thắng ván (ở ta kí hiệu p xác suất để đấu thủ A thắng lần giao bóng) Ch-ơng II Xích Markov hữu hạn 34 Dựa vào sơ đồ trên, t-ơng tự nh- vấn đề ta giải ván đấu, ta tính đ-ợc phân bố đầu trạng thái c1 = q(C50q + C61 pq + C72 p2 q + C83p3 q 5), c2 = p · C83p3 q c3 = C84p4 q 4, c4 = q · C83p5 q c5 = p(C50p5 + C61qp5 + C72 q 2p5 + C83q 3p5 ) Xác suất để A thắng séc PsecA = p6 + 4q + 11q + 26q + 56q + 112q p2 + q Bây ta tính xác suất để A thắng trận đấu tennix Sử dụng công thøc p3 (1 + 3q + 6q ) nh- biết toán trận đấu bóng bàn (p = PsecA ) Ta xét tr-ờng hợp cụ thĨ • Víi p = 12 ⇒ PA = 12 , xác suất để A thắng trận đấu còng b»ng 12 • Víi p = 0.51, ®ã PA = 0.524985 vµ PsecA = 0.573397 Suy xác suất để A thắng trận đấu, áp dơng c«ng thøc p3 (1 + 3q + 6q 2) nh- trình bày trên, p = PsecA , ta đ-ợc P = PsecA + 3(1 − PsecA ) + 6(1 − PsecA )2 = 0.625 Với p = 0.6, PA = 0.735729 PsecA = 0.966109 Suy xác suất để A thắng trận đấu, P = 0.9996 2.5 Một vài lệnh trợ giúp toán xác suất A C¸c lƯnh EXCEL BIN OM DIST (k, n, p, 0) cho giá trị xác suất đại l-ợng ngẫu nhiên X có phân bố nhị thức BIN OM DIST (k, n, p, 0) = P (X = k) = Cnk pk q n−k , k = 0, 1, , n vµ k Cni pi q n−i , BIN OM DIST (k, n, p, 1) = P (X ≤ k) = i=0 k = 0, 1, , n 2.5 Một vài lệnh trợ giúp toán x¸c suÊt 35 P OISSON (k, λ, 0) cho giá trị xác suất đại l-ợng ngẫu nhiên X cã ph©n bè Poisson P OISSON (k, λ, 0) = P (X = k) = e−λ λk k! vµ k −λ P OISSON (k, λ, 1) = P (X ≤ k) = e i=0 λi i! k = 0, 1, 2, NORMSDIST (x) cho giá trị hàm phân bố chuẩn x đại l-ợng ngẫu nhiên có ph©n bè chuÈn u ∈ N (0, 1) NORMSDIST (x) = P (u < x) = Φ(x) = √ 2π x x2 e− dx −∞ NORMSIN V (p) cho giá trị up cho (up ) = p Nói cách khác lệnh NORMSIN V (p) hàm ng-ợc hàm phân bố chuẩn (x) Ng-ời ta sử dụng lệnh để tìm phân vị u thống kê giải toán tìm khoảng tin cậy cho giá trị trung bình m với độ tin cậy tr-ờng hợp ph-ơng sai biết Từ tính chất hàm phân bố chuẩn (x), ta có P (|u| < uα) = 1−α = √ 2π uα α x2 e− dx ⇔ uα = NORMSIN V (1− ) −uα NORMDIST (x, m, σ, 1) cho giá trị hàm phân bố chuẩn x đại l-ợng ngẫu nhiên phân bố chuẩn X N (m, 2) có kì vọng m ph-¬ng sai σ NORMDIST (x) = P (X < x) = √ σ 2π x e− (x−m)2 2σ dx −∞ L-u ý r»ng lÖnh NORMDIST (x, m, , 0) cho giá trị hàm mật độ phân bè chuÈn t¹i x GAMMADIST (x, p, α1 , 0) cho giá trị hàm mật độ phân bố Gamma với hai tham số d-ơng p p · e−αx xp−1 GAMMADIST (x, p, , 0) = G(x, α, p) = α Γ(p) Ch-¬ng II XÝch Markov hữu hạn 36 GAMMADIST (x, p, , 1) cho giá trị hàm phân bố Gamma p GAMMADIST (x, p, , 1) = P (X < x) = α Γ(p) x e−αx xp−1 dx CHIDIST (x, n) cho giá trị phía đuôi hàm phân bố víi n bËc tù +∞ x n αp CHIDIST (x, n) = P (X > x) = e− x −1 dx Γ(p) x L-u ý r»ng mục 1.3 ta biết phân bố với n bậc tự tr-ờng hợp đặc biệt phân bè Gamma víi α = 12 , p = n2 CHIIN V (, n) cho giá trị phân vị mức xác định từ hệ thức P (2 > ) = đ-ợc sử dụng nhiều toán thống kê Lệnh thực chất hàm ng-ợc hàm lệnh CHIDIST (x, n) 10 F DIST (x, m, n) cho giá trị phía đuôi hàm phân bố F với m, n bậc tự +∞ m n F DIST (x, m, n) = P (X > x) = x m m Γ( m+n ) x −1 · · m Γ( )Γ( n2 ) (1 + mx ) m+n n 11 F INV (, m, n) cho giá trị phân vị F mức xác định từ hệ thøc P (X > Fα) = α LƯnh nµy thùc chất hàm ng-ợc hàm lệnh F DIST (x, m, n) 12 T DIST (x, n) cho gi¸ trị phía đuôi "kép" hàm phân bố Student với n bËc tù x T DIST (x, n) = P (|X| > x) = − Γ( n+1 ) √ n nΓ( )Γ( 12 ) t2 1+ n − n+1 dt 2.5 Mét vài lệnh trợ giúp toán xác suất 37 13 T INV (, n) cho giá trị phân vị t mức xác định từ hệ thức P (|X| > tα ) = α L-u ý r»ng mục 1.3 ta nhắc tới mật độ phân bố Student x2 tiến dần đến mật độ phân bè chuÈn ϕ(x) = √12π e− n dÇn vô Suy với n đủ lớn T INV (α, n) ≈ NORMSIN V (1 − α ) B C¸c lƯnh MATHEMATICA NormalDistribution[m, σ] x¸c định phân bố chuẩn với kì vọng m độ lệch chuẩn CDF[F, x] xác định giá trị hàm phân bố F x PDF[f, x] xác định giá trị hàm mật độ f x StudentTDistribution[k] xác định phân bố Student với k bậc tự ChiSquareDistribution[k] xác định phân bố với k bậc tự BinomialDistribution[n, p] xác định phân bố nhị thức với tham số n p PoissonDistribution[] xác định phân bố Poisson với tham số Phần mềm MATHEMATICA đ-a nhiều phân bố xác suất khác nhPhân bố nhị thức âm: NegativeBinomialDistribution Phân bố rời rạc: DiscreteUniformDistribution Phân bố hình học: GeometricDistribution Phân bè F: F RatioDistribution Chó ý r»ng c¸c lƯnh MATHEMATICA phân biệt chữ th-ờng, chữ in hoa Các đầu phải viết hoa tham số đ-ợc viết ngoặc vuông ... Chứng minh xích Markov ergodic Tìm phân bố giới hạn xác suất 16 Ch-ơng I Xích Markov Ch-ơng Xích Markov hữu hạn 2.1 Phân loại trạng thái xích Markov Định nghĩa 2.1.1 Đối với xích Markov, trạng... Ch-ơng I Xích Markov 10 Tr-ờng hợp xích Markov gồm hữu hạn trạng thái, đẳng thức đ-ợc suy từ (1.4) Ta thừa nhận định lí sau k=0 Pk = Định lí 1.2.1 (Định lí Markov) Một xích Markov hữu hạn trạng... không phụ thuộc vào thời tiết ngày Từ suy n = 1.2 Xích Markov ergodic định lí Markov Định nghĩa 1.2.1 Xích Markov , , , , n, đ-ợc gọi xích Markov ergodic, với trạng thái i, k tùy ý, giới hạn sau