Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 2 pps

1.2 Phân loại trạng thái xích Markov 25 Pn với cn = k=0 fii (k)Pii (n − k) = Pii (n) n ≥ theo bổ đề Vì c0 = 0, Pii (0) = nên ta suy Fii(s)Pii (s) = Pii (s) − hay Pii (s) = Giả sử i hồi quy tức P∞ n=0 − Fii(s) (1.7) fii (n) = Theo bổ đề Abel lim− Fii (s) = lim− s→1 s→1 ∞ X fii (n)sn = n=0 Từ (1.7) suy lim Pii (s) = lim− s→1− s→1 ∞ X Pii (n)sn = ∞ n=0 Vậy lại theo bổ đề Abel (ii) ta có ∞ X Pii (n) = ∞ n=0 Đảo lại giả sử i không hồi quy tức ∞ P fii (n) < Sử dụng bổ đề Abel (i) n=0 hệ thức (1.7) ta rút lim Pii (s) < ∞ Lại áp dụng bổ đề Abel (ii) ta s→1− thu ∞ X Pii (n) < ∞ n=0 Định lý 1.8 Nếu i ↔ j j hồi quy i hồi quy Chứng minh Theo giả thiết tồn m, n cho Pij (n) > 0, Pji (m) > Với số nguyên dương h từ phương trình C-P suy Pii (n + h + m) ≥ Pij (n)Pjj (h)Pji (m) Vậy ∞ X Pii (n + h + m) ≥ Pij (n)Pji (m) h=1 Thành thử i hồi quy ∞ X h=1 Pjj (h) = ∞ 26 Chương Q trình Markov Ví dụ 1.13 Cho (rn ) dãy ĐLNN độc lập có phân bố xác suất sau P (rn = 1) = p, P (rn = −1) = q, < p < 1, p + q = (Dãy gọi dãy Rademakher) Xét dãy (Xn ) xác định sau X0 = a, Xn+1 = Xn + rn+1 Khi (Xn ) lập thành xích Markov với khơng gian trạng thái E = {0 ± 1, ±2}xác suất chuyển P = (Pij )    q j = i −   Pij = p j = i +    0 j 6= i + 1, j 6= i − Xích gọi du động ngẫu nhiên chiều mô tả chuyển động ngẫu nhiên hạt đường thẳng: Sau đơn vị thời gian hạt dịch sang phải với xác suất p dịch sang trái với xác suất q Dễ thấy xích tối giản có chu kỳ d =   2n n n p q Pii (2n + 1) = Pii (2n) = n Sử dụng công thức Stirling √ n! ∼ ta có 2πne−n nn (4pq)n Pii (2n) ∼ √ πn Nếu du động ngẫu nhiên đối xứng p = q = 1/2 Pii (2n) ∼ √ πn X n Pii (n) = ∞ 1.2 Phân loại trạng thái xích Markov 27 Vậy theo định lý 1.7 trạng thái hồi quy Nếu p 6= q 4pq = a < X P an √ hội tụ a < Pii (n) < ∞ chuỗi n n Do theo định lý 1.7 trạng thái khơng hồi quy Về mặt trực giác ta thấy p > q có xác suất dương để hạt xuất phát từ trạng thái i sang bên phải mãi ( sang bên trái mãi p < q) khơng quay lại điểm xuất phát Ví dụ 1.14 Xét du động ngẫu nhiên hạt lưới điểm nguyên mặt phẳng Giả sử xác suất để hạt dịch lên trên, dịch xuống đơn vị (theo phương thẳng đứng), dịch sang phải,sang trái đơn vị (theo phương nằm ngang) 1/4 Có thể thấy P00 (2n + 1) = X (2n)! (1/4)2n i!i!j!j! i,ji+j=n  X  n   n n 2n 2n = (1/4) n i=0 i n−i  2 2n = (1/4)2n n P00 (2n) = Công thức Stirling cho ta P00(2n) ∼ Vậy X πn P00 (n) = ∞ n Vậy trạng thái hồi quy Vì xích tối giản (dễ thấy) nên trạng thái hồi quy Người ta chứng minh điều thú vị với du động ngẫu nhiên đối xứng không gian ba chiều, trạng thái khơng hồi quy 28 Chương Q trình Markov Định lý 1.9 Ký hiệu Qii xác suất để hệ xuất phát từ i quay lại i vô số lần, Qij xác suất để hệ xuất phát từ i qua j vơ số lần Khi (i) Nếu i hồi quy Qii = 1, i khơng hồi quy Qii = (ii) Nếu i hồi quy i ↔ j Qij = Nói riêng, với xác suất hệ xuất phát từ i sau số hữu hạn bước qua j Chứng minh (m) (i) Giả sử Qii xác suất để hệ quay lại i m lần Sử dụng cơng thức xác suất đầy đủ tính Markov hệ ta thu phương trình (m) Qii = ∞ X (m−1) fii∗ (k)Qii (m−1) = fii∗ Qii k=1 Từ ∗ m−1 Qii = (fii∗ )m Qm ii = (fii ) (m) rõ ràng Q1ii = fii∗ Vì Qii = lim Qii m→∞ tuỳ theo fii∗ < (ii) Gọi fji∗ = ∞ P ta rút Qii = hay hay fji (k) xác suất để hệ xuất phát từ j viếng thăm i k=1 sau số hữu hạn bước Sử dụng công thức xác suất đầy đủ tính Markov hệ ta thu phương trình Qjj ≤ ∞ X fji (k)Qij + − fji∗ k=1 = Qij fji∗ + − fji∗ (1.8) (1.9) Vì j hồi quy theo (1) Qjj = Vậy từ (??) ≤ Qij fji∗ + − fji∗ → fji∗ ≤ Qij fji∗ Vì j ↔ i nên fji∗ > Suy Qij = 1.2 Phân loại trạng thái xích Markov 29 Ví dụ 1.15 (Sự phá sản chắn nguời chơi cờ bạc) Một người vào sòng bạc với số tiền túi 1000 đôla chơi đánh bạc sau: Mỗi ván chơi tung đồng tiền cân đối đồng chất Nếu đồng tiền mặt ngửa đôla, mặt sấp đô la Gọi Xn số tiền có sau n ván chơi Khi X0 = 1000 X0 , X1 , du động ngẫu nhiên đối xứng với trạng thái ban đầu X0 = 1000 Theo định lý với xác suất Xn viếng thăm trạng thái Nói cách khác sớm hay muộn nhẵn túi Định lý 1.10 Cho (Xn ) xích tối giản khơng hồi quy Khi với i, j ∞ X Pij (n) < ∞ n=1 Nói riêng lim Pij (n) = n→∞ xích khơng tồn phân bố dừng Chứng minh Chứng minh tương tự bổ đề ta có Pij (n) = n X fij (k)Pjj (n − k) k=1 Vậy ∞ X Pij (n) = ∞ X n X = n=1 k=1 ∞ X fij (k) X Pjj (n − k) = k=1 ∞ X fij (k) n>k ∞ X Pjj (m) n=1 k=1 = fij∗ ∞ X m=1 fij (k)Pjj (n − k) m=1 Pjj (m) ≤ ∞ X m=1 Pjj (m) < ∞ (1.10) 30 Chương Quá trình Markov Định lý 1.11 Cho (Xn ) xích tối giản hồi quy khơng có chu kỳ Khi với i, j lim Pij (n) = n µj µj = ∞ X kfjj (k) k=1 Chứng minh Chứng minh dựa kết sau giải tích mà ta phát biểu dạng bổ đề ( không chứng minh): Bổ đề 1.4 Cho (fn ) dãy số khơng âm có tổng ưóc chung lớn tất số j > mà fj > Cho (un ) dãy xác định truy hồi theo cách sau u0 = 1, un = n X fk un−k k=1 Khi lim un = P ∞ n→∞ kfk k=1 Cố định j Đặt un = Pjj (n), fk = fjj (k) Bổ đề cho phép ta kết luận lim Pjj (n) = n µj Tiếp theo với quy ước Pij (s) = s < ta viết lại hệ thức (1.10) dạng ∞ X fij (k)Pjj (n − k) Pij (n) = k=1 Chú ý lim Pjj (n − k) = n→∞ µj 1.2 Phân loại trạng thái xích Markov 31 P ∗ ∞ k=1 fij (k) = fij = Qij = ( theo định lý 1.7) áp dụng định lý hội tụ bị chặn ta thu lim Pij (n) = n ∞ X fij (k) lim Pjj (n − k) n→∞ k=1 = fij∗ 1 = µj µj Nếu i trạng thái hồi quy µi thời gian trung bình ( hay số bước trung bình) để hệ lần quay lại i Thời gian trung bình hữu hạn hay vơ hạn Ta có định nghĩa sau: Định nghĩa 1.8 Trạng thái hồi quy i gọi trạng thái hồi quy dương µi < ∞ gọi trạng thái hồi quy khơng µi = ∞ Ví dụ 1.16 Giả sử (Xn ) du động ngẫu nhiên đối xứng đường thẳng Trong ví dụ ta thấy trạng thái hồi quy Ta chứng minh trạng thái hồi quy không Thật ta có   2n (1/2)n (1/2)n , Pii (2n + 1) = Pii (2n) = n Thành thử X 2m Pii (s) = Pii (n)s = (1/2)2m s2m m n m X 2m = (s2 /4)m = ((1 − s2 )−1/2 m m X n Từ phương trình (1.7) ta suy Fii (s) = − Pii (s)−1 = − (1 − s2 )1/2 Theo bổ đề Abel µi = X kfii (k) = lim s→1− k = lim s→1− Fii0 (s) X kfii (k)sk−1 k = lim s(1 − s2)−1/2 = ∞ s→1− (1.11) 32 Chương Quá trình Markov Định lý 1.12 Giả sử i → j Nếu i hồi quy dương j hồi quy dương Nếu i hồi quy khơng j hồi quy không Chứng minh Ta cần chứng minh tồn trạng thái j hồi quy dương trạng thái i mà i ↔ j hồi quy dương Thật tồn m, n cho Pij (n) > 0, Pji (m) > Với k ta có Pii (n + k + m) ≥ Pij (n)Pjj (k)Pji (m) Từ từ định lý 1.11 ta có = lim Pii (n + k + m) k µi ≥ lim Pij (n)Pjj (k)Pji (m) = Pij (n)Pji (m) k > µj Vậy µi < ∞ tức i hồi quy dương Theo định lý 1.4, π = (π1, π2, ) phân bố giới hạn xích Từ định lý 1.11 1.12 suy Định lý 1.13 Giả sử (Xn ) xích tối giản khơng có chu kỳ với không gian trạng thái đếm E Khi xảy ba khả sau đây: 1) Mọi trạng thái không hồi quy Khi với i, j lim Pij (n) = n Xích khơng có phân bố dừng 2) Mọi trạng thái hồi quy khơng Khi với i, j lim Pij (n) = n Xích khơng có phân bố dừng 1.2 Phân loại trạng thái xích Markov 33 3) Mọi trạng thái hồi quy dương Khi với i, j lim Pij (n) = πj > n π = (π1 , π2, ) phân bố giới hạn (và phân bố dừng) xích Định lý 1.14 Giả sử (Xn ) xích tối giản khơng có chu kỳ với không gian trạng thái hữu hạn E = {1, 2, , d} Khi trạng thái hồi quy dương xích có phân bố giới hạn π = (π1, π2 , , πd) Phân bố phân bố dừng xích Chứng minh Theo định lý 1.13 ta cần chứng tỏ khả 1) 2) không xảy Thật trái lại với i, j lim Pij (n) = n Vậy = lim n d X Pij (n) = j=1 d X j=1 lim Pij (n) = n Mâu thuẫn Đối với xích tối giản (có thể có chu kỳ) ta có định lý sau (không chứng minh): Định lý 1.15 Giả sử Xn xích tối giản với khơng gian trạng thái E đếm Khi Với i, j ∈ E lim n−1 n→∞ n X k=1 Pij (k) = µj Nói cách khác dãy Pij (n) hội tụ theo trung bình Cesaro tới πj = khơng phụ thuộc i Dãy π = (πj ) thoả mãn µj 34 Chương Q trình Markov • ∞ P πj ≤ j=1 • πj = ∞ P πiPij i=1 Như hệ định lý ta có định lý sau (so sánh với 1.13): Định lý 1.16 Cho (Xn ) xích Markov tối giản Khi Nếu E hữu hạn có d phần tử (π1, , πd) phân bố dừng Chỉ có khả sau: • Mọi trạng thái E khơng hồi quy • Mọi trạng thái E hồi quy khơng • Mọi trạng thái E hồi quy dương Nếu E vơ hạn đếm xích có phân bố dừng trạng thát E hồi quy dương Trong trường hợp phân bố dừng 1.3 Quá trình Markov Xét họ ĐLNN rời rạc (Xt ), t ≥ với tập số t số thực không âm t ∈ [0, ∞) Ký hiệu E = Xt (Ω) tập giá trị Xt Khi E tập hữu hạn hay đếm được, phần tử ký hiệu i, j, k Ta gọi (Xt ) trình ngẫu nhiên với khơng gian trạng thái E Định nghĩa 1.9 Ta nói (Xt ) trình Markov với t1 < < tk < t với i1, i2, in, i ∈ E P {Xt = i|Xt1 = i1, Xt2 = i2 , Xtk = ik } = P {Xt = i|Xtk = ik } 1.3 Quá trình Markov 35 Như vậy, xác suất có điều kiện kiện B tương lai biết khứ hệ giống xác suất có điều kiện B biết trạng thái hệ Đó tính Markov hệ Đơi tính Markov hệ cịn phát biểu dạng: Nếu biết trạng thái Xt hệ khứ Xu , u < t tưong lai Xs , s > t độc lập với Giả sử P {Xt+s = j|Xs = i} xác suất để xích thời điểm s trạng thái i sau khoảng thời gian t , thời điểm t + h chuyển sang trạng thái j Đây số nói chung phụ thuộc vào i, j, t, s Nếu đại lượng không phụ thuộc s ta nói xích Trong giáo trình ta xét xích Markov Ký hiệu Pij (t) = P {Xt+s = j|Xs = i} Ta gọi Pij (t) xác suất chuyển hệ từ trạng thái i sang trạng thái j sau khoảng thời gian t Ký hiệu P (t) = (Pij (t), i, j ∈ E) P (t) ma trận hữu hạn hay vô hạn chiều Chú ý i)Pij (t) ≥ X ii) Pij (t) = j∈E Phân bố X0 gọi phân bố ban đầu Ta ký hiệu ui = P (X0 = i) Chứng minh tương tự trường hợp xích Markov ta có kết luận sau: Định lý 1.17 Phân bố hữu hạn chiều trình (Xt ) hoàn toàn xác định từ phân bố ban đầu xác suất chuyển Cụ thể với t1 < t2 < < tn phân bố đồng thời (Xt1 , , Xtn ) tính theo cơng thức sau P (Xt1 = i1, , Xtn = in ) = X = ui Pii1 (t1)Pi1 i2 (t2 − t1) Pin−1 in (tn − tn−1 ) i∈E 36 Chương Quá trình Markov Định lý 1.18 (Phương trình Chapman-Kolmogorov) X Pik (t)Pkj (s) Pij (t + s) = k∈E 1.3.1 Trường hợp không gian trạng thái hữu hạn Giả sử E = {1, 2, , d} Khi từ phương trình C-K P (t), t > họ ma trận thoả mãn đẳng thức sau P (t + s) = P (t)P (s) Nói cách khác họ (P (t), t > 0) lập thành nửa nhóm ma trận Từ sau ta giả thiết thêm Pij (0) = δij limt→0 Pij (t) = δij δij ký hiệu Kronecke δij =  1 0 i = j i 6= j Định lý 1.19 Hàm ma trận P (t) hàm liên tục tồn P (t) − I h→0+ h P (0) = lim Chứng minh Theo giả thiết P (0) = I limt→0 P (t) = I tức P (t) liên tục Ta chứng minh P (t) liên tục t > Ta có tính chất nửa nhóm lim P (t + h) = lim P (t)P (h) = P (t)I = P (t) h→0+ h→0 Vậy P (t) liên tục phải Ta lại có với < h < t P (t) = P (h)P (t − h) Do P (h) → I h → nên tồn P (h)−1 với h đủ nhỏ Vậy lim P (t − h) = lim P (t)P (h)−1 = P (t)I = P (t) h→0+ h→0− 1.3 Quá trình Markov 37 Vậy P (t) liên tục trái liên tục (Thực chứng minh P (t) liên tục [0, ∞) Tiếp theo sử dụng tính chất nửa nhóm ta có với h > 0, n: P (nh) − I = (P (h) − I) (I + P (h) + P (2h) + + P ((n − 1)h)) (1.12) Vì P (t) liên tục h → cho nh → t > h n−1 X k=0 → Z t P (u)du Rt Tồn t > để tích phân P (u)du ma trận khơng suy biến Ta lại có lim P (nh) − I = P (t) − I Từ (1.12) suy n P (h) − I lim = (P (t) − I) h→0+ h Z t −1 P (u)du Ký hiệu A = P (0) = lim h→0+ P (h) − I h A = (aij ) gọi ma trận cực vi nửa nhóm (P (t)) Ta có Pij (t) = aij t→0 t − Pii (t) lim = t→0 t lim i 6= j (1.13) = −aii Từ (1.13) ta có Pij (t) = aij t + o(t) − Pii (t) = t + o(t) Thành thử aij gọi cường độ chuyển từ trạng thái i sang trạng thái j cường độ thoát khỏi trạng thái i hệ 38 Chương Quá trình Markov Từ đẳng thức = P Pij (t) + Pii − chia hai vế cho t cho t → ta j:j6=i thu X aij = j hay tương đương = X aij j:j6=i Định lý 1.20 Cho trình Markov với nửa nhóm P (t), t > xác suất chuyển Gọi A ma trận cực vi nửa nhóm Khi ta có P 0(t) = P (t)A X Pik (t)akj − Pij (y)aj ↔ Pij0 (t) = (1.14) k6=j P (t) = AP (t) X ↔ Pij0 (t) = Pkj aik − Pij (y)ai (1.15) k6=i Phương trình ( (1.14)) gọi phương trình thuận phương trình (1.15) gọi phương trình ngược Kolmogorov Chứng minh Ta có tính chất nửa nhóm P (t + h) − P (t) P (t)(P (h) − I) = h h (P (h) − I)P (t) = h Cho h → ta có điều cần chứng minh Phương trình thuận nghịch phương trình vi phân với điều kiện ban đầu P (0) = I giải phương pháp quen thuộc lý thuyết phương trình vi phân Ta có kết sau (khơng chứng minh): 1.3 Q trình Markov 39 Định lý 1.21 Phưong trình (1.14) phương trình (1.15) có nghiệm P (t) = eAt = I + ∞ X An tn n=1 n! Ngược lại cho trước ma trận A = (aij ) cấp d × d thoả mãn aij ≥ i 6= j P aij = Đặt j P (t) = eAt Khi tồn trình Markov với d trạng thái nhận P (t) làm họ ma trận xác suất chuyển Ví dụ 1.17 (Quá trình Markov hai trạng thái) Xét trình Markov với hai trạng thái E = {0, 1} (Chẳng hạn ta xét tiến triển theo thời gian hệ thống trạng thái biểu thị trạng thái trì trệ cịn trạng thái biểu thị trạng thái làm việc tích cực hệ thống) Giả sử cường độ chuyển từ trạng thái sang trạng thái λ cường độ chuyển từ trạng thái sang trạng thái µ Ma trận cực vi ! −λ λ A= µ −µ Ta tìm cơng thức cho xác suất chuyển Pij (t) cách giải phương trình ngược Phương trình (1.15) cho ta P00 (t) = −λP00 (t) + λP10 (t) P10 (t) = µP00 (t) − µP10 (t) Trừ hai phương trình vế với vế ta có: (P00 (t) − P10 (t)) = −(λ + µ)(P00 (t) − P10 (t)) ⇒ P00 (t) − P10 (t) = (P00 (0) − P10 (0))e−(λ+µ)t = e−(λ+µ)t 40 Chương Quá trình Markov Vậy P00 (t) = −λ(P00 (t) − P10(t)) = −λe−(λ+µ)t Z t ⇒ P00(t) = P00(0) + P00 (s)ds λ (1 − e−(λ+µ)t ) =1− µ+λ µ λ −(λ+µ)t = + e µ+λ µ+λ Từ P10 (t) = P00 (t) − e−(λ+µ)t µ −(λ+µ)t µ − e = µ+λ µ+λ Hồn tồn tương tự từ phương trình (1.15) ta có (t) = −λP01 (t) + λP11 (t) P01 P11 (t) = µP01 (t) − µP11 (t) ta tìm λ −(λ+µ)t λ − e µ+λ µ+λ µ −(λ+µ)t λ + e P11 (t) = µ+λ µ+λ P01 (t) = Bây xét dáng điệu tiệm cận ma trận xác suất chuyển P (t) t → ∞ Cho trình Markov (Xt ) với không gian trạng thái E hữu hạn ma trận xác suất chuyển P (t) = Pij (t) Ta nói q trình tối giản Pij (t) > với i, j ∈ E (Chú ý ta khơng có khái niệm "chu kỳ trạng thái" xích Markov) Định lý 1.22 Cho trình Markov tối giản (Xt )với không gian trạng thái E = {1, 2, , d} hữu hạn ma trận xác suất chuyển P (t) = Pij (t) Khi với i, j ∈ E tồn giới hạn hữu hạn lim Pij (t) = πj t→∞ 1.3 Quá trình Markov 41 phụ thuộc j khơng phụ thuộc i Thêm vào π = (π1, π2 , , πd) phân bố xác suất thoả mãn phương trình π = πP (t), ∀t > Chứng minh Với h > cố định P (h) ma trận xác suất chuyển với phần tử dưong, theo định lý 1.5 ta có tồn lim P (nh) = lim P (h)n = Π(h) n→∞ n→∞ Π(h) ma trận với dòng π(h) Thêm vào π(h) = (π1 (h), π2(h), , πd(h)) phân bố xác suất thoả mãn phương trình π(h) = π(h)P (h), ∀t > Mặt khác ta biết P (t) liên tục [0, ∞) Trong giải tích ta biết hàm P (t) liên tục cho lim P (nh) tồn với h > n→∞ kéo theo limt→∞ P (t) tồn Vậy ta kết luận tồn lim P (t) = Π t→∞ với Π = Π(h) với h > Từ suy kết luận định lý Ví dụ 1.18 Trong ví dụ q trình Markov hai trạng thái từ biểu thức Pij (t) ta có lim Pij (t) = πj t→∞ với π0 = µ , λ+µ π1 = λ λ+µ Nếu chọn π = (π0, π1) phân bố ban đầu trình P (Xt = 0) = P (X0 = 0)P00 (t) + P (X0 = 1)P10 (t) µ = π0P00 (t) + π1P10 (t) = π0 = λ+µ Tương tự P (Xt = 1) = π1 = λ λ+µ Như phân bố Xt khơng phụ thuộc vào t  ... 1/4 Có thể thấy P00 (2n + 1) = X (2n)! (1/4)2n i!i!j!j! i,ji+j=n  X  n   n n 2n 2n = (1/4) n i=0 i n−i  2 2n = (1/4)2n n P00 (2n) = Công thức Stirling cho ta P00(2n) ∼ Vậy X πn P00 (n)... thử X 2m Pii (s) = Pii (n)s = (1 /2) 2m s2m m n m X 2m = (s2 /4)m = ((1 − s2 )−1 /2 m m X n Từ phương trình (1.7) ta suy Fii (s) = − Pii (s)−1 = − (1 − s2 )1 /2 Theo bổ đề Abel µi = X kfii (k)... chu kỳ d =   2n n n p q Pii (2n + 1) = Pii (2n) = n Sử dụng công thức Stirling √ n! ∼ ta có 2? ?ne−n nn (4pq)n Pii (2n) ∼ √ πn Nếu du động ngẫu nhiên đối xứng p = q = 1 /2 Pii (2n) ∼ √ πn X n