Chương 4 Quá trình ngẫu nhiên, chuỗi Markov 103 CHƯƠNG IV QUÁ TRÌNH NGẪU NHIÊN, CHUỖI MARKOV GIỚI THIỆU Hầu hết các hiện tượng xảy ra trong tự nhiên và xã hội đều có tính chất ngẫu nhiên, đó là sự phả[.]
Chương 4: Quá trình ngẫu nhiên, chuỗi Markov CHƯƠNG IV: QUÁ TRÌNH NGẪU NHIÊN, CHUỖI MARKOV GIỚI THIỆU Hầu hết tượng xảy tự nhiên xã hội có tính chất ngẫu nhiên, phản ánh mối ràng buộc phức tạp mà ta khơng biết trước Trong giáo trình Xác suất Thống kê tìm hiểu khái niệm biến ngẫu nhiên, véc tơ ngẫu nhiên, biến nhận giá trị phụ thuộc vào yếu tố ngẫu nhiên Khi họ biến ngẫu nhiên phụ thuộc vào thời gian ta có q trình ngẫu nhiên Lý thuyết trình ngẫu nhiên lần nghiên cứu liên quan đến toán dao động nhiễu hệ vật lý Quá trình ngẫu nhiên mơ hình tốn học q trình thực nghiệm mà phát triển bị chi phối quy luật xác suất Quá trình ngẫu nhiên cung cấp mơ hình hữu ích để nghiên cứu nhiều lĩnh vực khác vật lý thống kê, viễn thông, điều khiển, phân tích chuỗi thời gian, tăng trưởng dân số ngành khoa học quản lý Các tín hiệu video, tín hiệu thoại, liệu máy tính, nhiễu hệ thống viễn thông, nhiễu điện thiết bị điện, số khách hàng đến điểm phục vụ, số chứng khoán thị trường chứng khốn… q trình ngẫu nhiên Q trình ngẫu nhiên có nhiều ứng dụng viễn thơng q trình Markov (q trình khơng nhớ, memoryless) q trình dừng Chuỗi Markov q trình Markov có khơng gian trạng thái rời rạc, thời gian rời rạc Chuỗi Markov thường gặp toán chuyển mạch hệ thống viễn thơng Q trình Poisson ví dụ chuỗi Markov với thời gian liên tục Q trình Poisson X (t ) mơ tả q trình đếm số lần xuất biến cố A thời điểm t Q trình Poisson ứng dụng nhiều viễn thông, liên quan đến tốn truyền tín hiệu, hệ phục vụ, tốn chuyển mạch Q trình Poisson xét chương Tín hiệu viễn thơng, nhiễu khơng có tính Markov Các q trình q khứ có ảnh hưởng lớn đến tiến triển trình tương lại Tuy nhiên hàm trung bình khơng thay đổi hàm tương quan theo thời gian, q trình dừng Khi q trình dừng biểu diễn tín hiệu nhiễu biến đổi Fourier hàm tương quan trình hàm mật độ phổ cơng suất tín hiệu nhiễu Một toán quan trọng lý thuyết chuyển mạch vấn đề xung đột thông tin, nghẽn mạch rớt gọi Lý thuyết trình hàng (Queueing theory) xác định tìm phương án tối ưu để hệ thống phục vụ tốt nhất, xét chương Trong chương ta nghiên cứu cách khái quát khái niệm trình ngẫu nhiên chuỗi Markov thời gian rời rạc 103 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Để học tốt chương học viên cần nắm vững khái niệm xác suất, xác suất có điều kiện, công thức xác suất đầy đủ, biến ngẫu nhiên kiến thức đại số tuyến tính ma trận, hệ phương trình tuyến tính 4.1 KHÁI NIỆM VÀ PHÂN LOẠI Q TRÌNH NGẪU NHIÊN 4.1.1 Khái niệm q trình ngẫu nhiên Các tín hiệu hệ thống thơng tin tín hiệu ngẫu nhiên ngồi thành phần mang tin cịn có tác động giao thoa ngẫu nhiên nhiễu thiết bị Giả sử tín hiệu mà thời điểm t nhận giá trị phụ thuộc hệ biến cố {Ei , i ∈ N } phép thử Tín hiệu nhận giá trị x(t , Ei ) thời điểm t biến cố Ei xảy Như { x(t , Ei )} hàm mẫu trình ngẫu nhiên X (t ) Quá trình ngẫu nhiên X (t ) vừa phụ thuộc thời gian t , vừa phụ thuộc yếu tố ngẫu nhiên Ei x(t , E1 ) t1 t2 t t2 t t2 t t2 t x(t , E2 ) t1 Quá trình ngẫu nhiên X (t ) x(t , E3 ) (t E ) x(t , E4 ) t1 t1 { x(t1, Ei ), i ∈ N } { x(t2 , Ei ), i ∈ N } Hình 4.1: Mơ hình q trình ngẫu nhiên Một cách tổng quát trình ngẫu nhiên họ biến ngẫu nhiên { X (t , ω); t ∈ T } xác định phép thử Các trình vừa phụ thuộc vào thời gian t cố định tham số t X (t , ω) biến ngẫu nhiên theo ω Các giá trị nhận theo thời gian t gọi hàm mẫu thể trình ngẫu nhiên Tập số T thường biểu diễn tham số thời gian 104 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Do tác động yếu tố ngẫu nhiên nên tín hiệu { X (t , ω); t ∈ T } truyền q trình ngẫu nhiên Tín hiệu cụ thể nhận hàm mẫu (một thể hiện) trình ngẫu nhiên { X (t , ω); t ∈ T } Để đơn giản cách viết người ta ký hiệu trình ngẫu nhiên { X (t ); t ∈ T } thay cho { X (t , ω); t ∈ T } , hàm mẫu tương ứng ký hiệu { x(t ); t ∈ T } 4.1.2 Phân loại q trình ngẫu nhiên Có thể phân loại trình ngẫu nhiên theo đặc trưng sau: • Khơng gian trạng thái, • Tập số thời gian T , • Quan hệ độc lập, quy luật phân bố xác suất biến ngẫu nhiên X (t ) 4.1.2.1 Phân loại trình ngẫu nhiên theo tập trạng thái E Ta ký hiệu E tập giá trị X (t ) gọi khơng gian trạng thái q trình, giá trị X (t ) gọi trạng thái ♦ Nếu E tập đếm { X (t ); t ∈ T } gọi q trình có trạng thái rời rạc ♦ Nếu E khoảng tập số thực { X (t ); t ∈ T } gọi trình thực trình trạng thái liên tục ♦ Nếu E tập tập số phức { X (t ); t ∈ T } trình trạng thái phức ♦ Nếu E ⊂ k { X (t ); t ∈ T } trình trạng thái k-véc tơ 4.1.2.2 Phân loại trình ngẫu nhiên theo tập số T Nếu T ⊂ trình { X (t ); t ∈ T } gọi trình có thời gian rời rạc tham số rời rạc Trường hợp ta ký hiệu X n thay cho X (t ) gọi dãy ngẫu nhiên Nếu T = [0; ∞ ) T = { X (t ); t ∈ T } gọi q trình có thời gian liên tục 4.1.2.3 Phân loại theo tính chất xác suất trình ngẫu nhiên Quá trình ngẫu nhiên trở thành biến ngẫu nhiên thời gian cố định thời điểm Mỗi biến ngẫu nhiên có đặc trưng thống kê kỳ vọng, phương sai, moment … đặc trưng nhận từ hàm phân bố xác suất Các hàm phân bố xác suất xác định từ hàm mật độ xác suất (trường hợp liên tục), hàm khối lượng xác suất (trường hợp rời rạc) Hai biến ngẫu nhiên nhận hai thời điểm q trình có đặc trưng (kỳ vọng, phương sai, hiệp phương sai …) xác định từ hàm phân bố xác suất đồng thời hai biến ngẫu nhiên Tổng quát hơn, biến ngẫu nhiên N chiều nhận N thời điểm có đặc trưng xác định từ hàm phân bố xác suất đồng thời biến ngẫu nhiên 105 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov a) Quá trình độc lập: Quá trình { X (t ); t ∈ T } gọi trình độc lập với thời điểm t1 < t < < t n biến ngẫu nhiên sau độc lập X (t1 ), X (t2 ), , X (tn ) (4.1) Ví dụ 4.1: Giả sử X1 , X , dãy biến ngẫu nhiên độc lập có phân bố Bernoulli với xác suất P { X n = 1} = p , P { X n = 0} = q = − p với n Khi { X n , n ≥ 1} trình ngẫu nhiên gọi trình Bernoulli Quá trình Bernoulli trình độc lập có khơng gian trạng thái rời rạc E = {0,1} , thời gian rời rạc T = {1, 2, } Một ví dụ dãy mẫu trình Bernoulli nhận cách gieo đồng xu liên tiếp Nếu mặt sấp xuất ta gán giá trị 1, mặt ngửa xuất ta gán giá trị Chẳng hạn n MỈt xt hiƯn xn 10 S N N S S S N S S N Dãy mẫu { xn , n ≥ 1} nhận minh họa hình sau xn z z z z z z z z z z z 10 n Hình 4.2: Hàm mẫu q trình Bernoulli b) Q trình có gia số độc lập: Quá trình { X (t ); t ∈ T } gọi trình gia số độc lập gia số trình khoảng thời gian rời biến ngẫu nhiên độc lập Tức với cách chọn t1 < t < < t n biến ngẫu nhiên sau độc lập X (t ) − X (t1 ), X (t ) − X (t ), , X (t n ) − X (t n −1 ) 106 (4.2) Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Đặc biệt với trình thời gian rời rạc { X n } tính chất gia số độc lập dẫn đến dãy biến ngẫu nhiên Z = X , Zi = X i − X i −1 ; i = 1, 2, độc lập Ngoài ta biết luật phân bố biến ngẫu nhiên Z , Z1 , ta biết luật phân bố X i , i = 0, 1, Thật vậy, điều suy từ cách tìm phân bố xác suất tổng biến ngẫu nhiên độc lập X i = Z + Z1 + + Zi c) Quá trình gia số độc lập dừng Quá trình gia số độc lập { X (t ); t ∈ T } gọi trình gia số độc lập dừng ∀s, t , s < t ; ∀h ≥ : X (t ) − X ( s ) X (t + h) − X ( s + h) có phân bố (4.3) Q trình Poisson, q trình Wiener hai ví dụ q trình gia số độc lập dừng d) Quá trình Martingal Quá trình { X (t ); t ∈ T } gọi trình Martingal với t1 < t < < t n +1 a1 , a2 , , an E ( X (tn +1 ) X (t1 ) = a1 , , X (tn ) = an ) = an (4.4) Martingal xem mơ hình mơ tả trị chơi may rủi, X (t ) số tiền người chơi thời điểm t Tính chất Martingal nói số tiền trung bình người chơi có thời điểm t n +1 số tiền có thời điểm t n khơng phụ thuộc vào có trước khứ Nếu {X (t ); t ≥ 0} trình gia số độc lập với kỳ vọng {X (t ); t ≥ 0} trình Martingal với thời gian liên tục e) Quá trình Markov: Quá trình { X (t ); t ∈ T } gọi trình Markov nếu: Với thời điểm t1 < t < < t n , với giá trị a1 , a2 , , an cho trước, với thời điểm t > tn với a , ta có P { X (t ) ≤ a X (t1 ) = a1 , , X (tn ) = an } = P { X (t ) ≤ a X (tn ) = an } (4.5) Nghĩa qui luật xác suất tương lai phụ thuộc độc lập với q khứ Nói cách khác q trình Markov mơ tả hệ khơng có trí nhớ (memoryless) Với t > s; với tập giá trị A ⊂ giá trị a ta ký hiệu p( s, a; t , A) = P{X (t ) ∈ A X ( s ) = a} (4.6) gọi hàm xác suất chuyển từ thời điểm s đến thời điểm t 107 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Như công thức (4.5) viết lại P { X (t ) ≤ a X (t1 ) = a1 , , X (tn ) = an } = p (tn , an ; t , A) , A = ( −∞, a ] (4.7) Q trình Markov với khơng gian trạng thái rời rạc gọi chuỗi Markov (hay xích Markov, Markov chains) Chuỗi Markov với thời gian rời rạc xét mục Quy luật phân bố xác suất biến ngẫu nhiên rời rạc xét qua hàm khối lượng xác suất, tính chất Markov – công thức (4.5) chuỗi Markov { X n ; n = 0,1, 2, } với thời gian rời rạc viết lại sau P { X n +1 = j X = i0 , X = i1 , , X n = i} = P { X n +1 = j X n = i} , i0 , i1 , , i, j ∈ E (4.8) f) Quá trình dừng (stationary) Xét trình ngẫu nhiên { X (t ); t ∈ T } có thời gian T = , + , ² Nói cách khái quát trình ngẫu nhiên trình dừng tính chất thống kê q trình khơng phụ thuộc thời gian Các tính chất thống kê trình xác định hàm phân bố đồng thời trình thời điểm Các khái niệm dừng cụ thể phụ thuộc mức độ không phụ thuộc thời gian Quá trình dừng bậc nếu: với h , với t1 ∈ T hai biến ngẫu nhiên X (t1 ) X (t1 + h) có phân bố xác suất Q trình dừng bậc có hàm trung bình hàm E X (t ) = const Quá trình dừng bậc hai nếu: với h , với t1 , t2 ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ) ) ( X (t1 + h), X (t2 + h) ) có phân bố xác suất Hàm phân bố đồng thời trình dừng bậc hai khơng phụ thuộc thời điểm mà phụ thuộc khoảng cách hai thời điểm (bằng cách chọn h = −t1 ) Quá trình dừng bậc hai trình dừng bậc hàm phân bố thành phần xác định từ hàm phân bố đồng thời Do E X (t ) = const E ⎡⎣ X (t + τ) X (t ) ⎤⎦ phụ thuộc τ X (t ) số phức liên hợp số phức X (t ) Dựa vào kết này, ta mở rộng khái niệm dừng bậc hai theo nghĩa rộng 108 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Dừng theo nghĩa rộng hay dừng hiệp phương sai (wide sense stationary or covariance stationary) thỏa mãn hai điều kiện sau: i) E X (t ) = m = const ii) Với E ⎡⎣ X (t + τ) X (t ) ⎤⎦ phụ thuộc τ Đặt RXX (τ) = E ⎡⎣ X (t + τ) X (t ) ⎤⎦ (4.9) gọi hàm tự tương quan trình { X (t ); t ∈ T } Quá trình dừng bậc hai trình dừng theo nghĩa rộng, điều ngược lại khơng Q trình dừng bậc N nếu: với h , với t1 , t2 , , t N ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ), ,, X (t N ) ) ( X (t1 + h), X (t2 + h), ,, X (t N + h) ) có phân bố xác suất Quá trình dừng bậc N trình dừng bậc k, với k ≤ N Dừng theo nghĩa chặt (strictly stationary) trình dừng bậc Nghĩa là: Với h > , với N, với t1 , t2 , , t N ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ), , X (t N ) ) ( X (t1 + h), X (t2 + h), , X (t N + h) ) có phân bố xác suất Nói riêng X (t ) có phân bố 4.2 CHUỖI MARKOV Chuỗi Markov trình Markov { X (t ); t ∈ T } có khơng gian trạng thái E đếm Tùy theo tập số T = {0,1, 2, } T = (0; ∞ ) ta có tương ứng chuỗi Markov với thời gian rời rạc liên tục Với chuỗi Markov công thức xác suất chuyển (4.6) viết cụ thể p ( s, i; t , j ) = P { X (t ) = j X ( s ) = i} , t > s; i, j ∈ E (4.10) Nếu xác suất chuyển (4.10) phụ thuộc vào t − s nghĩa p ( s , i ; t , j ) = p ( s + h , i ; t + h, j ) (4.11) với h , ta nói q trình theo thời gian 109 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4.2.1 Chuỗi Markov với thời gian rời rạc Định nghĩa 4.1 Quá trình { X n , n = 0,1, 2, } với thời gian rời rạc gọi chuỗi Markov thời gian rời rạc thỏa mãn hai điều kiện sau i) Không gian trạng thái E X n tập đếm ii) Hàm xác suất chuyển theo thời gian, tức thoả mãn (4.11) Từ trở ta xét chuỗi Markov với thời gian rời rạc ta gọi tắt chuỗi Markov 4.2.2 Ma trận xác suất chuyển Giả sử { X n , n = 0,1, 2, } chuỗi Markov thời gian rời rạc có không gian trạng thái E Các phần tử E ký hiệu i, j , k Với i, j ∈ E ; đặt pij = P { X n +1 = j X n = i} = P { X = j X = i} (4.12) khơng phụ thuộc vào n Đó xác suất để từ trạng thái i sau bước chuyển thành trạng thái j Định nghĩa 4.2: Ma trận P = ⎡⎣ pij ⎤⎦ với pij xác định theo (4.12) gọi ma trận xác suất chuyển hay ma trận xác suất chuyển sau bước chuỗi Markov { X n , n = 0,1, 2, } Các phần tử pij ma trận xác suất chuyển thỏa mãn điều kiện pij ≥ ; ∑ pij = , ∀i ∈ E (4.13) j∈E Nếu tập trạng thái E vơ hạn ma trận xác suất chuyển có vơ số hàng, vơ số cột tổng thứ hai công thức (4.13) tổng chuỗi số dương Nếu tập trạng thái E hữu hạn, chẳng hạn E = {1, 2, , m} ma trận xác suất chuyển cơng thức (4.13) viết dạng ⎡ p11 ⎢p P = ⎡⎣ pij ⎤⎦ = ⎢ 21 ⎢ ⎢ ⎣ pm1 pij ≥ ; p1m ⎤ p2m ⎥⎥ ⎥ ⎥ pmm ⎦ (4.14) ∑ pij = , ∀i = 1, , m (4.15) p12 p22 pm m j =1 Ma trận vuông thỏa mãn điều kiện (4.15) gọi ma trận Markov ma trận ngẫu nhiên 110 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4.2.3 Ma trận xác suất chuyển bậc cao, Phương trình Chapman–Kolmogorov Đặt pij( k ) = P { X n + k = j X n = i} = P { X k = j X = i} (4.16) Đó xác suất sau k bước hệ chuyển từ trạng thái i sang trạng thái j Định nghĩa 4.3: Ma trận vuông P ( k ) = ⎡⎣ pij( k ) ⎤⎦ gọi ma trận xác suất chuyển sau k bước Ký hiệu P (0) = I , P (1) = P , I ma trận đơn vị Tương tự ma trận xác suất chuyển P , số hàng số cột P ( k ) vơ hạn khơng gian trạng thái E có vơ số đếm phần tử Nếu khơng gian trạng thái E hữu hạn ma trận xác suất chuyển sau k bước P ( k ) ma trận Markov (xem tập 4.8) Định lý 4.1: Với n ≥ , ta có: P ( n +1) = PP ( n) = P ( n) P (4.17) P ( n) = P n (4.18) Từ suy Chứng minh: Áp dụng cơng thức xác xuất đầy đủ (1.19) ta có pij ( n+1) = P { X n +1 = j X = i} = ∑ P { X n+1 = j X = i , X1 = k} P { X1 = k k∈E = X = i} ∑ P { X n+1 = j X1 = k} P { X1 = k X = i} = ∑ pik pkj (n) k∈E k ∈E ⇒ P ( n +1) = PP ( n ) Ta có pij ( n+1) = P { X n+1 = j X = i} = ∑ P { X n+1 = j X = i, X n = k} P { X n = k X = i} k∈E = ∑ P { X n+1 = j X n = k} P { X n = k X = i} = ∑ pik (n) pkj k∈E k ∈E ⇒ P ( n +1) = P ( n ) P Từ (4.17) suy P (2) = PP = P , quy nạp ta có P ( n) = P n với n = 0,1, 2, Từ công thức (4.18) đẳng thức P n + m = P n P m , ∀ n, m ≥ ta viết phần tử tương ứng dạng 111 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov pij ( n+ m) = ∑ pik ( n ) pkj ( m ) (4.19) k Công thức (4.19) gọi Phương trình Chapman-Kolmogorov Phương trình Chapman-Kolmogorov giải thích quy luật chuyến trạng thái chuỗi Markov sau: hệ chuyển từ trạng thái i sang trạng thái j sau n + m bước đạt cách chuyển từ trạng thái i sang trạng thái trung gian k n bước (với xác suất pik ( n ) ) tiếp tục chuyển từ trạng thái k sang trạng thái j m bước (với xác suất pkj ( m ) ) Hơn nửa biến cố “chuyển từ trạng thái i sang trạng thái trung gian k n bước” biến cố “chuyển từ trạng thái k sang trạng thái j m bước” độc lập Vậy xác suất chuyển từ i sang j sau n + m bước qua i, k , j pik ( n ) pkj ( m ) Cuối xác suất chuyển từ i sang j có cách lấy tổng theo k , với k chạy không gian trạng thái chuỗi 4.2.4 Phân bố xác suất { X n , n = 0,1, 2, } Giả sử khơng gian trạng thái có dạng E = {0,1, 2, } Ma trận hàng P(n) = [ p0 (n) p1 (n) p2 (n) ]; p j (n) = P { X n = j} , n = 0,1, 2, (4.20) gọi ma trận phân bố hệ thời điểm n phân bố X n Các phần tử ma trận hàng P ( n) thỏa mãn điều kiện pk (n) ≥ 0; ∑ p ( n) = k k Khi n = , P(0) = [ p0 (0) p1 (0) p2 (0) ] gọi ma trận phân bố ban đầu Định lý 4.2: Với n ≥ , m ≥ : P (n) = P (0) P ( n ) (4.21) P ( n + 1) = P ( n) P (4.22) P ( n + m) = P ( n) P ( m ) (4.23) Chứng minh: Từ định lý 4.1 ta suy điều tương đương Vì để chứng minh định lý 4.2 ta cần chứng minh (4.23), điều có cách sử dụng công thức xác suất đầy đủ: p j (n + m) = P { X n+ m = j} = ∑ P { X n = i} P { X n+ m = j X n = i} = ∑ pi (n) pij ( m ) i∈E i∈E Vậy chuỗi Markov rời rạc hoàn toàn xác định ma trận xác suất chuyển bước P ma trận phân bố ban đầu P (0) 112 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Ví dụ 4.2: Một mạng viễn thơng gồm dãy trạm chuyển tiếp kênh viễn thông nhị phân cho sơ đồ sau, X n ký hiệu mã số nhị phân đầu trạm thứ n X ký hiệu mã số nhị phân đầu vào trạm X n−1 = Xn = 1− a a X n −1 = b 1− b Xn =1 Hình 4.3: Mạng viễn thơng nhị phân Đây mơ hình chuỗi Markov có khơng gian trạng thái E = {0,1} , tập số T = {0,1, , n, } Ma trận xác suất chuyển mạng viễn thông thường gọi ma trận kênh: a ⎤ ⎡1 − a P=⎢ ⎥ ; < a < 1, < b < ⎣ b − b⎦ Giả sử a = 0,1 , b = 0, phân bố xác suất đầu P { X = 0} = P { X = 1} = 0,5 (hai tín hiệu 0, đồng khả năng) a) Tìm ma trận xác suất chuyển sau bước, b) Tìm phân bố trạm thứ hai X ⎡ 0,9 0,1⎤ ⎡ 0,9 0,1⎤ ⎡ 0,83 0,17 ⎤ Giải: a) P (2) = ⎢ ⎥⎢ ⎥=⎢ ⎥ ⎣ 0, 0,8⎦ ⎣ 0, 0,8⎦ ⎣ 0,34 0, 66 ⎦ ⎡ 0,83 0,17 ⎤ b) P (2) = P(0) P (2) = [ 0,5 0,5] ⎢ ⎥ = [ 0,585 0, 415] ⎣0,34 0, 66 ⎦ Như có 58,5% tín hiệu 41,5% tín hiệu đầu trạm thứ hai, đầu vào trạm hai tín hiệu xuất đồng khả Ví dụ 4.3: ( Mơ hình hịa nhập cộng đồng bệnh nhân tâm thần xuất viện) Các chuyên gia y tế thường tránh chuyển bệnh nhân tâm thần lâu năm xuất viện trực tiếp từ bệnh viện đến với cộng đồng Chẳng hạn Billings, Montana, người ta thực sau: Trước hết người ta chuyển bệnh nhân đến khu vực chăm sóc 24/24 Nếu tình trạng sức khỏe bệnh nhân tiến triển tốt đáp ứng tiêu chí địi hỏi chuyển đến nhóm 40 giờ, tức chăm sóc ngày tuần ngày Nếu tình trạng bệnh nhân tiếp tục tiến triển 113 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov tốt đưa đến nhóm có tương tác giao tiếp cao hơn, bệnh nhân luyện tập tự chủ hành vi Cuối coi khỏi bệnh hồn tồn đưa hòa nhập với cộng đồng Drachman (1981) phân tích liệu thu thập Billings từ 1/1/1978 đến 31/5/1979 nhận thấy liệu tn theo mơ hình chuỗi Markov với ma trận xác suất chuyển sau: H H ⎡ 0, 7143 I ⎢⎢ 0,1177 P = 24 ⎢ 0, 0109 ⎢ 40 ⎢ 0, 0213 A ⎢ 0, 0000 ⎢ C ⎣ 0, 0136 I 0, 0714 0, 0588 0, 0109 0, 0213 0, 0172 0, 0442 24 0, 0714 0, 2941 0, 7283 0, 0213 0, 0172 0, 0578 40 0, 0000 0,1177 0, 0652 0, 7660 0, 0172 0, 0034 A 0, 0000 0, 0000 0, 0000 0, 0426 0, 7931 0, 0272 C 0,1429 ⎤ 0, 4118⎥⎥ 0,1848 ⎥ ⎥ 0,1277 ⎥ 0,1552 ⎥ ⎥ 0,8537 ⎦ trạng thái H (ở bệnh viện), I (bắt đầu chuyển khỏi bệnh viện), 24 (nhóm chăm sóc 24/24), 40 (nhóm chăm sóc 40 giờ/1 tuần), A (nhóm tương tác giao tiếp) C (nhóm đưa cộng đồng) Ở 12 tuần qui tròn thành tháng Áp dụng cơng thức (4.18) ta tính H H I P = 24 40 A C ⎡ 0,1723 ⎢ 0, 0678 ⎢ ⎢ 0, 0454 ⎢ ⎢ 0, 0548 ⎢ 0, 0282 ⎢ ⎣ 0, 0489 I 24 0, 0424 0, 0359 0, 0323 0, 0330 0, 0313 0, 0374 0, 2002 0, 2032 0, 2539 0,1256 0,1180 0,1758 40 0, 0585 0,1010 0,1167 0, 2373 0, 0592 0, 0548 A 0, 0372 0, 0600 0, 0507 0,1046 0, 2870 0, 0758 C 0, 4894 ⎤ 0,5323 ⎥⎥ 0,5010 ⎥ ⎥ 0, 4447 ⎥ 0, 4762 ⎥ ⎥ 0, 6073 ⎦ Dữ liệu ban đầu O1 = [1 15 10 53] (biểu diễn theo tần số), áp dụng cơng thức (4.17) tính e7 = O1P = [ 4,17 3, 09 15,51 7, 20 8,52 48,51] , 17 tháng làm tròn thành chu kỳ 12-tuần Giá trị thức tế O7 = [5 15 51] Sử dụng phép thử “khi bình phương” để so sánh, người ta thấy giá trị lý thuyết e7 phù hợp với giá trị thức tế O7 Điều chứng tỏ chuỗi Markov phù hợp với mơ hình 4.2.5 Một số mơ hình chuỗi Markov quan trọng 4.2.5.1 Mơ hình phục vụ đám đơng Xét mơ hình phục vụ đám đông (lý thuyết hàng) Khách đến hàng chờ phục vụ theo nguyên tắc FIFO (first in first out) chu kỳ cửa hàng phục vụ khách Số 114 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov khách đến chu kỳ thứ n biến ngẫu nhiên ξ n Giả sử ξ1 , ξ , biến ngẫu nhiên độc lập phân bố với biến ngẫu nhiên ξ có phân bố xác suất xác định sau P{ξ = k } = a k ; k = 0,1,2, ; ak ≥ 0; ∑ ak = (4.24) k Trạng thái hệ (cửa hàng) số khách xếp hàng chờ phục vụ thời điểm đầu chu kỳ (khi khách hàng vừa phục vụ xong) Nếu hệ trạng thái i sau chu kỳ hệ rơi vào trạng thái j ⎧i − + ξ j=⎨ ⎩ξ nÕu i ≥ 1, nÕu i = (4.25) Ký hiệu X n số khách hàng thời điểm đầu chu kỳ thứ n + X n+1 = ( X n − 1) + ξn , X + = max(0, X ) , Từ (4.24)-(4.25) suy nÕu i = 0, j ≥ ⎧a j ⎪⎧ P {ξn = j + − i} nÕu i > ⎪ =⎨0 P { X n +1 = j X n = i} = ⎨ nÕu j + < i nÕu i = ⎪ ⎩⎪ P {ξn = j} ⎩a j +1−i nÕu j + ≥ i > Vì trình đến ξ n độc lập xác suất chuyển pij = P { X n+1 = j X n = i} thỏa mãn điều kiện (4.7), biến ngẫu nhiên ξ n có phân bố xác suất chuyển pij theo thời gian Vậy { X n ; n = 0,1, } chuỗi Markov với ma trận xác suất chuyển ⎡a ⎢ ⎢a ⎢ P=⎢0 ⎢ ⎢0 ⎢ ⎢⎣ a1 a2 a1 a2 a0 a1 a0 a3 …⎤ ⎥ a3 …⎥ ⎥ a …⎥ ⎥ a1 …⎥ ⎥ ⎥⎦ (4.26) 4.2.5.2 Mơ hình kiểm kê (Inventory Model) Giả thiết phải dự trữ kho loại hàng để đáp ứng nhu cầu liên tục khách hàng Hàng nhập kho cuối chu kỳ n = 0,1,2, Giả sử tổng số lượng hàng cần phải đáp ứng nhu cầu chu kỳ n biến ngẫu nhiên ξ n có phân bố độc lập với chu kỳ thời gian, nghĩa dãy biến ngẫu nhiên {ξn } độc lập có phân bố với ξ P{ ξ = k } = ak ; ak > ∑ ak = (4.27) k 115 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Mức hàng dự trữ kiểm kê cuối chu kỳ Cách nhập hàng vào số tiêu chuẩn s S ( s < S ) sau: Nếu cuối chu kỳ lượng hàng dự trữ ≤ s tức khắc nhập hàng để có số hàng dự trữ S ; Nếu hàng có > s khơng cần nhập hàng Giả sử số nhu cầu chu kỳ không vượt S Ký hiệu X n lượng hàng có cuối chu kỳ n trước nhập hàng, ⎧ X n − ξn+1 X n+1 = ⎨ ⎩ S − ξn+1 nÕu s < X n ≤ S , nÕu X n ≤ s (4.28) Các trạng thái trình { X n , n ≥ 0} số lượng hàng dự trữ: S , S − 1, ,1, 0, − 1, − 2, giá trị âm nhu cầu chưa phục vụ mà đáp ứng sau nhập hàng ⎧⎪ P {ξn +1 = i − j} nÕu s < i ≤ S , pij = P { X n+1 = j X n = i} = ⎨ ⎪⎩ P {ξn +1 = S − j} nÕu i ≤ s (4.29) Ví dụ 4.4: Xét mơ hình kiểm kê phụ tùng thay thế, yêu cầu 0, đơn vị phụ tùng cần thay chu kỳ với phân bố xác suất sau P {ξ = 0} = 0,5; P {ξ = } = 0, 4; P {ξ = 2} = 0,1 giả sử s = ; S = Không gian trạng thái E = { − 1, 0,1, } Ta có: ⎧⎪ P {ξ = i − j} nÕu < i ≤ 2, pij = P { X n+1 = j X n = i} = ⎨ ⎪⎩ P {ξ = − j} nÕu i ≤ p−1,−1 = P { X n+1 = −1 X n = −1 } = P (∅ ) = , p−1,0 = P { X n +1 = X n = −1 } = P (ξ = 2) = 0,1 , p−1,1 = P { X n +1 = X n = −1 } = P (ξ = 1) = 0, , Ma trận xác suất chuyển: ⎡0, 0,1 ⎢0, 0,1 P=⎢ ⎢ 0,1 0, ⎢ ⎣0, 0,1 0, 0, 0,5 0, 0,5 ⎤ 0,5 ⎥⎥ 0, ⎥ ⎥ 0,5 ⎦ Mơ hình di động ngẫu nhiên xét mục 4.4 116 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4.2.6 Phân bố dừng, phân bố giới hạn, phân bố ergodic Định nghĩa 4.4 P* = [ p1 p2 ] gọi phân bố dừng chuỗi Markov với ma trân xác suất chuyển P thoả mãn điều kiện: ⎧ P* = P * P ⎪ ⎨ p ≥ 0, pj =1 ⎪ j j ⎩ ∑ (a) (b) (4.30) Từ (4.30-a) suy P* = P* P = P* P = = P* P n ; ∀ n Do lấy P* làm phân bố đầu chuỗi Markov P* (n) = P* , ∀ n Như chuỗi Markov có phân bố dừng thời điểm n0 hệ có phân bố xác suất ổn định sau bước chuyển kể từ thời điểm n0 Điều kiện (4.30-a) viết lại dạng P t P*t = P*t (4.31) ma trận cột P*t ma trận chuyển vị P* Công thức (4.31) cho thấy phân bố dừng P* véc tơ riêng với giá trị riêng ma trận P t Định nghĩa 4.5: Ta nói chuỗi Markov với ma trân xác suất chuyển P có phân bố giới hạn [ p1 p2 … ] thoả mãn điều kiện: 1) Với j tồn giới hạn lim pij ( n ) = p j không phụ thuộc i , n→∞ 2) ∑ pj =1 , pj ≥ 0, (4.32) (4.33) j Nếu điều kiện (4.33) thay 3) ∑ pj =1 , pj > (4.34) j chuỗi Markov gọi có tính ergodic [ p1 p2 … ] phân bố ergodic Nhận xét 4.1: ¾ Nếu phân bố X n0 (ở thời điểm thứ n0 ) chuỗi phân bố dừng từ thời điểm trở phân bố chuỗi không thay đổi; nghĩa với m ≥ n0 , X m X n0 có phân bố ¾ Phân bố giới hạn phân bố hệ đạt thời gian tiến đến vô Phân bố giới hạn phụ thuộc ma trận xác suất chuyển, không phụ thuộc phân bố đầu (ví dụ 4.6) Trong thực 117 Chương 4: Q trình ngẫu nhiên, chuỗi Markov tế đến thời điểm trở chuỗi đạt phân bố giới hạn Ví dụ 4.5 sau chứng tỏ với n = 20 chuỗi đạt phân bố giới hạn ¾ Phân bố ergodic phân bố giới hạn với xác suất dương trạng thái chuỗi Ví dụ 4.5: Có mạng điện thoại di động A, B, C khai thác thị trường Tỉ lệ chiếm lĩnh thị trường tương ứng 40%, 30% 30% Theo thống kê người ta thấy xác suất thay đổi mạng khách hàng tháng sau: A P= B C A ⎡ 0, 0,3 0,1 ⎤ B ⎢⎢ 0,1 0,8 0,1 ⎥⎥ C ⎢⎣ 0,1 0, 0, ⎥⎦ Áp dụng cơng thức (4.18) (4.21) ta tính phân bố thời điểm thứ n : P (n) = P (0) P ( n ) trường hợp sau P(0) = [ 0, 0,3 0,3] , n=0 n =1 ⎡0, 0,3 0,1 ⎤ P = ⎢⎢ 0,1 0,8 0,1 ⎥⎥ ⎢⎣ 0,1 0, 0, ⎥⎦ P(1) = P(0) P = [ 0,35 0, 43 0, 22] , ⎡0, 2125 0,5492 0, 2383⎤ P = ⎢⎢ 0,1969 0,5648 0, 2383⎥⎥ ⎢⎣ 0,1969 0,5181 0, 2853⎥⎦ P (6) = P (0) P = [ 0, 2047 0,5476 0, 2477 ] , ⎡0, 2002 0,5503 0, 2495⎤ n = 12 P = ⎢⎢0, 2000 0,5506 0, 2495⎥⎥ ⎢⎣0, 2000 0,5484 0, 2516 ⎥⎦ P(12) = P(0) P12 = [ 0, 2001 0,550 0, 2499] , ⎡0, 2000 0,5500 0, 2500⎤ P = ⎢⎢0, 2000 0,5500 0, 2500⎥⎥ ⎢⎣0, 2000 0,5499 0, 2501⎥⎦ P(18) = P(0) P18 = [ 0, 2000 0,550 0, 2500] n=6 12 n = 18 n = 20 18 P 20 ⎡0, 2000 0,5500 0, 2500 ⎤ = ⎢⎢0, 2000 0,5500 0, 2500 ⎥⎥ ⎢⎣0, 2000 0,5500 0, 2500 ⎥⎦ P(20) = P(0) P 20 = [ 0, 20 0,55 0, 25] Ta thấy n lớn xác suất cột gần đạt phân bố giới hạn n = 20 Vậy thị trường đạt trạng thái ổn định với tỉ lệ tương ứng 20%, 55% 25% Phân bố giới hạn phụ thuộc ma trận xác suất chuyển khơng phụ thuộc phân bố ban đầu Ví dụ sau minh họa thêm điều 118 Chương 4: Q trình ngẫu nhiên, chuỗi Markov Ví dụ 4.6: Về bình đẳng giáo dục nhóm chủng tộc Trên sở báo cáo điều tra dân số văn phòng điều tra dân số Hoa kỳ năm 1960, hai tác giả Lieberson Fuguitt (1967) xác định ma trận chuyển trình độ học vấn hai hệ so sánh tình trạng học vấn nhóm niên độ tuổi 20-24 với trình độ học vấn bố họ: Dưới ĐH Dưới ĐH ⎡ 0,43 ⎢ ⎢ P = ĐH ⎢ 0,10 ⎢ Trên ĐH ⎢⎣ 0,05 ĐH Trên ĐH 0,34 0,23⎤ ⎥ ⎥ 0,54 ⎥ ⎥ 0,80 ⎥⎦ 0,36 0,15 Hai tác giả đồng ý có hai loại bất lợi nhóm chủng tộc dân tộc Loại bất lợi thứ bắt nguồn từ nguồn gốc chủng tộc dân tộc mà kết có khác ma trận chuyển nhóm người da trắng nhóm người da mầu Ngay phân biệt chủng tộc bị loại bỏ cịn loại bất lợi thứ hai vị trí xã hội thu nhập người da mầu thấp nhiều so với người da trắng Nói cách khác ma trận chuyển học vấn hai hệ P (ma trận xác suất chuyển) xem hai nhóm điều kiện ban đầu P (0) (phân bố đầu) khác Bảng kết sau giả định ma trận chuyển P hai nhóm da trắng da mầu có xuất phát điểm khác Chỉ số khác bảng tỷ lệ % khoảng cách mà hai nhóm cần phải thay đổi để đạt phân bố trình độ học vấn P(1) (1960) P(2) P(3) P(4) P(5) P(6) P(7) P(8) Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu Da trắng Da mầu % Dưới ĐH % ĐH % Trên ĐH 46 75 24 34 16 20 12 14 11 11 10 11 10 10 10 10 31 16 30 33 26 28 23 25 22 23 22 22 21 22 21 21 23 09 46 33 58 52 64 61 68 66 68 67 69 68 69 69 Chỉ số % khác 29 13 1 119 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Như không phụ thuộc vào xuất phát điểm, sau hệ nhóm người cộng đồng có trình độ học vấn theo tỷ lệ 10% ĐH, 21% ĐH 69% ĐH Định lý 4.3: Nếu tồn phân bố giới hạn phân bố dừng Chứng minh: Giả sử [ p1 p2 … ] phân bố giới hạn, với j ta có: ⎛ ⎞ p j = lim pij ( n+1) = lim ⎜ ∑ pik ( n) pkj ⎟ = ∑ pk pkj n→∞ n→∞ ⎝ k ⎠ k ⇒ [ p1 p2 … ] = [ p1 Ngược lại giả sử ⎡⎣ p1 p2 … ] P Do [ p1 p2 … ] phân bố dừng p … ⎤⎦ phân bố dừng chuỗi Markov p j = ∑ p k pkj = ∑ p k pkj(2) = = ∑ p k pkj( n ) k ⇒ k k ⎛ ⎞ p j = lim ⎜ ∑ p k pkj( n) ⎟ = ∑ p k p j = p j n→∞ ⎝ k ⎠ k Nghĩa phân bố giới hạn phân bố dừng Định lý 4.4: Nếu chuỗi Markov có khơng gian trạng thái hữu hạn chuỗi ergodic tồn n0 cho pij ( n0 ) > i, j Nhận xét 4.2: Từ định lý 4.3 4.4 ta thấy chuỗi Markov có ma trận xác suất chuyển P = ⎡⎣ pij ⎤⎦ thỏa mãn điều kiện tồn n0 cho pij ( n0 ) > chuỗi ergodic Phân bố i, j ergodic phân bố dừng nhất, nghiệm hệ phương trình: ⎧ [ x1 x2 ] = [ x1 x2 ⎪ ⎨ x > 0, ∑j x j = ⎪⎩ j ⎧ ⎡ x1 ⎤ ⎡ x1 ⎤ ⎪ t⎢ ⎥ ⎢ ⎥ ] P ⎪⎪ P ⎢ x2 ⎥ = ⎢ x2 ⎥ hay ⎨ ⎣⎢ ⎦⎥ ⎣⎢ ⎦⎥ ⎪ ⎪ x j > 0, ∑ x j = ⎪⎩ j (4.35) Giải hệ phương trình (4.35) cho trường hợp ví dụ 4.6 ta thu phân bố dừng tương ứng P* = [ 0, 20 0,550 0, 25] Ví dụ 4.7: Xét chuỗi Markov ví dụ 4.2, ma trận xác suất chuyển a ⎤ ⎡1 − a P=⎢ ⎥ , < a, b < ⎣⎢ b − b⎦⎥ 120 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Theo định lý 4.4 chuỗi Markov có tính ergodic với phân bố ergodic nghiệm hệ phương trình b ⎧ ⎧ ⎡1 − a b ⎤ ⎡ x1 ⎤ ⎡ x1 ⎤ x1 = ⎪ = − + = ax bx ⎧ ⎪⎢ ⎪ a+b ⎥⎢ ⎥ ⎢ ⎥ ⇔⎨ ⎨ ⎣ a − b ⎦ ⎣ x2 ⎦ ⎣ x2 ⎦ ⇔ ⎨ ⎩ x1 + x2 = ⎪ x + x =1 ⎪x = a ⎩ a+b ⎩⎪ Mặt khác tính trực tiếp ma trận chuyển sau n bước n a ⎤ ⎡1 − a ⎡ a −a ⎤ ⎫ ⎧ ⎡b a ⎤ = + (1 − a − b) n ⎢ P =⎢ ⎨⎢ ⎥ ⎥ ⎥⎬ a + b ⎩ ⎣b a ⎦ ⎣ b − b⎦ ⎣ −b b ⎦ ⎭ n ⇒ lim P ( n ) n→∞ ⎡ b ⎢a +b =⎢ ⎢ b ⎢⎣ a + b (4.36) a ⎤ a +b⎥ ⎥ a ⎥ a + b ⎥⎦ Do chuỗi tồn phân bố giới hạn Đế chứng minh (4.36) ta tính theo cách sau: Quy nạp theo n n Sử dụng công thức: AB = BA ( A + B) = n ∑ Cnk Ak B n−k cách đặt k =0 ⎡1 − a P=⎢ ⎣ b Pn = a ⎤ ⎡ −a = − b ⎥⎦ ⎢⎣ b a ⎤ ⎡1 + −b ⎥⎦ ⎢⎣0 0⎤ ⎡ −a ; A=⎢ ⎥ 1⎦ ⎣b a⎤ ⇒ Ak = (−a − b) k −1 A −b ⎥⎦ n ⎛ n k k k k k k −1 ⎞ = + = + C A I C A I ⎜⎜ ∑ Cn (− a − b) ⎟⎟ A ∑ n ∑ n k =0 k =1 ⎝ k =1 ⎠ n =I+ 1 ⎧ ⎡b (1 − a − b) n − A = ⎨ −( a + b ) a + b ⎩ ⎢⎣b ( ) a⎤ ⎡a + (1 − a − b)n ⎢ ⎥ a⎦ ⎣ −b −a ⎤ ⎫ ⎬ b ⎥⎦ ⎭ Ví dụ 4.8: Trong báo viết năm 1913 A A Markov chọn dãy gồm 20.000 chữ trường ca Evghenhi Onheghin A X Puskin thấy chữ chuyển đổi liên hai trạng thái nguyên âm (Na) phụ âm (Pa) với ma trận xác suất chuyển P= Na ⎡ 0,128 0,872 ⎤ Pa ⎢⎣0, 663 0,337 ⎥⎦ Na Pa Phân bố giới hạn (cũng phân bố dừng) chuỗi Markov P( Na ) = 0, 663 0,872 = 0, 423 , P( Pa) = = 0,568 0,872 + 0, 663 0,872 + 0, 663 121 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Vậy có khoảng 42,3% nguyên âm 56,8% phụ âm tác phẩm 4.3 PHÂN LOẠI TRẠNG THÁI CHUỖI MARKOV Định lý 4.4 cho ta dấu hiệu nhận biết chuỗi Markov hữu hạn trạng thái tồn phân bố ergodic Trong trường hợp tổng quát, cách phân tích trạng thái chuỗi Markov ta tìm điều kiện để chuỗi tồn phân bố dừng, phân bố giới hạn phân bố ergodic thỏa mãn điều kiện (4.31)-(4.34) 4.3.1 Các trạng thái liên thông phân lớp Định nghĩa 4.6: Ta nói trạng thái j đạt (accessible) từ trạng thái i tồn n ≥ cho pij( n ) > (xác suất để sau n bước chuyển từ trạng thái i sang trạng thái j lớn 0) Ký hiệu i → j Quy ước pii(0) = pij(0) = i ≠ j Hai trạng thái i j gọi liên thông (communicate) với i → j j → i , lúc ta ký hiệu i ↔ j Có thể chứng minh ↔ quan hệ tương đương (có tính phản xạ, đối xứng bắc cầu) tập trạng thái Do ta phân hoạch khơng gian trạng thái thành lớp tương đương Các lớp tương đương rời nhau, hai trạng thái lớp liên thơng với nhau, cịn hai trạng thái thuộc hai lớp khác liên thông với Định nghĩa 4.7: Chuỗi Markov gọi tối giản (irreducible) hai trạng thái không gian trạng thái liên thông với Như chuỗi Markov tối giản có lớp tương đương Ví dụ 4.9: Cho chuỗi Markov với ma trận xác suất chuyển ⎡1 / / ⎢ ⎢1 / / ⎢ P=⎢ 0 ⎢ ⎢ 0 1/ ⎢ ⎢⎣ 0 0 1 ⎤ ⎥ ⎥ ⎥ ⎡ P1 ⎥=⎢ ⎥ ⎢⎣ / 2⎥ ⎥ ⎥⎦ 0⎤ ⎥ P2 ⎥⎦ Không gian trạng thái E = {1, 2, 3, 4, 5} phân thành hai lớp E1 = {1, 2} , E2 = {3, 4, 5} Có thể xem E1 , E2 hai không gian trạng thái hai chuỗi Markov với ma trận xác suất chuyển tương ứng P1 P2 , hai chuỗi Markov tối giản Một cách tổng quát, giả sử không gian trạng thái tách thành lớp tương đương E = E1 ∪ E ∪ 122 ... ĐH 46 75 24 34 16 20 12 14 11 11 10 11 10 10 10 10 31 16 30 33 26 28 23 25 22 23 22 22 21 22 21 21 23 09 46 33 58 52 64 61 68 66 68 67 69 68 69 69 Chỉ số % khác 29 13 1 119 Chương 4: Q trình ngẫu... 0, 43 0, 22 ] , ⎡0, 21 25 0,54 92 0, 23 83⎤ P = ⎢⎢ 0,1969 0,5648 0, 23 83⎥⎥ ⎢⎣ 0,1969 0,5181 0, 28 53⎥⎦ P (6) = P (0) P = [ 0, 20 47 0,5476 0, 24 77 ] , ⎡0, 20 02 0,5503 0, 24 95⎤ n = 12 P = ⎢⎢0, 20 00 0,5506... 0, 24 95⎥⎥ ⎢⎣0, 20 00 0,5484 0, 25 16 ⎥⎦ P( 12) = P(0) P 12 = [ 0, 20 01 0,550 0, 24 99] , ⎡0, 20 00 0,5500 0, 25 00⎤ P = ⎢⎢0, 20 00 0,5500 0, 25 00⎥⎥ ⎢⎣0, 20 00 0,5499 0, 25 01⎥⎦ P(18) = P(0) P18 = [ 0, 20 00