CHƯƠNG IV: QUÁ TRÌNH NGẪU NHIÊN, CHUỖI MARKOV

Chương 4: Quá trình ngẫu nhiên, chuỗi Markov CHƯƠNG IV: QUÁ TRÌNH NGẪU NHIÊN, CHUỖI MARKOV GIỚI THIỆU Hầu hết tượng xảy tự nhiên xã hội có tính chất ngẫu nhiên, phản ánh mối ràng buộc phức tạp mà ta trước Trong giáo trình Xác suất Thống kê tìm hiểu khái niệm biến ngẫu nhiên, véc tơ ngẫu nhiên, biến nhận giá trị phụ thuộc vào yếu tố ngẫu nhiên Khi họ biến ngẫu nhiên phụ thuộc vào thời gian ta có trình ngẫu nhiên Lý thuyết trình ngẫu nhiên lần nghiên cứu liên quan đến toán dao động nhiễu hệ vật lý Quá trình ngẫu nhiên mô hình toán học trình thực nghiệm mà phát triển bị chi phối quy luật xác suất Quá trình ngẫu nhiên cung cấp mô hình hữu ích để nghiên cứu nhiều lĩnh vực khác vật lý thống kê, viễn thông, điều khiển, phân tích chuỗi thời gian, tăng trưởng dân số ngành khoa học quản lý Các tín hiệu video, tín hiệu thoại, liệu máy tính, nhiễu hệ thống viễn thông, nhiễu điện thiết bị điện, số khách hàng đến điểm phục vụ, số chứng khoán thị trường chứng khoán… trình ngẫu nhiên Quá trình ngẫu nhiên có nhiều ứng dụng viễn thông trình Markov (quá trình không nhớ, memoryless) trình dừng Chuỗi Markov trình Markov có không gian trạng thái rời rạc, thời gian rời rạc Chuỗi Markov thường gặp toán chuyển mạch hệ thống viễn thông Quá trình Poisson ví dụ chuỗi Markov với thời gian liên tục Quá trình Poisson X (t ) mô tả trình đếm số lần xuất biến cố A thời điểm t Quá trình Poisson ứng dụng nhiều viễn thông, liên quan đến toán truyền tín hiệu, hệ phục vụ, toán chuyển mạch Tín hiệu viễn thông, nhiễu tính Markov Các trình khứ có ảnh hưởng lớn đến tiến triển trình tương lai Tuy nhiên hàm trung bình không thay đổi hàm tương quan theo thời gian, trình dừng Khi trình dừng biểu diễn tín hiệu nhiễu biến đổi Fourier hàm tương quan trình hàm mật độ phổ công suất tín hiệu nhiễu Một toán quan trọng lý thuyết chuyển mạch vấn đề xung đột thông tin, nghẽn mạch rớt gọi Lý thuyết trình hàng (Queueing theory) xác định tìm phương án tối ưu để hệ thống phục vụ tốt nhất, xét chương Trong chương ta nghiên cứu cách khái quát khái niệm trình ngẫu nhiên chuỗi Markov thời gian rời rạc 103 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Để học tốt chương học viên cần nắm vững khái niệm xác suất, xác suất có điều kiện, công thức xác suất đầy đủ, biến ngẫu nhiên kiến thức đại số tuyến tính ma trận, hệ phương trình tuyến tính 4.1 KHÁI NIỆM VÀ PHÂN LOẠI QUÁ TRÌNH NGẪU NHIÊN 4.1.1 Khái niệm trình ngẫu nhiên Các tín hiệu hệ thống thông tin tín hiệu ngẫu nhiên thành phần mang tin có tác động giao thoa ngẫu nhiên nhiễu thiết bị Giả sử tín hiệu mà thời điểm t nhận giá trị phụ thuộc hệ biến cố {Ei , i ∈ N } phép thử Tín hiệu nhận giá trị x(t , Ei ) thời điểm t biến cố Ei xảy Như { x(t , Ei )} hàm mẫu trình ngẫu nhiên X (t ) Quá trình ngẫu nhiên X (t ) vừa phụ thuộc thời gian t , vừa phụ thuộc yếu tố ngẫu nhiên Ei x(t , E1 ) t1 t2 t t2 t t2 t t2 t x(t , E2 ) t1 Quá trình ngẫu nhiên X (t ) x(t , E3 ) (t E ) x(t , E4 ) t1 t1 { x(t1, Ei ), i ∈ N } { x(t2 , Ei ), i ∈ N } Hình 4.1: Mô hình trình ngẫu nhiên Một cách tổng quát trình ngẫu nhiên họ biến ngẫu nhiên { X (t , ω ); t ∈ T } xác định phép thử Các trình vừa phụ thuộc vào thời gian t cố định tham số t X (t , ω ) biến ngẫu nhiên theo ω Các giá trị nhận theo thời gian t gọi hàm mẫu thể trình ngẫu nhiên Tập số T thường biểu diễn tham số thời gian 104 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Do tác động yếu tố ngẫu nhiên nên tín hiệu { X (t , ω ); t ∈ T } truyền trình ngẫu nhiên Tín hiệu cụ thể nhận hàm mẫu (một thể hiện) trình ngẫu nhiên { X (t , ω ); t ∈ T } Để đơn giản cách viết người ta ký hiệu trình ngẫu nhiên { X (t ); t ∈ T } thay cho { X (t , ω ); t ∈ T } , hàm mẫu tương ứng ký hiệu { x(t ); t ∈ T } 4.1.2 Phân loại trình ngẫu nhiên Có thể phân loại trình ngẫu nhiên theo đặc trưng sau: • Không gian trạng thái, • Tập số thời gian T , • Quan hệ độc lập, quy luật phân bố xác suất biến ngẫu nhiên X (t ) 4.1.2.1 Phân loại trình ngẫu nhiên theo tập trạng thái E Ta ký hiệu E tập giá trị X (t ) gọi không gian trạng thái trình, giá trị X (t ) gọi trạng thái ♦ Nếu E tập đếm { X (t ); t ∈ T } gọi trình có trạng thái rời rạc ♦ Nếu E khoảng tập số thực R { X (t ); t ∈ T } gọi trình thực trình trạng thái liên tục ♦ Nếu E tập tập số phức C { X (t ); t ∈ T } trình trạng thái phức ♦ Nếu E ⊂ R k { X (t ); t ∈ T } trình trạng thái k-véc tơ 4.1.2.2 Phân loại trình ngẫu nhiên theo tập số T ™ Nếu T ⊂ Z trình { X (t ); t ∈ T } gọi trình có thời gian rời rạc tham số rời rạc Trường hợp ta ký hiệu X n thay cho X (t ) gọi dãy ngẫu nhiên ™ Nếu T = [0; ∞) T = R { X (t ); t ∈ T } gọi trình có thời gian liên tục 4.1.2.3 Phân loại theo tính chất xác suất trình ngẫu nhiên Quá trình ngẫu nhiên trở thành biến ngẫu nhiên thời gian cố định thời điểm Mỗi biến ngẫu nhiên có đặc trưng thống kê kỳ vọng, phương sai, moment … Các đặc trưng nhận từ hàm phân bố xác suất Các hàm phân bố xác suất xác định từ hàm mật độ xác suất (trường hợp liên tục), hàm khối lượng xác suất (trường hợp rời rạc) Hai biến ngẫu nhiên nhận hai thời điểm trình có đặc trưng (kỳ vọng, phương sai, hiệp phương sai …) xác định từ hàm phân bố xác suất đồng thời hai biến ngẫu nhiên 105 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Tổng quát hơn, biến ngẫu nhiên N chiều nhận N thời điểm có đặc trưng xác định từ hàm phân bố xác suất đồng thời biến ngẫu nhiên a) Quá trình độc lập: Quá trình { X (t ); t ∈ T } gọi trình độc lập với thời điểm t1 < t < < t n biến ngẫu nhiên sau độc lập (4.1) X (t1 ), X (t2 ), , X (tn ) Ví dụ 4.1: Giả sử X1 , X , dãy biến ngẫu nhiên độc lập có phân bố Bernoulli với xác suất P { X n = 1} = p , P { X n = 0} = q = − p với n Khi { X n , n ≥ 1} trình ngẫu nhiên gọi trình Bernoulli Quá trình Bernoulli trình độc lập có không gian trạng thái rời rạc E = {0,1} , thời gian rời rạc T = {1, 2, } Một ví dụ trình Bernoulli dãy mẫu tương ứng nhận cách gieo đồng xu liên tiếp Nếu mặt sấp xuất ta gán giá trị 1, mặt ngửa xuất ta gán giá trị Chẳng hạn n 10 MÆt xuÊt hiÖn xn S N N S S S N S S N 0 1 1 Dãy mẫu { xn , n ≥ 1} nhận minh họa hình sau xn z z z z z z z z z z z 10 n Hình 4.2: Hàm mẫu trình Bernoulli b) Quá trình có gia số độc lập: Quá trình { X (t ); t ∈ T } gọi trình gia số độc lập gia số trình khoảng thời gian rời biến ngẫu nhiên độc lập Tức với cách chọn thời điểm t1 < t < < t n biến ngẫu nhiên sau độc lập 106 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov X (t ) − X (t1 ), X (t ) − X (t ), , X (t n ) − X (t n−1 ) (4.2) Đặc biệt với trình thời gian rời rạc { X n } tính chất gia số độc lập dẫn đến dãy biến ngẫu nhiên Z = X , Zi = X i − X i −1 ; i = 1, 2, độc lập Ngoài ta biết luật phân bố biến ngẫu nhiên Z , Z1 , ta biết luật phân bố X i , i = 0, 1, Thật vậy, điều suy từ cách tìm phân bố xác suất tổng biến ngẫu nhiên độc lập X i = Z + Z1 + + Zi c) Quá trình gia số độc lập dừng Quá trình gia số độc lập { X (t ); t ∈ T } gọi trình gia số độc lập dừng ∀s, t , s < t ; ∀h ≥ : X (t ) − X ( s) X (t + h) − X ( s + h) có phân bố (4.3) Quá trình Poisson, trình Wiener hai ví dụ trình gia số độc lập dừng d) Quá trình Martingal Quá trình { X (t ); t ∈ T } gọi trình Martingal với t1 < t < < t n +1 a1 , a2 , , an E ( X (tn +1 ) X (t1 ) = a1 , , X (tn ) = an ) = an (4.4) Martingal xem mô hình mô tả trò chơi may rủi, X (t ) số tiền người chơi thời điểm t Tính chất Martingal nói số tiền trung bình người chơi có thời điểm t n +1 số tiền có thời điểm t n không phụ thuộc vào có trước khứ Nếu {X (t ); t ≥ 0} trình gia số độc lập với kỳ vọng {X (t ); t ≥ 0} trình Martingal với thời gian liên tục e) Quá trình Markov: Quá trình { X (t ); t ∈ T } gọi trình Markov nếu: Với thời điểm t1 < t < < t n , với giá trị a1 , a2 , , an cho trước, với thời điểm t > tn với a , ta có P { X (t ) ≤ a X (t1 ) = a1 , , X (tn ) = an } = P { X (t ) ≤ a X (tn ) = an } (4.5) Nghĩa qui luật xác suất tương lai phụ thuộc độc lập với khứ Nói cách khác trình Markov mô tả hệ trí nhớ (memoryless) Với t > s; với tập giá trị A ⊂ R giá trị a ta ký hiệu p ( s, a; t , A) = P{X (t ) ∈ A X ( s ) = a} (4.6) 107 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov gọi hàm xác suất chuyển từ thời điểm s đến thời điểm t Như công thức (4.5) viết lại P { X (t ) ≤ a X (t1 ) = a1 , , X (tn ) = an } = p(tn , an ; t , A) , A = ( −∞, a ] (4.7) Quá trình Markov với không gian trạng thái rời rạc gọi chuỗi Markov (hay xích Markov, Markov chains) Chuỗi Markov với thời gian rời rạc xét mục Quy luật phân bố xác suất biến ngẫu nhiên rời rạc xét qua hàm khối lượng xác suất, tính chất Markov – công thức (4.5) chuỗi Markov { X n ; n = 0,1, 2, } với thời gian rời rạc viết lại sau P { X n+1 = j X = i0 , X1 = i1 , , X n = i} = P { X n+1 = j X n = i} , i0 , i1 , , i, j ∈ E (4.8) f) Quá trình dừng (stationary) Xét trình ngẫu nhiên { X (t ); t ∈ T } có thời gian T = R , R + , Z N Nói cách khái quát trình ngẫu nhiên trình dừng tính chất thống kê trình không phụ thuộc thời gian Các tính chất thống kê trình xác định hàm phân bố đồng thời trình thời điểm Các khái niệm dừng cụ thể phụ thuộc mức độ không phụ thuộc thời gian Quá trình dừng bậc nếu: với h , với t1 ∈ T hai biến ngẫu nhiên X (t1 ) X (t1 + h) có phân bố xác suất Quá trình dừng bậc có hàm trung bình hàm E X (t ) = const Quá trình dừng bậc hai nếu: với h , với t1 , t2 ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ) ) ( X (t1 + h), X (t2 + h) ) có phân bố xác suất Hàm phân bố đồng thời trình dừng bậc hai không phụ thuộc thời điểm mà phụ thuộc khoảng cách hai thời điểm (bằng cách chọn h = −t1 ) Quá trình dừng bậc hai trình dừng bậc hàm phân bố thành phần xác định từ hàm phân bố đồng thời Do E X (t ) = const E ⎡⎣ X (t + τ) X (t ) ⎤⎦ phụ thuộc τ X (t ) số phức liên hợp số phức X (t ) Dựa vào kết này, ta mở rộng khái niệm dừng bậc hai theo nghĩa rộng 108 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Dừng theo nghĩa rộng hay dừng hiệp phương sai (wide sense stationary or covariance stationary) thỏa mãn hai điều kiện sau: i) E X (t ) = m = const ii) Với E ⎡⎣ X (t + τ) X (t ) ⎤⎦ phụ thuộc τ Đặt RXX (τ) = E ⎡⎣ X (t + τ) X (t ) ⎤⎦ (4.9) gọi hàm tự tương quan trình { X (t ); t ∈ T } Quá trình dừng bậc hai trình dừng theo nghĩa rộng, điều ngược lại không Quá trình dừng bậc N nếu: với h , với t1 , t2 , , t N ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ) , ,, X (t N ) ) ( X (t1 + h), X (t2 + h), ,, X (t N + h) ) có phân bố xác suất Quá trình dừng bậc N trình dừng bậc k, với k ≤ N Dừng theo nghĩa chặt (strictly stationary) trình dừng bậc Nghĩa là: Với h > , với N, với t1 , t2 , , t N ∈ T hai véc tơ ngẫu nhiên ( X (t1 ), X (t2 ), , X (t N ) ) ( X (t1 + h), X (t2 + h), , X (t N + h) ) có phân bố xác suất Nói riêng X (t ) có phân bố 4.2 CHUỖI MARKOV Chuỗi Markov trình Markov { X (t ); t ∈ T } có không gian trạng thái E đếm Tùy theo tập số T = {0,1, 2, } T = (0; ∞) ta có tương ứng chuỗi Markov với thời gian rời rạc liên tục Với chuỗi Markov công thức xác suất chuyển (4.6) viết cụ thể p ( s, i; t , j ) = P { X (t ) = j X ( s ) = i} , t > s; i, j ∈ E (4.10) Nếu xác suất chuyển (4.10) phụ thuộc vào t − s nghĩa p( s, i; t , j ) = p( s + h, i; t + h, j ) (4.11) với h , ta nói trình chuỗi Markov theo thời gian 109 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4.2.1 Chuỗi Markov với thời gian rời rạc Định nghĩa 4.1 Quá trình { X n , n = 0,1, 2, } với thời gian rời rạc gọi chuỗi Markov thời gian rời rạc thỏa mãn hai điều kiện sau i) Không gian trạng thái E X n tập đếm ii) Hàm xác suất chuyển theo thời gian, tức thoả mãn (4.11) Từ trở ta xét chuỗi Markov với thời gian rời rạc ta gọi tắt chuỗi Markov 4.2.2 Ma trận xác suất chuyển Giả sử { X n , n = 0,1, 2, } chuỗi Markov thời gian rời rạc có không gian trạng thái E Các phần tử E ký hiệu i, j, k Với i, j ∈ E ; đặt pij = P { X n +1 = j X n = i} = P { X = j X = i} (4.12) không phụ thuộc vào n Đó xác suất sau bước hệ chuyển từ trạng thái i thành trạng thái j Định nghĩa 4.2: Ma trận P = ⎡⎣ pij ⎤⎦ với pij xác định theo (4.12) gọi ma trận xác suất chuyển hay ma trận xác suất chuyển sau bước chuỗi Markov { X n , n = 0,1, 2, } Các phần tử pij ma trận xác suất chuyển thỏa mãn điều kiện pij ≥ ; ∑ pij = , ∀i ∈ E (4.13) j∈E Nếu tập trạng thái E vô hạn ma trận xác suất chuyển có vô số hàng, vô số cột tổng thứ hai công thức (4.13) tổng chuỗi số dương Nếu tập trạng thái E hữu hạn, chẳng hạn E = {1, 2, , m} ma trận xác suất chuyển công thức (4.13) viết dạng ⎡ p11 ⎢p ⎡ ⎤ P = ⎣ pij ⎦ = ⎢ 21 ⎢ ⎢ ⎣ pm1 pij ≥ ; p1m ⎤ p2 m ⎥⎥ ⎥ ⎥ pmm ⎦ (4.14) ∑ pij = , ∀i = 1, , m (4.15) p12 p22 pm m j =1 Ma trận vuông thỏa mãn điều kiện (4.15) gọi ma trận Markov ma trận ngẫu nhiên 110 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4.2.3 Ma trận xác suất chuyển bậc cao, Phương trình Chapman–Kolmogorov Đặt pij( k ) = P { X n+ k = j X n = i} = P { X k = j X = i} (4.16) Đó xác suất sau k bước hệ chuyển từ trạng thái i sang trạng thái j Định nghĩa 4.3: Ma trận vuông P ( k ) = ⎡⎣ pij( k ) ⎤⎦ gọi ma trận xác suất chuyển sau k bước Ký hiệu P (0) = I , P (1) = P , I ma trận đơn vị Tương tự ma trận xác suất chuyển P , số hàng số cột P ( k ) vô hạn không gian trạng thái E có vô số đếm phần tử Nếu không gian trạng thái E hữu hạn ma trận xác suất chuyển sau k bước P ( k ) ma trận Markov (xem tập 4.8) Định lý 4.1: Với n ≥ , ta có: P ( n +1) = PP ( n ) = P ( n ) P (4.17) P ( n) = P n (4.18) Từ suy Chứng minh: Áp dụng công thức xác xuất đầy đủ (1.19) ta có pij ( n+1) = P { X n+1 = j X = i} = ∑ P { X n+1 = j X = i , X1 = k} P { X1 = k k∈E = ∑ P { X n+1 = j X1 = k } P { X1 = k k∈E X = i} X = i} = ∑ pik pkj (n) k ∈E ⇒ P ( n+1) = PP ( n ) Ta có pij ( n+1) = P { X n+1 = j X = i} = ∑ P { X n+1 = j X = i, X n = k} P { X n = k k∈E = ∑ P { X n+1 = j X n = k} P { X n = k k∈E X = i} X = i} = ∑ pik (n) pkj k ∈E ⇒ P ( n+1) = P ( n ) P Từ (4.17) suy P (2) = PP = P , quy nạp ta có P ( n) = P n với n = 0,1, 2, Từ công thức (4.18) đẳng thức P n+ m = P n P m , ∀ n, m ≥ ta viết phần tử tương ứng dạng 111 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov pij ( n+ m ) = ∑ pik ( n ) pkj ( m ) (4.19) k Công thức (4.19) gọi Phương trình Chapman-Kolmogorov Phương trình Chapman-Kolmogorov giải thích quy luật chuyến trạng thái chuỗi Markov sau: hệ chuyển từ trạng thái i sang trạng thái j sau n + m bước đạt cách chuyển từ trạng thái i sang trạng thái trung gian k n bước (với xác suất pik ( n ) ) tiếp tục chuyển từ trạng thái k sang trạng thái j m bước (với xác suất pkj ( m ) ) Hơn nửa biến cố “chuyển từ trạng thái i sang trạng thái trung gian k n bước” biến cố “chuyển từ trạng thái k sang trạng thái j m bước” độc lập Vậy xác suất chuyển từ i sang j sau n + m bước qua i, k , j pik ( n ) pkj ( m ) Cuối xác suất chuyển từ i sang j có cách lấy tổng theo k , với k chạy không gian trạng thái chuỗi 4.2.4 Phân bố xác suất { X n , n = 0,1, 2, } Giả sử không gian trạng thái có dạng E = {0,1, 2, } Ma trận hàng P (n) = [ p0 (n) p1 (n) p2 (n) ]; p j (n) = P { X n = j} , n = 0,1, 2, (4.20) gọi ma trận phân bố hệ thời điểm n phân bố X n Các phần tử ma trận hàng P (n) thỏa mãn điều kiện pk (n) ≥ 0; ∑ p ( n) = k k Khi n = , P (0) = [ p0 (0) p1 (0) p2 (0) ] gọi ma trận phân bố ban đầu Định lý 4.2: Với n ≥ , m ≥ : P (n) = P (0) P ( n ) (4.21) P (n + 1) = P(n) P (4.22) P ( n + m) = P ( n ) P ( m ) (4.23) Chứng minh: Từ định lý 4.1 ta suy điều tương đương Vì để chứng minh định lý 4.2 ta cần chứng minh (4.23), điều có cách sử dụng công thức xác suất đầy đủ: p j (n + m) = P { X n+ m = j} = ∑ P { X n = i} P { X n+ m = j X n = i} = ∑ pi (n) pij ( m ) i∈E i∈E Vậy chuỗi Markov rời rạc hoàn toàn xác định ma trận xác suất chuyển bước P ma trận phân bố ban đầu P(0) 112 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Khi xem E k ( k = 1, 2, ) không gian trạng thái chuỗi Markov tối giản với ma trận xác suất chuyển ma trận Pk ứng với phép phân hoạch tương ứng không gian trạng thái Vì E1 , E , gọi lớp tối giản chuỗi 4.3.2 Trạng thái tuần hoàn không tuần hoàn Định nghĩa 4.8: Ta định nghĩa chu kỳ trạng thái i { } d (i ) = UCLN n ≥ 1: pii( n ) > (4.37) UCLN viết tắc “ước chung lớn nhất” Nếu pii( n) = n ≥ đặt d (i ) = Nếu d (i ) > trạng thái i gọi trạng thái tuần hoàn với chu kỳ d (i ) Nếu d (i) = trạng thái i gọi trạng thái không tuần hoàn Rõ ràng pii > i trạng thái không tuần hoàn 4.3.3 Biểu đồ chuyển trạng thái chuỗi Markov với hữu hạn trạng thái Biểu đồ chuyển trạng thái chuỗi Markov hữu hạn trạng thái biểu đồ có: • Các đỉnh tương ứng với trạng thái, • Các đường nối hai đỉnh i, j có mũi tên theo hướng từ i đến j pij > Trong biểu đồ di chuyển theo chiều mũi tên từ i đến j i → j Biểu đồ chuyển trạng thái hữu ích việc xác định chuỗi Markov có không gian trạng thái tối giản hay không kiểm tra tính chất tuần hoàn tìm chu kỳ trạng thái Chuỗi Markov ví dụ 4.9 có biểu đồ 2/3 1/ 3/ 1/ 1/ 1/ Hình 4.4: Biểu đồ chuyển trạng thái Các trạng thái có chu kỳ sau d (1) = d (2) = 1; d (3) = d (4) = d (5) = Ví dụ cho thấy trạng thái lớp có chu kỳ Định lý sau khẳng định điều 123 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Định lý 4.5: Nếu i ↔ j d (i ) = d ( j ) Do trạng thái thuộc lớp có chu kỳ Ví dụ 4.10: Vẽ biểu đồ chuyển trạng thái phân loại trạng thái chuỗi Markov có ma trận xác suất chuyển sau ⎡0 ⎢1 (b) P = ⎢ ⎢0 ⎢ ⎣0 ⎡ 0,5 0,5⎤ (a) P = ⎢⎢0,5 0,5⎥⎥ ⎢⎣0,5 0,5 ⎥⎦ 0,5 0,5⎤ 0 ⎥⎥ 0 ⎥ ⎥ 0 ⎦ ⎡0,3 0, ⎢ ⎢ (c) P = ⎢ 0 ⎢ ⎢ ⎢⎣ 0 0,3 ⎤ ⎥⎥ 0, 0, ⎥ ⎥ 0 ⎥ 0 ⎥⎦ 0 0 Giải: a) Biểu đồ chuyển trạng thái chuỗi Markov (a) hình 4.5 (a) Không gian trạng thái tối giản không tuần hoàn Chẳng hạn xuất phát từ sau hai bước quay lại theo đường → → Tuy nhiên xuất phát từ sau ba bước quay lại theo đường → → → Vậy trạng thái không tuần hoàn, trạng thái 1, không tuần hoàn b) Biểu đồ chuyển trạng thái chuỗi Markov (b) hình 4.5 (b) Không gian trạng thái tối giản tuần hoàn với chu kỳ c) Biểu đồ chuyển trạng thái chuỗi Markov (c) hình 4.5 (c) Không gian trạng thái không tối giản trạng thái không liên thông d (0) = d (1) = d (2) = d (4) = d (3) = 1 0,5 0,5 0, 0,5 0,5 0,5 0,5 0,3 0,5 0, 0,3 (a) 0, 1 0, (c) Hình 4.5: Biểu đồ chuyển trạng thái 124 (b) Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Trạng thái i gọi trạng thái hấp thụ (Absorbing state) pii = , trạng thái mà hệ đạt đến trạng thái không rời Trạng thái chuỗi Markov 4.3-(c) trạng thái hấp thụ 4.3.4 Dạng ma trận xác suất chuyển chuỗi Markov tối giản Đối với chuỗi Markov tối giản trạng thái có chu kỳ, ta gọi d chu kỳ chung trạng thái chuỗi • Nếu d = (không tuần hoàn) ma trận xác suất chuyển P có khối • Nếu d > tập trạng thái E tách thành d lớp con: C , C1 , , C d −1 Trong trường hợp sau bước hệ xuất phát từ C chuyển sang C1 ; xuất phát từ C1 chuyển sang C ; v.v…; Cd −1 chuyển sang C0 Ma trận xác suất chuyển P có dạng khối sau: C0 C0 C d −1 C1 C0 C1 C1 Cd −1 (4.38) C d −1 C2 C3 Vì lớp Ck lấy làm không gian trạng thái chuỗi Markov với ma , chuỗi tối giản có chu kỳ Như ta quy trận xác suất chuyển ⎡⎣ pij( d ) ⎤⎦ i , j∈Ck việc nghiên cứu chuỗi Markov tổng quát (đặc biệt vấn đề tìm lim pij( n ) ) chuỗi Markov tối n→∞ giản có chu kỳ 4.3.5 Trạng thái hồi quy trạng thái không hồi quy Với trạng thái j ta gọi T j thời điểm (hoặc số bước) lần hệ đến trạng thái j sau thời điểm Nếu hệ không đến trạng thái j ta đặt T j = ∞ Vậy T j biến ngẫu nhiên rời rạc nhận giá trị tập {1, 2, , ∞} Với trạng thái i ta đặt: { } fij( n ) = P T j = n X = i = P { X n = j , X ≠ j , X n−1 ≠ j X = i} fij(0) = T j ≥ (4.39a) (4.39b) 125 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Như f ij(n) xác suất để hệ xuất phát từ i lần chuyển sang j bước thứ n Đặc biệt f ii(n) xác suất để hệ xuất phát từ i lần quay i bước thứ n Các xác suất f ij(n) có tính chất sau: { } fij(1) = P T j = X = i = P { X = j X = i} = pij (4.40) Từ tính Markov công thức xác suất đầy đủ ta có: fij( n ) = ∑ pik f kj( n−1) , n ≥ (4.41) k≠ j n pij( n ) = ∑ fij( k ) p (jjn− k ) , n ≥ (4.42) k =0 Xác suất để hệ xuất phát từ i chuyển đến trạng thái j thời điểm hữu hạn ∞ { } fij = ∑ fij( n ) = P T j < ∞ X = i n =0 (4.43) Xác suất để hệ xuất phát từ i quay trở trạng thái i thời điểm hữu hạn ∞ fii = ∑ fii( n ) = P {Ti < ∞ X = i} (4.44) n =0 Định nghĩa 4.9: • Nếu fii = P {Ti < ∞ X = i} = i gọi trạng thái hồi quy (recurrent) • Nếu fii = P {Ti < ∞ X = i} < i gọi trạng thái không hồi quy (transient unrecurrent) Như trạng thái i hồi quy hệ xuất phát từ i , với xác suất hệ lại trở i thời điểm hữu hạn Đối với trạng thái i không hồi quy “biến cố hệ không quay trở lại i ” có xác suất > (xác suất P {Ti = ∞ X = i} > ) Trường hợp trạng thái i hồi quy ( f ii = ), kỳ vọng (Ti | X = i ) (thời điểm trung bình để lần hệ quay lại trạng thái i với điều kiện hệ xuất phát từ i thời điểm 0) ký hiệu tính theo công thức sau ∞ µi = E ⎡⎣Ti X = i ⎤⎦ = ∑ nfii( n ) n =0 Định nghĩa 4.10: Giả sử i trạng thái hồi qui, ta nói: 126 • i trạng thái hồi quy dương (positive recurrent) µi < ∞ • i trạng thái hồi quy không (null recurrent) µi = ∞ (4.45) Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Như không gian trạng thái E phân loại sau: Các trạng thái hồi quy: ¾ Trạng thái hồi quy dương, ¾ Trạng thái hồi quy không Các trạng thái không hồi quy Ví dụ 4.11: Xét chuỗi Markov với không gian trạng thái E = {0,1} có ma trận xác suất chuyển ⎤ ⎡ P=⎢ ⎥ ⎣1/ 1/ ⎦ f10(1) = p10 = f 00(1) = p00 = Ta có ⎛1⎞ f 00(2) = p01 f10(1) = ⎜ ⎟ = ⎝2⎠ f 00( n ) = , ∀n ≥ Theo công thức (4.43) ∞ f 00 = P {T0 < ∞ X = 0} = ∑ f 00( n ) = + + + = n =0 ∞ µ0 = E ⎡⎣T0 X = ⎤⎦ = ∑ nf 00( n ) = n =0 Như trạng thái hồi quy dương f11(1) = p11 = Tương tự ta có f 01(1) = p01 = ⎛1⎞ f11(2) = p10 f 01(1) = ⎜ ⎟ = ⎝2⎠ f11( n ) = , ∀n ≥ Theo công thức (4.43) ∞ f11 = P {T1 < ∞ X = 1} = ∑ f 00( n ) = n =1 1 + + + = < 2 Như trạng thái không hồi quy 4.3.6 Tiêu chuẩn hồi quy không hồi quy ∞ Định lý 4.6: 1) Trạng thái i hồi quy ∑ pii(n) = ∞ n =1 ∞ 2) Trạng thái i không hồi quy ∑ pii(n) < ∞ n =1 3) Nếu i → j i hồi quy j → i j hồi quy 127 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov 4) Nếu i ↔ j j hồi quy f ij = ∞ Định lý 4.7: Nếu j không hồi quy với trạng thái i ta có ∑ pij(n) < ∞ n =1 Đặc biệt lim pij( n ) = với i ∈ E n →∞ (4.46) 4.3.7 Định lý giới hạn chuỗi Markov Định lý 4.8: Giả sử j trạng thái hồi quy không tuần hoàn ( d ( j ) = ) Khi đó: Nếu i j liên thông lim n →∞ pij( n) ⎧ ⎪ = ⎨µ j ⎪0 ⎩ đèi víi j lµ tr¹ng th¸i d− ong (4.47) đèi víi j lµ tr¹ng th¸i kh«ng Nếu i j không liên thông lim n→∞ pij( n) ⎧ f ij ⎪ = ⎨µ j ⎪ ⎩0 đèi víi j lµ tr¹ng th¸i d− ong (4.48) đèi víi j lµ tr¹ng th¸i kh«ng Định lý 4.9: Giả sử j trạng thái hồi quy tuần hoàn chu kỳ d ( j ) = d > Khi đó: Nếu i j liên thông; i thuộc vào lớp C r j thuộc vào lớp C r + a lim pij( nd + a ) = n→∞ d , ( a = 0,1, , d − ) µj (4.49) Nếu i ⎡∞ ⎤ d lim pij( nd + a ) = ⎢ ∑ f ij( rd + a ) ⎥ , ( a = 0,1, , d − ) n →∞ ⎢⎣r =0 ⎥⎦ µ j (4.50) 4.3.6 Sự tồn phân bố dừng phân bố giới hạn Định lý 4.10: Giả sử { X n } chuỗi Markov với không gian trạng thái E Khi phân bố dừng tồn và số lớp tương đương không gian trạng thái E có lớp hồi quy dương Giả sử lớp hồi quy dương C , phân bố dừng có dạng ⎧1 ⎪ pj = ⎨µj ⎪0 ⎩ 128 nÕu j ∈ C nÕu j ∉ C (4.51) Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Định lý 4.11: Điều kiện cần đủ để tồn phân bố giới hạn không gian trạng thái E có lớp hồi quy dương C không tuần hoàn ( d (C) = ) cho f ij = 1; ∀j ∈ C , ∀i ∈ E Khi phân bố giới hạn phân bố dừng thỏa mãn (4.51) Định lý 4.12: Giả sử { X n , n ≥ 0} chuỗi Markov có không gian trạng thái hữu hạn Khi điều sau tương đương: (i) { X n , n ≥ 0} tối giản, không tuần hoàn (ii) { X n , n ≥ 0} tối giản, không tuần hoàn tất trạng thái hồi quy dương (iii) { X n , n ≥ 0} có tính ergodic, nghĩa tồn phân bố ergodic (thỏa mãn 4.32, 4.34) (iv) Tồn n0 cho p ij( n) > với n ≥ n0 (xem định lý 4.4) i, j 4.4 DI ĐỘNG NGẪU NHIÊN TRÊN ĐƯỜNG THẲNG 4.4.1 Di động ngẫu nhiên đường thẳng trạng thái hấp thụ Giả sử {ε n }n =1 dãy biến ngẫu nhiên độc lập có phân bố thỏa mãn: ∞ P {ε n = 1} = p, P {ε n = −1} = − p = q; < p < (4.52) + ε n , ( n = 1, 2, ) Khi { X n }n =1 lập thành chuỗi Markov với ma trận xác ∞ Đặt X n = ε1 + ε + suất chuyển ⎧ p víi j = i + ⎪ P = ⎡⎣ pij ⎤⎦ pij = ⎨1 − p víi j = i − ⎪ ⎩ víi j ≠ i ± (4.53) Không gian trạng thái chuỗi E = {0, ± 1, ± 2, } p p 1− p 1− p p p p 1− p 1− p Hình 4.6: Di động ngẫu nhiên đường thẳng trạng thái hấp thụ 129 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov Chuỗi dùng để mô tả di động ngẫu nhiên đường thẳng hạt vật chất (có tài liệu gọi du động ngẫu nhiên): Sau chu kỳ hạt dịch chuyển sang phải với xác suất p dịch sang trái với xác suất − p Di động ngẫu nhiên đường thẳng chuỗi Markov tối giản, có chu kỳ d = trạng thái hồi quy không • Nếu p = q = • Nếu p ≠ q trạng thái không hồi quy Theo định lý 4.10 chuỗi không tồn phân bố dừng tính ergodic 4.4.2 Di động ngẫu nhiên đường thẳng có trạng thái hấp thụ Đó di động hạt vật chất với không gian trạng thái E = {0,1, 2, } ma trận xác suất chuyển ⎧ p víi j = i + 1, i ≠ 0, ⎪ P = ⎡⎣ pij ⎤⎦ , p00 = 1, pij = ⎨1 − p víi j = i − 1, i ≠ 0, ; < p < ⎪ víi j ≠ i ± 1, i ≠ 0, ⎩ p p (4.54) p 1 q q q q Hình 4.7: Di động ngẫu nhiên đường thẳng có trạng thái hấp thụ Lúc {0} lập thành lớp hồi quy dương với chu kỳ d = : E = {0} ∪ {1, 2, } Tất trạng thái 1, 2, không hồi quy (vì hồi quy chẳng hạn → nên → , điều xảy ) Vì theo định lý 4.10 công thức (4.51) tồn phân bố dừng nhất, ⎧1 víi j = 0, pj = ⎨ ⎩0 víi j ≠ (4.55) Hơn chứng minh i ≥ ⎧⎪( q / p )i lim pi(0n ) = ⎨ n →∞ ⎪⎩ nÕu p > q, nÕu p ≤ q; q = − p (4.56) Vì vậy: ƒ Khi p > q lim pi(0n ) = ( q / p ) phụ thuộc vào i , không tồn phân bố giới hạn i n →∞ 130 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov ⎧1 víi j = 0, ƒ Khi p ≤ q tồn phân bố giới hạn, p j = ⎨ ⎩0 víi j ≠ 4.4.3 Di động ngẫu nhiên đường thẳng có hai trạng thái hấp thụ Đó mô hình di động hình vẽ p p p 1 q N −1 q N q Hình 4.8: Di động ngẫu nhiên đường thẳng có hai trạng thái hấp thụ Ma trận xác suất chuyển ma trận vuông cấp N + có dạng ⎡1 ⎢q ⎢ ⎢0 ⎢ P = ⎢# ⎢# ⎢ ⎢0 ⎢0 ⎣ 0 p q 0 0 0 " " " 0⎤ " " " ⎥⎥ p " " " 0⎥ ⎥ % #⎥ % #⎥ ⎥ " q p⎥ " 0 ⎥⎦ Trong trường hợp có hai lớp hồi quy dương {0} { N } Các trạng thái lại không hồi quy: E = {0} ∪ { N } ∪ {1, 2, , N − 1} , N hai trạng thái hấp thụ hệ ngừng lại hạt rơi vào trạng thái trạng thái N Vì tồn vô số phân bố dừng P* = [ p0 , p1 , , pN ] , p0 = a, pN = − a, p1 = p2 = = pN −1 = , với ≤ a ≤ (4.57) Có thể chứng minh rằng: lim pi(0n ) n →∞ ⎧ ( q / p )i − ( q / p ) N nÕu p ≠ q, ⎪ ⎪ − ( q / p )N =⎨ ⎪ i nÕu p = q = 1/ ⎪ 1− N ⎩ 131 Chương 4: Quá trình ngẫu nhiên, chuỗi Markov (n) lim piN = − lim pi(0n ) , n →∞ n →∞ lim pij( n ) = ( ∀ j = 1, 2, , N − ) n →∞ Vì vây không tồn phân bố giới hạn 4.4.4 Di động ngẫu nhiên đường thẳng có trạng thái phản hồi Đó chuỗi Markov có dạng hình vẽ p p q p q q p q q < p q , hạt có xu hướng sang phải, tất trạng thái không hồi quy Nghiệm (4.59) không thỏa mãn điều kiện ∑ xi = Chuỗi không tồn phân bố dừng • Khi p = q = 1/ , tất trạng thái hồi quy không Nghiệm (4.59) không thỏa mãn điều kiện ∑ xi = Không tồn phân bố dừng • Khi p < q , tất trạng thái hồi quy dương 1= ∞ ∑ xi = x0 + i =0 x0 q ∞ x 2qx ∑ ( p / q)i = x0 + q −0 p = q − 0p i =0 Do chuỗi tồn phân bố dừng q− p q− p q− p⎛ p⎞ p0 = , p1 = , , p j = ⎜ ⎟ 2q 2q 2q ⎝ q ⎠ j −1 ; j ≥ (4.60) 4.4.5 Di động ngẫu nhiên đường thẳng có hai trạng thái phản hồi Đó chuỗi Markov có dạng hình vẽ p q p q q p N −1 N < p