Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 3 potx

42 Chương Q trình Markov 1.3.2 Trường hợp khơng gian trạng thái vô hạn đếm Trong trường hợp không gian trạng thái E vô hạn đếm ta gặp khó khăn tốn học muốn mở rộng kết trường hợp hữu hạn Ta có kết sau (cơng nhận khơng chứng minh): Định lý 1.23 (1) Với i = j giới hạn Pij (t) = aij t→0 t Pij (0) = lim tồn hữu hạn (2) Với i giới hạn Pii (t) − = aii = −ai t→0 t Pii (0) = lim tồn vơ Đối với trường hợp khơng gian trạng thái hữu hạn ta có aij = hay j aij = j=i Trong trường hợp E vơ hạn nói chung ta có bất đẳng thức sau aij ≤ ∀i ∈ E j=i Thật ta có Pij (t) = − Pii (t) j=i với m n Pij (t) ≤ − Pii (t) j=1,j=i (1.16) 1.3 Quá trình Markov 43 Chia hai vế cho t đẩy t → ta thu m aij ≤ j=1,j=i Cho m → ∞ ta thu (1.16) Từ sau ta xét trình Markov thoả mãn điều kiện aij = < ∞ (1.17) j=i Ma trận vô số chiều A = (aij ) gọi ma trận cực vi trình xét Định lý 1.24 Cho trình Markov với P (t) = (Pij (t)) họ ma trận xác suất chuyển Gọi A ma trận cực vi q trình Khi ta có P (t) = P (t)A ⇔ Pij (t) = Pik (t)akj − Pij (y)aj (1.18) k=j P (t) = AP (t) ⇔ Pij (t) = aik Pkj − Pij (y)ai (1.19) k=i Phương trình (1.18) gọi phương trình thuận phương trình (1.19) gọi phương trình ngược Kolmogorov Chứng minh Ta chứng minh cho phương trình ngược cịn thừa nhận đắn phương trình thuận chứng minh phức tạp tốn học Ta có: Pij (s + t) − Pij (t) = Pik (s)Pkj (t) − Pij (t) k Pik (s)Pkj (t) + (Pii (s) − 1)Pij (t) = k=i (1.20) 44 Chương Quá trình Markov Với m cố định ta có m −1 −1 lim inf s s→0 Pik (s)Pkj (t) ≥ lim inf s s→0 k=i Pik (s)Pkj (t) k=1,k=i m aik Pkj (t) = k=1,k=i Cho m → ∞ ta lim inf s−1 s→0 Pik (s)Pkj (t) ≥ k=i aik Pkj (t) (1.21) k=i Tiếp theo với m > i ta có m ∞ Pik (s)Pkj (t) ≤ k=i Pik (s)Pkj (t) + k=1,k=i m Pik (s)Pkj (t) + − Pii (s) − = Pik (s) m+1 m k=1,k=i Pik (s) k=1,k=i Chia hai vế cho s lấy lim sup ta thu đươc m −1 lim sup s s→0 Pik (s)Pkj (t) ≤ k=i m aik Pkj (t) + − k=1,k=i aik (s) k=1,k=i Cho m → ∞ ý đến điều kiện (1.17) ta lim sup s−1 s→0 Pik (s)Pkj (t) ≤ k=i aik Pkj (t) k=i So sánh với (1.21) ta nhận lim s−1 s→0 Pik (s)Pkj (t) = k=i aik Pkj (t) k=i Trong 1.20 chia hai vế cho s cho s → áp dụng đẳng thức ta suy (1.19) 1.3 Quá trình Markov 45 Bây xét dáng điệu tiệm cận ma trận xác suất chuyển P (t) t → ∞ Cho trình Markov (Xt ) với không gian trạng thái E vô hạn đếm ma trận xác suất chuyển P (t) = Pij (t) Ta nói q trình tối giản Pij (t) > với i, j ∈ E ( Chú ý ta khơng có khái niệm "chu kỳ trạng thái" xích Markov) Định lý 1.25 Cho trình Markov tối giản (Xt )với không gian trạng thái E = {1, 2, , } đếm ma trận xác suất chuyển P (t) = Pij (t) Khi với i, j ∈ E tồn giới hạn hữu hạn lim Pij (t) = πj t→∞ phụ thuộc j không phụ thuộc i Thêm vào giới hạn π = (π1, π2, , ) tất không πj = ∀j ∈ E tất dương lập thành phân bố xác suất Phân bố gọi phân bố giới hạn trình πj > ∀j ∈ E, πj = j Ta công nhận không chứng minh định lý Định lý 1.26 Phân bố giới hạn π = (π1, π2, , ) thoả mãn hệ phương trình tuyến tính sau πk akj πj aj = k=j Chứng minh Từ phương trình C-K Pij (s + t) = Pik (s)Pkj (t) k∈E cho s → ∞ ta thu πj = πk Pkj (t) k 46 Chương Quá trình Markov Suy πj (1 − Pjj (t)) = πk Pkj (t) k=j Chia hai vế cho t cho t → ta hệ thức phải chứng minh Ví dụ 1.19 (Q trình sinh chết.) Xét q trình Markov (Xt ) với khơng gian trạng thái E = {0, 1, 2, } (Xt ) gọi trình sinh chết xác suất chuyển Pij (t) thoả mãn điều kiện sau Pi.i+1 (t) = λi t + o(t) ∀i ≥ t → Pi.i−1 (t) = µi t + o(t) ∀i ≥ t → Pii (t) = − (λi + µi )t + o(t), ∀i ≥ t → Pij (t) = o(t) với |i − j| > Pij (0) = δij µi = 0, λ0 > 0, µi , λi > 0, i = 1, 2, Quá trình Xt sử dụng để mô tả phát triển quần thể A Mỗi cá thể quần thể A thời điểm sinh cá thể bị chết Ký hiệu Xt số lượng cá thể quần thể thời điểm t Các điều kiện có nghĩa thời điểm t quần thể có i cá thể khoảng thời gian bé (s, s + t) xác suất để số lượng quần thể tăng thêm cá thể λi t + o(t) xác suất để giảm cá thể µi t + o(t), xác suất để tăng giảm hai cá thể o(t) Các tham số λi , i = 0, 1, gọi cường độ sinh, tham số µi , i = 1, 2, gọi cường độ chết Ma trận cực vi A = (aij ) có dạng ai,i+1 = λi ai,i−1 = µi , = λi + µi , aij = |i − j| > 1.3 Quá trình Markov tức 47  −λ0 λ0 0    µ1 −(λ1 + µ1 ) λ1 0    A= −(λ2 + µ2 ) λ2  µ2        Phương trình thuận (1.14) trường hợp có dạng Pij (t) = Pi,j−1 (t)λj−1 + Pi,i+1 (t)µj+1 − (λj + µj )Pij (t) Pi0 (t) = −λ0 Pi0 (t) + µ1 Pi1 (t) (1.22) (1.23) Giả sử q trình sinh chết có phân bố giới hạn π = (πi ) Từ định lý 1.26 ta có λ0 π0 = µ π1 (λk + µk )πk = λk−1 πk−1 + µk+1 πk+1 Đặt ak = µk πk − λk−1 πk−1 Từ phương trình suy ak = ak+1 Vì a1 = µ1 π1 − λ0 π0 = nên suy ak = ∀k hay µk πk = λk−1 πk−1 ∀k = 1, 2, λk−1 ⇒ πk = πk−1 µk λk−1 λk−2 λ0 ⇒ πk = π0 µk µk−1 µ1 (1.24) (1.25) (1.26) πk = nên từ (1.24) suy Vì k ∞ = π0 + π0 k=1 λk−1 λk−2 λ0 µk µk−1 µ1 Vậy điều kiện cần để có phân bố giới hạn chuỗi ∞ k=1 λk−1 λk−2 λ0 µk µk−1 µ1 (1.27) hội tụ Ngược lại chứng minh điều kiện chuỗi (1.27) hội tụ điều kiện đủ để q trình có phân bố giới hạn 48 Chương Quá trình Markov Ta xét số ví dụ Ví dụ 1.20 (Một mơ hình đơn giản lý thuyết xếp hàng) Giả sử cửa hàng dịch vụ A có người phục vụ Khách đến xếp hàng đợi đến lượt phục vụ cửa hàng phục vụ khách Khi cửa hàng phục khách khách đến xếp hàng chờ Khách phục vụ xong rời khỏi cửa hàng Giả sử xác suất để khoảng thời gian (t, t + h) có khách vào hàng λh + o(h) giả sử thời điểm t khách phục vụ xác suất để phục vụ hoàn tất khoảng thời gian (t, t + h) µh + o(h) Gọi Xt số khách có mặt cửa hàng thời điểm t (tức số khách xếp hàng chờ phục vụ cộng với khách phục vụ thời điểm t) Dễ thấy q trình sinh chết với cưịng độ sinh cưòng độ chết số λi = λ, µi = µ Khi chuỗi (1.27) trở thành chuỗi ∞ λ ( )k µ k=1 Vậy: Q trình có phân bố giới hạn (và phân bố dừng) λ < µ Khi ta có πk = 1− λ µ λ ( )k µ Tỷ số r = λ gọi cường độ giải phóng hàng Nếu r < t lớn, số µ khách có mặt cửa hàng Xt ĐLNN có phân bố hình học P (Xt = k) = (1 − r)rk Suy số khách có mặt trung bình EXt = 1−r Trong thái cực khác, ta giả sử cửa hàng có nhiều nhân viên phục vụ cho người khách đến phục vụ Gọi Xt số khách có mặt cửa hàng thời điểm t (tức số khách phục vụ thời điểm t) Ta có Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i} = λh + o(h), 1.3 Quá trình Markov 49 Pi,i−1 (h) = P (có khách i khách phục vụ xong) = i [µh + o(h)][1 − µh + o(h)]i−1 = iµh + o(h) Vậy Xt trình sinh chết với λi = λ, µi = iµ Khi cơng thức (1.24) cho ta λ πk = ( ) k π0 k! µ chuỗi (1.27) trở thành chuỗi ∞ k=1 λ k ( ) = eλ/µ − k! µ Từ điều kiện ∞ πk = π0eλ/µ 1= k=0 rút πk = e−r rk k! Như t đủ lớn Xt có phân bố Poisson với tham số r = λ Giá trị trung µ bình Xt t đủ lớn r, tỷ số thời gian phục vụ trung bình 1/µ với khoảng thời gian trung bình xuất khách 1/λ Một kết luận phù hợp với thực tế! Ví dụ 1.21 (Q trình sinh tuý) Nếu trình sinh chết mà khơng xảy chết ta gọi q trình sinh tuý Như trình sinh t ta có µj = ∀j ≥ Pij (t) = j < i 50 Chương Quá trình Markov Phương trình thuận (1.22) trở thành Pij (t) = λj−1 Pi,j−1 − λj Pij (t) (1.28) Pii (t) = −λi Pii (t) (1.29) Pii (t) = e−λi t (1.30) Vì Pii (0) = ta suy Để giải phương trình vi phân (1.28) ta có bổ dề sau: Bổ đề 1.5 Phương trình vi phân f (t) = −λf (t) + g(t) (1.31) có nghiệm t f (t) = f (0)e−λt + e−λ(t−s) g(s)ds Thật nhân hai vế (1.36) với eλt ta eλtf (s) = eλsg(s) Lấy tích phân hai vế từ tới t ta t eλtf (t) − f (0) = e−λs g(s)ds −λt Nhân hai vế với e ta có kết luận bổ đề Vì Pij (0) = i = j nên từ bổ đề phương trình (1.28) ta có t e−λj (t−s) Pi,j−1 (s)ds Pij (t) = λj−1 (1.32) Ta sử dụng (1.30) (1.32) cơng thức truy hồi để tìm Pij (t) với j = i + 1, i + 2, Chẳng hạn ta có t e−λi+1 (t−s) e−λis ds Pi,i+1 (t) = λi Suy Pi,i+1 (t) =   λi λi+1 −λi λi te−λit (e−λi t − e−λi+1 t λi+1 = λi λi+1 = λi (1.33) 1.3 Q trình Markov 51 Ví dụ 1.22 (Q trình sinh tuyến tính) Xét tăng trưởng cá thể quần thể Giả sử cá thể quần thể độc lập với khoảng thời gian (t, t + h) có xác suất sinh thêm cá thể λh + o(h) xác suất để không sinh thêm cá thể khoảng thời gian (t, t + h) − λh + o(h) Goị Xt số lượng cá thể thời điểm t Xt trình sinh tuý Pii (h) = P {Xt+h = i|Xt = i} = [1 − λh + o(h)]i = − λih + o(h), Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i} = i [λh + o(h)][1 − λh + o(h)]i−1 = iλh + o(h) Như cường độ sinh λi = λi Từ (1.33) ta có Pi,i+1 (t) = ie−iλt(1 − e−λt) Để tính Pi,i+2 (t) ta đặt j = i + (1.32) thu t e−(i+2)λ(t−s)e−iλs (1 − e−λs )ds Pi.i+2 (t) = (i + 1)iλ t = (i + 1)iλe−(i+2)λt e2λi(1 − e−λs )ds t = (i + 1)iλe−(i+2)λt eλt(eλs − 1)ds λt = (i + 1)iλe−(i+2)λt (e − 1)2 2λ i + −iλt e (1 − e−λt )2 52 Chương Q trình Markov Tiếp tục áp dụng cơng thức truy hồi (1.32) quy nạp ta thu i + k − −iλt e (1 − e−λt)k Pi,i+k (t) = k Như gia tăng dân số Xs+t − Xs khoảng thời gian t có phân bố nhị thức âm với tham số p = e−λt r = i, i = Xs Thành thử E[Xs+t − Xs |Xs = i] = ieλt(1 − e−λt) Nếu thời điểm ban đầu s = quần thể có số lượng i cá thể thời điểm t số cá thể trung bình E[Xt ] = E[Xt − X0 ] + i = ieλt Quá trình sinh tuyến tính đơi cịn gọi q trình Yule, nhà toán sinh người Anh Yule đưa năm 1924 Ví dụ 1.23 (Q trình Poisson.) Xét q trình sinh tuý Xt với cường độ sinh số λi = λ , i = 0, 1, Khi cơng thức (1.32) trở thành t e−λ(t−s) Pi,j−1 (s)ds Pij (t) = λ Từ công thức (1.33) ta thu Pi,i+1 (t) = λte−λt Để tính Pi,i+2 (t) ta đặt j = i + (1.34) thu t e−λ(t−s) e−λs ds Pi,i+2 (t) = λ t = λ2 e−λt sds = (λ)2 −λt e (1.34) 1.3 Quá trình Markov 53 Tiếp tục áp dụng công thức truy hồi (1.34) quy nạp ta thu (λt)k −λt e Pi,i+k (t) = k! Như gia tăng dân số Xs+t − Xs khoảng thời gian t có phân bố Poisson với tham số λt Một cách tổng quát ta chứng minh với < s < t ĐLNN Xt − Xs có phân bố Poisson với tham số λ(t − s) Thật ta có ∞ P (Xt − Xs = k) = P (Xs = i)P (Xt = k + i|Xs = i) i=0 ∞ P (Xs = i)Pi,i+k (t − s) = i=0 ∞ = P (Xs = i) i=0 (λ(t − s))k −λ(t−s) e k! ∞ (λ(t − s))k −λ(t−s) e = k! = P (Xs = i) i=0 (λ(t − s)k ) −λ(t−s) e k! Tiếp theo ta chứng minh Xt trình ngẫu nhiên có gia số độc lập Thật vậy, với ≤ t1 < t2 < · · · < tn ta có P Xt2 − Xt1 = i1 , , Xtn − Xtn−1 = in−1 ∞ P (Xt1 = i)P0i1 (t2 − t1) P0in−1 (tn − tn−1 ) = i=0 ∞ = P0i1 (t2 − t1) P0in−1 (tn − tn−1 ) P (Xt1 = i) i=0 = P0i1 (t2 − t1) P0in−1 (tn − tn−1 ) = P (Xt2 − Xt1 = i1) P (Xtn − Xtn−1 = in−1 ) Thành thử Xt2 − Xt1 , , Xtn − Xtn−1 ĐLNN độc lập 54 Chương Quá trình Markov Quá trình Xt , t ≥ gọi trình Poisson với cường độ λ > thoả mãn điều kiện sau X0 = Với ≤ s < t ĐLNN Xt − Xs có phân bố Poisson với tham số λ(t − s) Xt q trình ngẫu nhiên có gia số độc lập Như ta chứng minh trình sinh tuý với cường độ sinh số λ trình Poisson với cường độ λ > Q trình Poisson có nhiều ứng dụng thực tế Nó dùng để mơ tả số lần xuất kiện ngẫu nhiên khoảng thời gian t, chẳng hạn số lần gọi đến tổng đài, số khách hàng đến cửa hàng đó, số lần hỏng hóc đường dây, 1.3.3 Trường hợp tổng quát Một vài khái niệm trình ngẫu nhiên Xét trình Markov với không gian trạng thái E Cho (E, A) khơng gian đo Q trình ngẫu nhiên Xt gọi trình Markov P (Xt+s ∈ A|F≤t) = P (Xt+s ∈ A|Ft) Nghĩa : Nếu ta biết trạng thái hệ thời điểm t thơng tin hành vi hệ q khứ khơng có ảnh hưởng đến biến diễn tương lai hệ Nói cách khác: Quá khứ tương lai độc lập với biết Ký hiệu P (s, x, t, A) = P (Xt ∈ A|Xs = x) P (s, x, t, A) xác suất để hệ thời điểm s trạng thái x sang thời điểm t rơi vào tập A Ta gọi P (s, x, t, A) xác suất chuyển Họ xác suất chuyển có tính chất sau: 1.3 Q trình Markov 55 Định lý 1.27 Với s ≤ t, x ∈ E P (s, x, t, ) độ đo xác suất E Với s ≤ t, A ∈ A hàm P (s, , t, A) hàm đo E ( Phương trình C-K (Chapman- Kolmogorov) ) P (s, x, u, dy)P (u, y, t, A) P (s, x, t, A) = E Quá trình Markov Xt gọi xác suất chuyển P (s, x, t, A) phụ thuộc vào hiệu số t − s nghĩa P (s + u, x, t + u, A) = P (s, x, t, A) ∀u Khi P (s, x, t, A) có dạng P (s, x, t, A) = P (t − s, x, A) P (t, x, A) = P (Xs+t ∈ A|Xs = x) xác suất để hệ thời điểm s trạng thái x sau khoảng thời gian t ( thời điểm t + s) rơi vào A Phương trình Chapman- Kolmogorov trở thành P (t + s, x, A) = P (t, x, dy)P (s, y, A) E Trong giáo trình ta xét trình Markov Trong trường hợp độ đo P (t, x, ) có mật độ f (t, x, u) phương trình C-K tương đương với f (t + s, x, z) = f (t, x, y)f (s, y, z)dy E Ngược lại cho trước họ hàm P (t, x, A) thoả mãn điều kiện nêu định lý (1.27) Với độ đo xác suất µ (E, A) ta xác định họ 56 Chương Quá trình Markov phân bố hữu hạn chiều (µt1 , ,tn ) sau µt1 , ,tn (A1, , An) = yn ∈An µ(dx)P (t1, x, dy1 )P (t2 − t1, y1 , dy2) y1 ∈A1 x∈E P (tn − tn−1 , yn−1 , dyn ) Sử dụng tính chất họ xác suất chuyển ta chứng minh họ phân bố xác suất thoả mãn điều kiện tương thích Kolmogrov Thành thử tồn trình ngẫu nhiên (Xt ) cho: • Phân bố X0 ( phân b ban u) l ã Vi mi t1 < < tn phân bố đồng thời (Xt1 , , Xtn ) µt1 , ,tn Hơn chứng minh Xt trình Markov nhận P (t, x, A) làm xác suất chuyển Ví dụ 1.24 (Chuyển động Brown hay trình Wiener.) Xét hàm f (t, x, y) cho công thức − (u−x)2 f (t, x, u) = √ e 2t 2πt P (t, x, ) độ đo xác suất R nhận f (t, x, ) làm hàm mật độ P (t, x, A) = f (t, x, du) A Khi ta chứng minh họ P (t, x, A) thoả mãn điều kiện định lý (1.27) Thật vậy, gọi φt (u) hàm mật độ N (0, t) ta biết φt+s = φt ∗ φs hay φt+s (u) = φs (v)φt(u − v)dv Đặt u = x − z, v = y − z → dv = dy suy φt+s (x − z) = φs (y − z)φt (x − y)dy 1.3 Quá trình Markov 57 hay f (t + s, x, z) = f (t, x, y)f (s, y, z)dy Do tồn trình Markov với họ P (t, x, A) họ xác suất chuyển phân bố ban đầu µ = δ0 Q trình Markov gọi chuyển động Brown hay trình Wiener ký hiệu (Wt ) Các phân tích sâu sắc chứng tỏ (Wt ) có tính chất sau W0 = Với ≤ s < t Wt − Ws ĐLNN có phân bố chuẩn với kỳ vọng phương sai t − s W (t) trình gia số độc với ≤ t1 < t2 < < tn ĐLNN Wt2 − Wt1 , Wt3 − Wt2 , , Wtn − Wtn−1 độc lập Wt có quỹ đạo liên tục Bây trình bày phương pháp xây dựng hàm xác suất chuyển Như biết độ đo µ R ta cho ứng với phiếm hàm T Cb (R) Tµ ξ = ξ(u)dµ(u) R Tương ứng một-một Nếu biết T ξ với ξ xác định µ.Ta định nghĩa ξ(u)P (t, x, du) φ(t, x) = (1.35) R Nếu với ξ ta tìm hàm φ(t, x) tương ứng coi tìm P (t, x, ) Ta có kết sau: Định lý 1.28 Ký hiệu B(x, ) = [x − , x + ], B c(x, ) = R \ B(x, ) Giả 58 Chương Quá trình Markov sử lim t−1 P (t.x, B c(x, )) = ∀x, t→0+ lim t−1 t→0+ (u − x)P (t, x, du) = a(x) B(x, ) lim t−1 t→0+ (u − x)2 P (t, x, du) = b(x) B(x, ) Khi hàm φ(t, x) xác định (1.35) thoả mãn phương trình vi phân sau ∂φ ∂φ b(x) ∂ 2φ = a(x) + ∂t ∂x ∂x2 (1.36) lim φ(t, x) = ξ(x) (1.37) với điều kiện ban đầu t→0+ Ngược lại cho trước hai hàm a(x), b(x) Khi với số giả thiết hai hàm a(x), b(x) với hàm liên tục bị chặn ξ phương trình (1.36) với điều kiện ban đầu (1.37) có nghiệm φ(t, x) xác định cho ta độ đo P (t, x, ) Họ độ đo lập thành họ xác suất chuyển Hơn trình Markov tương ứng với họ xác suất chuyển có quỹ đạo liên tục 1.4 Bài tập Cho xích Markov Xn , n = 0, 1, 2, với không gian trạng thái E = {0, 1, 2} ma trận xác suất chuyển   0.1 0, 0,   P =  0.9 0, 0, 1 0, 0, 0.1 Biết phân bố ban đầu p0 = 0, 3, p1 = 0, 4, p2 = 0, Tính P (X0 = 0, X1 = 1, X2 = 2) 1.4 Bài tập 59 Người ta truyền điện gồm tín hiệu 0, thơng qua kênh có nhiều trạm trạm nhận tín hiệu với xác suất a Ký hiệu X0 tín hiệu truyền Xn tín hiệu nhận trạm n Biết (Xn ) lập thành xích Markov với ma trận xác suất chuyển P = a 1−a 1−a a Giả sử tín hiệu truyền tín hiệu i) Tính xác suất để khơng nhận sai tín hiệu trạm n = ii) Tính xác suất để nhận tín hiệu trạm n = ii) Tính xác suất để nhận tín hiệu trạm n = Cho xích Markov Xn , n = 0, 1, 2, với không gian trạng thái E = 0, 1, ma trận xác suất chuyển   0.1 0, 0,   P =  0.2 0, 0, 6 0, 0, 0.3 Tính P , P (X3 = 1|X1 = 0) P (X3 = 1|X0 = 0) Cho xích Markov Xn , n = 0, 1, 2, với không gian trạng thái E = 0, 1, ma trận xác suất chuyển   0.0 0, 0,   P =  0.5 0, 0, 5 0, 0, 0.0 Tính P (X2 = 1|X0 = 0) P (X3 = 0|X0 = 0) Giả sử Xn chất lượng chi tiết công đoạn thứ n dây chuyền sản xuất với Xn = có nghĩa tốt cịn Xn = có nghĩa xấu Biết (Xn )là xích Markov với ma trận xác suất chuyển P = 0.99 0.01 0.12 0, 88 60 Chương Q trình Markov Tính P (X4 = 1|X1 = 1) Cho xích Markov Xn , n = 0, 1, 2, với không gian trạng thái E = 1, 2, ma trận xác suất chuyển   0.1 0, 0,   P =  0.6 0, 0, 2 0, 0, 0.3 Phân bố ban đầu (0, 7; 0, 2; 0, 1) i) Lập bảng phân bố xác suất X2 ii) Tính P (X0 = 1, X1 = 3, X2 = 3, X3 = 2) iii) Tìm phân bố dừng Cho xích Markov Xn , n = 0, 1, 2, với {1, 2, 3} ma trận xác suất chuyển  3/7 3/7  P = 1/11 2/11 1/11 4/11 không gian trạng thái E =  1/7  8/11  6/11 Giả sử P (X0 = 1) = Đặt Yn =  1 2 Xn = Xn = Chứng minh (Yn ) xích Markov Tìm ma trận xác suất chuyển Cho (rn ) dãy Rademakher P (rn = 1) = p, P (rn = −1) = q = − p Trong dãy ĐLNN sau dãy lập thành xích Markov (a) Xn = rn rn+1 (b) Xn = r1r2 rn 1.4 Bài tập 61 (c) Xn = Φ(rn , rn+1 ) Φ(−1, −1) = 1, Φ(−1, 1) = 2, Φ(1, −1) = 3, Φ(1, 1) = Đối với dãy lập thành xích Markov tìm ma trận xác suất chuyển Mỗi người dân thị trấn N có ba nghề A, B, C Con họ nối tiếp nghề cha với xác suất tương ứng cho nghề A, B, C 3/5; 2/3; 1/4 Nếu không theo nghề cha chúng chọn hai nghề cịn lại với xác suất Giả sử hệ 20% theo nghề A 30% theo nghề B 50% theo nghề C Hãy tìm (a) Tìm phân bố nghề nghiệp hệ (b) Tìm phân bố giới hạn theo nghề nghiệp dân cư thị trấn tương lai xa xơi 10 Cho xích Markov (Xn ), n = 0, 1, 2, với {1, 2, 3} ma trận xác suất chuyển  0  P = 1/2 1/2 không gian trạng thái E =   0 (a) Chứng minh xích tối giản (b) Tìm chu kỳ xích (c) Tìm phân bố dừng 11 Cho xích Markov (Xn ), n = 0, 1, 2, với không gian trạng thái E = {1, 2, 3, 4, 5} ma trận xác suất chuyển   1/3 2/3 0   0 0 1/4 3/4   P = 0 0 1/4 3/4     0  1 0 0 62 Chương Quá trình Markov (a) Chứng minh xích tối giản (b) Tìm chu kỳ xích (c) Tìm phân bố dừng 12 Giả sử ta theo dõi xuất biến cố A theo thời gian Ký hiệu Xt số lần xuất A khoảng thời gian (0, t] giả thiết Xt trình Poisson với cường độ λ (a) Tìm xác suất để khoảng thời gian (0, s] biến cố A xảy m lần biết khoảng thời gian (0, t] biến cố A xảy n lần < s < t, < m < n (b) Ký hiệu Tm thời điểm mà biến cố A xuất lần thứ m Tìm hàm phân bố xác suất Tm (c) Tìm hàm mật độ Tm (d) Tìm P (T1 ≤ s|Xt = n) < s < t 13 Cho trình chết t Xt với khơng gian trạng thái E = {0, 1, 2, } (a) Viết phương trình thuận cho trình Xt (b) Tìm Pii (t) (c) Tìm Pij (t) theo Pi,j+1 (t) (d) Tính Pi,i−1 (t) (e) Chứng minh Xt trình chết tuyến tính tức µi = iµ với i > j ta có Pij (t) = i (e−µt )j (1 − e−µt )i−j j 14 Cho trình sinh chết Xt với λi = iλ, µi = iµ λ, µ số dương Cố định i Đặt ∞ mi(t) = Ei X(t) = jPij (t) j=0 1.4 Bài tập 63 (a) Viết phương trình thuận cho trình Xt (b) Sử dụng phương trình thuận để chứng minh mi (t) = (λ − µ)mi (t) (c) Suy mi(t) = ie(λ−µ)t 15 Cho q trình sinh chết Xt với λi = iλ, µi = iµ λ, µ số dương Cố định i Đặt ∞ j Pij (t) si (t) = Ei X (t) = j=0 (a) Sử dụng phương trình thuận chứng minh si (t) = 2(λ − µ)si (t) + (λ + µ)mi (t) (b) Tìm si (t) (c) Tìm V arXt X0 = i 16 Chứng minh họ f (t, x, y) = π(t2 t + (x − y)2) lập thành họ mật độ chuyển thoả mãn phương trình Chapman - Kolmogorov Quá trình Markov tương ứng có tên q trình Cauchy  ... hóc đường dây, 1 .3. 3 Trường hợp tổng quát Một vài khái niệm trình ngẫu nhiên Xét q trình Markov với khơng gian trạng thái E Cho (E, A) không gian đo Quá trình ngẫu nhiên Xt gọi trình Markov P (Xt+s... Chương Quá trình Markov Quá trình Xt , t ≥ gọi trình Poisson với cường độ λ > thoả mãn điều kiện sau X0 = Với ≤ s < t ĐLNN Xt − Xs có phân bố Poisson với tham số λ(t − s) Xt q trình ngẫu nhiên. .. Ví dụ 1.21 (Quá trình sinh tuý) Nếu trình sinh chết mà khơng xảy chết ta gọi trình sinh tuý Như q trình sinh t ta có µj = ∀j ≥ Pij (t) = j < i 50 Chương Quá trình Markov Phương trình thuận (1.22)