BÀI TẬP CHƯƠNG III: XÍCH MARKOV Bài 1 : Cho xích Markov 3 trạng thái 0, 1, 2 với ma trận xác suất chuyển : P = a. Tính P{X2 = 1, X1 = 1|X0 = 0 }. b. Tính P{ X2 = 1, X3 = 1|X1 = 0 }. c. Biết quá trình xuất phát với trạng thái X0 = 1. Tính P{ X0 = 1, X1 = 0,X2= 2 }. d. Giả sử phân phối đầu là = 0,5 ; = 0,5. Tính P{ X0 = 1, X1 = 1,X2= 0 }. P{ X1= 1, X2= 1,X3 = 0 }. Giải : a. Tính P{X2 = 1, X1 = 1|X0 = 0 } P{X2 = 1, X1 = 1|X0 = 0 } = P{ X¬2 = 1|X1 = 1,X0 = 0 } . P { X¬1 = 1|X0 = 0 } = P{ X¬2 = 1|X1 = 1} . P { X¬1 = 1|X0 = 0 } = P11 . P01 = 0,3 . 0,3 = 0,09 b. Tính P{ X2 = 1, X3 = 1|X1 = 0 } P{ X2 = 1, X3 = 1|X1 = 0 } = P{ X¬3 = 1|X2 = 1 } . P { X¬2 = 1|X1 = 0 } = P11 . P01 = 0,3 . 0,3 = 0,09 c. Biết quá trình xuất phát với trạng thái X0 = 1 nên ta có P{ X0 = 1 } = 1 P{X0 = 1, X1 = 0,X2= 2}= P{ X¬1 = 0|X0 = 1} . P{X¬2 = 2|X1 = 0}.P{X0 = 1} = P 10 . P02 . 1 = 0,3 . 0,1 .1 = 0,03 d. Phân phối đầu là = 0,5 ; = 0,5 = 0 nghĩa là : P{ X0 = 0 } = 0,5 ; P{ X0 = 1 } = 0,5 ; P{ X0 = 2 } = 0 ; • P{ X0 = 1, X1 = 1,X2= 0 } = P{ X¬1 = 1|X0 = 1 } . P { X¬2 = 0|X1 = 1 }.P { X0 = 1 } =P11 . P10 . = 0,3 . 0,3 . 0,5 = 0,045 • P{ X1= 1, X2= 1,X3 = 0 } = P{ X¬2 = 1|X1 = 1 } . P { X¬3 = 0|X2 = 1 }.P { X1 = 1 } = P11 . P10 . P{ X1 = 1 } Mà P { X1 = 1 } = P{ X1 = 1, X0 = i } = P{X1 = 1, X0 = 0}. P{X1 = 1, X0 = 1}. P{X1 = 1, X0 = 2} = P { X¬1 = 1|X0 = 0 }.P { X0 = 0 } + P { X¬1 = 1|X0 = 1 }.P { X0 = 1 } + P { X¬1 = 1|X0 = 2 }.P { X0 = 2 } = P01 . + P11 . + P21 . = 0,6 . 0,5 + 0,3 . 0,5 + 0,1 . 0 = 0,45 Nên P{ X1= 1, X2= 1,X3 = 0 } = 0,3 .0,3 . 0,45 = 0,0405
TRƯỜNG ĐẠI HỌC KINH TẾ THÀNH PHỐ HỒ CHÍ MINH KHOA TỐN - THỐNG KÊ BỘ MƠN: Q TRÌNH NGẪU NHIÊN Quá trình ngẫu nhiên BÀI TẬP CHƯƠNG III: XÍCH MARKOV Bài : Cho xích Markov trạng thái 0, 1, với ma trận xác suất chuyển : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 a Tính P{X2 = 1, X1 = 1|X0 = } b Tính P{ X2 = 1, X3 = 1|X1 = } c Biết trình xuất phát với trạng thái X0 = Tính P{ X0 = 1, X1 = 0,X2= } d Giả sử phân phối đầu α = 0,5 ; α1 = 0,5 Tính P{ X0 = 1, X1 = 1,X2= } P{ X1= 1, X2= 1,X3 = } Giải : a Tính P{X2 = 1, X1 = 1|X0 = } P{X2 = 1, X1 = 1|X0 = } = P{ X2 = 1|X1 = 1,X0 = } P { X1 = 1|X0 = } = P{ X2 = 1|X1 = 1} P { X1 = 1|X0 = } = P11 P01 = 0,3 0,3 = 0,09 b Tính P{ X2 = 1, X3 = 1|X1 = } P{ X2 = 1, X3 = 1|X1 = } = P{ X3 = 1|X2 = } P { X2 = 1|X1 = } = P11 P01 = 0,3 0,3 = 0,09 c Biết trình xuất phát với trạng thái X0 = nên ta có P{ X0 = } = P{X0 = 1, X1 = 0,X2= 2}= P{ X1 = 0|X0 = 1} P{X2 = 2|X1 = 0}.P{X0 = 1} = P 10 P02 = 0,3 0,1 = 0,03 d Phân phối đầu α = 0,5 ; α1 = 0,5 ⇒ α = nghĩa : P{ X0 = } = 0,5 ; P{ X0 = } = 0,5 ; P{ X0 = } = ; • P{ X0 = 1, X1 = 1,X2= } • P{ X1= 1, X2= 1,X3 = } = P{ X1 = 1|X0 = } P { X2 = 0|X1 = }.P { X0 = } =P11 P10 α = 0,3 0,3 0,5 = 0,045 = P{ X2 = 1|X1 = } P { X3 = 0|X2 = }.P { X1 = } = P11 P10 P{ X1 = } Mà P { X1 = } = ∑ P{ X1 = 1, X0 = i } = P{X1 = 1, X0 = 0} P{X1 = 1, X0 = 1} P{X1 = 1, X0 = 2} = P { X1 = 1|X0 = }.P { X0 = } + P { X1 = 1|X0 = }.P { X0 = } + P { X1 = 1|X0 = }.P { X0 = } = P01 α + P11 α1 + P21 α = 0,6 0,5 + 0,3 0,5 + 0,1 = 0,45 Nên P{ X1= 1, X2= 1,X3 = } = 0,3 0,3 0,45 = 0,0405 Quá trình ngẫu nhiên Bài 2: Giả sử hệ thống sản xuất có chất lượng sản phẩm tuân theo xích Markov với kí hiệu cho sản phẩm tốt cho sản phẩm xấu ma trận xác suất chuyển : 0,9 0,1 P= 0,8 0,2 Tính xác suất để phế phẩm xuất chu kì thứ Giải : Gọi α = P{X0 = 0} α1 = P{X0 = 1} = - α Ta có xác suất để phế phẩm xuất chu kì thứ : P { X1 = 1, X2 = 1, X3 = 1, X4 = 1, X5 = } = P{X1=1} P{X2 = 1|X1 = 1} P {X3 = 1|X2 = 1} P{X4 = 1|X3 = 1} P{X5=0|X4 =1} = P{X1=1} P11 P11 P11 P01 (*) Mà P{X1=1} = ∑ P{X1=1,X0 = i } = P{X1=1,X0 = } + P{X1=1,X0 = 0} = P{X0=1} P{X1 = 1|X0 = 1} + P{X0=0} P{X1 = 1|X0 = 0} = ( 1- α ) P11 + α P01 = ( 1- α ) 0,9 + α 0,8 = 0,9 – 0,1 α Thế vào ( * ) ta có : ( 0,9 – 0,1 α ) 0,9 0,9 0,9 0,8 = 0,5832( 0,9 – 0,1 α ) Bài 3: 0,5 0,5 P = 0,5 0,5 0 f(0) = ); f(1) = f(2) = Yn = f(Xn) Ta có: P { Yn = i | Yn −1 = in −1 , , Y0 = i0 } (i ∈ { 0,1} ) = P { f ( X n ) = i | f ( X n −1 ) = in −1 , , f ( X ) = i0 } = P { X n = j | X n = jn −1 , , X = j0 } (j=0 = P { X n = j | X n = jn −1} = P { f ( X n ) = i | f ( X n −1 ) = in −1} = P { Yn = i | Yn −1 = in −1} Vậy, trình {Yn, n >=0} xích Markov hay j ∈ { 1, 2} ) Quá trình ngẫu nhiên Bài 4: Cho xích Markov với ma trận chuyển xác suất : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 a Tính xác suất giới hạn b Tính tỷ lệ thời gian ( dài hạn ) mà trình lưu trú trạng thái Giải : a Tính xác suất giới hạn Gọi π , π , π xác suất giới hạn thoả : + π1 + π2 = π0 0,6π + 0,3π + 0,4π = π 0,3π + 0,3π + 0,1π = π 0,1π + 0,4π + 0,5π = π + π0 − 0,4π + ⇔ 0,3π − 0,1π + π Giải hệ ta : π π π1 0,3π 0,7π 0,4π + π2 + 0,4π + 0,1π − 0,5π = = = = ≈ 0,47 ≈ 0,24 ≈ 0,29 b Tỷ lệ thời gian ( dài hạn ) mà trình lưu trú trạng thái π =0,24 Bài 5: 1−α α P= β 1 − β a/ Zn = (Xn-1, Xn), Zn có trạng thái (0,0),(0,1),(1,0),(1,1) P{ Z n = (in−1 , in ) | Z n−1 = (in −2 , in −1 ), , Z1 = (i0 , i1 )} = P{ X n−1 = in−1 , X n = in | X n−2 = in−2 , X n−1 = in−1 , , X = i0 , X = i1 } = P{ X n−1 = in−1 , X n = in | X n−2 = in−2 , X n−1 = in−1 } = P{ Z n = (in−1 , in ) | Z n−1 = (in−2 , in−1 )} Vậy Zn = (Xn-1, Xn) xích Markov trạng thái Quá trình ngẫu nhiên b/ Xác định ma trận xác suất chuyển: Ta ký hiệu trạng thái Zn sau: (0,0): (0,1): (1,0): (1,1): p * 00 = P{ Z = | Z1 = 0} = P{ X = 0, X = | X = 0, X = 0} = P{ X = | X = 0, X = 0} P{ X = | X = 0, X = 0} = P{ X = | X = 0} P{ X = | X = 0} =1 p00 = 1.α = α p * 01 = P{ Z = | Z1 = 0} = P{ X = 0, X = | X = 0, X = 0} = P{ X = | X = 0, X = 0} P{ X = | X = 0, X = 0} = P{ X = | X = 0} P{ X = | X = 0} =1 p01 = 1.(1 − α ) = − α p * 02 = p * 03 = p *10 = P{ Z = | Z1 = 1} ( p * 00 + p * 01 + p * 02 + p * 03 ) = = P{ X = 0, X = | X = 0, X = 1} = P{ X = | X = 0, X = 1} P{ X = | X = 0, X = 1} = 0.P{ X = | X = 0} =0 p *11 = P{ Z = | Z1 = 1} = P{ X = 0, X = | X = 0, X = 1} = P{ X = | X = 0, X = 1} P{ X = | X = 0, X = 1} = 0.P{ X = | X = 1} =0 p *12 = P{ Z = | Z1 = 1} = P{ X = 1, X = | X = 0, X = 1} = P{ X = | X = 0, X = 1} P{ X = | X = 0, X = 1} = 1.P{ X = | X = 1} =1 p10 = 1.(1 − β ) = − β Quá trình ngẫu nhiên p *13 = P{ Z = | Z1 = 1} = P{ X = 1, X = | X = 0, X = 1} = P{ X = | X = 0, X = 1} P{ X = | X = 0, X = 1} = 1.P{ X = | X = 1} =1 p11 = 1.β = β p * 20 = P{ Z = | Z1 = 2} = P{ X = 0, X = | X = 1, X = 0} = P{ X = | X = 1, X = 0} P{ X = | X = 1, X = 0} = 1.P{ X = | X = 0} =1 p00 = 1.α = α p * 21 = P{ Z = | Z1 = 2} = P{ X = 0, X = | X = 1, X = 0} = P{ X = | X = 1, X = 0} P{ X = | X = 1, X = 0} = 1.P{ X = | X = 0} =1 p01 = 1.(1 − α ) = − α p * 22 = p * 23 = ( p * 20 + p * 21 + p * 22 + p * 23 ) = p * 30 = P{ Z = | Z1 = 3} = P{ X = 0, X = | X = 1, X = 1} = P{ X = | X = 1, X = 1} P{ X = | X = 1, X = 1} = 0.P{ X = | X = 1} =0 p * 31 = P{ Z = | Z1 = 3} = P{ X = 0, X = | X = 1, X = 1} = P{ X = | X = 1, X = 1} P{ X = | X = 1, X = 1} = 0.P{ X = | X = 1} =0 p * 32 = P{ Z = | Z1 = 3} = P{ X = 1, X = | X = 1, X = 1} = P{ X = | X = 1, X = 1} P{ X = | X = 1, X = 1} = 1.P{ X = | X = 1} =1 p10 = 1.(1 − β ) = − β Quá trình ngẫu nhiên p * 33 = P{ Z = | Z1 = 3} = P{ X = 1, X = | X = 1, X = 1} = P{ X = | X = 1, X = 1} P{ X = | X = 1, X = 1} = 1.P{ X = | X = 1} =1 p11 = 1.β = β Vậy ta ma trận xác suất chuyển là: 0 α − α 0 − β β * P = α − α 0 1− β β 0 Bài 6: 0 1 P = 0,1 0,6 0,3 0 a/ Xuất phát từ trạng thái 1, gọi u xác suất để trình kết thúc trạng thái Đặt T = min{n >= 0: Xn = ∨Xn = 2} Xác suất cần tính: u = P{ X T = | X = 1} = P{ X T = | X = 1} u = P{ X T = | X = 1} = ∑ P{ X T = | X = k } P{ X = k | X = 1} k =0 = P{ X T = | X = 0} P{ X = | X = 1} + P{ X T = | X = 1} P{ X = | X = 1} + P{ X T = | X = 2} P{ X = | X = 1} = p10 + u p11 + p12 = 0,1 + 0,6u ⇒ u = 0,1 + 0,6u ⇔ u = 0,25 Vậy xuất phát từ trạng thái 1, xác suất để trình kết thúc trạng thái 0,25 b/ Thời gian trung bình để trình bị hấp thu : E[T|X0 = 1] Ta có: T có phân phối hình học tham số p10 + p12 (do T số lần thực phép thử để XT = ∨XT = 2; xác suất thành công p10 + p12) Suy ra: E[T | X = 1] = 1 = = 2,5 p10 + p12 0,1 + 0,3 Vậy, thời gian trung bình để trình bị hấp thu xuất phát từ trạng thái 2,5 Quá trình ngẫu nhiên Bài 7: 0,3 0,2 0,5 P = 0,5 0,1 0,4 0 a/Xuất phát từ trạng thái 1,gọi u xác suất để trình kết thúc trạng thái Xuất phát từ trạng thái 0, gọi v xác suất để trình kết thúc trạng thái Đặt T = min{n >= 0: Xn = 2} Ta có: u = P{ X T = | X = 1} = P{ X T = | X = 1} v = P{ X T = | X = 0} = P{ X T = | X = 0} u = P{ X T = | X = 1} = ∑ P{ X T = | X = k } P{ X = k | X = 1} k=0 = P{ X T = | X = 0} P{ X = | X = 1} + P{ X T = | X = 1} P{ X = | X = 1} + P{ X T = | X = 2} P{ X = | X = 1} = v p10 + u p11 + p12 = 0,5v + 0,1u + 0,4 ⇒ u = 0,5v + 0,1u + 0,4 v = P{ X T = | X = 0} (1) = ∑ P{ X T = | X = k } P{ X = k | X = 0} k =0 = P{ X T = | X = 0} P{ X = | X = 0} + P{ X T = | X = 1} P{ X = | X = 0} + P{ X T = | X = 2} P{ X = | X = 0} = v p00 + u p01 + p02 = 0,3v + 0,2u + 0,5 ⇒ v = 0,3v + 0,2u + 0,5 (2) u = 0,5v + 0,1u + 0,4 u = ⇔ v = 0,3v + 0,2u + 0,5 v = Từ (1) (2) ta Vậy xuất phát từ trạng thái 1, xác suất để trình kết thúc trạng thái b/ Thời gian trung bình để trình bị hấp thu : E[T|X0 = 1] Ta có: T có phân phối hình học tham số p12 (do T số lần thực phép thử để XT = 2; xác suất thành công p12) Suy ra: E[T | X = 1] = 1 = = 2,5 p12 0,4 Vậy, thời gian trung bình để trình bị hấp thu xuất phát từ trạng thái 2,5 Quá trình ngẫu nhiên Bài 8: 0,7 0,2 0,1 P = 0,2 0,6 0,2 0,1 0,4 0,5 Khi N lớn, tỷ lệ số nhân viên lớp xác suất giới hạn xích Markov Đặt phần trăm số nhân viên lớp là: x, y, z ta có: 0,7 x + 0,2 y + 0,1z = x − 0,3 x + 0,2 y + 0,1z = x = 35,29% 0,2 x + 0,6 y + 0,4 z = y 0,2 x − 0,4 y + 0,4 z = ⇔ ⇔ y = 41,18% 0,1x + 0,4 y + 0,5 z = z 0,1x + 0,4 y − 0,5 z = z = 23,53% x + y + z = x + y + z = Vậy phần trăm nhân viên lớp là: 35,29%, 41,18%, 23,53% Bài 10: Cho xích Markov trạng thái 0, 1, Tính phân phối giới hạn trường hợp có ma trận xác suất chuyển : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 a Tỷ lệ thời gian trình lưu trú trạng thái bao nhiêu? b Giả sử lâu dài chi phí cho lưu trú trạng thái 0, 1, chu kì 2$, 5$, 3$ Tính chi phí cho chu kì trình c nlim → ∞ P {Xn+1 = 1|X0 = } d nlim → ∞ P{Xn = 1, Xn+1 = 2|X0 = } e nlim → ∞ P{Xn-1 = 1, Xn = 2|X0 = } Giải : a Tỷ lệ thời gian trình lưu trú trạng thái bao nhiêu? Gọi π , π , π xác suất giới hạn thoả : + π1 + π2 = π0 0,6π + 0,3π + 0,4π = π 0,3π + 0,3π + 0,1π = π 0,1π + 0,4π + 0,5π = π π Giải hệ ta : π π ≈ 0,47 ≈ 0,24 ≈ 0,29 Vậy tỷ lệ thời gian lưu trú trạng thái π = 0,24 Quá trình ngẫu nhiên b Giả sử lâu dài chi phí cho lưu trú trạng thái 0, 1, chu kì 2$, 5$, 3$ Tính chi phí cho chu kì q trình Chi phí cho chu kì : 0,6.2 + 0,3.5 + 0,1.3 = $ Chi phí cho chu kì : 0,3.2 + 0,3.5 + 0,4.3 = 3,3 $ Chi phí cho chu kì : 0,4.2 + 0,1.5 + 0,5.3 = 2,8 $ c nlim = } → ∞ P {Xn+1 = 1|X0 Đặt p = lim P{ X n+1 = | X = 0} n →∞ q = lim P{ X n+1 = | X = 1} n →∞ r = lim P{ X n +1 = | X = 2} n →∞ Ta có : p = lim P{ X n+1 = | X = 0} n →∞ q = lim P{ X n+1 = | X = 1} n →∞ r = lim P{ X n +1 = | X = 2} n →∞ P{ X n +1 = | X = k }.P{ X = k | X = 0} Và p = ∑ nlim →+∞ i =0 ⇔ p = 0,6 p + 0,3q + 0,1r ⇔ −0,4 p + 0,3q + 0,1r = Tương tự : 0,3 p − 0,7q + 0,4r = 0,4 p + 0,1q − 0,5r = p + q + r = π = 0,2424 Mặt khác : p = 0,0808 ⇒ q = 0,0808 Từ (1) (2) (3) (4) r = 0.0808 Vậy nlim = } = 0,0808 → ∞ P {Xn+1 = 1|X0 d nlim → ∞ P{Xn = 1, Xn+1 = 2|X0 = } = P{ X n +1 = | X n = 1} lim P{ X n = | X = 0} n →∞ = P12 p = 0,4.0,0808 = 0,03232 e nlim → ∞ P{Xn-1 = 1, Xn = 2|X0 = } = P{ X n = | X n −1 = 1} lim{ X n −1 = | X = 0} n →∞ = P12 p = 0,4.0,0808 = 0,03232 10 (1) (2) (3) (4) Quá trình ngẫu nhiên BÀI TẬP CHƯƠNG IV: QUÁ TRÌNH POISSON Bài 1: n n P{X + Y = n} = ∑ P{X = k ,Y = n − k } =∑ P{X = k }P{Y = n − k } k =0 k =0 λ − λ1 λ n! (λ + λ ) n e e − λ2 = e − ( λ1 + λ2 ) ∑ λ1k λ2n − k = e − ( λ1 + λ2 ) (n = 0,1, ) ( n − k )! n! n! k =0 k ! k = k !( n − k )! n =∑ k n−k n Vậy S=X+Y có phân phối poisson với tham số λ = λ1 + λ2 Cách khác: Dùng hàm monnent cho X, Y ta có : Do X Y có phân phối Poisson nên ta có: ϕ X (t ) = e λ1*( e −1) t ϕY (t ) = e λ2 *( e −1) t t t t ϕ ( X +Y ) (t ) = ϕ X (t ) * ϕY (t ) = e λ1 ( e −1)+λ2 ( e −1) = e ( λ1 +λ2 )( e −1) Như X+Y có phân phối Poisson với tham số λ1 + λ Bài 2: P{X = k | X + Y = n} = P{X = k , X + Y = n} P{X + Y = n | X = k }P{X = k } = P{X + Y = n} P{X + Y = n} λ1k − λ1 λ2n − k − λ2 e e P{Y = n − k | X = k}P{X = k} P{X = k}P{Y = n − k } k ! (n − k )! = = = (λ1 + λ2 ) n − ( λ1 + λ2 ) P{X + Y = n} P{X + Y = n} e n! k n−k k n −k λ1 λ2 n! λ1k λ2n − k k λ1 λ2 = = C = Cnk ÷ ÷ n n n k !(n − k )! (λ1 + λ2 ) (λ1 + λ2 ) λ1 + λ2 λ1 + λ2 Bài 3: Ta có: + N1 (0) = 0; N (0) = ⇒ N (0) = N1 (0) + N (0) = + N1 (t ) ∈ N ; N (t ) ∈ N ⇒ N (t ) = N1 (t ) + N (t ) ∈ N + Từ giả thuyết N1 (tn ) − N1 (tn −1 ); N1 (t n −1 ) − N1 (tn − ); ; N1 (t1 ) − N1 (t0 ) độc lập với N (tn ) − N (tn −1 ); N (tn −1 ) − N (tn − ); ; N (t1 ) − N (t0 ) độc lập với 15 (1) (2) Quá trình ngẫu nhiên Mà: N (tn ) = N1 (tn ) + N (tn ); N (t n −1 ) = N1 (tn −1 ) + N (tn −1 ) ⇒ N (tn ) − N (tn −1 ) = N1 (tn ) + N (tn ) − N1 (tn −1 ) − N (t n −1 ) = N1 (tn ) − N1 (tn −1 ) + N (tn ) − N (tn −1 ) N (tn ) − N (tn −1 ) = N1 (t n −1 ) − N1 (t n − ) + N (tn −1 ) − N (tn − ) ⇒ N (t1 ) − N (t0 ) = N1 (t1 ) − N1 (t0 ) + N (t1 ) − N (t0 ) Là độc lập với + Theo CM {N i (t ); t ≥ 0} có phân phối P{λi } (3) ⇒ P{N (t ) − N ( s)} = P{N1 (t ) + N (t ) − N1 ( s) − N ( s)} = P{N1 (t ) − N1 ( s ) + N (t ) − N ( s )} = P{N1 (t ) − N1 ( s )} + P{N (t ) − N ( s )} Mà: N1 (t ) − N1 ( s ) :~ P ( λ1 (t − s ) ) ; N (t ) − N ( s ) :~ P ( λ2 (t − s) ) ⇒ N (t ) − N ( s ) = N1 (t ) − N1 ( s) + N (t ) − N ( s) :~ P ( (λ1 + λ2 )(t − s) ) (4) Từ (1), (2), (3) (4) ⇒ { N ( t ) ; t ≥ 0} trình Poisson với tham số (λ1 + λ2 )t Bài : Ta có: P{M = k ; N = n} = P{M = k | N = n}P{N = n} = C p (1 − p ) k n +∞ ⇒ P{M = k} = ∑ n=k k n−k p k (1 − p ) n − k λ n e− λ p k e − λ k +∞ [ (1 − p )λ ] = λ ∑ k !(n − k )! k! (n − k )! n=k n −k λ n − λ p k (1 − p) n − k λ ne − λ e = n! k !( n − k )! p k e − λ k λ (1− p ) ( λ p ) − λ p = λ e = e k! k! Bài : a) Do X(t) trình Poisson nên X(t) ∼ P(λt) ( λ t ) k − λt ⇒P (X(t) = k ) = e k! b) Cố định < s < t P (X (t) = n + k | X (s) = n ) P( X(s) = n , X(t) = n + k ) P ( X ( s ) = n) = P( X ( s) = n) * P( X (t − s) = n + k − n) P( X ( s ) = n) = P{X (t − s) = k} = (λ (t − s)) k − λ ( t − s ) e k! c) E[ X (t ) X ( s )] = E[ X ( s ) ( X (t ) − X ( s ) + X ( s ) ) ] = E[ X ( s ) + X ( s) ( X (t ) − X ( s ) ) ] = E[ X ( s )] + E[ X ( s ) ( X (t ) − X ( s ) ) ] = E[ X ( s)] + E[ X ( s )]E[ X (t ) − X ( s )] = Var[ X ( s )] + ( E[X ( s )]) + E[ X ( s)]{ E[ X (t )] − E[ X ( s )]} = Var[ X ( s )] + ( E[ X ( s )]) + E[ X ( s )]E[ X (t )] − ( E[ X ( s )]) = Var[ X ( s )] + E[ X ( s )]E[ X (t )] = λ s + λ st 16 k Quá trình ngẫu nhiên Bài 7: Ta có : X (t) số khách hàng vào cửa hàng thời điểm t Bưu điện mở cửa lúc :00 AM λ=2 ⇒ X(t) ∼ P(λt) (2 * 4) * e −2*4 = e-8 P { X (12 - 8) = ) = P ( X (4) = } = 0! a) b) (2 * 1) * e −2 = * e −2 2! • P { X(1) = } = • P {X (1) = ∧ X(3) = } = P {X (1) = 2, X (3 - 1) = 4} = P {X (1) = 2) * P (X (2) = 4} (2 * 1) (2 * 2) −2 *e * * e −4 = 2! 4! 64 −6 e = c) P{ X (1) = 2, X (3) = 6} P{ X (3) = 6} P{ X (1) = 2, X (3 − 1) = 4} = P ( X (3) = 6) •P {X (1) = 2| X(3) = 6} = = P ( X (1) = 2) * P ( X (2) = 4) P ( X (3) = 6) (2 *1) −2 (2 * 2) −4 *e * *e ! ! = (2 * 3) −6 *e 6! 80 = 243 ≥ | X ( ) = ) •P (X(3) = P{X(3) – X(1) ≥ 4| X(1) = 2} = P{X(3) – X(1) ≥ 4} = – P{X(2) < 4} 4k 41 4 = − ∑ e −4 = − e −4 ( + + + ) 0! 1! 2! 3! k = k! 71 = − e −4 17 Quá trình ngẫu nhiên Bài 8: a) P { X (1) ≤ 2} = P { X (1) = 0} + P { X (1) = 1} + P { X (1) = 2} 20 −2 21 −2 22 −2 e + e + e = 5e −2 ≈ 0.6767 0! 1! 2! P { X (1) = ∧ X (2) = 3} = P { X (1) = 1, X (2) = 3} = P { X (1) = 1, X (2) − X (1) = 2} = = P { X (1) = 1} P { X (1) = 2} = b) P { X (1) ≥ | X (1) ≥ 1} = c) 21 −2 2 −2 e e = 4e −4 ≈ 0,0733 1! 2! P{X(1) ≥ 2,X(1) ≥ 1) P{X (1) ≥ 2} = P{X (1) ≥ 1} P{X (1) ≥ 1} = − P{X (1) = 0} − P{X (1) = 1} − P{X (1) = 2} = − P{X (1) = 0} − P{X (1) = 1} = − 5e −2 ≈ 0.5443 − 3e −2 1− 20 −2 21 −2 22 −2 e − e − e 0! 1! 2! 2 − e −2 − e −2 0! 1! E [ X (2)] = 2λ = E ( X (1)) = Var( X (1)) + ( E [ X (1) ] ) = + = d) E[ X (1) X (2)] = E[ X (1) ( X (3) − X (1) ) ] = E[ X (1)]E[ X (3) − X (1)] = E[ X (1)]{E[ X (3)] − E[ X (1)]} = E[ X (1)]E[ X (3)] − E[ X (1)]2 = 2.6 − 2 = Bài 9: Ta có λ = 3/ phút = / 60 giây = / 20 giây a) (λ s ) − λ s P{X ( s ) = 0} = e = e − λ s = e − s / 20 0! b) P{X ( s ) < 2} = P{X ( s ) = 0} + P{X ( s) = 1} = e − s / 20 (1 + 18 s ) 20 Quá trình ngẫu nhiên Bài 11: X(t) khách hàng vào cửa hàng đến thời điểm t Với λ = / a) b) P ( X ( ) = 1, X (1) = 1)) P( X( ) = 1|X(1) = 1) = 4 P ( X (1) = 1) 1 P ( X ( ) = 1, X (1 − ) = 0) P( X ( ) = 1) * P( X ( ) = 0) 4 4 = = P( X (1) = 1) P ( X (1) = 1) (6 * )1 (6 * ) − *e * * e −18/ 1* e −6 0! = 1! = = 0, 25 (6 *1)1 −6 * e −6 *e 1! P ( X (3) = 5, X (1) = 2)) P (X(1) = 2| X(3) = 5) = P ( X (3) = 5) = P ( X (1) = 2, X (3 − 1) = − 2) P( X (1) = 2) * P( X (2) = 3) = P ( X (3) = 5) P ( X (3) = 5) (6 *1) −6 (6 * 2)3 −12 *e * *e 80 * e −18 80 3! = 2! = = −18 (6 * 3) 243* e 243 * e −18 5! c) P {X (t) = m| X (T) = n} , < t < T • m > n P{X (t) = m| X (T) = n} = 0; • m < n : P{X (t) = m| X (T) = n} = = P ( X (t ) = m, X (T ) = n)) P ( X (T ) = n) P ( X (t ) = m, X (T − t ) = n − m) P ( X (t ) = m) * P ( X (T − t ) = n − m) = P ( X (T ) = n) P ( X (T ) = n) (λt ) m − λt (λ (T − t )) n − m − λ (T − t ) *e * *e n! t m * (T − t ) n − m m! (n − m)! = = * (λT ) n − λT m!(n − m)! Tn *e n! t t = Cnm * ( ) m * (1 − ) n − m T T Bài 12: 19 Quá trình ngẫu nhiên a ) E [ W4 ] = λ b) E[W4 | N (1) = 2] = E[W4 | W2 ≤ 1] = E[W4 - W2 + W2 | W2 ≤ 1] = E[W4 - W2 | W2 ≤ 1] + E[W2 | W2 ≤ 1] = E[W4 - W2 ] + ∫ w2 f ( w2 )dw2 = = 4 - + λ ∫ w2 2e − λ w2 dw2 = − (λ + + )e − λ λ λ λ λ (dùng công thức tích phân phần lần) c) E [ X (4) − X (2) | X (1) = 3] = E[ X (4) − X (2)] = E[ X (2)] = 2λ Bài 13: Ta có : P( N(s) = k| N(t) = n ) Với < s < t • Nếu k > n P( N(s) = k| N(t) = n ) = • k w1 ,W2 > w2 } = { X ( w1 ) = 0, X ( w2 ) − X ( w1 ) ∈ {0,1}} Giả sử: {W1 > w1 ,W2 > w2 } = { X ( w1 ) = 0, X ( w2 ) − X ( w1 ) ≥ 2} Khi, X ( w2 ) − X ( w1 ) ≥ ⇒ X ( w2 ) ≥ ⇒ W2 ≤ w2 trái giả thuyết W2 > w2 Vậy, đẳng thức b) P{W1 > w1;W2 > w2 } = P{ X ( w1 ) < 1; X ( w2 ) < 2} = P{ X ( w2 ) < | X ( w1 ) < 1}P{ X ( w1 ) < 1} = P{ X ( w2 ) < | X ( w1 ) = 0}P{ X ( w1 ) = 0} = P{ X ( w2 − w1 ) < | X ( w1 ) = 0}P{ X ( w1 ) = 0} ( λ ( w2 − w1 ) ) − λ ( w − w ) ( λ ( w2 − w1 ) ) − λ ( w − w ) ( λ w1 ) − λ w = P{ X ( w2 − w1 ) < 2}P{ X ( w1 ) = 0} = e + e e 0! 1! 0! = e − λ w1 e −λ ( w2 − w1 ) + λ ( w2 − w1 ) e −λ ( w2 − w1 ) = e − λ w1 [ + λ ( w2 − w1 ) ] e −λ ( w2 − w1 ) (dpcm) Ta có: W1 ∈ ( w1 , w2 ),W2 ∈ ( w2 , ∞) P{W1 = w1;W2 = w2 } = P{S1 = w1; S = w2 − w1} = P{S1 = w1}P{S = w2 − w1} = λ e − λ w1 λ e − λ ( w2 − w1 ) = λ 2e− λ w2 ⇒ f ( w1 , w2 ) = λ 2e − λ w2 (0 < w1 < w2 ) c) 21 Quá trình ngẫu nhiên Hàm mật độ biên biến: f ( w1 ) = f ( w2 ) = +∞ ∫ f ( w1 , w2 )dw2 = +∞ ∫λ e −∞ w1 +∞ w2 ∫ f ( w1 , w2 ) dw1 = −∞ − λ w2 dw2 = lim −λ e − λ w2 ) dw1 = λ 2e − λ w2 w1 = λ 2e − λ w2 w2 β →∞ ∫λ e − λ w2 ( w2 β w1 = λ e − λ w1 d) λ nt n −1 − λ t f w( n ) (t ) = e (n − 1) Ta có: λ 1w11−1 − λ w1 fW1 ( w1 ) = e = λ e− λ w1 (1 − 1)! λ w22 −1 − λ w2 fW2 ( w2 ) = e = λ w2 e− λ w2 (2 − 1)! Vậy, kết phù hợp với định lý phân phối thời điểm đến Bài 16: +∞ +∞ E [ Yn ] = E 2n e −Wn = n ∫ e − t P{Wn = t}dt = 2n ∫ e − t = 2n +∞ λ nt n −1 − λ t e dt (n − 1)! λ λ (n − 1)! λn n −1 − λ t − t n n t e dt = = = < ∞ (n − 1)! ∫0 (n − 1)! (1 + λ ) n (1 + λ ) n n n E [ Yn +1 | Fn ] = E 2n +1 e −Wn+1 | Fn = 2n +1 E e −Wn+1 +Wn −Wn | Fn = 2n +1 E e − (Wn+1 −Wn )e −Wn | Fn = 2n +1 E e − (Wn+1 −Wn ) | Fn E e −Wn | Fn = 2n +1 E e − (Wn+1 −Wn ) e −Wn = 2n +1 E e − Sn+1 e −Wn =2 n +1 −Wn e +∞ ∫e − Sn +1 − λ Sn +1 e d ( Sn +1 ) = n +1 −Wn e +∞ ∫e −2 S n +1 d ( S n +1 ) lim e− Sn+1 0β = 2n e −Wn = Yn β →∞ Vậy, {Yn ; n ≥ 0} martingale = −2n +1 e −Wn Bài 17: a ) E[W1 | X (1) = n] = E[t | ( X (t ) = 1| X (1) = n ) ] = ∫ tP { ( X (t ) = 1| X (1) = n ) } dt n −1 t t = ∫ tCn1 ÷ 1 − ÷ dt 1 1 = ∫ Cn1t ( − t ) n −1 dt = CM 13 ( n + 1)(n + 2) Dùng tích phân phần lần 22 Q trình ngẫu nhiên Bài 18: Gọi X1 : số khách hàng cá nhân vào ngân hàng với xác suất p = 0.7 Gọi X2 : số khách hàng doanh nghiệp vào ngân hàng với xác suất q = 0.3 Gọi X : số khách hàng vào ngân hàng Suy X = X1 + X2 Theo giả thiết X(t) trình Poisson với tham số λ = 30 người/giờ Theo định lý q trình Poisson có phân loại X1(t) trình Poisson với tham số λ1 = pλ =21 người/giờ X2(t) trình Poisson với tham số λ2 = qλ = người/giờ Ta cần tính P{X (1) = 3, X (1) = 2} Vì X1 X2 độc lập với nên P{X (1) = 3, X (1) = 2} = P{X (1) = 3) P ( X (1) = 2} = 23 λ13 − λ1 λ22 − λ2 213 −21 92 −9 e e = e e = 5.85 × 10 −9 3! 2! 3! 2! Quá trình ngẫu nhiên BÀI TẬP XÍCH MARKOV Bài 1.1 : Cho xích Markov trạng thái 0, 1, với ma trận xác suất chuyển : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 e Tính P{X2 = 1, X1 = 1|X0 = } f Tính P{ X2 = 1, X3 = 1|X1 = } g Biết trình xuất phát với trạng thái X0 = Tính P{ X0 = 1, X1 = 0,X2= } h Giả sử phân phối đầu α = 0,5 ; α1 = 0,5 Tính P{ X0 = 1, X1 = 1,X2= } P{ X1= 1, X2= 1,X3 = } Giải : e Tính f P{X2 = 1, X1 = 1|X0 = }? P{X2 = 1, X1 = 1|X0 = } = P{ X2 = 1|X1 = } P { X1 = 1|X0 = 0} = P11 P01 = 0,3 0,3 = 0,09 Tính P{ X2 = 1, X3 = 1|X1 = }? P{ X2 = 1, X3 = 1|X1 = } = P{ X3 = 1|X2 = } P { X2 = 1|X1 = 0} = P11 P01 = 0,3 0,3 = 0,09 g Biết trình xuất phát với trạng thái X0 = nên ta có P{ X0 = } = P{ X0 = 1, X1 = 0,X2= } = P{ X1 = 0|X0 = } P { X2 = 2|X1 = }.P { X0 = } = P 10 P02 = 0,3 0,1 = 0,03 h Phân phối đầu α = 0,5 ; α1 = 0,5 ⇒ α = nghĩa : P{ X0 = } = 0,5 ; P{ X0 = } = 0,5 ; P{ X0 = } = ; • P{ X0 = 1, X1 = 1,X2= } = P{ X1 = 1|X0 = } P { X2 = 0|X1 = }.P { X0 = } • =P11 P10 α = 0,3 0,3 0,5 = 0,045 P{ X1= 1, X2= 1,X3 = } = P{ X2 = 1|X1 = } P { X3 = 0|X2 = }.P { X1 = } 24 Quá trình ngẫu nhiên Mà P { X1 = } = P11 P10 P{ X1 = } = ∑ P{ X1 = 1, X0 = i } = P{X1 = 1, X0 = 0} P{X1 = 1, X0 = 1} P{X1 = 1, X0 = 2} = P { X1 = 1|X0 = }.P { X0 = } + + P { X1 = 1|X0 = }.P { X0 = } P { X1 = 1|X0 = }.P { X0 = } = P01 α + P11 α1 + P21 α Nên P{ X1= 1, X2= 1,X3 = } = 0,6 0,5 + 0,3 0,5 + 0,1 = 0,45 = 0,3 0,3 0,45 = 0,0405 Bài 1.2 : Giả sử hệ thống sản xuất có chất lượng sản phẩm tn theo xích Markov với kí hiệu cho sản phẩm tốt cho sản phẩm xấu ma trận xác suất chuyển : 0,9 0,1 P= 0,8 0,2 Tính xác suất để phế phẩm xuất chu kì thứ Giải : α Gọi = P{X0 = 0} α1 = P{X0 = 1} = - α Ta có xác suất để phế phẩm xuất chu kì thứ : P { X1 = 1, X2 = 1, X3 = 1, X4 = 1, X5 = } = P{X1=1} P{X2 = 1|X1 = 1} P {X3 = 1|X2 = 1} P{X4 = 1|X3 = 1} P{X5=0|X4 =1} = P{X1=1} P11 P11 P11 P01 (*) ∑ Mà P{X1=1} = P{X1=1,X0 = i } = P{X1=1,X0 = } + P{X1=1,X0 = 0} = P{X0=1} P{X1 = 1|X0 = 1} + P{X0=0} P{X1 = 1|X0 = 0} = ( 1- α ) P11 + α P01 = ( 1- α ) 0,9 + α 0,8 = 0,9 – 0,1 α Thế vào ( * ) ta có : ( 0,9 – 0,1 α ) 0,9 0,9 0,9 0,8 = Bài 1.4: Cho xích Markov với ma trận chuyển xác suất : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 c Tính xác suất giới hạn d Tính tỷ lệ thời gian ( dài hạn ) mà trình lưu trú trạng thái 25 Q trình ngẫu nhiên Giải : c Tính xác suất giới hạn ? Gọi π , π , π xác suất giới hạn thoả : + π1 + π2 = π0 0,6π + 0,3π + 0,4π = π 0,3π + 0,3π + 0,1π = π 0,1π + 0,4π + 0,5π = π π π π Giair hệ ta : ≈ 0,47 ≈ 0,24 ≈ 0,29 d Tính tỷ lệ thời gian ( dài hạn ) mà trình lưu trú trạng thái π =0,24 Bài 1.10: Cho xích Markov trạng thái 0, 1, Tính phân phối giới hạn trường hợp có ma trận xác suất chuyển : 0,6 0,3 0,1 P = 0,3 0,3 0,4 0,4 0,1 0,5 f Tỷ lệ thời gian trình lưu trú trạng thái bao nhiêu? g Giả sử lâu dài chi phí cho lưu trú trạng thái 0, 1, chu kì 2$, 5$, 3$ Tính chi phí cho chu kì q trình h nlim → ∞ P {Xn+1 = 1|X0 = } lim P{Xn = 1, Xn+1 = 2|X0 = } i n →∞ j n →∞ lim P{Xn-1 = 1, Xn = 2|X0 = } Giải : f Tỷ lệ thời gian trình lưu trú trạng thái bao nhiêu? Gọi π , π , π xác suất giới hạn thoả : + π1 + π2 = π0 0,6π + 0,3π + 0,4π = π , π + , π + , π = π 0,1π + 0,4π + 0,5π = π π Giải hệ ta : π π ≈ 0,47 ≈ 0,24 ≈ 0,29 Vậy tỷ lệ thời gian lưu trú trạng thái π = 0,24 26 Quá trình ngẫu nhiên g Giả sử lâu dài chi phí cho lưu trú trạng thái 0, 1, chu kì 2$, 5$, 3$ Tính chi phí cho chu kì q trình Chi phí cho chu kì : 0,6.2 + 0,3.5 + 0,1.3 = $ Chi phí cho chu kì : 0,3.2 + 0,3.5 + 0,4.3 = 3,3 $ Chi phí cho chu kì : 0,4.2 + 0,1.5 + 0,5.3 = 2,8 $ h nlim → ∞ P {Xn+1 = 1|X0 = } lim P{Xn = 1, Xn+1 = 2|X0 = } i n →∞ j n →∞ lim P{Xn-1 = 1, Xn = 2|X0 = } Bài 1.11 : Giả sử khách hàng sử dụng dịch vụ điện thoại di động Việt Nam chọn nhãn hiệu Vinaphone, Mobiphone hay Vietell Khách hàng thay đổi số thuê bao sau tháng với ma trận xác suất chuyển : 0,6 0,2 0,2 P = 0,1 0,7 0,2 0,1 0,1 0,8 Tính thị phần dịch vụ di động lâu dài hãng Giải : Gọi π , π , π xác suất giới hạn thoả : + π1 + π2 = π0 0,6π + 0,1π + 0,1π = π 11 0,2π + 0,7π + 0,1π = π 0,2π + 0,2π + 0,8π = π π Giải hệ ta : π π = 0,2 = 0,3 = 0,5 Vậy thị trường dịch vụ di động hãng Vinaphone, Mobiphone Vietell : 0,2 ; 0,3 ; 0,5 Bài 1.12 : Phân loại lớp trạng thái xích Markov với ma trận xác suất chuyển sau : 0 1 e P = 0 0 / / 2 0 0 0 27 Quá trình ngẫu nhiên 0 1 f P = 0 0 / / 2 0 0 0 1 / / 1 / / 0 1/ 1/ g 1/ 1/ 1 / / / / 4 1 / 2 / h 1 / 1 / 1/ 0 1/ / 0 1/ 0 1/ / 0 1/ 0 / / 4 / / / / / 6 Tìm tất lớp trạng thái liên lạc với Bài 1.13 : Xét xích Markov với trạng thái 0, 1, 2, 3, 0 1 / / 1 / / 0 1/ 1/ P= 1/ 1/ 1 / / 0 m d Xác định m Ta có : 1/4 + 1/4 + + + m = ⇒ m=½ e Tìm lớp trạng thái tương đương f Xác định trạng thái thường xuyên vãng lai Bài 1.14 : Cho xích Markov với trạng thái 0, 1, 2, 3, 4, với ma trận xác suất chuyển 28 Quá trình ngẫu nhiên 1 / / 0 1 / / / 0 0 0 P= 1 / / / 0 / 4 0 0 0 0 Tìm trạng thái thường xuyên ( hồi quy - recurrent ) & vãng lai (transient) 29 ... gian trung bình để trình bị hấp thu xuất phát từ trạng thái 2,5 Quá trình ngẫu nhiên Bài 7: 0,3 0,2 0,5 P = 0,5 0,1 0,4 0 a/Xuất phát từ trạng thái 1,gọi u xác suất để trình kết thúc... markov tối giản có lớp trạng thái tương đương {0,1,2,3} 11 Quá trình ngẫu nhiên 0 1 P= 0 0 b / / 2 0 0 Ta có : 0↔1 , 0↔2, 0↔3,1↔2,1↔3,2↔3 Đây xích tối giản nên có lớp trạng thái... 1/ 1/ 1 / / 0 m a Xác định m Ta có : 1/4 + 1/4 + + + m = ⇒ m = 1/2 12 Quá trình ngẫu nhiên b Tìm lớp trạng thái tương đương Ta có : ↔ 1, ↔ ⇒ Có lớp trạng thái tương đương : E1 = { 0,1}