Một số vấn đề về xích markov với thời gian rời rạc

Lời nói đầu. Trong cuộc sống của chúng ta, tất cả sự vật và hiện tợng dù lớn hay nhỏ đều có sự phụ thuộc lẫn nhau. Độc lâp chỉ là một sự lý tởng hoá cho đơn giản khi con ngời ta cần nghiên cứu một vấn đề nào đó . Andrei Andreevitch MarKov ( 14/6/1856 - 20/7/1922 ) là nhà Toán Học - Vât Lý nổi tiếng ngời Nga. Đã lý tởng hoá các sự vật trong cuộc sống ở trạng thái độc lập với nhau, xây dựng nên một quá trình gọi là quá trình Markov. Trong khoá luận này dã trình bày: Một số vấn đề về xich Markov với thời gian rời rạc. Đó là một vấn đề nhỏ trong quá trình Markov. Khoá luận gồm có những nội dung sau: Đ1- Tính Markov: trình bày các định nghĩa về tính Markov và những ví dụ minh hoạ . Đ2- Xích Markov rời rạc và thuần nhất: trình bày một số vấn đề nh: Ma trận xác suất chuyển; phơng trình Chapman - Kolmogorov; phân phối ban đầu. Đ3- Xich Markov hữu hạn trạng thái trình bày mô hình ứng dụng quan trọng của xích Markov; định lý ergodic; phân phối dừng; phân phối giới hạn và phân phối ergodic. Khoá luận đợc hoàn thành dới sự hớng dẫn của PGS - TS Phan Đức Thành. Nhân dịp này Tác giả xin bày tỏ lòng biết ơn sâu sắc đối với Thầy, ngời đã giúp đỡ, chỉ bảo rất nhiều cho tác giả để hoàn thành đợc khoá luận này. Đồng thời tác giả cũng cảm ơn các thầy cô trong khoa Toán nhất là các thầy thuộc bộ môn xác suất thống kê và các bạn sinh viên đã cổ vũ, động viên và giúp đỡ tác giả trong thời gian qua. Tuy nhiên vì khả năng và thời gian có hạn nên khoá luận không tránh khỏi những thiếu sót, mong đợc sự góp ý và chỉ bảo của thầy cô và bạn đọc. Tác giả 1 Đ1- Tính Markov 1- Mở đầu : Nhiều hiện tợng trong thế giới tự nhiên có tính chất chung là: Sự tiến triển theo thời gian của một hệ vật lý hoặc sinh thái nào đóchỉ phụ thuộc hiện tại và độc lập với quá khứ. Ngời ta nói rằng nó có tính Markov. Ví dụ 1 : Dân số nớc ta hiện tại là 80 triệu ngời , trong tơng lai dân số nớc ta sẽ phát triển chỉ phụ thuộc vào dân số hiện tại mà độc lập với quá khứ . Vậy sự phát triển của dân số nớc ta có tính Markov. Nói chung, các hệ ( sinh thái, vật lý, hoặc cơ học, .v.v.) không có trí nhớ hoặc hoặc sức ỳ là những hệ có tính Markov. 2-Định nghĩa: ( Theo phơng diện toán học ) : Ký hiệu: X(t) là vị trí của hệ tại thời điểm t E là không gian trạng thái của X(t) Ta nói rằng X(t) có tính Markov nếu: P{X(t n+1 ) =j \ X(t 0 ) =i 0 ,X(t 1 ) =i 1 , .,X(t n-1 ) =i n-1 ,X(t n ) =i}= P{X(t n+1 ) =j \ X(t n ) =i} Với bất kỳ t 0 < t 1 < . < t n < t n+1 < và i 0 , i 1 . i n-1 , i,j E Ta xem t n là hiện tại ; t n+1 là tơng lai ;( t 0 , t 1 , . ,t n-1 ) là quá khứ Vì thế biểu thức trên phản ánh tính Markov của X(t). Nếu X(t) có tính Markov và E đánh số đợc thì X(t) gọi là xích markov. Nếu t = 0,1,2 . thì ta có khái niệm xích Markov với thời gian rời rạc. Nếu t [ ] + ,0 thì ta có khái niệm xích Markov với thời gian liên tục. 2 Đặt p(s,i,t,j) = P( X(t) = j \X(s) = i) (s<t) là xác suất chuyển của hệ. Tức xác suất có điều kiện để hệ( hay quá trình) tại thời điểm s ở trạng thái i đến thời điểm t chuyển sang trạng thái j. Nếu xác suất chuyển chỉ phụ thuộc vào (t-s) tức là: p(s,i,t,j) = p(s+h,i,t+h,j ) thì ta nói hệ( hay quá trình) là thuần nhất theo thời gian. Hay xích Markov lúc này đợc gọi là thuần nhất. Ví dụ 2 : Cho , ., .,, n10 là dãy biến ngẫu nhiên ( đại lợng ngẫu nhiên ) rời rạc, độc lập , E k là tập hợp các giá trị của k , E k hữu hạn hay đếm đợc ( k = 0,1, .,n, . ). Đặt E = = 0k k E , rõ ràng E là tập hợp không quá đếm đợc khi đó ta thấy: P{ i,i, .,i\j n1n1n001n ==== + } = P { j n = + 1 } (Do ( j n = + 1 ) độc lập với ( i,i .,,i n1n1n00 === )) = P { i\j n1n == + } (Do ( j 1n = + ) độc lập với i n = ) = p( n, i, n+1 ,j ) Với i 0 E 0 , i 1 E 1 , ., i n-1 E n-1 ,j E n+1 , i E n Nh thế ( n : n = 0,1,2, .,) là xích Markov. L u ý: Nếu dãy biến ngẫu nhiên ., .,, n10 , ở trên rời rạc, độc lập và có cùng phân phối Xác xuất thì ( n : n= 0,1,2, .,) là xích Markov thuần nhất và ngợc lại. Thật vậy: 3 )\()()()\( 01111 ijjjij nnn ========= ++ Hay p(n, i, n+1, j ) = p( 0,i,1,j ) ( ) , .2,1,0: = n n là xích Markov thuần nhất Ví dụ 3 : Cho , .,, ., n1,0 là dãy biến ngẫu nhiên (đại lợng ngẫu nhiên) rời rạc, độc lập, nhận những giá trị là những số nguyên. Đặt X n = n10 . +++ (n=1,2,3, .) Ta có: P{ X n+1 = j \ 0 =i 0 , X 1 =i 1 , X 2 =i 2 , .,X n-1 =i n-1 , X n =i n } = P {X n + 1 + n =j \ 0 =i 0 , 1 =i 1 -i 0 . 1 n =i n-1 - i n-2 , n =i - i n-1 } = P { 1 + n =j - i \ 0 =i 0 , 1 =i 1 - i 0 . n =i - i n-1 } = P { 1 + n =j - i } ( Do 1 + n độc lập với n10 , .,, ). Mặt khác: P { X n+1 =j \ X n =i } =P {X n + 1 + n =j \ i n210 =++++ } = P { 1 + n = j - i \ n =i - i n-1 } = P { 1 + n = j - i } ( Do 1 + n độc lập với n ). Vậy P{X n+1 =j \ 0 =i 0 , X 1 =i 1 , ., X n = i } = P {X n+1 =j \ X n = i} Với n = 1,2,, i,j Vì thế ( X n : n=1,2,3, .) là xích Markov. L u ý : Nếu , ., .,, n21 là dãy biến ngẫu nhiên, rời rạc, độc lập và cùng phân phối xác xuất thì (X n : n=1,2,3, .) là xích Markov thuần nhất. Thật vậy: P {X n+h = j \ X n =i}= P{ X n + hn2n1n . +++ +++ =j \ X n =i} = P{ hn2n1n . +++ +++ =j i } 4 = P{ h132 . + +++ =j i ) } =P{X 1+h =j \ X 1 =i } Hay : p(1, i, 1+h, j ) = p(n, i , n+h, j ) ( X n : n=1,2,3, .) là xích Markov thuần nhất. Đ2 -xích Markov rời rạc và thuần nhất 1. Ma trận xác suất chuyển: Giả sử: ( ,A,P) là không gian xác suất. E là không gian trạng thái có các phần tử i,j ,k . X n : E là biến (đại lợng ) ngẫu nhiên nhận giá trị trong tập đếm đợc E X n có tính thuần nhất và tính Markov là: p ij = P { X n+1 =j \ X n =i}=P { X n+1 =j \ X 0 =i 0 , X 1 =i 1 , ., X n =i} (*) không phụ thuộc vào n. Trong đó: p ij là xác suất có điều kiện để hệ tai thời điểm n (hiện tại) ở trạng thái i sau 1 bớc chuyển sang trạng thái j tại thời điểm (n+1) ( tơng lai). Ta đặt: A= ( X n+1 =j ) , B = ( X n = i ) , C= ( X 0 =i 0 , X 1 =i 1 ., X n-1 =i n-1 ) Thì (*) sẽ là: P(A/B) = P(A/BC) Từ đó áp dụng công thức có điều kiện ta có : 5 )( )( )( )( )( )( )/( B BC ABC BC B ABC BAC = = )/()/()/( )( )( BABCBCA B BCP = = )/()/()/( BABCBAC = Có nghĩa là tơng lai và quá khứ độc lập với nhau khi cho trớc hiện tại. )( ij p = đợc gọi là ma trận xác suất chuyển sau 1 bớc )( )( n ij n p = đợc gọi là ma trận xác suất chuyển sau n bớc Trong đó: n ij p là xác suất để hệ tại thời điểm ban đầu ở trạng thái i sau n bớc chuyển sang trạng thái j. Rõ ràng ijij pp = 1 Ta quy ớc: = = jinếu0 jinếu1 p 0 ij Chú ý: Từ công thức xác suất đầy đủ )( ij p = có tính chất sau: Ej,i.1p 0 ij và = Ej ij .1p Ma trận nh vậy đợc gọi là ma trận ngẫu nhiên. 6 Từ công thức xác suất đầy đủ và tính Markov ta có n= 1,2, .,N 1 + n ij p = )( . n kj Ek ik pp (1) ( phơng trình ngợc ) 1 + n ij p = Ek kj n ik PP . )( (2) ( phơng trình thuận ) mn ij p + = Ek m kj n ik PP )()( . (3) ( phơng trình Chapman- Kolmogorov ) m,n =0,1,2 . Chứng minh: - Chứng minh (1) 1 + n ij p = Ek n kj ik PP )( . 1 + n ij p = P(X n+1 =j \ X 0 =i) = )\(),\( 01101 iXkXPkXiXjXP Ek n ===== + = )\()\( 1101 kXjXiXkX n Ek ==== + = Ek n kj ik PP )( . đpcm. - Chứng minh(2) : Tơng tự (1) ta cũng đợc 1 + n ij p = Ek kj n ik PP . )( - Chứng minh (3): mn ij p + = Ek m kj n ik PP )()( . m,n = 0,1,2, . mn ij p + =P(X n+m =j \ X 0 =i) 7 = )\(),\( 00 iXkXiXkXjX nn Ek mn ===== + = + ==== Ek nmnn kXjXPiXkXP )\()\( 0 = Ek m kj n ik PP )()( . đpcm Các phơng trình (1),(2),(3) có thể viết dới dạng ma trận : P (n+1) =P.P (n) P (n+1) =P (n) .P P (n+m) =P (n) .P (m) Từ đó suy ra P (n ) = P n Đặt P(X 0 = i 0 ) = 0 i P Khi đó: P(X 0 = i 0 , X 1 = i 1 , , X n-1 = i n-1 , X n = i ) = P(X 0 = i 0 )P(X 1 = i 1 \ X 0 = i 0 )P(X 2 = i 2 \ X 0 = i 0 ,X 1 = i 1 )P(X n = i \ X 0 = i 0 , X 1 = i 1 , . ,X n-1 = i n-1 ) = P(X 0 = i 0 )P(X 1 = i 1 \ X 0 = i 0 )P(X 2 = i 2 \ X 1 = i 1 ) .P(X n = i \ X n-1 = i n-1 ) = iiiiiii n PPPP 121100 . P(X 0 = i 0 , X 1 = i 1 , ., X n-1 = i n-1 , X n = i ) = iiiiiii n PPPP 121100 . gọi là phân phối hữu hạn chiều của quá trình Markov. 8 Đó là việc thực hiện liên tiếp hệ từ trạng thái i 0 sau một bớc chuyển sang trạng thái i 1 từ trạng thái i 1 sau một bớc lại chuyển sang trạng thái i 2 cứ nh vậy đến khi hệ về trạng thái i n-1 thì sau một bớc chuyển về trạng thái i 2- Phân phối ban đầu a- Định nghĩa: Phân phối của hệ tai thời điểm n đợc cho bởi công thức: p j (n) = P(X n =j) ; n=0,1,2, . ; J E . Đặt: (n) = (p j (n) , j E ) và gọi = (0) là phân phối ban đầu của hệ Phân phối ban đầu đợc gọi là dừng nếu (n) không phụ thuộc n tức là: = (n) hay P(X 0 =j) = P(X 1 =j) = = P(X n =j). Ví dụ : Nếu ta lấy 1945 làm mốc, thì dân số nớc ta lúc bấy giờ là 20 triệu ngời. Hay 20 triệu ngời đợc gọi là phân phối ban đầu của dân số nớc ta. b- Các công thức : (n) = P (n) (n+1) = (n) P (n+1) = (1) P (n) (n+m) = (n) P (m) 9 Trong đó ta quy ớc (n) = (p j (n) , j E ) là véc tơ hàng. Chứng minh: * Ta có: p j (n) = P(X n =j) = === Ei n iXjXPiXP )\()( 00 = )()0( n iji PP Hay (n) = (0) P (n) đpcm * Ta có: p j (n+1) = P(X n+1 =j) = + === Ei nnn iXjXPiXP )\()( 1 = ij n i PP )( Hay (n+1) = (n) .P đpcm. * (n+1) = (1) P (n) chứng minh tơng tự nh trên * Ta có: p j (n+m) = P(X n+m =j) = + === Ei nmnn )iX\jX()iX( = )m( ij )n( i PP Hay (n+m) = (n) P (m) đpcm. c - Kết luận : * Mô hình của một xích Markov rời rạc và thuần nhất là bộ ba (X n , , P) trong đó : X n là dãy đại lợng ngẫu nhiên rời rạc. là phân phối ban đầu. P là ma trận xác xuất chuyển. 10