Giáo trình lý thuyết xác suất và thống kê toán chương 6: Sơ lược về quá trình ngẫu nhiên

Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov Chơng 6 Sơ lợc về quá trình ngẫu nhiên v xích Markov i. khái niệm về quá trình ngẫu nhiên Một quá trình ngẫu nhiên {X(t), tT} là một tập hợp các biến ngẫu nhiên X(t), có nghĩa là một tT thì X(t) là một biên ngẫu nhiên. Chỉ số t thờng là chỉ thời gian và do đó ta coi X(t) nh là trạng thái của quá trình thời gian t. Chẳng hạn ta có thể coi X(t) là a. Tổng số khách hàng đã vào một siêu thị trong khoảng thời gian t. b. Tổng số khách hàng bớc vào một siêu thị ở thời điểm t. c. Tổng số doanh thu của một siêu thị trong khoảng thời gian t. Tập hợp T đợc gọi là tập chỉ số của quá trình ngẫu nhiên đợc gọi là quá trình rời rạc theo thời gian. Nếu T là một khoảng đờng thẳng thực thì quá trình ngẫu nhiên đợc gọi là quá trình liên tục theo thời gian. Thí dụ: a. {X n , n = 0, 1, 2, } là một quá trình ngẫu nhiên rời rạc với tập chỉ số là những số nguyên không âm. LờVnPhongTrnTrngNguyờn,HKTQD 238 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov b. {X(t), t 0} là một quá trình ngẫu nhiên liên tục theo thời gian mà tập chỉ số là các số thực không âm. Tập hợp tất cả các giá trị có thể có mà các biến ngẫu nhiên X(t) có thể nhận sẽ đợc gọi là kông gian các trạng thái. Tóm lại: Một quá trình ngẫu nhiên là một hệ các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu). ii. khái niệm về xích markov 1. Chú ý mở đầu Sau đây ta dẽ xét một quá trình ngẫu nhiên {X n , n = 0, 1, 2, } với một tập hữu hạn hoặc đếm đợc các giá trị có thể có. Nếu không có chú thích gì khác thì tập hợp các giá trị có thể có của quá trình (không gian các trạng thái) cũng sẽ đợc ký hiệu là tập hợp các số nguyên không âm {0,1, 2, 3, }. Nếu X n =i thì ta bảo tại thời điểm n quá trình ở voà trạng thái i. 2. Định nghĩa về xích Markov Quá trình ngẫu nhiên {X n } đợc gọi là một xích Markov nếu )iXjX(P)iX,iX, ,iX,iXjX(P nnnnnnn ======== ++ 11111001 với mọi (n, i, j, i 0 , i 1 , , i n-1 ) ý nghĩa: Điều kiện nêu trong định nghĩa muốn nói rằng xác suất có điều kiện của trạng thái tơng lai X n+1 khi biết các trạng thái quá khứ X 0 , X , , X n-1 và trạng thái hiện tại X n thì chỉ phụ thuộc vào trạng thái hiện tại X n mà thôi. Ghi chú 1: Nếu ký hiệu P(X n+1 =jX n =i) là P ij thì P ij gọi là xác suất truyền một bớc. Do các suất của mọi biến cố đều không âm và do quá trình thể nào cũng phải ở voà một trạng thái nào đó nên ta có: LờVnPhongTrnTrngNguyờn,HKTQD 239 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov P ij 0, i, j 0 ; . , ),i(P j ij 101 0 == = Nếu ký hiệu P (1) là ma trận các xác suất truyền một bớc thì ta có: P (1) = PPP PPP PPP iii 210 121110 020100 Ghi chú 2: Tơng tự nếu ký hiệu P ij (n) là xác suất truyền n bớc thì ta có: P ij (n) =P(X m+n =jX m =i) Ghi chú 3: Nếu P ij không phụ thuộc vào n, tức là P(X n+1 =jX n =i)= P(X 1 =jX 0 =i) (n = 0, 1, 2, ) thì ta có một quá trình dừng. Thí dụ: Giả sử việc ngày mai trời ma hay nắng chủ phụ thuộc vào tình hình thời tiết của ngày hôm nay, chứ không phụ thuộc vào thời tiết của những ngày qua. Giả sử nếu hôm nay trời vẫn ma là , còn nếu hôm nay trời không ma thì xác suất để ngày mai trời ma là . Nếu ta ký hiệu trạng thái 0 là trời ma và trạng thái 1 là trời không ma thì ta có thể mô tả tình hình thời tiết nh vừa nêu trên bằng một xích Markov có 2 trạng thái với ma trận của xác suất truyền một bớc nh sau: LờVnPhongTrnTrngNguyờn,HKTQD 240 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov P (1) = = 1 1 1110 0100 PP PP iii. phơng trình chapmam-kolmogorov Ta đã biết các xác suất truyền 1 bớc là P ij và các xác suất truyền n bớc là P ij (n) và các xác suất truyền n bớc là P ij (n) từ đó ta có phơng trình sau: P ij (n) = PP m)-(n kj ok (m) ik = ý nghĩa: P ik (m) P kj (n-m) là xác suất có điều kiện để xuất phát từ trạng thái i quá trình sẽ chuyển đến trạng thái k sau m bớc, rồi chuyển đến trạng thái j sau (n-m) bớc. Từ đó nếu lấy tổng các xác suất có điều kiện này với mọi trạng thái k có thể có (k=0, 1, 2, ) ta sẽ đợc xác suất P ij (n) . Chứng minh Thật vậy, ta có PP P )mn( kj k )m( ik mmn k mn k n )n( ij )iXkX(P)iX,kX,jX(P )iXkX,jX(P )iXjX(P = = = = ====== ==== === 0 00 0 0 0 0 Nhận xét: Nếu m=1 và n=2 thì ta có LờVnPhongTrnTrngNguyờn,HKTQD 241 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov = = 0 2 k kjik )( ij PPP Đây là phần tử ở vị trị (i, j) của ma trận P (2) . Vậy P (2) = P (2) . Bằng quy nạp ta suy ra: P (n) = P (n) Từ đó phơng trình Chapman-Kolmogorov có thể viết dới dạng ma trận nh sau: P P (n) = P (m) P (n-m) Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết với 2 trạng thái và đã đợc mô hình hoá bởi xích Markov đã nêu trên. Giả sử = 0,7 và = 0,4. Khi đó hãy tính xác suất để trời sẽ ma 4 ngày liền, biết rằng hôm nay trời ma. Bài giải Nh vậy ta có ma trận các xác suất chuyển một bớc là P= 6040 3070 ,, ,, Từ đó P (2) =P (2) = 6040 3070 ,, ,, . 6040 3070 ,, ,, = 480520 390610 ,, ,, ` P P (4) =P (4) = 480520 390610 ,, ,, . 480520 390610 ,, ,, = 4332056680 4251057490 ,, ,, Vậy xác suất phải tìm là P 00 =0,5749. LờVnPhongTrnTrngNguyờn,HKTQD 242 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov Ghi chú: Từ đầu chơng tới đây ta đều xét các xác suất có điều kiện, chẳng hạn P ij (n) là xác suất để ở thời điểm n hệ ở vào trạng thái j biết rằng ở thời điểm o hệ ở vào trạng thái i. Nếu nh muốn xác định P(X n =j) tức là muốn tính xác suất không điều kiện để trong tơng lai (ở bớc n) hệ sẽ ở vào trạng thái j thì ta có: LờVnPhongTrnTrngNguyờn,HKTQD 243 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov )iX(PP )iX(P)iXjX(P)jX(P i )n( ij n i n == ===== = = 0 0 00 0 Nh vậy nếu biết đợc quy luật phân phối xác suất của trạng thái ban đầu, chẳng hạn P(X 0 = i)= i với i 0 và 1 0 = =i i Thì ta có thể tính đợc: = == 0i i )n( ijn P)jX(P Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết. Nếu đầu ngày hôm nay ta tính đợc xác suất trời ma là 0 = 0,4 và xác suất trời không ma là 1 = 0,6 thì xác suất để sau 3 hôm nữa trời không ma sẽ là P(X 4 =0) = (0,4)P 00 (4) + (0,6)P 10 (4) Trong ma trận truyền P P (4) tính ở trên ta đã có P 00 (4) = 0,5749; P 10 (4) = 0,5668. Vì thế P(X 4 =0) = (0,4)(0,5749) + (0,6)(0,5668) = 0,5700. iV. phân loại các trạng thái của xích markov 1.Trạng thái j gọi là đến đợc từ trạng thái i (ký hiệu ij) nếu P ij (n) >0 với n nào đó (n 0). Nh vậy j đến đợc từ i khi và chỉ khi xuất phát từ i thể nào quá trình cũng có lúc sẽ ở vào trạng thái j. Thật vậy nếu j không đến đợc từ i, tức là P ij (n) =0 với mọi n thì ta suy ra: P(Quá trình thể nào cũng ở vào trạng thái j Xuất phát từ i) = = = = ===== 0 0 n )n( ij 0n 0nin n P )iXjP(X)iXjX((P U LờVnPhongTrnTrngNguyờn,HKTQD 244 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov 2. Hai trạng thái i và j gọi là thông nhau (ký hiệu ij) nếu (ij, j i). Nh vậy bất kỳ một trạng thái nào cũng thông nhau với bản thân nó vì P ii (0) =P(X 0 = i X 0 =i) = 1. Ta thấy mối quan hệ thông nhau có 3 tính chất sau: a. Trạng thái i thông nhau với trạng thái i với mọi i 0. b. Nếu i thông nhau với j thì j cũng thông nhau với i. c. Nếu i thông nhau với k và k thông nhau với j thì i thông với j. Tính chất a và b đợc suy ra từ định nghĩa, còn tính chất bắc cầu c có thể chứng minh nh sau: Do ik và k j nên có tồn tại 2 số nguyên n và m sao cho P ik n) >0 và P kj (m) >0. Từ đó theo phơng trình Chapman- Kolmogorov ta có: 0 0 ; = + = i )m( kj )n( ik )m( kj )n( ik )mn( ij PPPPP Nh vậy j đến đợc từ i Chứng minh tơng tự, ta thấy i đến đợc từ j. Do đó tính chất c đợc chứng minh. 3. Hai trạng thái thông nhau sẽ thuộc cùng một lớp. Từ các tính chất trên ta thấy hai lớp trạng thái nào đó hoặc là trùng nhau hoặc rời nhau. Nh vậy không gian các trạng thái đợc phân hoạch thành các lớp tơng ứng. Nếu không gian các trạng thái chỉ gồm một lớp tơng đơng thì xích Markov gọi là không thu gọn đợc. Khi đó mọi trạng thái đều thông nhau với nhau. LờVnPhongTrnTrngNguyờn,HKTQD 245 Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov 4. Ta ký hiệu f ịj là xác suất để quá trình bắt đầu từ trạng thái i sẽ lại quay lại i ở một lúc nào đó: Khi đó: a. Nếu f ij =1 thì trạng thái i gọi là trạng thái lặp. b. Nếu f ij <1 thì trạng thái i gọi là trạng thái quá độ. Ta thấy nếu trạng thái i là lắp thì nó sẽ đợc quay lại vô hạn lần. Sở dĩ nh vậy vì quá trình Markov không phụ thuộc vào quá khứ nên khi ở trạng thái i thì xác suất quay lại trạng thái i bằng 1 và cứ nh vậy nên i sẽ đợc quay lại vô hạn lần. Nếu i là trạng thái quá độ thì ngời ta chứng minh đợc rằng kỳ vọng của số lần mà quá trình quay lại i là một số hữu hạn ii f1 1 Trên đây là một số giới thiệu sơ lợc về quá trình ngẫu nhiên và xích Markov. Mặc dù xuất phát từ lý thuyết xác suất, nhng giờ đây lý thuyết về các quá trình ngẫu nhiên đã trở thành một ngành phát triển độc lập và có nhiều ứng dụng trong các lĩnh vực tự nhiên và xã hội. LờVnPhongTrnTrngNguyờn,HKTQD 246