Tìm hiểu về chuỗi markov rời rạc và ứng dụng

Tìm hiểu về chuỗi markov rời rạc và ứng dụng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ──────── BÀI TẬP LỚN MÔN: Quá trình ngẫu nhiên và ứng dụng Đề Tài: Tìm hiểu về chuỗi Markov rời rạc và ứng dụng. Sinh viên thực hiện: Đoàn Phong Tùng (Tnhóm) 20093089 Lê Khánh Duy 20090472 Vũ Viết Quang 20092101 Phan Trung Kiên 20093503 Dương Đức Độ 20090766 Lớp: KTMT&TT1 – K54 Giáo viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan. Mục Lục Trang 1.1 Khái niệm cơ bản và ví dụ………………………………….……….1 1.2 Thời điểm trúng và xác suất trùng………………………….……….3 1.3 Hồi quy và tạm thời….……………………………………….…… 5 1.4 Phân phối dừng…………………………………….…………… 9 1.5 Phân bố giới hạn………………………………… …………… 10 1.6 Ví dụ và bài tập…………………………………………………….12 1.7 Tài liệu tham khảo…………………………………… ………….16 Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 1 1.1 Khái niệm cơ bản và ví dụ. Xét một hệ nào đó được quan sát tại các thời điểm rời rạc 0, 1, 2, Giả sử các quan sát đó là X 0 ,X 1 , , X n , Khi đó ta có một chuỗi có thứ tự các biến ngẫu nhiên (X n ) trong đó X n là trạng thái của hệ tại thời điểm n. Giả thiết rằng mỗi X n ,n =0, 1, là một ĐLNN rời rạc. Ký hiệu S là tập giá trị mà các biến ngẫu nhiên ( X n ) có thể có. Khi đó S là một tập hữu hạn hay đếm được, các phần tử của nó được ký hiệu là i, j, k Ta gọi S là không gian trạng thái của dãy. Định nghĩa1.1 : Ta nói rằng chuỗi các biến ngẫu ( X n ) là một xích Markov nếu với mọi n 1 < <n k <n k +1 và với mọi i 1 ,i 2 , i k +1 ∈ S. P {Xn k +1 = i k +1 | Xn 1 = i 1 .Xn 2 = i 2 , Xn k = i k } = P{Xn k +1 = i k +1 | Xn k = i k }. Từ định nghĩa ta rút ra một cách trực quan đặc trưng của chuỗi Markov là xác suất để hệ có trạng thái nào đó trong tương lai thì chỉ phụ thuộc vào hệ tại thời điểm hiện tại mà không phụ thuộc vào trạng thái của hệ trong quá khứ hay còn nói là độc lập với quá khứ. P{X n+1 = j | X n = i} là xác suất để chuỗi đang có trạng thái i,tiếp theo sẽ có trạng thái j.P{X m + n = j | X m = i} là xác suất để chuỗi tại thời điểm m ở trạng thái sau n bước, tại thời điểm m + n chuyển sang trạng thái j.Nếu xác suất này chỉ phụ thuộc vào khoảng cách số bước giữa hai thời điểm của hệ thì chuỗi được gọi là xích thuần nhất. Ký hiệu: P ij = P{X n +1 = j | X n = i } P ij (n) = P{X m + n = j | X m = i }. Khi đó ta có các tính chất : Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 2 ij ( ) 1 jS Pn    Định nghĩa1.2 :Trong trường hợp không gian trạng thái S có d phần tử, ta có (P ij ) là ma trận xác xuất chuyển và (P ij (n)) là các ma trận vuông kích thước d × d. P được gọi là ma trận xác suất chuyển, P (n) được gọi là ma trận xác suất chuyển sau n bước. Xét biến ngẫu nhiên ban đầu X 0 là biến thể hiện trạng thái ban đầu của hệ.Phân bố của X 0 được gọi là phân bố ban đầu. Ta ký hiệu u i = P ( X 0 = i ). Định lý 1.1. Phân bố đồng thời của ( X 0 ,X 1 , , X n ) được xác định từ phân bố ban đầu và xác suất chuyển như sau: Chứng minh: Áp dụng công thức nhân xác suất ta có P ( X 0 = i 0 ,X 1 = i 1 , , X n = i n ) = P( X 0 = i 0 ) P ( X 1 = i 1 | X 0 = i 0 ) × × P( Xk = i k | X 0 = i 0 , , X k − 1 = i k − 1 ) × × P ( X n = i n | X 0 = i 0 , , X n − 1 = i n − 1 ) . Theo tính Markov ta có: P ( X k = i k | X 0 = i 0 , , X k − 1 = i k − 1 ) = P ( X k = i k | X k − 1 = i k − 1 ) = Thay vao đẳng thức đầu ta thu được: Định lý 1.2. (Phương trình C - K (Chapman-Kolmogorov)) Chứng minh. Theo công thức xác suất đầy đủ và tính Markov ta có Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 3 Từ phương trình Chapman-Kolmogorov và phương pháp quy nạp ta có được: Định lý 1.3: Chuỗi markov (X n ) với không gian trạng thái S,ma trận chuyển và ma trận chuyển sau n bước (P ij (n)) .Ta có biểu thức: (P ij (n)) = 1.2 Thời điểm trúng và xác suất trúng. Định nghĩa1.2.1 :Ta gọi B là tập trạng thái con của không gian trạng thái S với các trạng thái z (z B), -thời điểm trúng tập b:là thời điểm mà lần đầu tiên chuối có trạng thái nằm trong tập trạng thái B(Không xét trường hợp B = ). Ký hiệu : Với trạng thái x S: – xác suất trúng B lần đầu tiên tại z : là xác suất để chuối xuất phát từ x sau một số bước sẽ có trạng thái nằm trong B lần đầu tiên và trạng thái này là trạng thái z. – xác suất trúng B là xác suất để chuỗi xuất phát từ x sau một số bước sẽ có trạng thái nằm trong B . Khi đó ta có : = = Định lý 1.2.1: z B ta có: Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 4 Chứng minh: Xét x không thuộc B: Nhận xét tập sự kiện ( = y) với từng y S tạo thành một nhóm đầy đủ,áp dụng công thức xác suất đầy đủ ta có: = (1) Do x không thuộc B nên 1 vì vậy ta có thể viết : = = = (Áp dụng tính chất Markov) = = Thay vào (1) ta có: = (Điều phải chứng minh) Từ định lý 1.2.1 của xác xuất trúng tại một phần tử thuộc B ta có thể suy ra được định lý của xác suất trúng B. Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 5 Định lý 1.2.2: Định lý 1.2.3: Nếu ta kí hiêu là kỳ vọng cho biến ngẫu nhiên chỉ thời điểm mà chuỗi có trạng thái rơi vào trong tập B với điều kiện đã biết là chuối xuất phát từ thời điểm ban đầu có trạng thái x S.Tức là: = E[ ] = Khi đó hàm e(x) (x là trạng thái mà chuỗi xuất phát từ đó) là hàm nhỏ nhất không âm thoả mãn: 1.3 Hồi quy và tạm thời. Định nghĩa1.3.1 : Ký hiệu là xác suất để chuỗi xuất phát từ i lần đầu tiên quay lại i ở thời điểm n . Nghĩa là: = P( = i, i,…, i | ) Như vậy xác suất để hệ xuất phát từ trạng i trở lại trạng thái i sau một số hữu hạn bước: = Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 6 Ta định nghĩa trạng thái i là trạng thái hồi quy nếu = 1,nếu 1 thì ta nói I là trạng thái không hồi quy hay trạng thái tạm thời. Định nghĩa1.3.2 : được gọi là thời gian chiếm giữ của trạng thái i nếu là số lần mà chuỗi có trạng thái là i. Định lý 1.3.1: trạng thái i S ta có các mệnh đề sau là tương đương: 1.i là trạng thái hồi quy. 2.Số lần mà hệ có trạng thái i là vô hạn(P( ) = 1) 3.Kỳ vọng số lần mà hệ có trạng thái i là vô hạn(E[ ] = ) . Từ mục 3 cỉa định lý 1.3.1 ta có hệ quả quan trọng như là một tiêu chuẩn để xác định tính hồi quy của một trạng thái. Hệ quả: Trạng thái i là hồi quy khi và chỉ khi tổng các xác suất chuyển từ trạng thái i đến trạng thái i sau một số hữu hạn bước là vô hạn.Cụ thể: Chứng minh: Từ định lý 1.3.1 ta có : E[ ] = ; E[ ] = = ; Suy ra điều phải chứng minh. Định nghĩa 1.3.3: Ta nói rằng trạng thái i đến được trạng thái j và ký hiệu là i → j nếu tồn tại n ≥ 0 sao cho P ij ( n ) > 0. (Ta quy ước P ii (0) = 1, P ij (0) = 0 nếu i j ). Hai trạng thái i và j được gọi là liên lạc được nếu i → j và j → i . Trong trường hợp đó ta viết i ↔ j . Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 7 Định lý 1.3.2: Nếu i j và i hồi quy thì j hồi quy Chứng minh: Do i j và j i nên m,n sao cho P ij (n) > 0, P ji (m) > 0.Từ phương trình Chapman – Kolmogorov ta có: Do vậy: Theo hệ quả ta có j hồi quy. Bổ đề: (Tính chất bắc cầu). Nếu i → j, j → k thì i → k . Thật vậy theo giả thiết tồn tại n, m sao cho P ij (n) > 0, P jk (m) > 0.Theo phương trình Chapman - Kolmogorov ta có: Từ bổ đề, dễ kiểm tra rằng quan hệ "liên lạc được" là một quan hệ tương đương trên không gian trạng thái S.Theo quan hệ này không gian S được phân hoạch thành các lớp rời nhau. Hai trạng thái bất kỳ cùng thuộc một lớp thì liên lạc được với nhau, hai trạng thái khác lớp không thể liên lạc được với nhau. Định nghĩa1.3.4 : Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ là liên lạc được. Có nghĩa là theo cách phân lớp trên thì S không thể phân hoạch thành các lớp con nhỏ hơn. Nếu xích không tối giản thì S đượ c phân hoạch thành các lớp rời nhau S = S 1 ∪S 2 ∪ ∪S k . Có thể xem mỗi S k là không gian trạng thái của xích Markov tối Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 8 giản. Như vậy việc nghiên cứu xích Markov có thể quy về việc nghiên cứu các xích tối giản. Định nghĩa1.3.5 : Chu kỳ của trạng thái i ký hiệu là d( i ) là ước chung lớn nhất của tất cả các số nguyên dương n ≥ 1 mà P ii (n) > 0. Nếu P ii (n)=0 với mọi n ≥ 1 thì ta quy ước đặt d(i)=0. Định lý 1.3.3: Nếu i ↔ j thì d(i)= d(j) . Vậy các trạng thái cùng một lớp có cùng một chu kỳ d và ta gọi số d chung đó là chu kỳ của lớp. Chứng minh: Do i ↔ j nên tồn tại k, l sao cho P ij (k) > 0,P ji (l) > 0. Theo phương trình Chapman - Kolmogorov ta có: . Vậy d(i) k + l . Giả sử n ≥ 1 sao cho P jj (n) > 0. Sử dụng phương trình Chapman - Kolmogorov như trên ta có: P ii (k + l + n) ≥ P ij (k)P jj (n)P ji (l) > 0. Vậy d(i) k + l + n → d( i ) n .Vậy d( i ) d( j ). Tương tự d(j) d(i) . Do vậy d(i)= d(j) . Giả sử d là chu kỳ của một xích tối giản với không gian trạng thái S . Nếu d =1 ta nói rằng xích không có chu kỳ. Nếu d > 1 thì có thể chứng minh rằng S được phân hoạch thành d tập con E = C 0 ∪ C 1 ∪ ∪ C d − 1 sao cho sau một bước hệ sẽ chuyển từ một trạng thái thuộc C k sang một trạng thái thuộc C k +1 (quy ướ c C d = C 0 ). Vì vậy mỗi tập con có thể lấy làm không gian trạng thái của một xích Markov mới. Xích này tối giản và không có chu kỳ. 1.4 Phân phối dừng [...]... tra xích Markov có phân phối dừng là duy nhất hay không tồn tại phân phối dừng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 9 Chuỗi Markov rời rạc và ứng dụng 4.3 Các tính chất của phân phối dừng: Giả sử (Xn) là xích Markov với không gian trạng thái E ={1, 2, } với ma trận xác suất chuyển P =(Pij ) và ma trận xác suất chuyển sau n bước là P(n)=(Pij(n)) Giả sử rằng với mọi i, j ∈ E tồn tại giới hạn: và giới... tương ứng là 0,054 0,699 và 0,247 Với một người nghèo thì xác suất để con họ giàu, trung lưu hay nghèo tương ứng là 0,011, 0,503 và 0,486 Như vậy sự thay đổi trạng thái của một gia đình trong xã hội từ thế hệ này qua thế hệ khác có thể mô tả bởi một xích Markov ba trạng thái : 1(giàu), 2(trung lưu), 3(nghèo) với xác suất chuyển như sau Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 14 Chuỗi Markov rời rạc và ứng. .. cầu của B và quả cầu này sẽ được chuyển vào A Vậy P ( Xn +1 = i +1| Xn = i )=1 − i/d Thành thử Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 12 Chuỗi Markov rời rạc và ứng dụng Mô hình này được nhà vật lý nổi tiếng Ehrenfest đưa ra năm 1907 nhằm mô tả sự truyền nhiệt giữa hai vật thể Ví dụ 2 : Ta nghiên cứu một vấn đề xã hội nào đó chẳng hạn vấn đề nghiện hút Ta ký hiệu trạng thái 0 là không nghiện và trạng.. .Chuỗi Markov rời rạc và ứng dụng Định nghĩa1.4.1: Phân bố ban đầu U =(ui),i ∈ E được gọi là phân bố dừng nếu ta có: U(n)= U với mọi n; tức là ui(n)= ui ∀i ∈ E, ∀n Khi đó dãy (Xn) có cùng phân bố U =(ui) là phân bố dừng nếu và chỉ nếu: 1 0 và U i  1 iE 2 = U iE i Pijj  E 4.2 Cách tìm phân phối dừng của 1 xích Markov: 3 Giả sử Xn là 1 xích Markov có không gian trạng... của Xn Tacó Do đó Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 10 Chuỗi Markov rời rạc và ứng dụng Vậy phân bố U(n) của Xn hội tụ tới phân bố giới hạn π Khi n khá lớn ta có P (Xn = j ) ≈ πj (Theo định lý 1.4 ) Nếu phân bố giới hạn tồn tại thì phân bố dừng cũng tồn tại và duy nhất Hơn nữa hai phân b ố này trùng nhau Tuy nhiên điều ngược lại không đúng tức là có những xích Markov có tồn tại phân bố dừng nhưng... thức này đúng với mọi i nên ta có mj(n0 + n) ≥ mj(n)(1 − r)+ rPjj(2n) Tương tự ta có Mj(n0 + n) ≤ Mj(n)(1 − r)+ rPjj(2n) Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 11 Chuỗi Markov rời rạc và ứng dụng Suy ra Mj(n0 + n) − mj(n0 + n) ≤ (1 − r)( Mj(n) − mj(n)) (1.4) Ta chứng minh quy nạp rằng với mọi k Mj(kn0 +1) − mj(kn0 +1) ≤ (1 − r)k(Mj(1) − mj(1)) (1.5) Thật vậy với k =1 đúng (Cho n =1 ở (1.4)) Giả sử đúng... 36.9% người nghèo Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 15 Chuỗi Markov rời rạc và ứng dụng Tài liệu tham khảo 1, Applied Stochastic Processes tác giả Jochen Geiger 2,Probability,Random Athanasios Papoulis Variables,and Stochastic Processes -Third Edition- 3,Quá trình ngẫu nhiên ,tính toán ngẫu nhiên Đặng Hùng Thắng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 16 ... ứng dụng Xích Markov này là chính quy Thành thử tồn tại phân bố giới hạn π=(π 1, π2, π3) Phân bố này chính là phân bố dừng duy nhất và được tìm bằng cách giải hệ phương trình sau (π1, π2 , π3) P = (π1, π2 , π3) Giải ra ta tìm được π1 = 0,067; π2 = 0,624; π3 =0,369 Như vậy qua nhiều thế hệ ở vùng dân cư nói trên sẽ có 6,7% người giàu, 62,4% trung lưu và 36.9% người nghèo Quá Trình Ngẫu Nhiên Và Ứng Dụng. .. Markov có d trạng thái, xác suất chuyển P ij có nghĩa là xác suất để khách hàng, hiện tại đang mua hàng tại cửa hàng i sang tháng sau chuyển sang mua ở cửa hàng j Xét d = 3 và ma trận xác suất chuyển là Giả sử tháng giêng cửa hàng 1 chiếm 20% khách hàng, cửa hàng 2 chiếm 50% khách hàng và cửa hàng 3 chiếm 30% khách hàng Như vậy phân bố ban đầu Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 13 Chuỗi Markov rời. .. chiếm 45,9% khách hàng và cửa hàng 3 chiếm 27,1% khách hàng Ví dụ 4: Cho ( Xn) là một xích Markov có 3 trạng thái E = {1, 2, 3} với ma trận xác suất chuyển là Hãy tìm tất cả các phân bố dừng? Đặt U =(x, y , z) Khi đó U là phân b ố dừng khi và chỉ khi x, y , z là nghiệm không âm của hệ sau Từ phương trình thứ nhất và thứ hai của hệ khử z ta rút ra y =5x/3 Từ đó z =3 x/2 Thế vào phương trình (4) ta . CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ──────── BÀI TẬP LỚN MÔN: Quá trình ngẫu nhiên và ứng dụng Đề Tài: Tìm hiểu về chuỗi Markov rời rạc và ứng dụng. Sinh viên. Chứng minh. Theo công thức xác suất đầy đủ và tính Markov ta có Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 3 Từ phương trình Chapman-Kolmogorov và phương. Ví dụ và bài tập…………………………………………………….12 1.7 Tài liệu tham khảo…………………………………… ………….16 Chuỗi Markov rời rạc và ứng dụng Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 1 1.1 Khái niệm cơ bản và ví