Đề tài: Xích markov_Luận văn tốt nghiệp đại học

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA SƯ PHẠM BỘ MÔN TOÁN ********* LUẬN VĂN TỐT NGHIỆP Đề tài XÍCH MARKOV Giảng viên hướng dẫn: Sinh viên thực hiện: ThS. HỒ HỮU HOÀ MÃ BÍNH MAI MSSV: 1050234 Lớp: Toán-Tin K31 C ần Th ơ - 2009 Xích Markov LỜI CẢM ƠN Trãi qua gần bốn năm học tập ở Khoa Sư Phạm trường Đại Học Cần Thơ, đến nay tôi đã hoàn thành khóa học với đề tài Luận văn Tốt nghiệp này. Những kiến thức cơ bản mà tôi đã được trang bị trong thời gian học tập cùng với quá trình tự nghiên cứu đã giúp tôi thực hiện luận văn tuy đã gặp không ít những khó khăn. Tôi xin gửi lời cảm ơn chân thành đến thầy Hồ Hữu Hoà – Giảng viên hướng dẫn luận văn. Thầy đã tận tình hướng dẫn cho tôi trong suốt quá trình thực hiện luận văn từ lúc nhận đề tài đến khi hoàn thành. Tôi cũng xin gửi lời cảm ơn đến tất cả các Thầy Cô trong Khoa Sư Phạm trường Đại Học Cần Thơ đã trang bị cho tôi những nền tảng tri thức quý báu để hôm nay tôi có đủ điều kiện thực hiện quyển luận văn này. Bên cạnh đó, sự động viên và giúp đỡ của các bạn lớp Sư phạm Toán Tin K31 là nguồn động lực để tôi vượt qua những khó khăn trong suốt thời gian nghiên cứu. Xin cảm ơn các bạn! Do thời gian và kiến thức còn hạn hẹp, tài liệu tham khảo còn hạn chế nên khi trình bày đề tài chắc chắn không tránh khỏi sai sót. Tôi rất mong nhận được những ý kiến đóng góp của Thầy Cô và các bạn để đề tài của tôi được hoàn chỉnh hơn. Xin chân thành cảm ơn! Cần Thơ, ngày 22 tháng 4 năm 2009 Người viết luận văn Mã Bính Mai Xích Markov NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN  Xích Markov NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN  Xích Markov MỤC LỤC  Trang PHẦN MỞ ĐẦU Error! Bookmark not defined. PHẦN NỘI DUNG Error! Bookmark not defined. Chương I - KIẾN THỨC CHUẨN BỊ Error! Bookmark not defined. 1. Xác suất và các công thức tính xác suất: Error! Bookmark not defined. 1.1 Định nghĩa xác suất Error! Bookmark not defined. 1.2. Các công thức tính xác suất Error! Bookmark not defined. 2. Đại lượng ngẫu nhiên: Error! Bookmark not defined. 2.1. Đại lượng ngẫu nhiên Error! Bookmark not defined. 2.2. Luật phân phối xác suất của đại lượng ngẫu nhiên rời rạc Error! Bookmark not defined. 2.3. Các số đặc trưng của đại lượng ngẫu nhiên rời rạc Error! Bookmark not defined. 2.4. Phân phối đồng thời của 2 đại lượng ngẫu nhiên rời rạc Error! Bookmark not defined. Chương II - CÁC KHÁI NIỆM CƠ BẢN VỀ XÍCH MARKOV.Error! Bookmark not defined. 1. Định nghĩa tính Markov và xích Markov Error! Bookmark not defined. 1.1. Tính Markov Error! Bookmark not defined. 1.2. Xích Markov Error! Bookmark not defined. 2. Xích Markov rời rạc và thuần nhất Error! Bookmark not defined. 2.1. Định nghĩa Error! Bookmark not defined. 2.2. Ma trận xác suất chuyển sau một bước Error! Bookmark not defined. 2.3. Ma trận xác suất chuyển sau n bước Error! Bookmark not defined. 2.4. Phân phối hữu hạn chiều Error! Bookmark not defined. Xích Markov 2.5. Phân phối ban đầu Error! Bookmark not defined. 2.7. Mô hình của một xích Markov rời rạc và thuần nhất Error! Bookmark not defined. 3. Xích Markov có hữu hạn trạng thái Error! Bookmark not defined. 3.1. Xích có hai trạng thái Error! Bookmark not defined. 3.2. Ứng dụng Error! Bookmark not defined. 3.3. Định lý ergodic Error! Bookmark not defined. 3.4. Phân phối dừng Error! Bookmark not defined. 3.5. Phân phối giới hạn và phân phối ergodic Error! Bookmark not defined. 4. Một số mô hình xích Markov Error! Bookmark not defined. 4.1. Mô hình bình Ehrenfest Error! Bookmark not defined. 4.2. Mô hình kiểm kê Error! Bookmark not defined. 4.3. Mô hình phân chia thị trường Error! Bookmark not defined. 5. Phân tích bước thứ nhất Error! Bookmark not defined. 5.1. Trường hợp đơn giản Error! Bookmark not defined. 5.2. Phân tích bước thứ nhất tổng quát Error! Bookmark not defined. Chương III - PHÂN LOẠI TRẠNG THÁI XÍCH MARKOV Error! Bookmark not defined. 1. Các trạng thái liên thông và sự phân lớp Error! Bookmark not defined. 1.1. Trạng thái liên thông Error! Bookmark not defined. 1.2. Chu kỳ của trạng thái Error! Bookmark not defined. 1.3. Sự phân lớp Error! Bookmark not defined. 2. Trạng thái hồi quy và trạng thái không hồi quy Error! Bookmark not defined. 2.1. Mở đầu Error! Bookmark not defined. 2.2. Định nghĩa Error! Bookmark not defined. 3. Tiêu chuẩn hồi quy và không hồi quy Error! Bookmark not defined. Xích Markov 3.1. Định lý 1 Error! Bookmark not defined. 3.2. Định lý 2 Error! Bookmark not defined. 4. Định lý giới hạn cơ bản của xích Markov Error! Bookmark not defined. 4.1. Bổ đề Error! Bookmark not defined. 4.2. Định lý 1 Error! Bookmark not defined. 4.3. Định lý 2 Error! Bookmark not defined. 5. Sự tồn tại )( lim n ij n p ∞→ và phân phối dừng Error! Bookmark not defined. 5.1. Định lý 1 Error! Bookmark not defined. 5.2. Định lý 2 Error! Bookmark not defined. 5.3. Định lý 3 Error! Bookmark not defined. 6. Xích Markov có hữu hạn trạng thái Error! Bookmark not defined. 6.1. Định lý 1 Error! Bookmark not defined. 6.2. Định lý 2 Error! Bookmark not defined. PHẦN KẾT LUẬN Error! Bookmark not defined. TÀI LIỆU THAM KHẢO Error! Bookmark not defined. Xích Markov - 1 - PHẦN MỞ ĐẦU  1. Lý do chọn đề tài: Trong hoạt động thực tiễn của mình con người bắt buộc phải tiếp xúc với các biến cố ngẫu nhiên không thể dự đoán trước được. Một lĩnh vực toán học có tên là “Lý Thuyết Xác Suất” đã ra đời nhằm phục vụ nghiên cứu các quy luật và các quy tắc tính toán các hiện tượng ngẫu nhiên. Ngày nay Lý Thuyết Xác Suất đã trở thành một ngành toán học lớn, cả về lý thuyết lẫn ứng dụng. Các mô hình xác suất đã thực sự được ứng dụng rộng rãi trong khoa học tự nhiên cũng như khoa học xã hội. Trong thực tế ta thường gặp những hệ mà sự tiến triển của nó trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ. Khi làm dự báo cho các quá trình như thế ta cần tính đến tương lai hệ sẽ ra sao khi cho biết trước hiện tại. Mô hình xác suất để nghiên cứu vấn đề này là “Quá trình Markov”. Mô hình này được nhà Toán học - Vật lý nổi tiếng người Nga Andrei Andreevitch Markov đưa ra vào đầu thế kỷ XX. Trong đó “Xích Markov” là trường hợp riêng của quá trình Markov khi ta có thể đánh số được các trạng thái. Mô hình này có nhiều ứng dụng trong kinh tế, sinh học, tin học, viễn thông,… Được sự hướng dẫn tận tình của thầy Hồ Hữu Hòa em đã mạnh dạn chọn đề tài “Xích Markov” cho bài Luận văn Tốt Nghiệp ngành Sư Phạm Toán Tin. 2. Mục đích nghiên cứu: Hệ thống lại những kiến thức cơ bản về Xác suất đã được học trong chương trình. Tìm hiểu về mô hình xích Markov rời rạc và thuần nhất. Tìm hiểu ý nghĩa của xích Markov thông qua các mô hình trong thực tế. Hoàn thành Luận văn, luyện tập nghiên cứu khoa học, tạo bước đầu cho việc học tập sau này. 3. Nhiệm vụ nghiên cứu: Đưa ra các yếu tố cần thiết của một xích Markov rời rạc và thuần nhất. Phân loại các trạng thái xích Markov. Xích Markov - 2 - Nghiên cứu về tính ergodic của xích, sự tồn tại phân phối giới hạn, sự tồn tại và duy nhất của phân phối dừng. 4. Phương pháp nghiên cứu: Đọc sách có liên quan đến đề tài, tìm tài liệu trên Internet. Sử dụng phương pháp phân tích để nắm vững vấn đề một cách chi tiết. Sử dụng phương pháp tổng hợp, hệ thống lại kiến thức, trình bày vấn đề theo trình tự logic để người đọc dể theo dõi. 5. Nội dung nghiên cứu: Chương I: Kiến thức chuẩn bị: Trình bày các khái niệm cơ bản về xác suất, một số tính chất và các công thức tính xác suất như: công thức cộng, công thức nhân, công thức xác suất đầy đủ,…Khái niệm đại lượng ngẫu nhiên, các số đặc trưng của đại lượng ngẫu nhiên rời rạc. Từ đó làm cơ sở để hiểu được khái niệm mới. Chương II: Các khái niệm cơ bản về xích Markov: Trình bày các khái niệm cơ bản và nêu một số mô hình ứng dụng quan trọng. Các khái niệm như: tính Markov, xác suất chuyển, phương trình Chapman-Kolmogorov, phân phối dừng, định lý ergodic, phương pháp phân tích bước thứ nhất và ba mô hình trong thực tế. Nhiều ví dụ được trình bày để hiểu rõ hơn các khái niệm. Chương III: Phân loại trạng thái xích Markov: Chương này trình bày sự phân lớp trạng thái của xích Markov thuần nhất. Các trạng thái liên thông và chu kỳ của trạng thái. Trạng thái hồi quy và không hồi quy. Từ đó dẫn đến sự tồn tại của phân phối giới hạn, phân phối dừng. Tính ergodic của xích sẽ được trình bày rõ hơn sau khi phân loại các trạng thái của xích. Viết sơ đồ thể hiện mối liên hệ giữa các tính chất đối với xích Markov có hữu hạn trạng thái. 6. Các bước nghiên cứu: Tìm tài liệu có liên quan. Nghiên cứu lý thuyết. Viết đề cương. Xích Markov - 3 - Tổng hợp lý thuyết, giải bài tập. Viết luận văn. Báo cáo luận văn. [...]... vào phép th th hai mà không ph thu c vào phép th th nh t Dãy phép th trên là mô hình c a xích Markov 2 Xích Markov r i r c và thu n nh t: 2.1 nh nghĩa: - Xích Markov r i r c: X(t) là m t xích Markov r i r c n u t = 0, 1, 2,…(t c là t m ư c) Còn n u t ∈ [0, ∞ ) thì ta có khái ni m xích Markov v i th i gian liên t c - Xích Markov thu n nh t: t p(s, t, i, j) = P(X(t) = j / X(s) = i), (s < t) và ư c g i là... 2.7 Mô hình c a m t xích Markov r i r c và thu n nh t: Mô hình c a m t xích Markov r i r c và thu n nh t là b ba (Xn, Π , P), trong ó: - (Xn) là dãy các i lư ng ng u nhiên r i r c - Π là phân ph i ban - P là ma tr n xác su t chuy n uc ah 3 Xích Markov có h u h n tr ng thái: 3.1 Xích có hai tr ng thái: Bây gi ta xét trư ng h p ơn gi n nh t c a xích Markov: không gian tr ng thái E c a xích (Xn) g m hai... Cho bi t (Xn, n = 0, 1, 2,…) l p thành xích Markov v i không gian tr ng thái là E = {0, 1} Ma tr n xác su t chuy n c a xích ư c tính như sau: p 00 = P(Xn+1 = 0 / Xn = 0) = 1 - α p 01 = P(Xn+1 = 1 / Xn = 0) = α p10 = P(Xn+1 = 0 / Xn = 1) = α p11 = P(Xn+1 = 1 / Xn = 1) = 1 - α V y ta có ma tr n xác su t chuy n c a xích là: α  1 − α P=  1− α   α  - 14 - Xích Markov Ví d 2: Chuy n ng ng u nhiên...  V y phân ph i d ng c a xích là:  3.5 Phân ph i gi i h n và phân ph i ergodic: 3.5.1 nh nghĩa: Ta nói r ng xích Markov có phân ph i gi i h n, n u ∀ j = 1, 2, …, N t n t i ( các gi i h n π j = lim p ijn ) không ph thu c vào i và tho mãn các i u ki n: π j ≥ 0 , n→∞ ∑π j = 1 Trong trư ng h p ó ta g i ( π 1 , π 2 , π N ) là phân ph i gi i h n c a xích j∈E Markov Ta nói r ng xích Markov có tính ergodic,... Nghi m không âm ( π 1 , , π N ) c a phương trình π j = ∑ π k p kj sao cho k ∈E ∑π j = 1 ư c g i là phân ph i d ng (hay b t bi n) c a xích Markov v i ma tr n xác su t j∈E chuy n P = ( p ij ) - 26 - Xích Markov 3.4.2 Ý nghĩa: N u ta l y ( π 1 , , π N ) là phân ph i ban u c a xích Markov, t c là π j = P( X 0 = j ) , j = 1, 2,…, N Khi ó: π (j1) = P( X 1 = j ) = ∑ P( X 1 = j / X 0 = k ).P( X 0 = k ) k ∈E =...  π   2  M    π N  Ví d : Cho xích Markov có ma tr n xác su t chuy n là:  0,4 0,5 0,1  P = 0,05 0,7 0,25   0,05 0,5 0,45   Tìm phân ph i d ng c a xích Gi i ( Ta th y ma tr n P ã cho là chính quy (vì min p ijn ) > 0 v i n 0 = 1) 0 i, j Theo nh lý ergodic (3.3.2) s t n t i các s ( π 1 , , π N ) là nghi m không âm c a h phương trình: - 27 - Xích Markov  0,4.π 1 + 0,05.π 2 + 0,05.π... i lư ng ng u nhiên r i r c: Gi s X, Y là 2 bi n ng u nhiên r i r c Khi ó dãy s kép p ij = P(X = xi, Y= y j) ư c g i là phân ph i ng th i c a X và Y -9- nh theo Xích Markov Chương II 1 CÁC KHÁI NI M CƠ B N V XÍCH MARKOV nh nghĩa tính Markov và xích Markov: 1.1 Tính Markov: 1.1.1 Gi i thi u: - Gi thi t chúng ta nghiên c u s ti n tri n theo th i gian c a m t h v t lý ho c sinh thái nào ó (có th là ph n... , π 2 , π N ) là phân ph i ergodic c a xích Markov Nh n xét: Theo nh lý ergodic thì phân ph i gi i h n và phân ph i ergodic là phân ph i d ng Tuy nhiên i u ngư c l i không úng, t c là, có nh ng quá trình có phân ph i d ng nhưng không có phân ph i gi i h n (hay phân ph i ergodic) Ví d : Cho xích Markov có ma tr n xác su t chuy n là: 0 1  P=   1 0  - 28 - Xích Markov 0 1  0 1  1 0  Ta có:... , i1 p i n − 1 , i n Ví d : Cho xích Markov (Xn; n = 0, 1, 2,…) v i không gian tr ng thái E = {0, 1, 2} và ma tr n xác su t chuy n:  0,3 0,2 0,5  P = 0,2 0,6 0,2    0,4 0,5 0,1    Gi s P(X0 = 0) = p i = 0,3 Tính P(X 0 = 0, X1 = 1, X2 = 2) = ? 0 Gi i Theo công th c trên ta có: P(X0 = 0, X1 = 1, X2 = 2) = p i p 01 p 12 = (0,3).(0,2).(0,2) = 0,012 0 - 19 - Xích Markov 2.5 Phân ph i ban 2.5.1... = i) i∈E = ∑p ( n) i ( p ijm) i∈E Do ó: Π ( n+ m) = Π ( n) P(m) Ví d : Cho xích Markov (Xn; n = 0, 1, 2,…) v i không gian tr ng thái E = {0, 1, 2} và ma tr n xác su t chuy n  0,1 0,2 0,7  P = 0,9 0,1 0,0    0,1 0,8 0,1    Bi t phân ph i ban u c a h là: P(X0 = 0) = 0,3 ; P(X0 = 1) = 0,4 ; P(X0 = 2) = 0,3 - 20 - Xích Markov Tính Π ( 2) = ? Gi i Theo công th c ta có: Π ( 2) = Π .P (2) Ta c . CƠ BẢN VỀ XÍCH MARKOV. Error! Bookmark not defined. 1. Định nghĩa tính Markov và xích Markov Error! Bookmark not defined. 1.1. Tính Markov Error! Bookmark not defined. 1.2. Xích Markov Error!. nhất. Dãy phép thử trên là mô hình của xích Markov. 2. Xích Markov rời rạc và thuần nhất: 2.1. Định nghĩa: - Xích Markov rời rạc: X(t) là một xích Markov rời rạc nếu t = 0, 1, 2,…(tức là. ra các yếu tố cần thiết của một xích Markov rời rạc và thuần nhất. Phân loại các trạng thái xích Markov. Xích Markov - 2 - Nghiên cứu về tính ergodic của xích, sự tồn tại phân phối giới