CÁC MÔ HÌNH XÁC SUẤT VÀ ỨNG DỤNG. PHẦN I - XÍCH MARKOV VÀ ỨNG DỤNG

ĐẠI H Ọ C VINH THI VIÊN 519.207 ì NG-T(l)/0 DT 001 n 111 ĐẠI HỌC QUỐC GIA HÀ NỘI NGUYỄN DUY TIÊN CÁC M ộ HÌNH XÁC SUẤT VÀ ỨNG DỤNG PHẦN I - XÍCH MARKOV VÀ ÚNG DỤNG • OKI Ha N ộ i NHÀ XUẤT BẢN ĐẠI H Ọ C Q U Ố C GIA HÀ NỘI ĐẠI H Ọ C Q U Ố C GIA HÀ NỘI N G U Y Ễ N DUY TIÊN CÁC MƠ HÌNH XÁC SUẤT VÀ ỨNG DỤNG PHẦN I - XÍCH MARKOV VÀ ỨNG DỤNG NHÀ XUẤT BẢN ĐẠI HỌC Quốc GIA HÀ NỘI 2000 Chiu trách nhiệm xuất Giám đốc Tổng biên tập Người nhận xét: bản: NGUYỄN VĂN THỎA NGUYỄN THIỆN GIÁP PGS.TS NGUYỄN VĂN HỮU PGS.TS PHẠM V I Ế T PHÚ TS NGUYỄN HỮU D Biên tập sửa bài: PHẠM PHÚ TRIÊM NGUYỄN LAN HƯƠNG Trình bay bìa: NGỌC ANH CÁC MƠ HÌNH X Á C S U Ấ T VÀ ỨNG DỤNG PHẦN I - XÍCH MARKOV VÀ ỨNG DỤNG Mã SỐ:01.123.ĐH2000.313 In 1000 cuốn, Nhà in Đại học Quốc gia Hà Nội Số xuất bản: 91/313/CXB Số trích ngang In xong nộp lưu chiểu Quý ỉ năm 2001 27 KH/XB 3 MỤC LỤC Lài nói dầu P h ầ n ì: XÍCH M A R K O V VÀ Ứ N G D Ụ N G C h n g 1.1 1.2 1.3 C c đ i n h nghĩa v ví du T í n h Markov 1.1.1 Định nghĩa l i 1.1.2 Ví (lu 12 Xích Markov rời rạc 1.5 13 1.2.1 Ma trận xác suất chuyển 13 1.2.2 P h â n phổi ban đầu 16 M ộ t số mỏ hình xích Markov 18 1.3.1 M ỏ hình k i r m kơ (Inventory Model) 18 1.3.2 Mo hình bình Elưcníast 21 1.3.3 Xích Markov tron,^ H u y ê n 22 1.3.-1 Mị hình phục vụ đám đòng (lý thuyết xốp hàng) 1.4 l i Xích MiU"kov có hữu hạn trạng thái 24 25 1.4.1 Xích có hai tnuij; thái 25 1.4.2 Định lý orgoclic 28 í 4.3 Phim phối đừng 31 1.4.4 P h â n phối giới hạn phân phối crgodic 32 1.4.5 Định lý 32 M ỏ lành phun chia thị trường 35 l.G M ỏ hình trị chơi hai đ ấ u thủ 39 1.7 Nguyên lý phàn xạ 42 1.7.1 Bài toán bầu cừ 42 1.7.2 Nguyên lý ph n xạ 44 I 1.8 1.9 Phil!) t it'll b c I h ú n h ấ t 15 1.8.1 T r n g h ợ p (.lưu Í2,iãn -15 1.8.2 P h i ] lích b c t h ứ n h ấ t l o n ^ q u t -18 X í c h M a r k o v chạy l i m t i ế p 52 1.9.1 DạiiỊỊ, ma t r ậ n x c s u ấ t c l i u y ố n 52 1.9.2 Các- ví d ụ 52 1.9.3 C c b i t o n Hòn quan 53 Bài t ậ p 50 C h n g P h â n loai t r a n g t h i x í c h Markov 2.1 M ụ c (lích GO 2.2 C c t r n g t h i li™ t h ô n g v p h ả n l p GO 2.3 2.4 2.5 2.6 2.7 2.2.1 Đ ị n h nghĩa 2.2.2 Định GO 70 Ìiylũrt C h u k ỳ c ù a t r n g lliái 72 2.3.1 Đ ị n h nghĩa 72 2.3.2 Đ ị n h lý 72 2.3.3 Họ quà 72 2.3.4 Đ ị n h nghĩa 7.'j 2.3.5 Định lý 71 T r n j ị t h i h i quy v t r a i l " t h i k h ô n " ; h i q u y 74 2.4.1 Đ ị n h nghĩa 75 2.4.2 Đ ị n h nghĩa 7G T i ê u c h u n hồi quy v k h ù n g hòi quy 77 2.5.1 Đ ị n h lý 77 2.5.2 Đ ị n h lý 78 Đ ị n h lý g i i h n c b ả n xích M a r k o v 79 2.tí.Ì Đ ị n h lý 79 2.6.2 B ổ đi- 79 2.6.3 Đ ị n h lý 81 Sư tòn tai lim P Ỳ P phân phối dừng li—'OO 2.7.1 Đ ị n h lý 82 ' 82 2.7.2 Định lý 84 2.7.3 Định lý 86 Xích Markov có hữu hạn trạng thái (tiếp theo) 2.8 87 2.8.1 Định lý 87 2.8.2 Định lý 88 2.9 D i động ngẫu nhiên 2.9.1 Di dộng ngẫu nhiên đường thằng 2.9.2 Di động ngẫu nhiên đường thằng có trạng thái hấp t h ụ 2.9.3 92 95 Di động ngẫu nhiên trôn đường thằng có hai trang thái phản hồi 96 2.9.6 D i động ngẫu nhiên đ ố i xứng mặt phang 97 2.9.7 Di động ngẫu nhiên tống quát 97 2.9.8 Mị hình quản lý tiên mặt 99 2.10 M ộ t số vấn đ i khác 102 2.10.1 P h n tích bước t h ứ nhất, (tiếp theo) 102 2.10.2 Xí ch khơng t ố i giản 106 Bài t ậ p 109 Chương Quá trình Poisson 3.1 P h â n phối mũ 3.2 91 D i động ngẫu nhiên trơn đường thằng có trạng thái phản hồi 2.9.5 89 D i động ngẫu nhiên trơn đường thằng có hai trạng thái hấp t h ụ 2.9.4 89 3.1.1 Định nghĩa 3.1.2 Các tính chất c a p h n phối mũ P h â n phối Poisson 3.2.1 Định nghĩa 3.2.2 Các tính chất c a p h â n phối Poisson 115 115 116 118 118 119 3.3 Quá Mình đ ế m 120 3.4 Quá trình Poisson 120 3.4.1 Các giả thiết quan trọng 120 3.4.2 Đ ị n h nghĩa 122 3.4.3 M h ì n h Poisson 122 3.5 C c p h â n p h ổ i liên quan đ ế n q u t r ì n h đ i ể m Poissoir 3.5.1 Đ ị n h nghĩa 3.5.2 124 125 T h i gian đ ế n (hay t h i gian chờ) v t h i gian đ ế n t i l i n g gian 125 3.5.3 Đ ị n h lý 126 3.5.4 Q u t r ì n h Poisson có p h â n l o i 129 3.5.5 P h â n p h ố i đ ầ u v q u t r ì n h Poisson 133 3.5.6 M ộ t số ứ n g d ụ n g k h c 139 3.6 Q u t r ì n h đ i ể m Poisson t ố n g q u t 144 3.6.1 Đ ị n h nghĩa 144 3.6.2 Đ ị n h lý 146 3.7 3.8 Q u t r ì n h Poisson p h ứ c h ợ p 147 3.7.1 Đ ị n h nghĩa 147 3.7.2 C c ví d ụ 147 3.7.3 K ỳ v ọ n g v p h n g sai Z(t) 148 Q u t r ì n h Poisson đ n h d ấ u 150 3.8.1 Đ ị n h nghĩa 150 3.8.2 T r n g hợp đ n giản 151 3.8.3 Q u t r ì n h d i ê m Poisson k h ô n g t h u ầ n t r ê n m ệ t phang 3.8.4 P h â n p h ố i q u t r ì n h Poisson đ n h d ấ u 151 152 Bài tập 153 P h ụ lục 157 V i nét, v ề lịch s 1G5 T i liệu tham khảo 171 L Ờ I NÓI ĐÂU Xác suất Thống kê lĩnh vực tốn ứng dung, (lịi hồi sờ tốn học sâu sắc Ngày mơ hình xác suất thực dược ứng dụng rộng rãi khoa học tự nhiên khoa học xã hội Tuy nhiên, Việt Nam có tài liệu mơ hình xác suất ứng (lụng chúng Đó lý chúng tơi viết giáo trì nh nàv Nhằm phục vụ độc giớ nhiều lĩnh vực khác (toán học, vật lý, học, sinh học, khoa học trái đất kinh tế, y học, nơng nghiệp, v.v ) nên giáo trình (lược viết theo tinh thần: xác lý thuyết tới mức độ nhất, định, nhiều ví dụ ứng dụng cụ thường gặp thực tế tương đối dễ hiểu Giáo trình C c m h ì n h xác suất ứng dung GS.TSKH Nguyễn Duy Tiến chủ biên bao gồm: P h ầ n ì Phần l i X í c h M a r k o v v ứng dung, GS.TSKH Nguyễn Duy Tiến viết Q u t r ì n h d n g v ứng dung, PGS.TSKH Đặng Hùng Thắng viết Phần U I G i i t í c h n g ẫ u nhiên, GS.TSKH Nguyên Duy Tiến viết Các thành viên Bộ mơn Xác suất Thống kê, khoa Tốn - Cơ - Tin học, trường Đại học Khoa học T ự nhiên - Đại học Quốc gia Hà NỴÚ (ĐHKHTN DHQGIIN) d ã nhiều năm giớng dạy trình ngẫu nhiên tích lũy nhiều kinh nghiệm để viết giáo trì nh dạng mơ hình ứng dụng phục vụ cho đông đớo bạn đọc Tuy nhiên, khơng phới tài liệu sơ cấp, để đạt hiệu quớ cao bạn đọc cần phới có kiến thức tốn hai năm đầu đ i học đặc biệt phới có kiến thức xác suất cổ điền (chằng hạn tài liệu Đào Hữu Hồ [1], Đặng Hùng Thắng [2] Nguyễn Viết Phú, Nguyễn Duy Tiến [3]) Chúng hy vọng giáo trình có ích cho nhiều bạn dọc, phục vụ tốt cho ứng dụng, giớng dạy nghiên cứu Chắc chắn giáo trình cịn nhiều thiếu sót Rất mong nhận góp ý chi bào bạn đọc Cuối xin cám ơn Ban Giám hiệu trường ĐHKHTN-ĐHQGHN, Khoa Toán - Ca - T i n học, Bộ môn Xác suất Thống kê Đi IKHTN - ĐHQGHN Nhà Xuất ĐHQGHN động viên, cổ vũ , giúp đỡ nhiệt tình chúng tơi biên soạn giáo trình Các t c giả y Phần I XÍCH MARKOV VÀ ỨNG DỤNG Đàu kỷ XX, A.A.Markov (14 / / 1856 - 20 / / 1922) - nhà Toán học Vật lý nối tiếng người Nga đưa mơ hình tốn học để mơ tả chuyển động phân từ chất lỏng bình kín sau mơ hình phát triển sử dụng nhiề u lĩnh vực khác học, sinh học y học, kinh tế, v.v mang tên là: Quá t rình Markov Trong nhệng năm gần đây, trình Markov đưac ứng dụng nhiề u thương nghiệp, tin học, viễn thông, v.v mon hoe bắt buộc sinh viên nhiề u trường đại học Xích Markov trường hợp riêng q trình Markov (khi ta đánh số trạng thái) Để hiểu xích Markov, bạn đọc cần biết nhệng khái niệm xác suất (đặc biệt xác suất có điề u kiện, cơng thức xác suất đầy đủ), đại số tuyến tính cách giải số phương trình sai phản đơn giản Phần Xích Markov v ứng dụng có chương Chương Ì trình bày định nghĩa nêu số mó hình ứng dụng quan trọng Trong chương cần đọc kỹ khái niệm nắm vệng kết như: tính Markov, xác suất chuyển, phương trình Chapman-Kolmogorov, phân phối dừng, định lý ergodic, phương pháp phân tích bước thứ ba toán liên quan Chương chứa nhiề u kết quan trọng, trình bày phân lớp trạng thái cùa xích Markov Bạn đọc càn hiểu rõ mục đích chương 2, nắm vệng khái niệm trạng thái hồi quy, không hồi quy, phân phối dừng, phân phối giới hạn tồn Di động ngẫu nhiên mơ hình quan trọng hay gặp ứng dụng Chương cịn có nhiề u ví dụ lý thú 10 Q u trình Poisson dạng đặc biệt q trình Markov đóng vai t r ị vơ quan trọng ứng dụng C h n g trình bày kết quan trọng q u trình Poisson: trình đ ế m , qu trình điểm, t h i gian đ ế n , thời gian đ ế n tru ng gian, qu trình Poisson phức Ì lợp, q t r ì n h Poisson đ n h dấu B n tìm thấy chương nhiều mó hình ứng dụng sinh động Mỗi chương đ ề u có tập giúp bạn đọc hiểu sáu thèm lý thu yết tập ứng dụng giải tốn thực t ế Bài tập khó có đánh dấu * Phổn phụ lục giúp bạn nhớ lại k ế t t ổ n thiết xác suất, p h n g trình sai p h â n (hay truy hồi) Nội dung giáo trình biên soạn theo sách tiếng [5], [8], [10], [ l i ] Bản thảo Phổn ì đ ã Nguyễn Duy T i ế n , Vũ Tiến Việt Phạm Xuân Bình d ù n g làm tài liệu giảng dạy cho sinh viên nân) t h ứ ba Đ H K H T N ĐHQG Hà Nội ĐHSP Quy Nhơn năm học 1998-1999 Tôi xin chân t h n h cám ơn PGS TS Nguyễn Văn Hữu, TS Nguyễn V i ế t Phú, TS Nguyễn H ữ u Dư , TS Nguyễn P h ú Triêm Thạc sĩ Vũ T i ế n Việt đọc kỹ bàn thảo cho nhiều nhận xét quý báu đ ể sách hoàn thiện Hà Nội 2000 T c giả li Chương Ì CÁC ĐỊNH NGHĨA VÀ v í DỤ 1.1 Tính Markov 1.1.1 Định nghĩa G i ả t h i ế t t a n g h i ê n c ứ u s ự t i ế n t r i ể n theo t h i gian m ộ t h ệ vật lý h o ặ c s i n h t h i n o đ ó ( c ó t h ể l p h â n t , h t c b ả n , n g i m ộ t sinh v ậ t n o d ó , v.v ) Ký hiệu x(t) l vị t r í h ệ t i t h i đ i ề m í T ậ p họp vị t r í c ó t h ể c ó h ệ đ ợ c g ọ i l k h ô n g gian t r n g t h i G i s t r c t h i điểm s hệ t r n g t h i n o đ ó , cịn t h i đ i ể m c ỉ n b i ế t Lại t h i đ i ể m í t r o n g t n g lai (í > s) s hệ t r n g t h i hệ trạng thái s u ấ t bao n h i ê u ? N ế u x c s u ấ t n y p h ụ t h u ộ c v o s, í,?', j j ì Ta với xác điều c ó nghĩa là: s t i ế n t r i ể n c ủ a h ê t r o n g t n g lai c h ỉ p h u thuôc vào h i ê n t a i v d ó c l p v i q u k h ứ ỈV) t í n h M a r k o v H ệ c ó t í n h c h ấ t n y đ ợ c g ọ i q u t r ì n h Markov Chằng hạn, gọi t h ì c ó t h ể xem x(t) x(t) d â n số t i t h i đ i ế m í ( t r o n g t n g lai) c h ì p h ụ t h u ộ c v o d n số h i ệ n l i v d ộ c l ậ p v i q u k h ứ N ó i chung, c c h ệ (sinh t h i , v ậ t lý c học, v v ) k h n g c ó t r í n h ( m e m o r y ) sức ỳ l n h ữ n g h ệ có t í n h M a r k o v Ta ký hiệu E thái cùa XỌ) x(t) t ậ p g m c c g i t r ị Nếu X(t) x(t) có t í n h M a r k o v v đ ợ c gọi xích Markov gọi E E k h ô n g gian t r n g đ n h số đ t r ợ c ( đ ế m đ ợ c ) T h ê m vào đ ó , c ó k h i n i ệ m x í c h M a r k o v v i t h i gian r i rạc, c ị n n ế u í = 0,1,2, t e Ịo, oo) ta t a c ó k h i n i ệ m xích M a r k o v v i t h i gian liên t ụ c Vê; p h n g d i ệ n t o n học, t í n h Markov có t h ể đ ị n h nghĩa n h sau: 12 Ta nói Đ i n h nghĩa P{X{t n + X(t) có tính Markov ) = j \ X ( t ) = i , ,X(t - ) l 0 n = i -uX(l ) l n = p{xạ )=j\xạ ) n+ì < í n Ta xem in t i , í n + n + < i , ,i -\,i,j — P{X(t) p(s,i,t,j) — j\x(s) í chuyển sang t r n g t h i i , q u k h ứ Vì Đó xác suất có đ i ề u (S < í ) í, đ ế n t h i đ i ể m trạng thái Vì t h ế ta gọi p(s,i,t,j) j l xịt) = i}, k i ệ n đ ể hệ (hay q u trình) t i t h i đ i ể m € E n t n g lai, (to, í t h ế b i ể u t h ứ c t r ê n t í n h Markov Đặt = i} 1> = i}, n với to < h < • • • < t nêu: x c s u ấ t c h u y ể n c ủ a h ê (hay q u t r ì n h ) N ế u x c suất chuyển chi phụ thuộc vào p(s,i,t,j) =p(s (í — s), tức + h,i,t + h,j) t h ì t a nói h ệ (hay q u trình) theo thời gian T r o n g g i o t r ì n h n y , k h ô n g n ó i t h ê m t h ì t a x é t x í c h M a r k o v t h u ầ n n h ấ t 1.1.2 Ví Ví d ù i dụ Cho £0)£i) rời rạc, độc lập, Ek dãy biến ngẫu nhiên ( đ i lượng ngẫu nhiên) •••)&!)••• t ậ p hợp giá tr Ẹk: Ek hữu hạn hay đếm (k = 0, Ì , n , ) oo Đặt E = ^J Eki rõ ràng fe=o K h i đ ó , ta t h ấ y P{€n+1 = với to € Eo, = Mo P{£n+\ ii e = E *(>,•••, £ n - l = j } = P{£n+l E , u i n -i N h t h ế ( £ ; TI = 0, Ì, 2, ) n V í d ụ Cho tập hop không ("lem d ợ c £ = *n-l,£n = Mn = i} = = ỉ ) = p(n, i e En, j e En+Ì ỉ, Tì -ị ì j ) • xích Markov £0)f7i, •••) ?n, ••• dãy biến ngần nhiên ( đ i lượng ngẫu nhiên) r i rạc, độc lập, nhận giá tr số nguyên 13 Đặt x Ẹo + TÌĨ +*?2 + = n P{X i ••• +Vn = j\to = n+ = P { X +í?n+l = P{7?n+1 = = P{Vn+\ n Ì - = j Xi lo, Mo = (n *|£o = iu = = = l,2, .)• , ! „ - ! k , V \ = h » , »71 = i \ - Ta = có = i} = ỉ - * n - l } i n - l , - i o , - , V n = io, i - •••iVn = i-n-l} - Ì ) P{X = j\x n+ỉ = P{X + n = P{Vn+l = p{r)n+l V ậ y (X ;n Ĩ) n + = = j|£o = j - iịẸo +VI +Vĩ + + ••• + Vn-I ••• + Vn-l + Vu + Vn = = i} i} = j - i } — Ì, 2, ) xích Markov n C h ú ý =i} n Nói chung xích Markov ví d ụ Ì t r ê n đ â y k h ô n g t h u ầ n N ế u ví d ụ Ì cho £o> £i > •••> f n > lập v p h â n phối xác suất ••• dãy biến ngẫu nhiên r i rạc, độc ( £ ; n = 0, Ì , 2, ) xích Markov t h u ầ n n v ngược l i Cịn ví d ụ 2, cho / , r ) , r i n , d ã y b i ế n ngẫu nhiên r i rạc;, độc lập p h â n phối xác suất (X ;n =1,2, ) n xích Markov nhặt T h ậ t vậy, lập luận ta có P{X n + = p{m h = j\x n = i} = + rfy + + rj h+l -P{í?n+1 + í?n+2 + ••• + = j - i } = P{X +i h In+h = j\Xi = - i} = j = i} với m i n = 1,2, ; h — Ì, 2, ; i, j € E c N 1.2 1.2.1 Xích Markov rời rác M a t r ậ n x c suất c h u y ể n G i ả s ( x ) ; n = 0, Ì , 2, xích Markov r i rạc t h u ầ n Nói m ộ t n cách xác là: giả sư (ũ, A, p) không gian xác suất, x n :ĨÌ-*E biến ( đ i lượng) ngẫu nhiên nhận giá trị t ậ p đ ế m đ ợ c E E k h ô n g 14 g i a n t r n g t h i , c c p h ầ n t n ó đ ợ c ký h i ệ u / / Ả' (có chì sổ k h ô n g ) K h i đ ó , t í n h M a r k o v v t í n h t h u ầ n n h ấ t cua D =• t {X -ịi Pn n = P ( x k h ô n g p h ụ thuộc v o n + - j \ x n - j \ x - c ó nghĩa là: [Ă„) i) = ỉ'o, ^».-1 v ^ '> • > ~- ' ) n p (Pij) đ ợ c gọi m a t r â n x c s u ấ t c h u y ể n sau Pij xác suất có d i ề u k i ệ n đ ể hệ t i t h i đ i ể m i c h u y ể n sang t r n g t h i j thời điểm n +• Ì lì Ì bước (hiện tại) trạng thái (tưưng- l a i ) N ế u đ ặ t c c b i ế n cậ A = ( X n + Ì = j), B = ( X = í), n t h ì t í n h M a r k o v c ó nghĩa l T đ ó suy c = = (Xo = iu x _ị - z _ j ) n n P(i4|BC) _^ P(B)P(C\B)P(A\B) P(n) = P(C\B)P(A\B) t ứ c l q u k h ứ v t n g l a i l đ ộ c l ậ p v i k h i cho t r ù m : h i ệ n t i C h ú ý r ằ n g t c ô n g t h ứ c x c s u ấ t d ầ y đ ủ suy ma t r ậ n p := ( p j ) c ó t t í n h chất < Pij < Ì , Vi,j e E ; Ỵ j V t ĩ Jew M a t r ậ n c ó t í n h c h ấ t n h t h ế đ ợ c g ọ i m a n X c suất c h u y ề n sau pị? = P ( X n + m trận ngẫu b c đ ợ c đ ị n h n g h ì n l i leo cung t h ứ c : -=j\x = i) = P(X m -= j Vu n Đ â y xắc s u ấ t đ ể h ệ t i t h i đ i ể m b a n đ ầ u t r n g t h i c h u y ể n sang t r n g t h i j Rõ ràng PỸÌ ú n (0) nhiên _ í I u = ế Piju nêu T *= a quy ị Ỷ ( ' í c ị) /, sau n bước 15 đặt p ( " ) = (pị^) • Đ ó m a t r â n x c s u ấ t c h u y ể n s a u Tì b c T c ô n g t h ứ c x c s u ấ t đ ầ y đ ủ v t t í n h M a r k o v t a c ó V n = 0, Ì , (ri+Ị) _ „ in) / T \ fc€E l} pír =Ẽtów Ta gọi (2.1) l p h n g t r ì n h n g c , (2.2) Tống quát V n , m = 0, Ì , , (2.3) đ ợ c g ọ i p h n g t r ì n h Giải thích trạng thái (-2.2) p h n g t r ì n h ta có Chapman-Kolmogorov Đ ể c h ứ n g m i n h (2.1) t a l ậ p l u ậ n n h sau: i, sau n + Ì b c c h u y ể n sang t r n g t h i hệ x u ấ t p h t t trạng thái ì, sau Ì Hệ xuất phát từ k ế t q u ả c ủ a việc j b c c h u y ể n sang t r n g t h i Ả; đó; hệ xuất phát từ trạng thái k, sau 71 b c chuyển sang trạng thái j Vì v ậ y , t c ô n g t h ứ c x c suất đ ầ y đ ủ v t í n h M a r k o v t a suy (2.1) T h ậ t v ậ y , theo c ô n g t h ứ c x c s u ấ t đ ầ y đ ủ t a có p^" = P ( X = r H , = j \ X o = i ) P ( X n + ì = j\x i.X; ữ = k).P(Xi = k\x - i) fce£ = J ^ P(X i = j \ x n+ x = Jfc).P(Xi = fc|Xo = / ) (do t í n h M a r k o v ) k£E = ^ PikP^kỹ Điều chứng minh (do t í n h t h u ầ n nhất) (2.1) C c c ô n g t h ứ c (2.2) v (2.3) đ ợ c c h ứ n g m i n h t n g t ự C c p h n g t r ì n h t r ê n có d n g ma t r ậ n n h p(n+l) _ pp(«) p(n+l) _ p(n)p p(n+m) _ p(n)p(m) sau: 16 T đ ó suy p(n) _ pn P h â n p h ố i h ữ u h n c h i ề u q u t r ì n h M a r k o v đ ợ c t í n h theo c ô n g t h ứ c sau: P(X = to) = lữ, P(XQ 1.2.2 Xi = ii, , P h â n phối ban Đ i n h nghĩa Phân phối =Pi , x = in-ì, X -]_ N n = i) = p -p l0 l o l ] • • •Pi _ in đầu hệ thời điểm TI duợc cho bời công thức sau: n) pị Đặt n(") = P ( X = ( p ^ T a quy c v i ế t n , j € E) n n( ) = j ) ; 71 = , , , ; j gọi = (J>Ỹ\ n l ĩ = n(°) j € E) (n) (n+i) = n n (n+l) = n _ phối ban đầu vector h n g D ễ ( l n g t h ấ y hệ rằng: npH, = n Ỵị(n+m) phân E ( n ) p , (l)p(n) fj(n)p(m) T h ậ t vậy, theo c ô n g t h ứ c x c s u ấ t đ ầ y đ ủ t a c ó pị n + m ) = P ( X n + m = ỵ; P(x n = j) = i).p(x n+m = j\x n = i) ieE P h â n p h ố i b a n đ ầ u đươc gọi d n g ( n "' không phụ thuộc v o n) n , t ứ c n = ,lỴ h a ^ n = inp N h vậy, m h ì n h c ủ a m ộ t b ộ ba (X (x ) n n ) x í c h M a r k o v r i r c v t h u ầ n n h ấ t n, P ) , t r o n g đ ó : d ã y đ i l ợ n g n g ẫ u n h i ê n r i rạc, 17 n p h â n phối b a n đầu, p m a t r ậ n x c s u ấ t chuyển N h ữ n g v ấ n đ ề đ ố i v i xích Markov • T ì m đ i ề u kiên đ ể tồn tai 7T = là: lim dóc láp với n-too P h â n phối d n g có t n t i khơng? ỉ " C ó n h ấ t khơng? cách tìm C c m ị h ì n h đ ợ c t r ì n h b y t r o n g m ụ c 1.3 t i ế p theo l m s n g t ỏ t h ê m ý n g h ĩ a t h ự c t i ễ n n h ữ n g v ấ n đ ề n y Nhận xét Xích Markov h o n t o n đ ợ c x c đ ằ n h m ộ t cách n h ấ t b i b ộ ba ( X , n , P ) , n n h n g n ế u thay p bời p( ) t h ì t í n h n h ấ t k h n g c ị n Chằne; h n , v i p(2) Ì 0 Ì Ì 0 Ì hốc B â y g i cho Ì Ì trước ta chứng t ỏ đ i ề u kiện cần đ ủ đ ể xác đằnh nhất) p ! m p / = a ì—a ( < a,b Vi - < Ì b ta có « 1-0 i-M J p(2) - •' (2)_ TO ro2 " a + (Ì - a)(l ỉ - b) (o + ) ( l - ) 01307 ''' ~Ja i K ' J + b)(l + i V , ỉ - J : :'' ; A a) (l-a)(l-6) 18 Khi đó, p đ ã x c đ ị n h t h ì suy r a a + = a 2 + ( Ì - a ) ( l - 6) + ị + ( Ì - «)(1 - b) = (a+ b — ì ) + ì > ì Ngược l i , n ế u a + p > Ì , ta xét h ệ p h n g trình ị a + (1 - a ) ( l -b) U = Q (a + b)(l - à) = (a + ) ( l - & ) =l-/í + ( Ì - a)(l - 6) Ì - a = /i T phương trình t h ứ phương trình t h ứ t ta (a + - ) = a + /3-l, suy r a a + b = ì ± y/a + - l Khi Ì < a + p < 2, t p h n g t r ì n h t h ứ hai v p h n g t r ì n h t h ứ b a t a đươc (Ì - Q ) / ( ± ựa + p - ĩ ) Ì - b= (Ì - P)/(ĩ±y/ZTW=ĩ), Ì - a = hay l Ị o = (a ± v « + / ? - ! ) / ( ! ± y/a + fl- ì) \ b Khi = (p± y/a + p - l ) / ( ĩ ± ựa + f i - ĩ ) a + /ỡ = t h ì a = p = Ì v đ â y t r n g h ợ p t ầ m t h n g n h t a đ ã xét 1.3 Mót số mơ hình xích Markov 1.3.1 M hĩnh kiểm kê (Inventory Model) G i ả t h i ế t phải d ự t r ữ kho m ộ t loại h n g đ ó đ ể đ p ứ n g nhu c ầ u liên t ụ c c ỳ a k h c h h n g H n g đ ợ c n h ậ p k h o t i c u ố i c c chu k ỳ n = 0, Ì , ,