Luận văn thạc sĩ xích markov du động ngẫu nhiên và ứng dụng

ĐAI HOC QUOC GIA HÀ N®I TRƯèNG ĐAI HOC KHOA HOC TU NHIấN ắNG TH THOA XCH MARKOV, DU đNG NGAU NHIÊN VÀ ÚNG DUNG Chuyên ngành: Lý thuyet xác suat thong kê tốn HQc Mã so: 60460106 LU¾N VĂN THAC SY KHOA HOC NGƯèI HƯéNG DAN KHOA HOC GS.TSKH ắNG HNG THANG H NđI- 2015 Mnc lnc Li nói đau Xích Markov 1.1 Xích Markov 1.1.1 Các đ%nh nghĩa 1.1.2 Ma tr¾n chuyen 1.1.3 Các ví du 1.2 Xích Markov hap thu 10 1.2.1 Dang tac 10 1.2.2 Xác suat hap thu 11 1.2.3 Ma tr¾n ban 12 1.2.4 Thịi gian tien tói hap thu 13 1.2.5 Xác suat hap thu 14 1.3 Xích Markov egođic 15 1.3.1 Xích Markov quy 16 1.3.2 Vectơ co đ%nh 19 1.3.3 Trang thái cân bang 22 1.3.4 Ví du ve xích Egođic 24 1.4 Đ%nh lí giói han ban cho xích quy 26 1.5 Thịi gian trung bình chuyen qua cho xích Egođic 29 1.5.1 Thòi gian trung bình chuyen qua lan đau tiên 29 1.5.2 Thịi gian trung bình quay lai 31 1.5.3 Ma tr¾n trung bình lan đau tiên qua ma tr¾n trung bình quay lai 32 1.5.4 Ma tr¾n ban 34 1.5.5 Su dung ma tr¾n ban đe tính ma tr¾n thịi gian trung bình chuyen qua lan đau tiên 37 1.5.6 Đ%nh lí giói han trung tâm cho xích Markov 40 Du đ®ng ngau nhiên 2.1 Du đ®ng ngau nhiên không gian Ơ’clit 41 41 2.1.1 Du đ®ng ngau nhiên đưòng thang thnc 42 2.1.2 Du đ®ng ngau nhiên tőng quát 43 2.1.3 Sn quay lai sn quay lai lan đau tiên 44 2.1.4 Xác suat hoi quy 47 2.1.5 51 Kỳ vQNG cna so lan o v% trí cân bang 2.2 Lu¾t arcsin 55 Úng dnng 60 3.1 Mơ hình Ehrenfest đưoc dùng đe giai thích sn khuech tán khí ga60 3.2 .Di truyen 61 3.3 Kinh te 63 3.3.1 Mơ hình phân chia th% trưịng 63 3.3.2 Mơ hình quan lý tien m¾t .68 3.3.3 Mơ hình kiem kê 70 3.3.4 Mô hình phuc vu đám đơng 72 3.4 Đưòng cna ngưòi say rưou 74 3.5 Sn phá san cna ngưòi chơi cò bac 79 3.5.1 Sn phá san cna ngưòi chơi cò bac 80 3.5.2 Đoi phương cna ngưịi chơi giàu vơ t¾n 82 3.6 Ket Tài Xã h®i HQ c 82 lu¼n 85 li¼u tham khao 86 LèI NÓI ĐAU Đau the ky XX, A.A Markov(14/6/1856 - 20/7/1922)- nhà Tốn HQc V¾t Lý női tieng ngưịi Nga đưa m®t mơ hình tốn HQ c đe mơ ta chuyen đ®ng cna phan tu chat long m®t bình kín Ve sau mơ hình đưoc phát trien su dung nhieu lĩnh vnc khác HQc, sinh HQ c, y HQc, kinh te,vv đưoc mang tên q trình Markov Xích Markov trưịng hop riêng cna q trình Markov( ta có the đánh so đưoc trang thái) Lu¾n văn đe c¾p tói xích Markov, du đ®ng ngau nhiên úng dung Bo cuc lu¾n văn gom ba chương, phan ket lu¾n v danh muc ti liắu tham khao Chng mđt trỡnh bày ve xích Markov: đ%nh nghĩa ban, ma tr¾n chuyen, ví du trưịng hop riêng cna xích Markov, xích Markov hap thu, xích egođic, xích quy Chương hai se trình bày ve du đ®ng ngau nhiên, đ¾c điem cna lu¾t arcsin Chương ba se trình bày úng dung cna xích Markov v du đng ngau nhiờn thnc te Luắn văn đưoc thnc hi¾n dưói sn hưóng dan cna GS.TSKH Đ¾ng Hùng Thang Tồn the ban lãnh đao thay khoa Tốn - Cơ Tin HQc, trưòng Đai HQ c Khoa HQc Tn nhiên - Đai HQ c Quoc Gia Hà n®i giúp tơi có thêm nhieu kien thúc đe có the hồn thành lu¾n văn khóa HQc m®t cách tot đep Các thay phịng Sau Đai HQc tao nhung đieu ki¾n thu¾n loi giúp tơi hồn thành thn tuc bao v¾ lu¾n văn HQ c t¾p Các thay ban seminar Lý thuyet xác suat thong kê tốn HQ c ve nhung góp ý đe tơi có the hồn thành lu¾n văn Tơi xin chân thành cam ơn tat ca nhung sn giúp đõ đóng góp q giá ay Tơi rat mong nh¾n đưoc nhung ý kien đóng góp cna q thay ban Hà N®i, tháng 11 năm 2014 Đ¾ng Th% Thoa Chương Xích Markov 1.1 Xích Markov 1.1.1 Các đ%nh nghĩa ho¾c thiet sinh thái Kýsnhi¾u X(t) theo ví tríthịi cna gian h¾ taicna thịi điem t T¾p hop ta có nghiên cúu trien mđt hắtrúc vắt lý cỏc Gia v% trớ cú the cna h¾ đưoc tien GQI khơng gian trang thái Gia su thòi điem t tương lai t > s h¾ o trang thái j vói xác suat bao nhiêu? Neu xác suat chi phu thu®c vào s, t, i, j đieu có nghĩa là: sE tien trien cua h¼ tương lai chi phn thuđc vo hiẳn tai v đc lẳp vỏi quỏ khẫ Đó tính Markov H¾ có tính chat đưoc GQI q trình Markov Ta kílàhi¾u E t¾p gom giá cna vàđánh E3,là gian trang thái cna X(t) Neu X(t) có tính Markov đưoc ta X(t) đưoc GQI xích Markov Thêm vào tr% đó, neuX(t) tvà = E0, 1,GQI2,so khơng có khái ni¾m xích Markov vói thịi đ%nh xích nghĩa Markov có thịi gian liên gian tuc ròi rac, neu t ∈ (0, +∞) Ve phương di¾n tốn HQc, tính Markov có the đ%nh nghĩa sau: Đ%nh nghĩa 1.1.1 Ta nói rang X(t) có tính Markov neu: P{X(tn+1 ) = j|X(t0) = i0, , X(tn−1) = in−1, X(tn) = i} = P{X(tn+1 ) = j|X(tn) = i} vói bat kì t0 < t1 < < tn < tn+1 < i0, , in−1, i, j ∈ E xem tn làtrên hiênchính tai, tlà tương lai,cna (t0, X(t) , tn−1) q khú Vì n+1tính theTa bieu thúc Markov Đ¾t P (s, i, t, j) = P (X(t) = j|X(s) = i), (s < t) Đó xác suat có đieu ki¾n đe h¾ (q trình) tai thịi điem s o trang thái i, đen thịi điem t chuyen sang trai thái j Vì the ta GQI xác suat chuyen cna h¾ ( hay q trình) Neu xác suat chuyen ch% phu thu®c vào (t − s), túc P (s, i, t, j) = P (s + h, i, t + h, j) ta nói h¾ (q trình) thuan nhat theo thịi gian 1.1.2 Ma tr¾n chuyen Gia su Xn o hàng thú nhat cna ma tr¾n P ví du 1.1.3 o mơ ta xác suat cna bien the hi¾n trang thái thòi tiet mưa Tương tn hàng hai hàng ba tương úng vói thịi tiet đep trịi có tuyet rơi Ma tr¾n vng v¾y GQI ma tr¾n xác suat chuyen hay ma tr¾n chuyen su(đai Xxác =gia 0, 1, 2,(Ω, ròi racgian va thuan nhat XNói n ; nlà: cách P )xích khơng xác : Ωm®t → ElàGia bien lưong)ngau nhiên nh¾n su giá tr%A, t¾p đem đưoc E E làsuat, không ngian trang thái, phan tu cna đưoc kí hi¾u i, j, k, Khi đó, tính Markov tính thuan nhat cna Xn có nghĩa là: pij = P{X(t n+1) = j|X(tn) = i} = P{X(t n+1 ) = j|X(t0) = i0 , X(tn−1) = in−1, X(tn) = i} khụng thuđc n Pl =ma (pijtrẳn ) occhuyen GQI l ma tr¼n xác suat chuyen sau phu bưác hay vào GQI tat Tőng qt ta có đ%nh lý sau: Đ%nh lý 1.1.1 Neu P ma tr¾n chuyen cua xích Markov Phan tu pij cua ma tr¾n Pn xác suat cua xích bat đau tù trang thái i sang trang thái j sau n bưác p(n): i j i j (n) Σ k∈ E k j(n−1) p = pikp Chúng minh Đe chúng minh bieu thúc cna đính lý ta l¾p lu¾n sau: H¾ xuat phát tù trang thái i chuyen sang trang thái j sau n bưóc ket qua cna vi¾c hắ xuat phỏt tự trang thỏi i, sau mđt búc chuyen sang trang thái k, sau n − bưóc tiep theo chuyen sang trang thái j Tù công thúc xác suat đay đn tính Markov ta có: (n) pij = P{Xn+1 = j|X0 = i} Σ = P (Xn = j|X0 = i, X1 = k).P (X1 = k|X0 = i) Σ k∈E = k∈E Σ k∈E P (Xn = j|X1 = k).P (X1 = k|X0 = i) − (n 1) kj = Đ%nh lí đưoc chúng minh p pik Đ%nh lý 1.1.2 Cho P ma tr¾n chuyen cua xích Markov u véctơ xác suat miêu ta phân bo ban đau Khi xác suat cua xích trang thái i sau n Tù dang tac, R =  1/2    2    D o 1/2 đ ó , B = N R =   3/2     1/2    1/2  2/1 0 1/2 3/2 1/2  3/4 1/4      =  /2  /2 /4 /4 e đây, hàng đau tiên cho ta biet, neu bat đau o trang thái xác suat 3/4 đat trang thái hap thu 0, 1/4 đat trang thái hap thu Gia su rang, neu thay đői dn ki¾n đe bài, ngưịi re phai vói xácnày suat 2/3 sang trái 1/3 ta có ma tr¾n xác suat chuyen sau   /3 0 P = 20  2/3    0  2/3 1/ 2/ 3  1/ 0  Ma tr¾n xác suat chuyen dưói dang tac là: 0 2/ 1/ /3 2/3 0 1/ 0 1   P=3  Khi đó, ta có   2/3 Q = 1/3 2/3  1/3 T a có I−Q=   0 2/  0   0     1/3     0   ; R=     2/3 −2/3 −1/3  −2/3 −1/3 N = (I − Q)−1 = 7/5 6/5    4/5 3/5 9/5 6/5 1/5 3/5 7/5       7/5 6/5 4/     =    9/5 6/ 3/5   t = Nc = 17 5 1  1       B = NR 7/5 6/5 4/5 3/5 9/5 6/5 1/5 3/5 = 7/5   1/3   0  = / 2/3 5 / / / / 14/15  Giađi su rang ngưịi say rưou đen trang thái anh ta1 quay lai tro lai trang thái bưóc tiep theo, neu đen trang thái 4đen roi quay lai tiep tuc trang thái đó, tù3thái bat kỳ trang cna xích có the đen MQI trang thái cna xích, suy xích Egođic 3.5 SE phá san cua ngưài chơi cà bac Trong muc ta nghiên cúu m®t loai du đ®ng ngau nhiên đoi xúng vào taq gia su pđó, nhung so vói thnc khơng âm p + q = hàm R bo e muc này, ta đ®ng gia đ %nh du ngau nhiên đoi xúng Thay the phân phoi chung cho bưóc nhay cnangau du đ®ng nhiên neu x = q, −1 Ngưịi ta có the nhiên ngau miêu ta dãy trò t q Loai o trù m m ¾ g o t i thúc cna n tran t g g r u thái ¾ a này, n m® x t n u ngư g a òi t đán ò h i h bac i chi n ắ mđ n t y dóy hỡnh dung du đ®ng m v neu x = p, sua p v t ó lan h i chơi a vói n g chơi sap ngua đong tien, m¾t x đoi sap xuat hi¾n phư vói xác suat c ơng v 3.5.1 SE phá san cua ngưài chơi cà bac Dang thúc cna du đ®ng ngau nhiên dan đen m®t van đe biet sE phá san cua ngưài chơi cà bac Ta miêu ta van đe sau M®t ngưịi chơi vói mđt long "tien CQc" l s ngũi ny chi cho đen von tien đen M ho¾c Trong ngơn ngu cna xích Markov, hai giá tr% tương úng vói trang thái hap thu Ta quan tâm đen xác suat xay cna m®t hai ket qua Ta xácq0 đ%nh xác=suat mà von cna ngưòi chơi tien đen túcsau: là, k làqM ý chơi rang = trưóc 1qvà 0.tien Moi quan cơtien ban giua qk 0, ngưịi thua, von đen M h¾ , vói đ¾t cQcác c ban đau k Ta qk = pqk+1 + qqk−1, vói 1đau ≤ ktiên, ≤ M −ngưịi 1.suat Đieu chi boi vìlà neu von cnatrưịng ngưịi chơi bang m®t ván sau von cna ngưịi chơi tro thành k.k,T +a vói xác suat pqđưoc k− vói xác suat hop xác cna lan thua cuoi qk+1q vàTrong trưòng hop ta có the thúc sau hai, qk−1 ýtrên rang p chơi + = 1, p(qk+1 − qk) = q(qk − qk−1), hay q qk+1 − qk = (qk − qk−1) p Tù thúc này, de dàng chi Σk q (q1 − q0) (3.4) qk+1 − qk = p Bây giò ta su dung tőng long suy thúc chi có m®t bien q1 −1 = qM − q0 M−1 Σ = (qk+1 − qk) , k=0 M −1 Vì the Σ Σ k=0 q p k q0) (q − Σ1 Σ −1 M −1 = (q1 − q0) = k=0 q p k , Neu p ƒ= q, bieu thúc bang − (q1 ) − 1) −) = ((q/pM (q/p) − q Trưòng hop p = q = 1/2 ta suy thúc −1 = (q1 − q0)M Trong trưòng hop ta gia su rang p ƒ= q Khi ta có ((q/p)−1) q1 − q0 = − (q/p)M − Vói bat kì z, ≤ z ≤ M , ta có z−1 Σ qz − q0 Σ Σ − Vì th e = (qk+1 − qk) k=0 M −1 = (q1 − q0) k=0 pq k ((q/p)z − 1) = −(q1 − q0) (q/p) − ((q/p)z 1) = − (q/p)M − ((q/p)z − 1) qz (q/p )M = −1 = − z −)((q/p Mz (q/p) ) M − ( q/ p) M − Cuoi neu p = q= 1/2 ta de dàng chi rang q = M z Ta xáctói đ%nh, vói 1ta ≤có z tùng ≤ Mra,tien đai lưong xác suat mà von cnaphương ngưòi z nhiên chơi tien mà chưa 0.pKhi trị ta chơi kéo dài vơ han đ%nh, vói MQI ztrên pchi qneu có có thethe dùng z + z =đen pháp tương tnM đe p1,ƒ= z Tuy (q/p) −q,1)thì Và neu p = q = 1/2 qz (q/p)M − z = qz = M Vì v¾y vói MQI z, pz + qz = 1, the trị chơi ket thúc vói xác suat bang 3.5.2 Đoi phương cua ngưài chơi giàu vơ t¾n Ta tro lai van đe tìm xác suat o ván chơi cuoi neu đoi phương giàu vơ t¾n Xác suat có the đat đưoc M → ∞ bieu thúc cna qz z tính tốn o Neu p p bieu tien trưịng = tói 1/2 ta qz vơ = 1Ngưịi − z/M Vì thúc v¾y neu ∞,Trong ta chơi thay xác suat tien tói(q/p) có ta có the gia suM mà ngưịi nhieu vánpnày màqđoi phương "giàu von cnaTrong ngưòitrưòng chơi bang Trên so này, tính xác suat t¾n" hop này, tacơ cótồn the nóingưịi rang ta chicó cóthe m®t trang thái hap thu mà ngưịi chơi thua hồn 3.6 Xã h®i HQC Mơ hình xích Markov có hai trang thái có ý nghĩa thnc tien sau: Gia lóp ngưịi Ta ký hi¾u trang thái khơng mac van đem®t xã su mai dâm,v.v ta ) nghiên cỳa mđt van e xó hđi (tđi pham, nghiắn hỳt, h®i trang thái mac van đe xã hđi Chang han, thong kờ tỡnh trang nghiắn hỳt cna 1200 sinh viên ta có so li¾u ban đau sau: 1000 khơng nghi¾n, 200 nghi¾n V¾y ty l¾ ban đau 1000 200 = = 0, 167 = 0, 833; p1 = p0 = 1200 1200 sau ba tháng, bQN bn bán ma túy hoat đ®ng manh nhung bi¾n viên ( tù chuyen thành hay 1v.v ho¾c có chuyen phápso xó1200 hđi( ny) tuyờnse truyen giỏo duc, cai nghiắn, )tùnên nhung sinh thành hay • → có nghĩa trưóc khơng nghi¾n, van khụng nghiắn ã cú ngha trúc õy khụng nghiắn, nghiắn ã cú ngha trúc õy nghiắn, khụng nghiắn ã → có nghĩa trưóc nghi¾n, van nghi¾n Các so li¾u có the thu th¾p đưoc, chang han:    990 10  Ta có 24 176 10 990 24 p00 = 1000 p10 = 200 = 0, 99; = 0, 12; = 0, 01 p01 = 1000 p11 = 176= 0, 88 200 Như v¾y ta đưoc mơ hình xích Markov (Xn) sau: • Khơng gian trang thái E={0,1} • Phân phoi ban đau u = (p0, p1) = (5/6, 1/6) = (0, 833; 0, 167) ã Ma trắn xỏc suat chuyen  p00 p01   =   0, 99 0, 01 0, 12 0, 88 Theo mô hình xích Markov hai trang thái vói a = 0, 01 b = 0, 12 Rõ ràng p10 |1 − a − b| < Vì the  b  a  0, 923 0, 077  p11 lim n ∞ P (n) = a + b a + b b a + b a 0, 9230, 077  a + b =  Ket lu¾n: phoi cân bang tng lai se cú phõn ã Ty lắ ngũi khơng nghi¾n xap xi 92%   ã Ty lắ ngũi nghiắn l xap xi 8% T at nhiên, ta (n) phai tính đen toc đ® có h®i tu cna P Trong thnc te, (3) the máy tính đethiet tính Neu P (2), P , 24, dùng se rút nbang can = thìcó có nghĩa 24x3=6 năm cân nói n Sau tháng đau tiên ta có ty l¾ ngưịi khơng nghi¾n ngưịi nghi¾n  = 0, 845 0, u(1) = uP = 155 Σ 5/6 0, 99 01 1/6 0, 12 0, 88 Đe dn báo tháng tiep theo tình hình se ta can tính 9813 0187 u(2) = uP = 0, 5/6 1/6 0, 22440,  7756 Đe dn báo  tháng sau nua can tính  = 0, 855 0, 145 Σ   026269 0, 973731 u(3) = uP = Σ 0, 5/6 1/6 0, 315   864 = 0, 0, 136 Σ 228 Σ Khi n = 24 ta đưoc 0,(24) 9257966 0742034 u = uP 24 = 0, 5/6 1/6 44 0, 890  = 0, 9199 0, 0801 Σ KET LUắN Luắn ó trỡnh by mđt cỏch chi tiet v hắ thong ve Xớch Markov, du đng ngau nhiờn m®t vài úng dung cna N®i dung cna lu¾n văn bao gom: Các van đe ve xích Markov, đ%nh nhĩa đ¾c điem đe nh¾n biet m®t q trình xích Markov so xét ma tr¾n chuyen cna Nêu đ¾c điem ban cna xích Markov hap thu, xích Markov egođic ví du minh HQA cu the kèm M®t so úng dung quan TRQNG cna xích Markov du đng ngau nhiờn úng gúp chớnh luắn Đưa đ%nh nghĩa xích Markov đ%nh lý đe xác đ%nh xác suat chuyen ma tr¾n chuyen Chúng minh đ%nh lý giói han trung tâm cho xích Markov 3.Trình bày chi tiet ve du đ®ng ngau nhiên ví du kèm 4.Các úng dung quan TRQNG cna xích Markov du đ®ng ngau nhiên thnc te Tài li¾u tham khao [1] Nguyen Duy Tien (2000), Các mơ hình xác suat úng dnng, NXB HQc Quoc gia H nđi [2] ắng Hùng Thang (1998), Má đau ve lý thuyet xác suat úng dnng, Nhà xuat ban Giáo duc, Hà N®i [3] differential equations Lawrence C Evans, An Introduction to stochastic ... Chương m®t trình bày ve xích Markov: đ%nh nghĩa ban, ma tr¾n chuyen, ví du trưịng hop riêng cna xích Markov, xích Markov hap thu, xích egođic, xích quy Chương hai se trình bày ve du đng ngau nhiờn,... mang tên q trình Markov Xích Markov trưịng hop riêng cna q trình Markov( ta có the đánh so đưoc trang thái) Lu¾n văn ny e cắp túi xớch Markov, du đng ngau nhiờn úng dung Bo cuc lu¾n văn gom ba chương,... cna và? ?ánh E3,là gian trang thái cna X(t) Neu X(t) có tính Markov đưoc ta X(t) đưoc GQI xích Markov Thêm vào tr% đó, neuX(t) tvà = E0, 1,GQI2,so khơng có khái ni¾m xích Markov vói thịi đ%nh xích