Xích markov, du động ngẫu nhiên và ứng dụng

Mục lục Lời nói đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 Xích Markov 6 1.1 Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1.1 Các định nghĩa . . . . . . . . . . . . . . . . . . . . . . 6 1.1.2 Ma trận chuyển . . . . . . . . . . . . . . . . . . . . . . 7 1.1.3 Các ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2 Xích Markov hấp thụ . . . . . . . . . . . . . . . . . . . . . . . 10 1.2.1 Dạng chính tắc . . . . . . . . . . . . . . . . . . . . . . 10 1.2.2 Xác suất hấp thụ . . . . . . . . . . . . . . . . . . . . . 11 1.2.3 Ma trận cơ bản . . . . . . . . . . . . . . . . . . . . . . 12 1.2.4 Thời gian tiến tới hấp thụ . . . . . . . . . . . . . . . . 13 1.2.5 Xác suất hấp thụ . . . . . . . . . . . . . . . . . . . . . 14 1.3 Xích Markov egođic . . . . . . . . . . . . . . . . . . . . . . . 15 1.3.1 Xích Markov chính quy . . . . . . . . . . . . . . . . . 16 1.3.2 Vectơ cố định . . . . . . . . . . . . . . . . . . . . . . . 19 1.3.3 Trạng thái cân bằng . . . . . . . . . . . . . . . . . . . 22 1.3.4 Ví dụ về xích Egođic . . . . . . . . . . . . . . . . . . . 24 1.4 Định lí giới hạn cơ bản cho xích chính quy . . . . . . . . . . . 26 1.5 Thời gian trung bình chuyển qua cho xích Egođic . . . . . . . 29 1 1.5.1 Thời gian trung bình chuyển qua lần đầu tiên . . . . . 29 1.5.2 Thời gian trung bình quay lại . . . . . . . . . . . . . . 31 1.5.3 Ma trận trung bình lần đầu tiên đi qua và ma trận trung bình quay lại . . . . . . . . . . . . . . . . . . . . 32 1.5.4 Ma trận cơ bản . . . . . . . . . . . . . . . . . . . . . . 34 1.5.5 Sử dụng ma trận cơ bản để tính ma trận thời gian trung bình chuyển qua lần đầu tiên . . . . . . . . . . . . . . 37 1.5.6 Định lí giới hạn trung tâm cho xích Markov . . . . . . 40 2 Du động ngẫu nhiên 41 2.1 Du động ngẫu nhiên trong không gian Ơ’clit . . . . . . . . . . 41 2.1.1 Du động ngẫu nhiên trên đường thẳng thực . . . . . . 42 2.1.2 Du động ngẫu nhiên tổng quát . . . . . . . . . . . . . 43 2.1.3 Sự quay lại và sự quay lại lần đầu tiên . . . . . . . . . 44 2.1.4 Xác suất hồi quy . . . . . . . . . . . . . . . . . . . . . 47 2.1.5 Kỳ vọng của số lần ở vị trí cân bằng . . . . . . . . . . 51 2.2 Luật arcsin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3 Ứng dụng 60 3.1 Mô hình Ehrenfest được dùng để giải thích sự khuếch tán khí ga 60 3.2 Di truyền . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.3 Kinh tế . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.3.1 Mô hình phân chia thị trường . . . . . . . . . . . . . . 63 3.3.2 Mô hình quản lý tiến mặt . . . . . . . . . . . . . . . . 68 3.3.3 Mô hình kiểm kê . . . . . . . . . . . . . . . . . . . . . 70 3.3.4 Mô hình phục vụ đám đông . . . . . . . . . . . . . . . 72 3.4 Đường đi của người say rượu . . . . . . . . . . . . . . . . . . 74 3.5 Sự phá sản của người chơi cờ bạc . . . . . . . . . . . . . . . . 79 3.5.1 Sự phá sản của người chơi cờ bạc . . . . . . . . . . . . 80 2 3.5.2 Đối phương của người chơi giàu vô tận . . . . . . . . . 82 3.6 Xã hội học . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . 86 3 LỜI NÓI ĐẦU Đầu thế kỷ XX, A.A. Markov(14/6/1856 - 20/7/1922)- nhà Toán học và Vật Lý nổi tiếng người Nga đã đưa ra một mô hình toán học để mô tả chuyển động của các phần tử chất lỏng trong một bình kín. Về sau mô hình này được phát triển và sử dụng trong nhiều lĩnh vực khác như cơ học, sinh học, y học, kinh tế,vv . . . và được mang tên là quá trình Markov. Xích Markov là trường hợp riêng của quá trình Markov( khi ta có thể đánh số được các trạng thái). Luận văn này đề cập tới xích Markov, du động ngẫu nhiên và ứng dụng. Bố cục luận văn gồm ba chương, phần kết luận và danh mục tài liệu tham khảo. Chương một trình bày về xích Markov: các định nghĩa cơ bản, ma trận chuyển, các ví dụ và các trường hợp riêng của xích Markov, xích Markov hấp thụ, xích egođic, xích chính quy. Chương hai sẽ trình bày về du động ngẫu nhiên, các đặc điểm của nó và luật arcsin. Chương ba sẽ trình bày các ứng dụng của xích Markov và du động ngẫu nhiên trong thực tế. Luận văn này được thực hiện dưới sự hướng dẫn của GS.TSKH Đặng Hùng Thắng. Toàn thể ban lãnh đạo và các thầy cô trong khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên - Đại học Quốc Gia Hà nội đã giúp tôi có thêm nhiều kiến thức để có thể hoàn thành luận văn và khóa học một cách tốt đẹp. Các thầy cô phòng Sau Đại học đã tạo những điều kiện thuận lợi giúp tôi hoàn thành các thủ tục bảo vệ luận văn cũng như học tập. 4 Các thầy và các bạn trong seminar Lý thuyết xác suất và thống kê toán học về những góp ý để tôi có thể hoàn thành luận văn này. Tôi xin chân thành cảm ơn tất cả những sự giúp đỡ và đóng góp quý giá ấy. Tôi rất mong nhận được những ý kiến đóng góp của quý thầy cô và các bạn. Hà Nội, tháng 11 năm 2014 Đặng Thị Thỏa 5 Chương 1 Xích Markov 1.1 Xích Markov 1.1.1 Các định nghĩa Giả thiết ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý hoặc sinh thái nào đó. Ký hiệu X(t) là ví trí của hệ tại thời điểm t. Tập hợp các vị trí có thể có của hệ được gọi là không gian trạng thái. Giả sử trước thời điểm t trong tương lai t > s hệ ở trạng thái j với xác suất là bao nhiêu? Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều này có nghĩa là: sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ. Đó là tính Markov. Hệ có tính chất này được gọi là quá trình Markov. Ta kí hiệu E là tập gồm các giá trị của X(t) và gọi E là không gian trạng thái của X(t). Nếu X(t) có tính Markov và E đánh số được thì X(t) được gọi là xích Markov. Thêm vào đó, nếu t = 0, 1, 2, 3, . . . thì ta có khái niệm xích Markov với thời gian rời rạc, còn nếu t ∈ (0, +∞) thì ta có định nghĩa xích Markov có thời gian liên tục. 6 Về phương diện toán học, tính Markov có thể định nghĩa như sau: Định nghĩa 1.1.1. Ta nói rằng X(t) có tính Markov nếu: P {X(t n+1 ) = j|X(t 0 ) = i 0 , . . . , X(t n−1 ) = i n−1 , X(t n ) = i} = P{X(t n+1 ) = j|X(t n ) = i} với bất kì t 0 < t 1 < . . . < t n < t n+1 < . . . và i 0 , . . . , i n−1 , i, j ∈ E. Ta xem t n là hiên tại, t n+1 là tương lai, (t 0 , . . . , t n−1 ) là quá khứ. Vì thế biểu thức trên chính là tính Markov của X(t). Đặt P(s, i, t, j) = P (X(t) = j|X(s) = i), (s < t). Đó chính là xác suất có điều kiện để hệ (quá trình) tại thời điểm s ở trạng thái i, đến thời điểm t chuyển sang trại thái j. Vì thế ta gọi là xác suất chuyển của hệ ( hay quá trình). Nếu xác suất chuyển chị phụ thuộc vào (t − s), tức là P (s, i, t, j) = P (s + h, i, t + h, j) thì ta nói hệ (quá trình) thuần nhất theo thời gian. 1.1.2 Ma trận chuyển Giả sử X n ở hàng thứ nhất của ma trận P trong ví dụ 1.1.3 ở trên mô tả xác suất của biến thể hiện trạng thái thời tiết mưa. Tương tự hàng hai và hàng ba tương ứng với thời tiết đẹp trời và có tuyết rơi. Ma trận vuông như vậy gọi là ma trận xác suất chuyển hay ma trận chuyển. Giả sử X n ; n = 0, 1, 2, . . . là xích rời rạc vầ thuần nhất. Nói một cách chính xác là: giả sử (Ω, A, P ) là không gian xác suất, X n : Ω → Elà biến (đại lượng)ngẫu nhiên nhận giá trị trong tập đếm được E. E là không gian trạng thái, các phần tử của nó được kí hiệu là i, j, k, . . Khi đó, tính Markov và 7 tính thuần nhất của X n có nghĩa là: p ij = P{X(t n+1 ) = j|X(t n ) = i} = P{X(t n+1 ) = j|X(t 0 ) = i 0 . . . , X(t n−1 ) = i n−1 , X(t n ) = i} không phụ thuộc vào n. P = (p ij ) được gọi là ma trận xác suất chuyển sau 1 bước hay gọi tắt là ma trận chuyển. Tổng quát thì ta có định lý sau: Định lý 1.1.1. Nếu P là ma trận chuyển của xích Markov. Phần tử p ij của ma trận P n là xác suất của xích bắt đầu từ trạng thái i sang trạng thái j sau n bước là p (n) ij : p (n) ij =  k∈E p ik p (n−1) kj Chứng minh. Để chứng minh biểu thức của đính lý này ta lập luận như sau: Hệ xuất phát từ trạng thái i và chuyển sang trạng thái j sau n bước là kết quả của việc hệ xuất phát từ trạng thái i, sau một bước chuyển sang trạng thái k, sau n − 1 bước tiếp theo chuyển sang trạng thái j. Từ công thức xác suất đầy đủ và tính Markov ta có: p (n) ij = P{X n+1 = j|X 0 = i} =  k∈E P (X n = j|X 0 = i, X 1 = k).P (X 1 = k|X 0 = i) =  k∈E P (X n = j|X 1 = k).P (X 1 = k|X 0 = i) =  k∈E p ik p (n−1) kj Định lí được chứng minh. Định lý 1.1.2. Cho P là ma trận chuyển của xích Markov và u là véctơ xác suất miêu tả phân bố ban đầu. Khi đó xác suất của xích ở trạng thái i sau n 8 bước là phần tử thứ i của véctơ: u (n) = uP n 1.1.3 Các ví dụ Các ví dụ sau về xích Markov sẽ được sử dụng trong suốt các bài tập của chương. Ví dụ 1.1.1. Tổng thống Mỹ kể cho một người A về việc có hoặc không tranh cử trong cuộc tuyển cử tới. Nếu A thay dổi câu trả lời và chuyển tiếp tới B và B là người chuyển tiếp cho C,vv luôn luôn chuyển tiếp cho một người mới. Ta đặt xác suất là a với một người thay đổi câu trả lời từ có sang không khi truyền thông điệp cho một ng tiếp theo và xác suất là b mà người đó thay đổi từ không sang có. Ta chọn các trạng thái của thông điệp là có hoặc không. Ma trận chuyển như sau: P =   Y es No Y es 1 − a a No b 1 − b   Ví dụ 1.1.2. Mỗi một con ngựa bất kì chạy trong một cuộc đua ba con ngựa có ba trường hợp xảy ra với xác suất chiến thắng, nhì và thứ ba lần lượt là 1/2,1/4 và 1/4, độc lập với các kết quả trước đó. Chúng ta có thể có quá trình kiểm tra độc lập nhưng cũng có thể tính toán thông qua lý thuyết của xích Markov. Ma trận chuyển: P =      W P S W .5 .25 .25 P .5 .25 .25 S .5 .25 .25      9 Ví dụ 1.1.3. Theo Kemeny, Snell, và Thompson, vùng đất với nhiều may mắn, Land of Oz lại có một hệ thống thời thiết không hề tốt. Họ không bao giờ có hai ngày đẹp trời liên tiếp. Nếu hôm nay là ngày đẹp trời thì ngày mai là ngày có tuyết hoặc mưa. Nếu có mưa hoặc tuyết rơi thì ngày tiếp theo cũng sẽ tương tự. Nếu có sự thay đổi giữa có tuyết rơi và mưa thì chỉ có một nửa thời gian còn lại là đẹp trời. Với những thông tin trên, chúng ta có thể xác định được xích Markov như sau. Ta kí hiệu ba trạng thái thời tiết là R, N và S. Từ các thông tin trên ta xác định được ma trận chuyển là một ma trận vuông: P =      R N S R 1/2 1/4 1/4 N 1/2 0 1/2 S 1/4 1/4 1/2      1.2 Xích Markov hấp thụ Các chủ đề của chuỗi Markov được nghiên cứu một cách tốt nhất bằng cách xem xét các loại đặc biệt của xích Markov. Định nghĩa 1.2.1. Một trạng thái i của xích Markov được gọi hấp thụ nếu nó không thể rời khỏi trạng thái đó ( tức là p ii = 1). Một xích Markov được gọi là hấp thụ nếu nó có ít nhất một trạng thái hấp thụ và từ bất kì trạng thái nào đều có thể đi tới trạng thái hấp thụ ( không nhất thiết qua nột bước) Định nghĩa 1.2.2. Trong một xích Markov hấp thụ, một trạng thái không phải trạng thái hấp thụ được gọi là trạng thái tức thời. 1.2.1 Dạng chính tắc Nghiên cứu một xích Markov bất kì. Đánh số lại các trạng thái sao cho trạng thái bắt đầu là trạng thái tức thời. Nếu có r trạng thái hấp thụ và t 10 [...]... = N(I − Qn+1 ) Cho n → ∞ ta có N = I + Q + Q2 + Nếu i và j là hai trạng thái tức thời, và giả định trong suốt quá trình chứng minh i và j là cố định Giả sử X k là biến ngẫu nhiên, bằng 1 nếu xích 12 ở trạng thái j sau k bước và bằng 0 trong các trường hợp còn lại Với mỗi k, biến ngẫu nhiên này phụ thuộc cả i và j Ta có (k) P (X k = 1) = qij và (k) P (X k = 0) = 1 − qij , (k) ở đây qij là phần tử... 1.3 Xích Markov egođic Trong mục này, ta đi nghiên cứu loại xích Markov quan trọng có tên là xích Markov egođic Cụ thể như sau Định nghĩa 1.3.1 Một xích Markov được gọi là xích egođic nếu có thể đi đến bất kì trạng thái nào từ mọi trạng thái của xích( không nhất thiết qua 1 bước di chuyển) Trong nhiều cuốn sách, xích egođic còn được gọi là xích bất khả quy Định nghĩa 1.3.2 Xích Markov được gọi là xích. .. định nghĩa, mọi xích chính quy đều là xích egođic Ngược lại, xích egođic không nhất thiết là xích chính quy Ví dụ sau chỉ rõ điều đó: Ví dụ 1.3.1 Nếu xích Markov có ma trận chuyển cho bởi: 1 2 P= 1 2   0 1 1 0   Rõ ràng xích có thể đi từ trạng thái này đến trạng thái kia vì thế nó là xích egođic Tuy nhiên, nếu n lẻ thì nó có thể chuyển từ trạng thái 0 đến trạng thái 0 trong n bước, và nếu n chẵn,... 1.3.6 (Luật số lớn cho xích Markov Egođic) Nếu Hj là tỉ lệ về số lần ở trạng thái j trong n bước của một xích Egođic thì với mọi > 0, (n) P |Hj − wj | > →0 không phụ thuộc vào trạng thái bắt đầu i (n) Với Hj = số lần xích ở trạng thái j trong n bước n+1 Ta chú ý rằng mọi xích Markov chính quy đều là xích Egođic Vì vậy, định lí 1.3.5 và 1.3.6 cũng đúng với xích chính quy 1.3.4 Ví dụ về xích Egođic Việc tính... tổng hội tụ tới ma trận I − P + W và ta gọi ma trận hội tụ này là ma trận cơ bản liên kết với xích và kí hiệu là Z Trong trường hợp đó, xích là xích egođic, nhưng không phải là xích chính quy, nó không đúng với Pn → W khi n → ∞ Tuy nhiên ma trận I − P + W vẫn có ma trận nghịch đảo, bây giờ ta sẽ chỉ ra điều này Bổ đề 1.5.1 Giả sử P là ma trận chuyển của một xích egođic và nếu W là ma trận mà tất cả các... chuyển của xích Egođic theo định lí 1.3.2 chỉ ra rằ ng, có duy nhất một vectơ xác suất cố định cho ma trận P Vì vậy ta có thể sử dụng thuật toán tương tự để tìm vectơ cố định cho xích chính quy Đặc biệt, chương trình FixedVector vẫn chạy được với xích Egođic Để làm sáng tỏ định lí 1.3.5, ta giả sử rằng ta có một xích Egođic bắt đầu ở trạng thái i Giả sử X (m) = 1 nếu bước thứ m xích ở trạng thái j và bằng... 375 188 438 Trong trường hợp này xích Markov là xích chính quy Một ví dụ về xích Markov không chính quy là xích hấp thụ Giả sử nếu:   1 0  P= 1/2 1/2 là ma trận chuyển của một xích Markov Thì với bất kì mũ nào, P luôn có phần tử không ở góc trên bên phải Sau đây ta nghiên cứu hai định lí quan trọng về xích chính quy Định lý 1.3.1 Nếu P là ma trận chuyển của một xích Markov chính quy Thì, khi n... được chứng minh Bây giờ ta trở lại chứng minh định lí giới hạn cơ bản của xích Markov chính quy Chứng minh Ta chứng minh định lí này trong trường hợp đặc biệt , P là ma trận không có phần tử nào bằng 0 Mở rộng cho hầu hết các trường hợp là trong bài tập 5 Nếu y là vectơ cột bất kì với r thành phần, với r là số trạng thái của xích Giả sử rằng,r > 1, trường hợp khác của định lí là tầm thường Nếu Mn và mn... xác suất cố định cho ma trận chuyển Chứng minh Nhân hai vế của đẳng thức 1.5.5 với w và sử dụng tính chất w(I − P) = 0 32 ta được wC − wD = 0 Ở đây wC là vectơ hàng với tất cả các phần tử bằng 1 và wD là vectơ hàng với phần tử thứ i là wi ri vì vậy (1, 1, , 1) = (w1 r1 , w2 r2 , , wn rn ) và ri = 1/wi Khi đó định lí được chứng minh Hệ quả 1.5.1 Với mỗi xích Markov egođic, tất cả các thành phần... xích hấp thụ Trong trường hợp xích hấp thụ, ma trận cơ bản có thể được sử dụng để tìm một số lượng con số hấp dẫn bao gồm xích egođic Sử dụng ma trận này, ta có phương pháp để tính toán thời gian trung bình chuyển qua cho xích egođic một cách dễ dàng hơn phương pháp đã trình bày ở trên Trong mục này, trên cơ sở định lí giới hạn trung tâm ( không chứng minh), mệnh đề sử dụng cho ma trận cơ bản Ta bắt . cho xích Markov . . . . . . 40 2 Du động ngẫu nhiên 41 2.1 Du động ngẫu nhiên trong không gian Ơ’clit . . . . . . . . . . 41 2.1.1 Du động ngẫu nhiên trên đường thẳng thực . . . . . . 42 2.1.2 Du. của xích Markov, xích Markov hấp thụ, xích egođic, xích chính quy. Chương hai sẽ trình bày về du động ngẫu nhiên, các đặc điểm của nó và luật arcsin. Chương ba sẽ trình bày các ứng dụng của xích. . và được mang tên là quá trình Markov. Xích Markov là trường hợp riêng của quá trình Markov( khi ta có thể đánh số được các trạng thái). Luận văn này đề cập tới xích Markov, du động ngẫu nhiên