Mối liên hệ giữa xích markhov thời gian liên tục, quá trình poisn và quá trình sinh chết

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ MINH THỦY MỐI LIÊN HỆ GIỮA XÍCH MARKOV THỜI GIAN LIÊN TỤC, QUÁ TRÌNH POISSON VÀ QUÁ TRÌNH SINH CHẾT LUẬN VĂN THẠC SỸ TỐN HỌC Nghệ An - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ MINH THỦY MỐI LIÊN HỆ GIỮA XÍCH MARKOV THỜI GIAN LIÊN TỤC, Q TRÌNH POISSON VÀ QUÁ TRÌNH SINH CHẾT Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60.46.01.06 LUẬN VĂN THẠC SỸ TOÁN HỌC Người hướng dẫn khoa học: TS Nguyễn Trung Hòa Nghệ An - 2017 Lời cảm ơn Trong trình thực đề tài “ Mối quan hệ xích Markov thời gian liên tục, trình Poisson q trình sinh chết ” Tơi nhận quan tâm, hướng dẫn, giúp đỡ, động viên nhiều cá nhân, tập thể Tôi xin bày tỏ cảm ơn sâu sắc đến tất cá nhân tập thể tạo điều kiện giúp đỡ học tập nghiên cứu Tôi xin gửi lời cảm ơn tới Ban Giám hiệu, Phòng Đào tạo sau Đại học, phòng, khoa Trường Đại học Vinh tạo điều kiện giúp đỡ tơi mặt q trình học tập hồn thành luận văn Tơi xin trân trọng cảm ơn tri ân sâu sắc quan tâm, hướng dẫn tận tình giáo viên hướng dẫn TS Nguyễn Trung Hịa giúp tơi hồn thành luận văn Trong trình làm luận văn, có nhiều cố gắng trình độ lý luận kinh nghiệm thực tiễn hạn chế nên báo cáo khơng thể tránh khỏi có thiếu sót Rất mong nhận ý kiến đóng góp Thầy, Cơ nhà khoa học để tơi hồn thành tốt báo cáo tới Tôi xin chân thành cảm ơn! Mục lục Lời cảm ơn Mở đầu Quá trình ngẫu nhiên 1.1 1.2 1.3 Khái niệm trình ngẫu nhiên 1.1.1 Biến ngẫu nhiên 1.1.2 Quá trình ngẫu nhiên Xích Markov 1.2.1 Định nghĩa 1.2.2 Phân loại trạng thái xích Markov 1.2.3 Xích Markov với thời gian liên tục 1.2.4 Thời gian trung bình đến trạng thái hấp thụ Quá trình sinh chết 10 1.3.1 Mở đầu 10 1.3.2 Luật biến cố 12 1.3.3 Quá trình Poisson 13 1.3.4 Định nghĩa trình sinh chết 15 Các tính chất vi phân q trình sinh-chết 2.1 Vi phân trình sinh-chết 18 18 2.2 2.1.1 Thời gian tạm trú 18 2.1.2 Sự tạo vi phân trình sinh chết 19 Phương trình vi phân trình sinh-chết 21 2.2.1 Phương trình vi phân lùi Kolmogorov 22 2.2.2 Phương trình vi phân tiến Kolmogorov 24 2.2.3 Phương pháp mũ giải phương trình vi phân lùi Kolmogorov 2.3 26 Một số ứng dụng 27 2.3.1 Ứng dụng trình Poisson 27 2.3.2 Xác suất đến trạng thái hấp thụ trình sinh-chết 2.3.3 Xác suất hấp thụ thơng qua tính tốn ma trận (hữu hạn trạng thái) 2.4 29 31 Thời gian trung bình đạt trạng thái hấp thụ trình sinh-chết 36 2.4.1 Phương pháp xác suất 36 2.4.2 Tính thời gian trung bình đến trạng thái hấp thụ ma trận 39 MỞ ĐẦU Quá trình sinh-chết trường hợp đặc biệt trình Markov với thời gian liên tục mà trình chuyển đổi trạng thái có hai loại: "sinh", làm tăng biến trạng thái đơn vị "chết", giảm đơn vị Tên mơ hình đến từ ứng dụng phổ biến, sử dụng mơ để đại diện cho kích thước dân số có chuyển tiếp sinh tử vong Các q trình sinh-chết có nhiều ứng dụng nhân học, lý thuyết hàng đợi, kỹ thuật biểu diễn, dịch tễ học sinh học Chúng sử dụng, ví dụ để nghiên cứu phát triển vi khuẩn, số lượng người với bệnh dân cư, số lượng khách hàng xếp hàng siêu thị Q trình sinh-chết mơ tả sau Không gian trạng thái Z+ Để ghi nhận việc chuyển đổi ta dùng mô hình "đồng hồ mũ" Với trạng thái n hai đồng hồ mũ với tỷ lệ λn , µn gắn vào Giả sử trạng thái X(t) = n > Nếu đồng hồ với tốc độ λn ngừng trước, xích chuyển đến trạng thái n + thời điểm t + u ngược lại xích chuyển đến trạng thái n − thời điểm t + v Một cách hình thức, ta đặt u ∼ E(λn ), v ∼ E(µn ) biến ngẫu nhiên độc lập có phân bố mũ với tham số λn µn tương ứng Nếu u < v, X(t + u) = n + 1, v < u X(t + v) = n − (Trường hợp u = v bỏ qua xác suất điểm 0) Trong trường hợp đặc biệt, n = ta giả thiết có biến ngẫu nhiên u xích chuyển sang trạng thái sau thời gian u Nếu sử dụng ngơn ngữ xích Markov ta mơ tả q trình sau: Giả thiết xích trạng thái n, X(t) = n Một thời gian ngẫu nhiên u ∼ E(λn + µn ) xích chuyển sang trạng thái n + với xác suất λn λn +µn n − với xác suất µn λn +µn Việc cần tìm hiểu quy luật xuất biến cá thể trình Để tìm hiểu rõ trình ta liên tưởng đến q trình Markov hay xích Markov với thời gian liên tục trình Poison phức hợp Quá trình sinh-chết trước tiên ứng dụng rộng rãi sinh học Tuy nhiên, sau ý nghĩa ứng dụng vượt ngồi lĩnh vực quan tâm đặc biệt khoa học máy tính nhiều ngành khoa học khác Mục tiêu nghiên cứu luận văn tìm hiểu xích Markov với thời gian liên tục, q trình Poisson, trình sinh-chết trình sinh-chết mối liên hệ với q trình Poisson Chính vậy, luận văn tập trung tìm hiểu trình ngẫu nhiên, xích Markov, xích Markov với thời gian liên tục, trình Poisson, trình sinh-chết mối liên hệ chúng; Các tính chất trạng thái hấp thụ trình sinh-chết Tìm hiểu số mơ hình liên quan Ngồi phần Mở đầu, Kết luận Tài liệu tham khảo, luận văn gồm nội dung sau: Chương Quá trình ngẫu nhiên Trong chương chúng tơi trình bày khái niệm biến ngẫu nhiên, q trình ngẫu nhiên; Xích Markov, xích Markov với thời gian liên tục; Các loại trạng thái quan tâm nhiều đến trạng thái hấp thụ - trạng thái kết thúc q trình; mơ hình liên quan: Quá trình sinh- chết Chương Các tính chất q trình sinh-chết Nội dung chương bao gồm Vi phân trình sinh-chết; Phương trình vi phân trình sinh chết: phương trình vi phân lùi phương trình vi phân tiến Kolmogorov ứng dụng trình sinhchết để xác định thời gian trung bình đến trạng thái hấp thụ loại q trình Luận văn hồn thành kết trình cố gắng thân giúp đỡ, động viên, khích lệ thầy, cô, bạn bè người thân Để đạt kết ngày hơm nay, với lịng biết ơn sâu sắc, em xin gửi đến thầy cô Viện Sư Phạm Tự Nhiên Viện Kĩ Thuật Và Công Nghệ hướng dẫn, truyền đạt kiến thức cho em trình nghiên cứu Đặc biệt em xin chân thành cảm ơn thầy TS Nguyễn Trung Hòa tận tâm hướng dẫn cung cấp tài liệu thông tin khoa học cần thiết để em hoàn thành tốt đề tài luận văn Trong trình thực đề tài khơng tránh khỏi thiếu sót điều chắn, kính mong bảo đóng góp q báu thầy cô bạn để đề tài hoàn thiện tốt Một lần em xin chân thành cảm ơn Nghệ An, ngày tháng năm 2017 Học viên Nguyễn Thị Minh Thủy Chương Quá trình ngẫu nhiên 1.1 1.1.1 Khái niệm trình ngẫu nhiên Biến ngẫu nhiên Định nghĩa 1.1.1 Giả sử (Ω, F, P) không gian xác suất G σ-đại số σ-đại số F Khi ánh xạ X : Ω → R gọi biến ngẫu nhiên G – đo ánh xạ G/B(R) đo (tức với B ∈ B(R) X −1 (B) ∈ G) Nếu biến ngẫu nhiên X nhận hữu hạn giá trị gọi biến ngẫu nhiên đơn giản Biến ngẫu nhiên gọi đại lượng ngẫu nhiên Trong trường hợp đặc biệt, X biến ngẫu nhiên F-đo X gọi biến ngẫu nhiên Biến ngẫu nhiên G – đo biến ngẫu nhiên Nếu X biến ngẫu nhiên họ σ(X) = (X −1 (B) : B ∈ B(R)) lập thành σ-đại số σ-đại số f , σ-đại số gọi σ-đại số sinh X Đó σ-đại số bé mà X đo Từ suy X biến ngẫu nhiên G –đo 26 2.2.3 Phương pháp mũ giải phương trình vi phân lùi Kolmogorov Ta thử giải phương trình lùi Kolmogorov P (t) = QP(t) để có biểu diễn tường minh P(t) Ta sử dụng kết quả: P (t) = QP(t) P(t) = etQ kết hợp với điều kiện P(0) = I để giải P(t): P(t) = eQt , ma trận eQt xác định chuỗi lũy thừa ∞ Qt e = n=0 ∞ Qn tn Qn tn =I+ n! n! n=1 Từ ta có mệnh đề sau Mệnh đề 2.2.1 Nghiệm P(t) phương trình vi phân lùi Kolmogorov xác định ∞ P(t) = I + n=1 Qn tn n! (2.2.12) 27 2.3 2.3.1 Một số ứng dụng Ứng dụng trình Poisson Ta áp dụng phương trình vào trình Poisson tổng quát với cường độ λ Tốc độ chuyển đổi bé trình Poisson     qi,i+1 = λ,    qii = −λ,      qij = 0, j = {i, i + 1} Để ý mơ hình q trình Poisson q trình sinh túy Sự chuyển từ i đến j n bước giống với lược đồ Bernoulli kích thước n với xác suất thành công λ (Đây xác suất để tăng thêm cá thể, điều trình chuyển từ i đến j) Bằng quy nạp, suy (n) qij =   C j−i λj−i (−λ)n−(j−i) , n  0, j−i khác Ta viết lại Cnj−i λj−i (−λ)n−(j−i) = Cnj−i λn (−1)n−(j−i) Do từ công thức ∞ P(t) = e Qt = n=0 ∞ Qn tn Qn tn =I+ , n! n! n=1 n, 28 suy t2 t1 pij (t) = δij + qij + qij + · · · 1! 2! ∞ n t (n) = qij n! n=0 ∞ = n=0 ∞ = n=0 ∞ = n=0 ∞ = n=0 tn j−i j−i Cn λ (−λ)n−(j−i) n! n! tn λj−i (−λ)n−(j−i) n! n!(n − (j − i))!(j − i)! tn λj−i (−λ)n−(j−i) (n − (j − i))!(j − i)!) tn−(j−i) tj−i (−λ)n−(j−i) (j − i)! (n − (j − i))!) (λt)j−i = (j − i)! ∞ n=0 (−λt)n−(j−i) (n − (j − i))! (2.3.1) Tuy nhiên n cần j − i bước chuyển để có j − i thay đổi Nên thay vào đó, n cần phải từ j − i Nếu đặt k = j − i, (λt)j−i pij (t) = (j − i)! ∞ n=0 j−i ∞ (λt) = (j − i)! n=0 (−λt)n−(j−i) (n − (j − i))! (−λt)k k! j−i = (λt) e−λt (j − i)! (2.3.2) Do đó, xác suất chuyển trùng với xác suất xác định theo trình Poisson Trong trường hợp j − i biểu thị số kiện (thay đổi) khoảng thời gian t 29 2.3.2 Xác suất đến trạng thái hấp thụ trình sinh-chết Do tăng trưởng dân số phụ thuộc vào dân số nên rõ ràng quy mơ dân số trở thành số 0, sau Nên ta giả thiết trình sinh-chết với trạng thái hấp thụ Xác suất hấp thụ cuối thành trạng thái 0, trạng thái i, ký hiệu ui Ta thực phân tích bước thứ xây dựng công thức đệ quy cho ui : Bước chuyển trạng thái dẫn đến bước chuyển sau λi µi + λi µi với xác suất µi + λi i −→ i + với xác suất i −→ i − (2.3.3) Sử dụng phân tích bước thứ ta thu λi µi ui+1 + ui−1 , i µi + λi µi + λi (λi ui+1 + µi ui−1 ) = µi + λi ui = λi ui + µi ui = λi ui+1 + µi ui−1 λi ui+1 − λi ui = µi ui − µi ui−1 µi ui+1 − ui = (ui − ui−1 ), λi (2.3.4) u0 =1 Nếu ta đặt vi = ui+1 − ui , cơng thức trở thành vi = µi vi−1 , i λi Lặp lại nhiều lần ta có vi = µi vi−1 λi 30 µi µi−1 vi−2 λi λi−1 µi µi−1 µi−2 vi = vi−3 λi λi−1 λi−2 µi µi−1 µi−2 v0 vi = λi λi−1 λi−2 vi = Nếu đặt µi µi−1 µ2 µ1 λi λi−1 λ2 λ1 ρ1 = ta thu vi = ρi v0 Trở lại thay vi = ui+1 − ui , ta có ρi = ui+1 − ui = ρi (u1 − u0 ) = ρi (u1 − 1) Lấy tổng hai vế theo i từ đến m − 1, ta có m−1 m−1 (ui+1 − ui ) = i=1 ρi (u1 − 1) i=1 m−1 (u2 − u1 ) + (u3 − u2 ) + · · · + (um−1 − um−2 ) + (um − um−1 ) = (u1 − 1) ρi i=1 m−1 um − u1 = (u1 − 1) ρi i=1 với u0 = Để giải u1 , ta lấy giới hạn m → ∞ Trong trường hợp um → Như m−1 um − u1 = (u1 − 1) ρi i=1 ∞ − u1 = (u1 − 1) ρi (2.3.5) i=1 ∞ ∞ ρi − = u1 i=1 ∞ ∞ ρi = u1 i=1 u1 = 1+ ρi + u1 i=1 ρi + i=1 ∞ i=1 ρi ∞ ρ i i=1 (2.3.6) 31 Bây sử dụng u1 để giải cho m tổng quát: m−1 um − u1 = (u1 − 1) ρi i=1 m−1 m−1 ρi − um = u1 i=1 um = um = um = um = 1+ ρi − u1 i=1 ∞ i=1 ρi ∞ i=1 ρi m−1 ρi − ∞ i=1 ρi × i=1 m−1 i=1 ρi ∞ i=1 ρi − m−1 i=1 ρi 1+ 1+ m−1 − ρi + 1+ i=1 m−1 i=1 ρi (1 + + ∞ i=1 ρi ∞ i=1 ρi ∞ i=1 ρi ∞ i=1 ρi ) + ∞ i=1 ρi ∞ i=1 ρi ∞ i=m ρi ∞ ρ i i=1 (2.3.7) Chúng ta có kết tương tự cách xem xét "di động ngẫu nhiên nhúng" gắn liền với trình 2.3.3 Xác suất hấp thụ thơng qua tính tốn ma trận (hữu hạn trạng thái) Xét không gian trạng thái hữu hạn S = {0, 1, 2, , M } Ta giả thiết λ0 = µ0 = λM = µM = 0, có nghĩa M trạng thái hấp thụ Định nghĩa W1 = (µ1 , 0, 0, , 0), W2 = (0, 0, , λM −1 1M −1 = (1, 1, , 1) véc tơ M − chiều Xét ma trận Q (là ma trận sinh vi phân trình) với ˆ với hàng cột, hai trạng thái M xây dựng ma trận Q ˆ tương tương ứng với hai trạng thái hấp thụ loại bỏ Thực ra, Q tự Q thông qua việc xóa hai dịng hai cột (0 M ) 32 (2.3.8) ˆ W1 Để ý ma trận Q biểu diễn thơng qua Q W2 :    Q = W  0   ˆ W2   Q  0 Nếu ta cần tính Qm   0    m−1  m m m−1 ˆ Q = Q W1 Q Q W2    0 ˆ dạng Ta tính P(t) = eQ(t) : xét Q ∞ ˆ ˆ m = eQt Q m=0 ˆ m−1 W1 ma trận trên: Nếu ta xét Q ∞ tm ˆ m−1 Q W1 = m! m=1 ∞ tm ˆ m−1 t0 ˆ 0−1 Q − Q W1 m! 0! m=0 ∞ ˆ −1 =Q (t) = h0 tm ˆ m Q − IM −1 W1 m! m=0 (2.3.9) 33 (t) (t) Tương tự, hM tính thơng qua W2 Để ý h0 véc tơ gồm xác suất hấp thụ trạng thái {1, , M − 1} (t) thành trạng thái sau thời gian t hM véc tơ gồm xác suất hấp thụ trạng thái {1, , M − 1} thành trạng thái M sau thời gian t Từ suy ∞ P(t) = e Qt = j=0 tj j Q j!   0    (t) Qt ˆ (t)  =  h0 e hM    0 (2.3.10) ˆ ˆ Hơn nữa, suy P(t), tương ứng với Q, ˆ ˆ P(t) = eQt ˆ Để ý eQt → t → ∞ nên h0 véc tơ xác suất chuyển từ trạng thái {1, 2, , M − đến trạng thái hấp thụ (t) ˆ −1 W1 h0 = lim h0 = −Q t→∞ véc tơ xác suất chuyển từ trạng thái {1, 2, , M − 1} đến trạng thái hấp thụ M (t) ˆ −1 W2 hM = lim hM = −Q t→∞ ˆ M −1 = nên Vì W1 + W2 + Q1 ˆ M −1 = W1 + W2 = −Q1 34 Thay vào giới hạn tổng h0 + hM , ta có ˆ −1 W1 − Q ˆ −1 W2 h0 + hM = −Q ˆ −1 (W1 + W2 ) = −Q ˆ −1 )(−Q)1 ˆ M −1 = (−Q = I1M −1 = 1M −1 (2.3.11) Điều tương đương với việc nói rằng, trạng thái {1, 2, , M − 1} cuối hấp thụ M với xác suất ˆ −1 biểu diễn thơng qua tỉ lệ Ta triển khai việc tính tốn −Q ˆ −1 có cts (với sinh λj tỉ lệ chết µj Để ngắn gọn, đặt C = [cts ] = −Q t = 1, 2, , M − số dòng, s = 1, 2, , M − số cột) xác định sau: min(t,s) l−1 cts = s−1 µi l=1 i=1 λj j=l M −s−max(t−s,0) M −n × M −1 µi n=1 i=s+l M M −n λj j=M −n+1 ( M −1 µi n=1 i=1 λj j=M −n+1 (2.3.12) Về bản, xác suất h0k (hấp thụ từ trạng thái k) tính dựa vào việc nhân ma trận W1 C Thực ra, phần tử h0k tích 35 µ1 ck1 h0k = µ1 ck1 M −s−(k−1) M −n M 1ì1 = à1 ài n=1 i=1 M s(k1) M −n = µ1 λj n=1 i=2 ( j=M −n+1 n=1 i=s+l j=M −n+1 λj j=M −n+1 µi λj j=M −n+1 M M −n λj λj M −1 n=1 i=1 M −1 µi = ( j=M −n+1 M −k M −n µi M M −n λj µi M −1 n=1 i=1 M −1 M −1 n=1 i=1 ( j=M −n+1 µi ( M M −n M −1 i=s+l M −k M −n λj j=M −n+1 i=s+l µi = µ1 n=1 M M −n M −1 µi λj (2.3.13) j=M −n+1 n=1 i=1 Tương tự, xác suất hấp thụ thành M hM k = λM −1 ck,M −1 k l−1 = λM −1 s−1 µi k µi k = λM −1 µi l=1 i=l k = µi n=1 i=l λj ( λj j=M −n+1 M −1 µi n=1 i=1 j=l ( λj j=M −n+1 M −1 M M −n λj j=l µi M M −n M −1 l−1 M −1 n=1 i=1 M −2 l−1 λj µi n=1 i=1 λj j=M −n+1 n=1 i=1 ( j=l M −1 µi M M −n λj l=1 i=l ( n=1 M −1−l l−1 = λM −1 1×1 λj j=1 l=1 i=l M M −n (2.3.14) j=M −n+1 Dễ kiểm tra h0k + hM k = 1, thỏa mãn điều kiện chắn việc hấp thụ trạng thái hấp thụ tránh khỏi Áp dụng tính tốn cho mơ hình Moran với µi = λi = i(M − i) , M ×M 36 tính chất trở thành h0k = M −k M HM k = 2.4 k M Thời gian trung bình đạt trạng thái hấp thụ trình sinh-chết 2.4.1 Phương pháp xác suất Bây ta xét thời gian trung bình hấp thụ đến từ trạng thái m với việc hấp thụ chắn trình sinh-chết Ta sử dụng kết thời gian lưu lại trạng thái i µi + λi Giả sử wi thời gian hấp thụ trung bình từ trạng thái i, wi = λi µi + wi+1 + wi−1 , µi + λi µi + λi µi + λi i w0 = Từ dẫn đến wi = + λi wi+1 + µi wi−1 µi + λi wi (µi + λi ) = + λi wi+1 + µi wi−1 µi wi + λi wi = + λi wi+1 + µi wi−1 λi wi − λi wi+1 = + µi wi−1 − µi wi λi (wi − wi+1 = + µi (wi−1 − wi ) µi wi − wi+1 = + (wi−1 − wi ) λi λi (2.4.1) 37 Nếu đặt zi = wi − wi+1 , µi + zi−1 λi λi zi = Viết liên tiếp hệ thức dạng trên: z1 = z2 = = = z3 = λ1 λ2 λ2 λ2 λ3 Ta suy + + + + + m zm = i=1 µ1 z0 λ1 µ2 z1 λ2 µ2 µ1 ( + z0 ) λ2 λ1 λ1 µ2 µ2 µ1 + z0 λ2 λ1 λ2 λ1 µ3 µ3 µ2 µ3 µ2 µ1 + + z0 λ3 λ2 λ3 λ2 λ1 λ3 λ2 λ1 m µj + z0 λi j=i+1 λj Nếu nhớ lại ρ0 = ρi = µ1 µ2 µi λ1 λ2 λi m zm = i=1 (2.4.2) m µj λ j j=1 ta có ρm + ρm z0 λi ρi Thay zm wm − wm+1 để ý z0 = w0 − w1 = −w1 (do w0 = 0): m wm − wm+1 = i=1 1 (wm − wm+1 ) = ρm ρm (wm − wm+1 ) = ρm m i=1 ρm − w1 ρ m λi ρi m i=1 ρm − w1 ρm λ i ρi − w1 λi ρi (2.4.3) 38 Ta cho m → ∞ để giải w1 : m w1 = i=1 ∞ w1 = i=1 ∞ w1 = i=1 1 − (wm − wm+1 ) λi ρi ρm 1 − lim (wm − wm+1 ) λi ρi m→∞ ρm λi ρi (2.4.4) Kết hợp với cơng thức trước nữa, ta có: m wm − wm+1 = i=1 m wm − wm+1 = i=1 ρm − ρm λi ρi ρm − λi ρi ∞ i=1 ∞ λi ρi ρm λi ρi i=1 ∞ wm − wm+1 = − ρm λ ρ i i i=m+1 (2.4.5) Lấy tổng hai vế từ m = đến m = k − 1, thu k−1 w1 − wk = − ∞ ρm λ ρ m=1 i=m+1 i i k−1 wk = w + ∞ wk = i=1 ∞ ρm λ ρ m=1 i=m+1 i i k−1 ∞ 1 + ρm λi ρi m=1 i=m+1 λi ρi (2.4.6) Tuy nhiên trình Moran ta cịn cần xét khơng gian hữu hạn trạng thái có hai trạng thái hấp thụ để tính thời gian trung bình đến hấp thụ 39 2.4.2 Tính thời gian trung bình đến trạng thái hấp thụ ma trận Nếu không gian trạng thái hữu hạn có M + phần tử Đặt véc tơ thời gian trung bình đến trạng thái hấp thụ M từ trạng thái {1, 2, , M − 1} t Khi ta có ˆ −1 1M −1 t = −Q ˆ −1 Về bản, phần Từ mục trước ta tính ma trận C = −Q tử tk tổng phần tử dòng thứ k C Khi áp dụng cho mơ hình Moran (λi = µi = i(M −i) M ×M ), thời gian trung bình đến trạng thái hấp thụ k tk = (M − k)M i=1 + kM M −i M −1 i=k+1 i KẾT LUẬN I Luận văn thực nhiệm vụ sau đây: 1.Trình bày kiến thức trình ngẫu nhiên; xích Markov với thời gian rời rạc thời gian liên tục Quá trình sinh-chết khái niệm liên quan 2.Trình bày tính chất vi phân q trình sinh-chết, phương trình vi phân tiến lùi Kolmogorov, từ tính thời gian trung bình đến trạng thái hấp thụ trình sinh-chết II Hướng luận văn tìm hiểu mơ hình ứng dụng khác liên quan đến trình sinh-chết thực tế, đặc biệt điện tử viễn thông Công nghệ Thông tin Tài liệu tham khảo [1] Nguyễn Duy Tiến, Các mơ hình xác suất ứng dụng, NXB Đại học quốc gia Hà Nội(2000) [2] Antonina Mitrofanova, Continuous times Markov chains; Poisson Process; Birth and Death process Antonina Mitrofanova, NYU, department of Computer Science, December 18, 2007 (Bài giảng NYU) [3] Howard Taylor and Samuel Karlin, An Introduction to Stochastic Modeling, Third edition, 1998, pp 267-394 [4] Sidney Resnick, Adventures in Stochastic Processes, 1992, pp 367-375 [5] Rabi Bhattacharya, Edward Waymire, Stochastic processes with Applications, pp261-271 [6] Warren Ewens, Mathematical Population Genetics, Second edition, 2004, pp 86-91, 104-109 [7] https://ocw.mit.edu/courses/electrical-engineering-and-computerscience/6-436j-fundamentals-of-probability-fall-2008/lecturenotes/MIT6_436JF08_lec22-26.pdf [8] http://galton.uchicago.edu/ lalley/Courses/312/ContinuousTime.pdf Andreas Eberle, Markov processes, University of Bonn, January 22, 2009 40 ... hiểu xích Markov với thời gian liên tục, q trình Poisson, trình sinh- chết trình sinh- chết mối liên hệ với q trình Poisson Chính vậy, luận văn tập trung tìm hiểu trình ngẫu nhiên, xích Markov, xích. ..BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ MINH THỦY MỐI LIÊN HỆ GIỮA XÍCH MARKOV THỜI GIAN LIÊN TỤC, QUÁ TRÌNH POISSON VÀ QUÁ TRÌNH SINH CHẾT LUẬN VĂN THẠC SỸ TOÁN HỌC Nghệ An - 2017... HỌC Nghệ An - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ MINH THỦY MỐI LIÊN HỆ GIỮA XÍCH MARKOV THỜI GIAN LIÊN TỤC, Q TRÌNH POISSON VÀ QUÁ TRÌNH SINH CHẾT Chuyên ngành: Lý thuyết