PHÂN TÍCH MARKOV VÀ ỨNG DỤNG CÁC KHÁI NIỆM CƠ BẢN VỀ XÍCH MARKOV

PHÂN TÍCH MARKOV VÀ ỨNG DỤNG CÁC KHÁI NIỆM CƠ BẢN VỀ XÍCH MARKOV 1.1 Một số định nghĩa Định nghĩa Xét hệ thống (có thể hệ thống vật lí, hệ thống sinh thái hay hệ thống dịch vụ,…) tiến triển theo thời gian Gọi X(t) vị trí (trạng thái) hệ thời điểm t Như ứng với thời điểm t, X(t) biến ngẫu nhiên mơ tả vị trí (trạng thái) hệ thống Quá trình {X(t)}t≥0 gọi q trình ngẫu nhiên Đại học nơng nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh Các khái niệm xích Markov Tập hợp vị trí có hệ gọi khơng gian trạng thái, kí hiệu S Nếu tiến triển hệ tương lai phụ thuộc vào hoàn toàn độc lập với q khứ (tính khơng nhớ) Thì q trình ngẫu nhiên X(t) gọi trình Markov Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh Các khái niệm xích Markov Định nghĩa Nếu khơng gian trạng thái S gồm số hữu hạn vô hạn đếm trạng thái trình Markov X(t) gọi xích Markov Lúc này, kí hiệu S = {1, 2, 3, }, tức trạng thái đánh số Hơn nữa, tập giá trị t không đếm (chẳng hạn, t = 0, 1, 2, ) ta có xích Markov với thời gian rời rạc, hay xích Markov rời rạc Nếu t∈[0, ∞) ta có xích Markov với thời gian liên tục, hay xích Markov liên tục Định nghĩa Xét xích Markov Nếu xác suất chuyển trạng thái p(s, i, t, j) = p(s+h, i, t+h, j),∀i, ∀j, ∀s, ∀t ∀h > ta nói xích Markov theo thời gian Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng Ví dụ 2: Trong khu phố 1000 dân (khách hàng) có siêu thị A, B C (A, B, C coi v ị trí 1, 2, hệ thống siêu thị này) Giả sử rằng, tháng khách hàng trung thành với siêu th ị Ngoài ra, giả sử tháng đầu số khách vào siêu th ị 200, 500 300; tức có 20% khách hàng vào siêu thị A, 50% vào B 30% vào C Như v ậy, có th ể d ự đốn khách hàng vào A với xác suất 0,2; vào B với xác suất 0,5 vào C với xác suất 0,3 Để mơ tả tình trạng phân chia thị phần tháng đầu (tháng 0) h ệ thống siêu thị trên, Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng thiết lập biến ngẫu nhiên X(0) với quy tắc: khách hàng mua hàng siêu thị A đặt X(0)=1, siêu th ị B đặt X(0) = 2, cịn siêu thị C X(0) = Kí hiệu P[X(0) = 1] = π1(0), P[X(0) = 2] = π2(0), P[X(0) = 3] = π3(0) véc tơ Π(0) =[π1(0), π2(0), π3(0)] = [0,2; 0,5; 0,3] gọi véc tơ phân phối xác suất thời điểm t = hay véc tơ phân phối ban đầu Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng Ở tháng sau ta có ma trận xác suất sơ đồ chuyển trạng thái Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng Véc tơ phân phối xác suất thời điểm t = Π(1) = [π1(1) , π2(1) , π3(1)] cho biết tỉ lệ phần trăm khách hàng vào siêu thị A, B C tháng Bằng phép tính ma trận tìm Π(1) sau: Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng Dễ thấy Π(2) = Π(1)×P=Π(0)×P2 Tương tự, chứng minh Π(n+m) = Π(n) ×P(m), Π(n+m) Π(n) véc tơ phân phối thời điểm t = m + n t = n, P(m) ma trận xác suất chuyển trạng thái sau m bước Có thể chứng minh dễ dàng xích Markov ví d ụ xích Markov rời rạc theo thời gian Câu hỏi đặt lim Π(n) =? Xuất phát từ Π(n+1) = Π(n) × P, cho qua giới hạn hai vế n → ∞ ta có: Π = Π ×P, hay Π ×(I - P) = Trong ví dụ ta tìm Π = [0,273 0,454 0,273] Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.2 Ma trận xác suất chuyển trạng thái phân phối dừng Định nghĩa Xét xích Markov rời rạc với ma trận chuyển P = [pij]N×N Lúc đó, véc tơ phân phối xác suất Π = [π1, π2, , πN] thỏa mãn điều kiện Π ×(I - P) = gọi phân phối dừng xích Markov cho Có thể thấy ngay, phân phối dừng Π không phụ thuộc vào Π(0) mà phụ thuộc vào ma trận P Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 1.3 Các tính chất định lí Tính chất Đại học nơng nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.4 Tìm phân phối giới hạn cho hệ thống kĩ thuật Khi π0(t) khơng đổi nên tao có dπ0(t)/dt=0 Do ta có phương trình: Tương tự ta có hệ phương trình: Đại học nơng nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.4 Tìm phân phối giới hạn cho hệ thống kĩ thuật Một cách tổng quát, phân phối giới hạn tìm t h ệ phương trình hay Trong − qii cường độ chuyển từ trạng thái sang trạng thái khác (khơng kể i), cịn qij cường đ ộ chuyển từ trạng thái i sang trạng thái j, định nghĩa sau: Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.4 Tìm phân phối giới hạn cho hệ thống kĩ thuật Lúc đó, Q = [qij] gọi ma trận cường độ Ta thấy, để tìm phân phối giới hạn cần phải giải hệ [π0 π1 π2 π3]Q = hay QT[π0 π1 π2 π3]T = Ví dụ: Cho λ1 = 1, λ2 = 2, μ1 = 2, μ2 = Từ sơ đồ cường độ chuyển trạng thái cho hình sau: Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.4 Tìm phân phối giới hạn cho hệ thống kĩ thuật Có thể tìm ma trận cường độ Q, với QT có dạng sau: Giải hệ [π0 π1 π2 π3]Q = hay QT[π0 π1 π2 π3]T = (với điều kiện bổ trợ π0 + π1 + π2+ π3 = 1) có kết quả: π = 6/15 = 0,4 ; π =3/15= 0,2; π = 4/15 = 0,27; π = 2/15=0,13 Ý nghĩa kinh tế: tự đọc Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Quá trình sinh − tử trường hợp riêng xích Markov thời gian liên tục, với không gian trạng thái S không đếm S = {S0, S1, S2, , Sn, } ma trận cường độ Q = [qij] có tính chất qij = với |i −j |≥ Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Từ trạng thái Sn thời điểm t hệ X(t) chuyển tới trạng thái Sn+1, Sn Sn−1 Vì có cường độ chuyển Trong trường hợp λn, μn > 0, ∀n > 0, theo định lí chứng minh, phân phối giới hạn tìm cách giải hệ: [π0 π1 π2 π3 ]Q = 0, với ma trận cường độ Q biết Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Ta cần giải hệ: Do tính chất q trình sinh tử hệ trở thành: Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Từ đễ dàng tìm πn+1 = (λn/μn+1)πn, ∀n = 1, 2, 3, để tới cơng thức tính πi,∀i Kết hợp với điều kiện Đại học nông nghiệp Hà nội ta có Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Ví dụ 2: Giả sử dòng khách hàng đến mua vé văn phòng bán vé với M quầy phục vụ dịng Pốt−xơng với tham số λ = khách hàng/1 phút Biết nguyên tắc phục vụ FCFS (First come first served) thời gian phục vụ quầy có luật phân phối mũ với kì vọng 1/3 (phút) Cần trả lời hai câu hỏi sau đây: − Số quầy hàng tối thiểu để hàng chờ không trở nên dài vô hạn? − Giả sử Nt số khách hàng chờ hay phục vụ thời điểm t Chọn M = khách hàng chờ để phục vụ Nt ≤ 4, chờ với xác suất 0,5 Nt = bỏ Nt = Hãy xác định phân phối dừng trình này? Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Đây q trình sinh−tử với khơng gian trạng thái S = {S0, S1, S2, , Sn, }, Sn trạng thái văn phịng có n khách hàng Các cường độ chuyển λk = với k = 0, 1, 2, μk = 3k với k ≤ M μk = 3M với k > M Bởi hàng đợi không dài vô hạn Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 2.5 Một ứng dụng trình sinh - tử cho hệ thống hàng chờ Trong câu hỏi thứ hai, ta có λ0 = λ1 = λ2 = λ3 = λ4 = 6, λ5 = Theo cơng thức tính Ta tính π0 = 12/89 Từ tính π1 = 24/89, π2 = 24/89, π3 = 16/89, π4 = 8/89, π5 = 4/89 π6 = 1/89 Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh MƠ PHỎNG XÍCH MARKOV 3.1 Mơ xích Markov thời gian rời rạc Chúng ta mơ xích Markov rời rạc thơng qua ví dụ với phân phối X0 ma trận chuyển trạng thái P Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 3.1 Mơ xích Markov thời gian rời rạc Phương pháp 1: Để mô X0 ta áp dụng phương pháp mô phân phối rời rạc học chương III Trên máy tính, ta phát sinh số ngẫu nhiên r = RANDOM[0,1) theo luật phân phối U[0,1) [0,1) Nếu r ≤ 0,2 ta lấy X0 = 1; 0,2 < r ≤ 0,7 ta lấy X0 = ; cịn r > 0,7 đặt X0 = Giả sử biết X0 = 2, lúc ta cần mô biến ngẫu nhiên X1 phân phối tương ứng 0,07; 0,9; 0,03 Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 3.1 Mơ xích Markov thời gian rời rạc Để mô X1 ta làm tương tự X0 Các bước mô X2, X3, tiến hành tương tự (cho tới X500 chẳng hạn) Lặp lại quy trình X0 cho số bước lặp L đủ lớn (chẳng hạn 1000 lần), ta có 1000 số liệu cho X500 Từ đó, tìm bảng phân phối tần suất (còn gọi xác suất thực nghiệm) X500 Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh 3.1 Mơ xích Markov thời gian rời rạc Phương pháp 2: tự đọc Đại học nông nghiệp Hà nội Bài giảng Vận Trù Học PhD Trần Đức Quỳnh