3.2 Xích bán Markov và xích bán Markov mở rộng
Trên không gian xác suất đầy đủ (Ω,=, P), động lực thác triển ngẫu nhiên của hệ (J-X) được xét được xác định bởi giả thiết sau: P(X0 = 0) = 1,
P(J0 =i) =pi,i= 1, ..., m, với m X i=1 pi = 1 (3.6) với mọin >0, j = 1, ..., m,ta có: P(Jn=j, Xn ≤x|(Jk, Xk), k= 0, ..., n−1) = QJ n−1j(x) (3.7) trong đó hàm Qij(i, j = 1, ..., m) là hàm thực không giảm trênR+, như vậy nếu
pij = lim x→+∞Qij(x), i, j ∈I (3.8) thì: m X j=1 pij = 1, i∈I. (3.9) Ta kí hiệu: Q= [Qij],P= [pij](=Q(∞)),p= (p1, ..., pm). (3.10) điều này dẫn đến các định nghĩa sau:
Định nghĩa 3.1. Mỗi ma trận Q m×m của các hàm không giảm trên R+ thỏa mãn các tính chất 3.8 và 3.9 được gọi là ma trận bán Markov hoặc nhân bán Markov.
Định nghĩa 3.2. Mỗi cặp (p,Q) trong đó Q là nhân bán Markov và p là một vectơ xác suất ban đầu xác định quá trình (J-X) dương (J, X) = ((Jn,, Xn), n ≥ 0) với I ×R+ là không gian trạng thái, cũng được gọi là xích bán Markov (gọi tắt SMC).
Định nghĩa 3.3. Mỗi ma trận m×m Q của hàm không giảm thỏa các tính chất 3.8 và 3.9 được gọi là ma trận bán Markov mở rộng hoặc nhân bán Markov mở rộng.
Định nghĩa 3.4. Mỗi cặp (p,Q) trong đó Q là nhân bán Markov mở rộng và p là một vectơ xác suất ban đầu xác định quá trình (J-X) (J, X) = (Jn,, Xn), n ≥ 0 với I ×R là không gian trạng thái, cũng được gọi là xích bán Markov mở rộng (gọi tắt ESMC).
Trở lại điều kiện 3.7 có ý nghĩa rõ ràng. Ví dụ giả sử ta quan sát một số n cố định mà Jn−1 =i thì hệ thức cơ bản 3.7 cho ta giá trị của xác suất có điều kiện sau:
P(Jn =j, Xn≤x|(Jk, Xk),k = 0, ..., n−1, Jn−1 =i) =Qij(x). (3.11) 3.3 Các tính chất chính
Ta bắt đầu nghiên cứu các quá trình phân phối lề (Jn, n≥0),(Xn, n≥0)được gọi là quá trình J và quá trình X.
(i) Quá trình J
Từ bán Markov hệ thức 3.7 và định lí Lebesgue ta suy ra rằng: P(Jn=j|(Jk, Xk),k= 0, ..., n−1) = QJn
−1j(+∞). (3.12) Áp dụng tính chất của kì vọng có điều kiện ta được:
P(Jn=j|(Jk), k = 0, ..., n−1) =E(QJn
−1j(+∞)|(Jk), k= 0, ..., n−1) (3.13) và biến ngẫu nhiênQJn
−1j(+∞) là(Jk, k= 0, ...n−1),k = 0, ..., n−1)đo được, cuối cùng từ hệ thức 3.8 ta được:
P(Jn=j|(Jk), k= 0, ..., n−1) =pJn
−1j. (3.14)
Từ hệ thức3.9 ta có ma trậnPlà ma trận Markov, như vậy ta chứng minh được kết quả sau.
Mệnh đề 3.5. Quá trình J là xích Markov thuần nhất với P là ma trận chuyển của nó.
Đó là lý do tại sao quá trình J được gọi là xích Markov được nhúng của SMC được xét trong đó biến ngẫu nhiênJn là các trạng thái của hệ S chỉ sau phép chuyển thứ n. Từ kết quả của chương 2, hệ quả 2.20, trong trường hợp ergodic tồn tại một và chỉ một phân phối dừng của xác suấtπ= (π1, ..., πm) thỏa:
πi = m P j=1 πjpji, j = 1, ..., m, m P i=1 πi = 1 (3.15) như vậy lim n→∞P(Jn=j|J0 =i) = lim n→∞p(ijn) =πj, i, j ∈I (3.16) theo chương 2, hệ thức 2.17 với
h
p(ijn)i
=Pn. (3.17)
(ii) Quá trình X
Ở đây, trường hợp này hoàn toàn khác vì hàm phân phối này phụ thưộc vào Jn−1. Tuy nhiên, ta có một tính chất thú vị của sự độc lập với điều kiện nhưng trước khi đưa ra tính chất này ta trình bày một số định nghĩa sau.
Định nghĩa 3.6. Hai phân phối xác suất có điều kiện
FJn−1Jn(x) = P(Xn≤x|Jn−1, Jn),
HJn−1(x) =P(Xn ≤x|Jn−1) (3.18) được gọi là phân phối điều kiện hoặc phân phối vô điều kiện của thời gian lưu lại Xn.