3.5 Quá trình tái tạo Markov, quá trình bán-Markov và quá trình đếm liên
kết
Ta xét SMC của nhân Q, khi đó ta có các định nghĩa sau:
Định nghĩa 3.11. Quá trình hai chiều (J, T) = ((Jn, Tn), n≥0), trong đó Tn được cho bởi hệ thức 3.4, được gọi là dãy tái tạo Markov hoặc quá trình tái tạo Markov.
Cinlar (1969) cũng đưa ra quá trình cộng tính Markov. Áp dụng hệ thức 3.5, ta có: P (Jn+1 =j, Tn+1 ≤x|(Jk, Tk), k= 0, . . . , n)
=P (Jn+1 =j, Xn+1 ≤x−Tn|(Jk, Tk), k = 0, . . . , n) =QJ
nj(x−Tn). (3.31) Đẳng thức cuối này chỉ ra rằng quá trình (J, T) là một quá trình Markov với I×R+ là không gian trạng thái và có tính chất cộng tính:
Tn+1 =Tn+Xn+1. (3.32)
Giống như trong lý thuyết tái tạo, ta có:
N(t)> t⇔Tn ≤t. (3.33) Tổng số phép chuyển trong một trạng thái I cố định trong (0, t] là biến ngẫu nhiên Ni(t). Rõ ràng ta có: N(t) = m X i=1 Ni(t),t≥0. (3.34)
Định nghĩa 3.12. Với mỗi quá trình tái tạo Markov, m+ 1 quá trình ngẫu nhiên sau được liên kết tương ứng với các giá trị trong N:
(i) Quá trình N, (N(t), t ≥0).
(ii) Quá trình Ni, (Ni(t), t≥0),i= 1, ..., m.
tương ứng được gọi là quá trình đếm tổng số kết hợp và quá trình đếm riêng phần kết hợp, với:
N(0) = 0,Ni(0) = 0,i= 1, . . . , m. (3.35)
Bây giờ ta dễ dàng mô tả khái niệm quá trình bán Markov tại thời điểm t, trạng thái được đưa vào tại phép chuyển cuối cùng trước hoặc vào thời điểm t, đó là JN(t).
Định nghĩa 3.13. Với mỗi quá trình tái tạo Markov, ta kết hợp quá trình ngẫu nhiên Z sau với các giá trị trong I:
Z = (Z(t), t≥0) (3.36)
với
Z(t) =JN(t). (3.37)
Quá trình này được gọi là quá trình bán Markov liên kết hoặc đơn giản là quá trình bán Markov (gọi tắt là SMP) của nhân Q.
Chú ý 3.2. Giống như thuyết tái tạo, ta sẽ sử dụng các biến đếm đó là: N0(t) =N(t) + 1,
3.6 Các hàm tái tạo Markov
Xét MRP của nhânQ, ta thừa nhận rằng:
sup
i,j
Qij(0)<1 (3.39)
trong đó Qij được định nghĩa trong 3.7.
Nếu trạng thái ban đầu J0 là i, ta định nghĩa biến ngẫu nhiên Tn(i|i), n ≥ 1 là các thời điểm quay lại trạng tháii liên tiếp (có thể là vô hạn) hay cũng có thể gọi là các thời điểm đến {i} liên tiếp.
Quá trình (Tn(i|i), n ≥0)với:
T0(i|i) = 0 (3.40)
là quá trình tái tạo mà có thể bị khuyết.
Sau này, biến ngẫu nhiên Tn(i|i) sẽ được gọi là thời điểm quay lại trạng thái i thứ n. Tổng quát hơn, ta cố định trạng tháij khác trạng thái đã được cố địnhi. Ta có thể định nghĩa thời điểm quay lại trạng tháij lần thứn với trạng thái ban đầu lài. Thời điềm này, cũng có thể vô hạn, sẽ được mô tả bởi(Tn(j|i), n≥0) với quy ước:
T0(j|i) = 0. (3.41)
Bây giờ, dãy (Tn(j|i), n≥0) là một quá trình tái tạo dừng với các giá trị trên R+. Như vậy nó được định nghĩa bởi hai hàm phân phối:Gij là hàm phân phối củaT1(j|i)và Gjj là của T2(j|i)−T1(j|i), vì thế:
Gij(t) =P (T1(j|i)≤t),
Gjj(t) =P(Tn(j|i)−Tn−1(j|i)≤t), n≥2. (3.42) Hiển nhiên hàm phân phối Gij đủ để định nghĩa quá trình tái tạo (Tn(j|j), n ≥0). Chú ý 3.3. Từ các định nghĩa trước. Ta có:
Gij(t) =P (Nj(t)>0|J0 =i) ;i, j ∈I,
P(T1(j|i) = +∞) = 1−Gij(+∞) (3.43)
và với trung bình của Tn(i|i), n ≥1,có thể vô hạn, ta được:
µij =E(T1(j|i)) =
m
Z
0
tdGij(t) (3.44) với quy ước
0·(+∞) = 0. (3.45)
Giá trị trung bình µij, i, j ∈I được gọi là số lần vào hoặc quay lại trung bình đầu tiên. Bổ đề 3.14. Hàm Gij,i, j ∈I thỏa mãn các hệ thức sau:
Gij(t) =
m
X
k=1
3.6 Các hàm tái tạo Markov 89 Với mỗi quá trình tái tạo dừng có thể được định nghĩa bởi cặp (Gij, Gjj),i, j thuộc I, ta sẽ mô tảAij và Rij là các hàm tái tạo liên kết được định nghĩa bởi hệ thức 1.7 và 1.19 chương 1như vậy:
Aij(t) =E(Nj(t)|J0 =i), Rij(t) = E
Nj0(t)|J0 =i
(3.47) và bởi hệ thức 3.38:
Rij(t) =δijU0(t) +Aij(t). (3.48) Từ hệ thức 2.7 chương 2, 1.16 và 1.21 chương 1ta được:
Rjj(t) = ∞ X n=0 G(jjn)(t),j ∈I, (3.49) Rij(t) =Gij •Rjj(t).
Hoặc tương đương ta có:
Rij(t) = δijU0(t) +Gij •
∞ X
n=0
G(jjn)(t),i, j∈I. (3.50) Mệnh đề 3.15. Giả thiết m < ∞ cho ta:
(i) Có ít nhất một trong các quá trình tái tạo (Tn(j|j), n≥0),j ∈I là đầy đủ. (ii) Với mọi i thuộc I ta có một trạng thái s như sau
lim
n Tn(s|i) = +∞. (3.51)
(iii) Với biến ngẫu nhiên Tn được định nghĩa bởi hệ thức 3.4 cho rằng J0 =i với bất kì giá trị i thì ta có:
lim
n Tn= +∞. (3.52)
Các hệ thức sau sẽ mô tả các hàm tái tạo Rij,i, j ∈ I như là một hàm của nhân Q thay cho m2 hàm Gij.
Mệnh đề 3.16. Với mọi i và j thuộc I, ta có:
Rij(t) = ∞ X n=0 Q(ijn)(t). (3.53) Sử dụng kí hiệu ma trận với: R= [Rij] (3.54) hệ thức 3.52 có dạng: R= ∞ X n=0 Q(n). (3.55)
Bây giờ ta giới thiệu phép chuyển L-S của ma trận. Với bất kì ma trận của các hàm thích hợp Aij từ R+ đến R được mô tả bởi:
A= [Aij] (3.56)
thì phép biến đổi L-S được mô tả là: ¯ A= ¯ Aij (3.57) với ¯ Aij(s) = ∞ Z 0 e−stdAij(t). (3.58)
Tương tự với ma trận R, ta có dạng ma trận của hệ thức 3.53 là: ¯ R(s) = ∞ X n=0 ¯ Q(s)n . (3.59) Từ hệ thức cuối, với bất kì s >0 ta có hệ thức ¯ R(s) I−Q¯ (s) = I−Q¯ (s)R¯ (s) =I (3.60) và như vậy ta cũng có: ¯ R(s) = I−Q¯(s)−1 . (3.61)
Mệnh đề 3.17. Ma trận tái tạo Markov R được cho bởi
R=
∞ X
n=0
Q(n) (3.62)
dãy này hội tụ trong R+. Hơn nữa, phép biến đổi L-S của ma trận R có dạng ngược với mọi s dương là:
¯
R= I−Q¯−1 (3.63)
Mệnh đề 3.18. Với phép biến đổi L-S của phân phối thời điểm quay lại đầu tiên, ta có:
¯ Gij(s) = ( ¯ Rij(s) ¯Rjj(s)−1 , i6=j, 1− Rjj¯ (s)−1 , i=j. (3.64) Ngược lai, ta có: ¯ Rij(s) = ¯ Gij(s) 1−Gjj¯ (s), i6=j, 1− Gjj¯ (s)−1 , i=j. (3.65)