Trong phần 3.1, ta đã giới thiệu khái niệm quá trình (J, X) bởi định nghĩa 3.4 cho biến ngẫu nhiên Xn, n= 1,2, ...lấy giá trị trên toàn đường thẳng thực R thay vì trong R+ cho các thành phần mà ta đã nêu trong định nghĩa 3.2, một quá trình (J, X)dương.
Vào năm 1969, Janssen chỉ ra rằng việc nghiên cứu quá trình (J, X)dẫn đến một khái niệm cổ điển của bước ngẫu nhiên tổng quát rất thú vị với nhiều ứng dụng trong mô hình ngẫu nhiên. Ta sẽ bắt đầu phần này bằng cách gọi lại định nghĩa cơ bản.
Định nghĩa 3.32. Đặt p = (p1, . . . , pm) là vectơ m chiều của xác suất ban đầu và Q là một nhân bán Markov mở rộng được xác định bởi định nghĩa 3.3. Khi đó mỗi quá trình
((Jn, Xn), n = 0,1, ...) hai chiều với các giá trị trong I ×R và thỏa các điều kiện P (X0 = 0) = 1, P (J0 =i) = pi, i= 1, . . . , m với m X i=1 pi = 1 (3.135) với mọi n > 0, j = 1, ..., m ta có : P (Jn =j, Xn ≤x | (Jk, Kk), k= 0, . . . , n−1) =QJn−1j(x) (3.136) được gọi là một quá trình (J, X) hoặc một xích bán Markov mở rộng (gọi tắt là ESMC).
Quá trình S được xác định bởi:
Sn=X0+X1+· · ·+Xn, n= 0,1, . . . (3.137) được gọi là một bước ngẫu nhiên bán Markov (gọi tắt là SMRW)
Mệnh đề 3.33. (Các tính chất cơ bản của quá trình (J, X))
(i) Quá trình ((Jn, Sn), n≥0) là một quá trình Markov với I×R là không gian trạng thái. Với mọi j thuộc I và mọi số thực x, ta có:
P (Jn=j, Sn≤x | (Jk, Sk), k= 0,1, ..., n−1) =QJn−1j(x−Sn). (3.138) (ii) Quá trình (Jn, n ≥0)là một xích Markov thuần nhất với I là không gian trạng thái,
với mọi j thuộc I ta có:
P(Jn=j, | Jk, k = 0,1, ..., n−1) = pJn−1j. (3.139) (iii) Với mọi n dương và mọi số thực x ta có:
P(Xn≤x,|Jk,k = 0,1, . . . , n−1) =HJn−1(x), n >0, x∈R, P(Xn≤x,|Jk,k = 0,1, . . . , n) =FJn−1Jn(x), n >0, x∈R, P(Xn1 ≤x1, ..., Xn1 ≤xl,|Jk, k= 0,1, ..., nk) = k Y i=1 FJni−1Jni(xi), (0< n1 <· · ·< nk,xi ∈R, i= 1, ..., k). (3.140)
3.13 Các hàm của quá trình (J-X) 101Các xác suất pij, i, j = 1, ..., m và các hàm Hj,j = 1, ..., m, Fij, i, j = 1, ..., m được