Nếu không gian trạng thái S gồm một số hữu hạn hoặc vô hạn đếm được các trạng thái thì quá trình Markov{X(t)} được gọi là chuỗi Markov (xích Markov) trạng thái rời rạc.
Khi đó, ta kí hiệu S = (1,2,3, ...), các trạng thái vô hạn đếm được. Xét một chuỗi Markov rời rạc và thuần nhất theo thời gian {X(t)}, t = 0,1,2, ... có không gian trạng thái S gồm N phần tử S = {1,2,3, ...., N}
a. Ma trận xác suất chuyển trạng thái Kí hiệu:
pij = p(X(t+1) = j|X(t) = i) ∀t
được gọi là xác suất chuyển trạng thái từ vị trí i sang vị trí j sau một bước.
Ma trận xác suất chuyển trạng thái có được bằng cách liệt kê danh sách tất cả các trạng thái theo hàng và cột và điền vào đó xác suất chuyển trạng thái tương ứng. Ma trận P = [pij]N×N được gọi là ma trận xác suất chuyển trạng thái sau một bước.
pn được gọi là ma trận xác suất chuyển trạng thái sau n bước. b. Vectơ phân phối
kiện
π1(m)+π2(m)+...+π(Nm) = 1
thì vectơ π(m) = (π1(m), π2(m), ..., π(Nm)) được gọi là vectơ phân phối tại thời điểm t = m. Với t = 0, ta có vectơ phân phối ban đầu π(0) = (π1(0), π2(0), ..., πN(0)).
Cho P là ma trận xác suất chuyển trạng thái của chuỗi Markov. Khi đó xác suất để chuỗi ở trạng thái i sau n bước là thành phần thứ i trong vectơ: π(n) = πPn.
c. Các phân phối quan trọng
i. Phân phối giới hạn
Phân phối (π1, π2, ..., πN) thỏa mãn điều kiện π1 +π2 +...+ πN = 1 lim
n→∞p(ijn) = πj không phụ thuộc i được gọi là phân phối giới hạn.
ii. Phân phối Ergodic
Phân phối (π1, π2, ..., πN) thỏa mãn điều kiện π1 +π2 +...+ πN = 1 lim
n→∞p(ijn) = πj không phụ thuộc i πj > 0,∀j
được gọi là phân phối ergodic.
iii. Phân phối dừng
Xét chuỗi Markov rời rạc và thuần nhất có ma trận xác suất chuyển trạng thái P. Phân phối π∗ thỏa mãn điều kiện:
được gọi là phân phối dừng của chuỗi Markov đã cho. Nếu phân phối giới hạn tồn tại thì đó là phân phối dừng duy nhất.