Gọi 𝑝𝑖𝑗(2) là xác suất chuyển từ trạng thái i sang trạng thái j của tiến trình sau 2 bƣớc, giả sử không gian trạng thái S có r phần tử ta có 𝑝𝑖𝑗(2) đƣợc tính nhƣ sau:
𝑝𝑖𝑗(2) = 𝑝𝑖𝑘(1) ∙ 𝑝𝑘𝑗(1).
𝑟
𝑘=1
Từ đó ta có ma trận chuyển trạng thái sau 2 bƣớc 𝑃(2) có giá trị:
𝑃(2) = 𝑝𝑖𝑗(2) = 𝑃2.
Kéo theo đó, một cách tổng quát, ta có:
Định lý 1: ([17], trang 409)
Gọi P là ma trận chuyển trạng thái của một xích Markov, phần tử
𝑝𝑖𝑗𝑛 của ma trận 𝑃𝑛là xác suất chuyển từ trạng thái i sang trạng thái j sau n bước, hay ma trận chuyển trạng thái sau n bước của một xích Markov là lũy thừa bậc n của ma trận chuyển trạng thái một bước của nó:
𝑃(𝑛) = 𝑝𝑖𝑗(𝑛 ) = 𝑃𝑛.
Với 𝛱(𝑛)là véc tơ phân phối xác suất tại thời điểm n ta có:
𝛱(𝑛 ) = 𝛱(0) ∙ 𝑃(𝑛).
Từ đó ta suy ra đƣợc:
Nhƣ vậy xác suất phân bố trạng thái của tiến trình mang tính chất Markov chỉ phụ thuộc vào cặp (𝛱0, 𝑃).
Có 2 loại xích Markov tiêu biểu là:
- Xích Markov hấp thụ (Absorbing Markov Chain): Một trạng thái i
đƣợc gọi là hấp thụ nếu nhƣ khi đạt đến trạng thái đó, ta không thể chuyển sang trạng thái khác (𝑝𝑖𝑖 = 1). Xích Markov hấp thụ là xích Markov chứa ít nhất một trạng thái hấp thụ và từ bất cứ trạng thái không hấp thụ nào khác ta đều có thể đến đƣợc trạng thái hấp thụ (không nhất thiết phải trong một bƣớc).
- Xích Markov Ergodic (Ergodic Markov Chain): Phần sau đây sẽ
tìm hiểu chi tiết hơn về xích Markov Ergodic, tính chất của xích Markov Ergodic có vai trò rất quan trọng trong việc khảo sát tính hội tụ của thuật toán di truyền.