Khái niệm
Một xích Markov đƣợc gọi là xích Markov Ergodic nếu từ một trạng thái gốc bất kỳ, ta có thể di chuyển đến mọi trạng thái khác trong không gian trạng thái (không nhất thiết phải sau 1 bƣớc). Nhƣ vậy, một xích Markov có ma trận chuyển là ma trận chính quy (primitive) là xích Markov Ergodic.
Tính chất của Xích Markov Ergodic
Định lý 2: ([36], trang 123]
Gọi P là ma trận ngẫu nhiên chính quy. Khi đó 𝑃𝑘 hội tụ khi 𝑘 → ∞ tới một ma trận ổn định:
Trong đó 1’ là ma trận cột chứa toàn phần tử 1 và 𝛱∞ = 𝛱(0) ∙ 𝑙𝑖𝑚𝑘→∞𝑃𝑘 = 𝛱(0) ∙ 𝑃∞ là vector phân phối xác suất ở thời gian vô cùng gồm các phần tử có giá trị dương và không phụ thuộc vào giá trị của phân phối xác suất khởi tạo 𝛱(0).
Nhƣ vậy, từ định lý 2 ta suy ra rằng phân phối xác suất trạng thái của một xích Markov Ergodic sẽ ổn định khi thời gian tiến tới vô cùng và không phụ thuộc vào phân phối xác suất khởi tạo.
Đây là tính chất quan trọng nhất của xích Markov Ergodic đƣợc sử dụng để chứng minh tính chất hội tụ của thuật toán di truyền.
Ở đây ta có thêm một định lý quan trọng nữa.
Định lý 3: ([36], trang 126]
Gọi 𝑃: 𝑛 × 𝑛 là một ma trận ngẫu nhiên giản ước được, trong đó
𝐶: 𝑚 × 𝑚 là một ma trận ngẫu nhiên chính quy và 𝑅, 𝑇 ≠ 0 ta có:
𝑃∞ = 𝑙𝑖𝑚𝑃𝑘 = lim 𝑘→∞ 𝐶𝑘 0 𝑇𝑖𝑅𝐶𝑘−𝑖 𝑘−1 𝑖=0 𝑇𝑘 = 𝐶∞ 0 𝑅∞ 0 là một ma trận ổn định với 𝑃∞ = 1′𝛱∞ và 𝛱∞ = 𝛱(0)∙ 𝑃∞là giá trị véc tơ hàng ổn định của 𝑃∞không phụ thuộc vào giá trị 𝛱(0)và thỏa mãn:
𝜋𝑖∞ > 0 với 1 ≤ i ≤ m và 𝜋𝑖∞ = 0 với m < i ≤ n.