Đặt i∈I và d(i)là ước số chung lớn nhất của tập hợp số nguyên n, như vậy
p(iin) >0. (2.29)
Định nghĩa 2.5. Nếu d(i)>1 thì trạng thái i được gọi là tuần hoàn với chu kì d(i). Nếu d(i) = 1 thì trạng tháii là không tuần hoàn. Rõ ràng, nếu pii >0thì i là không tuần hoàn. Tuy nhiên, ngược lại là không đúng.
Chú ý 2.1. NếuP chính quy thì mọi trạng thái đều không tuần hoàn.
Định nghĩa 2.6. Một xích Markov với các trạng thái không tuần hoàn được gọi là một xích Markov không tuần hoàn.
Sau này ta chỉ xét xích Markov loại này.
2.3.2 Các trạng thái ước lượng và không ước lượng được – Tính tối giản Định nghĩa 2.7. Trạng tháii được gọi là hướng đến trạng thái j (kí hiệu i . j) khi và chỉ khi có một số nguyên dương n sao cho
pn
ij >0 (2.30)
i6.j có nghĩa là i không hướng đến j.
Định nghĩa 2.8. Trạng thái i và j được gọi là liên thông khi và chỉ khii . j và j . i hoặc j =i. Ta kí hiệu i / .j.
Định nghĩa 2.9. Trạng thái i được gọi là ước lượng được khi và chỉ khi nó liên thông với mọi trạng thái mà nó hướng đến. Ngược lai, nó được gọi là không ước lượng được.
2.3 Phân loại trạng thái xích Markov 51 Quan hệ /.định nghĩa quan hệ tương đương bên ngoài không gian trạng thái I có kết quả là một phân hoạch của I. Lớp tương đương chứa trạng tháii được mô tả bởi C(i). Định nghĩa 2.10. Một xích Markov được gọi là tối giản khi và chỉ khi có duy nhất một lớp tương đương.
Rõ ràng, nếuPchính quy thì xích Markov có cả tính tối giản và không tuần hoàn. Một xích Markov như vậy được gọi là ergodic.
Dễ thấy rằng, nếu trạng thái i ước lượng được (không ước lượng được) thì mọi thành phần của lớp C(i) là ước lượng được (không ước lượng được) (xem Chung (1960)). Định nghĩa 2.11. Một tập conE của không gian trạng tháiI được gọi là đóng khi và chỉ
khi : X
j∈E
pij = 1, với mọi , i∈E. (2.31) Điều này chỉ ra rằng với mọi lớp ước lượng được đều là đóng cực tiểu. Xem Chung (1960).