Xét một hệ tiến trình tiến triển theo thời gian. Tại thời điểm t = 0, tiến
trình có thể rơi vào một trong số các trạng thái của không gian trạng thái một cách ngẫu nhiên, gọi X(t) là trạng thái của hệ tại thời điểm t. Nhƣ vậy, ứng với mỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả trạng thái của tiến
trình. Tiến trình {X(t)}t ≥ 0 đƣợc gọi là một quá trình ngẫu nhiên.
Tập hợp các trạng thái có thể có của tiến trình gọi là không gian trạng thái ký hiệu là S = {S1, S2,...}.
Giả sử trƣớc thời điểm s, tiến trình đã ở một trạng thái bất kỳ, còn tại
thời điểm s, hệ đang ở trạng thái i, chúng ta muốn đánh giá xác suất để tại thời điểm t (t > s), hệ sẽ ở trạng thái j. Nếu xác suất đó chỉ phụ thuộc vào bộ bốn (s, i, t, j), tức là 𝑝 𝑋 𝑡 = 𝑗/𝑋(𝑠) = 𝑖 = 𝑝 𝑠, 𝑖, 𝑡, 𝑗 , ∀𝑠, 𝑖, 𝑡, 𝑗 thì điều này có nghĩa là sự tiến triển của tiến trình trong tƣơng lai chỉ phụ thuộc vào hiện tại và hoàn toàn độc lập với quá khứ (tính không nhớ). Đó chính là tính chất
Markov. Một quá trình ngẫu nhiên X(t) có tính chất Markov nhƣ trên đƣợc gọi là quá trình Markov.
Nếu không gian trạng thái S gồm một số hữu hạn hoặc vô hạn đếm
đƣợc các trạng thái thì quá trình Markov X(t) đƣợc gọi là một xích Markov. Xét một xích Markov, nếu xác suất chuyển trạng thái 𝑝 𝑠, 𝑖, 𝑡, 𝑗 = 𝑝 𝑠 + ℎ, 𝑖, 𝑡 + ℎ, 𝑗 , ∀𝑖, 𝑗, 𝑠, 𝑡, ℎ > 0, thì ta nói rằng xích Markov trên là xích Markov thuần nhất theo thời gian. Nhƣ vậy một xích Markov thuần nhất thì xác suất chuyển từ trạng thái i sang trạng thái j không phụ thuộc vào thời
điểm của tiến trình.
Giả sử tại thời điểm t = n, X(n) cũng có thể nhận một trong N giá trị 1,
2, ..., N với các xác suất tƣơng ứng là: 𝜋1(𝑛 ), 𝜋2(𝑛), … , 𝜋𝑁(𝑛) (với 𝜋1(𝑛)+ 𝜋2(𝑛)… + 𝜋𝑁(𝑛 ) = 1), thì véc tơ 𝛱(𝑛 ) = 𝜋1(𝑛 ), 𝜋2(𝑛), … , 𝜋𝑁(𝑛) đƣợc gọi là véc tơ phân phối xác suất tại thời điểm t = n.
Với t = 0, ta có véc tơ phân phối xác suất khởi tạo là:
𝛱(0) = 𝜋1(0), 𝜋2(0), … , 𝜋𝑁(0) . Ma trận: 𝑃 = 𝑝𝑖𝑗
𝑁×𝑁, (với 𝑝𝑖𝑗 = 𝑝 𝑡, 𝑖, 𝑡 + 1, 𝑗 = 𝑝[𝑋 𝑡 + 1 = 𝑗/𝑋(𝑡) = 𝑖]∀𝑡 là xác suất chuyển trạng thái từ vị trí i sang vị trí j sau một
bƣớc, ∀𝑖 = 1, 2, … , 𝑁và ∀𝑗 = 1, 2, … , 𝑁) đƣợc gọi là ma trận xác suất chuyển trạng thái hay ma trận chuyển sau một bƣớc. Vì chắc chắn sau một bƣớc tiến trình sẽ chuyển từ trạng thái i sang một trạng thái j bất kỳ với xác suất 𝑝𝑖𝑗 ≥ 0, nên ta có:
𝑝𝑖𝑗 = 1
𝑁
𝑗 =1 .
Tƣơng tự ta có ma trận 𝑃(𝑛) = 𝑝𝑖𝑗(𝑛) là ma trận chuyển sau n bƣớc.