Xét hệ thống có tính chất như sau: ở một thời điểm bất kỳ, hệ thống sẽ ở một trong N trạng thái như hình vẽ dưới đây. Cứ sau một khoảng thời gian đều đặn, hệ thống sẽ chuyển sang trạng thái mới hoặc giữ nguyên trạng thái trước đó. Ta ký hiệu các khoảng thời gian chuyển trạng thái là t=1, 2, … và trạng thái tại thời điểm t của hệ thống là qt, qt sẽ có các giá trị 1, 2, …, N. 1 trạng thái tương ứng với 1 sự kiện. Quá trình trên được gọi là quá trình Markov.
Trong hình vẽ, aij là xác suất chuyển từ trạng thái i sang trạng thái j, ta có các quan hệ:
aij ≥ 0, ∀ 𝑖, 𝑗
∑𝑁 𝑎𝑖𝑗
𝑗=1 ∀ 𝑖 (3.1) Ta chỉ xét chuỗi Markov bậc nhất là những hệ thống mà trạng thái hiện tại chỉ phụ thuộc vào trạng thái ngay trước đó, nghĩa là:
aij= P[qt = j | qt-1 = i] , 1 ≤ i,j ≤ N (3.2)
Các thành phần trong mô hình Markov:
-N trạng thái của mô hình. Ký hiệu trạng thái ở thời điểm t là qt.
-N sự kiện: E = {e1, e2, e3, ..., eN}. Mỗi sự kiện tương ứng với 1 trạng thái. Tại mỗi thời điểm t, trạng thái phát sinh ra sự kiện tương ứng với nó.
-A={aij} - là ma trận phân phối xác suất chuyển trạng thái, trong đó aij là xác suất chuyển từ trạng thái i ở thời điểm t sang trạng thái j ở thời điểm t+1:
aij = P[qt = j |qt-1= i] 1 ≤ i, j ≤ N
-π = {πi} - ma trận phân phối trạng thái ban đầu trong đó πi là xác suất mô hình ở trạng thái i tại thời điểm ban đầu t = 1;
πi = P[q1= i] 1 ≤ i ≤ N
Ví dụ 1: Tung đồng xu.
Ở đây có 2 trạng thái: S1 tương ứng với sự kiện e1 = Xấp; và S2 tương ứng với sự kiện e2 = Ngửa.
Ta có các phần tử của ma trận A: a11 = 0.5 a12 = 0.5
a21 = 0.5 a22 = 0.5 Các sự kiện:
Xấp Xấp Ngửa Ngửa Xấp Ngửa Xấp tương ứng với các trạng thái:
S1 S1 S2 S2 S1 S2 S1
Ví dụ 2: Thời tiết của một vùng với mô hình xác suất như sau.
-Xác suất của chuỗi quan sát {rain, rain, rain, clouds, sun, clouds, rain} ứng với mô hình Markov trên là:
Quan sát = { r, r, r, c, s, c, r} S = {S1, S1, S1, S2, S3, S2, S1} Time = {1, 2, 3, 4, 5, 6, 7} (days) = P[S1] P[S1|S1]P[S1|S1]P[S2|S1]P[S3|S2]P[S2|S3]P[S1|S2] = 0.5*0.7*0.7*0.25*0.1*0.7*0.4 = 0.001715
-Xác suất của chuỗi {sun, sun, sun, rain, clouds, sun, sun) ứng với mô hình Markov trên là:
Quan sát = { s, s, s, r, c, s, s}
S = {S3, S3, S3, S1, S2, S3, S3} Time = {1, 2, 3, 4 , 5 , 6 , 7} (days)
= 0.1*0.1*0.1*0.2*0.25*0.1*0.1 = 5.0*10-7 .
