Chúng ta xem như mơ hình Markov là mơ hình mà một trạng thái tương ứng với xác định một sự kiện quan sát. Vì vậy, đầu ra của trạng thái nào đó là một trạng thái khơng ngẫu nhiên. Mơ hình này quá hạn chế để ứng dụng vào nhiều bài tốn. Do đó, trong phần này chúng ta sẽ mở rộng khái niệm mơ hình Markov bằng cách đưa thêm vào hàm xác suất quan sát ứng với trạng thái, đó là hàm mơ hình kết quả (được gọi là mơ hình Markov ẩn) thêm hai quá trình xác suất mà nó khơng trực tiếp (ẩn) quan sát nhưng có thể quan sát tập các
trạng thái sản xuất ra chuỗi quan sát (tại một trạng thái có thêm xác suất để
thấy sự kiện).
Để minh họa cho khái niệm của mơ hình Markov ẩn, chúng ta sẽ sử dụng một vài ví dụ đơn giản về thí nghiệm tung đồng xu ở ví dụ 3.2.
Ví dụ 3.2: Cho một đồng xu với xác suất tung được mặt ngữa (Head) và mặt
úp (Tail) là P(H) = P(T) = 0.5, tung một lần và quan sát:
1. Tính xác suất trong 10 lần tung tiếp theo của đồng xu tạo ra chuỗi (HHTHTTHTTH)?
2. Tính xác suất trong 10 lần tung tiếp theo của đồng xu tạo ra chuỗi (HHHHHHHHHH)?
3. Tính xác suất của 5 trong 10 lần tung là mặt úp? Đâu là xác suất nhận được số lượng mặt úp trong 10 lần tiếp theo?
Giải quyết 1: Xác suất của bất kỳ chuỗi quan sát với độ dài 10 (10 lần tung) là
(1/2)10. Từ đó có 210 chuỗi như vậy và tất cả là xác suất bằng nhau. Vì vậy:
P(HHTHTTHTTH)=(1/2)10
Giải quyết 2: Tương tự ta cũng tính được xác suất:
P(HHHHHHHHHH)=(1/2)10
Như vậy xác suất để tạo ra chuỗi với độ dài 10 có mặt tung giống nhau bằng xác suất của cùng độ dài với mặt tung H và T.
Giải quyết 3: Xác suất của 5 lần tung trong 10 lần tung tiếp theo là chuỗi
quan sát với 5 mặt T và 5 mặt H (ở bất kỳ thời điểm nào) là :
P(5H,5T)=C510(1/2)10=0.25
trong đó có C105 nhận được 5T và 5H trong 10 lần tung, và mỗi quan sát có xác suất (1/2)10. Số mặt T dự tính trong 10 lần tung là :
E(T trong 10 lần tung) = ( ) 5 2 1 10 10 0 10 = ∑ = d d C d
Vậy, trung bình có 5 mặt T và 5 mặt H trong 10 lần tung, tuy nhiên xác suất chính xác của 5H và 5T chỉ là 0.25.