Chúng ta xem như mô hình Markov là mô hình mà một trạng thái tương ứng với xác định một sự kiện quan sát. Vì vậy, đầu ra của trạng thái nào đó là một trạng thái không ngẫu nhiên. Mô hình này quá hạn chế để ứng dụng vào nhiều bài toán. Do đó, trong phần này chúng ta sẽ mở rộng khái niệm mô hình Markov bằng cách đưa thêm vào hàm xác suất quan sát ứng với trạng thái, đó là hàm mô hình kết quả (được gọi là mô hình Markov ẩn) thêm hai quá trình xác suất mà nó không trực tiếp (ẩn) quan sát nhưng có thể quan sát tập các
trạng thái sản xuất ra chuỗi quan sát (tại một trạng thái có thêm xác suất để thấy sự kiện).
Để minh họa cho khái niệm của mô hình Markov ẩn, chúng ta sẽ sử dụng một vài ví dụ đơn giản về thí nghiệm tung đồng xu ở ví dụ 3.2.
Ví dụ 3.2: Cho một đồng xu với xác suất tung được mặt ngữa (Head) và mặt
úp (Tail) là P(H) = P(T) = 0.5, tung một lần và quan sát:
1. Tính xác suất trong 10 lần tung tiếp theo của đồng xu tạo ra chuỗi (HHTHTTHTTH)?
2. Tính xác suất trong 10 lần tung tiếp theo của đồng xu tạo ra chuỗi (HHHHHHHHHH)?
3. Tính xác suất của 5 trong 10 lần tung là mặt úp? Đâu là xác suất nhận được số lượng mặt úp trong 10 lần tiếp theo?
Giải quyết 1: Xác suất của bất kỳ chuỗi quan sát với độ dài 10 (10 lần tung) là (1/2)10. Từ đó có 210 chuỗi như vậy và tất cả là xác suất bằng nhau. Vì vậy:
P(HHTHTTHTTH)=(1/2)10
Giải quyết 2:Tương tự ta cũng tính được xác suất:
P(HHHHHHHHHH)=(1/2)10
Như vậy xác suất để tạo ra chuỗi với độ dài 10 có mặt tung giống nhau bằng xác suất của cùng độ dài với mặt tung H và T.
Giải quyết 3: Xác suất của 5 lần tung trong 10 lần tung tiếp theo là chuỗi quan sát với 5 mặt T và 5 mặt H (ở bất kỳ thời điểm nào) là :
P(5H,5T)=C510(1/2)10=0.25
trong đó có C105 nhận được 5T và 5H trong 10 lần tung, và mỗi quan sát có xác suất (1/2)10. Số mặt T dự tính trong 10 lần tung là :
E(T trong 10 lần tung) = ( ) 5 2 1 10 10 0 10 = ∑ = d d C d
Vậy, trung bình có 5 mặt T và 5 mặt H trong 10 lần tung, tuy nhiên xác suất chính xác của 5H và 5T chỉ là 0.25.