6. Bố cục của luận văn
3.1Giới thiệu mô hình Markov ẩn
a. Mô hình Markov
Mô hình Markov được ứng dụng nhiều trong lĩnh vực nhận dạng giọng nói, trong lĩnh vực sinh học như nhận dạng gene hoặc phân loại protein; xử lý tín hiệu, xử lý hình ảnh và các ứng dụng khác liên quan đến chuỗi chuyển tiếp hoặc kết hợp các thành phần, dữ kiện.
Xét một hệ thống được mô tả trong bất kỳ thời điểm nào thì cũng bao gồm N trạng thái phân biệt S1, S2, …, SN như trong hình 3.1 (trường hợp N=5).
Hình 3.1 Mô hình Markov 5 trạng thái
(Nguồn RABINER, L. R. (1989), "A tutorial on hidden Markov models and selected applications in speech recognition", Proceedings of IEEE (p./pp. 257-286))
Hệ thống sẽ trải qua sự thay đổi các trạng thái (có thể cùng một trạng thái) dựa trên một tập các xác suất gắn với mỗi trạng thái. Nghĩa là tại thời điểm t, hệ thống có thể chuyển từ trạng thái Si hiện tại sang một trong N-1 trạng thái còn lại hoặc chuyển trở lại chính trạng thái Si. Như vậy, tại thời điểm t, trạng thái Si sẽ có N khả năng chuyển trạng thái; mỗi khả năng có một độ đo, gọi là xác suất chuyển trạng thái.
Gọi qt là trạng thái ở thời điểm t, xác suất chuyển từ trạng thái Si sang trạng thái Sj, là aij ta có:
Hệ thống này được gọi là mô hình Markov “hiện” (Observable Markov Model) bởi vì kết xuất của hệ thống là một chuỗi các trạng thái tại các thời điểm t tương ứng và dễ dàng biết được trạng thái cụ thể tại thời điểm t.
Xét một ví dụ cụ thể với mô hình Markov 3 trạng thái mô tả thời tiết. Giả định rằng vào mỗi ngày, thời tiết quan sát được có thể thuộc một trong 3 trạng thái sau:
- Trạng thái 1: mưa. - Trạng thái 2: nhiều mây. - Trạng thái 3: nắng.
Ma trận xác suất chuyển trạng thái như sau:
Cho trước thời tiết của ngày thứ nhất (t = 1) là nắng (trạng thái S=3), câu hỏi đặt ra là có thể tính được xác suất xảy ra chuỗi thời tiết trong 7 ngày tiếp theo “nắng, nắng, mưa, mưa, nắng, mây, nắng” thông qua mô hình hay không?
Gọi O là chuỗi thời tiết quan sát được trong 8 ngày O = {S3, S3, S3, S1, S1, S3, S2, S3} tương ứng với t = 1, 2, …, 8, ta cần xác định xác suất của O, bởi mô
hình. Gọi P(O | Markov) – xác suất của O cho trước mô hình Markov, ta có: P(O | Markov) = P[S3, S3, S3, S1, S1, S3, S2, S3 | Markov]
= P[S3] . P[S3|S3] . P[S3|S3] . P[S1|S3]
. P[S1|S1] . P[S3|S1] . P[S2|S3] . P[S3|S2]
= π3 . a33 . a33 . a31 . a11 . a13 . a32 . a23 = 1 . (0.8)(0.8)(0.1)(0.4)(0.3)(0.1)(0.2) = 1.536 x 10-4
Với πi là xác suất khởi đầu của trạng thái: b. Mô hình Markov ẩn
Trong mô hình Markov, mỗi trạng thái sẽ tương ứng với một sự kiện quan sát. Do đó, mô hình Markov có những hạn chế trong nhiều ứng dụng mà các giá trị
chuyển trạng thái là các giá trị áp đặt sẵn, không thay đổi trong khi dữ liệu quan sát luôn biến đổi theo thời gian. Để khắc phục tình trạng này, người ta sử dụng mô hình Markov mở rộng là mô hình Markov ẩn (Hidden Markov Model – HMM).
Mô hình Markov ẩn là một dạng mở rộng của mô hình Markov. Mô hình Markov ẩn là mô hình thống kê trong đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được. Các tham số của mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ: ứng dụng trong nhận dạng mẫu. Trong một mô hình Markov điển hình, trạng thái được quan sát trực tiếp bởi người quan sát, và vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất. HMM thêm vào các đầu ra mỗi trạng thái có xác suất phân bổ trên các biểu hiện đầu ra có thể. Vì vậy, nhìn vào dãy của các biểu hiện được sinh ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái.
Hình 3.2 Mô hình Markov ẩn 3 trạng thái
(Nguồn Phạm Minh Nhựt (2009), "Định danh người nói độc lập văn bản bằng mô hình thống kê", Luận văn Thạc sĩ, Đại học KHTN TP.HCM)
Hình 3.2 minh họa một mô hình Markov ẩn 3 trạng thái với các ký hiệu có thể quan sát được trong mỗi trạng thái là V = {v1, v2, v3, v4}. Khả năng quan sát được ký hiệu Vk tại trạng thái Sj gọi là xác suất bj(k). Hàm b được gọi là hàm mật độ xác suất của các ký hiệu được quan sát.
Ví dụ cụ thể về hệ thống bình - cầu như trong hình 3.3. Giả sử có N cái bình, trong mỗi bình có M quả cầu với màu sắc khác nhau. Đầu tiên, chọn ra ngẫu nhiên một bình trong N bình, sau đó sẽ lấy ra ngẫu nhiên một quả cầu bên trong, màu của quả cầu sẽ được ghi nhận lại và xem là ký hiệu quan sát đầu tiên. Sau đó, quả cầu được trả về chổ cũ. Sau đó, ta chuyển sang chọn ngẫu nhiên một bình tiếp theo trong số N bình còn lại; một quả cầu khác lại được chọn ra ngẫu nhiên và được ghi nhận lại màu như là ký hiệu quan sát thứ hai. Tiến trình chọn bình và cầu được lặp đi lặp lại. Với T lần lặp, ta sẽ có T ký hiệu quan sát được, đó chính kết xuất của hệ thống bình-cầu.
Hình 3.3 Hệ thống bình - cầu
(Nguồn Phạm Minh Nhựt (2009), "Định danh người nói độc lập văn bản bằng mô hình thống kê", Luận văn Thạc sĩ, Đại học KHTN TP.HCM)
Từ hệ thống bình - cầu này có thể mô tả hoạt động của một mô hình Markov ẩn có N trạng thái và M ký hiệu quan sát trong mỗi trạng thái. Các trạng thái ứng với các bình, các ký hiệu quan sát ứng với màu của các quả cầu trong mỗi bình. Khả năng chuyển từ một bình sang bình khác chính là xác suất chuyển trạng thái; còn việc chọn ngẫu nhiên quả cầu trong bình sẽ bị chi phối bởi hàm mật độ xác suất của các ký hiệu quan sát trong bình đó.
Như vậy, chuỗi kết xuất của hệ thống bình-cầu, ta chỉ biết được thông tin về màu của các quả cầu được rút ra ở thời điểm cụ thể và không biết được quả cầu đó đã được rút ra từ bình (trạng thái) nào. Các bình (trạng thái) được xem là “ẩn” so với kết quả quan sát được. Vì thế, mô hình này được gọi là mô hình Markov ẩn.
Định nghĩa một cách hình thức, các thành phần của HMM như sau:
1) N là số lượng trạng thái của mô hình, ký hiệu các trạng thái là S = {S1, S2, …, SN} và trạng thái ở thời điểm t là qt. (adsbygoogle = window.adsbygoogle || []).push({});
2) M là số lượng ký hiệu có thể quan sát phân biệt. Các ký hiệu quan sát này là thành phần trong chuỗi kết xuất của mô hình, ký hiệu các tín hiệu quan sát là V = {v1, v2, …, vM} và ký hiệu quan sát được ở thời điểm t là Ot.
3) A = {aij} là ma trận phân phối xác suất chuyển trạng thái, trong đó aij là xác suất chuyển từ trạng thái i ở thời điểm t sang trạng thái j ở thời điểm t+1
Thỏa điều kiện:
4) B = { bj(k) } là ma trận phân phối xác suất các ký hiệu quan sát, trong đó bj(k) là xác suất nhận được ký hiệu quan sát vk ở trạng thái j:
Thỏa điều kiện:
5) Xác suất khởi đầu của mỗi trạng thái π = { πi } với
Thỏa điều kiện:
Như vậy để đặc tả đầy đủ một HMM cần phải có số trạng thái N của mô hình, tập V gồm M ký hiệu quan sát, ma trận xác suất chuyển trạng thái A, ma trận xác suất các ký hiệu quan sát được B và ma trận xác suất trạng thái ban đầu π.