Chương 1 : GIỚI THIỆU ĐỀ TÀI
3.3. Trích chọn thơng tin dựa vào mơ hình tuần tự
3.3.1. Mơ hình Markov ẩn
Mơ hình Markov ẩn (HMM) là mơ hình Markov thống kê trong đĩ hệ thống được mơ hình hĩa với giả định là một quá trình Markov với các trạng thái ẩn (khơng quan sát được). Các tham số của mơ hình được rút ra sau đĩ cĩ thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ cho các ứng dụng nhận dạng mẫu hoặc thực thể [18, 20, 21, 22].
Trong một mơ hình Markov điển hình, trạng thái được quan sát trực tiếp bởi người quan sát, vì vậy các xác suất chuyển trạng thái là các tham số duy nhất. Mơ hình Markov ẩn thêm vào các quan sát đầu ra: mỗi trạng thái cĩ xác suất phân bổ trên các biểu hiện cĩ thể của đầu ra. Do đĩ, nếu nhìn vào chuỗi quan sát ở đầu ra bởi HMM thì khơng thể trực tiếp chỉ ra dãy các trạng thái là gì. Trong bài tốn đang nghiên cứu thì đầu ra chính là các bản tin mơ tả hiện tượng thời tiết, cịn trạng thái ẩn là các nhãn đối tượng thời tiết mà chúng ta muốn gán tương ứng.
Hình 12: Các tham số xác suất của một mơ hình Markov ẩn
Hình 12 [17] chỉ ra kiến trúc chung của một mơ hình Markov ẩn. Mỗi hình oval thể hiện cho một biến ngẫu nhiên, cĩ thể là bất cứ giá trị nào. Biến ngẫu nhiên S(t) là trạng thái ẩn ở thời điểm t (với mơ hình ví dụ thì S(t) thuộc {S1, S2, S3,…, Sn-1, Sn}). Biến ngẫu nhiên X(t) là quan sát ở thời điểm t (trong đĩ X(t) thuộc {X1, X2,…,Xn-1, Xn}). Mũi tên trong hình vẽ là các phụ thuộc cĩ điều kiện.
Từ sơ đồ đĩ cĩ thể thấy phân bố xác suất cĩ điều kiện của các biến ẩn S(t) tại thời điểm t, với những giá trị biến ẩn của S ở tất cả các thời điểm, phụ thuộc chỉ vào giá trị của biến ẩn S(t-1); giá trị tại thời điểm t-2 và trước đĩ đều khơng cĩ ảnh hưởng. Đặc điểm đĩ gọi là thuộc tính Markov. Tương tự, giá trị của biến quan sát X(t) chỉ phụ thuộc vào giá trị của biến ẩn S(t) (cả hai đều ở thời điểm t).
Trong một mơ hình Markov điển hình, khơng gian trạng thái của các biến ẩn là rời rạc, trong khi các quan sát cĩ thể là rời rạc (theo phân bố minh bạch) hoặc liên tục (theo phân bố Gaussian). Các tham số của một mơ hình Markov ẩn cĩ 2 loại, xác suất chuyển trạng thái hoặc xác suất quan sát (hay cịn gọi là xác suất đầu ra). Xác suất chuyển trạng thái sẽ quyết định trạng thái ẩn tại thời điểm t nào được chọn từ xác suất ẩn ở thời điểm (t-1).
Quay lại với bài tốn trích chọn thơng tin thời tiết, một cách tiếp cận là phân loại mỗi từ một cách độc lập là một trong các loại WEATHER (hiện tượng thời tiết), LOCATION (địa điểm), TEMPERATURE (nhiệt độ), hoặc cịn lại (nghĩa là khơng phải thực thể).Vấn đề với cách tiếp cận này là nĩ giả sử với câu đầu vào, thì tất cả các nhãn thực thể tên là độc lập. Trên thực tế, nhãn thực thể tên của các từ lân cận là phụ thuộc nhau; ví dụ trong khi nhiệt độ là từ khĩa chỉ thơng tin là số tiếp theo sẽ là các số đo về nhiệt độ, nhiệt độ cao nhất lại cĩ thể là một đánh giá, so sánh về nhiệt độ giữa các vùng.Giả định độc lập này cĩ thể được nới lỏng bằng cách sắp xếp các biến đầu ra trong một chuỗi tuyến tính.Đây là cách tiếp cận được thực hiện trong mơ hình Markov
ẩn (HMM). Một HMM mơ hình hĩa một chuỗi quan sát X = {xt}Tt=1 bởi giả sử cĩ một
chuỗi ẩn các trạng thái Y ={yt}Tt=1 từ một tập trạng thái hữu hạn S. Trong ví dụ thực thể thơng tin thời tiết, mỗi quan sát xt là nhận dạng của từ ở vị trí t, và mỗi trạng thái
ytlà nhãn của thực thể tên, một trong những loại thực thể WEATHER, LOCATION, TEMPERATURE, và cịn lại.
Để mơ hình hĩa phân bố nối p(y, x) dễ dàng hơn, một HMM thực hiện hai giả định về
sự độc lập. Thứ nhất, nĩ giả sử mỗi trạng thái chỉ phụ thuộc vào trạng thái ngay trước
đĩ, nghĩa là mỗi trạng thái yt là độc lập với tất cả các trạng thái y1, y2,…, yt-2, nghĩa là
trạng thái trước yt-1. Thứ hai, một HMM giả sử mỗi biến quan sát xt chỉ phụ thuộc vào
trạng thái hiện tại yt. Với những giả sử này, chúng ta cĩ thể chỉ ra một HMM sử dụng
ba phân bố xác suất: trước tiên, phân bố p(y1) cho trạng thái đầu tiên (trạng thái khởi
tạo); thứ hai, là phân bố chuyển trạng thái p(yt|yt-1); và cuối cùng, phân bố quan sát
y(xt|yt). Nghĩa là, xác suất nối của một chuỗi trạng thái yvà một chuỗi quan sát x được
tách thành các thành phần như sau
( , ) = ( | ) ( | )
Trong đĩ, để đơn giản hĩa khái niệm, chúng ta viết một phân bố trạng thái khởi tạo
p(y1) như p(y1|y0).
Mơ hình Markov ẩn nĩi riêng và các mơ hình sinh nĩichungthường gặp hai vấn đề khi gán nhãn dữ liệu dạng chuỗi: thực hiện giả định về sự độc lập của chuỗi dữ liệu quan sát, và sử dụng xác suất đồng thời để mơ hình hĩa bài tốn cĩ điều kiện. Do đĩ một mơ hình mới được đưa ra để giải đáp cho các vấn đề của mơ hình Markov truyền thống, là mơ hình Markov cực đại entropy.