Chương 1 : GIỚI THIỆU ĐỀ TÀI
3.3. Trích chọn thơng tin dựa vào mơ hình tuần tự
3.3.2. Mơ hình Maximum Entropy Markov
Mơ hình Markov cực đại entropy hay mơ hình markov điều kiện (MEMM/CMM) [10, 12, 18] là mơ hình đồ thị kết hợp các đặc trưng của mơ hình Markov ẩn và cực đại entropy. Một MEMM là một mơ hình rời rạc mở rộng một bộ phân loại cực đại entropy điển hình bằng cách giả sử các giá trị khơng biết cĩ thể được học được kết nối với chuỗi Markov hơn là độc lập cĩ điều kiện với nhau.
Entropy là độ đo về tính đồng đều hay tính khơng chắc chắn của một phân phối xác suất. Một phân phối xác suất cĩ Entropy càng cao thì phân phối của nĩ càng đều.Mơ hình Entropy cực đại là mơ hình dựa trên xác suất cĩ điều kiện cho phép tích hợp các thuộc tính đa dạng từ dữ liệu mẫu nhằm hỗ trợ quá trình phân lớp. Tưtưởngchủđạocủanguyênlý Entropycựcđại: ta phải xác định mơt phân phối mơ hình sao cho phân phối đĩ tuân theo mọi giả thiết đã quansáttừthực nghiệm, ngồira khơng chothêm bất kì giả thiết nào khác. Điều này cĩ nghĩa là phân phối mơ hình phải thoả mãn các ràng buộc quan sát từ thực nghiệm và phải gần nhất với phân phối đều. Giả sử chúng ta cĩ chuỗi quan sát , … , mà chúng ta muốn gán nhãn , … , mà tối đa hĩa xác suất điều kiện ( , … , | , … , ). Trong một MEMM, xác suất này
được tính vào xác suất chuyển đổi trạng thái Markov, trong đĩ xác suất của việc chuyển trạng thái cho một nhãn cụ thể chỉ phụ thuộc vào quan sát tại thời điểm đĩ và nhãn của vị trí trước đĩ
( , … , | , … , ) = ( | , )
Cơng thức: 1
Mỗi một giá trị trong những xác suất chuyển trạng thái này đến từ cùng một phân bố chung P(s|s',o). Với mỗi giá trị nhãn cĩ thể của một nhãn trước đĩ s’, xác suất của một nhãn cụ thể s, được mơ hình hĩa giống với bộ phân loại cực đại entropy.
( | , ) = ( | ) = 1
( , )exp ( ( , ))
Cơng thức: 2
Ở đây, ( , ) là giá trị thực hoặc hàm đặc trưng phân loại, và ( , ) là thuật ngữ chuẩn hĩa để đảm bảo tổng xác suất là 1. Cơng thức này cho mỗi phân bố tương ứng với phân bố xác suất cực đại entropy thỏa mãn ràng buộc kì vọng kinh nghiệm cho đặc trưng là bằng với kì vọng đưa ra bởi mơ hình:
[ ( , )] = [ ( , )] ớ ọ .
Cơng thức: 3
Tham số cĩ thể được ước lượng bằng cách sử dụng tỉ lệ lặp được tổng quát hĩa.Hơn nữa, biến thể của thuật tốn Baum-Welch, được sử dụng để huấn luyện HMM, cũng cĩ thể được sử dụng để ước lượng tham số khi huấn luyện dữ liệu cĩ nhãn bị thiếu hoặc chưa hồn chỉnh.
Chuỗi trạng thái tối ưu , … , cĩ thể được tìm ra bằng thuật tốn tương đương với thuật tốn Viterbi (sử dụng trong mơ hình Markov ẩn). Ngồi ra chúng cĩ thể được tìm thơng qua xác suất forward:
( ) = ( ) ( | )
Cơng thức: 4
Một điểm thuận lợi của MEMM so với HMM trong việc gán nhãn chuỗi là chúng cho phép tăng sự tự do trong việc chọn các đặc trưng để thể hiện các quan sát. Trong gán nhãn chuỗi, thì việc sử dụng hiểu biết cho từng lĩnh vực sẽ cĩ hữu ích hơn với các đặc
xác định bản thân từ/số liệu đĩ thì khơng thể đốn được, tuy nhiên, nếu biết từ đĩ là số liệu, và là danh từ, được sử dụng ở dạng liệt kê, và theo sau một số từ khĩa như nhiệt độ, hoặc lượng mưa, mực nước, thì lại trở nên dễ đốn. Các đặc trưng hữu ích cho việc gán nhãn chuỗinhư kể trên, thường là khơng độc lập. Các mơ hình cực đại entropy khơng giả sử sự độc lập giữa các đặc trưng, nhưng các mơ hình quan sát tổng quát sử dụng trong mơ hình Markov ẩn thì cĩ các giả định này. Vì vậy MEMM cho phép người dung chỉ định nhiều các đặc trưng tương quan và chứa nhiều thơng tin.
Một thuận lợi khác của MEMM so với HMM và trường ngẫu nhiên cĩ điều kiện là việc huấn luyện cĩ thể coi là hiệu quả hơn. Trong mơ hình Markov ẩn và trường ngẫu nhiên cĩ điều kiện, cĩ thể chỉ cần sử dụng thuật tốn forward-backward như một vịng lặp nội tại khi huấn luyện. Tuy nhiên, trong MEMM, việc ước lượng tham số để cực đại entropy phân bố cho các xác suất chuyển trạng thái cĩ thể được thực hiện cho mỗi phân bố chuyển trạng thái một cách độc lập.
Một điểm được coi là bất lợi của mơ hình MEMM là chúng thường gặp vấn đề nhãn mờ, nghĩa là các trạng thái với phân bố chuyển trạng thái cĩ entropy thấp thì sẽ loại bỏ quan sát của chúng một cách đáng kể. Trường ngẫu nhiên cĩ điều kiện được thiết kế để giải quyết vấn đề này, trong đĩ nĩ được thiết kế để nhận dạng ngữ cảnh của các mơ hình Markov dựa vào mạng nơ ron. Một nguyên nhân của vấn đề nhập nhằng nhãn là việc huấn luyện luơn được thực hiện với điều kiện là biết nhãn trước đĩ là gì, do vậy mơ hình bị nhầm lẫn nếu như nhãn trước đĩ khơng được biết trước.