Giá trị hàm Log-likelihood của phân phối thực nghiệm đoán nhận bởi mô hình p được xác định bằng:
Có thể nhận thấy rằng:
Tức là λ* làm cực đại ψ(λ) thì pλ*sẽ làm cực đại hàm log-likelihood.
Kết quả này cung cấp cho chúng ta thêm một minh chứng đúng đắn cho nguyên lý cực đại entropy. Nếu việc lựa chọn một mô hình p* dựa trên cơ sở Entropy cực đại vẫn chưa đủ thuyết phục. Thì ở đây, ta thấy rằng cũng chính mô
hình p* này là bản miêu tả mà phản ánh tốt nhất, chính xác nhất các mẫu huấn luyện (tức là mô hình tốt nhất) giữa các mô hình của cùng dạng tham số. Ta có thể thấy tính đối ngẫu giữa Maximum Entropy và Log-likelihood qua bảng sau:
Bảng 3. Tính đối ngẫu giữa Maximum Entropy và Log-likelihood
Bài toán cơ sở Bài toán đối ngẫu
Bài toán argmaxpЄC H(p) argmaxλΨ(λ)
Mô tả Maximum Entropy Maximum Likelihood
Kiểu tìm kiếm Tối ưu có ràng buộc Tối ưu không ràng buộc Miền tìm kiếm p Є C Các véc-tơ giá trị thực {λ1, λ2…} Giải pháp p* λ* Định lý Kuhn-Tucker: p* = λ* 4.5.2.6 Tính toán các tham số
Tương tự như trên, ta không thể tìm tham số λ* mà làm cực đại hàm đối ngẫu ψ(λ) bằng phương pháp giải tích. Chúng ta phải nhờ tới các phương pháp số để thực hiện việc này. Các phương pháp có thể được dùng để tính λ* là leo dốc gradient và tụt dốc gradient.
Một thuật toán tối ưu đối với bài toán cực đại Entropy là thuật toán leo lặp của Darroch và Ratcliff (1972). Chúng tôi sẽ đưa ra một phiên bản của thuật toán này mà được thiết kế riêng cho bài toán cực đại Entropy. Thuật toán có thể áp dụng được khi mà các hàm đặc trưng fi(x,y) là không âm.
fi(x,y) ≥ 0 với mọi i, x và y.
Điều này là hiển nhiên với các hàm đặc trưng có giá trị nhị phân. Ngoài điều kiện không âm, thuật toán còn đòi hỏi các hàm đặc trưng phải thỏa mãn ràng buộc:
Thuật toán 1: Leo lặp cải tiến (IIS)
Input: Các hàm đặc trưng ƒ1, ƒ2, …, ƒn; phân phối thực nghiệm
Output: Các giá trị tham số tối ưu λi*; mô hình tối ưu Pλ*
Bước 1: Khởi tạo λi = 0 với mọi i Є {1, 2,…, n}
Bước 2: Với mỗi i Є {1, 2,…, n}:
1. Tìm nghiệm Δλi của phương trình:
Với
2. Cập nhật giá trị của λi = λi + Δλi
Bước 3: Quay lại bước 2 nếu tất cả các λi chưa hội tụ
Bước chủ chốt trong thuật toán chính là bước (2a), tính số gia Δλi mà là nghiệm của phương trình (16). Nếu f#(x,y)=const=M với mọi x,y thì số gia Δλi
được cho bằng:
Nếu f#(x,y)≠const, khi đó số gia Δλi phải được tính bằng phương pháp số. Một
phương pháp đơn giản và hiệu quả đó chính là sử dụng phương pháp Newton. Phương pháp này tính nghiệm β* của phương trình g(β*) = 0 bằng lặp đệ quy:
βn+1 = βn -