2 Một Số Kết Quả Của Entropy Cực Đại
2.2.2Bài toán Berger’s Burges
Xét bài toán Berger’s Burges.Cho bảng số liệu sau: Món ăn Chi phí Burger 1 $
Gà 2 $
Cá 3 $
Giờ ta muốn biết được xác suất khách vào cửa hàng gọi một trong ba món trên là bao nhiêu thì chúng ta phải làm thế nào:
Trong mô hình trên ta thấy khi khách vào cửa hàng thì sẽ gọi một trong ba món là Buger, gà hoặc cá. Gọi xác suất khách vào cửa hàng gọi 1 trong 3 món lần lượt là p(B), p(C), p(F) và lúc đó ta sẽ có:
p(B) +p(C) +p(F) = 1. (2.3) Ta thấy rằng rất nhiều nghiệm thỏa mãn phương trình (2.3) chẳng hạn nếu tất cả khách vào cửa hàng đều gọi duy nhất một món là Buger thì lúc đó p(B) = 1 còn các xác suất còn lại bằng 0 lúc đó chúng ta sẽ biết được chính xác trạng thái trong hệ thống.
Giả sử bây giờ ta biết rằng giá trị trung bình của các bữa ăn của khách là 1,75 $ lúc này chúng ta có thêm một ràng buộc mới đó là:
1,75 = 1.p(B) + 2.p(C) + 3.p(F).
Giờ chúng ta sẽ ước lượng các phân phối xác suất p(B),p(C) và p(F) với hai điều kiện ràng buộc biết rõ là:
1 = p(B) +p(C) +p(F) 1,75 = 1.p(B) + 2.p(C) + 3.p(F).
Ta thấy rằng có 3 ẩn chưa biết và duy nhất 2 phương trình không đủ thông tin để giải quyết các ẩn chưa biết.
Để giải các ẩn chưa biết chúng ta sẽ dùng nguyên lý Entropy cực đại lúc đó độ bất định về sự phân bố xác suất chính là Entropy.
H(X) =p(B)log( 1 p(B)) +p(C)log( 1 p(C)) +p(F)log( 1 p(F)).
Trong mô hình này ta có thể rút p(C) và p(B) ra được như sau:
p(C) = 0,75−2p(F) p(B) = 0,25 +p(F).
Ta thấy rằng mỗi một xác suất sẽ nằm trong khoảng từ 0 đến 1 nên ta dễ dàng có những kết luận sau:
0≤p(F)≤0,375 0≤p(C)≤0,75 0,25≤p(B)≤0,625.
Sau đó biểu thức này có thể thế vào công thức của entropy như sau:
H(X) = (0,25+p(F)log( 1 0,25 +p(F)))+(0,75−2p(F)log( 1 0,75−2p(F)))+p(F)log( 1 p(F)).
Có rất nhiều các gía trị xác suất là phù hợp với các ràng buộc trên, nguyên lý Entropy cực đại nêu quan điểm khá rõ ràng rằng chúng ta nên chọn phân phối xác suất nào để tính bất định là lớn nhất (Tức S là lớn nhất) phù hợp với các ràng buộc mà chúng ta có. Chúng ta có thể tìm được giá trị p(F) mà trong đó S là lớn nhất.
Trong trường hợp này bằng cách sử dụng maple ta biết rằng cực đại xuất hiện khi p(F) = 0,216 và p(B) = 0,466, p(C) = 0,318 và S= 1,517 bit.
Nguyên lý Entropy cực đại cho phép ta tìm ra phân phối xác suất phù hợp với những ràng buộc của bài toán và có tính bất định lớn nhất mà không đưa thêm bất kỳ một ràng buộc nào khác.
KẾT LUẬN
Nguyên lý Entropy cực đại ngày càng được sử dụng rộng rãi trong tất cả các lĩnh vực của đời sống xã hội. Trong bài khóa luận này em đã trình bày các định nghĩa, định lý liên quan đến Entropy của biến ngẫu nhiên và mối quan hệ giữa chúng. Giới thiệu về nguyên lý Entropy cực đại đặc biệt là trong một số định lý cơ bản, bên cạnh đó còn giới thiệu một số bài toán cũng như phương pháp giải bằng nguyên lý Entropy cực đại.
Trong suốt quá trình thực hiện không tránh khỏi những thiếu sót rất mong nhận được sự góp ý của thầy cô và các bạn.
Tài liệu tham khảo
[1] Lê Quyết Thắng, Phan Tấn Tài, Dương Văn Hiếu, Giáo trình lý thuyết thông tin, Đại Học Cần Thơ biên soạn, 2007.
[2] Nguyễn Phương Thái, Lý thuyết thông tin, Đại Học Công Nghệ Hà Nội, 2011.
[3] Hồ Văn Quân, Lý thuyết thông tin, ĐH Bách Khoa TPHCM, 2010.
[4] Claude Elwood Shannon,A Mathematical theory of Communication, 1948. [5] A. L. Berger, S. A. D. Pietra, V. J. D. Pietra. , A Maximum Entropy Approach to Natural Language Processing. Computational Linguistics., 1996. [6] M. Cover, Joy A, Elements of Information Theory, 1991.
[7] Erik G. Learned-Miller, Entropy and Mutual Information, University of Massachusetts, Amherst Amherst, MA 01003, 2011. (adsbygoogle = window.adsbygoogle || []).push({});
[8] Keith Cornad, Probability Ditribution and Maximum Entropy.2004
[9] David J.C MacKay. , Information Theory, Learning, and Inference Algo- rithms., Cambridge University Press, 2005.