MÔ HÌNH ENTROPY CỦA NHIỀU BIẾN

Mô hình ENTROPY C Ủ A NHI Ề U BI Ế N M ục tiêu Sau hoàn tất học bạn có thể: • • • • • Hiểu biết định nghĩa Entropy nhiều biến Entropy có điều kiện, Hiểu mối quan hệ H(X,Y) với H(X) H(Y) X, Y độc lập, Hiểu mối quan hệ H(X,Y) với H(X) H(Y) X, Y tương quan, Vận dụng mối quan hệ gữa Entropy để tính Entropy cách hiệu quả, Vận dụng Entropy có điều kiện để làm sở tính lượng tin học Định nghĩa Entropy c nhi ều bi ến Giả sử: X Y biến ngẫu nhiên cho trước với pịj = p(X=xi,Y=yj) (∀ i=1, ,M j=1,…,L) Khi đó, Entropy H(X,Y) có dạng: Hay Một cách tổng quát: Ví d ụ Entropy nhiều bi ến Cho BNN X Y độc lập có phân phối: Tính H(X,Y) - Lập phân phối P(X,Y) - H(X,Y) =H(0.125, 0.25, 0.125, 0.125, 0.25, 0.125)=2.5 (Bit) Định nghĩa Entropy có ều ki ện Entropy Y với điều kiện X=xi (i=1, ,M) định nghĩa là: Entropy Y với điều kiện X xảy định nghĩa là: Ví d ụ Entropy có ều kiện Xét biến ngẫu nhiên X biến ngẫu nhiên Y có tương quan Các phân phối sau: Phân phối Y có điều kiện X: Entropy Y/X=1 Y/X=2 sau : H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25 =0.5 + 0.5 + 0.5= 1.5 (Bit) H(Y/X=2)= H(0; 0; 1)= (Bit) Entropy Y X xảy ra: H(Y/X)=P(X=1) H(Y/X=1)+ P(X=2) H(Y/X=2)=(0.5x1.5) + ((0.5x0)=0.75 (Bit) Quan hệ H(X,Y) với H(X) H(Y) X, Y t ương quan Định lý 2: H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) Định lý 3: H(Y/X)≤ H(Y) Dấu đẳng thức xảy X Y độc lập Chứng minh định lý 2: Tương tự ta có: H(X,Y)=H(Y)+H(X/Y) Chứng minh định lý 3: Từ định lý định lý quan hệ Entropy, ta có: H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ≤ H(Y) Sinh viên tự chứng minh Bài tập Xét BNN X BNN Y có tương quan Các phân phối sau: Phân phối Y có điều kiện X: Tính Entropy sau: H(X), H(Y) Tính Entropy có điều kiện sau: H(X/Y), H(Y/X) Tính Entropy sau: H(X,Y) Từ kết câu 1,2 minh họa định lý 1, cho học