Bai_giang_3

Bài giảng 3. Entropy, entropy tương đối và thông tin tương hỗ Giảng viên: Nguyễn Phương Thái Bộ môn Khoa học Máy tính Trang web cá nhân: http://coltech.vnu.edu.vn/~thainp/ Trợ giảng: Nguyễn Kim Anh Nội dung bài giảng - Entropy - Entropy hợp và entropy điều kiện - Entropy tương đối và thông tin tương hỗ - Các qui tắc nhân cho entropy, entropy tương đối, và thông tin tương hỗ - Bất đẳng thức Jensen và hệ quả - Bất đẳng thức tổng log và ứng dụng - Bất đẳng thức xử lý dữ liệu - Thống kê đủ - Bất đẳng thức Fano Entropy Entropy là độ đo mức độ không chắc chắn của biến ngẫu nhiên (bnn). Giả sử X là một bnn rời rạc với bảng chữ cái  và hàm pmf ()={=},∈ ()=−()()∈=1() Chú ý : - Ta cũng có thể viết H(p) để thể hiện đại lượng trên. Log tính theo cơ số 2 và entropy được tính theo bit. Ta cũng qui ước rằng 0log0=0 để tiện cho việc tính toán. - Ta có : ()=() Ví dụ Giả sử : =1 ớ á ấ 0 ớ á ấ 1− Khi đó: ()=()=−−(1−)log (1−) Hình 1. Quan hệ giữa p và H(p) Entropy hợp và entropy điều kiện Entropy hợp của một cặp bnn rời rạc (X, Y) với phân phối hợp p(x, y) là: (,)=−(,)(,)∈∈ Hay (,)=−(,) Entropy điều kiện: (|)=−(,)(|)∈∈=−(|) Luật xích (,)=()+(|) Hệ quả: (,|)=(|)+(|,) Ví dụ Giả sử (X, Y) có phân phối hợp sau: Hình 2. Hàm pmf phụ thuộc p(x,y) Hãy tính H(X), H(Y), H(X|Y). Ví dụ (tiếp) Phân phối lề của X là (1/2, 1/4, 1/8, 1/8) và của Y là (1/4, 1/4, 1/4, 1/4). Do đó H(X)=7/4 và H(Y)=2. Từ luật xích ta suy ra : (|)=(,)−() (,)=− (,)(,)=−21818−1414−6116116−4132132=34+12+32+58=6+4+12+58=278 (|)=278−2=118 Entropy tương đối Entropy tương đối hay khoảng cách Kullback-Leibler giữa hai hàm pmf p(x) và q(x) là : (||)=()()()∈=()() Chú ý : - Entropy tương đối không phải khoảng cách thực sự vì nó không đối xứng và không thỏa mãn bđt tam giác - Tuy vậy, để dễ hình dung, ta có thể coi Entropy tương đối là "khoảng cách" Thông tin tương hỗ Giả sử X và Y là các bnn với hàm pmf phụ thuộc là p(x,y) và các hàm pmf biên là p(x) và p(y). Thông tin tương hỗ I(X ;Y) là độ đo cho ta biết bnn này chứa bao nhiêu thông tin về bnn khác. Nó được tính bởi entropy tương đối giữa phân phối phụ thuộc và phân phối tích p(x)p(y) : (;)=∑ ∑(,)(,)()()=((,)|()()=(,)(,)()() . (|)=(,)−() (,)=− (,)(,)=−21818−1414−6116116−4 132  132 =34 +12 +32 +58=6+4+12+58=278 (|)=278−2=118 Entropy tương đối Entropy. và s=1/4 thì (||)=1− 3= 0.2075bit Còn (||)= 3 1=0.1887bit Quan hệ giữa entropy và thông tin tương hỗ Hình 3. Quan hệ giữa entropy và