Entropi luôn không âmH(X)≥0 Entropi bằng 0 khi và chỉ khi
Một ký hiệu có xác suất bằng 1 Tất cả các ký hiệu khác có xác suất 0
Entropi có giá trị cực đại khi tất cả các ký hiệu có cùng xác suất,H(X)max
2.2.Tính chất của Entropi
Entropi luôn không âmH(X)≥0 Entropi bằng 0 khi và chỉ khi
Một ký hiệu có xác suất bằng 1 Tất cả các ký hiệu khác có xác suất 0
Entropi có giá trị cực đại khi tất cả các ký hiệu có cùng xác suất,H(X)max
2.2.Tính chất của Entropi
Entropi luôn không âmH(X)≥0 Entropi bằng 0 khi và chỉ khi
Một ký hiệu có xác suất bằng 1 Tất cả các ký hiệu khác có xác suất 0
Entropi có giá trị cực đại khi tất cả các ký hiệu có cùng xác suất,H(X)max
2.2.Tính chất của Entropi
Entropi luôn không âmH(X)≥0 Entropi bằng 0 khi và chỉ khi
Một ký hiệu có xác suất bằng 1 Tất cả các ký hiệu khác có xác suất 0
Entropi có giá trị cực đại khi tất cả các ký hiệu có cùng xác suất,H(X)max
2.2.Tính chất của Entropi
Entropi luôn không âmH(X)≥0 Entropi bằng 0 khi và chỉ khi
Một ký hiệu có xác suất bằng 1 Tất cả các ký hiệu khác có xác suất 0
Entropi có giá trị cực đại khi tất cả các ký hiệu có cùng xác suất,H(X)max
Ví dụ
Nguồn có hai ký hiệu, xác suấtp,1−p. Entropi của nguồn làH(X) =−plogp−(1−p)log(1−p)đạt giá trị cực đại là log22=1 khip =1−p=1/2
Tổng quát nếu nguồnX cómký hiệu, entropi sẽ có giá trị lớn nhất khi các ký hiệu đẳng xác suất:
p1=p2=. . .=pm=p= 1 m H(X)max =− m X i=1 pilogpi =log2m
Ví dụ
Nguồn có hai ký hiệu, xác suấtp,1−p. Entropi của nguồn làH(X) =−plogp−(1−p)log(1−p)đạt giá trị cực đại là log22=1 khip =1−p=1/2
Tổng quát nếu nguồnX cómký hiệu, entropi sẽ có giá trị lớn nhất khi các ký hiệu đẳng xác suất:
p1=p2=. . .=pm=p= 1 m H(X)max =− m X i=1 pilogpi =log2m
2.3.Entropi đồng thời và có điều kiệnXét tập tin của nguồn làX, tập tin của đích làY