ENTROPY CỦA NGUỒN TIN

I bits r ary units

1 nat  log e 44 bits

7.2. ENTROPY CỦA NGUỒN TIN

X t nguồn tin không nhớ m tạo ra các bản tin m m1, 2, ,mn với xác suất tương ng là P P1, , ,2 Pn trong đó P P1 2 Pn 1. Một nguồn tin khơng nhớ có nghĩa là mỗi bản tin được tạo ra là khơng phụ thuộc vào các bản tin trước đó. Theo biểu th c (5.3) hay (5.4) thì lượng thơng tin của bản tin th mi là Ii, được xác định bởi:

1log log i i I bits P  (7.7)

hả năng xuất hiện của mi là Pi. o đó, trung bình lượng thơng tin trên một bản tin được tạo ra từ nguồn tin nói trên được xác định bằng

n i i i PI bits

 . Th ng tin t ung b nh t n một bản tin của một nguồn tin m đ c gọi à entropy, ký hiệu là H m . Vì v y:

Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng Page 152   1 1 1 1 log log n i i i n i i i n i i i H m PI bits P bits P P P bits           (7.8)

Entropy của một nguồn tin là một hàm theo xác suất xuất hiện của bản tin. Ta cần tìm hàm phân bố xác suất xuất hiện của bản tin để tìm ra entropy cực đại. o entropy là độ đo của sự không chắc chắn nên hàm phân bố xác suất sẽ cho ta biết độ không chắc chắn cực đại tương ng với entropy cực đại. X t về mặt định tính, entropy đạt cực đại khi tất cả các bản tin là đồng khả năng (đồng xác suất). Th t v y:

Do H m  là một hàm của P P1, , ,2 Pn, nên giá trị cực đại của H m 

xác định từ biểu th c dH m dP  i 0, i1,2, ,n, với sự ràng buộc:

(7.9)

Do:

(7.10)

Tổng quát, ta có:

iểu th c trên bằng 0 khi Pi Pn. Điều này đ ng cho mọi I, có nghĩa là: 1 2 1 n P P P n     (7.11)

Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thông Page 153

Chú ý: Phương trình (7.11) ch cho ph p ta tìm H m maxmà khơng tìm được H m min, vì trong trường hợp có bản tin với xác suất chắc chắn, chẳng hạn P1 1 và P2 P3  Pn 0,H m 0, nh ng ngược lại nếu theo phương trình (7.11) vẫn cho ta kết quả là:

Hi u Entro tr n hương di n trự gi và theo hía nh ỹ thuật:

hư ch ng ta đã biết, cả hai quan điểm (cách nhìn nh n) theo phương diện trực giác và kỹ thu t đều đưa tới định nghĩa về lượng thông tin mà ở đó có liên quan tới một bản tin. Trên cơ sở các khái niệm, d sao thì cũng có sự khác nhau r rệt gi a hai cách nhìn nh n này. o đó chung ta phải giải thích tường t n theo hai cách khác nhau về lượng thơng tin. Theo góc độ kỹ thu t, nội dung thông tin của bản tin bất kỳ là bằng với số ký số (digit) tối thiểu được sử dụng để mã hóa bản tin, và do v y, entropy H m 

à bằng i số ký số ( igit) tối thiểu t nh t ung b nh t n bản tin đ c mã

hóa. Cịn nếu nhìn nh n dưới góc độ trực giác (cảm nh n thơng thường),

lượng thông tin được coi là đồng nhất với m c độ ngạc nhiện (hay độ không chắc chắn), liên quan với sự kiện hay bản tin. hả năng xuất hiện ít hơn có nghĩa là độ khơng chắc chắn của sự kiện sẽ nhiều hơn. iển nhiên như thế có nghĩa là độ khơng chắc chắn liên quan với độ ngạc nhiên. V ậ

ề mặt t ực giác, ng th ng tin đ c mang bởi một bản tin à độ không chắc chắn (t nh bất ngờ) của bản tin đó. ởi v y, log 1 Pi là lượng đo độ không chắc chắn của bản tin mi, và ni1Pilog 1 Pi là độ khơng chắc chắn tính trung bình (trên một bản tin) của nguồn tin phát ra các bản tin

1, 2, , n

m m m với xác suất tương ng là P P1, , ,2 Pn. Cả hai cách giải thích trên đều hợp lý kể cả trên phương diện toán học. Entropy cũng có thể được xem như là một hàm theo biến ngẫu nhiên m nh n các giá trị m m1, 2, ,mn

Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng Page 154

(7.12) Vì thế ch ng ta có thể liên hệ entropy với mỗi biến ngẫu nhiên rời rạc. ếu nguồn tin có nhớ, thì entropy của nguồn tin sẽ là nh hơn H m 

(của nguồn tin khơng nhớ), đó là vì sự phụ thuộc của một bản tin vào các bản tin trước đó làm giảm đi độ khơng chắc chắn.