Dài từ mã và entro nguồn tin

I bits r ary units

1 nat  log e 44 bits

7.3.1. dài từ mã và entro nguồn tin

Số ký số nhị phân tối thiểu cần thiết để mã hóa cho một bản tin được xác định theo trên bằng với entropy của nguồn tin là log 1 P nếu như tất cả các bản tin của nguồn là đồng xác suất (mỗi bản tin đều có xác suất xuất hiện là P). ây giờ ch ng ta sẽ suy ra kết quả này cho trường hợp các bản tin không đồng khả năng (xác suất). Ch ng ta sẽ ch ra rằng số ký số nhị phân trung bình cần thiết cho một bản tin để mã hóa là được cho bởi H m 

(tính theo bits) cho một dạng phân phối xác suất t y ý của các bản tin. Cho một nguồn tin m tạo ra các bản tin m m1, 2, ,mn với xác suất tương ng là P P1, , ,2 Pn. X t một chuỗi gồm bản tin với N  . Gọi ki

là số lần bản tin mi xuất hiện trong chuỗi này. hi đó biểu diễn theo tần xuất của các biến cố (hay lu t số lớn), ta có:

lim i i N k P N 

hư v y, bản tin mi xuất hiện NPi lần trong một chuỗi gồm bản tin N  . o đó, trong một chuỗi đặc trưng gồm bản tin, m1 sẽ xuất hiện NP1 lần, m2 sẽ xuất hiện NP2 lần, , mn sẽ xuất hiện NPn lần. Tất các các trường hợp cịn lại hầu như khơng xuất hiện P0. Giả sử nguồn tin là khơng nhớ, có nghĩa là bản tin được tạo ra từ nguồn độc l p với các bản tin được tạo ra trước đó.

Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng Page 155

ây giờ ta xem x t một chuỗi đặc trưng SN gồm bản tin được tạo ra từ nguồn tin. o n bản tin (có xác suất tương ng là P P1, , ,2 Pn) xuất hiện NP NP1, 2, ,NPn lần, và mỗi bản tin là độc l p, nên xác suất xuất hiện của một chuỗi SN đặc trưng được xác định bởi:

(7.13)

o tất các chuỗi khả dụng gồm bản tin được tạo ra từ nguồn là được cấu thành giống nhau, nên các chuỗi là đồng khả năng, với xác suất

 N

P S . Chúng ta xem x t các chuỗi như là các bản tin mới (đồng khả năng). Để mã hóa cho một chuỗi như v y ch ng ta cần LN ký số nhị phân, trong đó:

(7.14)

Thay phương trình (7.13) vào (7.14), ta có:

(7.15) Ch ý rằng LN là chiều dài (số ký số nhị phân) từ mã cần thiết để mã hóa bản tin trong chuỗi. Vì v y, là số ký số trung bình cần thiết trên bản tin, được xác định bởi:

(7.16) Đây là kết quả mong muốn, điều này cho thấy rằng có thể mã hóa các bản tin được tạo ra bởi một nguồn tin, tính trung bình sử dụng H m  số ký số nhị phân trên một bản tin, trong đó H m  là entropy của nguồn tin nhị phân. Đây là số ký số tối thiểu cần d ng để mã hóa, hay H m  chính là giá trị nh nhất. Có nghĩa là ta không thể mã bản tin với chiều dài từ mã trung bình nh hơn H m .