. HỆ THỐNG NĨN VĂ GIẢI NĨN (companded systems)
1.MÊ HÔ ENTROPY (entropy coding)
Vấn đề ta quan tđm ởđđy lă tìm ra câc mê cĩ thể giải đôn duy nhất được với chiều dăi nhỏ nhất. Điều năy sẽ cho phĩp truyền với tốc độ lớn nhất trín kính. Việc kiểm tra câc mê được trình băy rõ răng hơn trong phần năy. Những bản tin khâc nhau được mê hô thănh những từ cĩ chiều dăi khâc nhau. Khi nĩi về chiều dăi của một mê, ta phải chỉ
ra chiều dăi trung bình của những từ mê. Trị trung bình năy được tính tôn bằng câch lấy xâc suất của mỗi bản tin. Rõ răng rất thuận lợi khi gân những từ mê ngắn hơn cho hầu hết những bản tin cĩ thể cĩ. Mê Morse theo quy luật năy bằng câch gân từ mê ngắn nhất bằng ký tự E.
Một định lý căn bản đê tồn tại trong thuyết mê hô khơng cĩ nhiễu. Định lý năy được phât biểu rằng: đối với câc chữ câi mê hôbằng số nhị phđn, chiều dăi từ mê trung bình, lớn hơn hoặc bằng với entropy. Người ta định nghĩa entropy lă
∑ ⎜⎜⎝⎛ ⎟⎟⎠⎞ =
i pi pi
H log2 1
Trong đĩ pi lă xâc suất của bản tin thứ i. Giâ trị log2(1/pi) được hiểu như lă nội dung của thơng tin vă đơn vị của nĩ lă bit. Entropy lă lượng tin trung bình trín bản tin.
Gọi chiều dăi từ trung bình lă n, định lý năy được xâc định bằng cơng thức sau:
H n≥
Ví dụ 7.9: Tìm chiều dăi trung bình nhỏ nhất của một mê với 4 bản tin với xâc suất lần lược lă 1/8, 1/8, ¼ vă ½.
Giải: Theo mê hô entropy ta cĩ:
1/8 x 3 + 1/8 x 3 +1/4 x 2 + ½ x 1 = 1.75 bits
Đđy cũng lă chiều dăi trung bình nhỏ nhất của mê năy. Ta chú ý rằng mê cĩ thể lă: M1 = 000, M2 = 001, M3=01, M4 =1
Mê năy cĩ thể giải đôn được vă cĩ chiều dăi trung bình lă 1.75 bits.