Lượng tin trung bỡnh.

b. Phase Shift Keying (PSK)

2.2.4. Lượng tin trung bỡnh.

Lượng tin riờng chỉ cú ý nghĩa đối với một tin nàođú mà núi, nhưng khụng phản ỏnh được giỏ trị tin tức của nguồn. Núi một cỏch khỏc I(xi) mới đỏnh giỏđược về mặt tin tức của một tin khi nú đứng riờng rẽ, nhưng khụng

để dựngđỏnh giỏ về mặt tin tức của tập hợp trong đú xitham gia. Trong thực tế điều người ta quan tõm là giỏ trị tin tức của một tập hợp chứ khụng phải giỏ trị tin tức một phần tử nàođú trong tập hợp. Điều này cú thể được trỡnh bày trong vớ dụ sau :

Một nguồn gồm cú hai ký hiệu x =x0,x1với xỏc suất x0= 0.99 và x1 =0.01. Khi nhận được ký hiệu của nguồn này người ta cú thể tin chắc 99% là ký hiệu xo và cú thể xem nhưmột tin đó biết trước. Đứng về quan điểm thụng tin mà xột, tin nhận được của nguồn tin này ớt cú giỏ trị tuy rằng trong đú cú tin x1với lượng tin riờng khỏ lớn.

Từ đấy, trong thực tế để đỏnh giỏ được một tin nhận được từ một nguồn đó cho, người ta phải dựng đến khỏi niệm lượng tin trung bỡnh (trị trung bỡnh theo tập hợp) :    x x x p x I( ) ( )log( )

Lượng tin trung bỡnh là lượng tin tức trung bỡnh chứa trong một ký hiệu bất kỳ của nguồn đó cho.

Ta tớnh lượng tin trung binh trong vớ dụ trờn :

I(x)=-0.99log2(0.99)-0.01log2(0.01)=0.081 bit/ký hiệu 

Trong khiđú lượng tin riờng của x1rất lớn : I(x1) = -log2(0.01) =6.5 [bit/ ký hiệu ]

Tương tự nhưlượng tin riờng, lượng tin tương hỗ khụng mang đầy đủ ý nghĩa thực tế cần thiết, nú chỉ cho biết lượng tin về một ký hiệu đó cho chứa trong một ký hiệu xỏc định, nghĩa là mới cho biết sự ràng buộc thống kờ giữa một cặp ký hiệu (xi, yj) nào đú, nhưng điều quan trọng hơn cần phải xỏc định trong thực tiễn mối liờn hệ thống kờ giữa hai tập X, Y, nghĩa là lượng tin trung bỡnh về mộttin bất kỳ của nguồn X chứa trong một tin bất kỳ thuộc nguồn Y.

Tương tự lượng tin riờng trung bỡnh cú điều kiện i(YX) là lượng tin trung bỡnh của một tin bất kỳ của Y khiđó biết một tin bất kỳ của X và được xỏcđịnh nhưsau :       XY x y p y x p I Y,X , log (3.2.9)

Ta cú quan hệ giữa cỏc lượng tin trung bỡnh : I(X,Y) =I(X)- I(XY)

I(X,Y) = I(Y,X)0