Giáo trình: Lý thuyết thông tin H(X) = H(p1 , p 2 , , p M ) = −∑ pi log 2 ( pi )i ppsx

... i M iji M iLjiixpyxpxpxpXH∑∑∑ == = = = )( log ), ( )( log) () ( 2 111 2 jLjji M iLjjjypyxpypypYH∑∑∑ == = = = ∑∑ == + =+ ⇒ M iLjjijiypxpyxpYHXH11 22 ] )( log) () [ log, () ( )( ∑∑ == =+ ⇒ M iLjjijiypxpyxpYHXH11 2 ] )( ) () [ log, () ( )( ... H(Y) = H(0. 12 5, 0 .2 5, 0. 625 ) = 1.3 (bit) Entropy của Y khi biết X H(Y/X= 1) = H(0 .2 5, 0.5 , 0 .25 )= 1.5 (bit) H(Y/X =2 )= H( 0, 0, 1 )= 0 H(Y/X )= p( X=1)H(Y/X= 1)+ p( X = 2) H(Y/X = 2) = 0.75 (bit) ... P( X,Y) X,Y X=0,Y=0 X=0,Y=1 X=0,Y =2 X=1,Y=0 X=1,Y=1 X=1,Y =2 P( X,Y) 0. 125 0 .25 0. 125 0. 125 0 .25 0. 125 - H(X,Y) =H(0. 12 5, 0 .2 5, 0. 12 5, 0. 12 5, 0 .2 5, 0. 125 ) =2 .5 (Bit) Định nghĩa Entropy có điều...

... 23 6. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc l p 23 7. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan 24 8. Bài t p 25 BÀI 2. 4: MINH HỌA CÁC ENTROPY 26 1. M c tiêu 26 ... M c tiêu 26 2. Yêu cầu của bài toán 26 3. Xác định các phân phối ngẫu nhiên của bài toán 26 4. Minh họa Entropy H(X ), H(Y) và H(X,Y) 27 5. Minh họa Entropy H(X/Y) và H(Y/X) 27 6. Minh họa quan ... & Ks. Dương Văn Hiếu. 7 Giáo trình: Lý thuyết thông tin. 3. Phương ph p ki m tra chẵn lẻ 65 4. Phương ph p sinh m ki m tra chẵn lẻ 66 5. Ví dụ sinh m ki m tra chẵn lẻ 66 6. Định lý...

... +… +p r , p r+1+ p r +2 +…+ p M ) ), ,( ) Hp p (p 111r21∑∑ == +…+++riirrii p p p p ), ,( ) Hp p (p 111 M2 r1r∑∑ +=+ = ++++…+++ M rii M Mriir p p p p 4. H (p, 1 -p) là h m liên ... Y =h(X) có dạng: H(X )= H (p 1 , p 2 , p 3 , … ,p n ) = p 1h (p 1 )+ p 2 h (p 2 )+ … +p nh (p n ). Tổng quát: )( )( 1iniiphpXH∑ = = Định lý dạng giải tích của Entropy Định lý: H m H(X) ... )( log )p, ,p ,H (p H(X) 2 1 M2 1 i M iipp∑ = == Qui ước trong cách viết: log (p i )= log 2 (p i ) Ví dụ minh họa Nếu sự kiện A có xác suất xuất hiện là 1 /2 thì h(A)=h(1 /2 )= -log( 1 / 2) =...

... p( X=1 )p( Y=0/X= 1) +p( X =2 )p( Y=0/X = 2) = 0,5 x 0 ,2 5 + 0,5 x 0 =0 . 125 P( Y= 1) = p( X=1 )p( Y=1/X= 1) +p( X =2 )p( Y=1/X = 2) = 0,5 x 0,5 + 0,5 x 0 =0 .25 0 P( Y = 2) = p( X=1 )p( Y =2 / X= 1) +p( X =2 )p( Y =2 / X = 2) = 0,5 x 0 ,2 5 + 0,5 x 1=0 . 625 Y ... ∑ = = LjjiiyxpxP1 ), ( )( ∑ = = M ijiiyxpyP1 ), ( )( )( log ), ( )( log) () ( 2 111 2 i M iji M iLjiixpyxpxpxpXH∑∑∑ == = = = )( log ), ( )( log) () ( 2 111 2 jLjji M iLjjjypyxpypypYH∑∑∑ == = = = ∑∑ == + =+ ⇒ M iLjjijiypxpyxpYHXH11 22 ] )( log) () [ log, () ( )( ... H(Y/X= 1) = H(0 .2 5, 0.5 , 0 .25 ) = -(0 .25 log0 .25 + 0. 5log0 .5 + 0 .25 log0 .25 )= 1.5 (bit) H(Y/X =2 )= H( 0, 0, 1 )= 0 H(Y/X )= p( X=1)H(Y/X= 1)+ p( X = 2) H(Y/X =2 )= 0.5 x 1.5 + 0.5 x 0= 0.75 (bit) Tính...

... m W={w1 , w 2 , w3} với M= 3; n1 =1 ; n 2 =2 ; n3 =3 ; D =2 187 2 1 2 1 2 1 321 1< ;=+ += ∑ = − M iniD =& gt; Tồn tại bảng m tức thời. Ví dụ 2: Bộ m W={w1 , w 2 , w3} với M= 3; ... Giáo trình: Lý thuyết thông tin. T p h p S4 ={ 0 0, 110} T p h p S5 ={ 0 1, 0, 01 1, 110} T p h p S6 ={ 0, 1 0, 00 1, 11 0, 001 1, 0110} T p h p S6 chứa từ m 0110 nên bảng m này không phải ... dụ minh họa định lý Kraft Ví dụ 1: Xét bảng m thỏa M= 3, D= 2, n1 =1 , n 2 =2 , n3 =3 . Vậy ta ki m tra xem có tạo được bảng m tức thời hay không? Ta có ∑ = −−−< ;=+ += −31 321 187 22 22 iin...

... =( 0.37 5, 0. 3, 0. 325 ) Tính các Entropy: H(Y) = H(0.37 5, 0. 3, 0. 325 ) = 1.58 (bit) H(Y/X=x1 ) = H(0. 5, 0. 2, 0.3 )= 1.49 (bit) H(Y/X=x 2 ) = H(0. 3, 0. 5, 0 .2 )= 1.49 (bit) H(Y/X=x1 ) = H(0. 2, ... 0. 3, 0.5 )= 1.49 (bit) H(Y/X )= p( x1 ). H(Y/X=x1 ) + p( x 2 ). H(Y/X=x 2 ) + p( x3 ). H(Y/X=x3 ) = 1.49 (bit) Lượng thông tin truyền trên kênh: I (X/Y )= I (Y/X )= H(Y) - H(Y/X) = 0,0 9 (bit) Biên ... p M- 1 ,M =p M- 1 +p M . và X* = { x 1, x 2 , , x M- 1 ,M } có phân phối sau: X* x1 x 2 … x* M -2 x* M- 1 ,M P P1 p 2 … p* M -2 p* M- 1 ,M Giả sử W* ={ w1 , w 2 , , w M -2 , x* M- 1 ,M }...

... =& gt;MaxLyYPyYPpYHLL M MyYPjjj == == == > ;== = ∑ log) (log) (& apos ; )( 11 )( =& gt; H(Y) đạt max là logL khi P( Y=yj )= 1 /L hoặc P( X=xi )= 1 /M Vậy: C= log L – H (p 1 , p 2 , , p L ) hay ∑ = += LjjjppLC1loglogChú ... p( e) =p( x1 ) .p( e/x1 ) + p( x 2 ) .p( e/x 2 ) + p( x3 ) .p( e/x3 ) = 1 /2. 1/6 + 1/4.1 /2 + 1/4.1 = 11 /24 Xác suất truyền sai lớn nhất: )/ (( e )p ,1 m iMixepMax = = ⇒ pm(e) = Max{ p( e/x1 ), p( e/x 2 ), p( e/x3 )} ... khi p 1 =p 2 = =p L =1 /L Xét trường h p P(X=xi )= 1 /M, với m i i =& gt; chứng minh P( Y=yj )= 1 /L với m i j Thật vậy : ∑∑∑ == = == = == = == == M iiijij M iii M ijjq M P M xXyYPxXPxXyYPyYP11111 )/ () ( ), ( )( ...