6.3 Co . so . ˙’ cu ˙’ al´y thuyˆe ´ t thˆong tin Trong Phˆa ` n 6.1 ch´ung ta d¯˜a gi´o . i thiˆe . umˆo . tsˆo ´ c´ach d¯ˆe ˙’ gia ˙’ msˆo ´ lu . o . . ng d˜u . liˆe . ubiˆe ˙’ udiˆe ˜ n mˆo . ta ˙’ nh. Mˆo . tvˆa ´ nd¯ˆe ` d¯ u . o . . cd¯ˇa . t ra l`a: cˆa ` n bao nhiˆeu d˜u . liˆe . u thu . . csu . . d¯ ˆe ˙’ biˆe ˙’ udiˆe ˜ nmˆo . t a ˙’ nh? T´u . c l`a, sˆo ´ lu . o . . ng d ˜u . liˆe . u ´ıt nhˆa ´ t l`a bao nhiˆeu d¯u ˙’ mˆo ta ˙’ d¯ ˆa ` yd¯u ˙’ a ˙’ nh m`a khˆong mˆa ´ t thˆong tin? L´y thuyˆe ´ t thˆong tin cung cˆa ´ pco . so . ˙’ to´an ho . c tra ˙’ l`o . i cˆau ho ˙’ i n`ay v`a nh˜u . ng vˆa ´ nd¯ˆe ` liˆen quan. 6.3.1 D - o thˆong tin Tiˆe ` nd¯ˆe ` co . ba ˙’ ncu ˙’ a l´y thuyˆe ´ t thˆong tin l`a c´o thˆe ˙’ mˆo h`ınh ho´a thˆong tin bo . ˙’ imˆo . t qu´a tr`ınh x´ac suˆa ´ t v`a c´o thˆe ˙’ d¯o thˆong tin theo mˆo . t ngh˜ıa tr`ung v´o . ica ˙’ m nhˆa . n tru . . c quan cu ˙’ a con ngu . `o . i. V´o . i gia ˙’ thiˆe ´ t n`ay, mˆo . tsu . . kiˆe . n ngˆa ˜ u nhiˆen E v´o . i x´ac suˆa ´ t xuˆa ´ thiˆe . n P (E)go . il`ach´u . a I(E) = log 1 P (E) = −log P (E) d¯ o . nvi . thˆong tin. Gi´a tri . I(E)thu . `o . ng go . il`athˆong tin riˆeng (self-information) hay lu . o . . ng thˆong tin d¯u . o . . cch´u . a trong E. N´oi chung, sˆo ´ lu . o . . ng thˆong tin d¯´ong g´op v`ao su . . kiˆe . n E tı ˙’ lˆe . nghi . ch v´o . i x´ac suˆa ´ t xuˆa ´ thiˆe . n E. Nˆe ´ u P(E)=1(t´u . c l`a, su . . kiˆe . n luˆon luˆon xa ˙’ y ra) th`ı I(E) = 0 v`a khˆong c´o thˆong tin g`ı d¯´ong g´op khi xa ˙’ y ra su . . kiˆe . n n`ay. T´u . c l`a, do khˆong c´o t`ınh tra . ng khˆong r˜o r`ang gˇa ´ nv´o . isu . . kiˆe . n nˆen khˆong c´o thˆong tin g`ı d¯ u . o . . c trao d¯ˆo ˙’ i khi su . . kiˆe . n n`ay xuˆa ´ thiˆe . n. Tuy nhiˆen, nˆe ´ u P (E)=0.99 th`ı viˆe . c truyˆe ` n d¯i thˆong b´ao su . . kiˆe . n E xuˆa ´ thiˆe . ns˜ec´omˆo . tch´ut thˆong tin. Thˆong b´ao E khˆong xuˆa ´ t hiˆe . n mang thˆong tin nhiˆe ` uho . nv`ıkˆe ´ t qua ˙’ n`ay gˆay bˆa ´ t ng`o . . Co . sˆo ´ trong ph´ep lˆa ´ y logarithm x´ac d¯i . nh d¯o . nvi . d¯ u . o . . csu . ˙’ du . ng d¯ˆe ˙’ d¯o thˆong tin. 3 Nˆe ´ usu . ˙’ du . ng co . sˆo ´ e th`ı d¯o . nvi . d¯o l`a nat v`a nˆe ´ ucho . nco . sˆo ´ 2, d¯o . nvi . d¯o go . il`abit. Ch´u´yrˇa ` ng nˆe ´ u P (E)=1/2th`ıI(E)=−log 2 1/2 hay 1 bit. T´u . c l`a lu . o . . ng thˆong tin d¯ u . o . . c truyˆe ` nd¯a . t khi su . . kiˆe . n E c´o x´ac suˆa ´ t xuˆa ´ thiˆe . nbˇa ` ng x´ac suˆa ´ t khˆong xuˆa ´ thiˆe . n bˇa ` ng 1 bit. V´ı du . d¯ o . n gia ˙’ n l`a tung xˆa ´ p ngu . ˙’ amˆo . td¯ˆo ` ng xu v`a thˆong b´ao kˆe ´ t qua ˙’ . 3 Khi khˆong viˆe ´ ttu . `o . ng minh gi´a tri . co . sˆo ´ cu ˙’ a log trong mˆo . tbiˆe ˙’ uth´u . cth`ıkˆe ´ t qua ˙’ c´o thˆe ˙’ hiˆe ˙’ uo . ˙’ co . sˆo ´ bˆa ´ t k `y v `a d¯ o . nvi . d¯o thˆong tin tu . o . ng ´u . ng v´o . ico . sˆo ´ d¯´o. 153 6.3.2 Kˆenh truyˆe ` n tin Khi lu . o . . ng thˆong tin ch´u . a trong mˆo . tsu . . kiˆe . nd¯u . o . . c truyˆe ` nt`u . mˆo . t nguˆo ` n thˆong tin d¯ˆe ´ n mˆo . t ngu . `o . isu . ˙’ du . ng thˆong tin ta n´oi nguˆo ` n thˆong tin d¯u . o . . cnˆo ´ iv´o . i ngu . `o . isu . ˙’ du . ng thˆong tin bo . ˙’ imˆo . t kˆenh thˆong tin. Kˆenh thˆong tin l`a thiˆe ´ tbi . vˆa . tl´yc´och´u . c nˇang liˆen kˆe ´ t nguˆo ` nv´o . i ngu . `o . isu . ˙’ du . ng. N´o c´o thˆe ˙’ l`a mˆo . td¯u . `o . ng dˆay d¯iˆe . n thoa . i, d¯u . `o . ng truyˆe ` n nˇang lu . o . . ng d¯iˆe . nt`u . tru . `o . ng, hoˇa . cmˆo . t dˆay dˆa ˜ n trong m´ay t´ınh. H`ınh 6.4 l`a mˆo h`ınh to´an ho . cd¯o . n gia ˙’ nd¯ˆo ´ iv´o . ihˆe . thˆo ´ ng thˆong tin r`o . ira . c. Trong mˆo h`ınh n`ay, tham sˆo ´ quan tro . ng nhˆa ´ tl`athˆong lu . o . . ng cu ˙’ ahˆe . thˆo ´ ng x´ac d¯i . nh bo . ˙’ i kha ˙’ nˇang truyˆe ` n thˆong tin. Gia ˙’ su . ˙’ rˇa ` ng nguˆo ` n thˆong tin trong H`ınh 6.4 ta . o ra mˆo . t d˜ay ngˆa ˜ u nhiˆen c´ac k´y hiˆe . ut`u . mˆo . ttˆa . ph˜u . uha . n hay d¯ˆe ´ md¯u . o . . cc´ack´yhiˆe . u. T´u . cl`ad¯ˆa ` u ra cu ˙’ a nguˆo ` nl`amˆo . t biˆe ´ n ngˆa ˜ u nhiˆen r`o . ira . c. Tˆa . p c´ac k´yhiˆe . u nguˆo ` n A = {a 1 ,a 2 , ,a J } go . il`aba ˙’ ng k´y hiˆe . u nguˆo ` n v`a c´ac phˆa ` ntu . ˙’ a j ∈ A go . il`ak´yhiˆe . u, hay k´ytu . . . Gia ˙’ su . ˙’ x´ac suˆa ´ td¯ˆe ˙’ nguˆo ` n sinh ra k´y hiˆe . u a j l`a P(a j )v`a J j=1 P (a j )=1. D - ˇa . t z =[P ( a 1 ),P(a 2 ), ,P(a J )] t . Khi d¯´o cˇa . p(A, z), go . il`akhˆong gian x´ac suˆa ´ th˜u . u ha . ncu ˙’ a nguˆo ` n, mˆo ta ˙’ d¯ ˆa ` yd¯u ˙’ nguˆo ` n thˆong tin. Do x´ac suˆa ´ t xuˆa ´ thiˆe . nk´yhiˆe . u a j l`a P(a j )nˆen lu . o . . ng thˆong tin ch´u . a trong su . . kiˆe . n n`ay l`a I(a j )=−log P (a j ). Nˆe ´ u k k´yhiˆe . u nguˆo ` nd¯u . o . . cta . o ra th`ı theo luˆa . tsˆo ´ l´o . n, v´o . i k d¯ u ˙’ l´o . nk´yhiˆe . u a j (vˆe ` trung b`ınh) s˜e xuˆa ´ thiˆe . n kP(a j )lˆa ` n. Suy ra lu . o . . ng thˆong tin trung b`ınh nhˆa . nd¯u . o . . c khi k t´ın hiˆe . ud¯u . o . . c nguˆo ` n sinh ra l`a −k J j=1 P (a j ) log P (a j ). V`a thˆong tin trung b`ınh khi nguˆo ` n sinh ra mˆo . t t´ın hiˆe . ul`a H(z)=− J j=1 P (a j ) log P ( a j ). (6.3) Gi´a tri . H(z)go . il`ad¯ ˆo . bˆa ´ t ng`o . hay entropy cu ˙’ a nguˆo ` n thˆong tin; d¯´o l`a mˆo . t thˆong sˆo ´ thˆo ´ ng kˆe co . ba ˙’ ncu ˙’ a nguˆo ` n. N´o x´ac d¯i . nh sˆo ´ lu . o . . ng thˆong tin trung b`ınh nhˆa . nd¯u . o . . c khi quan s´at mˆo . t nguˆo ` n. Khi gi´a tri . n`ay tˇang th`ı t`ınh tra . ng khˆong chˇa ´ cchˇa ´ nxa ˙’ yras˜e nhiˆe ` uho . n v`a do d¯´o thˆong tin tu . o . ng ´u . ng v´o . i nguˆo ` nc˜ung l´o . nho . n. Nˆe ´ u x´ac suˆa ´ t xuˆa ´ t hiˆe . ncu ˙’ a c´ac k´yhiˆe . ubˇa ` ng nhau th`ı entropy cu . . cd¯a . i v`a nguˆo ` n c´o thˆe ˙’ cung cˆa ´ p thˆong tin trung b`ınh trˆen mˆo . tk´yhiˆe . u nguˆo ` nl´o . n nhˆa ´ t. 154 . . . . . . . . . . Nguˆo ` n thˆong tin Kˆenh Ngu . `o . isu . ˙’ du . ng thˆong tin Cˇa . p(A, z) A = {a j } z =[P (a 1 ),P(a 2 ), ,P(a J )] t Q =[q kj ] Cˇa . p(B,v) B = {b k } v =[P (b 1 ),P(b 2 ), ,P(b K )] t H`ınh 6.4: Mˆo . thˆe . thˆo ´ ng thˆong tin d¯o . n gia ˙’ n. Kh´ai niˆe . m entropy d¯u . o . . cd`ung o . ˙’ d¯ˆay tu . o . ng tu . . kh´ai niˆe . m entropy trong nhiˆe . t d¯ ˆo . ng ho . c. Trong c´ac ´u . ng du . ng m˜a ho´a a ˙’ nh cu ˙’ ach´ung ta, entropy biˆe ˙’ udiˆe ˜ nsˆo ´ lu . o . . ng thˆong tin tu . o . ng ´u . ng v´o . itˆa . p c´ac gi´a tri . nguˆo ` n v`a cho biˆe ´ tsˆo ´ bit trung b`ınh tˆo ´ i thiˆe ˙’ u cˆa ` n m˜a ho´a ch´ung. V´o . imˆoh`ınh nguˆo ` n trˆen ch´ung ta c´o thˆe ˙’ dˆe ˜ d`ang tr`ınh b`ay ch´u . c nˇang trao d¯ˆo ˙’ i thˆong tin cu ˙’ a kˆenh thˆong tin. V`ı trong mˆo h`ınh cu ˙’ aH`ınh 6.4 t´ın hiˆe . ud¯u . av`aokˆenh l`a mˆo . tbiˆe ´ n ngˆa ˜ u nhiˆen r`o . ira . cnˆen thˆong tin d¯u . o . . c truyˆe ` nd¯ˆe ´ nd¯ˆa ` u ra cu ˙’ akˆenhc˜ung l`a biˆe ´ n ngˆa ˜ u nhiˆen r`o . ira . c. Tu . o . ng tu . . nhu . o . ˙’ nguˆo ` n thˆong tin, c´ac t´ın hiˆe . u ra nhˆa . n c´ac gi´a tri . t`u . mˆo . ttˆa . ph˜u . uha . nhayd¯ˆe ´ md¯u . o . . c c´ac k´y hiˆe . u B = {b 1 ,b 2 , ,b K } m`a ta go . i l`a l`a ba ˙’ ng kˆenh. X´ac suˆa ´ tcu ˙’ asu . . kiˆe . n xuˆa ´ thiˆe . nk´yhiˆe . u b k nhˆa . nd¯u . o . . cbo . ˙’ i ngu . `o . isu . ˙’ du . ng thˆong tin l`a P(b k ). Cˇa . p(B,v), trong d¯´o vector v =[P (b 1 ),P(b 2 ), ,P(b K )] t , miˆeu ta ˙’ d¯ ˆa ` yd¯u ˙’ kˆenh ra v`a do d¯´o thˆong tin nhˆa . nd¯u . o . . cbo . ˙’ i ngu . `o . isu . ˙’ du . ng. Theo cˆong th ´u . c x´ac suˆa ´ t ta c´o P (b k )= J j=1 P (b k |a j )P (a j ), trong d¯´o P (b k |a j ) l`a x´ac suˆa ´ t nhˆa . nd¯u . o . . c t´ın hiˆe . u b k v´o . id¯iˆe ` ukiˆe . n nguˆo ` n thˆong tin gu . ˙’ i t´ın hiˆe . u a j . D - ˇa . t Q = P (b 1 |a 1 ) P (b 1 |a 2 ) ··· P (b 1 |a J ) P (b 2 |a 1 ) P (b 2 |a 2 ) ··· P (b 2 |a J ) . . . . . . ··· . . . P (b K |a 1 ) P (b K |a 2 ) ··· P (b K |a J ) . 155 Khi d¯´o v = Qz. (6.4) Ma trˆa . n Q v´o . i c´ac phˆa ` ntu . ˙’ q kj = P(b k |a j )go . il`ama trˆa . nbiˆe ´ nd¯ˆo ˙’ i kˆenh thuˆa . n. D - ˆe ˙’ x´ac d¯i . nh kha ˙’ nˇang cu ˙’ amˆo . tkˆenh v´o . i ma trˆa . nbiˆe ´ nd¯ˆo ˙’ i kˆenh thuˆa . n Q tru . ´o . c hˆe ´ tch´ung ta cˆa ` n t´ınh entropy cu ˙’ a nguˆo ` n thˆong tin v´o . i gia ˙’ thiˆe ´ t ngu . `o . isu . ˙’ du . ng thˆong tin quan s´at mˆo . t t´ın hiˆe . urab k . Phu . o . ng tr`ınh (6.4) x´ac d¯i . nh h`am phˆan bˆo ´ cu ˙’ a c´ac k´yhiˆe . u nguˆo ` n khi b k d¯ u . o . . c quan s´at, nˆen mˆo ˜ i b k cho mˆo . t h`am entropy c´o d¯iˆe ` ukiˆe . n. Du . . a trˆen c´ac bu . ´o . cdˆa ˜ nd¯ˆe ´ nPhu . o . ng tr`ınh (6.3), h`am entropy c´o d¯iˆe ` ukiˆe . n, k´yhiˆe . u H(z,b k ), c´o da . ng H(z,b k )=− J j=1 P (a j |b k ) log P ( a j |b k ), trong d¯´o P (a j |b k ) l`a x´ac suˆa ´ t truyˆe ` nk´yhiˆe . u a j v´o . id¯iˆe ` ukiˆe . n ngu . `o . isu . ˙’ du . ng nhˆa . n d¯ u . o . . ck´yhiˆe . u b k . K`yvo . ng hay gi´a tri . trung b`ınh cu ˙’ abiˆe ˙’ uth´u . c n`ay theo tˆa ´ tca ˙’ c´ac b k l`a H(z, v)= K k=1 H(z,b k )P (b k ). hay tu . o . ng d¯u . o . ng H(z, v)=− J j=1 K k=1 P (a j ,b k ) log P (a j |b k ). (6.5) Trong biˆe ˙’ uth´u . c trˆen, P(a j ,b k ) l`a x´ac suˆa ´ tliˆen kˆe ´ t c´ac su . . kiˆe . n a j v`a b k . T´u . cl`a P (a j ,b k ) l`a x´ac suˆa ´ t khi nguˆo ` n truyˆe ` n a j v`a ngu . `o . isu . ˙’ du . ng nhˆa . nd¯u . o . . c b k . Sˆo ´ ha . ng H(z, v)go . il`am´u . cd¯ˆo . mˆa . pm`o . cu ˙’ a z tu . o . ng ´u . ng v´o . i v. N´o biˆe ˙’ u thi . thˆong tin trung b`ınh cu ˙’ ak´yhiˆe . u nguˆo ` n khi d¯˜a biˆe ´ t c´ac kˆe ´ t qua ˙’ qua quan s´at. V`ı H(z)l`a thˆong tin trung b`ınh cu ˙’ amˆo . tk´yhiˆe . u nguˆo ` n, gia ˙’ thiˆe ´ t khˆong biˆe ´ t tru . ´o . cvˆe ` kˆe ´ t qua ˙’ cu ˙’ a t´ın hiˆe . u nhˆa . nd¯u . o . . c, hiˆe . usˆo ´ gi˜u . a H(z)v`aH(z, v) l`a thˆong tin trung b`ınh nhˆa . nd¯u . o . . c trong l´uc quan s´at mˆo . tk´yhiˆe . uo . ˙’ d¯ ˆa ` u ra. Hiˆe . usˆo ´ n`ay, k´yhiˆe . u I(z, v), go . il`athˆong tin tu . o . ng hˆo ˜ cu ˙’ a z v`a v, l`a I(z, v)=H(z) − H(z, v). Ch´u´yrˇa ` ng P (a j )=P (a j ,b 1 )+P (a j ,b 2 )+···+ P (a j ,b K ). T`u . d¯´o thay H(z) trong Phu . o . ng tr`ınh (6.3) v`a H(z, v) trong (6.5) ta d¯u . o . . c I(z, v)= J j=1 K k=1 P (a j ,b k ) log P (a j ,b k ) P (a j )P (b k ) . 156 T`u . d¯ ´o I(z, v)= J j=1 K k=1 P (a j )q kj log q kj J i=1 P (a i )q ki . (6.6) Do d¯´o thˆong tin trung b`ınh nhˆa . nd¯u . o . . c khi quan s´at mˆo . tt´ınhiˆe . urat`u . kˆenh truyˆe ` n phu . thuˆo . c v`ao phˆan bˆo ´ x´ac suˆa ´ tcu ˙’ a c´ac k´yhiˆe . u nguˆo ` n z v`a ma trˆa . nbiˆe ´ nd¯ˆo ˙’ i kˆenh thuˆa . n Q. T´ınh chˆa ´ t 6.3.1 Ta c´o I(z, v) ≥ 0; dˆa ´ ubˇa ` ng xa ˙’ yranˆe ´ u v`a chı ˙’ nˆe ´ u c´ac t´ın hiˆe . u v`ao v`a t´ın hiˆe . urad¯ˆo . clˆa . p thˆo ´ ng kˆe. Ch´u . ng minh. ´ Ap du . ng bˆa ´ td¯ˇa ˙’ ng th´u . c Jensen ta c´o −I(z, v)= J j=1 K k=1 P (a j ,b k ) log P (a j )P (b k ) P (a j ,b k ) ≤ log J j=1 K k=1 P (a j )P (b k ) = log 1 = 0. Ho . nn˜u . a, do t´ınh lˆo ` i thu . . csu . . cu ˙’ a h`am log x ta c´o dˆa ´ ud¯ˇa ˙’ ng th´u . cnˆe ´ u v`a chı ˙’ nˆe ´ u P (a j ,b k )=P (a j )P (b k )v´o . imo . i j, k;t´u . c l`a c´ac t´ın hiˆe . u v`ao v`a t´ın hiˆe . u ra d¯ˆo . clˆa . p thˆo ´ ng kˆe. ✷ Gi´a tri . cu . . cd¯a . i C := max z I(z, v), trong d¯´o maximum lˆa ´ y trˆen tˆa ´ tca ˙’ c´ac x´ac suˆa ´ t c´o thˆe ˙’ c´o cu ˙’ a c´ac k´y hiˆe . u nguˆo ` n, go . i l`a thˆong lu . o . . ng cu ˙’ a kˆenh. Theo d¯i . nh ngh˜ıa, thˆong lu . o . . ng cu ˙’ a kˆenh l`a lu . o . . ng thˆong tin tˆo ´ i d¯a khi kˆenh cho d¯i qua trong mˆo . td¯o . nvi . th`o . i gian. Ho . nn˜u . a, thˆong lu . o . . ng cu ˙’ a kˆenh khˆong phu . thuˆo . c v`ao c´ac x´ac suˆa ´ tcu ˙’ a c´ac k´y hiˆe . u nguˆo ` nm`achı ˙’ phu . thuˆo . c v`ao c´ac x´ac suˆa ´ t c´o d¯iˆe ` ukiˆe . n x´ac d¯i . nh kˆenh. V´ı du . 6.3.2 X´et nguˆo ` n thˆong tin nhi . phˆan v´o . iba ˙’ ng ch˜u . A = {a 1 ,a 2 } = {0, 1} v`a c´ac x´ac suˆa ´ t nguˆo ` nta . o ra c´ac k´y hiˆe . u a 1 v`a a 2 tu . o . ng ´u . ng l`a P (a 1 )=p bs v`a P (a 2 )=1−p bs =¯p bs . Khi d¯´o entropy cu ˙’ a nguˆo ` nl`a H(z)=−p bs log 2 p bs − ¯p bs log 2 ¯p bs . 157 V`ı z =(P(a 1 ),P(a 2 )) t =(p bs , 1 − p bs ) t nˆen H(z)chı ˙’ phu . thuˆo . c v`ao tham sˆo ´ p bs v`a vˆe ´ bˆen pha ˙’ icu ˙’ aphu . o . ng tr`ınh trˆen go . il`ah`am entropy nhi . phˆan,k´yhiˆe . ul`aH bs (·). Do d¯´o, trong v´ıdu . n`ay H bs (t)=−t log 2 t − ¯ t log 2 ¯ t. H`ınh 6.5(a) l`a d¯ˆo ` thi . cu ˙’ a h`am H bs (p bs )v´o . i 0 ≤ p bs ≤ 1. Ch´u´yrˇa ` ng H bs d¯ a . t gi´a tri . cu . . cd¯a . i (1 bit) khi p bs = 1 2 . V´o . itˆa ´ tca ˙’ c´ac gi´a tri . kh´ac cu ˙’ a p bs nguˆo ` n cung cˆa ´ p thˆong tin ´ıt ho . n 1 bit. Bˆay gi`o . gia ˙’ su . ˙’ rˇa ` ng thˆong tin d¯u . o . . c truyˆe ` n trˆen kˆenh nhi . phˆan c´o nhiˆe ˜ u v`a x´ac suˆa ´ tlˆo ˜ i khi truyˆe ` nmˆo . tk´yhiˆe . u nguˆo ` nbˆa ´ tk`yl`ap e . Kˆenh nhu . vˆa . ygo . il`akˆenh d¯ˆo ´ ix´u . ng nhi . phˆan (viˆe ´ ttˇa ´ t BSC) v`a x´ac d¯i . nh bo . ˙’ i ma trˆa . nbiˆe ´ nd¯ˆo ˙’ i kˆenh thuˆa . n Q = 1 −p e p e p e 1 − p e = ¯p e p e p e ¯p e . V´o . imˆo ˜ ik´yhiˆe . u nguˆo ` n, BSC sinh ra mˆo . tt´ın hiˆe . u b j ∈ B = {b 1 ,b 2 } = {0, 1}. X´ac suˆa ´ t cu ˙’ a c´ac t´ın hiˆe . urab 1 v`a b 2 cho bo . ˙’ i v = Qz = ¯p e p e p e ¯p e p bs ¯p bs = ¯p e p bs + p e ¯p bs p e p bs +¯p e ¯p bs . Vˆa . y x´ac suˆa ´ t xuˆa ´ thiˆe . nk´yhiˆe . u0l`a¯p e p bs + p e ¯p bs v`a x´ac suˆa ´ t xuˆa ´ thiˆe . nk´yhiˆe . u1l`a p e p bs +¯p e ¯p bs . Dˆe ˜ d`ang kiˆe ˙’ m tra thˆong tin tu . o . ng hˆo ˜ cu ˙’ a BSC bˇa ` ng I(z, v)=H bs (p ps p e +¯p e ¯p bs ) −H bs (p e ), trong d¯´o H bs (·) l`a h`am entropy nhi . phˆan c´o d¯ˆo ` thi . trong H`ınh 6.5(a). V´o . i c´ac gi´a tri . p ps = 0 hoˇa . c1th`ıI(z, v)=0. Ho . nn˜u . an´od¯a . t gi´a tri . l´o . n nhˆa ´ t khi c´ac k´y hiˆe . u nguˆo ` n c´o x´ac suˆa ´ t xuˆa ´ thiˆe . nbˇa ` ng nhau. H`ınh 6.5(b) l`a d¯ˆo ` thi . cu ˙’ a I(z, v) theo p bs khi cˆo ´ d¯ i . nh lˆo ˜ i kˆenh p e . Ta biˆe ´ trˇa ` ng, thˆong lu . o . . ng cu ˙’ a BSC nhˆa . nd¯u . o . . cbˇa ` ng c´ach lˆa ´ y maximum thˆong tin tu . o . ng hˆo ˜ theo tˆa ´ tca ˙’ c´ac kha ˙’ nˇang cu ˙’ a x´ac suˆa ´ t nguˆo ` n. H`ınh 6.5(b) l`a d¯ˆo ` thi . cu ˙’ a I(z, v) theo tˆa ´ tca ˙’ c´ac gi´a tri . cu ˙’ a h`am x´ac suˆa ´ t(t´u . c l`a, v´o . i0≤ p bs ≤ 1 hoˇa . c khi z thay d¯ˆo ˙’ it`u . (0, 1) t d¯ ˆe ´ n(1, 0) t ). Ta thˆa ´ y I(z, v)d¯a . tcu . . cd¯a . i (v´o . i p e bˆa ´ tk`y) khi p bs = 1 2 . Gi´a tri . p bs n`ay tu . o . ng ´u . ng z =( 1 2 , 1 2 ) t . Trong tru . `o . ng ho . . p n`ay, I( z, v)=H bs (p e ). Do d¯´o thˆong lu . o . . ng C =1−H bs (p e )cu ˙’ a BSC c´o d¯ˆo ` thi . trong H`ınh 6.5(c). Ch´u´yrˇa ` ng khi khˆong c´o lˆo ˜ id¯u . `o . ng truyˆe ` n(p e =0)c˜ung nhu . khi chˇa ´ cchˇa ´ nc´o lˆo ˜ i(p e = 1) th`ı thˆong lu . o . . ng cu ˙’ a kˆenh d¯a . t gi´a tri . l´o . n nhˆa ´ t 1bit/k´yhiˆe . u. Trong nh˜u . ng tru . `o . ng ho . . p n`ay, c´o thˆe ˙’ truyˆe ` n thˆong tin nhiˆe ` u nhˆa ´ tv`ıt´ınhiˆe . u ra cu ˙’ a kˆenh c´o thˆe ˙’ ho`an to`an d¯o´an tru . ´o . c. Tuy nhiˆen, khi p e = 1 2 th`ı t´ın hiˆe . urat`u . kˆenh ho`an to`an khˆong thˆe ˙’ d¯o´an tru . ´o . c v`a khˆong c´o thˆong tin n`ao d¯u . o . . c truyˆe ` n qua n´o. 158 . cˆa ´ pco . so . ˙’ to´an ho . c tra ˙’ l`o . i cˆau ho ˙’ i n`ay v`a nh˜u . ng vˆa ´ nd¯ˆe ` liˆen quan. 6 .3. 1 D - o thˆong tin Tiˆe ` nd¯ˆe ` co . ba ˙’ ncu ˙’ a l´y thuyˆe ´ t thˆong tin l`a c´o thˆe ˙’ mˆo. thˆe ˙’ hiˆe ˙’ uo . ˙’ co . sˆo ´ bˆa ´ t k `y v `a d¯ o . nvi . d¯o thˆong tin tu . o . ng ´u . ng v´o . ico . sˆo ´ d¯´o. 1 53 6 .3. 2 Kˆenh truyˆe ` n tin Khi lu . o . . ng thˆong tin ch´u . a trong mˆo . tsu . . kiˆe . nd¯u . o . . c. −log P (E) d¯ o . nvi . thˆong tin. Gi´a tri . I(E)thu . `o . ng go . il`athˆong tin riˆeng (self-information) hay lu . o . . ng thˆong tin d¯u . o . . cch´u . a trong E. N´oi chung, sˆo ´ lu . o . . ng