0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . X´ac suˆa ´ t p bs Entropy H (bits/k ´y hiˆe . u) (a) 0.0 0.2 0.4 0.6 0.8 1.0 0 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 − H bs (p e ) X´ac suˆa ´ t p bs Thˆong tin tu . o . ng hˆo ˜ I (bits/k´y hiˆe . u) (b) 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . X´ac suˆa ´ t p e Thˆong lu . o . . ng C (bits/k´y hiˆe . u) (c) H`ınh 6.5: Ba h`am thˆong tin nhi . phˆan: (a) h`am entropy; (b) thˆong tin tu . o . ng hˆo ˜ cu ˙’ a kˆenh d¯ˆo ´ ix´u . ng nhi . phˆan (BSC); (c) thˆong lu . o . . ng cu ˙’ a BSC. 159 Nguˆo ` n thˆong tin Kˆenh Ngu . `o . isu . ˙’ du . ng thˆong tin M˜a ho´a Gia ˙’ im˜a Hˆe . thˆo ´ ng truyˆe ` n tin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . H`ınh 6.6: Mˆo h`ınh hˆe . thˆo ´ ng truyˆe ` n tin. 6.3.3 C´ac d¯i . nh l´y m˜a ho´a co . ba ˙’ n Trong Phˆa ` n 6.3.2 ch´ung ta d¯˜a d¯ˆe ` cˆa . pd¯ˆe ´ nmˆoh`ınh trong H`ınh 6.4 gˆo ` m nguˆo ` n thˆong tin, kˆenh v`a ngu . `o . isu . ˙’ du . ng. Phˆa ` n n`ay ta s˜e thˆem v`ao mˆo . thˆe . thˆo ´ ng truyˆe ` n tin v`a d¯ˆe ` cˆa . pd¯ˆe ´ n ba d¯i . nh l´y vˆe ` m˜a ho´a v`a biˆe ˙’ udiˆe ˜ n thˆong tin. Nhu . H`ınh 6.6 chı ˙’ ra, hˆe . thˆo ´ ng truyˆe ` n tin d¯u . o . . cch`engi˜u . a nguˆo ` n thˆong tin v`a ngu . `o . isu . ˙’ du . ng; hˆe . thˆo ´ ng n`ay bao gˆo ` m mˆo . tbˆo . m˜a ho´a v`a mˆo . tbˆo . gia ˙’ m˜a. D - i . nh l ´y m˜a ho´a khˆong nhiˆe ˜ u Khi kˆenh thˆong tin v`a hˆe . thˆo ´ ng truyˆe ` n tin khˆong c´o nhiˆe ˜ uth`ıch´u . c nˇang ch´ınh cu ˙’ ahˆe . thˆo ´ ng truyˆe ` n tin l`a biˆe ˙’ udiˆe ˜ n nguˆo ` n sao cho s´uc t´ıch nhˆa ´ t. V´o . inh˜u . ng gia ˙’ thiˆe ´ t n`ay, d¯ i . nh l ´y m˜a ho´a khˆong nhiˆe ˜ u hay c`on go . il`ad¯ i . nh l´y th´u . nhˆa ´ tcu ˙’ a Shannon cho biˆe ´ td¯ˆo . d`ai trung b`ınh cu ˙’ at`u . m˜a nho ˙’ nhˆa ´ t. Ta go . i nguˆo ` n khˆong nh´o . l`a nguˆo ` n thˆong tin v´o . i khˆong gian x´ac suˆa ´ th˜u . uha . n (A, z) v`a c´ac k´y hiˆe . u nguˆo ` nd¯ˆo . clˆa . p thˆo ´ ng kˆe v´o . i nhau. Nˆe ´ u kha ˙’ o s´at t´ın hiˆe . urat`u . nguˆo ` n khˆong nh´o . l`a bˆo . gˆo ` m n k´yhiˆe . u trong ba ˙’ ng ch˜u . nguˆo ` n th`ı t´ın hiˆe . u nguˆo ` nl`amˆo . t vector ngˆa ˜ u nhiˆen thuˆo . c A n . Do ba ˙’ ng ch˜u . A gˆo ` m J k´yhiˆe . u, nˆen sˆo ´ phˆa ` ntu . ˙’ cu ˙’ a A n bˇa ` ng J n . Gia ˙’ su . ˙’ A n = {α 1 ,α 2 , ,α J n }, trong d¯´o mˆo ˜ i α i l`a chuˆo ˜ igˆo ` m n k´yhiˆe . u thuˆo . c ba ˙’ ng ch˜u . A. K´yhiˆe . u P(α i ) l`a x´ac suˆa ´ t xuˆa ´ thiˆe . n vector α i =(a i 1 ,a i 2 , ,a i n ). Khi d¯´o P (α i )=P (a i 1 )P (a i 2 ) ···P (a i n ). D - ˇa . t z =(P (α i 1 ),P(α i 2 ), ,P(α J n )) t . Ta c´o entropy cu ˙’ a nguˆo ` nbˇa ` ng H(z )=− J n i=1 P (α i ) log P(α i ). 160 Suy ra H(z )=nH( z). N´oi c´ach kh´ac, entropy cu ˙’ a nguˆo ` n thˆong tin khˆong nh´o . (ta . o ra c´ac vector ngˆa ˜ u nhiˆen) gˆa ´ p n lˆa ` n entropy cu ˙’ a nguˆo ` nta . orat`u . ng k´y hiˆe . umˆo . t. M˜a nguˆo ` nnhu . vˆa . ythu . `o . ng go . i l`a mo . ˙’ rˆo . ng th´u . n cu ˙’ a nguˆo ` nk´yhiˆe . ud¯o . n. V`ı thˆong tin riˆeng cu ˙’ a t´ın hiˆe . uraα i l`a log[1/P (α i )] nˆen s˜e l`a ho . . pl´ynˆe ´ uch´ung ta m˜a ho´a α i su . ˙’ du . ng t`u . m˜a c´o d¯ˆo . d`ai nguyˆen l(α i ) sao cho log 1 P (α i ) ≤ l(α i ) < log 1 P (α i ) +1. Mˆo . t c´ach tru . . c gi´ac go . . i´yrˇa ` ng t´ın hiˆe . uraα i d¯ u . o . . cbiˆe ˙’ udiˆe ˜ nbo . ˙’ imˆo . tt`u . m˜a m`a d¯ˆo . d`ai cu ˙’ at`u . m˜a l`a sˆo ´ nguyˆen nho ˙’ nhˆa ´ tl´o . nho . n thˆong tin riˆeng cu ˙’ a α i . 4 Nhˆan kˆe ´ t qua ˙’ n`ay v´o . i P(α i ) v`a lˆa ´ ytˆo ˙’ ng theo i ta d¯u . o . . c J n i=1 P (α i ) log 1 P (α i ) ≤ J n i=1 P (α i )l( α i ) < J n i=1 P (α i ) log 1 P (α i ) +1; hay tu . o . ng d¯u . o . ng H(z ) ≤ L avg <H(z )+1, trong d¯´o L avg l`a d¯ ˆo . d`ai trung b`ınh cu ˙’ a c´ac t`u . m˜a biˆe ˙’ udiˆe ˜ n cho c´ac t´ın hiˆe . uraα i . T´u . c l`a L avg = J n i=1 P (α i )l( α i ). Ch´u´yrˇa ` ng H(z )/n = H(z). Suy ra H(z) ≤ L avg n <H(z)+ 1 n . Vˆa . y lim n→∞ L avg n = H(z). Phu . o . ng tr`ınh n`ay ch´ınh l`a nˆo . i dung cu ˙’ ad¯i . nh l´y th´u . nhˆa ´ tcu ˙’ a Shannon d¯ˆo ´ iv´o . i nguˆo ` n thˆong tin khˆong nh´o . .Kˆe ´ t qua ˙’ n`ay chı ˙’ ra rˇa ` ng c´o thˆe ˙’ lˆa ´ y n d¯ u ˙’ l´o . nd¯ˆe ˙’ L avg n xˆa ´ pxı ˙’ H(z). Mˇa . cd`u khˇa ˙’ ng d¯i . nh d¯u . o . . c suy t`u . gia ˙’ thiˆe ´ t c´ac k´yhiˆe . u nguˆo ` nd¯ˆo . clˆa . p thˆo ´ ng kˆe, nhu . ng ta dˆe ˜ d`ang mo . ˙’ rˆo . ng d¯ˆo ´ iv´o . inh˜u . ng nguˆo ` ntˆo ˙’ ng qu´at ho . n, chˇa ˙’ ng ha . nv´o . i nguˆo ` n Markov bˆa . c m trong d¯´o su . . xuˆa ´ thiˆe . ncu ˙’ ak´yhiˆe . u a j c´o thˆe ˙’ phu . thuˆo . c v`ao m k´yhiˆe . u tru . ´o . c. C´ac nguˆo ` n Markov thu . `o . ng d¯u . o . . csu . ˙’ du . ng d¯ˆo ´ iv´o . i c´ac mˆo h`ınh c´o mˆo ´ itu . o . ng 4 C´o thˆe ˙’ xˆay du . . ng m˜a c´o thˆe ˙’ gia ˙’ im˜at´u . c th`o . i thoa ˙’ d¯ i ˆe ` ukiˆe . n n`ay. 161 K´yhiˆe . u P (α i ) I(α i ) l(α i )T`u . m˜a D - ˆo . d`ai α i nguˆo ` n Mo . ˙’ rˆo . ng th´u . nhˆa ´ t α 1 a 1 2/3 0.59 1 0 1 α 2 a 2 1/3 1.58 2 1 1 Mo . ˙’ rˆo . ng th´u . hai α 1 a 1 a 1 4/9 1.17 2 0 1 α 2 a 1 a 2 2/9 2.17 3 10 2 α 3 a 2 a 1 2/9 2.17 3 110 3 α 4 a 2 a 2 1/9 3.17 4 111 3 Ba ˙’ ng 6.2: V´ı du . m˜a ho´a nguˆo ` nmo . ˙’ rˆo . ng. quan gi˜u . a c´ac pixel trong a ˙’ nh. V`ı H(z) l`a mˆo . tcˆa . ndu . ´o . icu ˙’ a L avg n nˆen ta c´o thˆe ˙’ d¯ i . nh ngh˜ıa hiˆe . u suˆa ´ t cu ˙’ a qu´a tr`ınh m˜a ho´a l`a d¯a . ilu . o . . ng η = n H(z) L avg . V´ı d u . 6.3.3 X´et nguˆo ` n thˆong tin khˆong nh´o . c´o ba ˙’ ng ch˜u . A = {a 1 ,a 2 } v´o . i c´ac x´ac suˆa ´ t P (a 1 )=2/3v`aP (a 2 )=1/3. Entropy cu ˙’ a nguˆo ` n n`ay bˇa ` ng 0.918 bits/k´y hiˆe . u. Nˆe ´ ubiˆe ˙’ udiˆe ˜ n c´ac k´y hiˆe . u a 1 v`a a 2 bˇa ` ng c´ac t`u . m˜a0v`a1th`ıL avg = 1 bit/k´y hiˆe . uv`a hiˆe . u suˆa ´ tcu ˙’ a m˜a l`a η = (1)(0.918)/1=0.918. Ba ˙’ ng 6.2 tˆo ˙’ ng ho . . p m˜a nhi . phˆan v`a m˜a mo . ˙’ rˆo . ng v´o . i n = 2 (phˆa ` n cuˆo ´ icu ˙’ aba ˙’ ng) gˆo ` mbˆo ´ n vector α 1 ,α 2 ,α 3 v`a α 4 v´o . i c´ac x´ac suˆa ´ ttu . o . ng ´u . ng l`a 4/9, 2/9, 2/9v`a1/9. Trong tru . `o . ng ho . . p n`ay, d¯ˆo . d`ai trung b`ınh cu ˙’ ac´act`u . m˜a l`a 17/9 1.89 bit/k´y hiˆe . u. Entropy cu ˙’ a nguˆo ` nmo . ˙’ rˆo . ng gˆa ´ p hai lˆa ` n entropy cu ˙’ a nguˆo ` n ban d¯ˆa ` u, t´u . c l`a bˇa ` ng 1.83 bit/k´y hiˆe . u. Do d¯´o hiˆe . u suˆa ´ tcu ˙’ a m˜a ho´a nguˆo ` nmo . ˙’ rˆo . ng l`a η =1.83/1.89 0.97 l´o . n ho . nhiˆe . u suˆa ´ tcu ˙’ a m˜a ho´a nguˆo ` n ban d¯ˆa ` u. M˜a ho´a nguˆo ` nmo . ˙’ rˆo . ng gia ˙’ msˆo ´ bit trung b`ınh trˆen k´yhiˆe . ut`u . 1 bit/k´y hiˆe . u xuˆo ´ ng c`on 1.89/2 0.92 bit/k´y hiˆe . u. D - i . nh l ´y m˜a ho´a c´o nhiˆe ˜ u Nˆe ´ u kˆenh trong H`ınh 6.6 bi . nhiˆe ˜ u hoˇa . c c´o thˆe ˙’ xa ˙’ y ra lˆo ˜ i trong d¯u . `o . ng truyˆe ` n th`ı vˆa ´ n d¯ ˆe ` quan tˆam thay d¯ˆo ˙’ it`u . biˆe ˙’ udiˆe ˜ n thˆong tin mˆo . t c´ach s´uc t´ıch sang viˆe . c m˜a ho´a sao cho c´o thˆe ˙’ tin cˆa . yd¯u . o . . cd˜u . liˆe . u truyˆe ` n. Mˆo . tvˆa ´ nd¯ˆe ` tu . . nhiˆen d¯ˇa . t ra l`a: l`am sao d¯ˆe ˙’ ´ı t lˆo ˜ i nhˆa ´ t khi truyˆe ` n thˆong tin? 162 V´ı d u . 6.3.4 X´et kˆenh d¯ˆo ´ ix´u . ng nhi . phˆan (BSC) c´o x´ac suˆa ´ tlˆo ˜ i p e =0.01 (t´u . cl`a99 phˆa ` n trˇam c´ac k´y tu . . nguˆo ` n khi d¯u . o . . c truyˆe ` n qua kˆenh l`a ch´ınh x´ac). Mˆo . t c´ach d¯o . n gia ˙’ nd¯ˆe ˙’ tˇang d¯ˆo . tin cˆa . y khi truyˆe ` n thˆong tin l`a lˇa . pla . imˆo ˜ i thˆong b´ao hay k´y hiˆe . u nhi . phˆan nhiˆe ` ulˆa ` n. Gia ˙’ su . ˙’ chˇa ˙’ ng ha . n, thay v`ı truyˆe ` n 0 hoˇa . c1,ch´ung ta m˜a ho´a th`anh c´ac thˆong b´ao 000 v`a 111 v`a truyˆe ` n d¯i c´ac thˆong b´ao n`ay. X´ac suˆa ´ t khˆong xa ˙’ y ra lˆo ˜ i khi truyˆe ` n thˆong b´ao bˇa ` ng c´ach lˇa . p ba lˆa ` nk´yhiˆe . u ban d¯ˆa ` u l`a (1 − p e ) 3 =¯p 3 e . X´ac suˆa ´ txa ˙’ y ra mˆo . tlˆo ˜ il`a3p e ¯p 2 e ; hai lˆo ˜ il`a3p 2 e ¯p ; e v`a x´ac suˆa ´ txa ˙’ y ra ba lˆo ˜ ibˇa ` ng p 3 e . V`ı x´ac suˆa ´ t khi truyˆe ` nbi . mˆo . tlˆo ˜ i nho ˙’ ho . n 50 phˆa ` n trˇam nˆen c´ac thˆong b´ao nhˆa . nd¯u . o . . c c´o thˆe ˙’ gia ˙’ i m˜a su . ˙’ du . ng luˆa . tsˆo ´ d¯ˆong. Do d¯´o x´ac suˆa ´ t gia ˙’ i m˜a sai mˆo . tt`u . m˜a (gˆo ` mba k´yhiˆe . u) bˇa ` ng tˆo ˙’ ng x´ac suˆa ´ t khi xa ˙’ y ra hai lˆo ˜ iv´o . i x´ac suˆa ´ txa ˙’ y ra ba lˆo ˜ i, t´u . c l`a bˇa ` ng p 3 e +3p e ¯p 2 e . Khi khˆong xa ˙’ y ra lˆo ˜ i hoˇa . cchı ˙’ c´o mˆo . tlˆo ˜ i th`ı gia ˙’ i m˜a theo luˆa . tsˆo ´ d¯ˆong cho l`o . i gia ˙’ id¯´ung. V´o . i p e =0.01 th`ı x´ac suˆa ´ txa ˙’ yralˆo ˜ i khi truyˆe ` n gia ˙’ m xuˆo ´ ng c`on 0.0003. Bˇa ` ng c´ach mo . ˙’ rˆo . ng phu . o . ng ph´ap m˜a lˇa . p trˆen, ch´ung ta c´o thˆe ˙’ l`am cho lˆo ˜ i to`an bˆo . trong qu´a tr`ınh truyˆe ` n thˆong nho ˙’ theo mong muˆo ´ n. Trong tru . `o . ng ho . . ptˆo ˙’ ng qu´at, ch´ung ta c´o thˆe ˙’ thu . . chiˆe . nd¯iˆe ` u n`ay bˇa ` ng c´ach m˜a ho´a mo . ˙’ rˆo . ng th ´u . n cu ˙’ a nguˆo ` nsu . ˙’ du . ng c´ac d˜ay d¯ˆo . d`ai r t`u . K k´yhiˆe . u, trong d¯´o K r ≥ J n . L`o . i gia ˙’ io . ˙’ d¯ˆay l`a chı ˙’ cho . n ϕ d˜ay trong K r kha ˙’ nˇang l`am c´ac t`u . m˜a ho . . plˆe . v`a ra quyˆe ´ td¯i . nh sao cho x´ac suˆa ´ t gia ˙’ i m˜a d¯ ´ung l`a tˆo ´ iu . u. Trong v´ı du . tru . ´o . c, lˇa . pmˆo ˜ ik´yhiˆe . u ba lˆa ` n l`a tu . o . ng d¯u . o . ng v´o . i m˜a ho´a k´y hiˆe . u nguˆo ` nsu . ˙’ du . ng hai t `u . m˜a ho . . plˆe . 000 v`a 111 trong sˆo ´ tˆa ´ tca ˙’ 2 3 =8 kha ˙’ nˇang. Nˆe ´ u nhˆa . nd¯u . o . . c d˜ay ba bit khˆong pha ˙’ it`u . m˜a ho . . plˆe . ,su . ˙’ du . ng luˆa . tsˆo ´ d¯ˆong ch´ung ta s˜e x´ac d¯i . nh bit d¯u . o . . c truyˆe ` n. Chˇa ˙’ ng ha . n, nˆe ´ u nhˆa . nd¯u . o . . c 101, th`ı kˆe ´ t luˆa . n chuˆo ˜ i bit d¯u . o . . c truyˆe ` n l`a 111 v`a k´yhiˆe . umuˆo ´ ngu . ˙’ il`a1. Nguˆo ` n thˆong tin khˆong nh´o . sinh ra thˆong tin v´o . itˆo ´ cd¯ˆo . (theo c´ac d¯o . nvi . thˆong tin trˆen k´yhiˆe . u) bˇa ` ng entropy H(z)cu ˙’ a n´o. Nguˆo ` nmo . ˙’ rˆo . ng th ´u . n cung cˆa ´ p thˆong tin v´o . itˆo ´ cd¯ˆo . H(z )/n d¯ o . nvi . thˆong tin trˆen mˆo . tk´yhiˆe . u. Nˆe ´ u thˆong tin d¯u . o . . cm˜a ho´a, nhu . trong v´ıdu . tru . ´o . c, tˆo ´ cd¯ˆo . cu . . cd¯a . icu ˙’ a thˆong tin d¯u . o . . c m˜a ho´a l`a (log ϕ)/r; dˆa ´ ubˇa ` ng xa ˙’ y ra khi ϕ t`u . m˜a d¯u . o . . csu . ˙’ du . ng d¯ˆe ˙’ m˜a ho´a nguˆo ` n c´o x´ac suˆa ´ tbˇa ` ng nhau. Do d¯´o, bˆo . m˜a gˆo ` m ϕ t`u . m˜a, mˆo ˜ it`u . m˜a c´o d¯ˆo . d`ai r, go . i l`a c´o tˆo ´ cd¯ˆo . R = log ϕ r . D - i . nh l´y th´u . hai cu ˙’ a Shannon, c`on go . il`ad¯ i . nh l´y m˜a ho´a c´o nhiˆe ˜ u,chı ˙’ ra rˇa ` ng, v´o . ibˆa ´ t k`y R<C,trong d¯´o C l`a thˆong lu . o . . ng cu ˙’ a kˆenh khˆong nh´o . v´o . i ma trˆa . n Q, 5 tˆo ` nta . isˆo ´ nguyˆen r v`a bˆo . m˜a gˆo ` m c´ac t`u . m˜a d¯ˆo . d`ai r n`ao d¯´o v´o . itˆo ´ cd¯ˆo . R sao cho x´ac suˆa ´ t khi 5 Kˆenh khˆong nh´o . l`a kˆenh m`a pha ˙’ n´u . ng cu ˙’ a n´o d¯ˆo ´ iv´o . ik´yhiˆe . u v`ao hiˆe . n th`o . i khˆong phu . thuˆo . c v`ao pha ˙’ n´u . ng cu ˙’ a kˆenh d¯ˆo ´ iv´o . i c´ac k´y hiˆe . u v`ao tru . ´o . c d¯´o. 163 gia ˙’ i m˜a sai mˆo . t d˜ay r k´yhiˆe . u nho ˙’ ho . n hoˇa . cbˇa ` ng v´o . imo . i >0 cho tru . ´o . c. Do d¯´o v´o . id¯iˆe ` ukiˆe . ntˆo ´ cd¯ˆo . thˆong b´ao d¯u . o . . c m˜a ho´a nho ˙’ ho . n thˆong lu . o . . ng cu ˙’ a kˆenh th`ı x´ac suˆa ´ txa ˙’ y ra lˆo ˜ ic´othˆe ˙’ l`am nho ˙’ tu `y ´y. D - i . nh l ´y m˜a ho´a nguˆo ` n C´ac d¯i . nh l´y d¯u . o . . c mˆo ta ˙’ trˆen thiˆe ´ tlˆa . p gi´o . iha . nd¯ˆe ˙’ truyˆe ` n thˆong khˆong xa ˙’ y ra lˆo ˜ id¯ˆo ´ i v´o . ic´ackˆenh tin cˆa . yc˜ung nhu . c´ac kˆenh khˆong tin cˆa . y. Trong phˆa ` n n`ay, ch´ung ta x´et kˆenh khˆong lˆo ˜ inhu . ng qu´a tr`ınh truyˆe ` n thˆong l`am mˆa ´ t thˆong tin. Trong nh˜u . ng tru . `o . ng ho . . p n`ay, ch´u . c nˇang ch´ınh cu ˙’ ahˆe . thˆo ´ ng truyˆe ` n thˆong l`a “n´en thˆong tin”. V´o . ihˆa ` uhˆe ´ t c´ac tru . `o . ng ho . . p, lˆo ˜ i trung b`ınh trong qu´a tr`ınh n´en khˆong vu . o . . t qu´a m´u . c cho ph´ep cu . . c d¯ a . i D. Ch´ung ta muˆo ´ n x´ac d¯i . nh tˆo ´ cd¯ˆo . nho ˙’ nhˆa ´ tv´o . id¯iˆe ` ukiˆe . n cho tru . ´o . c tiˆeu chuˆa ˙’ n trung thu . . c, nh ˜u . ng thˆong tin n`ao vˆe ` nguˆo ` n c´o thˆe ˙’ truyˆe ` nd¯a . td¯ˆe ´ n ngu . `o . isu . ˙’ du . ng. B`ai to´an n`ay thuˆo . cl˜ınh vu . . ccu ˙’ a l´y thuyˆe ´ t rate distortion trong l´y thuyˆe ´ t thˆong tin. Gia ˙’ su . ˙’ nguˆo ` n thˆong tin v`a bˆo . phˆa . n gia ˙’ i m˜a trong H`ınh 6.6 d¯u . o . . c x´ac d¯i . nh tu . o . ng ´u . ng bo . ˙’ i c´ac khˆong gian x´ac suˆa ´ th˜u . uha . n(A, z)v`a(B,v). Gia ˙’ thiˆe ´ tkˆenh cu ˙’ aH`ınh 6.6 khˆong bi . nhiˆe ˜ u. Khi d¯´o ma trˆa . nbiˆe ´ nd¯ˆo ˙’ i kˆenh thuˆa . n Q chuyˆe ˙’ nd¯ˆo ˙’ it`u . z sang v c´o thˆe ˙’ xem ch´ınh l`a qu´a tr`ınh m˜a ho´a-gia ˙’ i m˜a. Do qu´a tr`ınh m˜a ho´a-gia ˙’ i m˜a l`a x´ac d¯ i . nh, ma trˆa . n Q mˆo ta ˙’ mˆo . tkˆenh khˆong nh´o . nhˆan ta . o mˆo h`ınh cho t´ac d¯ˆo . ng cu ˙’ an´en v`a gia ˙’ i n´en thˆong tin. Mˆo ˜ i khi nguˆo ` n sinh ra k ´yhiˆe . u a j , n´o d¯u . o . . cbiˆe ˙’ udiˆe ˜ nbo . ˙’ imˆo . t t`u . m˜a v`a sau d¯´o d¯u . o . . c gia ˙’ i m˜a th`anh k´yhiˆe . urab k v´o . i x´ac suˆa ´ t q kj (xem Phˆa ` n 6.3.2). B`ai to´an m˜a ho´a nguˆo ` n sao cho distorsion trung b`ınh nho ˙’ ho . n D d¯`oi ho ˙’ i pha ˙’ ic´o c´ac nguyˆen tˇa ´ c xˆay du . . ng gi´a tri . distortion d¯ˆo ´ iv´o . imo . ixˆa ´ pxı ˙’ c´o thˆe ˙’ ta . id¯ˆa ` u ra cu ˙’ a nguˆo ` n. V´o . i tru . `o . ng ho . . pd¯o . n gia ˙’ ncu ˙’ a nguˆo ` n ban d¯ˆa ` u (nguˆo ` nmo . ˙’ rˆo . ng th´u . nhˆa ´ t) ta c´o thˆe ˙’ su . ˙’ du . ng h`am chi ph´ı khˆong ˆam ρ(a j ,b k ), go . il`ad¯ ˆo . d¯o distorsion, l`a ph´ı tˆo ˙’ n pha ˙’ i tra ˙’ d¯ ˆe ˙’ t´ai ta . ola . i t´ın hiˆe . u nguˆo ` n a j khi gia ˙’ i m˜a ra b k . T´ın hiˆe . u ra cu ˙’ a nguˆo ` n l`a ngˆa ˜ u nhiˆen nˆen distortion c˜ung l`a mˆo . tbiˆe ´ n ngˆa ˜ u nhiˆen m`a gi´a tri . trung b`ınh, k´y hiˆe . u d(Q), bˇa ` ng d(Q)= J j=1 K k=1 ρ(a j ,b k )P (a j ,b k ) = J j=1 K k=1 ρ(a j ,b k )P (a j )q kj . K´yhiˆe . u d(Q) nhˇa ` m nhˆa ´ nma . nh distortion l`a mˆo . t h`am trung b`ınh cu ˙’ a qu´a tr`ınh m˜a ho´a-gia ˙’ i m˜a d¯u . o . . c mˆo h`ınh bo . ˙’ i ma trˆa . n Q. Thu ˙’ tu . c m˜a ho´a-gia ˙’ i m˜a go . il`aD−chˆa ´ p 164 . 1.58 2 1 1 Mo . ˙’ rˆo . ng th´u . hai α 1 a 1 a 1 4/ 9 1.17 2 0 1 α 2 a 1 a 2 2/9 2.17 3 10 2 α 3 a 2 a 1 2/9 2.17 3 110 3 α 4 a 2 a 2 1/9 3.17 4 111 3 Ba ˙’ ng 6.2: V´ı du . m˜a ho´a nguˆo ` nmo . ˙’ rˆo . ng. quan. trung b`ınh cu ˙’ a qu´a tr`ınh m˜a ho´a-gia ˙’ i m˜a d¯u . o . . c mˆo h`ınh bo . ˙’ i ma trˆa . n Q. Thu ˙’ tu . c m˜a ho´a-gia ˙’ i m˜a go . il`aD−chˆa ´ p 1 64 . mˆo ´ itu . o . ng 4 C´o thˆe ˙’ xˆay du . . ng m˜a c´o thˆe ˙’ gia ˙’ im˜at´u . c th`o . i thoa ˙’ d¯ i ˆe ` ukiˆe . n n`ay. 161 K´yhiˆe . u P (α i ) I(α i ) l(α i )T`u . m˜a D - ˆo . d`ai α i nguˆo ` n Mo . ˙’ rˆo . ng