Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ ppt

Trang 142 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Bài 9 Kênh ri rc không nh Lng tin tng h 9.1 Kênh ri rc không nh và ma trn kênh 9.2 Entropy điu kin và lng tin tng h 9.3 Mt s loi kênh 9.4 S nhp nhng (equivocation) và tc đ truyn tin 9.5 Dung lng kênh Trang 143 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Kênh ri rc không nh và ma trn kênh ̈ nh ngha ̈ Mt kênh ri rc không nh (DMC) đc đnh ngha bng mt bng kí hiu đu vào (ngun phát) X = {x 1 , , x K }, mt bng kí hiu đu ra (ngun nhn) Y = {y 1 , , y J }, và mt s phân b xác sut có điu kin p(y j | x k ), vi 1 ≤ k ≤ K, 1 ≤ j ≤ J. ̈ Bng kí hiu đu ra không nht thit ging bng kí hiu đu vào. iu này có ngha là bên nhn có th nhn nhng kí hiu mà không ging vi nhng kí hiu mà bên phát phát đi. p(y j | x k ) X x k Y y j Trang 144 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Nhn xét ̈ Thut ng không nh (memoryless) suy ra rng vi N bt k. ̈ Mt kênh ri rc không nh thng đc biu din di dng mt ma trn kênh [p(y j | x k )] có kích thc K × J. ∏ = = N n knjnkNkjNj xypxxyyp 1 11 )|(}|{ LK p(y J | x K ) p(y 2 | x K )p(y 1 | x K )x K p(y J | x 2 ) p(y 2 | x 2 )p(y 1 | x 2 )x 2 p(y J | x 1 ) p(y 2 | x 1 )p(y 1 | x 1 )x 1 y J y 2 y 1 Trang 145 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Nhn xét (tt) ̈ Chúng ta thy, ma trn kênh chính là cái mà biu din tính cht tp nhiu ca kênh truyn. ̈ Chú ý, nu chúng ta bit s phân b xác sut trên X thì s phân b xác sut ca Y s đc xác đnh nh sau ∑ = = K k kjkj xypxpyp 1 )|()()( Trang 146 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Entropy điu kin và lng tin tng h ̈ Xét bài toán truyn tin sau Cho bit cu trúc thng kê ca ngun X và ma trn kênh. Hãy xác đnh kí hiu x k nào đã đc phát phát đi khi nhn đc  đu nhn mt kí hiu y j nào đó? ̈ Ví d ̈ Cho ngun X = {x 1 , x 2 } vi các xác sut ln lt là p(x 1 ) = 1/4, p(x 2 ) = 3/4, ngun Y = {y 1 , y 2 } và ma trn kênh là ̈ Nu nhn đc y 1 thì x k nào có kh nng đã đc phát đi? 3/52/5x 2 1/54/5x 1 y 2 y 1 Trang 147 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Ví d ̈ p(x 1 | y 1 ) < p(x 2 | y 1 ), nh vy chúng ta có th khng đnh đc kí hiu x 2 có kh nng đc phát đi hn x 1 ? ∑∑ == × × = × == K i iji kjk K i ji kjk j jk jk xypxp xypxp yxp xypxp yp yxp yxp 11 )|()( )|()( ),( )|()( )( ),( )|( 5 2 )5/2()4/3()5/4()4/1( )5/4()4/1( )|()()|()( )|()( )|( 212111 111 11 = ×+× × = + = xypxpxypxp xypxp yxp 5 3 )|( 12 = yxp Trang 148 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Ví d (tt) ̈  ý, trong công thc ca p(x i | y j ) có cha tha s p(x i ), nên p(x i | y j ) đã bnh hng bi xác sut l p(x i ). ̈ Vì vy đ công bng trong vic so sánh chúng ta phi da trên t s p(x i | y j )/p(x i ) cái mà không bnh hng nhiu bi p(x i ). ̈ Nh vy thc s kí hiu x 1 mi có kh nng đc phát đi hn kí hiu x 2 . ̈ T xác sut điu kin chúng ta gii thiu khái nim lng tin có điu kin . 5 4 4/3 5/3 )( )|( 5 8 4/1 5/2 )( )|( 2 12 1 11 = = == xp yxp xp yxp Trang 149 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Lng tin có điu kin I(x k | y j ) ̈ nh ngha I(y j | x k ) = –log p(y j | x k ) I(x k | y j ) = –log p(x k | y j ) ̈ p(y j | x k ) → 1 thì I(y j | x k ) → 0 và ngc li. ̈ Nu khi phát đi x k và bit chc y j s nhn đc thì  phía nhn chúng ta không cn tn thêm thông tin gì đ gii thích. ̈ Nu p(y j | x k ) = 1/2 (I(y j | x k ) = 1 bit) thì khi phát đi x k bên nhn s có hai kh nng và y j ch là mt trong hai kh nng đó, có ngha là bên nhn cn thêm thông tin (cn thêm 1 bit) đ bit chính xác đólàkh nng nào. ̈ Xác sut p(y j | x k ) = 1/2 ch xy ra khi kênh truyn có nhiu. Trang 150 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Lng tin có điu kin I(x k | y j ) ̈ Vì vy lng tin có điu kin còn đc gi là lng tin b mt đi do nhiu. ̈ Khi phát đi x k bên nhn s có mt tp các y j có kh nng đc nhn. ̈ Ngc li khi nhn đc y j bên phát s có mt tp các x k có kh nng đc phát. ̈  đo mc đ “quan h”gia x k vi y j chúng ta gii thiu khái nim lng tin tng h. Trang 151 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Lng tin tng h ̈ nh ngha ̈ Lng tin tng h gia hai tin là lng tin ca ca tin này đc cha trong tin kia và ngc li. Bng công thc Lng tin tng h = Lng tin riêng – Lng tin b mt đi I(x k , y j )= I(x k ) – I(x k | y j ) = I(y j ) – I(x k | y j ) ̈ Nu p(x k | y j ) = 1 có ngha là nu y j đã nhn đc thì chc chn x k đã đc phát đi, điu này có ngha là lng tin ca x k đã đc truyn nguyên vn thông qua kênh, do đó I(x k , y j ) = I(x k ). )( )( )( )( j kj k jk yp |xyp xp |yxp loglog = = [...]... u u ra Kênh vô d ng ̈ ̈ ây H(x | y) = H(x), vì v y C = Max {H(x) – H(x | y)} = Max{H(x) – H(x)} = 0 M t kênh vô d ng thì có dung l ng kênh b ng 0 Trang 171 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 10 Mã hóa ch ng nhi u, nh lý kênh 10.1 Gi i thi u bài toán ch ng nhi u 10.2 nh lý kênh có nhi u cho kênh nh phân r c (BSC) 10.3 nh lý ng c c a kênh truy n có nhi u Trang 172 Lý thuy t Thông tin -... I(x, y) c nh ngh a là dung l ng kênh C và là m t hàm c a ma tr n kênh C = C c i (trên các s phân b xác su t u vào) c a I(x, y) T ng quát, vi c tính dung l ng kênh là m t bài toán khó và là m t bài toán ch a c gi i m t cách tri t Tuy nhiên i v i các kênh ã c gi i thi u trên C có th tính toán c nh ph n sau ây trình bày Trang 1 69 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Kênh i x ng J C log J p 'j log... khi thông tin b sung c sinh ra t i t c H(x | y) hay nhanh h n m i cho phép phân bi t gi a các kh n ng này i v i lý do này, H(x | y) th ng c coi nh là s nh p nh ng (equivocation) c a kênh Và chúng ta nh ngh a l i t c truy n thông tin trên kênh là R = H(x) – H(x | y) = I(x, y) Trang 168 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Dung l ̈ ̈ ̈ ̈ ng kênh Theo ph n trên t c truy n tin trên kênh c nh ngh... tin - Khoa Công Ngh Thông Tin BSC) 0 4 1 Nh n xét ̈ ̈ Kênh i x ng thì H(y | x) c l p v i s phân b xác su t c a ngu n phát và c xác nh duy nh t b ng ma tr n kênh Ch ng minh H (y | x) K J p ( x k , y j ) log p ( y j | x k ) k 1j 1 K J p( xk ) k 1 K p ( y j | x k ) log p ( y j | x k ) j 1 J p( xk ) k 1 J j 1 p 'j log p 'j j 1 p 'j log p 'j Trang 1 59 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Kênh không. .. Khoa Công Ngh Thông Tin Ví d ̈ ̈ ̈ Ch ng h n, n u d li u u vào c sinh t c 1000 kí hi u/giây và = 0,01, chúng ta có H(x) = 1 t c d li u u vào = 1000 bits/giây H(z) = 0,081 t c d li u b sung = 81 bits/giây R = 0 ,91 9 t c truy n thông tin = 91 9 bits/giây M t ng i có th lý lu n r ng trong m t dãy dài, vì = 0,01, ngh a là ch 1% s bit c truy n b l i, và vì v y t c truy n thông tin ph i là 99 0 bits/giây Câu tr... i gi a xk và yj ngh a là p(yj | xk) 0 Trong kênh không m t u ra xác nh duy nh t u vào, vì v y H(x | y) = 0 x1 xK x1 y1 y2 ̈ Kênh n x1 x2 ̈ ym ym+1 yJ nh (Deterministic channel) xm y1 Trong kênh này H(y | x) = 0 xm+1 y2 u vào xác nh duy nh t Trang 160 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin xK yJ u ra, vì v y Kênh vô d ng (Useless channel) ̈ ̈ ̈ ̈ M t kênh là vô d ng n u và ch n u x và y là c l... Khoa Công Ngh Thông Tin M t s lo i kênh r i r c không nh ̈ Kênh ̈ ̈ i x ng (Symmetric channel) Là kênh mà m i dòng c a ma tr n kênh ch a cùng t p các s p1’, , pJ’ và m i c t ch a cùng t p các s q1’, , qK’ Ví d j=1 Các ma tr n bi u di n các kênh i x ng [p(yj | xk)] = 3 0,2 0,2 0,3 0,3 k = 1 0,3 0,3 0,2 0,2 k = 2 0,2 [p(yj | xk)] = 2 0,3 0,5 0,3 0,5 0,2 0,5 0,2 0,3 Kênh i x ng nh 1– [p(yj | xk)] = phân... v y t c truy n thông tin ph i là 99 0 bits/giây Câu tr l i là r ng ki n th c v s bit b l i không xây d ng l i d li u, mà chúng ta c n ph i bi t thêm v v trí l i n a, và vì lý do này nên t c truy n thông tin là th c s b ng m t giá tr th p h n là 91 9 bits/giây Trang 166 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh n xét ̈ ̈ ̈ ̈ ̈ ̈ Trong tr ng h p t t nh t = 0, chúng ta có H(z) = 0 và vì v y R = 1000... t kênh nh phân i x ng v i xác su t chéo Gi s r ng t i u vào P(0) = P(1) = 1/2, t c sinh thông tin u phát là H(x) = 1 bit/kí hi u M t thi t b c g i là b quan sát, nh n m i c p kí hi u vào/ra (x, y) và sinh ra m t kí hi u z z = 0 n u x = y, z = 1 n u x y B quan sát …x(2)x(1) Kênh …z(2)z(1) …y(2)y(1) Trang 164 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin S nh p nh ng (equivocation) và t c truy n tin. .. thông tin b i b quan sát vì v y b ng H(z) = – log – (1 – ) log(1 – ) bits/kí hi u i v i m t dãy u ra ã cho y(1)y(2) , n i nh n (receiver) có th xây d ng l i chính xác dãy u vào x(1)x(2) ch khi u ra c t o s n c a b quan sát z(1)z(2) ã T c truy n thông tin trên kênh, th ng kí hi u là R, là b ng t c sinh thông tin H(x) tr t c sinh thông tin b sung H(z) R = H(x) – H(z) Trang 165 Lý thuy t Thông tin - . 142 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Bài 9 Kênh ri rc không nh Lng tin tng h 9. 1 Kênh ri rc không nh và ma trn kênh 9. 2 Entropy điu. và lng tin tng h 9. 3 Mt s loi kênh 9. 4 S nhp nhng (equivocation) và tc đ truyn tin 9. 5 Dung lng kênh Trang 143 Lý thuyt Thông tin - Khoa