1. Độ đo thông tin: )( 1 )( i i xp fxI )(log )( 1 log)( i i i xp xp xI 2. Lượng tin riêng )(log)( ii xpxI (dvtt) 3. Lượng tin riêng của nguồn i ii xIxpXI )().()( )(log).( ii xpxp (dvtt/tin) 4. Entropi của nguồn Rời rạc )(log)()( iii xpxIxH )(log).()()( ii xpxpXIXH Liên tục x dxxwXH )()( 5. Lượng tin đồng thời Rời rạc ),(log),( iiii yxPyxI );()()(),( iiiiii yxIyIxIyxI ji iiii yxPyxPYXHYXI , ),(log),(),(),( Liên tục yx dxdyyxwyxwYXHYXI , ),(log),(),(),( 6. Độ bất định có điều kiện Rời rạc )/(log)/( iiii yxPyxI ji iiii yxPyxPYXHYXI , )/(log),()/()/( ji iiii xyPyxPXYHXYI , )/(log),()/()/( Liên tục yx dxdyyxwyxwYXIYXH , )/(log),()/()/( yx dxdyxywyxwXYIXYH , )/(log),()/()/( 7. Quan hệ giữa các Entropi H(X,Y) = H(X)+H(Y/X) = H(X)+H(X/Y) H(Y/X) = H(Y) H(Y/X) = H(X) Nếu X,Y độc lập thống kê 8. Lượng tin tương hỗ )( )/( log)/()();( i ii iiiii xp yxp yxHxHyxI ),()()();( iiiiii yxIyIxIyxI 9. Lượng tin tương hỗ trung bình Nguồn rời rạc ji i ji ji xp yxp yxpYXI , )( )/( log),();( ji ji ji ji ypxp yxp yxp , )().( ),( log),( ji j ij ji yp xyp yxp , )( )/( log),( )/()();( YXHXHYXI ),()()( YXHYHXH )/()( XYHYH 10. Tốc độ lập tin của nguồn )(.)( 0 XHnXR Nguồn rời rạc 0 n - Tần số tạo tin của nguồn )(.)( XHFXR Nếu p(x i ) = p i )log(. NFR Nguồn liên tục )(2 max XHFR Nguồn có giá trị đỉnh hữu hạn 0 ) 1 ( )( maxmin dx N d wxw xxxxX )log(2 minmaxmax xxFR Nguồn có công suất trung bình hữu hạn tb Pxw xxX )( }{ tb ePFR 2log.2 max 11. Thông lượng của kênh ),(. 0 YXInC Kênh rời rạc max )(. XHfC Kênh liên tục )()(2 NHYHfC Thường là nhiễu chuẩn eNNH 2log)( )2log2(log2 eNePfC y )1log()1log( N S f N P f x 1. Các côngthức xác suất B).P(B)P(A,A)|P(B )(/),()|( BPBAPBAP ii n j jj ii APABP APABP 1 )().,( )().,( 2. Mã hóa nguồn rời rạc Mô hình (A, p(x i )) L xxX 1 ))() (()( 1 L xpxpXP LxpxpXH ii 22 log)(log)()( L xpxpxpXH L 1 )( )()()( 21max LXH 2max log)( Mã hóa với từ mã có độ dài cố định Độ dài từ mã tối thiểu 1log 2 LR Hiệu suất mã hóa 1 log )()( 2 L XH R XH Hiệu suất bằng 1 k L XH 2 max)( Định lý mã hóa nguồn 1: X: Nguồn rời rạc không nhớ, H(X) hữu hạn. Với 0 : J XH J N R P e )( 0 J XHR P e )( 1 Mã hóa với từ mã có độ dài thay đổi Xây dựng bộ mã min R min)(. 1 L i ii xpnR Bất đẳng thức Kraft: Nếu bộ mã có các từ mã có độ dài tương ứng là n 1 <n 2 <…<n L điều kiện cần và đủ để mọi bộ mã có tính Prefix: 12 1 L i n i Định lý mã hóa nguồn 2: Có thể xây dựng được một mã hiệu nhị phân có tính Prefix và có độ dài từ mã trung bình R thõa mãn bất đẳng thức: 1X)()( HRXH 3. Mã hóa Huffman Chọn n 0 Z m nL mn 1 2 0 0 n 0 -Số kí hiệu được nhóm 4. Giới hạn Hamming về độ dài từ mã chống nhiễu Mã phát hiện sai Điều kiện: RN E 1 mà kn t i ii nE mmR mCN 1 1 )1.( t i ii n kn mCmm 1 )1.( Mã sửa sai Điều kiện E NNR 1 . t i ii n kkn mCmmm 1 )1(. t i ii nm mCkn 0 )1(log 5. Giới hạn Hamming về quãng cách mã Phát hiện sai kênh có số sai t 1 td Sửa sai hoàn toàn kênh có có số sai t 12 td . 1. Độ đo thông tin: )( 1 )( i i xp fxI )(log )( 1 log)( i i i xp xp xI 2. Lượng tin riêng )(log)( ii xpxI (dvtt) 3. Lượng tin riêng của nguồn i ii xIxpXI. )(log).( ii xpxp (dvtt /tin) 4. Entropi của nguồn Rời rạc )(log)()( iii xpxIxH )(log).()()( ii xpxpXIXH Liên tục x dxxwXH )()( 5. Lượng tin đồng thời Rời rạc. Nếu X,Y độc lập thống kê 8. Lượng tin tương hỗ )( )/( log)/()();( i ii iiiii xp yxp yxHxHyxI ),()()();( iiiiii yxIyIxIyxI 9. Lượng tin tương hỗ trung bình Nguồn rời rạc