Mã hóa nguồn - Nguyên lý truyền thông

     ! "  #$%&'() ) *&!+,+-  *.%&)(/0 1$2! (  3+,+-4-+&56 7  8 31296:; )<$2& 8 3'26:;* $6:;+=2' 8 3/>)  ?& ,(1*$,&  3) *4-+&.( @+A7  8 3) *'(5 7 B) *CD);! 7 8 =EF)7  !7 +,+- $2&;G  12 8 H2+,+-@&I  J+%&! "  J+%&&  K@L%&  #(MLN:$2GI)= EO)=EO6GI  'M)2MP'(Q+ @L=E  $2>'/G  3! R56 56'/GS  #(T6=MU $256GI)=E6G IL)2M6 P S ≥&!S≥)P 8 3))V>&%&PAS  O) P  8 1))V>&%&PAS≥KBWC K;%&KBWCXS≤ 1  4)<)+&)2M)< )$  4Y@L  K@L-Z- 8 ))V>&%&P 8 3&[:;  3$[:;1 ))V>&%&P\)=E6]; ^KBWC_`K@L) ( ) ( ) [ ] ( ) ( ) 11 + ≥ + XH XH XH XH  #(Y@LY)=E 5)\a)bc6 ( ) ( ) [ ] ( ) ( ) 1. . 1. . + ≥ + XHj XHj XHj XHj 8 d@LNb[:; 8 e1'&A56 =MU$2>/!;  4Y@LD'&  31[:;('@L &L;<&'  W c 56'/f\ D5GI'/S\P S g c  9h f iP S >=&=E\=E D>j!'& 56+a$25 =E\&$2:;)e k  #G)6l mnW)+,+-12'k+? -KBWC\f6%&=E D>GI/3\$2nk ol\:;L& k '(]p 6SO3Xf KBWC`k$2f2$1-≥ 3=E)-S KBWC`k$2≤ k 2f 2$1- 6q&G)6 8 e$2>'/1 ;G%& 8 KBWC6GI];/a( (/0! ". : 8 @6];''(- =E'j/$1-6  8 #G)6'(Q+$2'M )2MP [...].. .Mã hoá shannon fano Nguyên tắc: Độ dài từ mã tỷ lệ nghịch với xác suất xuất hiện: Thuật toán: Xếp nguồn tin theo thứ tự tăng hay giảm dần theo xác suất xuất hiện, chia các ký hiệu nguồn thành m nhóm(nhị phân chia làm 2 nhóm) xác suất xấp xỉ nhau Gán cho mỗi nhóm một ký hiệu 0 hoặc 1 Thực hiện lại bước 1 cho đến khi mỗi nhóm chỉ còn một ký hiệu Ví dụ: cho nguồn tin X = { x1,... 1 0 1 0 1 0 1 0 1 X p Từ mã X1 0,34 00 H ( X ) = p( xi ) log p( xi ) X2 0,23 01 H(X) = 2,34 X3 0,19 10 độ dài trung bình X4 0,1 110 X5 0.07 1110 X6 0,06 11110 x7 0,01 11111 n i =1 l R = nk p( ak ) = 2,41 k =1 Trong đó: ak ký hiệu thứ k, nk số ký hiệu nhị phân ứng từ mã của ak Mã huffman: là mã có tính prefix và có độ dài tối thiểu.(có độ dài trung bình tới hạn entropi của nguồn ) n H ( S ) + 1 >... nguồn ) n H ( S ) + 1 > n = ni p( xi ) H ( S ) i =1 Cách xây dựng mã Huffman: 1.Sắp xếp các tin có xác suất xuất hiện giảm dần Hai ký hiệu có xác suất nhỏ nhất được ký hiệu là 0,1 2 Tổng hai xác suất nhỏ nhất được xếp vào bước 2 và theo thứ tự giảm dần 3 Qui trình lặp lại cho đến khi còn hai nguồn ứng với 0,1 được phân Mã của mỗi nguồn sẽ được tìm theo chiều đi ngược lại trong bảng ví dụ: có S =... + 0,1.3 + 0,1.3 = 2,2 i =1 S H ( S ) = p ( xi ) log 1 / p ( xi ) = i =1 = 0,4 log 1 / 0,4 + 0,2 log 1 / 0,2 + 0,2 log 1 / 0,2 + 0,1 log 1 / 0,1 + 0,1 log 1 / 0,1 = 2,12193 Vậy độ dài trung bình thoả mãn điều kiện giới hạn của entropi . "  #$%&'() ) *&!+, +-  *.%&)(/0 1$2! (  3+, +-  4- +&56 7. XHj XHj XHj XHj 8 d@LNb[:; 8 e1'&A56 =MU$2>/!;  4Y@LD'&  31[:;('@L &L;<&'  W c 56'/f D5GI'/SP S g c  9h f iP S >=&=E=E D>j!'& 56+a$25 =E&$2:;)e k  #G)6l mnW)+, +- 12'k+? - KBWCf6%&=E D>GI/3$2nk ol:;L& k '(]p 6SO3Xf KBWC`k$2f2$1 - ≥ 3=E )- S KBWC`k$2≤ k 2f 2$1 -  6q&G)6 8 e$2>'/1 ;G%& 8 KBWC6GI];/a( (/0!. 4)<)+&)2M)< )$  4Y@L  K@L - Z -  8 ))V>&%&P 8 3&[:;  3$[:;1 ))V>&%&P)=E6]; ^KBWC_`K@L) (