BÀI 7 MÃ HÓA TỐI ƯU NGUỒN RỜI RẠC KHÔNG NHỚ

Bài Mã hóa t i u ngu n r i r c không nh 7.1 Các đ nh lý v gi i h n d i c a chi u dài trung bình 7.2 Mã hoá theo Shannon Fano 7.3 Ph ng pháp mã hoá t i u theo Huffman Trang 97 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các đ nh lý v gi i h n d chi u dài trung bình nh lý 7.1 ̈ ̈ ̈ ic a Cho ngu n tin X = {a1, , aK} v i xác su t t ng ng p1, , pK M t b mã phân tách đ c b t k cho ngu n v i c s mã m, chi u dài trung bình t mã s thõa (trong H(X) entropy c a ngu n v i c s c a logarit m) H (X ) l≥ log m Ch ng minh m − li H ( X ) − l ln m = −∑ pi ln pi − ∑ pi li ln m = ∑ pi ln pi i =1 i =1 i =1 K K K ⎛ m − li ⎞ ⎛ K − li ⎞ ≤ ∑ pi ⎜⎜ − 1⎟⎟ = ⎜ ∑ m ⎟ − ≤ − = i =1 ⎠ ⎝ pi ⎠ ⎝ i =1 K Trang 98 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các đ nh lý v gi i h n d chi u dài trung bình (tt) ̈ m − li = , t c pi = m − li Chú ý d u “=” x y ch pi nh lý 7.2 ̈ ̈ ̈ ic a Cho ngu n tin X = {a1, , aK} v i xác su t t ng ng p1, , pK, có th xây d ng m t mã prefix v i c s m cho H (X ) l< +1 log m Ch ng minh ̈ ̈ ⎡ Ch n chi u dài li c a t mã cho tin theo qui t c li = − log mi Chúng ta có li = ⎡− log mpi ⎤ ⇒ li ≥ − log mpi ⇒ m − li ≤ pi K K i =1 i =1 ⇒ ∑ m −li ≤ ∑ pi = Trang 99 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin p ⎤ Ch ng minh đ nh lý (tt) ̈ ̈ Vì chi u dài đ c ch n thoã b t đ ng th c Kraft nên t n t i m t mã prefix t ng ng có chi u dài Ti p t c có li = ⎡− log mpi ⎤ ⇒ li < − log mpi + K K K i =1 i =1 i =1 pi p l p log < − ∑ i i ∑ i m + ∑ pi ̈ ⎛ K pi log pi ⎞ H (X ) ⎟⎟ + = = ⎜⎜ − ∑ +1 log m ⎝ i =1 log m ⎠ i u hoàn t t ch ng minh c a Trang 100 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin H qu ̈ ̈ ̈ ̈ ̈ Có th mã hoá m t ngu n mà có chi u dài trung bình ti p c n H (X ) đ n log m v i sai s nh tu ý Chúng ta th c hi n u b ng cách mã hoá dãy N tin c a ngu n X = {a1, , aK} theo nh lý 7.2 Lúc có ngu n m i v i kích th c KN, m i ph n t m t dãy c a N tin đ c l y đ c l p t ngu n X Entropy c a ngu n m i NH(X) chi u dài trung bình t mã c a theo đ nh ngh a s N l n chi u dài trung bình t mã c a ngu n ban đ u, l Áp d ng nh lý 7.1 nh lý 7.2 đ i v i ngu n m i có Trang 101 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin H qu (tt) ̈ Áp d ng nh lý 7.1 nh lý 7.2 đ i v i ngu n m i ta có NH (X ) NH (X ) H (X ) H (X ) ⇒ ≤ Nl < +1 ≤l < + log m log m log m log m N ̈ Vì N có th l n tu ý, nên l ti p c n đ n H(X) / log m v i t c ̈ ̈ đ t ng đ ng v i 1/N ti n đ n N ti n vô đánh giá m t ph ng pháp mã hoá t t hay không ng i ta đ a khái ni m hi u su t l p mã Hi u su t l p mã ̈ Hi u su t l p mã h đ c đ nh ngh a b ng t s c a entropy c a ngu n v i chi u dài trung bình c a b mã đ c l p H (X ) h= l Trang 102 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mã hóa t i u ̈ ̈ ̈ ̈ Là phép mã hóa mà k t qu m t b mã có chi u dài trung bình nh nh t t t c phép mã hóa có th có cho ngu n B mã c a phép mã hóa t i u cho ngu n đ c g i b mã t i u Ba phép mã hóa: Shannon, Fano, Huffman Trong m i phép mã hóa s mã hóa v i c s mã m = tr c (mã hóa nh phân), sau s m r ng cho tr ng h p m > Trang 103 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ph ng pháp mã hoá Shannon B1 S p x p xác su t theo th t gi m d n Không m t t ng quát gi s p1 ≥ ≥ pK i −1 B2 B3 nh ngh a q1 = 0, qi = ∑p j =1 j , ∀ i = 1, 2, , K i qi sang c s 2, (bi u di n qi c s 2) s đ chu i nh phân cm t B4 T mã đ c gán cho li kí hi u l y t v trí sau d u ph y c a chu i nh phân t ng ng v i qi, li = ⎡ − log pi ⎤ ⎥ ⎢ Trang 104 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ví d ̈ Hãy mã hoá ngu n S = {a1, a2, a3, a4, a5, a6} v i xác su t l n l t 0,3; 0,25; 0,2; 0,12; 0,08; 0,05 i −1 Tin Xác su t q = q Bi u di n ∑ i j pi nh phân j =1 li = ⎡− log2 pi ⎤ T mã wi a1 a2 a3 a4 a5 a6 2 4 00 01 100 1100 1101 11110 ̈ 0,3 0,25 0,2 0,12 0,08 0,05 0,3 0,55 0,75 0,87 0,95 0,00 0,01001 0,10001 0,11000 0,11011 0,111100 H = 2.36, l = 2,75, h = 2,36/2,75 = 85,82% Trang 105 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh n xét - Bài t p ̈ ̈ ̈ Ph Ph ng pháp Shannon cho k t qu m t mã prefix ng pháp Shannon có th m r ng cho tr ng h p m > Bài t p ̈ ̈ ̈ ̈ Hãy mã hoá ngu n sau b ng ph ng pháp Shannon Tính entropy c a ngu n, chi u dài trung bình hi u su t c a phép mã hóa S1 = {a1, a2, a3, a4, a5, a6} v i xác su t l n l t 0,25; 0,21; 0,19; 0,16; 0,14; 0,05 S2 = {a1, a2, a3, a4, a5, a6 , a7, a8} v i xác su t l n l t 0,21; 0,18; 0,15; 0,14; 0,12; 0,01; 0,06 ; 0,04 S3 = {a1, a2, a3, a4, a5, a6 , a7, a8 , a9} v i xác su t l n l t 0,25; 0,19; 0,15; 0,11; 0,09; 0,07; 0,06; 0,04; 0,04 Trang 106 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ngu n r i r c không nh v i th ng kê không bi t tr c ̈ ̈ ̈ ̈ Xét ngu n A = {a1, , aK} có s phân b xác su t {p1, , pK} sinh m t dãy kí hi u đ c l p có phân b đ ng nh t Chúng ta gi thi t r ng s phân b xác su t {p1, , pK} c đ nh nh ng không đ c bi t tr c b i b mã hoá (encoder) Th c t s phân b xác su t th ng không đ c bi t tr c ho c ch đ c bi t m c đ g n đúng, ho c s phân b thay đ i ch m theo th i gian Vì v y m t s đ mã hoá d a xác su t có th hi u qu khung th i gian nh ng s không hi u qu khung th i gian khác Trang 127 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ngu n r i r c không nh v i th ng kê không bi t tr c (tt) ̈ ̈ ̈ ̈ ̈ ánh giá nh h ng c a s bi t không xác v th ng kê c a ngu n đ n hi u qu c a vi c mã hoá Xét ngu n r i r c không nh nh phân v i s phân b xác su t P(0) = p, P(1) = 1– p N u b mã hoá đ c cung c p xác su t g n v i p p0 theo ph ng pháp c a Shannon kí hi u s đ c gán v i t mã có chi u dài –log p0 đ c gán v i t mã có chi u dài – log (1– p0) Chi u dài trung bình c a t mã l = –p log p0 – (1–p) log(1–p0) Chi u dài trung bình t mã t i u l opt = –p log p – (1–p) log(1–p) Trang 128 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ngu n r i r c không nh v i th ng kê không bi t tr c (tt) l l opt ̈ p Chú ý r ng l m t ti p n c a l opt t i p = p0, nh ng p l ch xa p0 kho ng cách gi a hai đ th gia t ng nhanh Trang 129 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ngu n r i r c không nh v i th ng kê không bi t tr c (tt) ̈ ̈ ̈ Trong phát tri n ý t ng c b n v mã hoá ph quát, m t s đ mã hoá không d a xác xu t c a dãy mà l i d a vào c u trúc c a chúng Chúng ta s ch ng minh r ng ∀ ε nguyên d ng nh tu ý có kh n ng mã hoá m t ngu n cho l ≤ H(x) + ε đ i ∀ s phân b xác su t {p1, , pK} c a ngu n ε có th đ c làm nh C n c a l tu ý b ng cách ch n chi u dài kh i tin c n mã hoá đ l n l opt Trang 130 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin p Các vect t n su t t a-entropy ̈ ̈ ̈ ̈ ̈ ̈ Xét dãy ngu n Si có chi u dài N Có KN dãy ta g i t p KN dãy không gian m u S Chúng ta kí hi u Nki s kí hi u ak có dãy Si qki t n su t c a ak Si qki = Nki / N Vect (q1i, , qKi) (kí hi u Q(Si) hay g n h n Qi) đ c g i vect t n su t ng v i chu i Si G i qk (k = 1, , K) bi n ng u nhiên S b ng cách gán m i Si v i qki Chúng ta có b đ sau Giá tr trung bình c a qk xác su t pk c a ak KN E (q k ) = ∑ P(Si )qki = pk i =1 Trang 131 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các vect t n su t t a-entropy (tt) ̈ Ch ng minh ̈ nh ngh a bi n ng u nhiên xk(n) b ng 1/N n u ngu n sinh kí hi u ak t i v trí th n c a dãy b ng n u ng c l i Vì ngu n không nh , dãy xk(1), , xk(N) đ c l p có phân b đ ng nh t N (n) Giá tr trung bình c a xk(n) b ng pk/N ∀ n Mà q k = ∑ x k N n =1 Vì v y (n) E (q k ) = ∑ E (x k ) = pk n =1 ̈ M i dãy Si có t ng ng m t vect t n su t Qi, nh ng ng c l i v i m t vect Q = (q1, , qK) có th t ng ng v i nhi u dãy Si Trang 132 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các vect t n su t t a-entropy (tt) ̈ G i ω(Q) s dãy Si mà có vect t n su t Q (t c nh ng dãy mà có s l n xu t hi n c a m i ak dãy b ng b ng Nk = Nqk ∀ k = 1, , K) ω (Q) = ̈ ̈ ̈ N! ∏ K k =1 Nk ! G i φ(K, N) s vect bi u di n cho dãy ngu n có chi u dài N Con s có th di n đ t thành m t toán t p h p t ng đ ng quen thu c là: Có b g m K s nguyên không âm mà có t ng b ng N B đ ⎛ N + K − 1⎞ ⎟⎟ Φ ( K , N ) = ⎜⎜ N ⎝ ⎠ Trang 133 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các vect t n su t t a-entropy (tt) ̈ Ch ng minh ̈ ̈ Xét m t hàng g m N + K – kho ng tr ng Dùng N đ i t ng gi ng l p vào N kho ng tr ng b t k K – kho ng tr ng l i s chia N đ i t ng thành K nhóm Do ng v i m i cách l p N đ i t ng vào N + K – v trí có m t t ng t ng ng Vì v y s l ng t ng b ng ⎛ N + K − 1⎞ ⎟⎟ ⎜⎜ N ⎠ ⎝ V i m i dãy Si có t ng ng m t vect Qi = (q1i, , qKi) Chúng ta đ nh ngh a m t bi n ng u nhiên ψ(Q) gán m i dãy Si v i giá tr (kí hi u ψ(Si) ho c ψ(Qi)) − K ∑ qki log qki k =1 Trang 134 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các vect t n su t t a-entropy (tt) ̈ ̈ ̈ ̈ Chú ý Qi m t vect xác su t ψ(Qi) có công th c gi ng nh c a entropy nên g i ψ(Qi) t a–entropy D nhiên ψ(Qi) có t t c tính ch t c a hàm entropy H(Qi) mà ch ph thu c nh t vào Qi Chúng ta có đ nh lý sau thi t l p m i quan h gi a ψ(Q) (hay vi t rõ ψ(q1, , qK)) v i entropy c a ngu n H(p1, , pK) nh lý 8.1 E(ψ(Q)) ≤ H(p1, , pK) ̈ Ch ng minh ⎛ K ⎞ K E ( (Q)) = E ⎜ − ∑ q k log q k ⎟ = ∑ E (− q k log q k ) ⎝ k =1 ⎠ k =1 Trang 135 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các vect t n su t t a-entropy (tt) ̈ Mà đ ý hàm –x log x hàm l i, v y theo b t đ ng th c Jensen có E(–qk logqk) ≤ E(–qk) log E(qk) Theo m t b đ tr c có E(qk) = pk Vì v y K E ( (Q )) = ∑ − pk log pk = H ( p1 , , p K ) k =1 Trang 136 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M t s đ mã hoá ph quát cho ngu n r i r c không nh ̈ ̈ M t t mã cho m t dãy Si g m hai ph n: ph n đ u chu i mã hoá cho vect tu n su t Qi t ng ng c a dãy Si, ph n th hai chu i mã hoá cho dãy Si s dãy có vect Qi Vì t ng vect t n su t khác φ(K, N), nên s bit dùng đ bi u di n cho ph n đ u ⎡log φ( K , N )⎤ ̈ T ng t s bit đ bi u di n cho ph n th hai ⎡log ϖ (Qi )⎤ ̈ Vì v y t mã bi u di n cho dãy Si có chi u dài l(Si) = ⎡log φ( K , N )⎤ + log ϖ (Qi ) < log φ(K, N) + log ω(Qi) + Trang 137 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M t s đ mã hoá ph quát cho ngu n r i r c không nh (tt) Chúng ta ch ng minh đ c giá tr trung bình c a l(Si) thoã K −1 N ) + ( K − 1) log(1 + ) E (l ( S i )) < NH ( p1 , , p K ) + N log(1 + N K −1 ̈ Suy chi u dài trung bình m t kí t ngu n thoã ̈ E (l ( S i )) K −1 K −1 N ⎤ ⎡ < H ( p1 , , p K ) + ⎢log(1 + )+ log(1 + )⎥ l= N N N K −1 ⎦ ⎣ ̈ Chú ý thành ph n n m d u móc vuông ti n đ n N → ∞ v i t c đ b ng v i t c đ c a log N →0 N ̈ i u nói lên r ng ph ng pháp ti p c n đ n entropy c a ngu n ch m h n so v i ph ng pháp mà bi t tr c xác su t i u c ng d hi u c ng giá ph i tr n u không bi t tr c xác su t Trang 138 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ví d ̈ ̈ B ng sau mô t vi c mã hoá ph quát cho m t ngu n nh phân cho t ng kh i có chi u dài Có φ(2, 7) = vect t n su t v y c n dùng bit đ mã hoá vect này; bit s bit đ u c a m i t mã Các bit l i dùng đ nh n bi t m i dãy l p cho (là l p dãy có vect t n su t) Qi (0/7,7/7) ω(Qi) (1/7,6/7) Si 1111111 0111111 1011111 1111110 ψ(Si) 0,592 Trang 139 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin wi 000 001 000 001 001 001 110 Ví d (tt) Qi ω(Qi) (2/7,5/7) 21 (3/7,4/7) (4/7,3/7) 35 35 Si 0011111 0101111 1111100 0001111 0010111 1111000 0000111 0001011 1110000 ψ(Si) 0,863 0,985 wi 010 00000 010 00001 010 10100 011 000000 011 000001 011 100010 0,985 Trang 140 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin 100 000000 100 000001 100 100010 Ví d (tt) Qi ω(Qi) (5/7,2/7) 21 (6/7,1/7) (7/7,0/7) Si 0000011 0000101 1100000 ψ(Si) 0,863 0000001 0000010 1000000 0,592 0000000 wi 101 00000 101 00001 101 10100 110 000 110 001 110 110 Trang 141 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin 111 [...]... t i u cho ngu n S là t t h n mã theo qui t c đã phát bi u thì mã đ c d n xu t t mã t i u này b ng cách b đi hai t mã wK và wK–1 và thay vào t mã mà b đi bit cu i c a wK thì s đ c m t mã t i u t t h n cho ngu n S’, đi u này mâu thu n V y mã nh n đ c cho S theo qui t c trên là t i u nh lý nh lý 7. 3 và 7. 4 cho phép qui bài toán tìm mã t i u cho ngu n có K tin v bài toán tìm mã t i u cho ngu n có K–1 tin... S = 1,95 h1 = 97, 63% l S 2 = 3,8 375 h2 = 99,26% Tin a1a1 a1a2 a2a1 a1a3 a3a1 a2a2 a1a4 a4a1 pij 0,16 0,1 0,1 0,08 0,08 0,0625 0,06 0,06 T mã 000 101 110 0010 0011 0110 0111 1000 Tin a2a3 a3a2 a3a3 a2a4 a4a2 a3a4 a4a3 a4a4 Trang 124 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin pij 0,05 0,05 0,04 0,0 375 0,0 375 0,03 0,03 0,0225 T mã 1110 1111 01000 01001 01010 01011 10010 10011 Bài 8 Mã hóa ngu n ph quát... nhau, vì v y đ nh lý c ng đ c ch ng minh N u không t n t i m t t mã wi nh v y thì chúng ta có th t o ra m t b mã m i b ng cách b đi bit cu i c a t mã wK B mã m i này không vi ph m đi u ki n prefix và có chi u dài trung bình nh h n b mã c Vì v y đ nh lý đ c ch ng minh Trang 114 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Hai đ nh lý c a Huffman (tt) nh lý 7. 4 ( nh lý s 2 c a Huffman) ̈ ̈ ̈ Xét m t... nh nh ng không đ c bi t tr c b i b mã hoá (encoder) Th c t s phân b xác su t th ng là không đ c bi t tr c ho c ch đ c bi t m c đ g n đúng, ho c s phân b này thay đ i ch m theo th i gian Vì v y m t s đ mã hoá d a trên xác su t có th hi u qu khung th i gian này nh ng s không hi u qu khung th i gian khác Trang 1 27 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ngu n r i r c không nh v i th ng kê không bi... p1, , pK G i l1, , lK là chi u dài các t mã t ng ng v i b mã t i u cho S N u pi > pj thì li ≤ lj Ch ng minh ̈ V i pi > pj, gi s li > lj Xét b mã m i b ng cách hoán đ i hai t mã có chi u dài li và lj cho nhau Xét hi u chi u dài trung bình c a b mã m i so v i b mã c ∆l = pilj + pjli – pili – pjlj = (pj – pi)(li – lj) < 0 i u này mâu thu n v i đ nh ngh a c a b mã t i u Trang 112 Lý thuy t Thông tin -... i r c không nh v i th ng kê không bi t tr c 8.2 Các vect t n xu t và t a–entropy (quasi–entropy) 8.3 M t s đ mã hoá ph quát cho ngu n r i r c không nh Trang 125 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Gi i thi u ̈ ̈ ̈ ̈ V n đ này không đ c kh i x ng b i Shannon mà b i B M Fitingof Lý thuy t c a Shannon d a trên ki n th c v các hàm phân b xác su t và ch ng minh t n t i phép mã hoá t i u Mã hoá... ng pháp Fano không ph i là ph ng pháp mã hóa t i u Chú ý ̈ Trong tr ng h p n u xác su t pK–1 + pK b ng v i m t xác su t pi nào đó thì chúng ta có th đ t pK–1 + pK n m d i ho c n m trên xác su t pi thì k t qu chi u dài t mã trung bình v n không thay đ i cho dù các t mã k t qu có th khác nhau Trang 119 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M r ng cho c s m > 2 N u K ≤ m thì vi c mã hoá t i u... h ng c a s bi t không chính xác v th ng kê c a ngu n đ n hi u qu c a vi c mã hoá Xét ngu n r i r c không nh nh phân v i s phân b xác su t là P(0) = p, P(1) = 1– p N u b mã hoá đ c cung c p xác su t g n đúng v i p là p0 thì theo ph ng pháp c a Shannon kí hi u 0 s đ c gán v i t mã có chi u dài là –log p0 còn 1 đ c gán v i t mã có chi u dài – log (1– p0) Chi u dài trung bình c a các t mã là l = –p log... a5 a6 a7 a8 pi 0,23 0,2 0,14 0,12 0,1 0,09 0,06 0,06 1 0 0 0 1 1 1 1 1 l 2 = 2,89 Trang 110 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin 2 0 1 1 0 0 1 1 1 3 4 wi 00 0 010 1 011 0 100 1 101 0 110 1 0 1110 1 1 1111 Nh n xét - Bài t p ̈ Nh n xét ̈ ̈ Ph ng pháp Fano th Shannon ng cho k t qu t t h n ph ng pháp Bài t p ̈ ̈ ̈ ̈ Hãy mã hoá các ngu n sau b ng ph ng pháp Fano Tính hi u su t c a phép mã hóa S1... 112 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Hai đ nh lý c a Huffman ̈ nh lý 7. 3 ( nh lý s 1 c a Huffman) ̈ ̈ ̈ B đ này th t s phát bi u m t đi u r ng, đ mã hoá t i u cho m t ngu n tin thì tin có xác su càng l n ph i đ c mã hoá thành t mã có chi u dài càng nh Trong b mã t i u (m = 2) cho m t ngu n tin, thì hai t mã t ng ng v i hai tin có xác su t nh nh t ph i có chi u dài b ng nhau (lK–1 = lK)