Độ đo thông tin: log 1 () = − log () Đơn vị đo: bit (lb), nat (ln), hart (lg) 1 nat = log2(e) = 1.4427 bit 1 hart = log2(10) = 3.3219 bit Lượng tin riêng của 1 tin rởi rạc: () = log 1 () = − log () (đơn vị tt) Lượng tin riêng của 1 nguồn rời rạc: () = (). log (1 ) = − (). log () Entropy của 1 tin rời rạc: () = () = − log () Entropy của 1 nguồn rời rạc: () = − (). log () Entropy của nguồn liên tục: () = − () log () ; () là hàm mđxs Lượng tin riêng, entropy của tin rời rạc đồng thời: , )+ = , )+ = − log , )+ Lượng tin riêng, entropy của nguồn rời rạc đồng thời: (, ,) = (, ,) = − , )+. log , )+ , Entropy của nguồn liên tục đồng thời: (, ,) = − (, )). log (, )) ) Entropy của tin rời rạc có điều kiện: (|)) = log 1 .)+ Entropy của nguồn rời rạc có điều kiện: (|,) = − , )+. log (|)) , (,|) = − , )+. log ()|) , Entropy của nguồn liên tục có điều kiện: (|,) = − (, )). log (|)) ) (,|) = − (, )). log ()|) ) Tính chất của các entropy + Các entropy đều không âm. + Quan hệ giữa các entropy: (, ,) = () + (,|) = (,) + (|,) + Nếu X, Y độc lập thống kê: (,|) = (,); (|,) = () + 0 ≤ (|,) ≤ (); 0 ≤ (,|) ≤ (,) + Đối với nguồn rời rạc có N tin: () ≤ log 2 Lượng tin tương hỗ của 2 tin rời rạc: ; )+ = () − .)+ = log .)+ () = log , )+ (). )+ = log ).+ )+ = )+ − ).+ ; )+ = () + )+ − (, )) Lượng tin tương hỗ TB giữa 2 nguồn rời rạc: (; ,) = , )+. log ( .) ) + , = , )+. log ).+ , )+ = , )+. log , )+ , (). )+ = () − (|,) = (,) − (,|) = () + (,) − (, ,) Lượng tin tương hỗ giữa 2 nguồn liên tục: (; ,) = (, )). log ( () . , )())) ) = (, )). log ( ( |) )) ) = (, )). log () () | )) ) Tốc độ lập tin của nguồn rời rạc: 3() = 4. () 5đv đv thông thời gian tin: + 4 : số tin trung bình nguồn có thể tạo ra trong 1 đơn vị thời gian (tần số tạo tin của nguồn). + Nếu nguồn đẳng xác suất: () = < ∀>: 3 = 4 . ()?A = 4. log 2 = B. log 2 Tốc độ lập tin của nguồn liên tục: 3 = 2B ?A. () + Đối với nguồn có công suất đỉnh hữu hạn: 3 = 2B DA. log(DA − DE) + Đối với nguồn có công suất trung bình hạn chế: 3 = 2B DA. log F2GHI
TÓM TẮT CÔNG THỨC Độ đo thông tin: = − log ( ) ( ) Đơn vị đo: bit (lb), nat (ln), hart (lg) nat = log2(e) = 1.4427 bit hart = log2(10) = 3.3219 bit Lượng tin riêng tin rởi rạc: ( ) = log = − log ( ) (đơn vị tt) ( ) Lượng tin riêng nguồn rời rạc: log ( )= ( ) log =− ( ) ( ) log ( ) ( , )= ( )+ ( | ) = ( )+ ( | ) + Nếu X, Y độc lập thống kê: ( | ) = ( ); ( | ) = ( ) ( | ) +0≤ ≤ ( ); ≤ ( | ) ≤ ( ) + Đối với nguồn rời rạc có N tin: ( ) ≤ log Lượng tin tương hỗ tin rời rạc: ; = log ( )− = , = log = log ( ) ( ) = − ; = ( )+ − ( , ) Lượng tin tương hỗ TB nguồn rời rạc: ( ; )= Entropy tin rời rạc: ( ) = ( ) = − log ( ) Entropy nguồn rời rạc: , log ( ) , = , log , ( )=− ( ) log ( ) = ( ) ( )− ( | )= ( )− ( | ) = ( )+ ( )− ( , ) Lượng tin tương hỗ nguồn liên tục: = ( ) log ( ) ; ( ) là hàm mđxs Lượng tin riêng, entropy tin rời rạc đồng thời: , = , = − log , Lượng tin riêng, entropy nguồn rời rạc đồng thời: ( , )= , log , Entropy nguồn liên tục: ( )=− , ( , )=− , log , , ( ; )= = ( , ) log ( , ) log ( , ) ( ) ( ) ( | ) ( ) Entropy nguồn liên tục đồng thời: ( , )=− ( , ) log ( , ) Entropy tin rời rạc có điều kiện: ( | ) = log Entropy nguồn rời rạc có điều kiện: ( | )=− , log ( | ) , log ( | ) , ( | )=− , Entropy nguồn liên tục có điều kiện: ( | )=− ( , ) log ( | ) = ( , ) log ( | ) Tính chất entropy + Các entropy không âm + Quan hệ entropy: Ma Katz ( | ) ( ) Tốc độ lập tin nguồn rời rạc: đv thông tin ( ) = ( ) đv thời gian + : số tin trung bình nguồn tạo đơn vị thời gian (tần số tạo tin nguồn) + Nếu nguồn đẳng xác suất: ( ) = ∀ : = ( ) = log = log Tốc độ lập tin nguồn liên tục: =2 ( ) + Đối với nguồn có công suất đỉnh hữu hạn: ) =2 log( − + Đối với nguồn có công suất trung bình hạn chế: =2 ( | )=− ( , ) log log BÀI TẬP LÝ THUYẾT THÔNG TIN – IT4590 Bài Cho nguồn tin ={ , , , , , }; = ; ; ; ; ; Tính Entropy nguồn X Entropy nguồn X: ( )=− ( ) log ( ) = − = 1.9375 1 1 1 (−1) + (−2) + (−3) + (−4) + (−5) + (−5) 16 32 32 / ℎ Bài Cho nguồn đồng thời X, Y với ma trận xác suất: ( , )= Tính entropy đồng thời H(X,Y) theo bit/tin, nat/tin, hart/tin GIẢI: Ta có: ( , ) = −∑ , , log , = log + log + log + log = 1.918 (bit/tin) = 1.3297 (nat/tin) = 0.5775 (hart/tin) Nếu tính theo bit dùng log số 2, nat – số e, hart – số 10 Bài Hệ thống truyền tin có nguồn tin vào X gồm tin a, b đẳng xác suất Hai tin mã hóa mã nhị phân truyền kênh nhị phân đối xứng, nguồn Y, có xác suất truyền 0.8, xác suất truyền sai 0.2 a Tính xác suất P(X), P(Y|X), P(X|Y), P(X,Y), P(Y) b Tính H(X), H(X,Y), H(Y|X), H(X|Y), H(Y), I(X; Y) GIẢI: a Giả sử nguồn Y gồm tin , , từ giả thiết suy ra: ( | ) = ( | ) = 0.8; ( | ) = ( | ) = 0.2 Vì nguồn vào X gồm tin a, b đẳng xác suất nên ( ) = ( ) = ⇒ ( ) = ( ; ) Xác suất P(Y|X) xác định ma trận: ( | )= ( | ) ( | ) ( | ) 0.8 0.2 = ( | ) 0.2 0.8 Ma trận xác suất đồng thời: ( , ) ( , ) ( | ) ( , )= = ( , ) ( , ) ( | ) Từ tính P(Y) (cộng tương ứng theo cột): ( Ma trận P(X|Y) xác định bởi: ( ⎡ ( | ) ( | ) ( ( | )= = ⎢⎢ ( ( | ) ( | ) ⎢ ⎣ ( b Dùng công thức dễ dàng tính được: Ma Katz ( ) ( | ) ( ) 0.4 0.1 = ( ) ( | ) ( ) 0.1 0.4 ) = ( ) = 1/2 ) , ) ) , ) ( , ) ⎤ ( ) ⎥ 0.8 0.2 = ( , )⎥ 0.2 0.8 ⎥ ( ) ⎦ ( )=− ( ) log ( ) = 1; ( ) = − ( , )=− , log , =2 , ( | )= log =1 10 log + log ≈ 1.7219 10 ℎ ( , ) − ( ) = 0.7219; ( | ) = ( , ) − ( ) = 0.7219 ( ; ) = ( ) + ( ) − ( , ) = 0.2781 / ℎ Bài Giả sử kênh nhị phân sử dụng để truyền nguồn tin nhị phân đẳng xác suất có ma trận kênh là: ( | )= , giá trị đầu vào kênh; , giá trị đầu kênh a Tính P(X, Y), P(X|Y), P(Y) b Tính H(X, Y), H(Y|X), H(X|Y), H(X), H(Y) GIẢI: a Vì nguồn tin nguồn nhị phân đẳng xác suất nên: ( ) = ( ) = 1/2 Ma trận xác suất đồng thời: ( , ) ( , ) ( | ) ( ) ( | ) ( ) ( , )= = ( , ) ( , ) ( | ) ( ) ( | ) ( ) 0,75.0,5 0,25.0,5 = = 8 0,25.0,5 0,75.0,5 8 Từ suy ra: ( ) = ; Ma trận xác suất có điều kiện P(X|Y): ( | ) ( | ) ( | )= = ( | ) ( | ) b Entropy nguồn rời rạc đồng thời: ( , )=− , log ( , ( , )/ ( ) )/ ( ) ( , ( , )/ ( ) 3/4 1/4 = 1/4 3/4 )/ ( ) 8 log + log ≈ 1,8113 8 , =2 , log = 0,8113 / , log = 0,8113 / , Entropy có điều kiện: ( | )=− , ( | )=− , Entropy nguồn rời rạc: ( )=− ( ) log ( ) = 1; ( ) = − Bài Cho nguồn X = {a, b, c}, xác suất ( ) = ; ; log Ma trận xác suất truyền: / / / / / ( | )= / / / / Tính H(X), H(Y), H(X,Y), H(X|Y), I(X; Y) Ma Katz =1 / GIẢI: Từ giả thiết: ( ) = ( ) = ( ) = 1/3 Ma trận xác suất đồng thời P(X, Y) xác định bởi: ( , ) ( , ) ( , ) ( | ) ( ) ( | ) ( ) ( | ) ( ) ( , ) ( , ) = ( | ) ( ) ( | ) ( ) ( | ) ( ) ( , )= ( , ) ( , ) ( , ) ( , ) ( | ) ( ) ( | ) ( ) ( | ) ( ) 1 1 ⎡ ⎤ 2/9 1/18 1/18 ⎢3 6 3⎥ 1 1 =⎢ ⎥ = 1/18 2/9 1/18 ⎢6 3 3⎥ 1/18 1/18 2/9 ⎢1 1 1⎥ ⎣6 3 3⎦ Suy ra: ( ) = ( ) = ( ) = + + = Và: ( | )= ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) = ( | ) 2/3 = 1/6 1/6 ( , ( , ( , 1/6 2/3 1/6 )/ ( ) )/ ( ) )/ ( ) 1/6 1/6 2/3 ( , ( , ( , )/ ( ) )/ ( ) )/ ( ) ( , ( , ( , )/ ( ) )/ ( ) )/ ( ) Từ có: + Entropy đầu vào: ( )=− log = log = 1.585 / log = log = 1.585 / , , + Entropy đầu ra: ( )=− , , + Entropy nguồn đồng thời: ( , )=− , log , log , = 2.8366 / = 1.2516 / , + Entropy có điều kiện: ( | )=− , + Lượng tin tương hỗ nguồn: ( ; )= , , log 2 = log + log 18 = / Bài Cho hệ thống điều khiển nhiệt độ lò sấy thuốc Biết người ta sử dụng 20 sensors nhiệt độ Nhiệt độ lò khống chế ± Nhiệt độ đo thiết bị cấp nhiệt làm cho nhiệt độ lò biến thiên từ − Yêu cầu sai khác nhiệt độ lò so với nhiệt độ khống chế thời gian ≤ ú Giả thiết giá trị nhiệt độ ngẫu nhiên, đẳng xác suất Tính thông lượng kênh truyền từ sensors trung tâm xử lý Ma Katz GIẢI: Từ ta có, khoảng giá trị nhiệt độ mà lò nhận là: 29.99; 50.01 Nhiệt độ biến ngẫu nhiên liên tục tuân theo phân phối đoạn [29,99; 50,01] (do giả thiết giá trị nhiệt độ ngẫu nhiên đẳng xác suất) Dễ thấy hệ thống truyền tin có công suất đỉnh hạn chế, ta xét với kênh truyền ứng với sensor: với thời gian khống chế 20 phút, ta có tần suất tạo tin: = 20.60 = 1200 ℎ/ Tốc độ lập tin nguồn sensor là: = log( − ) = 1200 log(50.01 − 29.99) ≈ 5188.04 / Tốc độ lập tin kênh truyền có 20 sensor là: R = 20 R0 = 20 * 5186.5 ≈ 100 kBit/s = 20 = 20.5188.04 ≈ 103 / Thông lượng kênh truyền cần thiết kế cho với tốc độ lập tin nguồn trường hợp lí tưởng (khi kênh không nhiễu), vậy: = = 103 / Bài Cho hệ thống truyền hình theo chuẩn CCITT, khung ảnh có kích thước 3x4 nhìn góc nhìn = Góc phân biệt độ chói (phân biệt đen trắng) = ′; góc phân biệt màu = ′ Mắt người có khả lưu ảnh 1/25 giây Số ảnh gửi giây 50 ảnh Ảnh chia thành pixels thỏa mãn độ phân biệt giả sử quét thông tin ảnh theo đường ziczac (từ trái sang phải, từ xuống dưới) Thông tin độ chói pixel 100 mức đẳng xác suất Thông tin màu pixel giá trị ba màu R-G-B (mỗi màu có 256 mức) a Tính tốc độ lập tin nguồn b Để truyền ảnh kênh điện thoại thời gian truyền ảnh bao nhiêu? GIẢI: a D b D Ma Katz Bài Một tín hiệu tạo thành từ bit nhị phân Do nhiễu nên tín hiệu truyền bị lỗi vài bit Qua thống kê, ta thấy 1/4 số bit truyền bị lỗi, 1/5 số bit truyền bị lỗi Biết người truyền tổng cộng 500 bit 800 bit Tính xác suất nhận tín hiệu GIẢI: Gọi X0, X1 kiện gặp bit 0, bit Gọi H kiện nhận tín hiệu Ta có: kiện tín hiệu bị lỗi; ( ) = − ( ) Từ giả thiết suy ra: 500 800 ( )= = ; ( )= = 500 + 800 13 500 + 800 13 Có 1/4 số bit truyền bị lỗi, 1/5 số bit truyền bị lỗi nên: 1 ( | )= ; ( | )= Theo công thức xác suất đầy đủ: 57 203 ( ) = ( ) ( | ) + ( ) ( | ) = + = ⇒ ( )= ≈ 78.08% 13 13 260 260 Vậy xác suất nhận tín hiệu ≈ 78.08% Bài Cho nguồn liên tục X tuân theo phân phối đoạn [0; a] ( > ) Xác định H(X) trường hợp = ; = ; = GIẢI: Vì X tuân theo phân phối [0; a] nên ta có hàm mật độ xác suất biến ngẫu nhiên X: , ∈ [0; ] ( )= 0, ℎ Do đó, entropy nguồn liên tục X là: 1 ( )=− ( ) log ( ) = log = log = log( ) = log + Với = 1: ( ) = log = + Với = : ( ) = log 0.25 = −2 (không tồn tại do entropy luôn không âm) + Với = 4: ( ) = log = 2 (bit/tin) Bài 10 Cho nguồn liên tục X có hàm mật độ xác suất xác định bởi: , ( )= , > ≤ Xác định H(X) GIẢI: Entropy nguồn liên tục X xác định bởi: ( )= ( ) log ( ) = log = Bài 11 Cho kênh truyền tin gồm đầu vào, đầu có ma trận kênh là: ( , )= Ma Katz (log − log ) =⋯ a Xác định H(A), H(B), H(A|B), H(B|A), I(A; B) b Nguồn A có tốc độ ký hiệu 100 kh/s Xác định tốc độ lập tin nguồn A, độ dư tương đối nguồn A thông lượng kênh truyền tin GIẢI: a Từ ma trận kênh suy ra: ( ) = 0.1 + 0.08 + 0.13 = 0.31; ( ) = 0.05 + 0.03 + 0.09 = 0.17; ( ) = 0.05 + 0.12 + 0.14 = 0.31; ( ) = 0.11 + 0.04 + 0.06 = 0.21 ( ) = 0.1 + 0.05 + 0.05 + 0.11 = 0.31; ( ) = 0.08 + 0.03 + 0.12 + 0.04 = 0.27; ( ) = 0.13 + 0.09 + 0.14 + 0.06 = 0.42 Do đó: ( )=− ( ) log ( ) ≈ 1.955 ( )=− log ≈ 1.559 / ℎ / ℎ Entropy nguồn A, B đồng thời: ( , )=− , log , ≈ 3.447 / ℎ , Suy ra: ( | )= ( | )= ( , ) − ( ) ≈ 3.447 − 1.559 ≈ 1.888 ( , ) − ( ) ≈ 3.447 − 1.955 ≈ 1.492 / ℎ / ℎ Lượng tin tương hỗ: ( ; ) = ( ) + ( ) − ( , ) = 1.955 + 1.559 − 3.447 = 0.067 b Tốc độ lập tin nguồn A: = / ℎ ( ) = 100.1,955 = 195,5 Độ dư tương đối: ( ) 1,955 = 1− = 2.25% ( ) log (H(A) cực đại nguồn đẳng xác suất, mà nguồn A gồm tin nên có H(A)max trên) Thông lượng kênh: = ( ; ) = 100.0,067 = 6.7 / =1− Bài 12 Xét máy đánh chữ gồm 26 phím (từ A đến Z) Giả sử giây gõ 20 phím a Trong trường hợp lí tưởng, máy đánh chữ hoạt động xác, thông lượng kênh truyền ? b Giả sử máy đánh chữ bị lỗi sau: ấn phím không in ký tự tương ứng mà ký tự với xác suất Ví dụ ấn A in A B, ấn Z sinh Z A Tính thông lượng kênh truyền GIẢI: a Thông lượng kênh truyền trường hợp lí tưởng: = ( ) = 20 log 26 ≈ 94 / b Khi gõ phím, có hai ký tự in với khả nhau, H(A|B) = log2 , thông lượng kênh có nhiễu: = ( ; ) = 20 ( ) − ( | ) = 20 (log 26 − log 2) ≈ 74 / Ma Katz Bài 13 Cho kênh nhị phân đối xứng có xác suất truyền lỗi = a Tính lượng tin tương hỗ b Nếu chuỗi bit truyền có chiều dài 1KB có bit lỗi? GIẢI: a Gọi nguồn vào X, nguồn Y, kênh nhị phân đối xứng nên ta có: 1 = { , }; = { , }; ( ) = ; 2 Ma trận kênh: ( | ) ( | ) 1− ( | )= = 1− ( | ) ( | ) Entropy có điều kiện: 1 ( | ) = 2(1 − ) log + log 1− Ma trận xác suất đồng thời: 1 (1 − ) ( , ) ( , ) 2 ( , )= = 1 ( , ) ( , ) (1 − ) 2 Suy ra: 1 1 ( )= , = (1 − ) + = ; ( ) = ⋯ = 2 2 Entropy nguồn Y: ( ) = − ∑ log =1 Lượng tin tương hỗ: ( ; )= ( ) − ( | ) = − 2(1 − ) log 1 − log ≈ 0,98859 1− / ℎ b Ta có: = 1024 = 8192 Xác suất truyền lỗi = 10 nên số bit lỗi là: 8192.10 = (lấy phần nguyên trên) Bài 14 Xét tin bao gồm họ tên bạn, nơi sinh bạn (gồm thông tin: phường/xã, quận/huyện, tỉnh/TP), bao gồm chữ không dấu, không phân biệt chữ hoa chữ thường, khoảng trắng Nguồn X gồm tin chữ khác tin, xác suất tin nguồn tần suất xuất chữ tin a Viết tin ứng với thông tin bạn b Xác định mô hình nguồn X ứng với tin c Tính entropy nguồn X GIẢI: a Bản tin sau: LAMMINHANHQUYNHMAIHAIBATRUNGHANOI Ma Katz b Số kí tự tin: N = 33 Nguồn X = {A, B, G, H, L, M, N, O, Q, R, T, U, Y} Xác suất xuất tin nguồn: 1 5 ( )= ; ( )= ; ( )= ; ( )= ; ( )= ; ( )= ; ( )= ; ( )= ; 33 33 33 33 33 33 33 33 1 ( )= ; ( )= ; ( )= ; ( )= ; ( )= 33 33 33 33 33 Suy ra: 1 5 1 1 ( )= ; ; ; ; ; ; ; ; ; ; ; ; 33 33 33 33 33 33 33 33 33 33 33 33 33 c Entropy nguồn X: ( )= ( ) ( ) log 33 33 33 log +8 log 33 + log + log 11 + log 33 33 33 33 33 = 2.7402 / = Bài 15 Nguồn X gồm tin có xác suất − , với = / , q giá trị ứng với chữ họ bạn, cho bảng sau: A=1; B=2; C=3; D=4; E=5; F=6; G=7; H=8; I=9; K=10; L=11; M=12; N=13; O=14; P=15; Q=16; R=17; S=18; T=19; U=20; V=21; X=22; Y=23; Z=24 Ví dụ, bạn họ Nguyễn, chữ đầu N, q = 13; p = 1/13 Ma trận kênh cho xác suất: / / ( | )= / / Tính H(X), H(X,Y), I(X; Y) GIẢI: Họ Lâm ⇒ ⇒ ( )= = ; Ma trận xác suất đồng thời: ( , )= ( , ( , ) ) Từ suy ra: ( ) = ( , ( , + ) = ) = ( | ) ( ) = 11 10 ( | ) ( ) 11 = ; ( )= ; ( | ) ( ) ( | ) ( ) ; ( )= + 1 11 = 33 33 10 10 20 11 33 33 Entropy nguồn X: ( )=− ( ) log ( ) = 10 11 log 11 + log = 0.4395 11 11 10 / Entropy nguồn rời rạc đồng thời: ( , )=− , , log , = 33 10 33 20 33 log + log 33 + log + log 33 33 33 10 33 20 = 1.3578 Entropy nguồn Y: ( )=− Ma Katz ( ) log ( ) = 12 33 21 33 log + log = 0.9457 33 12 33 21 Lượng tin tương hỗ: ( ; )= ( ) + ( ) − ( , ) = 0.0274 Bài 16 Cho mã a – 0000 b – 1002 c – 2100 d – 222 e – 2101 f – 1111 g – 0210 h – 0220 i – 2020 k – 120 l – 221 m – 212 a Vẽ mã b Dựa vào mã để xác định đặc tính tham số mã GIẢI: a Cây mã tự vẽ: b Từ mã rút đặc tính mã sau: + Tính đều: mã không từ mã có độ dài khác (có từ mã độ dài 3, có từ mã độ dài 4) + Tính đầy: mã chưa đầy nhánh mã chưa tỏa hết + Tính prefix: mã có tính prefix nút biểu diễn từ mã nút + Tính phân tách được: mã có tính prefix nên cột bảng thử mã chắn chắn rỗng, nên mã phân tách Các tham số mã: + Cơ số: từ nút tỏa không nhanh, nên mã có số + Số từ mã: N = 12 Bài 17 Sử dụng bảng thử tính phân tách để kiểm tra xem mã: 11, 201, 110, 021, 011, 1010 có phân tách hay không? Hãy vẽ mã mã GIẢI: Bảng thử tính phân tách: Từ mã 11 201 Cột (11 phần đầu 110) Cột 21 (0 phần đầu 021) 11 (0 phần đầu 011) 11 trùng với từ mã 110 021 011 1010 Vậy mã không phân tách Bài 18 Cho tin 001011011101001010110001 Mã hóa tin thuật toán Lempel-Ziv GIẢI: B1: Tách từ thông tin theo thứ tự từ điển: Ma Katz 0-01-011-0111-010-0101-0110-00-1 B2: Lập từ điển mã hóa STT Từ 01 011 0111 010 0101 0110 00 Từ cũ (STT từ cũ) rỗng (0) (1) 01 (2) 011 (3) 01 (2) 010 (5) 011 (3) (1) rỗng (0) Kí tự lấy thêm 1 1 0 B3: Mã hóa: từ mã gồm phần mã nhị phân cho số thứ tự phần từ cũ + phần kí tự lấy thêm Độ dài từ mã: = + ; = ⌈log ⌉ với N số từ từ điển, số kí tự lấy thêm (1) Có: = ⇒ = 4, = ⇒ = STT từ cũ dạng Kí tự lấy thêm Từ mã nhị phân 0000 00000 0001 00011 0010 00101 0011 00111 0010 00100 0101 01011 0011 00110 0001 00010 0000 00001 Bài 19 X Bài 20 Hk Bài 21 Ma Katz [...]... (5) 011 (3) 0 (1) rỗng (0) Kí tự lấy thêm 0 1 1 1 0 1 0 0 1 B3: Mã hóa: từ mã gồm 2 phần là mã nhị phân cho số thứ tự của phần từ cũ + phần kí tự lấy thêm Độ dài từ mã: = + ; = ⌈log ⌉ với N là số từ trong từ điển, là số kí tự lấy thêm (1) Có: = 9 ⇒ = 4, = 1 ⇒ = 5 STT từ cũ ở dạng Kí tự lấy thêm Từ mã nhị phân 0000 0 00000 0001 1 00011 0010 1 00101 0011 1 00111 0010 0 00100 0101 1 01011 0011 0 00110