Bài giảng lý thuyết thông tin và mã hóa

TÓM TẮT BÀI GIẢNG LÝ THUYẾT THÔNG TIN CHƯƠNG 1: TIN TỨC 1-1 HỆ THỐNG TRUYỀN TIN (HT3) Nguồn tin Si(t) Kênh tin S0(t) Nhận tin Nhiễu  Nguồn tin: + Là tập hợp tin HT3 dùng để lập tin khác truyền + Nguồn tin mô hình hoá toán học bốn trình sau: - Quá trình ngẫu nhiên liên tục Quá trình ngẫu nhiên rời rạc - Dãy ngẫu nhiên liên tục - Dãy ngẫu nhiên rời rạc  Kênh tin: nơi diễn truyền lan tín hiệu mang tin chòu tác động nhiễu S0(t) = Nm (t) Si(t) + Na(t) + Si(t): Tín hiệu vào & S0(t): tín hiệu kênh tin + Nm (t), Na(t) : đặc trưng cho nhiễu nhân, nhiễu cộng Lý thuyết thông tin trang:  Nhận tin: đầu cuối HT3 làm nhiệm vụ khôi phục tin tức ban đầu Nguồn tin (1) Nhận tin (1’) Mã hóa nguồn (2) Giải mã nguồn (2’) Mã hóa kênh (3) Giải mã kênh (3’) Bộ điều chế (4) Giải điều chế (4’) Phát cao tần (5) Kênh tin Thu cao tần (5’) Hệ thống truyền tin số (rời rạc)  Hai vấn đề hệ thống truyền tin: + Vấn đề hiệu suất, nói cách khác tốc độ truyền tin hệ thống + Vấn đề độ xác, nói cách khác khả chống nhiễu hệ thống 1-2 SỐ ĐO THÔNG TIN a Lượng đo tin tức: Nguồn A có m tín hiệu đẳng xác xuất, tin nguồn A hình thành dãy n ký hiệu (ai  A) Lý thuyết thông tin trang: – Lượng tin chứa bất kỳ: I(ai)=logm - (1) Lượng tin chứa dãy x gồm n ký hiệu: I(x) = n.log m (2) Đơn vò lượng đo thông tin thường chọn số - Khi m ký hiệu nguồn tin có xác xuất khác không độc lập thống kê với I(xi) = log (1/p(ai))  (3) Lượng tin riêng: I(xi) = -log p(xi) (4) Là lượng tin ban đầu xác đònh xác xuất tiên nghiệm  Lượng tin lại xi sau nhận yj xác đònh xác xuất hậu nghiệm x I ( xi / yi )   log p( i ) (5) yj  Lượng tin tương hỗ: p( I ( xi ; yi )  I ( xi )  I ( xi / yi )  log  xi ) yj p( xi ) (6) Đặc tính lượng tin: + I(xi)  I(xi ; yi) (7) + I(xi)  (8) Lý thuyết thông tin trang: + I(xi.yi) = I(xi) + I(yi) - I(xi; yi) (9) Khi cặp xi, yj độc lập thống kê với I(xi; yi) =0  Ta có: I(xi yi) = I(xi) + I(yi) (10) Lượng tin trung bình: lượng tin tức trung bình chứa m ký hiệu nguồn cho I ( x)   p( x) log p( x) (11) X  Lượng tin tương hỗ trung bình: I ( X , Y )   p( x, y) log XY  p( x / y ) p ( x) (12) Lượng tin riêng trung bình có điều kiện: I (Y / X )   p( x, y) log( y / x) (13) XY b Entrôpi nguồn rời rạc: thông số thống kê nguồn Về ý nghóa vật lý độ bất ngờ lượng thông tin trái ngược nhau, số đo chúng nhau: H ( X )  I ( X )   p( x) log p( x) (1) Entropi: độ bất ngờ  Đặc tính Entrôpi H(X): + H(X)  + H(X) = nguồn tin có ký hiệu + H(X)max xác suất xuất ký hiệu nguồn Lý thuyết thông tin trang: (2 tập tin: xo, yo với po, p1 P1 =1-po H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1po)  Entrôpi đồng thời: độ bất đònh trung bình cặp (x,y) tích XY H ( XY )    p( x, y) log p( x, y) (2)  XY  Entrôpi có điều kiện: H ( X / Y )    p( x, y) log p( x / y) (3)  XY 1-3 THÔNG LƯNG CỦA KÊNH THÔNG TIN:  Tốc độ thiết lập tin nguồn: R= n0.H(X) (bps) (1) + H(X); entrôpi nguồn + n0 : số ký hiệu lập đơn vò thời gian  Thông lượng kênh C lượng thông tin tối đa kênh cho qua đơn vò thời gian mà không gây sai nhầm C(bps)  Thông thường R < C, để R tiến tới gần C ta dùng phép mã hoá thống kê tối ưu để tăng Entrôpi a Thông lượng kênh rời rạc không nhiễu: C = Rmax = n0 H(X)max (bps) (2) Độ dư nguồn: Lý thuyết thông tin trang: r 1 H(X ) H ( X ) max (3) Dùng phương pháp mã hóa tối ưu để giảm độ dư nguồn đến không sử dụng độ dư nguồn để xây dựng mã hiệu chống nhiễu b Thông lượng kênh rời rạc có nhiễu: R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps) (4) no = 1/T = delta(f)  Tốc độ lập tin cực đại kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max Lý thuyết thông tin (bps) (5) trang: CHƯƠNG 2: MÃ HÓA NGUỒN TIN 2-1 MÃ HIỆU 2-1-1 Mã hiệu thông số mã hiệu:  Cơ số mã (m) số ký hiệu khác bảng chữ mã Đối với mã nhò phân m=  Độ dài mã n số ký hiệu từ mã Nếu độ dài từ mã ta gọi mã đều, ngược lại mã không VD: a b c d 1) 00 01 10 11 -> n=2 2) 10 111 -> đều, n =7/4 < (p ¼ ¼ ¼ ¼ )  Độ dài trung bình mã: n   p( xi )ni (1) i 1 + p(xi): xác suất xuất tin xi nguồn X mã hóa + ni : độ dài từ mã tương ứng với tin xi + N: Tổng số từ mã tương ứng với tổng số tin xi  Tính chất mã: Tổng hợp tổ hợp mã có được: N0=2n., nếu: + Nb1=0.20+0.21=0 -> (n1,b1)=(0,0) c Đồ hình mã: Cây mã Nút (mức 0): nút gốc 0v 1 0 0V1 a1(00) a2(01) a3(100) a4(1010) a5(1011) Đồ hình kết cấu Chỉ nút gốc với từ mã bôi đen Đồ hình kết cấu: chập mã với nút gốc (mũi tên theo chiều kim đồng hồ) a- Hàm cấu trúc mã: Khi ni = G(ni) = Khi ni= Khi ni = Khi ni = Khi ni = 2-1-4 Điều kiện để mã phân tách : Lý thuyết thông tin trang:  Mã có tính Prêphic (prefix) VD: 1011 -> prefix = 101 or 10 or - Bất kỳ dãy từ mã mã không trùng với dãy từ mã khác mã - Mã có tính prêphic tổ hợp mã prêphic tổ hợp khác mã Điều kiện để mã có tính prêphic: n 2 j G( j )  j 1  Mã hệ thống có tính phêphic xây dựng từ mã prêphic cách lấy số tổ hợp mã prêphic gốc làm tổ hợp sơ đẳng tổ hợp lại làm tổ hợp cuối Ghép tổ hợp sơ đẳng với nối tổ hợp cuối vào thành tổ hợp mã gọi mã hệ thống có tính prêphic  Ví dụ: Lấy mã prêphic 1,00,010,011 - Các tổ hợp sơ đẳng: 1,00,010 - Một tổ hợp cuối: 011  Gọi : - n1, n2,…, ni độ dài tổ hợp sơ đẳng - 1, 2,…, k độ dài tổ hợp cuối - Số có dãy ghép tổ hợp sơ đẳng có độ dài nj : g(nj) = g(nj-n1) + g(nj-n2) + …+ g(nj-ni) Lý thuyết thông tin (1) trang: 10 Suy u(x) =1+ x3 Bước 1: xn-k.u(x) = x3(1+x3) =x6+x3 Bước 2: tìm phần dư b(x) X6 + X3 X3 + X + X6 + X4 + X3 X3 + X = a(x) X4 X4 + X2 +X X2 +X = b(x) Bước 3: t(x) =b(x)+xn-ku(x) = x+x2+x3+x6 Nghóa từ mã phát t = (0 1 0 1) 1 bits kiểm tra Học sinh tự làm với g2(x) = x3+x2+1 3-4-3 Ma trận sinh ma trận kiểm tra mã vòng: Ma trận sinh G(k,n) tạo từ đa thức sinh g(x) cách dòch vòng: g0 g1 gn-k 0 0 g0 gn-k-1 gn-k (1) G(k,n)= 0 g0 g1 g2 gn-k  Ví dụ: xét mã vòng C(7,4) ma trận sinh G(4,7): 1 0 0 1 0 G(k,n)= 0 1 0 0 1 Lý thuyết thông tin có g(x) = x3+x+1 ta có (1) (2) (3) (4) trang: 42  G (k,n)= ~ 1  1 0 1 1 0 0 0 0 0 0 (1’)  (2’)  (3’)  1+3 (4’)  1+2+4 Các bước thiếp lập ma trận sinh theo dạng tắc: Bước 1: Tính xn-k+i= ai(x).g(x)+bi(x) (2) Trong đó: i=0, 1, …, k-1 + bi (x) phần dư có dạng: bi(x) =bi0+bi1x+ … +bi, n-k-1xn-k-1 (3) Bước 2: Tạo đa thức mã: ti(x) = ai(x).g(x)=bi(x) +xn-k+i (4) Bước 3: Sắp xếp k đa thức mã thành k hàng ma trận k x n ta đa thức sinh có dạng tắc sau: b00 b01 b0,n-k-1 0 b10 b11 b1,n-k-1 G (k,n)= ~ bk-1,0 bk-1,1 bk-1,n-k-1 0 … G(k,n) = [B(k,n-k, Ik} (5) (6) Ví dụ: Xét mã vòng C (7,4) có ma trận sinh g(x) =1+x+x3, lập ma trận sinh G dạng tắc theo nguyên tắc Lý thuyết thông tin trang: 43 Bước 1: Mã vòng C(7,4) suy n=7, k=4 i=0,1,2,3, nên xn-k+i là: x3, x4, x5, x6, chia x3, x4, x5, x6 cho g(x) ta được: x3 x3+x+1  x3+x+1 1=a(x) +x +1=b(x)  x3=1g(x)+x+1 x4 x3+x+1  x4+x2+x x=a(x) +x2 +x=b(x)  x4=x.g(x)+x2+x x5 x3+x+1  x5=(x2+1).g(x)+x2+x+1  x5+ x3+x2 x2+1=a(x) + x3 +x2 x+1  x + + x +x+1 = b(x) x6 x3+x+1  x6=(x3+x+1)g(x) +x2+1  x6+ x4+x3 x3+ x+1=a(x) + x4 + x3 x4 + x2+x  + x3 +x2+x x3 +x+1 +x + 1= b(x) Bước 3: Sắp xếp đa thức mã thành hàng ma trận sinh G (kxn) ta ma trận sinh G(4,7) dạng tắc Lý thuyết thông tin trang: 44 t0(x) =1 + x + x3 t1(x) = + x +x2+ x4 t2(x) =1 + x +x2+ x5 t3(x) =1 + x2 + x6 1101000 suy ra: G (4,7)  ~ 0110100 1110010 1010001 b Ma trận kiểm tra H(n-k,n) Gọi H ma trận kiểm tra ta có t.HT=0, theo đònh lý ta có xn+1=h(x).g(x), ta biết g(x) ta tìm h(x) Mặt khác: t(x)=a(x).g(x) nên ta có t(x).h(x)=a(x).g(x).h(x)=a(x)(xn+1) =a(x)+xna(x) (1) bậc a(x) k-1 nhỏ nên xk, xk+1+ xn-1 không xuất a(x) Nếu mở rộng t(x)h(x) sang trái hệ số xk, xk+1+ xn-1 phải không Do ta có: k ht i o i n i  j  o với  j  n  k (2) Vì G.HT=0 nên từ ma trận G, ta xác đònh ma trận kiểm tra H dạng tắc sau: H (n  k , n)  ~ 0 b00 b10 … bk-1,0 b01 b11 … bk-1,1 (3) 0 b0,n-k-1 b1,n-k-1 … bk-1,n-k-1 Lý thuyết thông tin trang: 45 H(n-k,k)=[In-k,BT] Hay G (4,7)= ~ 110 011 111 101  H (3,7)  ~ 1000 0100 0010 0001 100 1011 010 1110 001  (3’) 0111 Ta xác đònh ma trận kiểm tra H dạng tắc từ ma trận đối ngẫu h(x) h(x-1) đònh nghóa sau: Xk h(x-1)=hk+ hk-1x+ …+ h0xk (4) Chúng ta dễ dàng nhận xk.h(x-1) hàm xn+1 Khi xk.h(x-1) tạo mã vòng (n,nk) với ma trận (n-k,n) giống ma trận sinh g(x) hk hk-1 hk-2 ……… h0 0 H(n-k,n) = hk hk-1 ……… h1 h0 (4) 0 ……… hk hk-1 h0 Ví dụ: Xét mã vòng (7,4) với đa thứ sinh g(x)=1+x+x3 Đa thức kiểm tra là: x7  x7  h( x )    x4  x2  x 1 g ( x)  x  x Lý thuyết thông tin trang: 46 Suy ra: xk.h(x-1)=x4(x-4+ x-2+ x-1+1)=1+ x2+ x3+ x4 Từ (4) ta có: 1 1 0 H(3,7)= 1 1 0 1 1  H (3,7)  ~ 0 1 1 1 0 1 1 (1) (2) (3) 1’ = 1+3 2’ = 3’ = Vậy từ (4) ta xác đònh ma trận kiểm tra H có kết xác đònh từ ma trận sinh tắc G ~ 3-4-4 Sơ đồ mã hóa mã vòng: a) Mã hóa theo đa thức sinh g(x): Để mã hóa mã vòng (n,k) theo dạng chuẩn tắc ta tiến hành theo bước sau; Bước 1: Nhân tin u(x).xn-k Bước 2: Tính phần dư b(x) từ: x nk u ( x)  x nk u ( x)  a( x) g ( x)  b( x) g ( x) Bước 3: Thiết lập từ mã phát đi: t(x)=b(x)+xn-k.u(x) Các bước thực mạch chia gồm ghi dòch (n-k) tầng có vòng hồi tiếp dựa biểu thức sinh: Lý thuyết thông tin trang: 47 g(x)=1+g1x+ g2x2+… gn-k-1xn-k-1+xn-1 Cổng gn-k-1 g0=1 g1 b0 + g2 b1 bi : tầng thứ i ghi dòch gi : kết nối hay không kết nối + gn-k=1 b2 + bn-k-1 U(x) gi =0 : không kết nối gi =1: nối + Từ mã G bi: tầng thứ i ghi dòch gi: kết nối hay không kết nối gi = không nối gi = nối  Cộng modulo-2 Sơ đồ mã hóa vòng theo g(x) Hoạt động mạch mã hoá: Bước 1: mở cổng (Khóa G vò trí 1), k bit tin u0, u1, u1,…, uk-1 (ứng với đa thức mẫu: u0 + u1 x+ … + uk-1xk-1 ) dòch vào mạch từ đầu cực phải tương đương với việc nhân u(x) với xn-k Ngay sau dòch xong k bit tin vào mạch, nội dung ghi trở thành phần dư phép chỉnh xn-k.u(x) cho g(x) Nói cách khác (n-k) bits ghi bits kiểm tra Bước 2: Ngắt đường hồi tiếp cách đóng cổng (Khóa G chuyển sang vò trí 2) Lý thuyết thông tin trang: 48 Bước 3: Dòch bits kiểm tra gửi vào kênh truyền (n-k) bits ghi bits kiểm tra này(tức b0, b1, …., bn-k-1) phối hợp với k bits tin, tạo thành vector mã Ví dụ: Mã hóa mã vòng (7,4) với đa thức sinh g(x)=1+x+x3 giả sử cần mã hóa tin u với u có dạng sau u=(1011) Khi bit tin dòch vào ghi, nội dung ghi bảng sau (nối đường hồi tiếp mở cổng khóa G vò trí 1) Sau lần dòch nội dung ghi (100) Như vector mã thiết lập có dạng (1001011) ứng với đa thức mẫu t(x)=1+x3+ x5+ x6 Cổng g0 =1 g1 =1 b0 g2 =1 b1 + g3 =1 + b2 U(x) 1011 G Từ mã phát Số lần dòch Input u 1 Nội dung ghi HT b0 b1 b2 0 1 Lý thuyết thông tin 0 0 0 b’0= b2  u 1 1 Nội dung ghi b’1= b0  b2 0 u b’2= b1 0 0 trang: 49 b) Mã hóa theo đa thức h(x): Phương pháp sử dụng ghi k tầng Ta biết vector mã có dạng t=t0, t1, , tn-1 Do t.HT=0 & hk = nên từ k h t i 0 j n i  j  với  j  n-k Ta viết: k 1 t nk  j   hi t ni  j với < j< n-k-1 (5) i 0 Đối với mã vòng dạng tắc thành phần tn-k , tn-k-1, …, tn-1 vector mã bit tin ng với k bits tin ta có (n-k) bits kiểm tra t0, t1, … tn-k Dựa vào phương trình (5) ta xây dựng sơ đồ mạch mã hóa: h(x)=h0+ h1x+…+ hkxk + + hk-1 hk-2 + + h2 h1 hk=1 Cổng h0 =1 U(x) Cổng tn-k tn-k-1 tn-2 tn-1 Ngõ đến kênh truyền Sơ đồ mã hóa mã vòng dựa đa thức kiểm tra h(x) Các đường hồi tiếp dựa theo hệ số h0, h1, …, hk đa thức kiểm tra h(x), với h0=hk=1 Các mã thực mã hóa: Bước 1: Ban đầu cổng mở & cổng đóng, k bits tin u(x) = u0+u1x+…+ uk-1xk-1 dòch đồng thời vào ghi kênh truyền Lý thuyết thông tin trang: 50 Bước 2: Ngay sau dòch xong k bits tin vào ghi, cổng đóng cổng mở Tại điểm P xuất bit kiểm tra tn-k-1 với tn-k-1 = h0tn-1+ h1tn-2+…+ hk(6) 1tn-k = uk-1 + h1uk-2+…+ hk-1u0 Bước 3: Dòch ghi lần bit kiểm tra đầu tn-k-1 dòch kênh truyền, đồng thời dòch vào ghi Lúc điểm P xuất bit kiểm tra thứ tn-k-2 với tn-k-2 = h0.tn-1+ h1.tn-2+…+ hk-1.tn-k-1 = uk-2 + h1uk3+…+ hk-1 tn-k-1 Bước 4: Tiếp tục lặp lại bước (n-k) bits kiểm tra hình thành dòch kênh truyền Sau mở cổng & đóng cổng để mã hóa tin Nhận xét: Đối với mã có số bit kiểm tra nhiều số bit tin, dùng phương pháp mã hóa dựa h(x) có tính kinh tế Ngược lại ta dùng phương pháp mã hóa dựa g(x) Ví dụ: xét mã vòng C(7,4) có đa thức sinh g(x) = 1+x+x3, đa thức kiểm tra có dạng: x7  h( x )   1 x  x2  x4 x  x 1  h0=1; h1=1; h2=1; h3=0; h4=1 Vector mã truyền đi: t=(t0,t1, t2, t3, t4, t5, t6) = (t0,t1, t2, u0, u1, u2, u3) Từ (5) ta có: tn-k-j=t3-j=  hi t7 i  j với < j < i 0 Suy ra: t3-j= h0t7-j+ h1t6-j+ h2t5-j+ h3t4-j = 1.t7-j+ 1.t6-j+ 1.t5-j+ 0.t4-j = t7-j + t6-j+ t5-j Lý thuyết thông tin trang: 51 Giả sử tin cần mã hóa: u = 1011 t3 =1, t4 =0, t5 =1, t6 =1, + Bit kiểm tra tương ứng với j = là: t2 =t3-1= t7-1 + t6-1+ t5-1=t6+t5+t4=1+1+0=0 + Bit kiểm tra thứ tương ứng j=2 là: t1= t3-2= t7-2 + t6-2+ t5-2=t5+t4+t3=1+0+1=0 + Bit kiểm tra thứ tương ứng j=3 là: t0= t3-3= t7-3 + t6-3+ t5-3=t4+t3+t2=0+1+0=1 Như vector mã vòng với tin (1011) (1001011) + Cổng + h1 =1 h2 =1 h0 =1 Data Cổng t3 t4 t5 tn-1 Ngõ đến kênh truyền 3-4-5 Giải mã vòng Gồm bước: Bước 1: Tính Syndrome Bước 2: Dò sai & sửa sai a- Tính Syndrome: S=r.HT  Vector thu nhận được: r(x)=r0+r1x+…+rn-1xn-1  (1) Mặt Khác: r(x) =a(x)g(x)+S(x) (2) Syndrome S(x) phần dư phép chia r(x) cho g(x), bậc nhỏ (n-k-1) gồm (n-k) phần tử Lý thuyết thông tin trang: 52 Mạch tính Syndrome tương tự mạch mã hóa (nk) tầng, khác r(x) dòch vào đầu cực trái ghi Trước dòch r(x) vào tầng ghi đặt không Ngay sau toàn r(x) dòch hết vào ghi, nội dung ghi Syndrome S(x)  Cổng gn-k-1 g0 =1 g1 g2 gn-k=1 + r S0 + S1 + Sn-k-1 + Mạch tính Syndrome (n-k) tầng với ngõ vào từ đầu cưcï trái ghi Ví dụ: Tính Syndrome mã vòng C(7,4) có đa thức sinh g(x) =1+x+x3 Cổng g0 =1 + r g2 =1 g1 =1 S0 + S1 S2 Mạch tính Syndrome mã vòng (7,4) Ta so sánh kết tính Syndrome từ công thức tính S=r.HT với kết biểu ghi dòch Giả sử vector thu r=(0010110) Lý thuyết thông tin trang: 53 100 010 001 S=r.HT=(0010110)x 110 = (101) 011 111 101 Ta lập bảng trạng thái ghi dòch: Số lần dòch r(x) Nội dung Nội dung ghi kế ghi HT tiếp 1 0 s0 0 1 0 s1 0 0 1 1 s2 0 0 1 s’0=r+s2 0 1 0 1 s’1=s0+s2 0 1 1 s’2=s1 0 0 1 1 Vậy kết tính Syndrome theo hai phương pháp nhau: b- Dò sai sửa sai:  Gọi t(x) từ mã phát e(x) =e0+e1x+…+enxn-1 (3) mẫu sai, đa thức thu có dạng: Lý thuyết thông tin trang: 54 r(x)=t(x)+e(x)=a(x).g(x)+s(x)  Do t(x) = a(x)g(x) nên e(x)=[a(x)+b(x)]g(x) +S(x) (4)  Nếu s(x) =0 e(x) =0 trùng với vector mã Nếu e(x) trùng với vector mã sai không phát Khi s(x) = từ s(x) đối chiếu với bảng phát & sửa sai dò e(x)  Trong ví dụ s=(101) trùng với cột thứ ma trận kiểm tra thứ tự, e6=1 nghóa e = 0000001  từ mã nhậ là: t(x)= r(x)+e(x)=(0010110)+(0000001)=0010111 Cổng r(x) Cổng Cổng Thanh ghi đệm + + Cổng Vector thu sửa sai Thanh ghi Syndrome Mạch dò mẫu sai Cổng Sơ đồ nguyên lý mạch giải mã mã vòng Lý thuyết thông tin trang: 55 Ngõ vào Ngõ Bộ ghép kênh r(x) + t(x)=t(x) Cổng Cổng + S0 + S1 S2 Cổng Mạch giải mã cho mã vòng có đa thứ sinh g(x)=1+x+x3 Cấu trúc vòng làm cho mạch giải mã trở thành đơn giản Tuy nhiên mạch giải mã Meggitt tốn nhiều thời gian để giải mã xong vector, việc giải mã thực cho digit Vậy muốn cấu hình mạch đơn giản phải chấp nhận tốc độ làm việc chậm ngược lại Lý thuyết thông tin trang: 56 [...]... en-1 + t1 t2 Bộ giải mã tổng quát cho mã khối tuyến tính Lý thuyết thông tin trang: 35 3-3 – MÃ HAMMING: Mã hamming là lớp mã khối đầu tiên nhắm vào việc sửa sai mã khối và các biến thể của nó được sử dụng rộng rãi trong việc truyền thông số hóa và lưu trữ số liệu Với mọi số nguyên dương m  3, tồn tại mã Hamming với các thông số sau: - Chiều dài từ mã: n = 2m – 1 - Chiều dài phần tin: k = 2m – m – 1... đầu vào Sơ đồ khối mã hóa khối tuyến tính có cầu trúc hệ thống Lý thuyết thông tin trang: 31 Thông báo u = (u0 u1 uk-1) được dòch vào thanh ghi thông báo đồng thời được đưa đến kênh truyền ( khóa K ở vò trí 1 trong K nhòp) Sau khi thông báo được dòch toàn bộ vào thanh ghi thông báo, (n-k) bits kiểm tra cũng được tạo ra từ ngõ ra của (n-k) bộ cộng modulo –2 nhiều đầu vào Sau đó ở nhòp thứ (k+1) khóa... lặp lại Lý thuyết thông tin trang: 25 Các cơ chế này đã được học trong môn “Truyền số liệu”  Cơ chế FEC (Forward Error Control): phát hiện và tự sửa sai sử dụng các loại mã sửa lỗi - Khi có sai đơn (1 sai) người ta thường dùng các loại mã như: mã khối tuyến tính, mã Hamming, mã vòng… - Khi có sai chùm (> 2 sai) người ta thường dùng các loại mã như: mã BCH, mã tích chập, mã Trellis, mã Tubor, mã Tubor... 0,0155 111 111111 Lý thuyết thông tin trang: 21 4 H(u) =   pi log 2 pi  i 1 -[0,5log20,5 + 0,25log20,25 + 0,125log20,125] =  4 n   pi ni  (0,5x1) +(0,25x2) + ((0,125x5) +0,125x6 i 1 = 0,5 +0,5+0,625+0.75=2,375  H (u )  n Lý thuyết thông tin  2,375 trang: 22 CHƯƠNG 3: MÃ HÓA KÊNH TRUYỀN (Mã phát hiện và sửa sai) 3-1 KHÁI NIỆM VỀ MÃ PHÁT HIỆN VÀ SỬA SAI:  Dạng sai lầm của mã hiệu được truyền... mã Tubor Block, mã tổng hợp GC… 3-2 MÃ KHỐI TUYẾN TÍNH: 3-2-1 Đònh nghóa:  Khi các bits mang tin và các bits kiểm tra được phân thành từng khối tách bạch, sự mã hóa & giải mã có thể tiến hành theo từng khối bằng các từ mã riêng rẽ & sử dụng các phép tính của đại số tuyến tính  Đònh nghóa: mã khối độ dài n & k bits mang tin được gọi là mã khối tuyến tính C(n,k) nếu và chỉ nếu 2k từ mã lập thành không... k bits bên phải của từ mã t trùng với k bits thông tin u0, u1, …, uk-1 và (n-k) bits bên trái là các bits kiểm tra Ví dụ: xét mã khối tuyến tính C (7,4) có thông báo cần mã hóa u = (u0, u1, u2, u3) & từ mã phát đi tương ứng t = (t0, t1, t2, t3, t4, t5, t6)  G(4,7)= Cho G(4,7) dạng không chính tắc ta đi tìm G(4,7) dạng chính tắc: 1101000 0110100 0011010 0001101 Lý thuyết thông tin (1) (2) (3) G(4,7)... cùng 3- Tính liên hệ giữa những từ cuối và từ trước cuối  Các bước thực hiện mã hóa TK tối ưu Hốpman Lý thuyết thông tin trang: 19 Bước 1: Các nguồn tin được liệt kê trong cột theo thứ tự xác suất xuất hiện giảm dần Bước 2: Hai tin cuối có xác suất bé nhất được hợp thành tin phụ mới có xác suất bằng tổng xác suất các tin hợp thành Bước 3: Các tin còn lại (N-2) với tin phụ mới được liệt kê trong cột phụ... G(4) = 2g(1) = 2x1 = 2  1010 và 1011 G(5) = 2g(2) = 2x2 = 4  11010, 00010, 11011, và 00011 Lý thuyết thông tin trang: 12 G(6) = 2g(3) = 2x3 = 6  111010, 100010, 001010, 111011, 100011, và 001011 G(7) = 2g(4) = 2x5 = 10 2-2 CÁC LOẠI MÃ THỐNG KÊ TỐI ƯU (TKTƯ) 2-2-1 Một số đònh lý cơ bản của mã TKTƯ  Đònh lý giới hạn về độ dài trung bình của từ mã: n H(U)  n  H(U) +1 (1)  mã thống kê có hai đặc điểm... chính tắc: Lý thuyết thông tin trang: 30 1001011 0101110 0010111 H 3,7  ~  Kết luận: để tiến hành tạo mã khối tuyến tính gồm 2 bước: Bước 1: Xác đònh ma trận sinh G hoặc P, hoặc ma trận kiểm tra H hoặc ma trận PT  Bước 2: Dựa vào công thức t = U.G hoặc t.HT = 0 để thiết lập các từ mã tương ứng với các thông báo u đã biết Ta có sơ đồ mã hóa mã khối tuyến tính dựa trên phương trình 9 và 10 như sau:... 0,01x5  2,41 H (U ) 2,37 p=   0,98 2,41 n  có thể vẽ cây mã cho TKTƯ Fano  Nhận xét về mã thống kê tối ưu Fano: Lý thuyết thông tin trang: 17 Ưu: Với cách chia nhóm đồng xác suất, sự lập mã TK tối ưu đồng thời cũng là mã prêphic Khuyết: Không cho phép lập mã duy nhất, nghóa là có nhiều mã tương đương về tính kinh tế Ví dụ: đối với nguồn tin dưới đây ít nhất có hai cách chia có tính kinh tế như sau: ... Tốc độ lập tin cực đại kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max Lý thuyết thông tin (bps) (5) trang: CHƯƠNG 2: MÃ HÓA NGUỒN TIN 2-1 MÃ HIỆU 2-1-1 Mã hiệu thông số mã hiệu:  Cơ số mã (m) số... loại mã như: mã khối tuyến tính, mã Hamming, mã vòng… - Khi có sai chùm (> sai) người ta thường dùng loại mã như: mã BCH, mã tích chập, mã Trellis, mã Tubor, mã Tubor Block, mã tổng hợp GC… 3-2 MÃ... = 0,98 Mặc dù tối ưu so với mã Sannon Fano, mã nguồn có nhiều tin mã trở nên cồng kềnh Khi người ta kết hợp phương pháp mã hóa: Mã Hốp man + mã Pi Mã Hốp man Mã Từ mã ui u1 u2 u3 u4 u5 u6 u7 u8