Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 28 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
28
Dung lượng
337,77 KB
Nội dung
CHƯƠNG 3: MÃ HOÁ NGUỒN VÀ KÊNH Các khái niệm Mã hoá nguồn Mã hoá kênh 9:15 PM Chương Khái niệm Nguồn tin Si(t) S0(t) Kênh thông tin Nhận tin S0(t) = Nm(t) Si(t) + Na(t) Nhiễu 9:15 PM Nguồn tin Nhận tin Mã hóa nguồn Giải mã nguồn Mã hóa kênh Giải mã kênh Điều chế Giải điều chế Phát cao tần Kênh tin Chương Thu cao tần Khái niệm Lượng tin (measure of information) Được đo logarit độ bất ngờ tin hay nghịch đảo xác suất xuất tin I(x) = log Đơn vị lượng tin tùy thuộc vào cách chọn số log: - Cơ số 2: đơn vị bits - Cơ số e: đơn vị nats (đơn vị tự nhiên) - Cơ số 10: đơn vị Hartley 9:15 PM Chương 3 Khái niệm Lượng tin (measure of information) Xét nguồn tin A có m ký hiệu: A = {a1, a2, …, am} với xác suất xuất tương ứng p(ai) I(ai) = Xét tin tức hình thành từ nguồn tin A: x = a1a2…an Lượng tin x: I(x) = 9:15 PM ∑ Chương ∑ Khái niệm Nếu nguồn tin có xác suất xuất (đẳng xác suất): p(ai) = 1/m I(ai) = logm Lượng tin x: I(x) = ∑ Lượng tin trung bình Lượng tin trung bình nguồn tin A lượng tin trung bình chứa ký hiệu nguồn tin I ∈ 9:15 PM Chương Khái niệm Lượng tin tương hỗ / I(ai/aj) = I(ai) – I(ai/aj) = Cho nguồn tin A = {a0, a1, …, a7}, với xác suất xuất sau: p(a0) p(a1) p(a2) p(a3) p(a4) p(a5) p(a6) p(a7) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 a Xác định lượng tin tin b Xác định lượng tin trung bình c Xác định lượng tin tin tức x = a0a2a4a3a2 9:15 PM Chương Khái niệm Entropy Cho không gian mẫu X = {x1, , xN} xác suất p(xn) Entropy X định nghĩa là: H ∈ Các tính chất H(X) H(X) = nguồn tin có ký hiệu: p(xi) = xác suất xuất ký tự khác = H(X) logN H(X) = N xác suất xuất ký hiệu nhau: p(xi) = 1/N 9:15 PM Chương Khái niệm Thông lượng kênh lượng thông tin tối đa kênh cho qua đơn vị thời gian mà không gây sai số C = n0H(X)max n0: số ký hiệu đơn vị thời gian (tốc độ symbol) 9:15 PM Chương Mã hoá nguồn Mã hiệu (Code) Mã hiệu tập hữu hạn ký hiệu dùng để biểu diễn cho tin hay tin nguồn tin Các ký hiệu có phân bố xác suất thoả mãn số yêu cầu mà hệ thốngtruyền tin đặt Từ mã (Code word) Từ mã chuỗi ký hiệu mã biểu diễn cho tin nguồn Tập hợp tất từ mã gọi mã Mã hoá (Encoding) Biến đổi tin nguồn thành từ mã 9:15 PM Chương Mã hố nguồn Các thơng số Cơ số mã m: số ký hiệu khác bảng chữ mã Mã nhị phân: m = Độ dài mã n: số ký hiệu từ mã Nếu độ dài từ mã nhau: mã Độ dài trung bình mã: p(xi): xác suất xuất tin xi + ni : độ dài từ mã tương ứng với tin xi + N: Tổng số từ mã tương ứng với tổng số tin xi Hàm cấu trúc mã: xác định số lượng từ mã có độ dài mã cho trước G(ni) = số từ mã có chiều dài ni có mã 9:15 PM Chương 10 Mã hố nguồn Mã khơng tách Là mã mã hóa thơng báo Msg ta nhận chuỗi từ mã ws, giải mã chuỗi từ mã ws ta nhận nhiều thông báo Msg khác Mã khơng tách có chuỗi từ mã trùng với chuỗi từ mã khác Xét X={x1, x2, x3, x4} có bảng mã W={0, 1, 01, 10} x1x2x3x4x3x2x1 0101100110 0101100110 x1x2x1x2x2x1x1x2x2x1 01 01 10 01 10 9:15 PM Chương x3x3x4x3x4 11 Mã hoá nguồn Mã tách Là mã mã hóa thơng báo Msg ta nhận chuỗi từ mã ws, giải mã chuỗi từ mã ws nhận thông báo Msg Xét X={x1, x2} có bảng mã tương ứng W={0, 01} 0010000101001 01 0 01 01 01 x1x2x1x1x1x2x2x1x2 9:15 PM Chương 12 Mã hoá nguồn Biểu diễn mã Dùng bảng mã Tin tức a1 a2 a3 a4 a5 Từ mã 01 100 1010 1011 00 Dùng mặt phẳng mã: biểu diễn từ mã điểm (n,b) mặt phẳng toạ độ Từ mã: w = a0a1 an-1 n: độ dài từ mã b: trọng số từ mã 9:15 PM Chương 13 Mã hoá nguồn Biểu diễn mã Dùng mã: biểu diễn từ mã nút Chỉ biểu diễn mã có tính prefix Tính prefix: khơng có từ mã trùng với phần đầu từ mã khác 1 a1(00) a2(01) a3 (100) a4(1010) 9:15 PM Chương a5(1011) 14 Mã hoá nguồn Mã thống kê tối ưu Hiệu suất mã: 9:15 PM Chương 15 Mã hoá nguồn Mã thống kê tối ưu Shannon Sắp xếp xác suất theo thứ tự giảm dần Định nghĩa q1 = 0, qi = qi-1 + pi-1 Đổi số qi sang dạng nhị phân Từ mã ni ký hiệu phía sau dấu phẩy qi 9:15 PM Chương 16 Mã hoá nguồn Mã thống kê tối ưu Shannon Xác định mã cho nguồn tin U Ui pi U1 0,34 Ui U1 U2 U3 U4 U5 U6 U7 pi 0,34 0,23 0,19 0,1 0,07 0,06 0,01 U2 U3 0,23 0,19 qi 0,34 0,57 0,76 0,86 0,93 0,99 U4 0,1 U5 0,07 Số nhị phân qi 0,0000 0,0101 0,1001 0,1100 0,11011 0,11101 0,1111110 9:15 PM U6 0,06 ni 3 4 U7 0,01 Từ mã 00 010 100 1100 1101 11101 1111110 Chương 17 Mã hoá nguồn Mã thống kê tối ưu Shannon Độ dài trung bình mã: 0,34 0,23 0,19 0,1 0,07 0,06 0,01 2,99 Hiệu suất mã: H(U) = - (0,34log20,34 + 0,23log20,23 + … + 0,01log20,01) = 2,382 9:15 PM = 79,69% Chương 18 Mã hoá nguồn Mã thống kê tối ưu Shannon Mã hoá nguồn U = {u1, u2, u3, u4, u5, u6} với xác suất 0,3; 0,12; 0,25; 0,08; 0,2; 0,05 Xác định độ dài trung bình mã hiệu suất mã 9:15 PM Chương 19 Mã hoá nguồn Mã thống kê tối ưu Fano Sắp xếp xác suất theo thứ tự giảm dần Phân xác suất thành nhóm có tổng xác suất gần nhất, nhóm bao gồm xác suất đứng gần (khơng cách qng) Gán cho hai nhóm ký hiệu (0: cao, 1: thấp hay ngược lại) Lặp lại trình nhóm có phần tử 9:15 PM Chương 20 10 Mã hoá nguồn Mã thống kê tối ưu Huffman Mã hoá nguồn U = {u1, u2, u3, u4, u5, u6} với xác suất 0,3; 0,25; 0,2; 0,12; 0,08; 0,05 Xác định độ dài trung bình mã hiệu suất mã Mã hoá nguồn U = {u1, u2, u3, u4, u5, u6, u7, u8} với xác suất 0,23; 0,2; 0,14; 0,12; 0,1; 0,09; 0,06; 0,06 Xác định độ dài trung bình mã hiệu suất mã 9:15 PM Chương 27 Mã hoá kênh Mã khối tuyến tính Trọng số Hamming: tổng số thành phần khác vector t = {0,1,1,0,0,0,1} w(t) = Khoảng cách Hamming: trọng số vector t1 t2 t1 = {0,1,1,0,1} t2 = {0,1,0,1,1} t1 t2 = {0,0,1,1,0} d(t1,t2) = Số bit sai tối đa mã tuyến tính phát hiện: t = dmin – 1; dmin: khoảng cách Hamming nhỏ mã Số bit sai tối đa mã tuyến tính sửa: t = (dmin – 1)/2 9:15 PM Chương 28 14 Mã hoá kênh Mã khối tuyến tính Là tập hợp vector có chiều dài cố định gọi từ mã (codeword) Số phần tử vector gọi kích thước từ mã , ký hiệu n Mã thường sử dụng mã nhị phân có tất 2n từ mã khác Mã hình thành cách chọn M = 2k từ mã tạo thành mã (n,k) 9:15 PM Chương 29 Mã hố kênh Mã khối tuyến tính Các phép tốn thực trường GF(2) Phép cộng: tương tự EX-OR Phép nhân: tương tự AND + X 0 0 1 1 9:15 PM Chương 30 15 Mã hố kênh Mã khối tuyến tính Ma trận sinh (generator matrix) X = {x1, x2, …, xk}: thơng báo cần mã hố mã khối tuyến tính C(n,k) C = {c1, c2, …, cn}: thông báo sau mã hoá C = XG = X ⋮ =X ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ G: ma trận sinh Yêu cầu: thành phần gi phải độc lập tuyến tính với hay gi vector 9:15cơ PMsở Chương 31 Mã hố kênh Mã khối tuyến tính Ma trận sinh (generator matrix) Ma trận sinh có dạng hệ thống (systematic form): ⋯ 0 ⋯ G = [Ik | P] = ⋯ ⋯ ⋯ ⋯ ⋯ 0 ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ , , ⋯ , Ik: ma trận đơn vị k x k P: ma trận k x (n – k) xác định thông tin kiểm tra lỗi (parity check) 9:15 PM Chương 32 16 Mã hoá kênh Mã khối tuyến tính Ma trận sinh (generator matrix) G= 1 1 0 0 0 1 0 1 0 1 - Hàng giữ nguyên - Hàng = Hàng + Hàng - Hàng = Hàng + Hàng + Hàng 9:15 PM G1 = 0 0 0 0 0 1 1 1 Chương 1 33 Mã hố kênh Mã khối tuyến tính Ma trận sinh (generator matrix) Tin tức: x = [1 1] G= 1 1 0 0 0 1 0 1 0 1 G1 = 0 0 0 0 0 1 1 1 0 1 9:15 PM Mã hoá: t = [1 1 1 1] Mã hoá: t1 = [1 1 0] Chương Thông tin gốc Kiểm tra 34 17 Mã hoá kênh Mã khối tuyến tính Ma trận kiểm tra (parity check matrix) GHT = HT : ma trận chuyển vị ma trận kiểm tra H H = [- PT | In-k] Dấu trừ bỏ qua dùng GF(2) 9:15 PM Chương 35 Mã hoá kênh Mã khối tuyến tính Ma trận kiểm tra (parity check matrix) G= 0 0 I4 9:15 PM 0 0 0 1 1 1 0 1 1 H= 1 P PT Chương 1 1 0 1 0 0 I3 36 18 Mã hố kênh Mã khối tuyến tính Phát sửa sai Từ mã phát: t Từ mã thu: r Vector sai: e = t r Xác định vector sửa sai (syndrome): S = rHT Nếu S = 0: r từ mã phát (r = t) hay r tổ hợp tuyến tính từ mã (không phát sai) Nếu S 0: có sai 9:15 PM Chương 37 Mã hố kênh Mã khối tuyến tính Phát sửa sai Phát: t = [1 1 0] Thu: r = [1 1 0] H= 1 1 S = rHT = [1 1 0] 1 0 9:15 PM 1 1 0 1 1 0 0 0 1 1 = [0 0]: không sai r từ mã phát 0 Chương 38 19 Mã hoá kênh Mã khối tuyến tính Phát sửa sai H= 1 Phát: t = [1 1 0] Thu: r = [0 1 0] 1 S = rHT = [0 1 0] 1 0 1 0 1 1 0 1 0 0 1 1 = [1 0]: có sai 0 S trùng với cột ma trận H sai cột từ mã phát [1 1 0] 9:15 PM Chương 39 Mã hố kênh Mã khối tuyến tính Phát sửa sai Phát: t = [1 1 0] Thu: r1 = [0 1 1 0]; r2 = [0 1 0] 1 S1 = r1HT = [0 1 1 0] 1 0 1 0 1 H= 1 1 1 0 1 0 0 1 1 = [1 1]: có sai cột không sửa sai 0 S2 = r2HT = [0 0] không phát sai 9:15 PM Chương 40 20 Mã hoá kênh Mã khối tuyến tính Cho mã khối tuyến tính C(7,4) có ma trận sinh: 1 G= 1 0 1 1 0 0 0 0 1 a Xác định ma trận sinh dạng hệ thống b Xác định ma trận kiểm tra H c Cho từ mã thu r = [1 0 1 1] Tính vector sửa sai (syndrome) xác định từ mã phát d Cho từ mã thu r = [0 1 1 0] Tính vector sửa sai (syndrome) xác định từ mã phát 9:15 PM Chương 41 Mã hố kênh Mã khối tuyến tính Mã Hamming Với m - Chiều dài từ mã: n = 2m – - Chiều dài phần tin: k = 2m – m – - Chiều dài phần kiểm tra: m = n –k - Khả sửa sai: t = (dmin = 3) - Khả phát sai: t = - Ma trận H có tính chất: cột i có giá trị = i (dạng nhị phân) 9:15 PM Chương 42 21 Mã hoá kênh Mã khối tuyến tính Mã Hamming Xét m = mã C(7,4) Ma trận H: 0 H= 1 0 1 0 1 1 1 1 H= 1 1 1 1 0 0 0 Thành phần thông tin: cột 3, 5, 6, Thành phần kiểm tra: cột 1, 2, 9:15 PM Chương 43 Mã hố kênh Mã khối tuyến tính Mã Hamming Mã hố: tìm ma trận sinh G Thơng tin: u = {u1, u2, u3, u4} Kiểm tra: p = {p1, p2, p3} 0 tHT = = [p1, p2, u1, p3, u2, u3, u4] 1 1 9:15 PM 1 0 1 Từ mã: t = {p1, p2, u1, p3, u2, u3, u4} 1 1 0 Chương 44 22 Mã hoá kênh Mã khối tuyến tính Mã Hamming u = {u1, u2, u3, u4} t = {p1, p2, u1, p3, u2, u3, u4} 1 0 0 0 1 0 1 1 1 0 t = uG 9:15 PM 1 G= 1 1 0 0 1 Chương 0 0 0 0 45 Mã hoá kênh Mã khối tuyến tính Mã Hamming Giải mã Tính syndrome: r = [0 1 1] 0 S = rHT = [0 1 1] 1 1 Sai số vị trí 1 0 1 1 = [1 0] 1 Từ mã phát: [0 1 0 1] Thông tin: [1 0 1] 9:15 PM Chương 46 23 Mã hố kênh Mã khối tuyến tính Mã Hadamard - Được xây dựng cách chọn hàng ma trận Hadamard - Ma trận Hadamard ma trận nxn (n chẵn) 0 : đảo bit ma trận Mn 0 0 1 0 1 9:15 PM 0 1 1 1 1 0 1 0 0 Chương 47 Mã hoá kênh Mã khối tuyến tính Mã vòng (cyclic code) Một mã khối tuyến tính C(n,k) gọi mã vòng dịch vòng vector mã C vector tạo thành vector mã thuộc C Đa thức mã Nếu t = a0a1…an–2an–1 từ mã: t(x) = a0 + a1x + … + an–2xn-2 + an–1xn-1 đa thức mã tương ứng - Một đa thức mã biểu diễn theo dạng: t(x) = u(x)g(x) g(x): đa thức sinh Đa thức sinh - Đa thức sinh mã vòng C(n, k) có bậc n – k - Đa thức sinh mã vòng C(n,k) ước số xn + 9:15 PM Chương 48 24 Mã hố kênh Mã vòng (cyclic code) Đa thức sinh Xét mã vòng C(7,4) có x7+1=(x+1)(x3+x+1)(x3+x2+1) n = 7, k = đa thức sinh có bậc n – k = Có đa thức sinh x3+x+1 x3+x2+1 Ma trận sinh g(x) = g0 + g1x + … + gn–kxn-k 9:15 PM Chương 49 Chương 50 Mã hố kênh Mã vòng (cyclic code) g(x) = x3+x+1 - Hàng Hàng Hàng Hàng 1: 2: 3: 4: (1) + (2) + (3) (2) + (3) + (4) (3) + (4) giữ nguyên 9:15 PM 25 Mã hố kênh Mã vòng (cyclic code) Mã hố B1: Nhân đa thức thông báo u(x) với xn-k B2: Chia cho g(x) để tìm đa thức dư q(x): q(x) = xn-ku(x) mod g(x) B3: t(x) = u(x) + xkq(x) Mã vòng C(7,4) có đa thức sinh g(x) = x3+x+1 Thơng báo u = 1010 u(x) = + x2 B1: x3u(x) = x5 + x3 B2: x5 + x3 = x2(x3+x+1) + x2 q(x) = x2 B3: t(x) = + x2 + x6 t = [1 0 1] 9:15 PM Chương 51 Mã hố kênh Mã vòng (cyclic code) Ma trận kiểm tra xn + = g(x)h(x) h(x) = h0 + h1x + + hkxk H= 9:15 PM Chương 52 26 Mã hố kênh Mã vòng (cyclic code) Ma trận kiểm tra Mã vòng C(7,4) có đa thức sinh g(x) = x3+x+1 1 1 0 1 1 1 1 0 1 H= 1 - Hàng 1: giữ nguyên - Hàng 2: + - Hàng 3: + 9:15 PM 1 1 0 1 0 0 Chương 53 Mã hố kênh Mã vòng (cyclic code) Giải mã Tính vector sửa sai (syndrome): Đa thức thu r(x) S(x) = r(x) mod g(x) Mã vòng C(7,4) có đa thức sinh g(x) = x3+x+1 r = [0 1 0] r(x) = x2 + x3 + x5 = x2(x3+x+1) S(x) = không sai r = [0 1 0] r(x) = x2 + x4 + x5 S(x) = + x2 có sai 9:15 PM Chương 54 27 Mã hố kênh Mã vòng (cyclic code) Giải mã r = [0 1 0] r(x) = x2 + x4 + x5 S(x) = + x2 S = 101 Bảng coset leader: Coset leader 0000000 0000001 0000010 0000100 0001000 0010000 0100000 1000000 e = [0 0 0 1] Syndrome 000 101 111 011 110 001 010 100 r = [0 1 1] 9:15 PM Chương 55 Mã hoá kênh Mã BCH (Bose, Chaudhuri Hocquenghem) n 15 Độ dài từ mã: n = 2m – Số bit kiểm tra: n – k mt 31 Khoảng cách Hamming: dmin = 2t + k 11 26 21 16 11 t 1 3 g(x) 13 23 721 2467 45 3551 107657 5423325 313365047 n = 15, k = 5, t = 3, g(x) = 2467 10 100 110 111 9:15 PM 0 0 0 1 0 1 0 1 0 1 0 1 0 1 1 1 Chương 1 1 1 0 1 0 1 0 0 56 28 ... H(X) logN H(X) = N xác suất xuất ký hiệu nhau: p(xi) = 1/N 9:15 PM Chương Khái niệm Thông lượng kênh lượng thông tin tối đa kênh cho qua đơn vị thời gian mà không gây sai số C = n0H(X)max n0:... (n – k) xác định thông tin kiểm tra lỗi (parity check) 9:15 PM Chương 32 16 Mã hố kênh Mã khối tuyến tính Ma trận sinh (generator matrix) G= 1 1 0 0 0 1 0 1 0 1 - Hàng giữ nguyên - Hàng = Hàng... 1 1 1 1 0 0 0 Thành phần thông tin: cột 3, 5, 6, Thành phần kiểm tra: cột 1, 2, 9:15 PM Chương 43 Mã hoá kênh Mã khối tuyến tính Mã Hamming Mã hố: tìm ma trận sinh G Thông tin: u = {u1, u2, u3,