Nguyên lý truyền thông phkkhanh NLTT C3 tài liệu, giáo án, bài giảng , luận văn, luận án, đồ án, bài tập lớn về tất cả c...
Ngun lý truyền thơng CHƯƠNG 3: MÃ HĨA NGUỒN VÀ MÃ HỐ KÊNH THƠNG TIN Khái niệm 1.1 Hệ thống truyền tin Si(t) S0(t) Nguồn Kênh Nhận tin tin tin Nhiễu Hình 3.1: Mơ hình hệ thống thơng tin Nguồn tin: tập hợp tin, hệ thống truyền tin dùng để lập tin khác q trình truyền + Nguồn tin mơ hình hố tốn học bốn q trình sau: - Q trình ngẫu nhiên liên tục: Nguồn tiếng nói, âm nhạc, hình ảnh - Quá trình ngẫu nhiên rời rạc: Một trình ngẫu nhiên liên tục sau lượng tử hóa theo mức - Chuỗi ngẫu nhiên liên tục: Nguồn liên tục gián đoạn theo thời gian (PAM, PPM)-khơng bị lượng tử hóa - Chuỗi ngẫu nhiên rời rạc: Trong hệ thống thơng tin xung có lượng tử hóa PCM Kênh tin: Là nơi diễn truyền lan tín hiệu mang tin chịu tác động nhiễu S0(t) = Nm Si(t) + Na(t) + Si(t): Tín hiệu vào & S0(t): tín hiệu kênh tin + Nm(t), Na(t) : Đặc trưng cho nhiễu nhân, nhiễu cộng Trong thực tế: S0(t) = Nm Si(t)*H(t) + Na(t); H(t): đáp ứng xung kênh Nhận tin: Là đầu cuối hệ thống truyền tin làm nhiệm vụ khơi phục tin tức ban đầu Hình 3.2: Hệ thống truyền tin số (rời rạc) Nguồn tin Nhận tin Mã hóa nguồn Giải mã nguồn Mã hóa kênh Giải mã kênh Bộ điều chế Giải điều chế Phát cao tần Kênh tin GV : Trần Duy Cường - Phạm Hùng Kim Khánh Thu cao tần 39 Nguyên lý truyền thông Hai vấn đề hệ thống truyền tin: + Hiệu suất: tốc độ truyền tin hệ thống + Độ xác: khả chống nhiễu hệ thống Mơ tả trạng thái truyền tin có nhiễu Giả sử, thông báo truyền kênh truyền nhị phân rời rạc Thông báo cần truyền mã hóa thành dãy số nhị phân (0,1) có độ dài tính theo đơn vị bit Giả sử bit truyền kênh nhiễu với xác suất 1/4 (hay tính trung bình truyền bit nhiễu bit) Minh họa kỹ thuật giảm nhiễu Trong kỹ thuật truyền tin, người ta làm giảm sai số nhận tin cách truyền lặp lại bit với số lẻ lần Ví dụ: truyền lặp lại cho bit cần truyền (xác suất nhiễu bit 1/4) Khi nhận bit liền cuối kênh xem bit Giá trị bit hiểu (hay 1) bit (bit 1) có số lần xuất nhiều dãy bit nhận liền Ta cần chứng minh với phương pháp truyền xác suất truyền sai thật < 1/4 (xác suất nhiễu cho trước kênh truyền) Sơ đồ truyền tin: Bit truyền Truyền lặp lần 000 000 000 000 000 000 000 000 111 111 111 111 111 111 Nhận bit 000 001 010 100 101 011 110 111 000 001 010 100 011 110 GV : Trần Duy Cường - Phạm Hùng Kim Khánh Giải mã 0 0 1 1 0 0 1 Xác suất 27/64 9/64 9/64 9/64 3/64 3/64 3/64 1/64 1/64 3/64 3/64 3/64 9/64 9/64 40 Nguyên lý truyền thông Giả sử Xi xác định giá trị hay sai bit thứ i nhận cuối kênh truyền với Xi =1 bit thứ i nhận Xi = bit thứ i nhận sai Theo giả thiết ban đầu kênh truyền phân phối xác suất Xi có dạng Bernoulli b(1/4): Xi P 3/4 1/4 Gọi Y ={X1 + X2 + X3} tổng số bit nhận sai sau lần truyền lặp cho bit Trong trường hợp Y tuân theo phân phối Nhị thức B(p,n), với p=1/4 (xác suất truyền sai bit) q =3/4 (xác suất truyền bit): Y ~ B(i,n) Hay: p(Y = i) = ! ! ! Xác suất truyền sai Y {2,3} là: P = p(Y 2) = p(Y = 2) + p(Y = 3) = 1.2 Số đo thông tin 1.2.1 Lượng tin Nguồn A có m ký hiệu đẳng xác suất, tin nguồn A hình thành chuỗi x gồm n ký hiệu (ai A) Chúng ta xác định lượng tin chứa tin Như vậy, trước tiên ta phải tìm lượng tin chứa tin Khi m ký hiệu nguồn tin có xác suất khác khơng độc lập thống kê với thì: (3.1) I(xi) = log [1/p(ai)] Lượng tin chứa chuỗi x gồm n ký hiệu: n lần lượng tin ký hiệu (vì đẳng xác suất) I(x) = n.logm (3.2) Đơn vị lượng đo thông tin thường chọn số Lượng tin chứa bất kỳ, đẳng xác suất nên tin có xác suất p(ai)=1/m: (3.3) I(ai)=logm Lượng tin riêng: Đối với tin xi nguồn x có lượng tin riêng đánh giá bằng: (3.4) I(xi) = -log p(xi) Lượng tin lại xi sau nhận yj xác định bằng: I(xi/yj) = -log p(xi|yj) GV : Trần Duy Cường - Phạm Hùng Kim Khánh (3.5) 41 Nguyên lý truyền thông Lượng tin tương hỗ: Để xác định lượng tin xi chứa yi cần phải biết lượng tin ban đầu xi lượng tin lại xi sau nhận yi, lượng tin tương hỗ hiệu hai lượng tin này: | | (3.6) I , Lượng tin trung bình: lượng tin tức trung bình chứa m ký hiệu nguồn cho (trị trung bình theo tập hợp) I X (3.7) Ví dụ: X = {x0, x1} với xác suất P(x0) = 0,99; P(x1) = 0,01 I(X) = -0,99log20,99 – 0,01log20,01 = 0,081 [bit/ký hiệu] Trong lượng tin x1 lớn: I(x1) = -log20,01 = 6,5 [bit/ký hiệu] Lượng tin tương hỗ trung bình: I X, Y , , (3.8) Lượng tin riêng trung bình có điều kiện: I Y/X , | (3.9) 1.2.2 Entropy nguồn rời rạc Là thông số thống kê nguồn Về ý nghĩa vật lý độ bất ngờ lượng thông tin trái ngược nhau, số đo chúng nhau: H X I X (3.10) Ví dụ entropy Trước hết, ta cần tìm hiểu ví dụ khái niệm độ đo lượng tin dựa vào kiện hay phân phối xác suất ngẫu nhiên sau: Xét biến ngẫu nhiên X Y X={1, 2, 3, 4, 5} có phân phối hay p(X=i) = 1/5 Y={1, 2} có phân phối hay p(Y=i) = 1/2 Bản thân X Y mang lượng tin thông tin X Y chưa biết chúng ngẫu nhiên Do đó, X hay Y có lượng tin không chắn lượng tin chắn, tổng lượng tin không đổi thực tế ta chưa thể biết Lượng tin không chắn X (hay Y) gọi Entropy Tuy nhiên, X Y có tương quan X có phần lượng tin không chắn thông qua lượng tin biết Y (hay thông tin Y GV : Trần Duy Cường - Phạm Hùng Kim Khánh 42 Nguyên lý truyền thông biết) Trong trường hợp này, phần lượng tin không chắn thông qua lượng tin biết Y gọi Entropy có điều kiện Nhận xét độ đo lượng tin Rõ ràng, ta cần phải xây dựng đại lượng tốn học cụ thể để đo lượng tin chưa biết từ biến ngẫu nhiên Một cách trực quan, lượng tin phải thể vấn đề sau: Một kiện có xác suất nhỏ kiện xảy ra, có nghĩa tính khơng chắn lớn Nếu đo lượng tin cho lượng tin lớn Một tập hợp kiện ngẫu nhiên (hay Biến ngẫu nhiên) nhiều kiện có phân phối tính khơng chắn lớn Nếu đo lượng tin lượng tin lớn Hay lượng tin chắn nhỏ Một phân phối xác suất lệch nhiều (có xác suất nhỏ lớn) tính khơng chắn có lượng tin chưa biết nhỏ so với phân phối xác suất hay lượng tin chắn cao Vậy Entropy đại lượng tốn học dùng để đo lượng tin khơng (hay lượng ngẫu nhiên) kiện hay phân phối ngẫu nhiên cho trước (uncertainty measure) Đặc tính Entropy H(X): + H(X) 0: ln dương + H(X) = nguồn tin có ký hiệu (p(xi) = 1) + H(X)max xác suất xuất ký hiệu nguồn VD: X = {x0, x1} có tin có xác suất P0, P1 Vậy theo luật phân bố xác suất : P0 + P1 = P1 = – P0 H(X) = - P0logP0 – P1logP1 = - P0logP0 – (1 – P0)log(1 – P0) H(X) = P0 = hay P1 = H(X)max P0 = P1 = ½ H(X)max = Entropy đồng thời: độ bất định trung bình cặp (x,y) tích XY H XY , , GV : Trần Duy Cường - Phạm Hùng Kim Khánh (3.11) 43 Ngun lý truyền thơng Entropy có điều kiện: H X/Y , | (3.12) 1.2.3 Thông lượng kênh thông tin Tốc độ thiết lập tin nguồn: Vd: Con người kết cấu quan phát âm hạn chế nên giây phát âm từ đến ký hiệu âm tiết lời nói thơng thường, máy điện báo tạo từ 50 tới 70 ký hiệu giây (3.13) R= n0.H(X) [bps] + H(X): Entropy nguồn + n0: Số ký hiệu lập đơn vị thời gian (tốc độ symbol) Thông lượng kênh C lượng thông tin tối đa kênh cho qua đơn vị thời gian mà không gây sai nhầm C[bps] Thông thường R < C, để R tiến tới gần C ta dùng phép mã hố thống kê tối ưu để tăng Entropy 3.2.1 Thơng lượng kênh rời rạc không nhiễu: [bps] C = Rmax = n0 H(X)max (3.14) Độ dư nguồn: (3.15) Dùng phương pháp mã hóa tối ưu để giảm độ dư nguồn đến không sử dụng độ dư nguồn để xây dựng mã hiệu chống nhiễu 3.2.2 Thơng lượng kênh rời rạc có nhiễu: [bps] R = noI(X;Y) = n0 [H(X)-H(X|Y)] Tốc độ lập tin cực đại kênh có nhiễu: C = Rmax = n0 [H(X)-H(X|Y)]max [bps] (3.16) (3.17) Mã hóa nguồn tin 2.1 Mã hiệu 2.1.1 Mã hiệu thông số mã hiệu: Cơ số mã m số ký hiệu khác bảng chữ mã Đối với mã nhị phân m = Độ dài mã n số ký hiệu từ mã Nếu độ dài từ mã ta gọi mã đều, ngược lại mã khơng Độ dài trung bình mã: (3.18) GV : Trần Duy Cường - Phạm Hùng Kim Khánh 44 Nguyên lý truyền thông + p(xi): xác suất xuất tin xi nguồn X mã hóa + ni : độ dài từ mã tương ứng với tin xi + N: Tổng số từ mã tương ứng với tổng số tin xi Tổng hợp tổ hợp mã có được: N0=2n với m=2, nếu: + NN0 ta gọi mã đầy ª Điều kiện thiết lập mã hiệu: Điều kiện chung cho loại mã quy luật đảm bảo phân tách tổ hợp mã Điều kiện riêng cho loại mã: + Đối với mã thống kê tối ưu: độ dài trung bình tối thiểu mã + Đối với mã sửa sai: khả phát sửa sai cao 2.1.2 Bảng mã không tách Bảng mã khơng tách bảng mã mà mã hóa thông báo Msg ta nhận dãy từ mã ws, giải mã dãy từ mã ws ta nhận nhiều thơng báo Msg khác Ví dụ: Xét biến ngẫu nhiên X={x1, x2, x3, x4} có bảng mã W={w1=0, w2=1, w3=01, w4=10} Giả sử thơng báo nguồn có nội dung: x1x2x3x4x3x2x1 Khi dãy mã tương ứng viết từ W có dạng: 0101100110 Nếu giải mã từ trái qua phải ta nhận kết quả: x1x2x1x2x2x1x1x2x2x1 Nhưng phương pháp khác ta nhận kết quả: x3x3x4x3x4 nhiều thông báo khác Nhận xét: Bảng mã giải mã không tách bảng mã mà tồn từ mã mã khóa hay nhiều từ mã khác mã (ví dụ từ mã w1=0 hay w2=1 mã khóa w3) 2.1.3 Bảng mã tách Bảng mã tách bảng mã mà mã hóa thông báo Msg ta nhận dãy từ mã ws, giải mã dãy từ mã ws ta nhận thơng báo Msg ban đầu Ví dụ: Xét biến ngẫu nhiên X = {x1, x2} có bảng mã tương ứng W = {w1 = 0, w2 = 01} Phương pháp giải mã sử dụng sau: giải mã nhận GV : Trần Duy Cường - Phạm Hùng Kim Khánh 45 Nguyên lý truyền thông đoạn mã với độ dài độ dài từ mã dài Giả sử dãy mã nhận (cần giải mã) là: 0010000101001 Sử dụng phương pháp giải mã ta nhận dãy thông báo gốc: x1x2x1x1x1x2x2x1x2 Có thể chi tiết hóa bước giải mã dãy từ mã sau: Nhận đoạn 00 -> Giải x1, lại Nhận tiếp ->01 -> Giải x2 Nhận tiếp 00 -> Giải x1, lại Nhận tiếp -> 00 -> Giải x1, lại Nhận tiếp -> 00 -> Giải x1, lại Nhận tiếp -> 01 -> Giải x2 Nhận tiếp 01 -> Giải x2 Nhận tiếp 00 -> Giải x1, lại Nhận tiếp -> 01 -> Giải x2 Kết dãy thông báo là: x1x2x1x1x1x2x2x1x2 Kết luận: Bảng mã tách bảng mã mà khơng tồn lại từ mã mã khóa từ mã khác, nhiên tồn từ mã tiền tố (phần đầu) từ mã 2.1.4 Phương pháp biểu diễn mã Các bảng mã: Tin Từ mã a1 00 a2 01 a3 100 a4 1010 a5 1011 Mặt tọa độ mã: aK: trị riêng ký hiệu thứ k kể từ trái sang phải với nhị phân aK= hay 1; k: số thứ tự ký hiệu từ mã m: số mã (nhị phân m=2) Ví dụ: số từ mã nhị phân có ký hiệu: 1011 b 21 2 13 GV : Trần Duy Cường - Phạm Hùng Kim Khánh 46 Nguyên lý truyền thơng Mỗi từ mã hồn tồn xác định ta xác định cặp (n,b) Như từ mã biểu diễn cặp tọa độ (n,b) Đồ hình mã: Cho phép trình bày gọn bảng mã, đồng thời cho ta thấy rõ tín chất quan trọng mã hiệu cách trực quan Cây mã với mã: 00, 01, 100, 1010, 1011 0 1 1 0 a2(01) 0 a1(00) Khi rút gọn mã ký hiệu V (OR) a3 (100) a5(1011) a4(1010) Hình 3.3: Cây Mã Hàm cấu trúc mã: 2 Điều kiện để mã phân tách : Mã có tính prefix - Bất kỳ dãy từ mã mã không trùng với phần đầu dãy từ mã khác mã - Mã có tính prefix tổ hợp mã prefix tổ hợp khác mã Điều kiện để mã có tính prefix: 2 (3.19) Mã hệ thống có tính prefix xây dựng từ mã prefix cách lấy số tổ hợp mã prefix gốc làm tổ hợp sơ đẳng tổ hợp lại làm tổ hợp cuối Ghép tổ hợp sơ đẳng với nối tổ hợp cuối vào thành tổ hợp mã gọi mã hệ thống có tính prefix GV : Trần Duy Cường - Phạm Hùng Kim Khánh 47 Ngun lý truyền thơng Ví dụ: Lấy mã prefix 1, 00, 010, 011 - Các tổ hợp sơ đẳng: 1, 00, 010 - Một tổ hợp cuối: 011 Gọi : - n1, n2,…, ni độ dài tổ hợp sơ đẳng - 1, 2,…, k độ dài tổ hợp cuối - Số có dãy ghép tổ hợp sơ đẳng có độ dài nj : (3.20) g(nj) = g(nj-n1) + g(nj-n2) + …+ g(nj-ni) Trong đó: nj 1; g(0) = ; g(nj < 0) = Nếu dùng tổ hợp cuối , hàm cấu trúc mã là: G(nj) = g(nj- ) (3.21) + Từ (3.20) (3.21) ta có cơng thức truy chứng tính G(nj) G(nj) = G(nj-n1) + G(nj-n2) + …+ G(nj-ni) (3.22) Trong đó: nj +1; G(nj = ) = 1; G(nj < ) = + Từ (3.20) ta có: n1=1, n2=2, n3=3 =3 g(nj) = g(nj-1) + g(nj-2) + g(nj-3) g(nj=1) = g(0) + g(-1) + g(-2) = có dãy g(nj=2) = g(1) + g(0) + g(-1) = có dãy: 00 11 g(nj=3) = g(2) + g(1) + g(0) = có dãy: 111, 100, 001, 010 + Từ (3.22) ta có: G(nj) = G(nj-1) + G(nj-2) +G(nj-3) Trong đó: nj= +1=4 ; G(nj=3) = ; G(nj