Tài liệu Bài giảng hệ thống viễn thông 2 - Chương 1: Lý thuyết thông tin pptx

VIENTHONG05.TK Bài giảng: Hệ thống viễn thông Chương 1.LÝ THUYẾT THƠNG TIN Hệ thống thơng tin định nghĩa hệ thống chuyển tải tin tức từ nguồn phát tin đến nơi thu nhận khoảng cách Nếu khoảng cách thơng tin lớn so với kích thước thiết bị (cự ly thơng tin xa), ta có hệ thống viễn thơng Hệ thống thơng tin thực hay nhiều nguồn phát tin đồng thời đến hay nhiều nơi nhận tin, ta có kiểu thơng tin đường, đa đường, phương thức thông tin chiều, hai chiều hay nhiều chiều Mơi trường thơng tin dạng hữu tuyến vô tuyến, chẳng hạn dùng dây truyền sóng, cable truyền tin sóng điện từ vơ tuyến Nguồn tin • Kênh tin Nhận tin Nguồn tin: + Là tập hợp tin HT3 dùng để lập tin khác truyền + Nguồn tin mô hình hoá toán học bốn trình sau: - Quá trình ngẫu nhiên liên tục - Quá trình ngẫu nhiên rời rạc - Dãy ngẫu nhiên liên tục - Dãy ngẫu nhiên rời rạc • Kênh tin: nơi diễn truyền lan tín hiệu mang tin chịu tác động nhiễu S0(t) = Nm Si(t) + Na(t) + Si(t): Tín hiệu vào & S0(t): tín hiệu kênh tin + Nm (t), Na(t) : đặc trưng cho nhiễu nhân, nhiễu cộng • Nhận tin: đầu cuối HT3 làm nhiệm vụ khôi phục tin tức ban đầu Nguồn tin Nhận tin Mã hóa nguồn Giải mã nguồn Mã hóa kênh Giải mã kênh Bộ điều chế Giải điều chế Phát cao tần Kênh tin Thu cao tần Hệ thống truyền tin số (rời rạc) Trường Đại học Giao Thông Vận Tải Tp.HCM VIENTHONG05.TK Bài giảng: Hệ thống viễn thơng Hai vấn đề hệ thống truyền tin: • + Vấn đề hiệu suất, nói cách khác tốc độ truyền tin hệ thống + Vấn đề độ xác, nói cách khác khả chống nhiễu hệ thống 1.1 ĐO LƯỜNG THƠNG TIN VÀ MÃ HỐ NGUỒN 1.1.1 Lượng đo tin tức Nguồn A có m tín hiệu đẳng xác xuất, tin nguồn A hình thành dãy n ký hiệu (ai ∈ A) - Lượng tin chứa bất kỳ: I(ai)=logm - (1) Lượng tin chứa dãy x gồm n ký hiệu: I(x) = n.log m (2) Đơn vị lượng đo thông tin thường chọn số - Khi m ký hiệu nguồn tin có xác xuất khác không độc lập thống kê với I(xi) = log (1/p(ai)) • (3) Lượng trị riêng: I(xi) = -log p(xi) (4) Là lượng tin ban đầu xác định xác xuất tiên nghiệm • Lượng tin lại xi sau nhận yj xác định xác xuất hậu nghiệm x I ( xi / y i ) = − log p( i ) (5) yj • Lượng tin tương hoã: p( I ( xi / y i ) = I ( xi ) − I ( xi / y i ) = log • xi ) yj p ( xi ) (6) Đặc tính lượng tin: + I(xi) ≥ I(xi ; yi) (7) + I(xi) ≥ (8) + I(xi.yi) = I(xi) + I(yi) - I(xi; yi) (9) Khi cặp xi, yj độc lập thống kê với I(xi; yi) = Ta có: I(xi; yi) = I(xi) + I(yi) Trường Đại học Giao Thông Vận Tải Tp.HCM (10) VIENTHONG05.TK Bài giảng: Hệ thống viễn thông • Lượng tin trung bình: lượng tin tức trung bình chứa m ký hiệu nguồn cho I ( x) = −∑ p ( x) log p ( x) (11) X • Lượng tin tương hỗ trung bình: I ( X , Y ) = ∑ p ( x, y ) log XY • p( x / y) p ( x) (12) Lượng tin riêng trung bình có điều kiện: I (Y / X ) = −∑ p ( x, y ) log( y / x) (13) XY 1.1.2 Entropy tốc độ thông tin Entrôpi nguồn rời rạc: thông số thống kê nguồn Về ý nghóa vật lý độ bất ngờ lượng thông tin trái ngược nhau, số đo chúng nhau: H ( X ) = I ( X ) = −∑ p( x) log p( x) • (1) Đặc tính Entrôpi H(X): + H(X) ≥ + H(X) = nguoàn tin có ký hiệu + H(X)max xác suất xuất ký hiệu nguồn • Entrôpi đồng thời: độ bất định trung bình cặp (x,y) tích XY H ( XY ) = − ∑ p ( x, y ) log p ( x, y ) (2) − XY • Entrôpi có điều kiện: H ( X / Y ) = − ∑ p ( x, y ) log p ( x / y ) (3) − XY • Tốc độ thiết lập tin nguồn: R= n0.H(X) (bps) (1) + H(X); entrôpi nguồn + n0 : số ký hiệu lặp đơn vị thời gian • Thông lượng kênh C lượng thông tin tối đa kênh cho qua đơn vị thời gian mà không gây sai nhầm C(bps) • Thông thường R < C, để R tiến tới gần C ta dùng phép mã hoá thống kê tối ưu để tăng Entrôpi + Thông lượng kênh rời rạc không nhiễu: Trường Đại học Giao Thông Vận Tải Tp.HCM VIENTHONG05.TK Bài giảng: Hệ thống viễn thông C = Rmax = n0 H(X)max (bps) (2) Độ dư nguồn: r =1− H (X ) H ( X ) max (3) Dùng phương pháp mã hóa tối ưu để giảm độ dư nguồn đến không sử dụng độ dư nguồn để xây dựng mã hiệu chống nhiễu + Thông lượng kênh rời rạc có nhiễu: R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps) (4) Tốc độ lập tin cực đại kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max (bps) 1.1.3 (5) Mã hóa nguồn rời rạc khơng nhớ Khi nguồn rời rạc không nhớ tạo M ký tự gần nhau, R = rlogM, tất ký tự chứa lượng tin việc truyền tinh hiệu thực dạng M-ary với tốc độ tín hiệu với tốc độ ký tự r Nhưng ký tự có xác suất khác nhau, R = rH(X) < rlogM, việc truyền tin hiệu địi hỏi q trình mã hố nguồn thực dựa lượng tin biến đổi ký tự Trong phần ta xét đến việc mã hoá nhị phân Bộ mã hoá nhị phân, chuyển ký tự đến từ nguồn thành từ mã chứa chữ số nhị phân tạo với tốc độ bit cố dịnh rb Xét ngõ ra, mã hoá giống nguồn nhị phân với entropy Ω(p) tốc độ thông tin rbΩ(p) ≤ rb log2 = rb Rõ ràng, mã hố khơng tạo thông tin thêm và không huỷ hoại thơng tin mã hồn tồn giải đốn Do vậy, thiết lập phương trình tốc độ truyền tin ngõ vào ngõ mã hố, ta có:R = rH(X) = rbΩ(p) ≤ rb hay rb/r ≥ H(X) Đại lượng rb/r thông số quan trọng gọi độ dài mã trung bình Về mặt vật lý, độ dài mã trung bình số chữ số nhị phân trung bình ký tự nguồn Về mặt toán học ta có trung bình thống kê: M N = ∑ Pi N i i =1 Định lý mã hoá nguồn Shannon phát biểu giá trị cực tiểu N nằm khoảng: H (X ) ≤ N < H (X ) + ε Trong ε đại lượng mang dấu dương Nguồn rời rạc không nhớ R = rH(X) Bộ mã hoá nhị phân Trường Đại học Giao Thông Vận Tải Tp.HCM rbΩ(p) ≤ rb VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 1.2 TRUYỀN TIN TRÊN KÊNH RỜI RẠC 1.2.1 Lượng tin tương hỗ Xét hệ thống truyền tin hình bên Một nguồn rời rạc chọn ký tự từ bảng chữ X để truyền qua kênh Lý tưởng, kênh truyền phải tái tạo đíchký tự phát nguồn Tuy nhiên, nhiễu suy hao truyền khác làm khác ký tự nguồn kết thu bảng ký tự Y đích Ta muốn đo lượng tin truyền trường hợp Nhiều loại xác suất ký tự khác sử dụng liên quan đến hai nguồn trên, số định nghĩa sau: P(xi) xác suất mà nguồn chọn ký tự truyền xi P(yi) xác suất ký tự yi nhận đích P(xiyi) xác suất để xi phát yi nhận P(xi/yi) xác suất có điều kiện truyền xi nhận yi P(yi/xi) xác suất có điều kiện yi nhận ký tự truyền xi Lượng tin tương hỗ định nghĩa sau: P ( xi | y j ) bit I ( xi ; y j ) = log P ( xi ) Lượng tin tương hỗ thể lượng tin truyền phát xi thu yi Ngồi ra, người ta cịn định nghĩa lượng tin tương hỗ trung bình Đại lượng đặc trưng cho lương tin nguồn trung bình đạt ký tự nhận I ( X ; Y ) = ∑ P ( xi y j ) I ( xi ; y j ) i, j Qua vài phép biến đổi ta được: I ( X ;Y ) = H ( X ) − H ( X | Y ) Trong đó: H ( X | Y ) = ∑ P ( xi y j ) log i, j P ( xi | y j ) Là lượng tin kênh nhiễu 1.2.2 Dung lượng kênh thông tin rời rạc Dung lượng kênh định nghĩa lượng tin cực đại truyền qua ký tự kênh: C s = max I ( X ; Y ) (bit/symbol) P ( xi ) Ngồi ra, người ta cịn đo dung lượng kênh theo tốc độ tin Nếu gọi s tốc độ ký tự tối đa cho phép kênh dung lượng đơn vị thời gian tính sau: C = sCs (bit/sec) Định lý Shannon kênh truyền có nhiễu phát biểu sau: Nếu kênh có dung lượng kênh C nguồn có tốc độ tin R ≤ C tồn hệ thống mã hố để ngõ nguồn phát qua kênh với tần số lỗi nhỏ Ngược lại, R > C khơng thể truyền tin mà khơng có lỗi Trường Đại học Giao Thơng Vận Tải Tp.HCM VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 1.3 MÃ HỐ NGUỒN TIN 1.3.1 Mã hiệu 1) Mã hiệu thông số mã hiệu: • Cơ số mã (m) số ký hiệu khác bảng chữ mã Đối với mã nhị phân m= • Độ dài mã n số ký hiệu từ mã Nên độ dài từ mã ta gọi mã đều, ngược lại mã không • Độ dài trung bình mã: n = ∑ p( x i )ni (1) i =1 + p(xi): xác suất xuất tin xi nguồn X mã hóa + ni : độ dài từ mã tương ứng với tin xi + N: Tổng số từ mã tương ứng với tổng số tin xi • Tổng hộp tổ hợp mã có được: N0=2n., nếu: + NN0 ta gọi mã đầy 2) Điều kiện thiết lập mã hiệu: • Điều kiện chung cho loại mã quy luật đảm bảo phân tích tổ hợp mã • Điều kiện riêng cho loại mã: + Đối với mã thống kê tối ưu: độ dài trung bình tối thiểu mã + Đối với mã sửa sai: khả phát sửa sai cao 3) PHƯƠNG PHÁP BIỂU DIỄN MÃ a- Các bảng mã: Tin a1 a2 a3 a4 a5 Từ mã 00 01 100 1010 1011 Mặt tạo độ mã: n bi = ∑ σ K K −1 (1) K =1 σK =0 hay 1; K: số thứ tự ký hiệu từ mã b- Đồ hình mã: Trường Đại học Giao Thông Vận Tải Tp.HCM VIENTHONG05.TK Bài giảng: Hệ thống viễn thơng Cây mã 0v1 1 0 0V1 1 a (00) a2(01) 0 a3(100) a4(1010) a5(1011) Đồ hình kết cấu c- Hàm cấu trúc mã: Khi ni= G(ni) = Khi ni = Khi ni = 4) Điều kiện để mã phân tách : • Mã có tính Prêphic - Bất kỳ dãy từ mã mã không trùng với dãy từ mã khác mã - Mã có tính prêphic tổ hợp mã prêphic tổ hợp khác mã Điều kiện để mã có tính prêphic: n ∑2 −j G( j) ≤ j =1 • Mã hệ thống có tính phêphic xây dựng từ mã prêphic cách lấy số tổ hợp mã prêphic gốc làm tổ hợp sơ đẳng tổ hợp lại làm tổ hợp cuối Ghép tổ hợp sơ đẳng với nối tổ hợp cuối vào thành tổ hợp mã gọi mã hệ thống có tính prêphic • Ví dụ: Lấy mã prêphic 1,00,010,011 - Các tổ hợp sơ đẳng: 1,00,010 - Một tổ hợp cuối: 011 • Gọi : - n1, n2,…, ni độ dài tổ hợp sơ đẳng - λ1, λ2,…, λk độ dài tổ hợp cuối - Số có dãy ghép tổ hợp sơ đẳng có độ dài nj : g(nj) = g(nj-n1) + g(nj-n2) + …+ g(nj-ni) (1) Trong đó: nj ≥ 1; g(0) = ; g(nj < 0) = • Nếu dùng tổ hợp cuối λ, hàm cấu trúc mã là: G(nj) = g(nj- λ) (2) Trường Đại học Giao Thông Vận Tải Tp.HCM VIENTHONG05.TK Bài giảng: Hệ thống viễn thông + Từ (1) (2) ta có công thức truy chứng tính G(nj) G(nj) = G(nj-n1) + G(nj-n2) + …+ G(nj-ni) (3) Trong đó: nj ≥ λ+1; G(nj = λ) = 1; G(nj < λ) = + Từ (1) ta có: n1=1, n2=2, n3=3 λ =3 ⇒ g(nj) = g(nj-1) + g(nj-2) + g(nj-3) g(nj=1) = g(0) + g(-1) + g(-2) = → có dãy g(nj=2) = g(1) + g(0) + g(-1) = → có dãy: 00 11 g(nj=3) = g(2) + g(1) + g(0) = → có dãy: 111, 100, 001, 010 + Từ (3) ta có: G(nj) = G(nj-1) + G(nj-2) +G(nj-3) Trong đó: nj= λ +1=4 ; G(nj=3) = ; G(nj