Truyền thông số digital communication week 9

TRUYỀN THƠNG SỐ DIGITAL COMMUNICATION Week Reference • “Digital communications: Fundamentals and Applications” by Bernard Sklar • Telecommunication Networks - Information Theory, Vinh Dang (*) Hồ Văn Quân – Khoa CNTT – ĐH Bách Khoa TpHCM [1] R E Ziemer & W H Transter, “Information Theory and Coding”, Principles of Communications: Systems, Modulation, and Noise, 5th edition John Wiley, pp 667-720, 2002 [2] A Bruce Carlson, “Communications Systems”, Mc Graw-Hill, 1986, ISBN 0-07-100560-9 [3] S Haykin, “Fundamental Limits in Information Theory”, Communication Systems, 4th edition, John Wiley & Sons Inc, pp 567-625, 2001 Tuần trước • Bộ giải mã Maximum likelihood • Quyết định mềm / cứng (soft decisions and hard decisions) • Giải thuật Viterbi Block diagram of the DCS Information source Rate 1/n Conv encoder Modulator Input sequence Codeword sequence U i = u1i , ,u ji , ,u ni       Branch word ( n coded bits) Information sink Rate 1/n Conv decoder ˆ = (mˆ , mˆ , , mˆ i , ) m Demodulator Z = ( Z1 , Z , Z , , Z i , )         received sequence Zi  Demodulator outputs for Branch word i = z1i , ,z ji , ,z ni       n outputs per Branch word Channel U = G(m) = (U1 , U , U , , U i , )         m = (m1 , m2 , , mi , )        Quyết định mềm / cứng Giải thuật Viterbi • • Giải thuật Viterbi biểu diễn giải mã Maximum likelihood Nó tìm đường có tương quan lớn khoảng cách nhỏ – – Là q trình lặp Trong bước tính tốn, giữ đường có khoảng cách nhỏ nhất, gọi đường sống (the survivor) Ví dụ ½ Conv code Tail bits Input bits 1 0 00 10 11 0/00 0/00 0/00 0/11 0/11 Output bits 11 10 0/00 0/00 1/11 1/11 1/11 0/11 1/00 0/10 1/01 1/01 0/10 0/01 t1 t2 t3 1/01 0/10 0/01 t4 t5 t6 VD hard-decision Viterbi decoding ˆ = (10000) m ˆ = (11 10 11 00 11) U Z = (11 10 11 10 01) m = (10100) U = (11 10 00 10 11) 2 1 0 2 1 Partial metric Γ( S (ti ), ti ) 2 t2 1 t1 1 t3 1 t4 Branch metric t5 t6 VD soft-decision Viterbi decoding 2 −2 −2 −2 Z = (1, , , , ,1, , − 1, ,1) 3 3 3 m = (10100) U = (11 10 00 10 11) -5/3 -5/3 -5/3 5/3 5/3 10/3 -1/3 1/3 8/3 -5/3 1/3 5/3 -4/3 1/3 5/3 1/3 1/3 -1/3 14/3 1/3 5/3 4/3 ˆ = (10100) m ˆ = (11 10 00 10 11) U 10/3 1/3 -1/3 5/3 13/3 -5/3 -5/3 t1 t2 t3 t4 t5 t6 Tuần • Mã hóa kênh (Channel Coding): – Sự đan xen (Interleaving) – Mã ghép (Concatenated codes) – Mã Turbo (Turbo Codes) • Mã hóa nguồn (Source Coding): – Nguồn (sources) – Entropy Information rate – Lý thuyết mã hóa nguồn (Thuyết Shannon) – Hiệu mã hóa nguồn – Mã Shannon-Fano – Mã Huffman Third-Order extension L 1.598 = = 0.533 code symbols/source n symbol The symbol rate at the encoder output: L r = 3.5(0.533) = 1.864 code symbols/second n  Kênh truyền chấp nhận tốc độ Hiệu mã hóa nguồn • Efficiency thước đo đo hiệu mã hóa nguồn eff = Lmin = L Lmin n ∑ p( x )l i =1 Lmin H (X ) = log D  H(X ) eff = L log D or eff = H (X ) L i i where H(X): entropy nguồn D : số symbols coding alphabet for a binary alphabet Hiệu mã hóa nguồn nhị phân • Entropy nguồn mở rộng n bậc : H (X n)=n*H (X) • Hiệu nguồn mở rộng: n.H ( X ) eff = L Mã Shannon-Fano[1] Gồm bước: Liệt kê source symbols theo thứ tự xác suất giảm dần Chia chúng thành nhóm nhỏ: “0” đặt cho nhóm “1” cho nhóm Tiếp tục chia tới khơng thể chia Ví dụ Shannon-Fano Coding Ui pi Codewords U1 34 0 00 U2 23 01 U3 19 10 U4 1 U5 07 1 U6 06 1 1 11110 U7 01 1 1 11111 110 1110 Shannon-Fano coding L = ∑ pi li = 2.45 i =1 H (U ) = −∑ pi log pi = 2.37 i =1 eff = H (U ) 2.37 = = 0.97 L 2.45 Huffman Coding [1][2][3] Thực theo bước Liệt kê source symbols theo thứ tự xác suất giảm dần Hai source symbols có xác suất nhỏ gán Hai source symbols kết hợp thành source symbol có xác suất tổng xác suất gốc Xác suất ghi vào The new probability is placed in the list in accordance with its value Lặp lại xác suất kết hợp cuối = 1.0 Examples of Huffman Coding Ui pi U1 34 U2 U3 U4 U5 U6 U7 0 23 19 07 06 01 0 07 1 14 24 1 42 58 1.0 Ui Codewords U1 00 U2 10 U3 11 U4 011 U5 0100 U6 01010 U7 01011 Khuyết điểm Huffman Coding • Khi nguồn có nhiều symbols mã Huffman trở nên q lớn • Vẫn cịn nhiều dư thừa (redundancy) • Số codewords tăng theo cấp số mũ (exponentially), mã trở nên phức tạp tăng độ trì hỗn Bài tập • Một nguồn rời rạc có sysbols: A, B, C với xác suất tương ứng 0.9, 0.08 0.02 Tìm entropy nguồn Bài tập Vẽ sơ đồ trạng thái (dùng trellis diagram) hệ thống RSC Next time Ngày 3/5 nhà trường nghỉ Ngày 10/5: buổi học cuối: – Công bố điểm kỳ (điểm tập nhà) – Học tiếp + Ôn tập Bài tập nộp cho GV • • • • • Cách 1: nộp trực tiếp cho GV (sau buổi học) Cách 2: gửi email tới: truyenthongsodtvt@gmail.com Thời hạn nộp bài: thứ ba ngày 26 tháng Trong email file nộp ghi rõ họ tên mã số SV Điểm tập: 30% tổng điểm • Hạn chót nhận email: thứ ngày 2/5 Bài tập nộp cho GV Chọn sau: Tìm hiểu Non-coherent detection (D-PSK Bin D-PSK) Tìm hiểu Cyclic block codes Dùng Matlab mô để so sánh khác kiểu điều chế (vẽ SNR vs PE) ... P () 0.7 29 0.081 0.081 0.081 0.0 09 0.0 09 0.0 09 0.001 Codeword [P()].[Number of Code Symbols] 0.7 29 100 0.243 101 0.243 110 0.243 11100 0.045 11101 0.045 11110 0.045 11111 0.005 L=1. 598 Third-Order... rạc: A (p=0 .9) , B (p=0.1) • Source symbol rate (3.5) >channel capacity (2)  nguồn symbols khơng thể truyền trực tiếp • Kiểm tra thuyết Shannon: – H(X)= -0.1 log20.1 -0.9log20 .9 = 0.469bits/symbol... Principles of Communications: Systems, Modulation, and Noise, 5th edition John Wiley, pp 667-720, 2002 [2] A Bruce Carlson, “Communications Systems”, Mc Graw-Hill, 198 6, ISBN 0-07-100560 -9 [3] S Haykin,