LÝ THUYẾT THÔNG TIN

Tài liệu môn Lý thuyết thông tin giúp mọi người tìm học tốt hơn, đặc biệt giúp cho các bạn học ngành Điện Tử Viễn Thông.Hi vọng tài liệu giúp mang tri thức đến cho mọi người và giúp mọi người học tốt hơn

LÝ THUYẾT THÔNG TIN Nguyễn Thị Hậu TÀI LIỆU THAM KHẢO Giáo trình Lý thuyết thông tin, Đặng Văn Chiết, Hà Quốc Trung, NXB Bách Khoa Hà Nội  Giáo trình Lý thuyết thông tin, Hồ Văn Quân, NXB Đại học Quốc gia Tp.Hồ Chí Minh  Schaum’s Outline Theory and Problems of Analog and Digital communications, Hwei P.Hsu, McGrawHill  Digital communications, John G.Proakis, McGrawHill  HÌNH THỨC ĐÁNH GIÁ Chuyên cần:10%  Điểm kiểm tra (4 kiểm tra):40%  Điểm thi cuối kì (tự luận):50% (SV không đƣợc sử dụng tài liệu)  HỌC PHẦN LIÊN QUAN NỘI DUNG HP Những khái niệm chung  Lý thuyết mã  Mã hóa nguồn-Mã thống kê tối ƣu  Mã hóa kênh-Mã phát sửa sai  CHƢƠNG 1: NHỮNG KHÁI NIỆM CHUNG CHƢƠNG GIỚI THIỆU CHUNG 1.1 Thông tin vai trò thông tin  1.2 Mô hình Hệ thống truyền tin  1.3 Rời rạc hóa nguồn tin liên tục  1.4 Độ đo thông tin lƣợng tin  1.5 Entropy tính chất entropy  1.7 Dung lƣợng kênh truyền  MÃ TUYẾN TÍNH HỆ THỐNG-MÃ KHỐI TUYẾN TÍNH  Một mã tuyến tính C(n,k) đƣợc gọi mã tuyến tính hệ thống hay gọi mã khối tuyến tính có dạng sau: Dạng (n-k) bit kiểm tra k bit tin Từ mã n bit Dạng k bit tin (n-k) bit kiểm tra Từ mã n bit MA TRẬN SINH CỦA MÃ KHỐI TUYẾN TÍNH (DẠNG 2) ⋯ 𝑃11 𝑃12 … 𝑃1(𝑛−𝑘) … 𝑃21 𝑃22 … 𝑃2(𝑛−𝑘) = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 … 𝑃𝑘1 𝑃𝑘2 … 𝑃𝑘(𝑛−𝑘) kxk k x (n-k) NHẬN XÉT: Giả sử ta có mã khối tuyến tính C(n,k) Tin tức 𝑢 = 𝑎1 , 𝑎2 , … , 𝑎𝑘 Từ mã 𝑤 = 𝑏1 , 𝑏2 , … , 𝑏𝑘 , 𝑏𝑘+1 , … , 𝑏𝑛  Theo ma trận sinh mã khối tuyến tính ta có quan hệ sau: 𝑏1 = 𝑎1 𝑏2 = 𝑎2 ⋮ 𝑏𝑘 = 𝑎𝑘 𝑏𝑘+1 = 𝑎1 𝑃11 + 𝑎2 𝑃21 + ⋯ + 𝑎𝑘 𝑃𝑘1 𝑏𝑘+2 = 𝑎1 𝑃12 + 𝑎2 𝑃22 + ⋯ + 𝑎𝑘 𝑃𝑘2 ⋮ 𝑏𝑛 = 𝑎1 𝑃1(𝑛−𝑘) + 𝑎2 𝑃2(𝑛−𝑘) + ⋯ + 𝑎𝑘 𝑃𝑘(𝑛−𝑘)   Nhƣ k bít đầu từ mã w tin tức u điều giúp việc giải mã dễ dàng nhanh chóng VÍ DỤ BÀI TẬP  Cho mã khối tuyến tính C(6,3), giả sử có thông báo d=[d1, d2, d3] đƣợc mã hóa từ mã c=[c1, c2,c3,c4,c5,c6] với bít từ mã c đƣợc cho theo phƣơng trình sau: a.Xác định ma trân sinh G b.Lập bảng từ mã theo ma trân sinh G tìm đƣợc BÀI TẬP  Cho ma trận sinh sau, biến đổi thành ma trận sinh hệ thống: MA TRẬN KIỂM TRA MA TRẬN KIỂM TRA  Nếu ma trận sinh có dạng Thì ma trận kiểm tra có dạng: MA TRẬN KIỂM TRA ⋯ 𝑃11 𝑃12 … 𝑃1(𝑛−𝑘) … 𝑃21 𝑃22 … 𝑃2(𝑛−𝑘) = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 … 𝑃𝑘1 𝑃𝑘2 … 𝑃𝑘(𝑛−𝑘) kxk k x (n-k) 𝑃11 𝑃21 … 𝑃𝑘1 … 𝑃12 𝑃22 … 𝑃𝑘2 … = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 𝑃1(𝑛−𝑘) 𝑃2(𝑛−𝑘) … 𝑃𝑘 𝑛−𝑘 0 … (n-k)xk (n-k)x(n-k) VÍ DỤ  Tìm ma trận H cho ma trận sinh sau: NHẬN XÉT:    Có thể tồn nhiều ma trận kiểm tra mã chúng có khả kiểm tra nhƣ Quá trình phát lỗi dựa ma trận kiểm tra H, 𝒕 × 𝑯𝑻 ≠ 𝟎 trình truyền tin xảy lỗi, với t từ mã thu đƣợc Để mã hóa mã khối tuyến tính C(n,k) ta tiến hành theo cách sau: Nếu biết trƣớc ma trận sinh G: xác định từ mã biểu thức r=uxG  Nếu biết trƣớc ma trận P: từ ma trận P ta tính đƣợc ma trận sinh G, sau xác định từ mã biểu thức r=uxG  Nếu biết trƣớc ma trận kiểm tra H: từ ma trận kiểm tra H ta tính ma trận P sau suy ma trận sinh G, xác định từ mã biểu thức r=uxG  GIẢI MÃ MÃ KHỐI TUYẾN TÍNH BẰNG THUẬT TOÁN THỬ SYNDROME Gọi từ mã phát là: 𝑤 = 𝑏1 , 𝑏2 , … , 𝑏𝑛 Từ mã thu đƣợc là: t = 𝑡1 , 𝑡2 , … , 𝑡𝑛 Vector sai là: e = 𝑒1 , 𝑒2 , … , 𝑒𝑛  Nếu nhƣ 𝑏𝑖 ≠ 𝑡𝑖 𝑒𝑖 =  Ngƣợc lại 𝑏𝑖 = 𝑡𝑖 𝑒𝑖 = Đặt 𝑺 = 𝒕 × 𝑯𝑻 t từ mã thu đƣợc, S gọi Syndrome mã Thuật toán thử Syndrome:  Nếu S=0 t=w tức t từ mã phát  Nếu S≠0 t ≠ w tức t từ mã phát lúc e ≠0  Khi tìm đƣợc vector Syndrome S, ta thấy S trùng với cột ma trận kiểm tra H sai vị trí tƣơng đƣơng Ví dụ S trùng với cột ma trận kiểm tra H vector nhận t sai vị trí bít thứ lúc ta cân đổi bít thành thành để sửa sai VÍ DỤ  Cho mã khối tuyến tính có ma trận kiểm tra: Xác định ma trận sinh G Tìm từ mã 101… Giả sử ta nhận đƣợc từ mã 110110 Hãy giải mã từ mã phƣơng pháp thử Syndrome MÃ HAMMING Mã Hamming mã khối tuyến tính có dạng nhƣ sau: C(n,k)=C(2𝑚 − 1, 2𝑚 − − m) Với m số nguyên dƣơng  VÍ DỤ  Cho mã khối tuyến tính C(7,4) có ma trận kiểm tra nhƣ sau: Lập bảng từ mã Hãy chứng tỏ mã Hamming sửa đƣợc lỗi đơn