LÝ THUYẾT THÔNG TIN

LÝ THUYẾT THÔNG TIN Nguyễn Thị Hậu NỘI DUNG HP Những khái niệm chung  Lý thuyết mã  Mã hóa nguồn-Mã thống kê tối ƣu  Mã hóa kênh-Mã phát sửa sai  TÀI LIỆU THAM KHẢO Giáo trình Lý thuyết thông tin, Đặng Văn Chiết, Hà Quốc Trung, NXB Bách Khoa Hà Nội  Giáo trình Lý thuyết thông tin, Hồ Văn Quân, NXB Đại học Quốc gia Tp.Hồ Chí Minh  Schaum’s Outline Theory and Problems of Analog and Digital communications, Hwei P.Hsu, McGrawHill  Digital communications, John G.Proakis, McGrawHill  HÌNH THỨC ĐÁNH GIÁ Chuyên cần:10%  Điểm kiểm tra kì:40%  Điểm thi cuối kì (trắc nghiệm tự luận):50% (SV không đƣợc sử dụng tài liệu)  Điểm thƣởng (đƣợc cộng vào điểm kì):   SV tích cực làm tập lớp HỌC PHẦN LIÊN QUAN  Xác suất thống kê CHƢƠNG 1: NHỮNG KHÁI NIỆM CHUNG NHỮNG KHÁI NIỆM CHUNG Thông tin gì?  Vai trò thông tin  Mô hình Hệ thống truyền tin  Những vấn đề hệ thống truyền tin  Rời rạc hóa nguồn tin liên tục  Độ đo thông tin lƣợng tin  Entropy tính chất entropy  Kênh truyền rời rạc không nhớ DMC, Ma trận kênh, Thông lƣợng kênh truyền  THÔNG TIN LÀ GÌ? THÔNG TIN LÀ GÌ?  Một số ví dụ: THÔNG TIN LÀ GÌ? Hai ngƣời nói chuyện với Cái mà trao đổi họ đƣợc gọi thông tin  Một ngƣời xem tivi/nghe đài/đọc báo, ngƣời nhận thông tin từ đài phát/báo  Quá trình giảng dạy lớp  Máy tính nối mạng trao đổi liệu với  Máy tính nạp chƣơng trinh liệu từ đĩa cứng vào RAM để thực thi  Sử dụng điện thoại di động để gọi/nghe/gửi tin nhắn …  MÃ TUYẾN TÍNH HỆ THỐNG-MÃ KHỐI TUYẾN TÍNH  Một mã tuyến tính C(n,k) đƣợc gọi mã tuyến tính hệ thống hay gọi mã khối tuyến tính có dạng sau: Dạng (n-k) bit kiểm tra k bit tin Từ mã n bit Dạng k bit tin (n-k) bit kiểm tra Từ mã n bit MA TRẬN SINH CỦA MÃ KHỐI TUYẾN TÍNH (DẠNG 2) ⋯ 𝑃11 𝑃12 … 𝑃1(𝑛−𝑘) … 𝑃21 𝑃22 … 𝑃2(𝑛−𝑘) = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 … 𝑃𝑘1 𝑃𝑘2 … 𝑃𝑘(𝑛−𝑘) kxk k x (n-k) NHẬN XÉT: Giả sử ta có mã khối tuyến tính C(n,k) Tin tức 𝑢 = 𝑎1 , 𝑎2 , … , 𝑎𝑘 Từ mã 𝑤 = 𝑏1 , 𝑏2 , … , 𝑏𝑘 , 𝑏𝑘+1 , … , 𝑏𝑛  Theo ma trận sinh mã khối tuyến tính ta có quan hệ sau: 𝑏1 = 𝑎1 𝑏2 = 𝑎2 ⋮ 𝑏𝑘 = 𝑎𝑘 𝑏𝑘+1 = 𝑎1 𝑃11 + 𝑎2 𝑃21 + ⋯ + 𝑎𝑘 𝑃𝑘1 𝑏𝑘+2 = 𝑎1 𝑃12 + 𝑎2 𝑃22 + ⋯ + 𝑎𝑘 𝑃𝑘2 ⋮ 𝑏𝑛 = 𝑎1 𝑃1(𝑛−𝑘) + 𝑎2 𝑃2(𝑛−𝑘) + ⋯ + 𝑎𝑘 𝑃𝑘(𝑛−𝑘)   Nhƣ k bít đầu từ mã w tin tức u điều giúp việc giải mã dễ dàng nhanh chóng VÍ DỤ BÀI TẬP  Cho mã khối tuyến tính C(6,3), giả sử có thông báo d=[d1, d2, d3] đƣợc mã hóa từ mã c=[c1, c2,c3,c4,c5,c6] với bít từ mã c đƣợc cho theo phƣơng trình sau: a.Xác định ma trân sinh G b.Lập bảng từ mã theo ma trân sinh G tìm đƣợc BÀI TẬP  Cho ma trận sinh sau, biến đổi thành ma trận sinh hệ thống: MA TRẬN KIỂM TRA MA TRẬN KIỂM TRA  Nếu ma trận sinh có dạng Thì ma trận kiểm tra có dạng: MA TRẬN KIỂM TRA ⋯ 𝑃11 𝑃12 … 𝑃1(𝑛−𝑘) … 𝑃21 𝑃22 … 𝑃2(𝑛−𝑘) = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 … 𝑃𝑘1 𝑃𝑘2 … 𝑃𝑘(𝑛−𝑘) kxk k x (n-k) 𝑃11 𝑃21 … 𝑃𝑘1 … 𝑃12 𝑃22 … 𝑃𝑘2 … = ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 𝑃1(𝑛−𝑘) 𝑃2(𝑛−𝑘) … 𝑃𝑘 𝑛−𝑘 0 … (n-k)xk (n-k)x(n-k) VÍ DỤ  Tìm ma trận H cho ma trận sinh sau: NHẬN XÉT:    Có thể tồn nhiều ma trận kiểm tra mã chúng có khả kiểm tra nhƣ Quá trình phát lỗi dựa ma trận kiểm tra H, 𝒕 × 𝑯𝑻 ≠ 𝟎 trình truyền tin xảy lỗi, với t từ mã thu đƣợc Để mã hóa mã khối tuyến tính C(n,k) ta tiến hành theo cách sau: Nếu biết trƣớc ma trận sinh G: xác định từ mã biểu thức r=uxG  Nếu biết trƣớc ma trận P: từ ma trận P ta tính đƣợc ma trận sinh G, sau xác định từ mã biểu thức r=uxG  Nếu biết trƣớc ma trận kiểm tra H: từ ma trận kiểm tra H ta tính ma trận P sau suy ma trận sinh G, xác định từ mã biểu thức r=uxG  GIẢI MÃ MÃ KHỐI TUYẾN TÍNH BẰNG THUẬT TOÁN THỬ SYNDROME Gọi từ mã phát là: 𝑤 = 𝑏1 , 𝑏2 , … , 𝑏𝑛 Từ mã thu đƣợc là: t = 𝑡1 , 𝑡2 , … , 𝑡𝑛 Vector sai là: e = 𝑒1 , 𝑒2 , … , 𝑒𝑛  Nếu nhƣ 𝑏𝑖 ≠ 𝑡𝑖 𝑒𝑖 =  Ngƣợc lại 𝑏𝑖 = 𝑡𝑖 𝑒𝑖 = Đặt 𝑺 = 𝒕 × 𝑯𝑻 t từ mã thu đƣợc, S gọi Syndrome mã Thuật toán thử Syndrome:  Nếu S=0 t=w tức t từ mã phát  Nếu S≠0 t ≠ w tức t từ mã phát lúc e ≠0  Khi tìm đƣợc vector Syndrome S, ta thấy S trùng với cột ma trận kiểm tra H sai vị trí tƣơng đƣơng Ví dụ S trùng với cột ma trận kiểm tra H vector nhận t sai vị trí bít thứ lúc ta cân đổi bít thành thành để sửa sai VÍ DỤ  Cho mã khối tuyến tính có ma trận kiểm tra: Xác định ma trận sinh G Tìm từ mã 101… Giả sử ta nhận đƣợc từ mã 110110 Hãy giải mã từ mã phƣơng pháp thử Syndrome MÃ HAMMING Mã Hamming mã khối tuyến tính có dạng nhƣ sau: C(n,k)=C(2𝑚 − 1, 2𝑚 − − m) Với m số nguyên dƣơng  VÍ DỤ  Cho mã khối tuyến tính C(7,4) có ma trận kiểm tra nhƣ sau: Lập bảng từ mã Hãy chứng tỏ mã Hamming sửa đƣợc lỗi đơn ... nghệ thông tin xảy ra, phát triển mạnh mẽ phƣơng tiện truyền thông, lƣu trữ thông tin làm thay đổi xã hội ngày sâu sắc  Những ứng dụng phổ biến lý thuyết thông tin truyền thông xử lý thông tin: ... Thông tin trình ngẫu nhiên LTTT lý thuyết ngẫu nhiên tin tức có nghĩa xét tính bất ngờ tin tức nơi nhận tin VAI TRÒ CỦA THÔNG TIN Trong sống ngƣời có nhu cầu trao đổi thông tin với (truyền tin- communication)... NHỮNG KHÁI NIỆM CHUNG Thông tin gì?  Vai trò thông tin  Mô hình Hệ thống truyền tin  Những vấn đề hệ thống truyền tin  Rời rạc hóa nguồn tin liên tục  Độ đo thông tin lƣợng tin  Entropy tính