Bài giảng môn học Lý thuyết thông tin

12/25/2010 Trường Đại học Công Nghệ Thông Tin BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN NỘI DUNG MÔN HỌC          Bài Bài Bài Bài Bài Bài Bài Bài Bài Giới thiệu Một số khái niệm Chuẩn bị toán học Lượng tin Entropy Mã hiệu Mã hóa tối ưu nguồn rời rạc khơng nhớ Mã hóa nguồn phổ qt Kênh rời rạc khơng nhớ, lượng tin tương hỗ NỘI DUNG MƠN HỌC (tt)       Bài 10 Bài 11 Bài 12 Bài 13 Bài 14 Bài 15 Mã hóa chống nhiễu, định lý kênh Mã khối tuyến tính Cơ sở tốn học mã hóa chống nhiễu Mã vịng Giới thiệu mật mã hóa Một số vấn đề nâng cao CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 TÀI LIỆU THAM KHẢO Information Theory - Robert B.Ash, Nhà xuất Dover, Inc, 1990 Introduction to Information Theory - Masud Mansuripur, Nhà xuất Prentice–Hall, Inc, 1987 A Mathematical Theory of Communication - C E Shannon, Tạp chí Bell System Technical, số 27, trang 379–423 623– 656, tháng tháng 10, 1948 Cơ sở Lý thuyết truyền tin (tập hai) - Đặng Văn Chuyết, Nguyễn Tuấn Anh, Nhà xuất Giáo dục, 1998 HÌNH THỨC ĐÁNH GIÁ   Sẽ có thơng báo cụ thể cho khóa học Tuy nhiên, thường có hình thức bên Thi (80%)    Giữa kỳ: thi viết (30%) Cuối kỳ: thi trắc nghiệm 50 câu / 90 phút (50%) Làm tập lớn (20%)  Nộp tập lớn báo cáo vào cuối học kỳ CÁC MÔN LIÊN QUAN    Lý thuyết xác suất Kỹ thuật truyền số liệu Xử lý tín hiệu số CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Bài Giới thiệu 1.1 Thơng tin gì? 1.2 Vai trị thơng tin 1.3 Lý thuyết thơng tin nghiên cứu gì? 1.4 Những ứng dụng lý thuyết thông tin 1.5 Lý thuyết thông tin – Lịch sử hình thành quan điểm khoa học đại Thơng tin gì?  Một vài ví dụ      Hai người nói chuyện với Cái mà trao đổi họ gọi thông tin Một người xem tivi/nghe đài/đọc báo, người nhận thơng tin từ đài phát/báo Q trình giảng dạy lớp Các máy tính nối mạng trao đổi liệu với Máy tính nạp chương trình, liệu từ đĩa cứng vào RAM để thực thi Thông tin gì? (tt)  Nhận xét      Thông tin truyền từ đối tượng đến đối tượng khác để báo “điều” Thơng tin có ý nghĩa “điều” bên nhận chưa biết Thông tin xuất nhiều dạng âm thanh, hình ảnh, Những dạng “vỏ bọc” vật chất chứa thông tin “Vỏ bọc” phần “xác”, thông tin phần “hồn” Ngữ nghĩa thơng tin hiểu bên nhận hiểu cách biểu diễn ngữ nghĩa bên phát Một phương tiện để diễn đạt thông tin ngơn ngữ Có hai trạng thái thơng tin: truyền lưu trữ Môi trường truyền/lưu trữ gọi chung môi trường chứa tin hay kênh tin CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Vai trị thơng tin     Các đối tượng sống ln ln có nhu cầu hiểu giới xung quanh, để thích nghi tồn Đây trình quan sát, tiếp nhận, trao đổi xử lý thông tin từ môi trường xung quanh Thông tin trở thành nhu cầu bản, điều kiện cần cho tồn phát triển Khi KHKT, XH ngày phát triển, thơng tin thể vai trị quan trọng Ví dụ, hành động xuất phát từ suy nghĩ, suy nghĩ đúng, hành động Suy nghĩ lại chịu ảnh hưởng từ nguồn thông tin tiếp nhận Vì thơng tin chi phối đến suy nghĩ kết hành động người LTTT nghiên cứu vấn đề gì?    Ở góc độ khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo “cơ sở hạ tầng” tốt cho việc truyền thơng tin xác, nhanh chóng an tồn; lưu trữ thơng tin cách hiệu Ở góc độ nghiên cứu khác LTTT nghiên cứu vấn đề cách tổ chức, biểu diễn truyền đạt thông tin, tổng quát vấn đề xử lý thông tin Ba lĩnh vực nghiên cứu mơn học    Mã hố chống nhiễu Mã hoá tối ưu (hay nén liệu) Mật mã hố Những ứng dụng LT thơng tin     Cuộc cách mạng thông tin xảy ra, phát triển mạnh mẽ phương tiện truyền thông, lưu trữ thông tin làm thay đổi ngày sâu sắc xã hội LTTT đóng vai trị định phát triển cách cung cấp sở lý thuyết nhìn triết học sâu sắc toán thách thức mà chạm trán – hôm mai sau Những ứng dụng phổ biến LTTT truyền thông xử lý thông tin bao gồm: truyền thông, nén, bảo mật, lưu trữ, Các ý tưởng LTTT áp dụng nhiều lĩnh vực vật lý, ngôn ngữ học, sinh vật học, khoa học máy tính, tâm lý học, hóa học CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Những ứng dụng LT thông tin (tt)    Mối quan hệ LTTT thống kê tìm thấy, phương pháp phân tích thống kê dựa LTTT đề nghị Ứng dụng vào quản lý kinh tế Ví dụ, lý thuyết đầu tư tối ưu xuất đồng thời với lý thuyết mã hóa nguồn tối ưu Ứng dụng vào ngơn ngữ học Lịch sử hình thành      Cuộc cách mạng lớn cách nhìn giới khoa học chuyển hướng từ thuyết định Laplacian đến tranh xác suất tự nhiên Thế giới sống chủ yếu xác suất Kiến thức dạng xác suất LTTT lên sau học thống kê lượng tử phát triển, chia xẻ với vật lý thống kê khái niệm entropy Theo lịch sử, khái niệm LTTT entropy, thơng tin tương hỗ hình thành từ việc nghiên cứu hệ thống mật mã từ việc nghiên cứu kênh truyền thông Về mặt toán học, LTTT nhánh lý thuyết xác suất trình ngẫu nhiên (stochastical process) Lịch sử hình thành (tt)    Quan trọng có ý nghĩa quan hệ liên kết LTTT vật lý thống kê Trong thời gian dài trước LTTT hình thành, L Boltzman sau L.Szilard đánh đồng ý nghĩa thông tin với khái niệm nhiệt động học entropy Một mặt khác, D Gabor “lý thuyết truyền thông phải xem nhánh vật lý” C E Shannon cha đẻ LTTT CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Bài Một số khái niệm 2.1 Thơng tin (Information) 2.2 Mơ hình trình truyền tin 2.3 Các loại hệ thống truyền tin – Liên tục rời rạc 2.4 Rời rạc hố Thơng tin     Thơng tin khái niệm trừu tượng, phi vật chất khó định nghĩa xác Hai định nghĩa thông tin Thông tin cảm hiểu người giới xung quanh thông qua tiếp xúc với Thơng tin hệ thống tin báo mệnh lệnh giúp loại trừ không chắn (uncertainty) trạng thái nơi nhận tin Nói ngắn gọn, thơng tin mà loại trừ không chắn Định nghĩa đầu chưa nói lên chất thơng tin Định nghĩa thứ hai nói rõ chất thơng tin dùng để định lượng thông tin kỹ thuật Thông tin (tt)       Thơng tin tượng vật lý, thường tồn truyền dạng vật chất Những dạng vật chất dùng để mang thơng tin gọi tín hiệu Lý thuyết tín hiệu nghiên cứu dạng tín hiệu cách truyền thơng tin xa với chi phí thấp, ngành mà có quan hệ gần gũi với LTTT Thơng tin q trình ngẫu nhiên Tín hiệu mang tin tức tín hiệu ngẫu nhiên mơ hình tốn học q trình ngẫu nhiên thực hay phức Và LTTT lý thuyết ngẫu nhiên tin tức, có nghĩa xét đến tính bất ngờ tin tức nơi nhận tin CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Mơ hình q trình truyền tin  Khái niệm thơng tin thường kèm với hệ thống truyền tin Nhiễu Nguồn phát    Kênh truyền Nguồn nhận Sự truyền tin (transmission) Là dịch chuyển thông tin từ điểm đến điểm khác môi trường xác định Nguồn tin (information source)    Là tập hợp tin mà hệ thống truyền tin dùng để lập bảng tin hay thông báo (message) để truyền tin Bảng tin dãy tin bên phát truyền Thơng tin thuộc nhiều loại (1) dãy kí tự điện tín (telegraph) hệ thống gởi điện tín (teletype system); Mơ hình trình truyền tin (tt) (2) hàm theo biến thời gian f(t) radio điện thoại; (3) hàm thời gian biến khác tivi trắng đen – thơng tin nghĩ hàm f(x, y, t) toạ độ hai chiều thời gian biểu diễn cường độ ánh sáng điểm (x, y) hình thời gian t; (4) vài hàm vài biến trường hợp tivi màu – thông tin bao gồm ba hàm f(x, y, t), g(x, y, t), h(x, y, t) biểu diễn cường độ ánh sáng ba thành phần màu (xanh cây, đỏ, xanh dương)   Thông tin trước truyền đi, tuỳ theo u cầu mã hố để nén, chống nhiễu, bảo mật, Kênh tin (channel)   Là nơi hình thành truyền (hoặc lưu trữ) tín hiệu mang tin đồng thời xảy tạp nhiễu (noise) phá hủy tin tức Trong LTTT kênh khái niệm trừu tượng đại biểu cho hỗn hợp tín hiệu tạp nhiễu Một số khái niệm (tt)  Môi trường truyền tin thường đa dạng     mơi trường khơng khí, tin truyền dạng âm tiếng nói, ngồi lửa hay ánh sáng; mơi trường tầng điện ly khí nơi mà thường xuyên xảy truyền tin vệ tinh nhân tạo với trạm rada mặt đất; đường truyền điện thoại nơi xảy truyền tín hiệu mang tin dịng điện hay đường truyền cáp quang qua biển tín hiệu mang tin sóng ánh sáng v.v… Nhiễu (noise)  Cho dù mơi trường có nhiễu Nhiễu phong phú đa dạng thường kèm với môi trường truyền tin tương ứng   Chẳng hạn truyền dạng sóng điện từ mà có qua vùng trái đất có từ trường mạnh tín hiệu mang tin thường bị ảnh hưởng nhiều từ trường Nên coi từ trường loại nhiễu Nếu truyền dạng âm khơng khí tiếng ồn xung quanh coi loại nhiễu CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Một số khái niệm (tt)     Nhiễu có nhiều loại chẳng hạn nhiễu cộng, nhiễu nhân Nhiễu cộng loại nhiễu mà tín hiệu mang tin bị tín hiệu nhiễu “cộng” thêm vào Nhiễu nhân loại nhiễu mà tín hiệu mang tin bị tín hiệu nhiễu “nhân” lên Nơi nhận tin (sink)    Là nơi tiếp nhận thông tin từ kênh truyền cố gắng khôi phục lại thành thông tin ban đầu bên phát phát Tin đến nơi nhận thường khơng giống tin ban đầu có tác động nhiễu Vì nơi nhận phải thực việc phát sai sửa sai Nơi nhận phải thực việc giải nén hay giải mã thơng tin mã hố bảo mật bên phát thực việc nén hay bảo mật thông tin trước truyền Các loại hệ thống truyền tin   Các nguồn tin thường thấy tự nhiên gọi nguồn tin nguyên thuỷ Đây nguồn tin chưa qua phép biến đổi nhân tạo Các tín hiệu âm thanh, hình ảnh phát từ nguồn tin nguyên thuỷ thường hàm liên tục theo thời gian theo mức, nghĩa biểu diễn thơng tin dạng hàm s(t) tồn quãng thời gian T lấy trị phạm vi (smin, smax) s(t) smax smin t Các loại hệ thống truyền tin (tt)   Các nguồn gọi nguồn liên tục (continuous source), tin gọi tin liên tục (continuous information) kênh tin gọi kênh liên tục (continuous channel) Tuy nhiên có nguồn nguyên thuỷ rời rạc     Bảng chữ ngơn ngữ Các tin hệ thống điện tín, lệnh điều khiển hệ thống điều khiển, Trong trường hợp nguồn gọi nguồn rời rạc (discrete source), tin gọi tin rời rạc (discrete information) kênh tin gọi kênh rời rạc (discrete channel) Sự phân biệt chất tính rời rạc tính liên tục số lượng tin nguồn trường hợp rời rạc hữu hạn trường hợp liên tục khơng đếm CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Rời rạc hóa     Các hệ thống liên tục có nhiều nhược điểm cồng kềnh, không hiệu chi phí cao Các hệ thống truyền tin rời rạc có nhiều ưu điểm hơn, khắc phục nhược điểm hệ thống liên tục đặc biệt ngày phát triển hoàn thiện dần sức mạnh ưu điểm Rời rạc hoá thường bao gồm hai loại: Rời rạc hoá theo trục thời gian, gọi lấy mẫu (sampling) rời rạc hố theo biên độ, cịn gọi lượng tử hoá (quantize) Lấy mẫu (Sampling)   Lấy mẫu hàm trích từ hàm ban đầu mẫu lấy thời điểm xác định Vấn đề làm để thay hàm ban đầu mẫu thay tương đương, điều giải định lý lấy mẫu tiếng Shannon Rời rạc hóa (tt)  Định lý lấy mẫu Shannon  Một hàm s(t) có phổ hữu hạn, khơng có thành phần tần số lớn max (= 2fmax) thay mẫu lấy thời điểm cách khoảng t  /max, hay nói cách khác tần số lấy mẫu F  2fmax s(t) smax smin t Rời rạc hóa (tt)  Lượng tử hố (Quantize)   Biên độ tín hiệu thường miền liên tục (smin, smax) Lượng tử hoá phân chia miền thành số mức định, chẳng hạn smin = s0, s1, , sn = smax qui giá trị biên độ không trùng với mức mức gần với Việc lượng tử hoá biến đổi hàm s(t) ban đầu thành hàm s’(t) có dạng hình bậc thang Sự khác s(t) s’(t) gọi sai số lượng tử Sai số lượng tử nhỏ s’(t) biểu diễn xác s(t) s(t) smax smin t CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Nguồn rời rạc    Nguồn rời rạc    Nguồn tin liên tục sau lấy mẫu lượng tử hoá trở thành nguồn rời rạc Chúng ta học chủ yếu nguồn rời rạc Một nguồn rời rạc bảng chữ A gồm m kí hiệu, A = {a1, a2, , am}, với xác suất xuất p(ai), i = 1, , m Định nghĩa không diễn tả mối quan hệ tin trước sau tin, nên gọi nguồn rời rạc không nhớ (discrete memoryless source) Bảng tin nguồn tin rời rạc không nhớ   Là dãy (có thể vơ hạn) kí hiệu liên tiếp từ bảng chữ nguồn tin, x = ( a–2a–1a0a1a2 ) Trong thực tế bảng tin có bắt đầu kết thúc bảng tin dãy hữu hạn kí hiệu, x* = (a1a2 …an) Bài Chuẩn bị toán học 3.1 Xác suất (Probability) 3.2 Bất đẳng thức Chebyshev luật yếu số lớn 3.3 Tập lồi (Convex sets) hàm lồi (convex functions), bất đẳng thức Jensen Xác suất  Không gian mẫu (Sample space)   Sự kiện (Event), kiện (elementary event)   Là tập (hay khơng gian) tất kết có thí nghiệm Thường kí hiệu E hay S Nếu khơng gian mẫu rời rạc E biểu diễn E = {e1, e2, , en} Mỗi tập E (không gian mẫu) gọi kiện, đặc biệt phần tử E gọi kiện Ví dụ   Trong thí nghiệm tung đồng xu E = {U (úp), N (ngửa)} Nếu đồng tiền đồng xác suất P(U) = P(N) = 1/2 Trong thí nghiệm tung xúc xắc E = {1, 2, 3, 4, 5, 6} Nếu xúc xắc đồng xác suất P(1) = P(2) = P(3) = P(4) = P(5) = P(6) = 1/6, P(2, 5) = 1/3, P(1, 3, 5) = 1/2 10 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Ma trận kiểm tra (tt)     H có kích thước  Gọi h = (a0, a1, a2, a3, a4, a5, a6) hàng H h trực giao với hàng G nên có hệ bốn phương trình sau 1 1 0 0 a0 + a1 + a3 =0 1 1 0 a0 + a2 + a3 + a4 =  G4   0 0 1 a1 + a5 + a6 =0   a0 + a2 + a6 =0 1 0  Vấn đề tìm vectơ h độc lập tuyến tính nghiệm hệ phương trình Chú ý, hệ phương trình cho phép giải bốn biến theo ba biến lại Chẳng hạn giải a3, a4, a5, a6 theo a0, a1, a2 sau Ma trận kiểm tra (tt)    a3 = a0 + a1 a4 = a1 + a2 a5 = a0 + a1 + a2 a6 = a0 + a2 Cho (a0, a1, a2) giá trị (1, 0, 0), (0, 1, 0), (0, 0, 1) (độc lập tuyến tính với nhau), ta xác định (a3, a4, a5, a6) sau (1, 0, 1, 1), (1, 1, 1, 0), (0, 1, 1, 1) Vậy H Chú ý  1 0 1  H 3  0 1 1 0 0 1 1 Có thể tồn nhiều ma trận kiểm tra khác mã chúng có khả kiểm tra Ma trận kiểm tra (tt)  Bổ đề 12.1   Nếu ma trận sinh hệ thống mã tuyến tính hệ thống có Gkn = [Ikk | Pk(n–k)] dạng H(n–k)n = [Pk(n–k)T | I(n–k)(n–k)] ma trận kiểm tra mã Tương tự ma trận sinh có dạng Gkn = [Pk(n–k) | Ikk] ma trận kiểm tra có dạng H(n–k)n = [I(n–k)(n–k) | Pk(n–k)T] I(n–k)(n–k) ma trận đơn vị kích thước (n–k)(n–k), Pk(n–k)T ma trận chuyển vị ma trận Pk(n–k) 94 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Chứng minh   1  P P01  P0( n  k 1)  00   P11  P1( n  k 1)  0  P10 Gk  n           0  P( k 1)0 P( k 1)1  P( k 1)( n  k 1)           kk k  (n  k )      P P10  P(k 1)0  0 00   P11  P(k 1)1  0  P01 H(nk)n           P0(nk 1) P1(nk 1)  P(k 1)(nk 1) 0  1       (nk)(nk)  (nk)k   Chứng minh (tt)   Ta chứng minh G  HT = Chứng minh điều  việc chứng minh gi  hj =  i = 0, …, k–1, j = 0, …, n–k–1 gi = (gi0, …, gi(n–1)) hàng i G hj = (hj0, …, hj(n–1)) hàng j ma trận H Thật gi  h j  n 1 k 1 n  k 1 s0 s0 sk  g is h js   g is h js   g is h js  h ji  g i ( k  j )  Pij  Pij  Ví dụ  Tìm ma trận H cho ma trận sinh sau Ght ( 47 ) 1 0  0  0 0 1 0 0 1 1 1  0 1 1 G47 1 1  0  1 0 0 0 1 1 0 G47 1 1  0  1 0 0 1 1 0 1 1  0 0 1 0 1 1  1 95 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Khả chống nhiễu tương đương   Bổ đề 12.2   Hai mã tuyến tính C(n, k) gọi có khả chống nhiễu tương đương chúng có khoảng cách Hamming Nếu hoán vị hai cột ma trận sinh tạo mã có khả chống nhiễu tương đương với mã cũ Nói cách khác việc hốn vị hai cột ma trận sinh không làm thay đổi khả chống nhiễu Bổ đề 12.3  Khoảng cách Hamming mã tuyến tính trọng số nhỏ khác mã Bổ đề  Bổ đề 12.4   Hệ   Gọi H ma trận kiểm tra mã tuyến tính, từ mã có trọng số d tồn d cột H có tổng Nếu ma trận kiểm tra H mã tuyến tính số cột phụ thuộc tuyến tính nhỏ d khoảng cách Hamming mã d Ví dụ 12.5 1 0 1  H 3  0 1 1 0 0 1 1 d = (3, 4, 6) Cách sửa sai  Vectơ lỗi    Là vectơ biểu diễn vị trí lỗi từ mã truyền tổ hợp nhận, vị trí lỗi biểu diễn bit 1, cịn lại Nếu từ mã truyền w, vectơ lỗi e vectơ nhận v v=w+e e=v+w w=e+v Ví dụ    w = 1011011, e = 0010100  v = w + e = 1001111 w = 0110010, v = 0010011  e = w + v = 0100001 v = 1011001, e = 0010010  w = v + e = 1001011 96 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Tập giải mã - coset   Cho S không gian từ mã không gian V, coset phần tử z  V S kí hiệu z + S định nghĩa sau z + S = {z + w: w  S} Bổ đề 12.5  Tập coset z + S có tính chất sau (1) z  z + S (2) Nếu z  S z + S = S (3) Nếu v  z + S v + S = z + S (4) Nếu v  z + S v + S z + S rời Sơ đồ giải mã     Với vectơ nhận v có tập coset tương ứng v + S Trong tập chọn phần tử có trọng số nhỏ nhất, chẳng hạn z Phần tử thường gọi coset leader Thơng báo từ mã truyền w = v + z Bổ đề 12.6   Các phần tử tập coset có syndrome Các tập coset khác có syndrome khác e = (a1, a2, , an), cột H h1, h2, , hn n s (e)  e  H T   hi   hi i 1  Sơ đồ giải mã (tt)   Nghĩa s(e) tổng cột vị trí tương ứng với vị trí e Nếu vị trí lỗi sai syndrome vectơ nhận cột số H 1 1 G4   0  1  1 0 0 1 0 0 1  0 1 1 0 1  H 3  0 1 1 0 0 1 1 Tìm vị trí lỗi sai vectơ nhận sau e=? w=? v = 0010011  s(v) = ? v = 0101101  s(v) = ? e=? w=? 97 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Mã tuyến tính Hamming   Mã tuyến tính Hamming mã có ma trận H có tính chất giá trị cột hi i (i = 1, 2, ) Bổ đề 12.7 0 0 1 1 H 3  0 1 0 1 1 1 1 Các mã tuyến tính Hamming có khoảng cách Hamming d = Vì phát sai bit sửa sai bit Mã Hamming cho phép sửa sai bit cách đơn giản sau: Tính syndrome s(v) vectơ nhận Đổi chuỗi nhị phân tương ứng giá trị thập phân, kết đổi vị trí lỗi sai xảy Sửa sai vị trí lỗi sai tương ứng  Ma trận sinh mã tuyến tính Hamming    Xét mã tuyến tính Hamming C(7, 4) có bit thơng tin nằm vị trí 3, 5, 6, Hãy xác định ma trận sinh G mã Gọi w = (a1, a2, a3, a4, a5, a6, a7) từ mã Chúng ta có hệ phương trình sau dẫn từ công thức w  HT = a4 + a5 + a6 + a7 = a2 + a3 + a6 + a7 = a1 + a3 + a5 + a7 = Từ suy công thức tính bit kiểm tra a1, a2, a4 theo bit thông báo a3, a5, a6, a7 sau a1 = a3 + a5 + a7 a2 = a3 + a6 + a7 a4 = a5 + a6 + a7 Ma trận sinh mã tuyến tính Hamming u=  b1 b2 b3 b4 1 Ví dụ  w = 1 1 G4   0  1 a1 a2 a3 a4 a5 a6 a7 1 1 1 0 0 0 1 0 1 0  1 0 1 Xét mã tuyến tính Hamming C(7, 4) có bit thơng tin nằm vị trí 1, 2, 3, Hãy xác định ma trận sinh G mã 98 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Bài 13 Mã vịng 13.1 Giới thiệu 13.2 Các tính chất mã vòng 13.3 Ma trận sinh ma trận kiểm tra mã 13.4 Mã BCH Giới thiệu  Định nghĩa    Đa thức mã   Một mã tuyến tính C(n, k) gọi mã vịng w = a0a1…an–2an–1 từ mã v = an–1a0a1…an–2 từ mã Nghĩa dịch vịng (sang trái hay phải) từ mã kết từ mã Ở qui ước dịch phải Nếu w = a0a1…an–2an–1 từ mã w(x) = a0 + a1x + … + an–2xn - + an–1xn - đa thức mã tương ứng với từ mã w Ví dụ  Bảng sau trình bày mã vịng C(7, 4) Ví dụ m w w(x) m w 0000 1000 0100 1100 0010 1010 0000000 1101000 0110100 1011100 0011010 1110010 + x + x3 x + x2 + x4 + x2 + x3 + x4 x2 + x3 + x5 + x + x2 + x5 0001 1001 0101 1101 0011 1011 0001101 1100101 0111001 1010001 0010111 1111111 0110 0101110 x + x3 + x4 + x5 1110 1000110 + x4 + x5 w(x) x3 + x4 + x6 + x + x4 + x6 x + x2 + x3 + x6 + x2 + x6 x2 + x4 + x5 + x6 + x + x2 + x3 + x4 + x5 + x6 0111 0100011 x + x5 + x6 1111 1001011 + x3 + x5 + x6 99 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Giới thiệu (tt)  w(i), w(i)(x)  w(i) từ mã dịch từ mã w i bit, w(i)(x) đa thức mã tương ứng w(i) w(0) w i w(i) w(i)(x) 1101000 + x + x3 0110100 x + x2 + x4 = x * (1 + x + x3) = x * w(x) 0011010 x2 + x3 + x5 = x2 (1 + x + x3) = x2 * w(x) 0001101 x3 + x4 + x6 = x3 (1 + x + x3) = x3 * w(x) 1000110 + x4 + x5 = x4 + x5 + x7 mod 0100011 x + x5 + x6 = x5 + x6 + x8 mod 1010001 + x2 + x6 = x6 + x7 mod + x9 mod Giới thiệu (tt)    w(i)(x) = xi * w(x) nhiên w(i)(x) có xp với p ≥ n xp thay xp mod n Mặc khác trường GF(2) có xn + j = xj * (xn + 1) + xj hay xn + j mod (xn + 1) = xj Bổ đề 13.1 w(i)(x) = [xi * w(x)] mod (xn + 1) Các tính chất mã vòng  Định lý 13.1   Đa thức mã khác có bậc nhỏ nhất Hay nói cách khác khơng tồn hai đa thức mã khác 0, khác có bậc nhỏ Chứng minh   Giả sử  hai đa thức mã khác nhau, có bậc nhỏ r, < r < n g(x) = g0 + g1x + … + gr–1xr - + xr f(x) = f0 + f1x + … + fr–1xr - + xr Từ suy đa thức mã g(x) + f(x) có bậc nhỏ r, mâu thuẫn Chứng minh hồn tất 100 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Các tính chất mã vịng (tt)  Kí hiệu đa thức mã có bậc nhỏ g(x) g(x) = g0 + g1x + … + gr–1xr - + xr  Định lý 13.2  Chứng minh     Hệ số tự g0 g(x) phải Giả sử g0 = Suy g(x) = x * (g1 + … + gr–1xr - + xr - 1) Đặt f(x) = (g1 + … + gr–1xr - + xr - 1), suy f(x) đa thức mã Vì f(x) tương ứng với từ mã dịch trái bit hay dịch phải (n – 1) bit từ từ mã ứng với g(x) Mà bậc f(x) r – < r mâu thuẫn với định nghĩa g(x) Các tính chất mã vòng (tt)  Định lý 13.3   Một đa thức v(x) trường GF(2) có bậc ≤ n – đa thức mã bội số g(x) Tức viết v(x) = q(x) * g(x) Chứng minh   Chiều thuận Nếu v(x) = q(x) * g(x) có bậc ≤ n – v(x) đa thức mã p  p  v ( x )  q ( x ) * g ( x )    qi x i  * g ( x )   qi x i * g ( x )   i0  i0  với p bậc q(x) p + r ≤ n – Do xi * g(x) với ≤ i ≤ p đa thức mã, nên v(x) đa thức mã tổ hợp tuyến tính đa thức mã   Các tính chất mã vòng (tt)    Chiều ngược Nếu v(x) đa thức mã chia v(x) cho g(x) v(x) = q(x) * g(x) + r(x) r(x) đa thức dư có bậc nhỏ bậc g(x) Đối với đa thức trường GF(2) suy r(x) = q(x) * g(x) + v(x) Nên r(x) đa thức mã Theo định nghĩa g(x) suy r(x) = Chứng minh hoàn tất Từ định lý gọi g(x) đa thức sinh, từ g(x) sinh tất đa thức mã khác 101 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Các tính chất mã vòng (tt)  Định lý 13.4  Chứng minh     Đa thức sinh mã vòng C(n, k) có bậc r = n – k Mỗi đa thức mã w(x) bội số g(x) w(x) = q(x) * g(x) Có 2k từ mã nên có 2k đa thức q(x) Suy bậc q(x)  k – Suy bậc g(x) n – k Từ định lý đa thức sinh g(x) biểu diễn sau g(x) = g0 + g1x + … + gn – kxn – k g0 = gn – k = Các tính chất mã vịng (tt)  Định lý 13.5   Đa thức sinh mã vòng C(n, k) ước số xn + Chứng minh  Bổ đề 13.1 suy g(i)(x) = [xi * g(x)] mod (xn + 1)  xi * g(x) = q(x) * (xn + 1) + g(i)(x) Chọn i = k  q(x) = tức xk * g(x) = (xn + 1) + g(i)(x)  xn + = xk * g(x) + g(i)(x) Do g(i)(x) đa thức mã nên g(i)(x) bội g(x),  xn + bội g(x) Chứng minh hồn tất Các tính chất mã vịng (tt)  Định lý 13.6   Nếu g(x) đa thức có bậc (n – k) ước số (xn + 1) g(x) sinh mã vịng C(n, k), hay nói cách khác g(x) đa thức sinh mã vòng C(n, k) Chứng minh  Xét k đa thức g(x), x * g(x), …, xk – * g(x) Các đa thức có bậc ≤ n – Gọi v(x) tổ hợp tuyến tính k đa thức với hệ số  GF(2) v(x) = a0g(x) + a1x * g(x) + … + ak – 1xk – * g(x) v(x) đa thức có bậc ≤ n – bội số g(x) 102 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Các tính chất mã vịng (tt)  Có tất 2k tổ hợp tuyến tính v(x) khác tạo nên khơng gian tuyến tính đa thức mã với g(x), x * g(x), …, xk – * g(x) đa thức làm sở Chúng ta chứng minh mã tương ứng với không gian mã vòng Gọi w(x) = b0 + b1x + … + bn – 1xn – đa thức không gian Chúng ta chứng minh w(1)(x) = bn – + b0x + b1x2 + … + bn – 2xn – đa thức khơng gian Các tính chất mã vịng (tt)  Theo Bổ đề 13.1 có w(1)(x) = [x * w(x)] mod (xn + 1) Dựa vào biểu diễn v(x) w(1)(x) suy x * w(x) = bn – 1(xn + 1) + w(1)(x) Do v(x) (xn + 1) bội g(x) nên w(1)(x) bội g(x) Suy w(1)(x) đa thức mã Hoàn tất chứng minh Ma trận sinh G k n   k k   1    n  g 0   g1 g  g n k   0    g g1  g n  k 1 g n  k   0 g  g n  k  g n  k 1 g n  k                g0 g1 g  g nk  0   Ví dụ   Tìm mã vịng C(7, 4) Theo tính chất mã vịng suy đa thức sinh mã có bậc ước số x7 + Phân tích đa thức thừa số 103 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Ví dụ  x7 + = (1 + x)(1 + x + x3)(1 + x2 + x3) Chọn chẳng hạn g(x) = (1 + x + x3) G47 1 0  0  0 1 0 0 1 0 1 0  0 1 1 Mã vòng dạng hệ thống  G47  Từ dạng hệ thống loại dịch vịng k bit để biến đổi sang dạng hệ thống loại ngược lại 1 0  0  0 1 0 1 1 1 0 0 0 0  1 Ght ( 47 ) 1 0  0  0 0 1 0 0 1 1 1  0 1 1 Mã hóa thành từ mã hệ thống  u(x) thông báo, w(x) từ mã hệ thống loại tương ứng xn–k * u(x) = q(x) * g(x) + a(x) w(x) = xn–k * u(x) + a(x) = q(x) * g(x) Ví dụ   Cho mã vịng C(7, 4) có ma trận sinh g(x) = (1 + x + x3) Hãy mã hố thơng báo u = 1010 thành từ mã hệ thống dạng u(x) = + x2 Nhân u(x) với xn–k = x3 chia cho g(x) x3 * (1 + x2) = x3 + x5 = x2 * (1 + x + x3) + x2 Từ suy w(x) = x2 + x3 + x5 w = 0011010 từ mã hệ thống dạng tương ứng với u 104 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Ma trận kiểm tra mã vòng    Có cách khác để tìm ma trận kiểm tra mã vòng xn + = g(x) * h(x) h(x) gọi đa thức đối ngẫu g(x) h(x) có bậc k h(x) = h0 + h1x + … + hkxk Ma trận sau ma trận kiểm tra mã vòng H ( n  k )n  1   1 k n k       h h  0 hk   h0 k k 1    0  hk hk 1  h1 h0   0 hk  h2 h1 h0                0 h h h h0  k k 1 k 2    Ví dụ   Cho mã vịng C(7, 4) có ma trận sinh g(x) = (1 + x + x3) Từ suy h(x) = (1 + x + x2 + x4) Ma trận kiểm tra mã 1 1 0 H 37  0 1 1 0 0 1 1 Ứng dụng trường GF(2m) để xây dựng mã vòng  Định lý 13.7   Cho a phần tử khác trường GF(2m) có chu kỳ n, đa thức tối thiểu f(x) a có bậc m Thì mã có ma trận sau làm ma trận kiểm tra mã vòng C(n, n – m), phần tử ma trận bên thay vectơ m thành phần tương ứng Hmn = [1 a a2 … an – an–1] Hơn mã vịng có đa thức sinh f(x) Ví dụ  Xét trường GF(24) a có đa thức tối thiểu f(x) = + x + x4 105 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Ứng dụng trường GF(2m) để xây dựng mã vòng (tt)  Từ suy ma trận kiểm tra mã vòng (15, 11) H 415  1 0  0  0 0 0 1 1 1 0 1 1 1 0 0 1 1 1 0  0 0 1 1 1 1 Nếu đa thức tối thiểu a f(x) = + x + x2 + x3 + x4 a có chu kỳ phần tử 1, a, , a4 biểu diễn sau = (1000) a3 = (0001) a = (0100) a4 = (1111) a2 = (0010) Ứng dụng trường GF(2m) để xây dựng mã vòng (tt)  Từ suy ma trận kiểm tra mã vòng (5, 1) H 45 1 0  0  0 0 1 0 1 1  0 1 Mã BCH nhị phân    Do Bose, Chaudhuri Hocquenghem sáng lập Là mã vịng có khả sửa nhiều lỗi Đối với số nguyên dương m t xây dựng mã BCH nhị phân có thông số sau: Độ dài từ mã: n = 2m – Số bit kiểm tra: n – k ≤ mt Khoảng cách Hamming: dmin ≥ 2t + 106 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Định lý  Định lý 13.8  Cho a phần tử trường GF(2m) có đa thức tối thiểu đa thức bậc m Thì mã có ma trận sau làm ma trận kiểm tra mã vịng có khoảng cách Hamming ≥ 2t + 1, phần tử ma trận bên thay vectơ m thành phần tương ứng 1 a  1 a H  1 a    1 a 2t 1  a2 a6   a n2 a 3( n  ) a 10  a 5( n  )    a 2( 2t 1)  a ( 2t 1)(( n  2) a n 1   a 3( n 1)  a 5( n 1)     a ( 2t 1)(( n 1)  Định lý (tt)   Hơn đa thức sinh g(x) mã đa thức bội số chung nhỏ đa thức tối thiểu phần tử a, a3, a5, …, a2t–1 Bổ đề 13.2  Ma trận A sau có định thức  ( yi  y j ) i j với i, j  {1, 2, …, r} Định thức gọi định thức  1  Vandermonde   y  12 A   y1     y1 r 1 y2 y2  r 1 y2 y r   yr      r 1  y r   Ví dụ     Cho m = 4, t = xây dựng mã vòng có chiều dài từ mã 24 – = 15 có khoảng cách Hamming d ≥ Việc xây dựng dựa vào trường GF(24) Gọi a phần tử có đa thức tối thiểu đa thức bậc sau f1(x) = + x + x4 Đây trường GF(24) ví dụ slide 250 a có chu kỳ n = 2m – = 15 Chúng ta có ma trận kiểm tra mã sau 1 a a2 a3 a4 a5 a6 a7 a8 a9 a10 a11 a12 a12 a14 H 12 15 18 21 24 27 30 33 36 39 42 1 a a a a a a a a a a a a a a   Thay phần tử vectơ thành phần tương ứng 107 CuuDuongThanCong.com https://fb.com/tailieudientucntt 12/25/2010 Ví dụ (tt) 1 0  0  H  1  0 0  0 0 0 1 1 1 0 1 1 1 0 0 1 1 1 0  0 0 1 1 1 1 0 1 0 1 0 1  0 1 0 1 0 1 1 0 1 0 1  1 1 1 1 1 1 Ví dụ (tt)     Đa thức sinh g(x) bội số hai đa thức tối thiểu tương ứng với phần tử a a3 Theo ví dụ slide 250, đa thức tối thiểu a3 f3(x) = + x + x2 + x3 + x4 Từ suy g(x) = f1(x) * f3(x) = (1 + x + x4) * (1 + x + x2 + x3 + x4) = + x + x6 + x7 + x8 Chú ý  Trong trường hợp đa thức tối thiểu a đa thức bản, tìm mã vịng có chiều dài n  2m + 1, với n chu kỳ a 108 CuuDuongThanCong.com https://fb.com/tailieudientucntt ... 1.2 Vai trị thơng tin 1.3 Lý thuyết thơng tin nghiên cứu gì? 1.4 Những ứng dụng lý thuyết thông tin 1.5 Lý thuyết thông tin – Lịch sử hình thành quan điểm khoa học đại Thơng tin gì?  Một vài... truyền thông xử lý thông tin bao gồm: truyền thông, nén, bảo mật, lưu trữ, Các ý tưởng LTTT áp dụng nhiều lĩnh vực vật lý, ngôn ngữ học, sinh vật học, khoa học máy tính, tâm lý học, hóa học CuuDuongThanCong.com... thơng tin mà loại trừ không chắn Định nghĩa đầu chưa nói lên chất thơng tin Định nghĩa thứ hai nói rõ chất thông tin dùng để định lượng thông tin kỹ thuật Thông tin (tt)       Thông tin tượng