Bài giảng lý thuyết thông tin

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT HƯNG YÊN KHOA ĐIỆN-ĐIỆN TỬ BÀI GIẢNG LÝ THUYẾT THÔNG TIN Hưng Yên 2015 (Tài liệu lưu hành nội bộ) TỔNG QUAN VỀ MÔN HỌC Chƣơng 1: Khái niệm chung Chƣơng giới thiệu khái niệm vấn đề lý thuyết truyền tin nhƣ thơng tin, tín hiệu, mơ hình hệ thống truyền tin gồm thành phần tham số hệ thống Mặt khác chƣơng nhắc lại phƣơng pháp rời rạc hóa nguồn tin liên tục thành nguồn rời rạc Cuối chƣơng đƣa khái niệm độ đo thông tin nhắc lại sở toán học cần thiết cho việc khảo sát hệ thống truyền tin Chƣơng 2: Thông tin Chƣơng trình bày vấn đề định lƣợng thơng tin nguồn tin nhƣ lƣợng tin riêng, lƣợng tin trung bình, lƣợng tin tƣơng hỗ, lƣợng tin có điều kiện (vì tín hiệu truyền kênh bị nhiễu tác động nên thu đƣợc tín hiệu ta phải tìm khả đầu phát phát tín hiệu chƣơng liên quan nhiều đến xác suất Cụ thể xác suất riêng, xác suất đồng thời xác suất có điều kiện mối liên hệ chúng) Sau tập trung giải vấn đề entropy để đo lƣợng tin không chắn kiện hay phân phối ngẫu nhiên nhƣ tính chất Khi tín hiệu đƣợc truyền kênh nên chƣơng đƣa loại kênh truyền tham số kỹ thuật kênh đồng thời xác định độ không chắn nhận đƣợc tin cụ thể bị nhiễu phá hủy phần kênh từ tính tốn dung lƣợng C kênh truyền để xác định giới hạn tốc độ mà ta truyền khơng lỗi Phần cuối chƣơng đề cập đến việc giải mã (tức nhận đƣợc tin ta phải tìm tin đƣợc truyền bên phát) Sau tính xác suất truyền sai từ mã xác suất truyền sai trung bình Chƣơng 3: Mã hiệu Chƣơng ta tập trung vào khả định nghĩa mã nhƣ điều kiện yêu cầu mã hiệu, tức đƣa phƣơng pháp để lựa chọn, kiểm tra mã phân tách đƣợc giải mã (độ chậm giải mã) Phần cuối chƣơng nói việc lập mã hệ thống Chƣơng 4: Mã hóa nguồn Chƣơng nghiên cứu vấn đề mã hóa nguồn sở mơ hình tốn học nguồn khả lƣợng tin xét Cụ thể chƣơng đề cập đến phƣơng pháp mã hóa để loại bỏ dƣ thừa thơng tin Ba phƣơng pháp là:  Phƣơng pháp mã hóa Shannon  Phƣơng pháp mã hóa Fano  Phƣơng pháp mã hóa Huffman Mỗi phƣơng pháp đƣa phƣơng pháp chuyển tin thành từ mã dựa vào xác suất xuất (tức tin có xác suất xuất bé mã hóa từ mã có chiều dài lớn tin có xác suất xuất lớn mã hóa từ mã có chiều dài nhỏ) sau tính hiệu suất lập mã Đề c-ơng giảng Môn: Lý thuyết thông tin Chng Mã phát lỗi sửa lỗi Trong chƣơng ta nghiên cứu phƣơng pháp để giảm chiều dài trung bình mã dựa vào xác suất xuất lớp tin chƣơng ta lại thêm vào số bít kiểm tra để phát sai sửa sai để đảm bảo chất lƣợng Cụ thể ta nghiên cứu đến loại mã là:  Mã khối tuyến tính  Mã Hamming  Mã vòng  Mã chập Mỗi loại mã đƣa phƣơng pháp lập mã giải mã Để học tốt chƣơng sinh viên cần có kiến thức nhân chia đa thức phép biến đổi sơ cấp ma trận Chƣơng 6: Mã mật Chƣơng đƣợc nghiên cứu với mục đích đảm bảo tính hữu hiệu hệ thống truyền tin chƣơng đƣợc nghiên cứu với mục đích đảm bảo chất lƣợng chƣơng đảm bảo tính an tồn Trong chƣơng ta nghiên cứu số hệ thống mật mã đơn giản để có cách nhìn sơ lƣợc mã mật sau tập trung vào trình bày cách thức cơng vào hệ thng mt mó Đề c-ơng giảng Môn: Lý thuyÕt th«ng tin CHƢƠNG 1: KHÁI NIỆM CHUNG 1.1 Khái niệm chung hệ thống thông tin truyền tin 1.1.1 Thơng tin - Hai ngƣời nói chuyện với Cái mà họ trao đổi gọi thông tin - Một ngƣời xem tivi/nghe đài/đọc báo, ngƣời nhận thơng tin từ đài phát/báo - Q trình giảng dạy lớp Nhận xét: + Thông tin đƣợc truyền từ đối tƣợng sang đối tƣợng khác để báo “điều” Thơng tin ch có ý nghĩa “điều” bên nhận chƣa biết + Thơng tin xuất dƣới nhiều dạng nhƣ âm thanh, hình ảnh… + Ngữ nghĩa thơng tin ch hiểu đƣợc bên nhận hiểu đƣợc cách biểu diễn ngữ nghĩa bên phát + Một phƣơng tiện để diễn đạt thông tin ngôn ngữ + Có hai trạng thái thơng tin: Truyền lƣu trữ Môi trƣờng truyền/lƣu trữ đƣợc gọi chung môi trƣờng chứa tin hay kênh tin Định nghĩa: Thông tin cảm hiểu ngƣời giới xung quanh (thơng qua tiếp xúc với nó) 1.1.2 Tín hiệu Thơng tin tƣợng vật lý, thƣờng tồn đƣợc truyền dƣới dạng vật chất Những dạng vật chất dùng để mang thơng tin đƣợc gọi tín hiệu Định nghĩa: Tín hiệu biểu diễn vật lý thơng tin Ví dụ: Các tín hiệu nhìn thấy song ánh sang mang thông tin tới mắt Các tín hiệu nghe thấy biến đổi áp suất khơng khí truyền thơng tin tới tai Chú ý: Khơng phải thân q trình vật lý tín hiệu, mà biến đổi tham số riêng trình vật lý tín hiệu Các đặc trƣng vật lý dòng điện, điện áp, ánh sáng, âm thanh, trƣờng điện từ 1.2 Mơ hình hệ thống truyền tin Sự truyền tin (transmission): Là dịch chuyển thông tin từ điểm đến điểm khác môi trƣờng xác nh Đề c-ơng giảng Môn: Lý thuyết thông tin Hệ thống thông tin (hệ thống truyền tin) hệ thống thực việc chuyển tin từ nguồn đến đích Ta xét hệ thống thơng tin tổng qt nhƣ hình vẽ dƣới Nguồn tin Bộ phát Kênh truyền Bộ thu Ngƣời dùng Nhiễu Ba phần tử hệ thống thông tin phải có máy phát, máy thu kênh truyền Mỗi phần tử có vai trị định việc truyền dẫn tín hiệu Máy phát xử lý tín hiệu đầu vào tạo tín hiệu có đặc tính thích hợp với kênh truyền dẫn Q trình xử lý tín hiệu để truyền dẫn chủ yếu điều chế mã hóa (modulation and coding) Kênh truyền môi trƣờng điểm phát điểm thu Kênh truyền cáp song hành, cáp đồng trục, cáp quang hay môi trƣờng vô tuyến Mọi kênh truyền gây độ suy hao độ tổn thất truyền dẫn Vì cƣờng độ tín hiệu bị suy giảm dần theo khoảng cách Máy thu lấy tín hiệu đầu từ kênh truyền để xử lý tái tạo ngƣợc lại tín hiệu đầu phát Các hoạt động máy thu bao gồm khuếch bù vào tổn hao truyền dẫn, giải điều chế giải mã tín hiệu đƣợc điều chế mã hóa máy phát 1.3 Các yêu cầu hệ thống truyền tin 1.3.1 Tính hữu hiệu Thể mặt sau: - Tốc độ truyền tin cao - Truyền đƣợc đồng thời nhiều tin khác - Chi phí cho bit thơng tin thấp 1.3.2 Độ tin cậy Đảm bảo độ xác việc thu nhận tin cao, xác suất thu sai thấp (BER – Bit Error Rate) Hai ch tiêu mâu thuẫn Giải mâu thuẫn nhim v ca Đề c-ơng giảng Môn: Lý thut th«ng tin lý thuyết thơng tin 1.3.3 An tồn - Bí mật: + Khơng thể khai thác thơng tin trái phép + Ch có ngƣời nhận hợp lệ hiểu đƣợc thông tin - Xác thực: Gắn trách nhiệm bên gửi – bên nhận với tin (chữ ký số) - Tồn vẹn: + Thơng tin khơng bị bóp méo (cắt xén, xun tạc, sửa đổi) + Thơng tin đƣợc nhận phải nguyên vẹn nội dung hình thức - Khả dụng: Mọi tài nguyên dịch vụ hệ thống phải đƣợc cung cấp đầy đủ cho ngƣời dùng hợp pháp 1.4 Độ đo thông tin Các mục sau khảo sát lƣợng đo thông tin cách chi tiết hơn, ch nêu khái niệm ban đầu lƣợng tin để so sánh định lƣợng thơng tin với Từ giúp cho dễ nhận thức ch tiêu chất lƣợng đề xây dựng phƣơng pháp xử lý thông tin Một tin tức ngƣời nhận mang hai đặc tính: Độ bất ngờ tin ý nghĩa tin Để so sánh tin với ngƣời ta dùng hai đặc tính dùng hai đặc tính làm thƣớc đo Tuy nhiên nội dung mang tính ý nghĩa tin không ảnh hƣởng đến vấn đề hệ thống thông tin (hệ thống thơng tin địi hỏi hai vấn đề tốc độ truyền tin độ xác) Trong độ bất ngờ tin lại liên quan đến vấn đề Một tin có xác suất xuất nhỏ độ bất ngờ lớn (càng bất ngờ) xuất tác động mạnh lên giác quan ngƣời, cho lƣợng tin chúng lớn Xét tin x có xác suất xuất p(x) xem tin nhƣ tin tập có 1/p(x) tin với tin có xác suất xuất nhƣ Nếu p(x) nhỏ 1/p(x) lớn “lƣợng tin” nhận đƣợc tin lớn Vậy “lƣợng tin” tin t lệ thuận với số khả tin t lệ nghịch với xỏc sut xut hin ca tin ú Đề c-ơng giảng Môn: Lý thuyết thông tin nh ngha lng tin: Lƣợng đo thông tin tin đƣợc đo logarit độ bất ngờ tin hay nghịch đảo xác suất xuất tin I ( x)  log n   log p(ai ) p( x) i 1 Đơn vị lƣợng tin: Cơ số 2: đơn vị Bit Cơ số e: đơn vị Nat Cơ số 10: đơn vị Hartley 1.5 Số hóa nguồn tin liên tục Rời rạc hố thƣờng bao gồm hai loại: Rời rạc hoá theo trục thời gian, đƣợc gọi lấy mẫu (sampling) rời rạc hố theo biên độ, cịn đƣợc gọi lượng tử hoá (quantize) 1.5.1 Lấy mẫu (Sampling) Lấy mẫu bƣớc q trình biến đổi tín hiệu tƣơng tự sang số Mục đích bƣớc lấy mẫu từ tín hiệu tƣơng tự tạo nên dãy xung rời rạc theo thời gian (thực chất việc nhân tín hiệu thoại đầu vào với chuỗi xung nhịp f s = t Ví dụ: x a (t) hàm theo thời gian, t biến lẫy mẫu rời rạc hóa biến t Định lý lấy mẫu: Nếu ta muốn khơi phục tín hiệu tƣơng tự tín hiệu lấy mẫu cách trung thành tần số lấy mẫu lớn hai lần bề rộng phổ tín hiệu (bề rộng băng tần bản) Fs  2B Ts  2B Fs Tần số lấy mẫu Ts Chu kỳ lấy mẫu B Bề rộng phổ tín hiệu Nếu Fs = 2B tần số lấy mẫu gọi tn s Nyquist Đề c-ơng giảng Môn: Lý thut th«ng tin 1.5.2 Lƣợng tử hóa (Quantizing) Lƣợng tử hóa tức rời rạc hóa hàm  a (t) hay nói cách khác chia dải động tín hiệu thành M mức (mức biên độ chuẩn đƣợc định nghĩa sẵn dải biên độ tín hiệu cho trƣớc ) sau thực làm trịn xung lấy mẫu mức gần Việc lƣợng tử hoá biến đổi hàm s(t) ban đầu thành hàm s’(t) có dạng hình bậc thang Sự khác s(t) s’(t) đƣợc gọi sai số lƣợng tử Sai số lƣợng tử nhỏ s’(t) biểu diễn xác s(t) 1.5.3 Mã hóa (Coding) Q trình mã hóa biến đổi mức lƣợng tử hóa thành từ mã, thông thƣờng từ mã nhị phân Trong tín hiệu nhị phân, “0” “1” đƣợc thể hai mức điện áp khác §Ị c-ơng giảng Môn: Lý thuyết thông tin CHNG 2: THÔNG TIN 2.1 Lƣợng tin nguồn rời rạc 2.1.1 Khái niệm nguồn tin rời rạc - Nguồn rời rạc: nguồn tạo chuỗi biến ngẫu nhiên, rời rạc - Ký hiệu: Phần tử nhỏ chứa thông tin VD ký tự chữ - Bộ ký hiệu: Tập tất ký hiệu [X]={x1,x2,…xn} - Từ: Tập hợp hữu hạn ký hiệu ký hiệu - Bộ từ: Tập hợp tất từ mà ký tự tạo - Nguồn rời rạc không nhớ: Xác suất xuất ký hiệu không phụ thuộc vào ký hiệu trƣớc - Nguồn rời rạc có nhớ: Xác suất xuất ký tự phụ thuộc vào nhiều ký tự xuất trƣớc 2.1.2 Lƣợng tin nguồn rời rạc Lƣợng tin riêng: Mỗi lớp tin xi nguồn tin X có lƣợng tin riêng   log n p( xi ) đƣợc xác định theo công thức: I ( xi )  log n p( xi ) Đơn vị lƣợng tin: - Cơ số n = 2: Bit (Binary – nhị phân) - Cơ số n = e: Nat (đọc nit – nature) - Cơ số n = 10: Harley Trong mơn học tập trung trình bày mã nhị phân nên mặc định n = Trong hệ thống thông tin, việc truyền tin từ nguồn tin X đến nơi nhận Y đƣợc coi nhƣ phép biến đổi (ánh xạ) từ không gian X tới không gian Y Do tác động nhiễu nên ánh xạ khơng phải ánh xạ 1-1 Nói cách khác, việc nhận đƣợc lớp tin yj cụ thể nơi nhận ch cho biết khả tin tức nguồn tin X truyền lớp tin xi, điều theo quan điểm thống kê xác định đƣợc xác suất có điều kiện xuất lớp tin xi nguồn với điều kiện nơi nhận nhận đƣợc lớp tin yj Xác suất đƣợc gọi xác suất có điều kiện, ký hiệu p(xi/yj) p(xi/yj): xác suất có điều kiện xuất lớp tin xi nguồn với điều kiện nơi nhận nhận đƣợc lớp tin yj p(yj/xi):xác suất có điều kiện xuất lớp tin yj nơi nhận tin với điều kiện nguồn tin phát i lp tin xi Đề c-ơng giảng Môn: Lý thut th«ng tin Ngồi ta cịn xác định đƣợc xác suất xuất đồng thời lớp tin x i nguồn yi nơi nhận p(xi,yi) Theo quy luật phân bố xác suất có điều kiện ta có: n  p( x / y )  j 1 i j m  p( y i 1 j / xi )  Để giải toán truyền tin đặt nhận đƣợc lớp tin y j tập tập YM, xác định lớp tin tƣơng ứng tập XN đầu vào Ở ta xác định đƣợc xác lớp tin xi đầu vào mà ch đƣa khả xảy nguồn Lƣợng tin tƣơng hỗ: Là lƣợng tin tin xi nguồn tin XN chứa tin yj nơi nhận tin YM đƣợc gọi lƣợng tin tƣơng hỗ xi yj lƣợng tin ban đầu xi trừ lƣợng tin lại xi sau nhận đƣợc yj I ( xi, yj )  I ( xi )  I ( xi | y j ) I ( xi, yj )   log P( xi )  log P( xi | y j ) I ( xi , yj )  log P( xi | y j ) P( xi ) Lƣợng tin có điều kiện: Lƣợng tin cịn lại xi sau nhận đƣợc yj đƣợc gọi lƣợng tin có điều kiện xi với điều kiện nơi nhận nhận đƣợc yj I ( xi | y j )   log p( xi | y j ) Lƣợng tin cịn lại lƣợng tin nhiễu phá hủy không đến đƣợc nơi nhận 2.2 Entropi nguồn rời rạc 2.2.1 Định nghĩa Lƣợng tin trung bình đƣợc hiểu lƣợng tin trung bình tin nguồn tin cho Khi nhận đƣợc tin, ta nhận đƣợc lƣợng tin trung bình, đồng thời độ bất ngờ tin đƣợc giải thoát, độ bất ngờ tin lƣợng tin ý nghĩa vật lý trái ngƣợc nhƣng số đo lại Độ bất ngờ lớp tin xi nguồn tin XN đƣợc tính entropy riêng lớp tin xi nguồn tin XN Đề c-ơng giảng Môn: Lý thuyết th«ng tin Ví dụ 5.3.2.1: x7 + = (1 + x + x3)(1 + x + x2 + x4) Nên ta sử dụng g(x) = (1 + x + x3) đa thức sinh m = 3, n =  k = Ta có mã vịng (n,k) = (7,4) Nếu sử dụng g(x) = (1 + x + x2 + x4) đa thức sinh m = 4, n =  k = Ta có mã vịng (n,k) = (7,3) Ví dụ 5.3.2.2: Cho vector tin u = 1101 Từ mã vòng đƣợc sinh đa thức sinh g(x) = (x3 + x +1) Tìm từ mã v Giải: Vector tin đƣợc viết dƣới dạng đa thức nhƣ sau: u(x) = (x3 + x2 +1) Từ mã v đƣợc sinh đa thức sinh nhƣ sau: v(x) = u(x).g(x) v(x) = (x + x +1) (x3 + x +1)= (1+x+x2 +x3 +x4+x5+x6) Từ mã viết dƣới dạng vector: v = 1111111 Mặt khác, ta tìm đƣợc từ mã v cách sử dụng ma trận sinh đƣợc xây dựng từ đa thức sinh g(x) nhƣ sau:  g ( x)   xg ( x)    G =  x g ( x)  =      x k 1 g ( x ) g0 0      g1 g0 g1 gm 0 gm g0 0      g1 g m  Ví dụ 5.3.2.3: Cho vector tin u = 1101 Từ mã vòng đƣợc sinh đa thức sinh g(x) = (1 + x2 + x3) Tìm từ mã v ma trận sinh G Giải: Ma trận sinh đƣợc xây dựng từ đa thức sinh g(x) nhƣ sau: 1 0 G = 0  0 1 0 v = u.G = [1 1]  0  0 1 0 1 0 1 0 1 1 1 1 1 1 0 0 0 0 0  1 0 0 = [1 0 1] 0  1 43 Đề c-ơng giảng Môn: Lý thuyết thông tin 5.3.3 Mã vòng hệ thống Cũng giống nhƣ mã khối tuyến tính để giảm độ phức tạp ta dùng mã vòng hệ thống Thủ tục tạo mã vòng hệ thống nhƣ sau: Vector tin biểu diễn dƣới dạng đa thức: u(x) = uk-1xk-1 + + u1x+u0 Ở dạng hệ thống, bít tin thành phần vector mã, cách dịch bít tin vào k tầng cuối bên phải ghi từ mã, sau thêm bít kiểm tra vào n – k tầng cuối bên trái Để đƣợc nhƣ tính tốn mặt đại số cho đa thức tin bị dịch traí n-k vị trí xn-k u(x) = uk-1xn-1+ u1xn-k+1 +xn-k u0 Nếu tiếp tục chia cơng thức cho g(x) kết đƣợc biểu diễn nhƣ sau: xn-ku(x) = q(x)g(x) + r(x) Hay r(x) = xn-ku(x) mod g(x) r(x) = r n-k-1x n-k-1+ +r1x+ r0 Khi đa thức từ mã tƣơng ứng với vector mã v = (uk uk-1 u0 rn-k-1 r1 r0 ) Ví dụ 5.3.3: Tạo mã vòng dạng hệ thống sử dụng đa thức sinh g(x) = x3+x2+ 1cho mã vòng (7,4) cho vector tin u = [1 1] Giải: Từ vector tin u = [1 1] ta suy đa thức tin u(x) = (1 + x2 + x3 ) Vậy n = 7, k =  m = n – k = Nhân x3u(x) ta đƣợc: x3u(x) = x3(1 + x2 + x3) = x3 + x5 + x6 Chia x3u(x) cho g(x) theo cách chia đa thức ta có: x3 + x5 + x6 = (1 +x + x2 + x3) (1+x+x3) + Thƣơng g(x) Phần dƣ Vậy v(x) = x3u(x)+ r(x) = x6+ x5+ x3 +1 v =1 1 Bít tin 0 Bít kiểm tra  Phƣơng pháp tạo mã Bài toán đặt là: Cho từ mã u, cho số lỗi sai có khả sửa s Tìm từ mã mang tin v 44 Đề c-ơng giảng Môn: Lý thuyết thông tin Các bƣớc tạo mã nhƣ sau:  Bƣớc 1: Cho từ mã chứa thông tin, xác định đƣợc Từ số sai sửa suy n dựa vào cơng thức: ∑  Bƣớc 2: Phân tích xn +1 thành nhân tử Chọn g(x) đa thức sinh có bậc cao số đa thức phân tích (thƣờng có bậc n-k)  Bƣớc 3: Nếu mã khơng hệ thống từ mã v(x)=u(x).g(x) Nếu mã hệ thống lấy xn-ku(x) sau chia cho g(x) đƣợc phần dƣ r(x) v(x) =xn-ku(x)+r(x) Ví dụ: Cho u = 1010, s = tìm v 5.3.4 Phƣơng pháp giải mã Giải mã toán đầu thu ta thu đƣợc từ mã v, biết đa thức sinh số lỗi sửa s từ tìm từ mã chứa thơng tin ban đầu u Nguyên tắc giải mã dựa phép chia dịch vòng Các bƣớc giải mã:  Bƣớc 1: Từ v ta suy v(x) Lấy v(x) chia cho đa thức sinh g(x) ta thu đƣợc thƣơng số phần dƣ r(x) Nếu phần dƣ r(x)=0 từ mã thu đƣợc chuyển sang bƣớc 3, ngƣợc lại phần dƣ r(x) ≠0 từ mã thu đƣợc sai chuyển sang bƣớc  Bƣớc 2: Ta chuyển phần dƣ sang dạng vector tính trọng số Hamming phần dƣ, ký hiệu w(r) o Nếu w(r)  s v(x)=u(x)+r(x) chuyển sang bƣớc o Nếu w(r) > s Tiến hành dịch trái dịch phải số lần w(r)  s dừng lại Khi v(i)đ(x) = v(i)(x) + r(i)(x) Dịch theo chiều ngƣợc lại số lần dịch để tìm từ mã  Bƣớc 3: o Nếu mã khơng hệ thống u(x) = vđ(i ) ( x) g ( x) o Nếu mã hệ thống bỏ r bít vị trí cuối v(x) ta thu đƣợc u(x) Chúng ta biết rằng, dịch vòng từ mã việc mã hóa đa thức tin liên quan đến việc nhân đa thức với đa thức khác Để thực việc ta sử dụng mạch nhõn 45 Đề c-ơng giảng Môn: Lý thuyết thông tin 5.4 Mã chập (Convolution code) 5.4.1 Khái niệm Mã chập đƣợc tạo cách cho dãy thông tin qua ghi dịch tuyến tính có hữu hạn trạng thái Thanh ghi dịch gồm K nhịp, nhịp gồm k bit n tạo hàm đại số tuyến tính Mã chập mã tuyến tính có ma trận sinh có cấu trúc cho phép mã hóa xem nhƣ phép lọc (hoặc lấy tổng chập) Mã chập đƣợc sử dụng rộng rãi thực tế Bởi mã hóa đƣợc xem nhƣ tập hợp lọc số tuyến tính với dãy mã đầu lọc đƣợc phép xen kẽ Các mã chập mã đƣợc xây dựng thuật toán giải mã định mềm hiệu Mã chập thƣờng biểu diễn thông qua ba thơng số (n, k, K) đó: k: số bít liệu đầu vào n: số bít liệu đầu K: Số phần tử ghi dịch Ta ch xem xét lập mã chập nhị phân thông dụng với k = tức mã hóa bít tin đƣợc dịch vào mã hóa bít Tốc độ lập mã: Rc = k n 5.4.2 Biểu diễn lập mã chập Để mô tả lập mã chập ta cần xác định đặc tính hàm lập mã cho từ chuỗi đầu vào tính đƣợc chuỗi đầu Những phƣơng pháp chung thƣờng đƣợc sử dụng để biểu diễn lập mã chập biểu đồ liên kết, sơ đồ trạng thái, sơ đồ sơ đồ lƣới Sau ta khảo sát chi tiết cách biểu diễn a Biểu đồ liên kết Ta sử dụng cấu trúc cụ thể để khảo sát mã hóa chập nhƣ sau: v1 C uỗi đầu vào u z z C uỗi đầu v z v2 Với cấu trúc k = 1, n =2 (hai đầu ứng với hai cộng modul 2), số phần tử ghi dịch K = Tỷ lệ lập mó chp l ẵ; 46 Đề c-ơng giảng Môn: Lý thut th«ng tin Với bít thời gian đầu vào, bít đƣợc dịch vào tầng (tầng bên trái) bít ghi đƣợc dịch vị trí bên phải Sau chuyển mạch đầu lâ ý mẫu đầu cộng modul Một cách mã hóa ch tập n vector liên kết, vector liên kết cộng modul Mỗi vector liên kết có kích thƣớc K mơ tả liên kết ghi Với lập mã hình ta chso thể viết vector liên kết g cho cộng modul g2 cho cộng modul dƣới g1 = 111 g2 = 101 Ta xét vector tin u = 101 Ba bít mang tin đầu vào, bít thời điểm t1, t2, t3 Thời điểm t4 , t5 để làm ghi Thời Tín hiệu điểm vào t0 Z1 Z2 Z3 v1 v2 v 0 0 0 00 t1 1 0 1 11 t2 , 0 1 10 t3 1 0 00 t4 0 1 10 t5 0 1 11  Biểu diễn đa thức Trong vài trƣờng hợp, liên kết lập mã đƣợc biểu diễn đa thức tổng hợp Ta mơ tả lập mã nhƣ tập n đa thức tổng hợp Mỗi đa thức có bậc K-1 nhỏ biểu diễn liên kết ghi dịch mã hóa với cộng modul 2, tƣơng tự nhƣ vector liên kết Hệ số phần tử đa thức bậc K-1 0, phụ thuộc vào vị trí cố hay khơng có liên kết hai ghi dịch mã với cộng Trong ví dụ ta viết đa thức g1(x) cho liên kết với cộng đa thức g2(x) với liên kết với cộng dƣới: g1 = + x + x2 g2 = + x2 Ở phần tử đa thức đƣợc xếp phù hợp với tầng đầu vào ghi Dãy đầu tìm đƣợc nhƣ sau: v(x) = u(x) g1(x) kết hợp với v(x) = u(x) g2(x) Ví dụ vector tin u = 101, đa thức, đa thức tƣơng ứng + x2 Chúng ta lại sử dụng số theo sau bít tin để flush ghi Dãy đầu hay đa thức đầu v(x): u(x) g1(x) = (1 + x2)(1 + x + x2 ) = + x + x3 + x4 47 Đề c-ơng giảng Môn: Lý thuyết thông tin u(x) g2(x) = (1 + x2 )(1 + x2 ) = + x4  u(x) = (1,1) + (1,0)x + (0,0)x2 + (1,0)x3 + (1,1)x4 u = 11 b Mô tả trạng thái 10 00 10 11 Trạng thái lập mã chập tốc độ 1/n đƣợc xác định nội dung K-1 tầng cuối Các trạng thái đƣợc thể hộp chữ nhật sơ đồ, biểu diễn khả nội dung K-1 tầng cuối ghi dịch (2K-1 trạng thái) hộp chữ nhật có chuyển đổi trạng thái theo hƣơng mũi tên Trên mũi tên có ghi giá trị đầu vào đầu chuyển trạng thái Với ví dụ có ghi cuối có trạng thái 00, 01, 10, 11 Sơ đồ sau minh họa tất chuyển tiếp trạng thái có lập mã: 0/00 00 0/11 1/11 0/10 10 01 1/00 1/01 11 0/01 1/10 Nhƣợc điểm sơ đồ: không cho biết thời gian bắt đầu kết thúc c Sơ đồ Mặc dù sơ đồ trạng thái đƣa hồn ch nh đặc tính lập mã nhƣng không không cho biết thời gian bắt đầu kết thúc Sơ đồ cộng với chiều thời gian cải tiến vấn đề Với chuỗi bít đầu vào đƣợc mơ tả đƣờng sơ đồ từ trái qua phải, nhánh mô tả từ nhánh đầu Quy luật nhƣ sau:  Nếu đầu vào từ nhánh liên kết đƣợc tìm dịch chuyển đến nhánh bên  Nếu đầu vào từ nhánh liên kết đƣợc tìm dịch chuyển đến nhánh bên dƣới Cộng với chiều thời gian sơ đồ cho phép mô tả cách linh hoạt lập mã nhƣ hàm chui u vo c bit 48 Đề c-ơng giảng M«n: Lý thuyÕt th«ng tin 00 00 11 00 10 11 01 11 10 00 11 01 01 10 Nhƣợc điểm: Khi chuỗi đầu vào có độ dài lớn số nhánh tăng lên theo hàm mũ d Sơ đồ lƣới Sơ đồ lƣới cho biết mặt thời gian nhƣ chuyển đổi trạng thái giá trị đầu vào giá trị đầu mà sơ đồ lƣới đƣợc dùng để giải mã chập Quy ƣớc: Nếu bít đầu vào đƣờng nét đứt Nếu bít đầu vào thỡ l ng nột lin 49 Đề c-ơng giảng M«n: Lý thuyÕt th«ng tin t1 00 t2 00 t3 00 11 11 t4 00 11 t5 00 11 11 11 t6 00 11 11 10 Trạng thái n-k g i cuối 10 00 00 00 10 10 10 01 01 01 01 01 01 01 01 11 10 10 10 5.4.3 Giải mã chập Để giải mã chập ngƣời ta dùng sơ đồ lƣới sử dụng thuật toán Viterbi Thuật toán dựa giá trị đầu thu đƣợc, so sánh với giá trị đầu lƣới Tính khoảng cách mã (Khoảng cách Hamming hai từ mã) Sau khoảng thời gian đủ lớn ta loại bỏ dần đƣờng khoảng cách lớn, ch giữ lại đƣờng có khoảng cách nhỏ gọi đƣờng sống sót Đây đƣờng mã cần tìm Giả sử đầu ta thu đƣợc từ mã 11 10 00 10 11, ta tiến hành so sánh giá trị đầu thu đƣợc với giá trị đầu lƣới Tính khoảng cách Hamming hai từ mã Sau tìm đƣờng mã cho khoảng cách mã nhỏ t1 00 t2 Trạng thái n-k g i cuối t3 1 t4 2 t5 1 t6 0 10 0 1 01 2 1 11 1 Gía trị t u 11 10 00 10 11 Gía trị đầu vào 1 0 50 Đề c-ơng giảng M«n: Lý thuyÕt th«ng tin Giả sử đầu ta thu đƣợc từ mã 11 11 10 01 00, ta tiến hành so sánh giá trị đầu thu đƣợc với giá trị đầu lƣới Tính khoảng cách Hamming hai từ mã Sau tìm đƣờng mã cho khoảng cách mã nhỏ t1 00 t2 Trạng thái n-k g i cuối t3 t4 1 t5 1 t6 10 1 0 01 2 1 11 Gía trị t u 11 11 10 01 00 Gía trị u vo 1 1 51 Đề c-ơng giảng Môn: Lý thuyết thông tin CHNG 6: M MẬT 6.1 Giới thiệu chung hệ thống mật mã Mong muốn đƣợc trao đổi thông tin cách bí mật địi hỏi ngƣời xuất hiên từ sớm lịch sử Vì lịch sử việc trao đổi thông tin mật phong phú bao gồm phát minh độc đáo Ngành học nghiên cứu cách thức che dấu thông tin đối tƣợng không mong muốn đƣợc gọi mật mã học  Phân loại hệ thống mật mã  Xét cách thức tiến hành mã hóa ta chia q trình mật mã thành hai loại:  Mã hóa khối: Dữ liệu trƣớc mã hóa bị chia nhỏ thành khối có độ dài cố định, sau khối đƣợc mã húa mt cỏch c lp Do ú, 52 Đề c-ơng giảng Môn: Lý thuyết thông tin nu s dng khóa việc mã hóa các khối văn gốc giống cho ta khối văn mã hóa giống  Mã hóa chuỗi liệu: Tƣơng tự nhƣ mã chập, độ dài không cố định Mỗi bít văn gốc m đƣợc mã hóa thành phần thứ i chuỗi ký hiệu đƣợc hình thành từ từ khóa  Xét mối quan hệ mã hóa giải mã ta chia trình mật mã thành hai loại:  Hệ thống mật mã đối xứng (bí mật): Là hệ thống sử dụng khóa cho mã hóa giải mã  Hệ thống mật mã khơng đối xứng (cơng khai): Có hai khóa, khóa dùng cho lập mã cơng bố rộng rãi, khóa cịn lại dùng để giải mã đƣợc giữ bí mật 6.2 Một số hệ thống mật mã  Bảng ch cỏi Vớ d: 53 Đề c-ơng giảng Môn: Lý thut th«ng tin  Ma trận vng Polybius: Bảng chữ đƣợc xếp thành ma trận 5x5 (chữ i chữ J đƣợc gộp lại nhƣ chữ) A B C D E F G H IJ K L M N O P Q R S T U V W X Y Z  Mã lũy tiến Đây ví dụ mã hóa chữ bội Hàng 0: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Hàng 1: B C D E F G H I J K L M N O P Q R S T U V W X Y Z A Hàng 2: C D E F G H I J K L M N O P Q R S T U V W X Y Z A B Hàng 25:Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Phƣơng pháp sử dụng chữ chữ mã hóa hàng 1, chữ thứ mã hóa hàng nhƣ tiếp tục 6.3 Những cách thức công vào hệ thống mật mã Hệ thống cơng có bốn khả công hệ thống mật mã tùy thuộc vào thơng tin thu thập đƣợc  Ch biết tin mật mã: Trong trƣờng hợp hệ thống cơng ch có tay tin mật mã Q trình phân tích phải dựa tính chất thống kê, phân bố tính chất khác tin mật mã – điều đƣợc truyn cụng khai trờn kờnh truyn 54 Đề c-ơng giảng Môn: Lý thuyết thông tin Bit y phần tin gốc tin mật mã tƣơng ứng: Trong trƣờng hợp hệ thống phân tích may mắn tình cờ có đƣợc tin gốc với tin mật mã tƣơng ứng Chẳng hạn, thông báo ngoại giao pháp lý th nh thoảng đƣợc công bố đồng thời hệ thống phân tích lại thu đƣợc tin mật mã kênh truyền Gọi C tin mật mã, P tin gốc, E thuật toán mã hóa D thuật tốn giải mã C = E(P) Hệ thống phân tích có đƣợc C, P cố gắng tìm E D Những cấu trúc cố định mẫu văn kinh tế, ngoại giao nhƣ cấu trúc ngôn ngữ lập trình thƣờng cung cấp thơng tin văn gốc để hệ thống công thực dạng công loại  Biết tin mật mã tin gốc nào: Trong số trƣờng hợp hệ thống phân tích thâm nhập vào hệ thống gửi để mã hóa gửi tin theo ý muốn Tấn công loại cịn đƣợc gọi cơng lựa chọn tin gốc Chẳng hạn hệ thống phân tích chèn xóa ghi sở liệu quan sát thay đổi xảy tin mật mã Cách công hay đƣợc hệ thống phân tích tận dụng Mặc dù việc công biết trƣớc văn gốc lúc thực đƣợc nhƣng tần suất đủ hệ thống khơng thể coi an tồn trừ hệ thống chống lại đƣợc kiểu cơng  Biết tin gốc thuật tốn: Hệ thống phân tích có đƣợc thuật tốn mật mã với tin mật mã thu đƣợc kênh truyền Hệ thống phân tích cơng cách đơn giản thử mã hóa số lƣợng lớn tin gốc nhận đƣợc tin mật mã thu đƣợc kênh Mục đích q trình thử xác định khóa sử dụng để sử dụng cho giải mã tin tƣơng lai 55 §Ị c-ơng giảng Môn: Lý thuyết thông tin MC LC CHƢƠNG 1: KHÁI NIỆM CHUNG .3 1.1 Khái niệm chung hệ thống thông tin truyền tin .3 1.1.1 Thông tin 1.1.2 Tín hiệu .3 1.2 Mơ hình hệ thống truyền tin 1.3 Các yêu cầu hệ thống truyền tin 1.3.1 Tính hữu hiệu 1.3.2 Độ tin cậy 1.3.3 An toàn 1.4 Độ đo thông tin 1.5 Số hóa nguồn tin liên tục .6 1.5.1 Lấy mẫu (Sampling) 1.5.2 Lƣợng tử hóa (Quantizing) 1.5.3 Mã hóa (Coding) CHƢƠNG 2: THÔNG TIN 2.1 Lƣợng tin nguồn rời rạc 2.1.1 Khái niệm nguồn tin rời rạc 2.1.2 Lƣợng tin nguồn rời rạc .8 2.2 Entropi nguồn rời rạc 2.2.1 Định nghĩa .9 2.2.2 Tính chất Entropy 10 2.3 Kênh rời rạc 10 2.3.1 Định nghĩa 10 2.3.2 Entropy đồng thời 11 2.3.3 Entropi có điều kiện 12 2.3.4 Quan hệ lƣợng tin tƣơng hỗ trung bình entropy 14 2.3.5 Các dạng kênh truyền 156 2.3.6Lƣợc đồ giải mã tối ƣu 16 2.4 Entropy nguồn liên tục 17 2.5 Vấn đề phối hợp nguồn kênh 17 CHƢƠNG 3: M HIỆU .19 3.1 Khái niệm định nghĩa 19 3.1.1 Các khái niệm: .19 3.1.2 Các thông số mã: 19 3.2 Các phƣơng pháp biểu diễn mã 20 3.2.1 Các bảng mã 20 3.2.2 Đồ hình mã 21 3.2.3 Hàm cấu trúc mã 22 3.3 Điều kiện phân tách mã hiệu 22 3.3.1 Điều kiện chung bảng mã phân tách đƣợc 22 3.3.2 Bảng thử mã .23 56 Đề c-ơng giảng Môn: Lý thuyết thông tin 3.3.3 Bất đẳng thức Kraft 24 3.3.4 Thủ tục tạo mã phân tách đƣợc dựa vào độ dài biết từ mã 24 3.4 Mã hệ thống 25 3.4.1 Mã hệ thống tổng quát 25 3.4.2 Mã hệ thống có tính prefix 26 CHƢƠNG 4: M H A NGU N 27 4.1 Mơ hình tốn học nguồn thông tin 27 4.1.1 Định lý giới hạn dƣới độ dài trung bình từ mã 27 4.1.2 Định lý giới hạn độ dài trung bình từ mã 28 4.2 Mã hóa nguồn rời rạc 28 4.2.1 Phƣơng pháp mã hóa Shannon 28 4.2.2 Phƣơng pháp mã hóa Fano 29 4.2.3 Phƣơng pháp mã hóa Huffman 30 CHƢƠNG 5: M H A K NH 33 5.1 Mã khối tuyến tính (Block code) 33 5.1.1 Các khái niệm: 33 5.1.2 Ma trận sinh 34 5.1.3 Mã khối tuyến tính hệ thống 36 5.1.4 Giải mã 37 5.2 Mã Hamming (Hamming Code) 40 5.2.1 Khái niệm 40 5.2.2 Phƣơng pháp tạo mã 40 5.2.3 Giải mã 41 5.3 Mã vòng (Xyclic code) 42 5.3.1 Khái niệm 42 5.3.2 Đa thức sinh ma trận sinh 42 5.3.3 Mã vòng hệ thống 44 5.3.4 Phƣơng pháp giải mã 45 5.4 Mã chập (Convolution code) 46 5.4.1 Khái niệm 46 5.4.2 Biểu diễn lập mã chập 46 5.4.3 Giải mã chập 50 CHƢƠNG 6: M MẬT 52 6.1 Giới thiệu chung hệ thống mật mã 52 6.2 Một số hệ thống mật mã 53 6.3 Những cách thức công vào hệ thống mật mã 54 57 ... số khả tin t lệ nghịch với xác suất xuất tin Đề c-ơng giảng Môn: Lý thuyết thông tin nh nghĩa lƣợng tin: Lƣợng đo thông tin tin đƣợc đo logarit độ bất ngờ tin hay nghịch đảo xác suất xuất tin I... 010011-010011-100011-01001011011-1011-11011-1011 26 Đề c-ơng giảng Môn: Lý thuyết thông tin CHNG 4: M HÓA NGU N Hệ thống truyền tin đƣợc sử dụng để truyền thông tin từ nguồn tin tới nơi nhận tin Nguồn thơng tin có nhiều dạng nguồn... độ đo thông tin nhắc lại sở toán học cần thiết cho việc khảo sát hệ thống truyền tin Chƣơng 2: Thông tin Chƣơng trình bày vấn đề định lƣợng thông tin nguồn tin nhƣ lƣợng tin riêng, lƣợng tin trung