LÝ THUYẾT THÔNG TIN CHƯƠNG I: CƠ SỞ LÝ THUYẾT THÔNG TIN

CHƯƠNG I: CƠ SỞ LÝ THUYẾT THÔNG TIN 1.1 Khái niệm chung tin tức hệ thống truyền tin 1.1.1 Một số khái niệm - Thông tin: Thơng tin tính chất xác định vật chất mà người (Hoặc hệ thống kỹ thuật) nhận từ giới vật chất bên từ q trình xảy thân - Tin: Tin dạng vật chất cụ thể để biểu diễn thể thơng tin - Tín hiệu: Tín hiệu đại lượng vật lý biến thiên, phản ánh tin cần truyền Khơng phải thân q trình vật lý tín hiệu, mà biến đổi tham số riêng trình vật lý tín hiệu - Vật mang: Trong sống, người ln có nhu cầu trao đổi thơng tin với nhau, có nghĩa có nhu cầu truyền tin (Communication) với Những thông tin truyền mang dạng lượng khác âm điện, sóng điện từ, sóng ánh sáng…Những dạng lượng dùng để mang tin gọi vật mang (Carrier) Nó trình vật lý cụ thể 1.1.2 Hệ thống truyền tin - Sơ đồ khối hệ thống truyền tin tổng qt gồm có ba khâu chính: nguồn tin, kênh tin nhận tin Nguồn tin Nhận tin Kênh tin - Sơ đồ khối hệ thống truyền tin cụ thể Tin tức Mã nguồn Mã kênh Điều chế Nhiễu Tin tức Giải mã nguồn Giải mã kênh Kên h Giải điều chế Nguồn tin nơi sản xuất thông tin + Mã nguồn: Nhằm thay đổi cấu trúc thống kê nguồn tin làm cho cấu trúc thống kê nguồn tin trở lên hợp lý + Mã kênh: Là phương pháp mã hóa sử dụng mã truyền thơng nhanh chóng, chứa đựng nhiều mã kí hợp lệ sửa lỗi phát lỗi xảy + Điều chế: Biến tập tin mã hóa chưa thành tín hiệu để xạ vào khơng gian dạng sóng cao tần (Sóng cao tần: Là sóng điện từ có tần số từ MHz đến 300 MHz) - Kênh: Là mơi trường vật lý tín hiệu truyền từ máy phát đến máy thu Phân loại kênh truyền theo phương thức truyền lan (Kênh truyền sử dụng tượng phản xạ, khúc xạ, nhiễu xạ, kênh truyền sử dụng ống dẫn sóng, cáp đồng trục, dây song hành) tác động nhiễu - Nhận tin: Tương đương nguồn tin, yêu cầu đặt với khối nhận tin phải thu nhận thông tin với độ xác cao - Nhiễu: Là yếu tố ngẫu nhiên ảnh hưởng xấu đến việc thu tin Chia làm loại nhiễu cộng nhiễu nhân: + Nn(t): Nhiễu nhân Nhiễu nhân tác động nhân vào tín hiệu gây phương thức truyền lan tín hiệu thay đổi thơng số vật lý phận môi trường truyền lan tín hiệu qua + Nc(t): Nhiễu cộng Nhiễu cộng sinh tín hiệu ngẫu nhiên khơng mong muốn tác động cộng thêm vào tín hiệu đầu  Nguồn tin: - Nguồn tin nguyên thủy tập hợp tin nguyên thủy (chưa qua phép biến đổi nhân tao nào) ví dụ tiếng nói, âm nhạc, hình ảnh, biến đổi khí tượng… Các tin nguyên thủy phần nhiều hàm liên tục theo thời gian f(t) hàm biến đổi theo thời gian nhiều thông số khác hình ảnh đen trắng h(x,y,t), x, y tọa độ khơng gian hình, thơng tin khí tượng: g( i ,t) i , (i=1,2,…,n) thơng số khí tượng nhiệt độ, độ ẩm, tốc độ gió… Thơng tin nguyên thủy hệ hàm theo thời gian thông số trường hợp thông tin hình ảnh màu: �f ( x, y, z ) � �g ( x, y, z ) �h( x, y, z ) � Thông thường tin ngyên thủy mang tính chất liên tục theo thời gian mức; nghĩa biểu diễn thơng tin dạng hàm s(t) tồn quãng thời gian T lấy giá trị phạm vi ( smin , smax ) Những tin nguyên thủy đưa trực tiếp vào kênh để truyền Cũng phép biến đổi nhân tạo rời rạc hóa theo thời gian theo mức đưa vào kênh truyền Lúc tin trước vào kênh trở thành tin rời rạc Nguồn tin lúc gọi nguồn tin rời rạc kênh tin gọi kênh tin rời rạc để phân biệt với trường hợp đưa tin liên tục vào kênh gọi nguồn liên tục kênh liên tục Để nghiên cứu định lượng nguồn tin hệ thống truyền tin, mơ hình hố tốn học nguồn tin bốn q trình sau : - Quá trình ngẫu nhiên liên tục: Nguồn tiếng nói, âm nhạc, hình ảnh tiêu biểu cho q trình Trong hệ thống thơng tin thoại, truyền truyền hình với tín hiệu điều biên, điều tần thông thường gặp nguồn - Quá trình ngẫu nhiên rời rạc: Một trình ngẫu nhiên liên tục sau lượng tử hoá theo mức trở thành q trình Một ngơn ngữ, tín hiệu điện tín, lệnh điều khiển nguồn rời rạc loại - Dãy ngẫu nhiên liên tục: Đây trường hợp nguồn liên tục gián đoạn hoá theo thời gian, thường gặp hệ thông tin xung điều biên xung (PAM Pulse Amplitude Modulation), điều pha xung (PPM), điều tần xung (PFM)… - Dãy ngẫu nhiên rời rạc: Trong hệ thống thơng tin xung có lượng tử hố điều biên (pha , tần) xung lượng tử hoá, điều xung mã (PCM) Sau giới thiệu sơ lược hai nguồn tin điển hình Đó nguồn Markow nguồn gaussian: Nguồn Markov: nguồn Markov giữ vai trò quan trọng lĩnh vực truyền thơng Nguồn Markov có độ nhớ đặc trưng quan hệ: p ( xin / x jn1 , xkn2 )  p( xin / x jn1 )    L  , có nghĩa xác suất tạo ký hiệu với i j k thời điểm n phụ thuộc vào ký hiệu tạo thời điểm n  không phụ thuộc vào ký hiệu tạo thời điểm n  2, n  Tương tự xây dựng mơ hình nguồn Markov có độ nhớ lớn Nguồn gaussian: nguồn gaussian nguồn tin có biên độ liên tục độ lớn biên độ tuân theo luật phân bố gaussian (hay gọi phân bố chuẩn) x n , x n1 , x n2 , � X  x , x , , x p ( x)  2 e  ( x mx ) / 2 2  sai phương giá trị biên độ, mx giá trị trung bình biên độ nhiễu Nguồn gaussian mơ hình nguồn quan trọng việc mơ hình hố tính tốn hệ thống truyền thông Những vấn đề hệ thống truyền tin - Hiệu suất truyền tin, tốc độ truyền tin thống Đó lượng thơng tin hệ thống cho phép (hay có thể) truyền đơn vị thời gian - Độ xác truyền tin, nói cách khác khả chống nhiễu thống Yêu cầu tối đa với hệ thống truyền tin thực truyền tin nhanh chóng xác 1.2 Lượng tin Entropy nguồn tin 1.2.1 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện lượng tin trung bình - Một tin gồm có hai thuộc tính:  Độ bất ngờ: Chính xác suất xuất tin Tin có xác suất xuất nhỏ độ bất ngờ cao  Ý nghĩa tin: Tin có độ xác cao ý nghĩa lớn a Lượng tin riêng - Lượng tin riêng tin tin xi xi kí hiệu I ( xi ) đại lượng đặc trưng cho thông tin chứa nguồn tin xác định theo biểu thức I ( xi )  log p ( xi ) a   log ap ( xi ) p ( xi ) x + : Xác suất xuất tin i + a>1  a = 2: I ( xi ) đo bit  a = 10: I ( xi ) đo Hart  a = e: I ( xi ) đo Nat b Lượng tin tương hỗ lượng tin có điều kiện - Lượng tin có điều kiện đại lượng đặc trưng cho thông tin bị nhiễu phá hủy xác định theo biểu thức sau: I ( xi | y j )  log + p ( xi | y j ) p ( xi | y j ) a : Là xác suất chuyển đổi từ tin xi - Lượng tin tương hỗ đại lượng thể tin xi p ( xi | y j )   log a sang xi yj chứa yj yj chứa xác định theo biểu thức sau: p ( xi | y j ) I ( xi , y j )  log a p ( xi |)  I ( xi )  I ( xi | y j ) p( x i )  �p( y j ) p( xi | yi ) j - Tính chất: + Lượng tin tương hỗ nhỏ lượng tin riêng + Lượng tin riêng đại lượng không âm + Lượng tin cặp ( xi y j ) tổng lượng tin riêng tin trừ lượng 1.2.2 Khái niệm Entropy thông tin a Khái niệm - Khi nhận tin nhận lượng tin trung bình, đồng thời độ bất ngờ tin giải Như độ bất ngờ lượng tin ý nghĩa vật lý trái ngược biểu thức lại giống - Định nghĩa: Entroy đại lượng đặc trưng cho độ bất định nguồn tin Về biểu thức giống hệt lượng tin trung bình ý nghĩa vật lý trái ngược H ( xi )  log p ( xi ) a   log ap ( xi ) n H ( X )  �p ( xi ) log i 1 p ( xi ) a b Tính chất Entropy - Entropy đại lượng không âm ( H ( X ) �0 ) - Entropy nguồn nguồn có ký hiệu có xác suất xuất xác suất xuất tất ký hiệu lại - Entropy nguồn cực đại xác suất xuất ký hiệu nguồn nhau, lúc độ bất định tin nguồn lớn 1.2.3 Entropy nguồn tin rời rạc nguồn tin liên tục a Entropy nguồn tin rời rạc - Nguồn tín hiệu đầu vào [X]=[ x1 x2 … xn ] Giả sử ký hiệu xi sử dụng với xác suất pi [Px]=[p( x1 ) p( x2 ) … p( xn )] - Tập hợp tất ký hiệu đầu kênh [Y]= [ y1 y2 … ym ] với xác suất ký hiệu [Py] = [p( y1 ) p( y2 )…p( ym )] - Do tính chất nhiễu kênh khơng gian [Y] khác với khơng gian [X] xác suất [Py]#[Px] Với không gian ký hiệu đầu vào đầu kênh ta định nghĩa trường tích �x1 y1 x1 y2 � x2 y1 x2 y2  X Y   � � � xn y1 xn y2 � x1 ym � x2 ym � � � � xn ym �  xiyj xuất đồng thời hai kiện xi yj Ma trận tương ứng với ma trận xác suất �p( x1 y1 ) p ( x1 y2 ) �p( x y ) p ( x y ) 2  P( X , Y )  � � � �p( xn y1 ) p ( xn y2 ) - Từ ma trận xác suất ta có: m p(x i )  �p(x i , y j ) j 1 p( x1 ym ) � p ( x2 ym ) � � � � p( xn ym ) � n p(y j )  �p(x i , y j ) i 1 - Vậy: n  Entropy đầu vào kênh H ( X )  �p(x i ) log ap(xi ) i 1 m  Entropy đầu kênh H (Y )  �p (y j ) log a p( y j ) j 1 n  Entropy đầu vào đầu kênh n  Entropy có điều kiện  m H ( X , Y )  ��p (x i , y j ) log a p(x i ,y j ) i 1 j 1 m H ( X | Y )  ��p(x i , y j ) log a p(x i |y j ) i 1 j 1 H ( X , Y )  H (Y )  H ( X | Y ) b Entropy nguồn tin liên tục - Giả thiết nguồn liên tục có mẫu x(ti) độc lập thống kê với quy luật phân bố xác suất p(x), entropy nguồn liên tục : � H(X )   � p(x) log p(x) dx a � - Entropy có điều khiện nguồn liên tục: � � p(x|y) H(X |Y)   � �p(x, y) log a dxdy �� - Entropy đầu vào đầu là: H ( X , Y )  H (Y )  H ( X | Y ) c Ví dụ: 1.3 Thơng lượng kênh thơng tin 1.3.1 Khái niệm Tốc độ thiết lập tin R: đại lượng đặc trưng cho độ nhanh hay chậm tin xác định số tin lập đơn vị thời gian nhân với entropy nguồn R  n0 H (X) (bit/sec) - Thông lượng kênh lượng tin tối đa mà kênh cho qua đơn vị thời gian mà không gây sai nhầm, ký hiệu C (bit/sec) 1.3.2 Thông lượng kênh rời rạc Thông số thống kê thứ nguồn tin entropy, tuỳ thuộc vào cấu trúc thống kê nguồn Nhưng hình thành tin nhanh hay chậm để đưa vào kênh lại tuỳ thuộc vào tính chất vật lý khác nguồn quán tính, độ phân biệt, v.v , số ký hiệu lập đơn vị thời gian khác Thông số thứ hai nguồn tốc độ tạo thông tin: R= n0H(X) (bit/sec) Độ dư tương đối nguồn tỉ số độ dư nguồn giá trị cực đại entropy: rs = 1- H(X)/H(X)max Tốc độ lập tin đầu kênh có nhiễu khác với tốc độ lập tin đầu vào kênh R  n0 I ( X , Y )  n0 [H(X)-H(X|Y)] Thơng thường R