BÀI GIẢNG LÝ THUYẾT THÔNG TIN

BÀI GIẢNG LÝ THUYẾT THÔNG TIN

HỌC VIỆN CƠNG NGHỆ B U CHÍNH VIỄN THƠNG -( - BÀI GIẢNG LÝ THUYẾT THƠNG TIN Biên soạn : PGS.Ts NGUYỄN BÌNH L u hành nội HÀ NỘI - 2006 LỜI NÓI ĐẦU Giáo trình Lý thuy t thơng tin giáo trình c s dùng cho sinh viên chuyên ngành Đi n t – Vi n thông Công ngh thông tin c a H c vi n Công ngh B u Vi n thơng Đây tài li u tham kh o h u ích cho sinh viên chuyên ngành Đi n - Đi n t Giáo trình nh m chu n b t t ki n th c c s cho sinh viên đ h c t p nắm v ng môn k thu t chuyên ngành, đ m b o cho sinh viên có th đánh giá ch tiêu ch t l ng c b n c a h th ng truy n tin cách có cĕn c khoa h c đ Giáo trình g m ch ng, ch c chia thành ph n chính: ng I có tính ch t gi i thi u chung, ch Ph n I: Lý thuy t tín hi u ng u nhiên nhi u (Ch Ph n II: Lý thuy t thông tin mã hóa (Ch Ph n III: Lý thuy t thu t i u (Ch Ph n IV: M t mã (Ch ng 2) ng Ch ng 4) ng 5) ng 6) Ph n I: (Chương II) Nh m cung c p cơng c tốn h c c n thi t cho ch Ph n II: G m hai ch ng l i ng sau ng v i nội dungch y u sau: - Chương III: Cung c p nh ng khái ni m c b n c a lý thuy t thông tin Shannon h truy n tin r i r c m rộng cho h truy n tin liên t c - Chương IV: Trình bày hai h ng ki n thi t cho hai đ nh lý mã hóa c a Shannon Vì khn kh có h n c a giáo trình, h ng (mã ngu n mã kênh) ch đ c trình bày m c độ hi u bi t c b n Đ có th tìm hi u sâu h n nh ng k t qu m i ng d ng c th sinh viên c n ph i xem thêm tài li u tham kh o Ph n III: (Chương V) Trình bày v n đ xây d ng h th ng thu t i u đ m b o t c độ truy n tin độ xác đ t đ c giá tr gi i h n Theo truy n th ng bao trùm lên tồn giáo trình vi c trình bày hai tốn phân tích t ng h p Các ví d giáo trình đ c ch n l c k nh m giúp cho sinh viên hi u đ c khái ni m cách sâu sắc h n Các hình v , b ng bi u nh m mô t cách tr c quan nh t khái ni m ho t động c a s đ kh i ch c nĕng c a thi t b c th Ph n VI: (Chương VI) Trình bày c s lý thuy t h m t bao g m h m t khóa bí m t h m t khóa cơng khai Do khn kh có h n c a giáo trình, s v n đ quan tr ng ch a đ c đ c p t i (nh trao đ i phân ph i khóa, xác th c, đ m b o tính tồn v n …) Sau m i ch ng đ u có câu h i t p nh m giúp cho sinh viên c ng c đ nĕng tính tốn c n thi t hi u sâu sắc h n khái ni m thu t toán quan tr ng c k Ph n ph l c cung c p s ki n th c b xung c n thi t đ i v i s khái ni m quan tr ng v s s li u c n thi t giúp cho sinh viên làm đ c t p đ c ch ng Giáo trình đ c vi t d a c s đ c ng môn h c L thuy t thông tin Bộ Giáo d c Đào t o đ c đúc k t sau nhi u nĕm gi ng d y nghiên c u c a tác gi R t mong đ c s đóng góp c a b n đ c Các đóng góp ý ki n xin g i v KHOA K THU T ĐIỆN T KM 10 Đ Email: - HỌC VIỆN CÔNG NGHỆ B U CHÍNH VIỄN THƠNG NG NGUYỄN TRÃI - TH XÃ HÀ ĐÔNG KhoaDT1@hn.vnn.vn Ho c nguyenbinh1999@yahoo.com Cu i xin chân thành c m n GS Huỳnh H u Tu cho nhi u ý ki n quý báu trao đ i h c thu t có liên quan t i s nội dung quan tr ng giáo trình NG I BIÊN SO N Chương 1: Những vấn đề chung khái niệm CHƯƠNG I: NHỮNG VẤN ĐỀ CHUNG VÀ NHỮNG KHÁI NIỆM CƠ BẢN 1.1 V TRÍ, VAI TRỊ VÀ S THƠNG TIN” L C L CH S PHÁT TRI N C A “LÝ THUY T 1.1.1 V trí, vai trị c a Lý thuy t thơng tin Do s phát tri n m nh m c a k thu t tính tốn h t động, ngành khoa h c m i đ i phát tri n nhanh chóng, là: “Lý thuy t thông tin” Là ngành khoa h c nh ng khơng ng ng phát tri n thâm nh p vào nhi u ngành khoa h c khác nh : Toán; tri t; hoá; Xibecnetic; lý thuy t h th ng; lý thuy t k thu t thông tin liên l c… đ t đ c nhi u k t qu Tuy v y cịn nhi u v n đ c n đ c gi i quy t ho c gi i quy t hồn ch nh h n Giáo trình “ Lý thuy t thơng tin” (cịn đ c g i “C s lý thuy t truy n tin”) ch ph n c a lý thuy t thơng tin chung – Nó ph n áp d ng c a “Lý thuy t thông tin” vào k thu t thông tin liên l c Trong quan h c a Lý thuy t thông tin chung v i ngành khoa h c khác nhau, ta ph i đ c bi t k đ n m i quan h c a v i ngành Xibecnetic đ M i quan h gi a ho t động khoa h c c a ng c mô t hình (1.1) i qu ng tính c a v t ch t Qu ng tính c a v t ch t Thông tin Nĕng l Nĕng l ng ng h c Kh i l ng Công ngh h c Đi u n h c (Xibecnetic) Các lƿnh v c ho t động khoa h c c a ng i Hình 1.1 Quan h gi a hoạt đ ng khoa h c qu ng tính c a v t ch t - Nĕng l ng h c: Là ngành khoa h c chuyên nghiên c u v n đ liên quan t i khái ni m thuộc v nĕng l ng M c đích c a nĕng l ng h c làm gi m s n ng nh c c a lao động chân tay nâng cao hi u su t lao động chân tay Nhi m v trung tâm c a t o, truy n, th , bi n đ i, tích lu x lý nĕng l ng Chương 1: Những vấn đề chung khái niệm - Xibecnetic: Bao g m ngành khoa h c chuyên nghiên c u v n đ có liên quan đ n khái ni m thơng tin tín hi u M c đích c a Xibecnetic làm gi m s n ng nh c c a trí óc nâng cao hi u su t lao động trí óc Ngồi nh ng v n đ đ c xét Xibecnetic nh đ i t ng, m c đích, t i u hoá vi c u n, liên h ng c Vi c nghiên c u q trình thơng tin (nh ch n, truy n, x lý, l u tr hi n th thông tin) v n đ trung tâm c a Xibecnetic Chính v y, lý thuy t k thu t thông tin chi m vai trò r t quan tr ng Xibecnetic - Công ngh h c: g m ngành khoa h c t o, bi n đ i x lý v t li u m i Công ngh h c ph c v đắc l c cho Xibecnetic nĕng l ng h c Khơng có cơng ngh h c hi n đ i khơng th có ngành khoa h c k thu t hi n đ i 1.1.2 S l c l ch s phát tri n Ng i đ t viên g ch đ u tiên đ xây d ng lý thuy t thông tin Hartley R.V.L Nĕm 1928, ông đ a s đo l ng thông tin khái ni m trung tâm c a lý thuy t thông tin D a vào khái ni m này, ta có th so sánh đ nh l ng h truy n tin v i Nĕm 1933, V.A Kachenhicov ch ng minh lo t nh ng lu n m quan tr ng c a lý thuy t thông tin báo “V kh nĕng thông qua c a không trung dây d n h th ng liên l c n” Nĕm 1935, D.V Ageev đ a cơng trình “Lý thuy t tách n tính”, ơng phát bi u nh ng nguyên tắc c b n v lý thuy t tách tín hi u b Nĕm 1946, V.A Kachenhicov thơng báo cơng trình “Lý thuy t th ch ng nhi u’ đánh d u c phát tri n r t quan tr ng c a lý thuy t thông tin Trong hai nĕm 1948 – 1949, Shanon C.E cơng b lo t cơng trình vƿ đ i, đ a s phát tri n c a lý thuy t thông tin lên b c ti n m i ch a t ng có Trong cơng trình này, nh vi c đ a vào khái ni m l ng thơng tin tính đ n c u trúc th ng kê c a tin, ông ch ng minh lo t đ nh lý v kh nĕng thông qua c a kênh truy n tin có nhi u đ nh lý mã hố Nh ng cơng trình n n t ng v ng c a lý thuy t thông tin Ngày nay, lý thuy t thông tin phát tri n theo hai h ng ch y u sau: Lý thuyết thơng tin tốn học: Xây d ng nh ng lu n m thu n tuý toán h c nh ng c s toán h c ch t ch c a lý thuy t thông tin C ng hi n ch y u lƿnh v c thuộc v nhà bác h c l i l c nh : N.Wiener, A Feinstain, C.E Shanon, A.N Kanmôgorov, A.JA Khintrin Lý thuyết thông tin ứng dụng: (lý thuy t truy n tin) Chuyên nghiên c u toán th c t quan tr ng k thu t liên l c đ t có liên quan đ n v n đ ch ng nhi u nâng cao độ tin c y c a vi c truy n tin Các bác h c C.E Shanon, S.O RiCe, D Midleton, W Peterson, A.A Khakevich, V Kachenhicov có nh ng cơng trình q báu lƿnh v c Chương 1: Những vấn đề chung khái niệm 1.2 NH NG KHÁI NI M C BẢN - S Đ H TRUY N TIN VÀ NHI M V C A NÓ 1.2.1 Các đ nh nghƿa c b n 1.2.1.1 Thông tin Đ nh nghƿa: Thơng tin nh ng tính ch t xác đ nh c a v t ch t mà ng i (ho c h th ng k thu t) nh n đ c t th gi i v t ch t bên ho c t nh ng q trình x y b n thân V i đ nh nghƿa này, m i ngành khoa h c khám phá c u trúc thông qua vi c thu th p, ch bi n, x lý thông tin “thông tin” danh t ch không ph i động t đ ch hành vi tác động gi a hai đ i t ng (ng i, máy) liên l c v i Theo quan m tri t h c, thông tin qu ng tính c a th gi i v t ch t (t ng t nh nĕng l ng, kh i l ng) Thông tin không đ c t o mà ch đ c s d ng b i h th c m Thông tin t n t i cách khách quan, không ph thuộc vào h th c m Trong nghƿa khái quát nh t, thông tin s đa d ng S đa d ng có th hi u theo nhi u nghƿa khác nhau: Tính ng u nhiên, trình độ t ch c,… 1.2.1.2 Tin Tin d ng v t ch t c th đ bi u di n ho c th hi n thơng tin Có hai d ng: tin r i r c tin liên t c Ví d : T m nh, b n nh c, b ng s li u, nói,… tin 1.2.1.3 Tín hi u Tín hi u đ i l ng v t lý bi n thiên, ph n ánh tin c n truy n Chú ý: Không ph i b n thân trình v t lý tín hi u, mà s bi n đ i tham s riêng c a trình v t lý m i tín hi u Các đ c tr ng v t lý có th dịng n, n áp, ánh sáng, âm thanh, tr 1.2.2 S đ kh i c a h th ng truy n tin s (Hình 1.2) ng n t T ngu n khác Ngu n tin Đ nh khuôn d ng m1 Mã ngu n Mã b o m t Mã kênh D n kênh Đi u ch S1(t) H th ng đ ng ( Synchronization ) Dòng bit Đa truy nh p Tr i ph D ng sóng s Máy Phát (XMT) K Ê N H Đ u s Nh n tin Đ nh khuôn d ng Gi i mã ngu n m1 Gi i mã m t Gi i mã kênh Chia kênh Gi i u ch Ép ph T i nh n tin khác Kh i c b n Kh i tuỳ ch n Hình 1.2 S đ kh i h th ng truy n tin s Đa truy nh p MáY THU (RCV) Nhi u Đ u vào s Chương 1: Những vấn đề chung khái niệm 1.2.2.1 Ngu n tin N i s n tin: - N u t p tin h u h n ngu n sinh đ - N u t p tin vô h n ngu n sinh đ c g i ngu n r i r c c g i ngu n liên t c Ngu n tin có hai tính ch t: Tính th ng kê tính hàm ý V i ngu n r i r c, tính th ng kê bi u hi n Tính hàm ý bi u hi n khác ch xác su t xu t hi n tin khác ch xác su t xu t hi n c a tin sau dãy tin khác Ví d : P(y/ta) ≠ P(y/ba) 1.2.2.2 Máy phát Là thi t b bi n đ i t p tin thành t p tín hi u t ng ng Phép bi n đ i ph i đ n tr hai chi u (thì bên thu m i có th “sao l i” đ c tin g i đi) Trong tr ng h p t ng quát, máy phát g m hai kh i - Thi t b mã hố: Làm ng m i tin v i t h p ký hi u ch n nh m tĕng m t độ, tĕng kh nĕng ch ng nhi u, tĕng t c độ truy n tin - Kh i u ch : Là thi t b bi n t p tin (đã ho c khơng mã hố) thành tín hi u đ b c x vào không gian d i d ng sóng n t cao t n V nguyên tắc, b t kỳ máy phát có kh i 1.2.2.3 Đ ng truy n tin Là mơi tr ng v t lý, tín hi u truy n t máy phát sang máy thu Trên đ truy n có nh ng tác động làm m t nĕng l ng, làm m t thơng tin c a tín hi u ng 1.2.2.4 Máy thu ng Là thi t b l p l i (sao l i) thơng tin t tín hi u nh n đ c Máy thu th c hi n phép bi n đ i c l i v i phép bi n đ i máy phát: Bi n t p tín hi u thu đ c thành t p tin t ng ng Máy thu g m hai kh i: - Gi i u ch : Bi n đ i tín hi u nh n đ c thành tin mã hoá - Gi i mã: Bi n đ i tin mã hoá thành tin t g i đi) ng ng ban đ u (các tin c a ngu n 1.2.2.5 Nh n tin Có ba ch c nĕng: - Ghi gi tin (ví d nh c a máy tính, bĕng ghi âm, ghi hình,…) đ - Bi u th tin: Làm cho giác quan c a ng i ho c c m bi n c a máy th c m c đ x lý tin (ví d bĕng âm thanh, ch s , hình nh,…) Chương 1: Những vấn đề chung khái niệm - X lý tin: Bi n đ i tin đ đ a v d ng d s d ng Ch c nĕng có th th c hi n b ng ng i ho c b ng máy 1.2.2.6 Kênh truy n tin Là t p h p thi t b k thu t ph c v cho vi c truy n tin t ngu n đ n n i nh n tin 1.2.2.7 Nhi u Là m i y u t ng u nhiên có nh h ng x u đ n vi c thu tin Nh ng y u t tác động x u đ n tin truy n t bên phát đ n bên thu Đ cho g n, ta gộp y u t tác động vào hình 1.2 Hình 1.2 s đ kh i t ng quát nh t c a h truy n tin s Nó có th là: h th ng vơ n n tho i, vô n n báo, rađa, vơ n truy n hình, h th ng thông tin truy n s li u, vô n u n t xa 1.2.2.8 Các ph ng pháp bi n đ i thông tin s kh i ch c nĕng c a h th ng Chương 1: Những vấn đề chung khái niệm Đi u ch Đ nh d ng/ Mã ngu n Mã hoá ký t L ym u L ng t hoá Đi u ch mã xung (PCM) - PCM vi phân - Đi u ch Delta (DM) - DM có t c độ bi n đ i liên t c (CVSD) - Mã hoá d đoán n tính (LPC) - Các ph ng pháp nén: Mã Huffman, mã s h c, thu t toán Ziv_Lempel Mã kênh D ng sóng Các dãy có c u trúc Tín hi u M_tr Tín hi u tr c giao Tín hi u song tr c giao - Mã kh i - Mã liên t c - PSK: Manip pha - FSK: Manip t n s - ASK: Manip biên độ -H nh p - OQPSK: Manip pha t ng đ i m c - MSK - PSK vi phân - FSK - ASK -H nh p D n kênh/ Đa truy c p Tr i ph - Phân chia t n s : FDM/ FDMA - Phân chia th i gian: TDM/ TDMA - Phân chia mã: CDM/ CDMA - Phân chia không gian: SDMA - Phân chia c c tính: PDMA - OFDM Dãy tr c ti p (DS) Nh y t n (FH) Nh y th i gian (TH) Các ph ng pháp h n h p M t mã c n M t mã khố cơng khai - Thu t tốn RSA - Thu t toán logarit r i r c - Thu t toán McElice - Thu t toán Merkle-Hellman - Thu t toán s d ng đ ng cong Elliptic Đ ng -Đ -Đ -Đ -Đ Không k t h p - Hoán v - Thay th - X lý bit - Các ph ng pháp h n h p Mã b o m t Mã hoá theo kh i Mã hố dịng s li u K th p ng sóng mang ng d u ng khung ng m ng Phụ lục 18 Phân b modul c ađ i l ng ng u nhiên phân b chu n ⎧ ⎡ ( x − x )2 x+x) ⎤ ( − ⎪ ⎢ − ⎥ ⎪ ⎢ e 2δ + e 2δ ⎥ x > W ( x ) = ⎨ 2πδ ⎢ ⎥ ⎪ ⎣ ⎦ ⎪ x0 W(x) = ⎨ xδ 2π ⎪ x W(x) = ⎨ n/2 ⎛ n ⎞ δ Γ⎜ ⎟ ⎪ ⎝2⎠ ⎪ x W ( x ) = ⎨ Γ ( m ) δ2m ⎪⎩ δ ⎪⎭ ⎪ x