GIÁO TRÌNH LÝ THUYÊT THÔNG TIN-THÁI NGUYÊN – NĂM 2010 potx

ð I H C THÁI NGUYÊN KHOA CÔNG NGH THÔNG TIN Vũ Vinh Quang – Ch biên Nguy n ðình Dũng, Nguy n Hi n Trinh, Dương Th Mai Thương GIÁO TRÌNH LÝ THUY T THƠNG TIN THÁI NGUN – NĂM 2010 L IM ð U Giáo trình lý thuy t thơng tin đư c biên so n d a gi ng ñã ñư c gi ng d y nhi u năm cho ñ i tư ng sinh viên quy ngành Cơng ngh thơng tin t i khoa Công ngh thông tin ð i h c Thái Nguyên v i vi c tham kh o m t s giáo trình c a trư ng ð i h c khác tài li u nư c ngồi ð đ c giáo trình này, ngư i đ c c n ph i ñư c trang b ñ y ñ ki n th c v toán cao c p, xác su t th ng kê, lý thuy t thu t toán m t ngơn ng l p trình b n (C ho c Pascal) Giáo trình đư c c u trúc g m chương Chương trình bày m t s khái ni m b n v lý thuy t thông tin c u trúc c a h th ng truy n tin, phân lo i môi trư ng truy n tin, v n ñ r i r c hóa ngu n tin liên t c khái ni m v ñi u ch gi i ñi u ch Chương ñưa khái ni m b n v tín hi u ch phân tích ph cho tín hi u, khái ni m v nhi u trình truy n tin Chương trình bày khái ni m b n v đ đo thơng tin, lư ng tin, entropi m i quan h gi a lư ng tin entropi, công th c xác ñ nh lư ng tin entropi d a s c a lý thuy t xác su t, khái ni m v t c ñ l p tin thơng lư ng kênh q trình truy n tin Chương gi i thi u khái ni m chung v mã hóa, u ki n thi t l p, phương pháp bi u di n, thu t tốn mã hóa b n, khái ni m v mã ch ng nhi u mã n tính Chương c a giáo trình gi i thi u v m t s h m t mã n i ti ng th gi i ñ ngư i ñ c tham kh o Trong trình so n th o giáo trình ch c ch n khơng tránh kh i nh ng thi u xót v n i dung hình th c, nhóm biên so n trân tr ng c m ơn nh ng ý ki n quý báu c a b n đ c đ giáo trình đư c hồn thi n Thái Nguyên, tháng 01 năm 2010 Thay m t nhóm biên so n Vũ Vinh Quang CHƯƠNG NH NG KHÁI NI M CƠ B N 1.1 Gi i thi u v lý thuy t thông tin Trong th gi i ngày nay, hàng ngày ph i ti p xúc v i r t nhi u h th ng chuy n t i thông tin khác như: Các h th ng truy n hình phát thanh, h th ng n tho i c ñ nh di ñ ng, h th ng m ng LAN, Internet, h th ng ñ u v i m c đích chuy n thơng tin t nơi phát ñ n nơi thu v i nh ng m c đích khác ð nghiên c u v h th ng này, c n ph i nghiên c u v b n ch t thông tin, b n ch t c a trình truy n tin theo quan m tốn h c, c u trúc v t lý c a môi trư ng truy n tin v n ñ liên quan đ n tính ch t b o m t, t i ưu hóa q trình Khái ni m ñ u tiên c n nghiên c u thông tin: thơng tin đư c hi u t p h p tri th c mà ngư i thu ñư c qua ñư ng ti p nh n khác nhau, thơng tin đư c mang dư i d ng lư ng khác g i v t mang, v t mang có ch a thơng tin g i tín hi u Lý thuy t v lư ng gi i quy t t t v n đ xây d ng m ch, tín hi u Nhưng v n ñ v t c ñ , hi n tư ng nhi u, m i liên h gi a d ng lư ng khác c a thông tin… chưa gi i quy t ñư c mà ph i c n có m t lý thuy t khác lý thuy t thơng tin Lý thuy t thông tin lý thuy t nh m gi i quy t v n ñ b n c a trình truy n tin v n đ v r i r c hóa ngu n, mơ hình phân ph i xác su t c a ngu n đích, v n đ v mã hóa gi i mã, kh ch ng nhi u c a h th ng C n ý r ng lý thuy t thông tin không ñi sâu vào vi c phân tích c u trúc v t lý c a h th ng truy n tin mà ch y u nghiên c u v mơ hình tốn h c mơ t q trình truy n tin quan ñi m c a lý thuy t xác su t th ng kê, ñ ng th i nghiên c u v nguyên t c thu t tốn mã hóa b n, nguyên t c mã ch ng nhi u 1.2 H th ng truy n tin Trong th c t , g p r t nhi u h th ng đ truy n thơng tin t ñi m t i ñi m khác, th c t nh ng h th ng truy n tin c th mà ngư i ñã s d ng khai thác có r t nhi u d ng, phân lo i chúng ngư i ta có th d a nhi u s khác 1.2.1 Các quan ñi m ñ phân lo i h th ng truy n tin • Theo lư ng Năng lư ng m t chi u (ñi n tín) Vơ n n (sóng n t ) Quang (cáp quang) Sóng siêu âm (la-de) • Theo bi u hi n bên H th ng truy n s li u H th ng truy n hình phát H th ng thơng tin tho i • Theo d ng tín hi u H th ng truy n tin r i r c H th ng truy n tin liên t c Xu t phát t quan m đó, th c t nhi u lĩnh v c ñ c bi t lĩnh v c truy n thông t n t i khái ni m như: H phát truy n hình, h truy n tín hi u s , 1.2.2 Sơ ñ truy n tin m t s khái ni m h th ng truy n tin ð nh nghĩa: Truy n tin(transmission): Là trình d ch chuy n thơng tin t m sang ñi m khác m t môi trư ng xác ñ nh Hai ñi m s ñư c g i ñi m ngu n tin (information source) ñi m nh n tin (information destination) Môi trư ng truy n tin cịn đư c g i kênh tin (chanel) Sơ ñ kh i ch c c a m t h th ng truy n tin t ng qt g m có thành ph n chính: Ngu n tin, kênh tin nh n tin NGU N TIN KÊNH TIN NH N TIN Trong đó: • Ngu n tin: nơi s n sinh hay ch a tin c n truy n ñi, hay ngu n tin t p h p tin mà h th ng truy n tin dùng ñ t o b n tin khác ñ truy n tin • Kênh tin: mơi trư ng lan truy n thơng tin ð có th lan truy n ñư c thông tin m t môi trư ng v t lý xác đ nh, thơng tin ph i ñư c chuy n thành tín hi u thích h p v i môi trư ng truy n lan Như v y ta có th đ nh nghĩa kênh tin: Kênh tin nơi hình thành truy n tín hi u mang tin ñ ng th i ñ y sinh t p nhi u phá hu thông tin Trong lý thuy t truy n tin, kênh m t khái ni m trìu tư ng đ i di n cho s h n h p gi a tín hi u t p nhi u T khái ni m này, s phân lo i kênh s d dàng hơn, m c dù th c t kênh tin có r t nhi u d ng khác Ví d : - Truy n tin theo dây song hành, cáp đ ng tr c - Tín hi u truy n lan qua t ng ñi n ly - Tín hi u truy n lan qua t ng đ i lưu - Tín hi u truy n lan m t ñ t, ñ t - Tín hi u truy n lan nư c • Nh n tin: Là c u khôi ph c thơng tin ban đ u t tín hi u thu ñư c t ñ u c a kênh ð tìm hi u chi ti t ta sâu vào kh i ch c c a sơ ñ truy n tin xét ñ n nhi m v c a t ng kh i 1.3 Ngu n tin nguyên thu 1.3.1 Khái ni m chung ð nh nghĩa: Ngu n tin nguyên thu t p h p nh ng tin ban ñ u mà h th ng thu nh n ñư c chưa qua m t phép bi n ñ i nhân t o V m t toán h c, tin nguyên thu nh ng hàm liên t c theo th i gian f (t ) ho c nh ng hàm bi n ñ i theo th i gian m t s thơng s khác hình nh đen tr ng h( x, y, t ) x, y to đ khơng gian, ho c thơng tin khí tư ng g (λi , t ) λi thơng s khí tư ng nhi t ñ , ñ m, t c ñ gió, Thơng tin ngun thu có th h hàm theo th i gian thông s trư ng h p thơng tin hình nh màu:  f ( x, y , z )  K ( x, y , z ) =  g ( x, y , z )  h ( x, y , z )  Các tin nguyên thu ph n l n hàm liên t c c a th i gian m t ngư ng nghĩa có th bi u di n m t thơng tin dư i d ng m t hàm S (t ) t n t i quãng th i gian T l y giá tr b t kỳ ph m vi ( S , S max ) S , S max ngư ng nh nh t l n nh t mà h th ng có th thu nh n ñư c Smax Smin Tin nguyên thu có th tr c ti p ñưa vào h th ng truy n tin c n ph i qua phép bi n ñ i cho phù h p v i h th ng tương ng Như v y xét v quan m truy n tin có hai lo i tin hai lo i h th ng tương ng: • Tin r i r c ng v i - Ngu n r i r c - Kênh r i r c • Tin liên t c ng v i - Ngu n liên t c - Kênh liên t c S phân bi t v b n ch t c a ngu n r i r c v i ngu n liên t c ñư c hi u s lư ng tin ngu n r i r c h u h n s lư ng tin ngu n liên t c khơng đ m đư c Nói chung tin r i r c, ho c nguyên thu r i r c, ho c nguyên thu liên t c ñã ñư c r i r c hoá trư c đưa vào kênh thơng thư ng đ u qua thi t b mã hoá Thi t b mã hoá bi n ñ i t p tin nguyên thu thành t p h p nh ng tin thích h p v i ñ c ñi m b n c a kênh kh cho qua (thông lư ng), tính ch t tín hi u t p nhi u 1.3.2 B n ch t c a thông tin theo quan m truy n tin Ch có q trình ng u nhiên m i t o thơng tin M t hàm g i ng u nhiên n u v i m t giá tr b t kì c a đ i s , giá tr c a hàm m t ñ i lư ng ng u nhiên (các đ i lư ng v t lí thiên nhiên nhi t đ mơi trư ng, áp su t khơng khí… hàm ng u nhiên c a th i gian) M t trình ng u nhiên ñư c quan sát b ng m t t p giá tr ng u nhiên Quá trình ng u nhiên ñư c coi bi t rõ thu nh n x lí đư c m t t p ñ nhi u giá tr ñ c trưng c a Gi s q trình ng u nhiên X(t) có m t t p giá tr m u (hay cịn đư c g i bi n) x (t ) , ta bi u di n trình ng u nhiên b i: X (t ) = { x (t )}x∈X Ví d : Quan sát th i gian vào m ng c a sinh viên ngày, ngư i ta ti n hành ph ng v n 10 sinh viên, g i X th i gian vào m ng, xk th i gian vào m ng c a sinh viên th k , (k = 1,2, ,10) ta thu ñư c m u sau: X = {10, 50, 20,150,180, 30, 30, 5, 60, 0} ñơn v tính (phút) Vi c đốn trư c m t giá tr ng u nhiên khó khăn Ta ch có th tìm đư c quy lu t phân b c a bi n thông qua vi c áp d ng qui lu t c a toán th ng kê ñ x lý giá tr c a bi n ng u nhiên mà ta thu ñư c t tín hi u Q trình ng u nhiên có th hàm khơng gian chi u, ta có quy lu t phân ph i xác su t chi u hàm m t ñ phân ph i xác su t ñư c xác đ nh b i cơng th c F ( x) = p( X < x); w( x) = dF ( x) dx Trong đó: • x bi n ng u nhiên • p(x) xác su t xu t hi n X = x trình ng u nhiên, thư ng ñư c vi t p ( x) = p ( X = x ) N u trình ng u nhiên hàm khơng gian chi u quy lu t ng u nhiên ñư c bi u hi n b i công th c ∂2 F F ( x, y ) = p ( X < x;Y < y ); wxy ( x, y ) = ∂x∂y Tương t , ta có quy lu t phân ph i xác su t không gian nhi u chi u Các ñ c trưng quan tr ng c a bi n ng u nhiên Tr trung bình (kì v ng tốn h c) c a m t trình ng u nhiên X (t ) +∞ E ( X ) = X (t ) = ∫ x(t )w( x)dx −∞ Tr trung bình bình phương +∞ 2 E ( X ) = X (t ) = ∫ x (t )w( x)dx −∞ Phương sai ( D( X ) = X − X +∞ ) = ∫ ( x(t ) − E ( x) ) w( x )dx −∞ Hàm tương quan Mô t m i quan h th ng kê gi a giá tr c a q trình ng u nhiên th i m t1, t2 +∞ +∞ Bx (t1 , t2 ) = E ( X (t1 ), X (t2 ) ) = ∫ ∫ x x w( x(t ), x(t ))dx dx 2 −∞ −∞ N u hai trình X , Y khác hai th i m khác nhau, +∞ +∞ Bxy (t1 , t2 ) = E ( X (t1 ), Y (t2 ) ) = ∫ ∫ xyw( x(t ), y (t ))dxdy −∞ −∞ ð gi i quy t toán m t cách th c t , ngư i ta khơng th xác đ nh t c th i mà thư ng l y tr trung bình c a q trình ng u nhiên Có hai lo i tr trung bình theo t p h p tr trung bình theo th i gian Ta c n nghiên c u tr trung bình theo t p h p, v y s g p nhi u khó khăn ti p nh n x lý t c th i bi n ng u nhiên bi n ng u nhiên ln bi n đ i theo th i gian ð tính tr trung bình theo th i gian, ta ch n th i gian ñ l n ñ quan sát bi n ng u nhiên d ràng có u ki n quan sát s d ng cơng th c th ng kê, vi c tính giá tr trung bình theo th i gian ñư c xác ñ nh b i công th c: T x (t ) dt T →+∞ T ∫ X (t ) = Lim Tr trung bình bình phương: T X (t ) = Lim ∫ x (t ) dt T →+∞ T Khi th i gian quan sát T d n ñ n vơ tr trung bình t p h p b ng tr trung bình th i gian Trong th c t ta thư ng ch n th i gian quan sát đ l n ch khơng ph i vô v y v n tho mãn ñi u ki n c n ñơn gi n hơn, ta có tr trung bình theo t p h p b ng tr trung bình theo th i gian Ta có: +∞ X (t ) = ∫ T x(t ) dt T →+∞ T ∫ x(t ) w( x) dx = Lim −∞ Tương t : +∞ T X (t ) = ∫ x (t ) w( x )dx = Lim ∫ x (t ) dt T →+∞ T −∞ 2 Trư ng h p g i chung trình ng u nhiên d ng theo hai nghĩa: • Theo nghĩa h p: Tr trung bình ch ph thu c kho ng th i gian quan sát τ = t2 − t1 mà không ph thu c g c th i gian quan sát • Theo nghĩa r ng: G i trình ng u nhiên d ng tr trung bình m t h ng s hàm tương quan ch ph thu c vào hi u hai th i gian quan sát τ = t2 − t1 Khi ta có m i tương quan Bx (t1 , t2 ) = B (τ = t2 − t1 ) = B(τ ) = X (t ) X (t + τ ) +∞ +∞ T = ∫ ∫ x1 x2 w( x1 , x2 ) dx1dx2 = Lim ∫ x(t ) x(t + τ )dt T →+∞ T −∞ −∞ −∞ Tóm l i: ð nghiên c u ñ nh lư ng ngu n tin, h th ng truy n tin mơ hình hố ngu n tin b ng trình sau: Quá trình ng u nhiên liên t c: Ngu n ti ng nói, âm nh c, hình nh tiêu bi u cho trình Quá trình ng u nhiên r i r c: trình ng u nhiên liên t c sau ñư c r i r c hóa theo m c tr thành trình ng u nhiên r i r c Dãy ng u nhiên liên t c: ðây trư ng h p m t ngu n liên t c ñã ñư c gián ño n hóa theo th i gian, thư ng g p h th ng tin xung như: ñi u biên xung, ñi u t n xung khơng b lư ng t hóa Dãy ng u nhiên r i r c: Ngu n liên t c ñư c gián ño n theo th i gian ho c h th ng thông tin có xung lư ng t hố 1.4 H th ng kênh tin 1.4.1 Khái ni m Như ñã bi t: v t ch t ch có th d ch chuy n t ñi m ñ n m t m khác m t mơi trư ng thích h p dư i tác đ ng c a m t l c thích h p Trong trình d ch chuy n c a m t dịng v t ch t, nh ng thơng tin v hay ch a s đư c d ch chuy n theo ðây b n ch t c a s lan truy n thông tin V y có th nói r ng vi c truy n tin s d ch chuy n c a dịng h t v t ch t mang tin (tín hi u) mơi trư ng Trong q trình truy n tin, h th ng truy n tin ph i g n đư c thơng tin lên dịng v t ch t t o thành tín hi u lan truy n Vi c tín hi u lan truy n m t mơi trư ng xác đ nh dịng h t v t ch t ch u tác ñ ng c a l c, lan truy n m t c u trúc xác ñ nh c a 10 m t khóa khác (có quan h v i khóa trên) cho gi i mã (khóa bí m t, khóa riêng ch có ngư i nh n m i bi t mã này) - M t ñ i tư ng B mu n g i tin cho A ph i dùng khóa cơng khai c a A đ mã hóa thơng tin, đ gi i mã ñư c b n tin B g i A s d ng khóa riêng c a ñ gi i mã - Gi i thu t mã hóa có đ c m n u bi t gi i thu t mã khóa mã hóa (khố cơng khai) nhiên vi c tính khóa bí m t hay kh gi i mã không kh thi Các bư c c n thi t q trình mã hóa cơng khai: + Ngư i nh n b n mã t t o m t c p khóa đ dùng cho mã hóa gi i mã đo n tin mà s nh n + Cơng b r ng rãi khóa mã hóa b ng cách đ t khóa vào m t ghi hay m t file cơng khai ðây khóa cơng khai, khóa cịn l i đư c gi riêng + N u A mu n g i m t đo n tin t i B A mã hóa đo n tin b ng khóa cơng khai c a B Khi B nh n đo n tin mã hóa, gi i mã b ng khóa bí m t c a M t s h mã cơng khai thơng d ng 5.4.2 H mã RSA (R.Rivest, A.Shamir, L.Adleman) Khái ni m h m t mã RSA ñã ñư c ñ i năm 1976 b i tác gi R.Rivets, A.Shamir, L.Adleman H mã hoá d a s c a hai toán : + Bài toán Logarithm r i r c (Discrete logarith) + Bài tốn phân tích thành th a s ngun t Sơ đ mã hố RSA sơ đ mã hố kh i, đo n tin đư c mã hố t ng kh i v i m i kh i có giá tr < n v i n s nguyên ñ l n H mã RSA h mã d a vào toán logarithm r i r c tốn phân tích m t s ngun thành tích th a s nguyên t , h mã ñư c s d ng 122 r ng rãi nh t Nó cung c p c s bí m t ch ký n t , tính b o m t c a s cho đ khó v n đ tìm th a s nguyên t Thu t toán T o khoá: M i th c th t o m t khố cơng khai m t khoá riêng tương ng Th c th A c n làm công vi c sau: T o s nguyên t l n p q b t kỳ có c x p x Tính n = p×q Φ( n ) = (p-1)(q-1) Ch n s nguyên e b t kỳ, 1 b1 + b2 + + bn Ch n s nguyên ng u nhiên W ≤ W ≤ M-1 cho UCLN(W, M) = Ch n m t phép hoán v ng u nhiên π c a n s nguyên {1,2, ,n} Tính = Wb π (i) mod M v i i = 1, 2, , n Khố cơng khai (a1, a2, , an), khoá riêng ( π , M, W, (b1,b2, , bn)) Mã hoá: B mã hoá văn b n m g i cho A Thu đư c khố công khai (a1, a2, , an) c a A Bi u di n văn b n m m t chu i nh phân có đ dài n, m=m1m2 mn Tính s nguyên c = m1a1 + m2a2 + + mnan 130 G i b n mã c cho A Gi i mã: ð khôi ph c b n rõ m t c, c n th c hi n cơng vi c sau: Tính d = W-1c mod M S d ng thu t tốn tìm l i gi i tốn t ng dãy siêu tăng đ tìm s ngun r1,r2, ,rn,ri∈{0,1}, cho d=r1b1+r2b2+ +rnbn Các bit văn b n m mi = r π (i), i = 1, 2, , n Ví d T o khố: L y n=6, ch n dãy siêu tăng (12, 17, 33, 74, 157, 316), M=737, π c a (1, 2, 3, 4, 5, 6) ñư c ñ nh nghĩa b i π (1)=3, π (2)=6, π (3)=1, π (4)=2, π (5)=5, π (6)=4 Khố cơng khai (319, 196, 250, 477, 200, 559), Khoá riêng ( π , W=635 phép hoán v M, W, (12, 17, 33, 74, 157, 316)) Mã hoá: Văn b n m = 101101, tính: c = 319 + 250 + 477 + 559 = 1605 Gi i mã: Tính d = W-1c mod M = 136, tìm l i gi i cho toán t ng dãy siêu tăng: 136 = 12r1 + 17r2 + 33r3 +74r4 + 157r5 + 316r6, nh n ñư c 136 = 12 + 17 + 33 + 74 T r1 = 1, r2 = 1, r3 = 1, r4 = 1, r5 = 0, r6 = S d ng phép hốn v π đư c bit văn b n m: m1 = r3 = 1, m2 = r6 = 0, m3 = r1 = 1, m4 = r2 = 1, m5 = r5 = 0, m6 = r4 = Tính b o m t c a mã hố MHK Lư c đ mã hố MHK có th b b khố b i thu t tốn th i gian đa th c Trong cách thi t l p khố cơng khai, thu t tốn tìm m t c p s ngun U’, M’ cho U’/M’ t l v i U/M (W M m t ph n khoá riêng, U=W-1 mod M) cho s nguyên b’i = U’ai mod M, ≤ i ≤ n t dãy siêu tăng Dãy có th đư c m t ñ i th s d ng thay th vào dãy (b1,b2, , bn) ñ gi i mã văn b n 131 TÀI LI U THAM KH O [1] ð ng Văn Chuy t, Nguy n Tu n Anh, “Cơ s lý thuy t truy n tin” – T p 2, Nhà xu t b n Giáo d c, 1998 [2] Robert B.Ash, “Information theory “, Nhà xu t b n Dover, inc, 1990 [3] Masud Mansuripur, “Introduction to information theory “, Nhà xu t b n Prentice-Hall, Inc, 1987 [4] I Cziszar and J Korner Information theory, “Coding Theorems for Discrete Memoryless Systems” Academic Press, New York 1997 2nd edition [5] D Hammer, A Romashenko, A Shen, N Vereshchagin, “Inequalities for Shannon entropies and Kolmogorov complexities”, Proceedings of CCC'97 Conference, Ulm Final version: Inequalities for Shannon entropy and Kolmogorov Complexity, Journal of Computer and System Sciences, v 60, p 442{464 (2000) [6] A Shen, “Algorithmic Information Theory and Kolmogorov Complexity”, Lecture notes of an introductory course Uppsala University Technical Report 2000-034 Available online at http://www.it.uu.se/research/publications/reports/2000-034 [7] Bar-Yam, Yaneer, “Dynamics of Complex Systems (Studies in Nonlinearity)”, Westview Press, Boulder, 1997 [8] Campbell, Jeremy, Grammatical Man, “Information, Entropy, Language, and Life, Simon and Schuster”, New York, 1982 [9] Cover, T M., and Thomas J A., “Elements of Information Theory”, John Wiley and Sons, New York, 1991 [10] Gatlin, L L., “Information Theory and the Living System”, Columbia University Press, New York, 1972 132 [11] Hamming, R W., “Coding and information theory”, 2nd ed, PrenticeHall, Englewood Cliffs, 1986 [12] Landauer, R., “The physical nature of information”, Phys Lett A, 217 188, 1996 133 M CL C L IM ð U CHƯƠNG NH NG KHÁI NI M CƠ B N 1.1 Gi i thi u v lý thuy t thông tin 1.2 H th ng truy n tin 1.2.1 Các quan ñi m ñ phân lo i h th ng truy n tin 1.2.2 Sơ ñ truy n tin m t s khái ni m h th ng truy n tin 1.3 Ngu n tin nguyên thu .5 1.3.1 Khái ni m chung 1.3.2 B n ch t c a thông tin theo quan ñi m truy n tin 1.4 H th ng kênh tin 10 1.4.1 Khái ni m 10 1.4.2 Phân lo i môi trư ng truy n tin 11 1.4.3 Mô t s truy n tin qua kênh: 11 1.5 H th ng nh n tin 13 1.6 M t s v n ñ b n c a h th ng nh n tin 13 1.6.1 Hi u su t 13 1.6.2 ð xác 13 1.7 R i r c hóa m t ngu n tin liên t c .13 1.7.1 Quá trình l y m u 14 1.7.2 Q trình lư ng t hóa 16 1.8 ði u ch gi i ñi u ch .17 1.8.2 Gi i ñi u ch 18 CHƯƠNG TÍN HI U 19 2.1 M t s khái ni m b n 19 2.1.1 Tín hi u trì: 19 2.1.2 Tín hi u xung 19 2.2 Phân tích ph cho tín hi u 20 2.2.2 Tích phân Fourier ph liên t c 27 2.2.3 Ph tín hi u u ch 28 2.3 Nhi u tr ng 33 CHƯƠNG LƯ NG TIN, ENTROPI NGU N R I R C 35 3.1 ð đo thơng tin 35 3.1.2 ð đo thơng tin 35 3.2 Lư ng tin c a ngu n r i r c 37 134 3.2.1 M i liên h c a lư ng tin lý thuy t xác su t 37 3.2.3 Tính ch t c a lư ng tin 45 3.2.4 Lư ng tin trung bình .46 3.3 Entropi c a ngu n r i r c 47 3.3.1 Khái ni m entropi 47 3.3.2 Tính ch t c a entropi .47 3.3.3 Entropi ñ ng th i Entropi có ñi u ki n 48 3.3.4 Entropi ngu n Markov 49 3.4 M i quan h gi a lư ng tin tương h trung bình Entropi .50 3.5 T c ñ l p tin ngu n r i r c thông lư ng kênh r i r c .52 3.5.1 T c ñ l p tin 52 3.5.2 Thông lư ng kênh 54 CHƯƠNG LÝ THUY T MÃ 56 4.1 Khái ni m mã ñi u ki n thi t l p mã 56 4.1.1 Mã hi u thông s b n 56 4.1.2 ði u ki n thi t l p b mã 58 4.2 Các phương pháp bi u di n mã 60 4.2.1 Bi u di n b ng b ng li t kê (B ng ñ i chi u mã) 60 4.2.2 Bi u di n b ng to ñ mã 60 4.2.3 ð hình mã 61 4.2.4 Phương pháp hàm c u trúc mã .62 4.3 Mã có tính phân tách đư c, mã có tính prefix .62 4.3.1 ði u ki n ñ mã phân tách ñư c 63 4.3.2 Mã có tính prefix 65 4.3.3 B t ñ ng th c Kraft .66 4.4 Mã th ng kê t i ưu 67 4.4.1 Gi i h n đ dài trung bình c a t mã 67 4.4.2 Tiêu chu n mã th ng kê t i ưu .68 4.4.3 Mã th ng kê Fano –Shanon 69 4.5 Thu t toán mã hoá Lempel-Ziv 83 4.6 Mã ch ng nhi u 85 4.6.1 Khái ni m v mã phát hi n sai s a sai .86 4.6.2 Cơ ch phát hi n sai 87 4.6.3 Xây d ng b mã s a sai b ng b ng ch n 89 4.6.4 Xây d ng b mã s a sai b ng tr ng s Hamming kho ng cách Hamming 90 4.5.5 M t s bi n pháp xây d ng b mã phát hi n sai s a sai 92 4.7 Mã n tính 94 4.7.2 Nguyên lý gi i mã 96 135 4.7.3 M t s gi i h n c a mã n tính 98 4.8 Mã vòng 99 4.8.1 Khái ni m: .99 4.8.2 Nguyên lý l p mã 100 4.8.3 Nguyên lý gi i mã .102 CHƯƠNG GI I THI U V H M T MÃ 105 5.1 Khái ni m h m t mã 105 5.2 Phân lo i h th ng m t mã 105 5.3 H mã c ñi n (Symmetric-key encryption) 106 5.3.1 Khái ni m 106 5.3.2 M t s h mã c ñi n 106 5.3.3 H mã DES 117 5.4 M t s h mã hố cơng khai 121 5.4.1 Khái ni m chung 121 5.4.2 H mã RSA 123 5.4.3 H mã Rabin 126 5.4.4 H mã Elgamal 129 5.4.5 H mã MHK 130 TÀI LI U THAM KH O 131 M C L C 133 136 ... IM ð U Giáo trình lý thuy t thơng tin ñư c biên so n d a gi ng ñã ñư c gi ng d y nhi u năm cho ñ i tư ng sinh viên quy ngành Cơng ngh thơng tin t i khoa Công ngh thông tin ð i h c Thái Nguyên. .. kê, lý thuy t thu t tốn m t ngơn ng l p trình b n (C ho c Pascal) Giáo trình đư c c u trúc g m chương Chương trình bày m t s khái ni m b n v lý thuy t thông tin c u trúc c a h th ng truy n tin,... r c g m hai trình b n: • Q trình r i r c hóa theo th i gian khâu l y m u • Q trình lư ng t hóa Cơ s lý thuy t c a phép bi n ñ i g m ñ nh lý l y m u lu t lư ng t hóa sau 1.7.1 Quá trình l y m