Tài liệu Bài giảng môn học lý thuyết thông tin ppt

BÀI GING MÔN HC LÝ THUYT THÔNG TIN Ging Viên: H Vn Quân E-mail: hcquan@dit.hcmut.edu.vn Web site: http://www.dit.hcmut.edu.vn/~hcquan/student.htm Trng i hc Bách khoa Khoa Công Ngh Thông Tin Trang 2 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin NI DUNG MÔN HC ̈ Bài 1 Gii thiu ̈ Bài 2 Mt s khái nim c bn ̈ Bài 3 Chun b toán hc ̈ Bài 4 Lng tin ̈ Bài 5 Entropy ̈ Bài 6 Mã hiu ̈ Bài 7 Mã hóa ti u ngun ri rc không nh ̈ Bài 8 Mã hóa ngun ph quát ̈ Bài 9 Kênh ri rc không nh, lng tin tng h Trang 3 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin NI DUNG MÔN HC (tt) ̈ Bài 10 Mã hóa chng nhiu, đnh lý kênh ̈ Bài 11 Mã khi tuyn tính ̈ Bài 12 C s toán hc ca mã hóa chng nhiu ̈ Bài 13 Mã vòng ̈ Bài 14 Gii thiu v mt mã hóa ̈ Bài 15 Mt s vn đ nâng cao Trang 4 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin TÀI LIU THAM KHO 1. Information Theory - Robert B.Ash, Nhà xut bn Dover, Inc, 1990. 2. Introduction to Information Theory - Masud Mansuripur, Nhà xut bn Prentice–Hall, Inc, 1987. 3. A Mathematical Theory of Communication - C. E. Shannon, Tp chí Bell System Technical, s 27, trang 379–423 và 623– 656, tháng 7 và tháng 10, 1948. 4. C s Lý thuyt truyn tin (tp mt và hai) - ng Vn Chuyt, Nguyn Tun Anh, Nhà xut bn Giáo dc, 1998. Trang 5 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin HÌNH THC ÁNH GIÁ ̈ S có thông báo c th cho tng khóa hc. Tuy nhiên, thng là có hình thc nh bên di. ̈ Thi trc nghim ̈ Gia k: 30 câu / 45 phút ̈ Cui k: 45 câu / 90 phút ̈ c phép xem tài liu trong 2 t giy A4 ̈ Làm bài tp ln cng đim (không bt buc) ̈ Np bài tp ln và báo cáo vào cui hc k ̈ Cng ti đa 2 đim Trang 6 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin CÁC MÔN LIÊN QUAN ̈ Lý thuyt xác sut ̈ K thut truyn s liu ̈ X lý tín hiu s Trang 7 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Bài 1 Gii thiu 1.1 Thông tin là gì? 1.2 Vai trò ca thông tin 1.3 Lý thuyt thông tin nghiên cu nhng gì? 1.4 Nhng ng dng ca lý thuyt thông tin 1.5 Lý thuyt thông tin – Lch s hình thành và quan đim khoa hc hin đi Trang 8 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Thông tin là gì? ̈ Mt vài ví d ̈ Hai ngi nói chuyn vi nhau. Cái mà trao đi gia h gi là thông tin. ̈ Mt ngi đang xem tivi/nghe đài/đc báo, ngi đó đang nhn thông tin t đài phát/báo. ̈ Quá trình ging dy trong lp. ̈ Các máy tính ni mng và trao đi d liu vi nhau. ̈ Máy tính np chng trình, d liu t đa cng vào RAM đ thc thi. Trang 9 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Thông tin là gì? (tt) ̈ Nhn xét ̈ Thông tin là cái đc truyn t đi tng này đn đi tng khác đ báo mt “ điu”gì đó. Thông tin ch có ý ngha khi “điu” đó bên nhn cha bit. ̈ Thông tin xut hin di nhiu dng âm thanh, hình nh, Nhng dng này ch là “ v bc”vt cht cha thông tin. “V bc” là phn “xác”, thông tin là phn “hn”. ̈ Ng ngha ca thông tin ch có th hiu đc khi bên nhn hiu đc cách biu din ng ngha ca bên phát. ̈ Mt trong nhng phng tin đ din đt thông tin là ngôn ng. ̈ Có hai trng thái ca thông tin: truyn và lu tr. Môi trng truyn/lu tr đc gi chung là môi trng cha tin hay kênh tin . Trang 10 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Vai trò ca thông tin ̈ Các đi tng sng luôn luôn có nhu cu hiu v th gii xung quanh, đ thích nghi và tn ti. ây là mt quá trình quan sát, tip nhn, trao đi và x lý thông tin t môi trng xung quanh. ̈ Thông tin tr thành mt nhu cu c bn, mt điu kin cn cho s tn ti và phát trin. ̈ Khi KHKT, XH ngày càng phát trin, thông tin càng th hin đc vai trò quan trng ca nó đi vi chúng ta. ̈ Ví d, hành đng xut phát t suy ngh, nu suy ngh đúng, thì hành đng mi đúng. Suy ngh li chu nh hng t các ngun thông tin đc tip nhn. Vì vy thông tin có th chi phi đn suy ngh và kt qu là hành đng ca con ngi. [...]... quá trình truy n tin 2.3 Các lo i h th ng truy n tin – Liên t c và r i r c 2.4 R i r c hoá Trang 16 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Thông tin ̈ ̈ ̈ ̈ Thông tin là m t khái ni m tr u t ng, phi v t ch t và r t khó c nh ngh a chính xác Hai nh ngh a v thông tin Thông tin là s c m hi u c a con ng i v th gi i xung quanh thông qua s ti p xúc v i nó Thông tin là m t h th ng nh ng tin báo và m nh... (uncertainty) trong tr ng thái c a n i nh n tin Nói ng n g n, thông tin là cái mà lo i tr s không ch c ch n nh ngh a u ch a nói lên c b n ch t c a thông tin nh ngh a th hai nói rõ h n v b n ch t c a thông tin và c dùng nh l ng thông tin trong k thu t Trang 17 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Thông tin (tt) ̈ ̈ ̈ ̈ ̈ ̈ Thông tin là m t hi n t ng v t lý, nó th ng t n t i và c truy n i d i m... t ng c a tin t c i v i n i nh n tin Trang 18 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mô hình c a các quá trình truy n tin ̈ Khái ni m thông tin th Ngu n phát ̈ Kênh truy n Ngu n nh n S truy n tin (transmission) ̈ ̈ ng i kèm v i m t h th ng truy n tin Nhi u Là s d ch chuy n thông tin t m t môi tr ng xác nh i m này n i m khác trong Ngu n tin (information source) ̈ ̈ ̈ Là m t t p h p các tin mà h... vi c truy n thông tin chính xác, nhanh chóng và an toàn; l u tr thông tin m t cách hi u qu các góc nghiên c u khác LTTT nghiên c u các v n v cách t ch c, bi u di n và truy n t thông tin, và t ng quát là các v n v x lý thông tin Ba l nh v c nghiên c u c b n c a môn h c ̈ ̈ ̈ gì? Mã hoá ch ng nhi u Mã hoá t i u (hay nén d li u) M t mã hoá Trang 11 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh ng ng... LTTT và v t lý th ng kê Trong m t th i gian dài tr c khi LTTT c hình thành, L Boltzman và sau ó là L.Szilard ã ánh ng ý ngh a c a thông tin v i khái ni m nhi t ng h c c a entropy M t m t khác, D Gabor ch ra r ng lý thuy t truy n thông ph i c xem nh m t nhánh c a v t lý C E Shannon là cha c a LTTT Trang 15 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 2 M t s khái ni m c b n 2.1 Thông tin (Information)... hôm nay và mai sau Nh ng ng d ng ph bi n c a LTTT là truy n thông và x lý thông tin bao g m: truy n thông, nén, b o m t, l u tr , Các ý t ng c a LTTT ã c áp d ng trong nhi u l nh v c nh v t lý, ngôn ng h c, sinh v t h c, khoa h c máy tính, tâm lý h c, hóa h c Trang 12 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh ng ng d ng c a LT thông tin (tt) ̈ ̈ ̈ ̈ M i quan h gi a LTTT và th ng kê ã c tìm th... m t t p h p các tin mà h th ng truy n tin dùng b ng tin hay thông báo (message) truy n tin B ng tin chính là dãy tin c bên phát truy n i Thông tin có th thu c nhi u lo i nh l p các (1) m t dãy kí t nh trong i n tín (telegraph) c a các h th ng g i i n tín (teletype system); Trang 19 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mô hình c a các quá trình truy n tin (tt) (2) m t hàm theo ch m t bi n th... thông tin nào ó d i d ng m t hàm s(t) t n t i trong m t quãng th i gian T và l y các tr b t k trong m t ph m vi (smin, smax) nào ó s(t) smax smin t Trang 23 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các lo i h th ng truy n tin (tt) ̈ ̈ Các ngu n nh v y c g i là các ngu n liên t c (continuous source), các tin c g i là tin liên t c (continuous information) và kênh tin c g i là kênh liên t c (continuous... n u nh bên phát ã th c hi n vi c nén hay b o m t thông tin tr c khi truy n Trang 22 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các lo i h th ng truy n tin ̈ ̈ Các ngu n tin th ng th y trong t nhiên c g i là các ngu n tin nguyên thu ây là các ngu n tin ch a qua b t k m t phép bi n i nhân t o nào Các tín hi u âm thanh, hình nh c phát ra t các ngu n tin nguyên thu này th ng là các hàm liên t c theo... i r c không nh (discrete memoryless source) B ng tin c a m t ngu n tin r i r c không nh ̈ ̈ Là m t dãy (có th vô h n) các kí hi u liên ti p t b ng ch cái c a ngu n tin, x = ( a–2a–1a0a1a2 ) Trong th c t b ng tin có b t u và k t thúc cho nên b ng tin là m t dãy h u h n các kí hi u, x* = (a1a2 …an) Trang 28 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 3 Chu n b toán h c 3.1 Xác su t (Probability) . ca thông tin và đc dùng đ đnh lng thông tin trong k thut. Trang 18 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Thông tin (tt) ̈ Thông tin. thuyt thông tin 1.5 Lý thuyt thông tin – Lch s hình thành và quan đim khoa hc hin đi Trang 8 Lý thuyt Thông tin - Khoa Công Ngh Thông Tin Thông tin