Luận văn thạc sĩ tìm hiểu về lý thuyết thông tin

ĐAI HOC QUOC GIA HÀ N®I TRƯèNG ĐAI HOC KHOA HOC TU NHIÊN - PHAM QUOC HUY TÌM HIEU VE Lí THUYET THễNG TIN LUÔN VN THAC S KHOA HOC Hà N®i - Năm 2016 PHAM QUOC HUY TÌM HIEU VE LÝ THUYET THÔNG TIN Chuyên ngành: Lý thuyet Xác suat Thong kê toán hoc Mã so: 60460106 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC PGS.TS PHAN VIET THƯ LèI CAM ƠN Lu¾n văn đưoc hồn thành tai trưịng Đai HQc Khoa hQc tn nhiên- Đai HQc quoc gia Hà N®i dưói sn hưóng dan cna PGS.TS Phan Viet Thư Tác gia bày to lịng biet ơn sâu sac tói PGS.TS Phan Viet Thư, ngũi ó luụn đng viờn, quan tõm v tắn tỡnh hưóng dan tác gia q trình thnc hi¾n lu¾n văn Tác gia xin đưoc gui lòi cam ơn chân thành đen ban chn nhi¾m khoa TốnCơ-Tin trưịng Đai hQc khoa HQc tn nhiên, thay cô giáo nhà trưịng thay giáo day cao HQc chun ngành Toán lý thuyet xác suat thong kê tao đieu ki¾n thu¾n loi q trình tác gia HQc t¾p nghiên cúu Tác gia xin bày to lịng biet ơn đen gia đình, ngưịi thân, ban bè ó đng viờn v tao MQI ieu kiắn e tỏc gia có the hồn thành ban lu¾n văn Hà N®i, ngày 16 tháng 03 năm 2016 Tác gia Pham Quoc Huy Mnc lnc Lài nói đau Kien thÉc ma đau 1.1 Khái ni¾m thơng tin 1.2 Công thúc Hartley’s 1.3 Công thúc Shannon’s .9 1.4 Entropy thông tin 15 1.4.1 Đ%nh nghĩa Entropy 15 1.4.2 Entropy thông tin 18 Cơ sa xác suat cua lý thuyet thơng tin 20 2.1 Thơng tin có đieu ki¾n tương đoi 20 2.2 Gia lưong cna thông tin 25 2.3 Ý nghĩa thong kê cna thông tin 29 2.4 Đ® đo khác cna thơng tin 33 2.5 Giai thích thong kê cna thơng tin b¾c α 46 Ma 3.1 3.2 3.3 rđng cỏc khỏi niắm cua lý thuyet thụng tin 50 Đ%nh nghĩa thông tin cho phân bo tőng quát 50 Chúng minh theo lý thuyet thông tin cna đ%nh lý giói han 60 Mo r®ng lý thuyet thơng tin đen khơng gian xác suat có đieu 66 ki¾n Ket lu¾n 69 Tài li¾u tham khao 70 Lu¾n văn tot nghi¾p Pham Quoc Huy LèI NĨI ĐAU Lý thuyet thơng tin nói ve van đe toán HQc liên quan đen lưu tru, chuyen đői truyen tai thông tin Nham tao mđt c so tang tot cho viắc truyen thơng tin xác, nhanh chóng an tồn, lưu tru thụng tin mđt cỏch hiắu qua Chỳng ta can xây dnng nhung lu¾n điem thuan túy tốn HQc nhung so tốn HQc ch¾t che cna lý thuyet thơng tin Sau HQc xong chương trình cao HQc tốn vói lịng mong muon đưoc tìm hieu sâu ve lý thuyet thơng tin, tơi cHQN đe tài ”Tìm hieu ve lý thuyet thụng tin Nđi dung luắn văn bao gom ba chương: Chương 1: Trình bày khái ni¾m ban ve lý thuyet thơng tin, entropy thông tin, công thúc hartley’s, công thúc shannon’s tính chat đe phuc vu cho chương sau Chương 2: Trình bày van đe so xác suat cna lý thuyet thơng tin thơng tin có đieu ki¾n tương đoi, gia lưong thơng tin, ý nghĩa thong kê cna thơng tin, đ® đo khác cna thơng tin giai thích thong kê cna thơng tin bắc Chng 3: Trỡnh by mo rđng mđt so khái ni¾m cna lý thuyet thơng tin gom đ%nh nghĩa thông tin cho phân bo tőng quát, chúng minh lý thuyet thơng tin cna đ%nh lý giói han, mo r®ng lý thuyet thơng tin đen khơng gian xác suat có đieu ki¾n Tuy co gang lu¾n văn khơng tránh khoi sai sót Kính mong q thay ban đong HQc góp ý đe lu¾n văn hồn thi¾n Chương Kien thÉc ma đau Trong chương ta se trình bày nhung kien thúc ban ve khái ni¾m thơng tin; cơng thúc Hartley’s; cơng thúc Shannon’s; Entropy thơng tin 1.1 Khái ni¾m thơng tin Có rat nhieu cách hieu ve thơng tin Th¾m chí tù đien khơng the có m®t đ%nh nghĩa thong nhat Ví du: Tù đien Oxford English Dictionary cho rang thơng tin "đieu mà ngưịi ta đánh giá ho¾c nói đen; tri thúc, tin túc" Tù đien khác đơn gian đong nhat thơng tin vói kien thúc:"Thơng tin đieu mà ngưịi ta biet" ho¾c "thơng tin sn chuyen giao tri thúc làm tăng thêm sn hieu biet cna ngưòi" v,v Nguyên nhân cna sn khác vi¾c su dung thu¾t ngu thơng tin khơng the sị mó đưoc Ngưịi ta bat g¾p thơng tin chi q trình hoat đ®ng, thơng qua tác đ®ng trùu tưong cna Tù Latin “Informatio”, goc cna tù hi¾n đai “information” (thơng tin) có hai nghĩa M®t, chi m®t hành đ®ng rat cu the tao m®t hình dang (forme) Hai, tuỳ theo tình huong, có nghĩa sn truyen đat m®t ý tưong, m®t khái niắm hay mđt bieu tong Tuy nhiờn cựng vúi sn phỏt trien cna xó hđi, khỏi niắm thụng tin cng phát trien theo Theo nghĩa thơng thưịng: Thơng tin tat ca sn vi¾c, sn ki¾n, ý tưong, phán đốn làm tăng thêm sn hieu biet cna ngưịi Thơng tin hình thành q trình giao tiep: m®t ngi có the nh¾n thơng tin trnc tiep tù ngưịi khác thông qua phương tiên thông tin đai chúng, tù ngân hàng du li¾u, ho¾c tù tat ca hi¾n tưong quan sát đưoc mơi trưịng xung quanh Trên quan điem triet HQc: Thông tin sn phan ỏnh cna tn nhiờn v xó hđi Luắn văn tot nghi¾p Pham Quoc Huy (the giói v¾t chat) bang ngơn tù, ký hi¾u, hình anh v.v hay nói rđng hn bang tat ca cỏc phng tiắn tỏc đng lên giác quan cna ngưịi Trong tốn HQc: Lý thuyet thơng tin nói ve van đe tốn HQc liên quan đen lưu tru, chuyen đői truyen tai thụng tin Trong cuđc song hng ngy chỳng ta nhắn đưoc loai thơng tin khác (ví du so đi¾n thoai), thơng tin nh¾n đưoc, đưoc lưu tru (ví du ghi nh¾n vào máy tính xách tay, truyen (nói vói đó)) Đe su dung thơng tin đieu can thiet bien đői chúng bang nhung kieu khác (ví du đi¾n báo chu cna văn ban đưoc thay the bang nhung dau hi¾u đ¾c bi¾t, truyen hình phan liên tuc cna hình anh đưoc chuyen đői thành tín hi¾u noi tiep truyen bang sóng đi¾n tù ) Đe giai quyet van đe cna giao tiep theo cách tốn HQc đieu can m®t đ® đo đ%nh lưong thơng tin Khơng hồn tồn hien nhiên lưong thơng tin chúa m®t thơng báo có the xác đ%nh đưoc th¾m chí đo đưoc Neu muon cú mđt phng phỏp o nh vắy chỳng ta phai trùu tưong hóa tù dang thúc n®i dung cna thơng báo, phai làm vi¾c so đi¾n báo, o chi có so lưong tù đưoc tính đen đe tính tốn giá đi¾n tín Đieu hop lý đe đo long thụng tin chỳa mđt iắn tớn bang so long cỏc ký hiắu can thiet e the hiắn nđi dung cna dang ngan GQN nhat có the, bat kỳ h¾ thong ký hi¾u có the đưoc su dung, thông tin can đo phai đưoc chuyen đői sang h¾ thong lna cHQN, ví du chu có the đưoc mã hóa boi chu so H¾ thong so nh% phân có the đưoc dùng thay cho chu so th¾p phân, ta chi can dùng chu so 0;1 (hay ký tn) Neu thêm vào 26 chu cna bang chu tieng anh dau cham, dau phay, dau cham phay, nhung dau hoi, nhung lưu ý cna dau cham than khoang cách giua tù, 32 ký hi¾u thu đưoc có the đưoc gán cho nhung so bieu dien boi chu so h¾ nh% phân, theo cách này, moi búc đi¾n có the đưoc bieu dien m®t chuoi cna so 1; MQi đi¾n tín, MQI thơng tin v¾y có the đưoc mã hóa thành m®t dãy so Trên so đi¾n tín, văn ban ve hình thúc n®i dung khác tro nên so sánh đưoc vói lưong thơng tin chúa chúng Tù m®t chu so có the gia đ%nh m®t giá tr% 1, thơng tin đ%nh rõ gom có hai kha xay có the đưoc lay thành đơn v% thơng tin Do đe tra lịi cho câu hoi mà chi cú the tra lũi "cú" hoắc "khụng" chi chỳa mđt đơn v% thông tin Đơn v% thông tin GQi "bit" viet tat cna "binary digit" (chu so nh% phân) 1.2 Cơng thÉc Hartley’s Cho t¾p E neu E có N = 2n phan tu Ta có the mã hóa chúng bang so nh% phân có n chu so, m®t phan tu bat kỳ cna E se oc ắc trng nhat boi mđt chuoi cú đ® dài n gom so 1, bang n đơn v% thơng tin Tù N = 2n ⇒ n = log2N , đieu cho Hartley ý tưong đe đ%nh nghĩa boi log2N thông tin can thiet đe xác đ%nh m®t phan tu cna m®t t¾p hop gom N phan tu, th¾m chí neu N không lũy thùa cna Đau tiên ta thay neu 2n < N < 2n+1 đơn v% log2N cna thơng tin khơng đn đ¾c trưng cho phan tu cna E mà ta phai can nhieu hơn, cu the n + đơn v% thông tin Neu ta xem xột mđt dóy cỏc ký hiắu so hang phan tu cna E neu thay the tùng so hang cna dãy so bang m®t dãy so can n + chu so nh% phân Tuy nhiên, neu lay tù phan tu cna E m®t dãy gom k phan tu (vài so có the bang nhau) Có N k dãy v¾y đe mơ ta bat kỳ m®t so ta can nk dau hi¾u ho¾c 1, e 2nk−1 < Nk ≤ 2nk ⇒ klog2N ≤ nk < klog2N + nk ⇒ lim = log2N k→ k ∞ Công thúc I(EN ) = log2N (1) Trong I(EN ) bieu dien thơng tin can thiet cho đ¾c trưng phan tu cna t¾p EN gom N phan tu đưoc GQI công thúc Hartley’s Công thúc Hartley ’s có tiên đe: A.I(ENM ) = I(EN ) + I(EM ) , ; B.I(EN ) ≤ I(EN+1) C.I(E2) = N, M = 1, Trong tiên đe C đ%nh nghĩa cna đơn v%, tiên đe B hien nhiên, tiên đe A có the đưoc giai thích sau: T¾p ENM gom NM phan tu có the đưoc phân tích thành N t¾p cna M phan tu Đ¾t E(1), , E (N) , đ¾c trưng cho m®t phan tu cna ENM ta có M M the thnc hi¾n bưóc Đau tiên ta xác đ%nh t¾p EM(j), ta can chi rõ thơng tin I(EN ) tù N t¾p Tiep theo ta xác đ%nh phan tu E(j) M Lưong thông tin can cho muc đích bang I(EM ) tù t¾p E(j)M chúa M phan tu cna ENM Bây giị hai thơng tin hồn tồn đ¾c trng cho mđt phan tu cna ENM Vắy tiờn đe A bieu th% rang thơng tin m®t so lưang c®ng tính Đ%nh lý 1.2.1 Các tiên đe A, B, C chs thóa mãn bái hàm I(EN ) = log2N Chúng minh Cho P m®t so ngun lón 2, vói MQI so nguyên r so nguyên s(r) xác đ%nh boi: V¾y 2s(r) ≤ P r < 2s(r)+1 , (2) s(r s(r) + ) , (3) ⇒ ≤ log2P r r < lim s(r) r→∞ = log2P , (4) r Đ¾t f (n) = I(En) Nó suy tù B rang vói n < m f (n) < f (m), (5) (2) (5) dan đen Theo A ta có the viet f (2s(r)) ≤ f (P r ) < f (2s(r)+1) , (6) f (ak) = kf (a) , (7) Và tù C, f (2) = v¾y suy tù rang s(r) ≤ rf (P ) < s(r) + , (8) V¾y lim n→ ∞ s(r = f (P ) , ) r (9) Tù (4) (9) ta ket lu¾n rang f (P ) = log2P vói P > 2, tù f (2) = 1, f (1) = 0, Đ%nh lý đưoc chúng minh 18 18 18 19 19 19 19 19 19 19 19 19 19 20 α 20 ... xác suat cua lý thuyet thông tin 20 2.1 Thông tin có đieu ki¾n tương đoi 20 2.2 Gia lưong cna thông tin 25 2.3 Ý nghĩa thong kê cna thông tin ... ch¾t che cna lý thuyet thông tin Sau HQc xong chương trình cao HQc tốn vói lịng mong muon đưoc tìm hieu sâu ve lý thuyet thơng tin, tơi cHQN đe tài ? ?Tìm hieu ve lý thuyet thơng tin? ?? Nđi dung... ve lý thuyet thông tin, entropy thông tin, công thúc hartley’s, cơng thúc shannon’s tính chat đe phuc vu cho chương sau Chương 2: Trình bày van đe so xác suat cna lý thuyet thông tin thơng tin