TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN LÝ THUYẾT THÔNG TIN TS Lê Quyết Thắng 2010 Giáo trình: Lý thuyết thơng tin MỤC LỤC GIỚI THIỆU TỔNG QUAN MỤC ĐÍCH YÊU CẦU .6 NỘI DUNG CỐT LÕI KẾT THỨC TIÊN QUYẾT TÀI LIỆU THAM KHẢO PHƯƠNG PHÁP HỌC TẬP .8 CHƯƠNG 1: GIỚI THIỆU .9 Mục tiêu .9 Đối tượng nghiên cứu Mơ hình lý thuyết thơng tin theo quan điểm Shannon 10 Lượng tin biết chưa biết 10 Ví dụ lượng tin biết chưa biết 10 Định lý sở kỹ thuật truyền tin 11 Mơ tả trạng thái truyền tin có nhiễu 11 Minh họa kỹ thuật giảm nhiễu 12 Chi phí phải trả cho kỹ thuật giảm nhiễu 13 10 Khái niệm dung lượng kênh truyền 13 11 Vấn đề sinh mã 13 12 Vấn đề giải mã .13 CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN .15 BÀI 2.1: ENTROPY .15 Mục tiêu .15 Ví dụ entropy 15 Nhận xét độ đo lượng tin 15 Khái niệm entropy .16 Entropy kiện 16 Entropy phân phối 16 Định lý dạng giải tích Entropy 16 Ví dụ minh họa 17 Bài tốn tìm kiếm nhị phân-Đặt vấn đề 17 10 Bài tốn tìm kiếm nhị phân - Diễn giải 17 11 Bài tập .18 BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .19 Mục tiêu: .19 Các tính chất Entropy 19 Minh họa tính chất 19 Minh họa tính chất 19 Định lý cực đại entropy 20 Chứng minh định lý cực đại Entropy 20 Bài tập 21 BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN .22 Mục tiêu .22 Định nghĩa Entropy nhiều biến 22 Ví dụ Entropy nhiều biến 22 Định nghĩa Entropy có điều kiện .22 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Ví dụ Entropy có điều kiện 23 Quan hệ H(X,Y) với H(X) H(Y) X, Y độc lập .23 Quan hệ H(X,Y) với H(X) H(Y) X, Y tương quan 24 Bài tập 25 BÀI 2.4: MINH HỌA CÁC ENTROPY 26 Mục tiêu .26 Yêu cầu toán 26 Xác định phân phối ngẫu nhiên toán 26 Minh họa Entropy H(X), H(Y) H(X,Y) 27 Minh họa Entropy H(X/Y) H(Y/X) 27 Minh họa quan hệ Entropy 27 BAI 2.5: ĐO LƯỢNG TIN (MESURE OF INFORMATION) 28 Mục tiêu .28 Đặt vấn đề toán 28 Xác định phân phối toán 28 Nhận xét dựa theo entropy 28 Định nghĩa lượng tin 29 Bài tập 29 CHƯƠNG 3: SINH MÃ TÁCH ĐƯỢC (Decypherable Coding) 31 BÀI 3.1: KHÁI NIỆM VỀ MÃ TÁCH ĐƯỢC 31 Mục tiêu .31 Đặt vấn đề toán sinh mã 31 Khái niệm bảng mã không tách .32 Bảng mã tách 32 Khái niệm bảng mã tức thời 33 Giải thuật kiểm tra tính tách bảng mã 33 Bài toán 1- yêu cầu 33 Bài toán - Áp dụng giải thuật 34 Bài toán 34 10 Bài tập .35 BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ 36 Mục tiêu .36 Định lý Kraftn(1949) 36 Định nghĩa bậc D cỡ k .36 Vấn đề sinh mã cho bậc D cỡ k 37 Chứng minh định lý Kraft (Điều kiện cần) 37 Chứng minh định lý Kraft (Điều kiện đủ) 38 Ví dụ minh họa định lý Kraft 38 Bài tập 39 BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ 40 Mục tiêu .40 Định lý Shannon (1948) 40 Bảng mã tối ưu tuyệt đối .40 Bảng mã tối ưu tương đối 41 Điều kiện nhận biết bảng mã tối ưu .41 Định lý Huffman 41 Phương pháp sinh mã Huffman 42 Minh họa phương pháp sinh mã Huffman 42 Nhận xét tính tối ưu bảng mã Huffman 43 10 Bài tập .43 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin CHƯƠNG 4: KÊNH TRUYỀN 45 BÀI 4.1: KÊNH TRUYỀN RỜI RẠC KHÔNG NHỚ 45 Mục tiêu .45 Giới thiệu 45 Mơ hình vật lý .45 Mơ hình toán học .46 Ví dụ xác định phân phối đầu nhận 47 Lượng tin kênh truyền 47 Định nghĩa dung lượng kênh truyền 48 BAI 4.2: CÁC DẠNG KÊNH TRUYỀN 49 Mục tiêu .49 Hiểu định lý dung lượng kênh truyền,Kênh truyền không tin .49 Kênh truyền xác định 49 Kênh truyền không nhiễu 50 Kênh truyền không sử dụng 50 Kênh truyền đối xứng 50 Xây dựng cơng thức tính dung lượng kênh truyền đối xứng 51 Định lý dung lượng kênh truyền 52 Bài tập 52 BÀI 4.3: LƯỢC ĐỒ GIẢI MÃ .53 Mục tiêu .53 Đặt vấn đề toán giải mã 53 Ví dụ toán giải mã 53 Các khái niệm kỹ thuật truyền tin .54 Ví dụ minh họa khái niệm 54 Các dạng sai số 55 Phương pháp xây dựng lượt đồ giải mã tối ưu 55 Minh họa xây dựng lược đồ giải mã tối ưu 56 Minh họa cách tính sai số 57 10 Bài tập 58 11 Bài Tập 58 CHƯƠNG 5: SỬA LỖI 59 BÀI 5.1: NGUYÊN LÝ KHOẢNG CÁCH NHỎ NHẤT HAMMING 59 Mục tiêu: .59 Khoảng cách Hamming .59 Kênh truyền đối xứng nhị phân lược đồ giải mã tối ưu 59 Ví dụ kênh truyền đối xứng nhị phân 60 Quan hệ xác suất giải mã khoảng cách Hamming 60 Nguyên lý Hamming 60 Bài tập 61 BÀI 5.2: BỔ ĐỀ VỀ TỰ SỬA LỖI VÀ CẬN HAMMING 62 Mục tiêu .62 Bổ đề tự sửa lỗi .62 Chứng minh minh họa bổ đề 62 Cận Hamming 63 Phân dạng lỗi .64 Bài tập 64 BÀI 5.3: MÃ KIỂM TRA CHẴN LẺ .64 Mục tiêu: .64 Bộ mã kiểm tra chẵn lẻ 65 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Phương pháp kiểm tra chẵn lẻ .65 Phương pháp sinh mã kiểm tra chẵn lẻ .66 Ví dụ sinh mã kiểm tra chẵn lẻ 66 Định lý quan hệ độ dài mã n, số bit kiểm tra m số lỗi tự sửa e 67 Ví dụ tìm m nhỏ từ n e 68 Ví dụ tìm e lớn từ m n 68 Bài tập 68 BÀI 5.4: NHĨM CỘNG TÍNH VÀ BỘ TỪ MÃ CHẴN LẺ 69 Mục tiêu .69 Khái niệm nhóm cộng tính .69 Tính chất mã chẵn lẻ 69 Ví dụ minh họa 70 Phương pháp sinh mã kiểm tra chẵn lẻ nhanh 71 Ví dụ sinh mã kiểm tra chẵn lẻ nhanh 71 Bài tập 72 BÀI 5.5: LƯỢC ĐỒ SỬA LỖI TỐI ƯU .73 Mục tiêu .73 Đặt vấn đề 73 Định nghĩa Hiệp hợp 73 Lược đồ sửa lỗi theo hiệp hợp 74 Lược đồ sửa lỗi thong qua lỗi .74 Ví dụ minh họa lược đồ sửa lỗi bit 74 Ví dụ minh họa lược đồ sửa lỗi bit 75 Ví dụ minh họa lược đồ sửa lỗi bit 76 Xác suất truyền 76 10 Bài tập .76 BÀI 5.6: MÃ HAMMING 76 Mục tiêu .76 Mã Hammin .77 Tính chất 77 Ví dụ minh họa 77 Bài tập 78 BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC 79 Mục tiêu .79 Đặt vấn đề 79 Biểu diễn vật lý ghi .79 Biểu diễn toán học ghi 80 Ví dụ ghi lui bước .80 Chu kỳ ghi 81 Ví dụ tìm chu kỳ ghi 81 Bài tập 82 BÀI 5.8: MÃ XOAY VÒNG 82 Mục tiêu .82 Ma trận kiểm tra chẵn lẻ mã xoay vòng 83 Định nghĩa mã xoay vòng 83 Phương pháp sinh nhanh mã xoay vòng .83 Ví dụ sinh nhanh mã xoay vòng 84 Bài tập 85 BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI .86 Mục tiêu .86 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thông tin Định nghĩa đa thức đặc trưng ghi .86 Quan hệ chu kỳ n, đa thức đăc trưng đa thức (xn + 1) 86 Thủ tục sinh ghi lùi bước 87 Ví dụ minh họa 87 Bài tập 87 Bài 5.10: PHƯƠNG PHÁP SINH MÃ XOAY VÒNG 88 Mục tiêu .88 Đặt vấn đề 88 Phương pháp sinh bảng mã xoay vòng 88 Ví dụ minh họa .89 Ví dụ minh họa .89 Ví dụ minh họa .90 Bảng liệt kê số đa thức đặc trưng .90 Bài tập 90 BÀI TẬP TỔNG HỢP 91 Mục tiêu .91 Bài 91 Bài 91 Bài 92 Bài 93 TÀI LIỆU THAM KHẢO .95 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THƠNG TIN MỤC ĐÍCH Giáo trình cung cấp cho người đọc khối kiến thức lý thuyết thông tin như: Độ lượng tin (Measure of Information), Sinh mã tách (Decypherable Coding), Kênh truyền tin rời rạc không nhớ (Discrete Memoryless Channel) Sửa lỗi kênh truyền (Error Correcting Codings) • Liên quan đến Độ đo lượng tin, giáo trình trình bày khái niệm thông tin, entropy, số công thức, tính chất, định lý quan trọng entropy cách tính lượng tin • Về Sinh mã tách được, giáo trình giới thiệu đến người học vấn đề yêu cầu toán sinh mã, giải mã nhất, mã tức thời giải thuật kiểm tra mã tách Các định lý quan trọng đề cập nội dung là: Định lý Kraft (1949), Định lý Shannon (1948) Định lý sinh mã Huffman • Về kênh truyền tin rời rạc khơng nhớ, giáo trình giới thiệu mơ hình kênh truyền theo khía cạnh vật lý tốn học Các khái niệm dung lượng kênh truyền, phân lớp kênh truyền, định lý dung lượng kênh truyền, khái niệm kỹ thuật truyền tin phương pháp xây dựng lược đồ giải mã tối ưu trình bày mơn học • Vấn đề Sửa lỗi (hay xử lý mã sai) kênh truyền vấn đề quan trọng quan tâm nhiều môn học Các nội dung giới thiệu đến bạn Nguyên lý Khoảng cách Hamming, định lý Cận Hamming, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi, Bảng mã Hamming Bảng mã xoay vòng Hơn nữa, hầu hết vấn đề nêu đưa vào nội dung giảng dạy bậc Đại học số ngành có ngành Cơng nghệ thơng tin Do đó, để có tài liệu phục vụ công tác giảng dạy giáo viên việc học tập nghiên cứu sinh viên, chúng tơi mạnh dạn biên soạn giáo trình nhằm giúp cho sinh viên có tài liệu tự học nghiên cứu cách hiệu YÊU CẦU Sau học xong môn này, sinh viên phải có khả sau: • Hiểu khái niệm về thông tin, Entropy, Entropy phân phối, Entropy nhiều phân phối, Entropy có điều kiện, Độ đo lượng tin Vận dụng giải tốn xác định lượng tin • Biết khái niệm mã tách được, mã không tách được, bảng mã tối ưu Hiểu Định lý Kraft (1949), Định lý Shannon (1948), Định lý sinh mã Huffman phương pháp sinh mã Huffman Vận dụng để sinh bảng mã tách tối ưu, nhận biết bảng mã bảng mã tối ưu vận dụng để viết chương trình sinh mã, giải mã (hay viết chương trình nén giải nén) Từ đây, sinh viên tự nghiên cứu loại bảng mã khác để vận dụng cho việc mã hóa bảo mật thông tin cách hiệu Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin • • • Biết khái niệm kênh truyền tin rời rạc không nhớ, dung lượng kênh truyền phân lớp kênh truyền Hiểu định lý dung lượng kênh truyền, phương pháp xây dựng lược đồ giải mã tối ưu cách tính xác suất truyền sai kênh truyền Biết khái niệm khoảng cách Hamming, nguyên lý khoảng cách Hamming, định lý Cận Hamming, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi, Bảng mã Hamming Bảng mã xoay vòng Vận dụng kiến thức học để thiết kế hệ thống truyền nhận liệu với quy trình bản: mã hóa, giải mã bảo mật thông tin Lý thuyết thông tin mơn học khó ngành Cơng nghệ thơng tin địi hỏi người học phải có kiến thức toán xác suất thống kê Do đó, địi hỏi người học phải tự bổ sung kiến thức toán xác suất thống kê cho (nếu thiếu), tham gia lớp học đầy đủ làm tập theo yêu cầu mơn học tiếp thu kiến thức môn học cách hiệu NỘI DUNG CỐT LÕI Giáo trình gồm chương trình bày 45 tiết giảng cho sinh viên chuyên ngành Công nghệ thông tin, có khoảng 30 tiết lý thuyết 15 tiết tập mà giáo viên hướng dẫn cho sinh viên lớp Chương 1: Giới thiệu Chương trình bày nội dung có tính tổng quan môn học bao gồm: đối tượng nghiên cứu, mơ hình lý thuyết thơng tin theo quan điểm nhà toán học Shannon, khái niệm lượng tin biết chưa biết, định lý kỹ thuật truyền tin Chương 2: Độ đo lượng tin Chương trình bày vấn đề entropy, tính chất entropy, entropy nhiều biến, entropy có điều kiện, định lý quan hệ entropy lượng tin kiện Chương 3: Sinh mã tách Nội dung chương bao gồm khái niệm mã tách được, quan hệ mã tách độ dài mã, tính tối ưu độ dài mã Chương 4: Kênh truyền Các nội dung trình bày chương bao gồm khái niệm kênh truyền tin rời rạc không nhớ, mơ hình truyền tin khía cạnh vật lý toán học, dung lượng kênh truyền, phân lớp kênh truyền Phương pháp xây dựng lược đồ giải mã tối ưu cách tính xác suất truyền sai giới thiệu chương Chương 5: Sửa lỗi Chương trình bày nội dung cốt lõi sau: khái niệm khoảng cách Hamming, nguyên lý khoảng cách nhỏ Hamming, bổ đề tự sửa lỗi định lý Cận Hamming Chương giới thiệu mã kiểm tra chẵn lẻ, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi tối ưu, mã Hamming mã xoay vòng KẾT THỨC TIÊN QUYẾT Để học tốt mơn học này, địi hỏi sinh viên phải nắm vững mơn học có liên quan như: xác suất thống kê, đại số boole (phép toán Modulo đa thức nhị phân) Các mơn học có liên quan tham kháo thêm kỷ thuật số, hệ điều hành, mạng máy tính Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thông tin TÀI LIỆU THAM KHẢO David J.C Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge University Express-2003 G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992 Sanford Goldman, Information Theory http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html http://en.wikipedia.org/wiki/Information_theory http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/ http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html 10 http://guest.engelschall.com/~sb/hamming/ 11 http://www2.rad.com/networks/1994/err_con/hamming.htm PHƯƠNG PHÁP HỌC TẬP Để phục vụ cho mục tiêu nâng cao khả tự học tập tự nghiên cứu sinh viên, giáo trình biên soạn với giáo trình khác thuộc chun ngành Cơng nghệ thơng tin Khoa Công nghệ thông tin Truyền thông – Đại Học Cần Thơ theo dự án ASVIET002CNTT “Tăng cường hiệu đào tạo lực đào tạo sinh viên khoa Công nghệ Thông tinĐại học Cần Thơ” Chúng tơi cố gắng trình bày giáo trình cách có hệ thống nội dung theo bố cục chương ứng với khối kiến thức nêu trên, chương được trình bày theo bố cục học học giới thiệu đến người học vấn đề số vấn đề khối kiến thức tương ứng với chương Khi học xong học chương, người học có khối kiến thức cần thiết tương ứng cho môn học Nội dung học đưa vào ví dụ để người học dễ hiểu, tùy theo vấn đề mà người học cần phải học nghiên cứu thời lượng từ đến tiết tự học cho học chương Như vậy, để học tốt môn học này, trước hết sinh viên cần phải: • • • • • Học đầy đủ môn học tiên quyết, bổ sung kiến thức toán xác suất thống kê (nếu thiếu) Học nghiên cứu kỹ chương theo trình tự chương trình bày giáo trình Trong chương, học theo thứ tự trình bày, sau phải làm tập đầy đủ (nếu có) Tham gia lớp đầy đủ, thảo luận vấn đề tồn chưa hiểu trình tự học Sau chương học, phải nắm vững khái niệm, định nghĩa, cơng thức tính tốn vận dụng giải tốn có tính chất tổng hợp giới thiệu cuối chương Vận dụng kiến thức có sau học xong chương để giải số tập tổng hợp cuối giáo trình, từ giúp cho người học hiểu sâu mơn học giải vấn đề tương tự thực tế Việc cho đời giáo trình với mục đích không đơn giản khả kinh nghiệm người soạn cịn có hạn, nhiều khái niệm, thuật ngữ dùng giáo trình chưa định nghĩa cách thống Vì giáo trình khơng tránh khỏi khiếm khuyết, mong nhận góp ý đồng nghiệp người đọc Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thông tin CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau hồn tất học bạn biết: - Đối tượng nghiên cứu, - Mơ hình lý thuyết thông tin theo quan điểm Shannon, - Các khái niệm Lượng tin biết lượng tin chưa biết, - Định lý sở kỹ thuật truyền tin, - Khái niệm chung dung lượng kênh truyền, - Vấn đề sinh mã giải mã Đối tượng nghiên cứu Lý thuyết thống kê thông tin xây dựng hai hướng khác hai nhà toán học Shannon (1948) Wiener (1949) Lý thuyết thông tin nghiên cứu q trình xử lý tín hiệu sau: Đầu vào (input): nhận tín hiệu từ lĩnh vực cụ thể, tức tín hiệu xuất theo ký hiệu (symbol) từ tập hợp cho trước theo phân phối xác suất biết Tín hiệu truyền kênh truyền (channel) bị nhiễu theo phân phối xác suất Kênh truyền hiểu hai nghĩa: Dưới nghĩa vật lý: kênh truyền hệ thống truyền tín hiệu (dây dẫn, mạch, sóng, ) gây nhiễu tùy thao chất lượng hệ thống Dưới nghĩa toán học: kênh truyền phân phối xác suất xác định lớp tín hiệu xét đầu nhận tín hiệu (output) Ở đầu (output): dựng lại tín hiệu chân thật có so với tín hiệu đầu vào Shannon xây dựng mơ hình lý thuyết thơng tin sở giải tốn: sinh mã độ dài tối ưu nhận tín hiệu đầu vào Tín tối ưu xét yếu tố sau: Phân phối xác suất xuất tín hiệu Tính mã cho phép tự điều chỉnh mã sai có với độ xác cao Giải mã đồng thời tự động điều chỉnh mã xác định đoạn mã truyền sai Trong khí đó, Wiener lại nghiên cứu phương pháp xử lý tín hiệu đầu ra: ước lượng tối ưu chuỗi tín hiệu so với nhận đầu vào khơng qua q trình sinh mã Như phương pháp Wiener áp dụng trường hợp người khơng kiểm sốt q trình truyền tín hiệu Mơn “xử lý tín hiệu” đề cập đến vấn đề Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu ... Giáo trình: Lý thuyết thơng tin GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THƠNG TIN MỤC ĐÍCH Giáo trình cung cấp cho người đọc khối kiến thức lý thuyết thông tin như: Độ lượng tin (Measure... trình: Lý thuyết thông tin CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau hồn tất học bạn biết: - Đối tượng nghiên cứu, - Mơ hình lý thuyết thông tin theo quan điểm Shannon, - Các khái niệm Lượng tin biết... thống truyền nhận liệu với quy trình bản: mã hóa, giải mã bảo mật thông tin Lý thuyết thông tin mơn học khó ngành Cơng nghệ thơng tin địi hỏi người học phải có kiến thức tốn xác suất thống kê Do