Giáo trình: Lý thuyết thơng tin MỤC LỤC GIỚI THIỆU TỔNG QUAN MỤC ĐÍCH YÊU CẦU .6 NỘI DUNG CỐT LÕI KẾT THỨC TIÊN QUYẾT TÀI LIỆU THAM KHẢO PHƯƠNG PHÁP HỌC TẬP .8 CHƯƠNG 1: GIỚI THIỆU .9 Mục tiêu .9 Đối tượng nghiên cứu Mơ hình lý thuyết thơng tin theo quan điểm Shannon 10 Lượng tin biết chưa biết 10 Ví dụ lượng tin biết chưa biết 10 Định lý sở kỹ thuật truyền tin 11 Mô tả trạng thái truyền tin có nhiễu 11 Minh họa kỹ thuật giảm nhiễu 12 Chi phí phải trả cho kỹ thuật giảm nhiễu 13 10 Khái niệm dung lượng kênh truyền 13 11 Vấn đề sinh mã 13 12 Vấn đề giải mã .13 CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN .15 BÀI 2.1: ENTROPY .15 Mục tiêu .15 Ví dụ entropy 15 Nhận xét độ đo lượng tin 15 Khái niệm entropy .16 Entropy kiện 16 Entropy phân phối 16 Định lý dạng giải tích Entropy 16 Ví dụ minh họa 17 Bài tốn tìm kiếm nhị phân-Đặt vấn đề 17 10 Bài tốn tìm kiếm nhị phân - Diễn giải 17 11 Bài tập .18 BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .19 Mục tiêu: .19 Các tính chất Entropy 19 Minh họa tính chất 19 Minh họa tính chất 19 Định lý cực đại entropy 20 Chứng minh định lý cực đại Entropy 20 Bài tập 21 BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN .22 Mục tiêu .22 Định nghĩa Entropy nhiều biến 22 Ví dụ Entropy nhiều biến 22 Định nghĩa Entropy có điều kiện .22 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Ví dụ Entropy có điều kiện 23 Quan hệ H(X,Y) với H(X) H(Y) X, Y độc lập .23 Quan hệ H(X,Y) với H(X) H(Y) X, Y tương quan 24 Bài tập 25 BÀI 2.4: MINH HỌA CÁC ENTROPY 26 Mục tiêu .26 Yêu cầu toán 26 Xác định phân phối ngẫu nhiên toán 26 Minh họa Entropy H(X), H(Y) H(X,Y) 27 Minh họa Entropy H(X/Y) H(Y/X) 27 Minh họa quan hệ Entropy 27 BAI 2.5: ĐO LƯỢNG TIN (MESURE OF INFORMATION) 28 Mục tiêu .28 Đặt vấn đề toán 28 Xác định phân phối toán 28 Nhận xét dựa theo entropy 28 Định nghĩa lượng tin 29 Bài tập 29 CHƯƠNG 3: SINH MÃ TÁCH ĐƯỢC (Decypherable Coding) 31 BÀI 3.1: KHÁI NIỆM VỀ MÃ TÁCH ĐƯỢC 31 Mục tiêu .31 Đặt vấn đề toán sinh mã 31 Khái niệm bảng mã không tách .32 Bảng mã tách 32 Khái niệm bảng mã tức thời 33 Giải thuật kiểm tra tính tách bảng mã 33 Bài toán 1- yêu cầu 33 Bài toán - Áp dụng giải thuật 34 Bài toán 34 10 Bài tập .35 BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ 36 Mục tiêu .36 Định lý Kraftn(1949) 36 Định nghĩa bậc D cỡ k .36 Vấn đề sinh mã cho bậc D cỡ k 37 Chứng minh định lý Kraft (Điều kiện cần) 37 Chứng minh định lý Kraft (Điều kiện đủ) 38 Ví dụ minh họa định lý Kraft 38 Bài tập 39 BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ 40 Mục tiêu .40 Định lý Shannon (1948) 40 Bảng mã tối ưu tuyệt đối .40 Bảng mã tối ưu tương đối 41 Điều kiện nhận biết bảng mã tối ưu .41 Định lý Huffman 41 Phương pháp sinh mã Huffman 42 Minh họa phương pháp sinh mã Huffman 42 Nhận xét tính tối ưu bảng mã Huffman 43 10 Bài tập .43 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin CHƯƠNG 4: KÊNH TRUYỀN 45 BÀI 4.1: KÊNH TRUYỀN RỜI RẠC KHÔNG NHỚ 45 Mục tiêu .45 Giới thiệu 45 Mô hình vật lý .45 Mô hình tốn học .46 Ví dụ xác định phân phối đầu nhận 47 Lượng tin kênh truyền 47 Định nghĩa dung lượng kênh truyền 48 BAI 4.2: CÁC DẠNG KÊNH TRUYỀN 49 Mục tiêu .49 Hiểu định lý dung lượng kênh truyền,Kênh truyền không tin .49 Kênh truyền xác định 49 Kênh truyền không nhiễu 50 Kênh truyền không sử dụng 50 Kênh truyền đối xứng 50 Xây dựng cơng thức tính dung lượng kênh truyền đối xứng 51 Định lý dung lượng kênh truyền 52 Bài tập 52 BÀI 4.3: LƯỢC ĐỒ GIẢI MÃ .53 Mục tiêu .53 Đặt vấn đề toán giải mã 53 Ví dụ toán giải mã 53 Các khái niệm kỹ thuật truyền tin .54 Ví dụ minh họa khái niệm 54 Các dạng sai số 55 Phương pháp xây dựng lượt đồ giải mã tối ưu 55 Minh họa xây dựng lược đồ giải mã tối ưu 56 Minh họa cách tính sai số 57 10 Bài tập 58 11 Bài Tập 58 CHƯƠNG 5: SỬA LỖI 59 BÀI 5.1: NGUYÊN LÝ KHOẢNG CÁCH NHỎ NHẤT HAMMING 59 Mục tiêu: .59 Khoảng cách Hamming .59 Kênh truyền đối xứng nhị phân lược đồ giải mã tối ưu 59 Ví dụ kênh truyền đối xứng nhị phân 60 Quan hệ xác suất giải mã khoảng cách Hamming 60 Nguyên lý Hamming 60 Bài tập 61 BÀI 5.2: BỔ ĐỀ VỀ TỰ SỬA LỖI VÀ CẬN HAMMING 62 Mục tiêu .62 Bổ đề tự sửa lỗi .62 Chứng minh minh họa bổ đề 62 Cận Hamming 63 Phân dạng lỗi .64 Bài tập 64 BÀI 5.3: MÃ KIỂM TRA CHẴN LẺ .64 Mục tiêu: .64 Bộ mã kiểm tra chẵn lẻ 65 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Phương pháp kiểm tra chẵn lẻ .65 Phương pháp sinh mã kiểm tra chẵn lẻ .66 Ví dụ sinh mã kiểm tra chẵn lẻ 66 Định lý quan hệ độ dài mã n, số bit kiểm tra m số lỗi tự sửa e 67 Ví dụ tìm m nhỏ từ n e 68 Ví dụ tìm e lớn từ m n 68 Bài tập 68 BÀI 5.4: NHĨM CỘNG TÍNH VÀ BỘ TỪ MÃ CHẴN LẺ 69 Mục tiêu .69 Khái niệm nhóm cộng tính .69 Tính chất mã chẵn lẻ 69 Ví dụ minh họa 70 Phương pháp sinh mã kiểm tra chẵn lẻ nhanh 71 Ví dụ sinh mã kiểm tra chẵn lẻ nhanh 71 Bài tập 72 BÀI 5.5: LƯỢC ĐỒ SỬA LỖI TỐI ƯU .73 Mục tiêu .73 Đặt vấn đề 73 Định nghĩa Hiệp hợp 73 Lược đồ sửa lỗi theo hiệp hợp 74 Lược đồ sửa lỗi thong qua lỗi .74 Ví dụ minh họa lược đồ sửa lỗi bit 74 Ví dụ minh họa lược đồ sửa lỗi bit 75 Ví dụ minh họa lược đồ sửa lỗi bit 76 Xác suất truyền 76 10 Bài tập .76 BÀI 5.6: MÃ HAMMING 76 Mục tiêu .76 Mã Hammin .77 Tính chất 77 Ví dụ minh họa 77 Bài tập 78 BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC 79 Mục tiêu .79 Đặt vấn đề 79 Biểu diễn vật lý ghi .79 Biểu diễn toán học ghi 80 Ví dụ ghi lui bước .80 Chu kỳ ghi 81 Ví dụ tìm chu kỳ ghi 81 Bài tập 82 BÀI 5.8: MÃ XOAY VÒNG 82 Mục tiêu .82 Ma trận kiểm tra chẵn lẻ mã xoay vòng 83 Định nghĩa mã xoay vòng 83 Phương pháp sinh nhanh mã xoay vòng .83 Ví dụ sinh nhanh mã xoay vòng 84 Bài tập 85 BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI .86 Mục tiêu .86 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thông tin Định nghĩa đa thức đặc trưng ghi .86 Quan hệ chu kỳ n, đa thức đăc trưng đa thức (xn + 1) 86 Thủ tục sinh ghi lùi bước 87 Ví dụ minh họa 87 Bài tập 87 Bài 5.10: PHƯƠNG PHÁP SINH MÃ XOAY VÒNG 88 Mục tiêu .88 Đặt vấn đề 88 Phương pháp sinh bảng mã xoay vòng 88 Ví dụ minh họa .89 Ví dụ minh họa .89 Ví dụ minh họa .90 Bảng liệt kê số đa thức đặc trưng .90 Bài tập 90 BÀI TẬP TỔNG HỢP 91 Mục tiêu .91 Bài 91 Bài 91 Bài 92 Bài 93 TÀI LIỆU THAM KHẢO .95 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Câu 4: Từ kết câu 3, người ta sử dụng bit để mã thông tin Triệu chứng (có triệu chứng dự trữ) bit để mã triệu chứng chẩn đoán bệnh trực tuyến Mô tả đoạn dãy bit phương pháp kiểm tra chẵn lẻ Câu 5: Nếu sử dụng ma trận kiểm tra chẵn lẻ dạng: A= 1 1 0 1 1 Tính từ mã Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 94 Giáo trình: Lý thuyết thơng tin TÀI LIỆU THAM KHẢO 12 G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992 13 David J.C Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge University Express-2003 14 Sanford Goldman, Information Theory 15 http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html 16 http://en.wikipedia.org/wiki/Information_theory 17 http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/ 18 http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html 19 http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf 20 http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html 21 http://guest.engelschall.com/~sb/hamming/ 22 http://www2.rad.com/networks/1994/err_con/hamming.htm Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 95 ... Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu Giáo trình: Lý thuyết thơng tin Câu 4: Từ kết câu 3, người ta sử dụng bit để mã thơng tin Triệu chứng (có triệu chứng dự trữ) bit để mã triệu chứng chẩn... ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 94 Giáo trình: Lý thuyết thơng tin TÀI LIỆU THAM KHẢO 12 G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992 13 David... Xác định phân phối toán 28 Nhận xét dựa theo entropy 28 Định nghĩa lượng tin 29 Bài tập 29 CHƯƠNG 3: SINH MÃ TÁCH ĐƯỢC (Decypherable Coding)