Giáo trình Lý thuyết thông tin ( Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu ) doc

www.tech.com.vn Giáo trình: Lý thuyết thơng tin MỤC LỤC GIỚI THIỆU TỔNG QUAN MỤC ĐÍCH YÊU CẦU .6 NỘI DUNG CỐT LÕI KẾT THỨC TIÊN QUYẾT TÀI LIỆU THAM KHẢO PHƯƠNG PHÁP HỌC TẬP .8 CHƯƠNG 1: GIỚI THIỆU .9 Mục tiêu .9 Đối tượng nghiên cứu Mơ hình lý thuyết thơng tin theo quan điểm Shannon 10 Lượng tin biết chưa biết 10 Ví dụ lượng tin biết chưa biết 10 Định lý sở kỹ thuật truyền tin 11 Mô tả trạng thái truyền tin có nhiễu 11 Minh họa kỹ thuật giảm nhiễu 12 Chi phí phải trả cho kỹ thuật giảm nhiễu 13 10 Khái niệm dung lượng kênh truyền 13 11 Vấn đề sinh mã 13 12 Vấn đề giải mã .13 CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN .15 BÀI 2.1: ENTROPY .15 Mục tiêu .15 Ví dụ entropy 15 Nhận xét độ đo lượng tin 15 Khái niệm entropy .16 Entropy kiện 16 Entropy phân phối 16 Định lý dạng giải tích Entropy 16 Ví dụ minh họa 17 Bài tốn tìm kiếm nhị phân-Đặt vấn đề 17 10 Bài tốn tìm kiếm nhị phân - Diễn giải 17 11 Bài tập .18 BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .19 Mục tiêu: .19 Các tính chất Entropy 19 Minh họa tính chất 19 Minh họa tính chất 19 Định lý cực đại entropy 20 Chứng minh định lý cực đại Entropy 20 Bài tập 21 BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN .22 Mục tiêu .22 Định nghĩa Entropy nhiều biến 22 Ví dụ Entropy nhiều biến 22 Định nghĩa Entropy có điều kiện .22 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin Ví dụ Entropy có điều kiện 23 Quan hệ H(X,Y) với H(X) H(Y) X, Y độc lập .23 Quan hệ H(X,Y) với H(X) H(Y) X, Y tương quan 24 Bài tập 25 BÀI 2.4: MINH HỌA CÁC ENTROPY 26 Mục tiêu .26 Yêu cầu toán 26 Xác định phân phối ngẫu nhiên toán 26 Minh họa Entropy H(X), H(Y) H(X,Y) 27 Minh họa Entropy H(X/Y) H(Y/X) 27 Minh họa quan hệ Entropy 27 BAI 2.5: ĐO LƯỢNG TIN (MESURE OF INFORMATION) 28 Mục tiêu .28 Đặt vấn đề toán 28 Xác định phân phối toán 28 Nhận xét dựa theo entropy 28 Định nghĩa lượng tin 29 Bài tập 29 CHƯƠNG 3: SINH MÃ TÁCH ĐƯỢC (Decypherable Coding) 31 BÀI 3.1: KHÁI NIỆM VỀ MÃ TÁCH ĐƯỢC 31 Mục tiêu .31 Đặt vấn đề toán sinh mã 31 Khái niệm bảng mã không tách .32 Bảng mã tách 32 Khái niệm bảng mã tức thời 33 Giải thuật kiểm tra tính tách bảng mã 33 Bài toán 1- yêu cầu 33 Bài toán - Áp dụng giải thuật 34 Bài toán 34 10 Bài tập .35 BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ 36 Mục tiêu .36 Định lý Kraftn(1949) 36 Định nghĩa bậc D cỡ k .36 Vấn đề sinh mã cho bậc D cỡ k 37 Chứng minh định lý Kraft (Điều kiện cần) 37 Chứng minh định lý Kraft (Điều kiện đủ) 38 Ví dụ minh họa định lý Kraft 38 Bài tập 39 BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ 40 Mục tiêu .40 Định lý Shannon (1948) 40 Bảng mã tối ưu tuyệt đối .40 Bảng mã tối ưu tương đối 41 Điều kiện nhận biết bảng mã tối ưu .41 Định lý Huffman 41 Phương pháp sinh mã Huffman 42 Minh họa phương pháp sinh mã Huffman 42 Nhận xét tính tối ưu bảng mã Huffman 43 10 Bài tập .43 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin CHƯƠNG 4: KÊNH TRUYỀN 45 BÀI 4.1: KÊNH TRUYỀN RỜI RẠC KHÔNG NHỚ 45 Mục tiêu .45 Giới thiệu 45 Mơ hình vật lý .45 Mơ hình tốn học .46 Ví dụ xác định phân phối đầu nhận 47 Lượng tin kênh truyền 47 Định nghĩa dung lượng kênh truyền 48 BAI 4.2: CÁC DẠNG KÊNH TRUYỀN 49 Mục tiêu .49 Hiểu định lý dung lượng kênh truyền,Kênh truyền không tin .49 Kênh truyền xác định 49 Kênh truyền không nhiễu 50 Kênh truyền không sử dụng 50 Kênh truyền đối xứng 50 Xây dựng công thức tính dung lượng kênh truyền đối xứng 51 Định lý dung lượng kênh truyền 52 Bài tập 52 BÀI 4.3: LƯỢC ĐỒ GIẢI MÃ .53 Mục tiêu .53 Đặt vấn đề toán giải mã 53 Ví dụ tốn giải mã 53 Các khái niệm kỹ thuật truyền tin .54 Ví dụ minh họa khái niệm 54 Các dạng sai số 55 Phương pháp xây dựng lượt đồ giải mã tối ưu 55 Minh họa xây dựng lược đồ giải mã tối ưu 56 Minh họa cách tính sai số 57 10 Bài tập 58 11 Bài Tập 58 CHƯƠNG 5: SỬA LỖI 59 BÀI 5.1: NGUYÊN LÝ KHOẢNG CÁCH NHỎ NHẤT HAMMING 59 Mục tiêu: .59 Khoảng cách Hamming .59 Kênh truyền đối xứng nhị phân lược đồ giải mã tối ưu 59 Ví dụ kênh truyền đối xứng nhị phân 60 Quan hệ xác suất giải mã khoảng cách Hamming 60 Nguyên lý Hamming 60 Bài tập 61 BÀI 5.2: BỔ ĐỀ VỀ TỰ SỬA LỖI VÀ CẬN HAMMING 62 Mục tiêu .62 Bổ đề tự sửa lỗi .62 Chứng minh minh họa bổ đề 62 Cận Hamming 63 Phân dạng lỗi .64 Bài tập 64 BÀI 5.3: MÃ KIỂM TRA CHẴN LẺ .64 Mục tiêu: .64 Bộ mã kiểm tra chẵn lẻ 65 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thông tin Phương pháp kiểm tra chẵn lẻ .65 Phương pháp sinh mã kiểm tra chẵn lẻ .66 Ví dụ sinh mã kiểm tra chẵn lẻ 66 Định lý quan hệ độ dài mã n, số bit kiểm tra m số lỗi tự sửa e 67 Ví dụ tìm m nhỏ từ n e 68 Ví dụ tìm e lớn từ m n 68 Bài tập 68 BÀI 5.4: NHĨM CỘNG TÍNH VÀ BỘ TỪ MÃ CHẴN LẺ 69 Mục tiêu .69 Khái niệm nhóm cộng tính .69 Tính chất mã chẵn lẻ 69 Ví dụ minh họa 70 Phương pháp sinh mã kiểm tra chẵn lẻ nhanh 71 Ví dụ sinh mã kiểm tra chẵn lẻ nhanh 71 Bài tập 72 BÀI 5.5: LƯỢC ĐỒ SỬA LỖI TỐI ƯU .73 Mục tiêu .73 Đặt vấn đề 73 Định nghĩa Hiệp hợp 73 Lược đồ sửa lỗi theo hiệp hợp 74 Lược đồ sửa lỗi thong qua lỗi .74 Ví dụ minh họa lược đồ sửa lỗi bit 74 Ví dụ minh họa lược đồ sửa lỗi bit 75 Ví dụ minh họa lược đồ sửa lỗi bit 76 Xác suất truyền 76 10 Bài tập .76 BÀI 5.6: MÃ HAMMING 76 Mục tiêu .76 Mã Hammin .77 Tính chất 77 Ví dụ minh họa 77 Bài tập 78 BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC 79 Mục tiêu .79 Đặt vấn đề 79 Biểu diễn vật lý ghi 79 Biểu diễn toán học ghi 80 Ví dụ ghi lui bước .80 Chu kỳ ghi 81 Ví dụ tìm chu kỳ ghi 81 Bài tập 82 BÀI 5.8: MÃ XOAY VÒNG 82 Mục tiêu .82 Ma trận kiểm tra chẵn lẻ mã xoay vòng 83 Định nghĩa mã xoay vòng 83 Phương pháp sinh nhanh mã xoay vòng .83 Ví dụ sinh nhanh mã xoay vòng 84 Bài tập 85 BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI .86 Mục tiêu .86 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin Định nghĩa đa thức đặc trưng ghi .86 Quan hệ chu kỳ n, đa thức đăc trưng đa thức (xn + 1) 86 Thủ tục sinh ghi lùi bước 87 Ví dụ minh họa 87 Bài tập 87 Bài 5.10: PHƯƠNG PHÁP SINH MÃ XOAY VÒNG 88 Mục tiêu .88 Đặt vấn đề 88 Phương pháp sinh bảng mã xoay vòng 88 Ví dụ minh họa .89 Ví dụ minh họa .89 Ví dụ minh họa .90 Bảng liệt kê số đa thức đặc trưng .90 Bài tập 90 BÀI TẬP TỔNG HỢP 91 Mục tiêu .91 Bài 91 Bài 91 Bài 92 Bài 93 TÀI LIỆU THAM KHẢO .95 Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THƠNG TIN MỤC ĐÍCH Giáo trình cung cấp cho người đọc khối kiến thức lý thuyết thông tin như: Độ lượng tin (Measure of Information), Sinh mã tách (Decypherable Coding), Kênh truyền tin rời rạc không nhớ (Discrete Memoryless Channel) Sửa lỗi kênh truyền (Error Correcting Codings) • Liên quan đến Độ đo lượng tin, giáo trình trình bày khái niệm thơng tin, entropy, số cơng thức, tính chất, định lý quan trọng entropy cách tính lượng tin • Về Sinh mã tách được, giáo trình giới thiệu đến người học vấn đề yêu cầu toán sinh mã, giải mã nhất, mã tức thời giải thuật kiểm tra mã tách Các định lý quan trọng đề cập nội dung là: Định lý Kraft (1949), Định lý Shannon (1948) Định lý sinh mã Huffman • Về kênh truyền tin rời rạc không nhớ, giáo trình giới thiệu mơ hình kênh truyền theo khía cạnh vật lý tốn học Các khái niệm dung lượng kênh truyền, phân lớp kênh truyền, định lý dung lượng kênh truyền, khái niệm kỹ thuật truyền tin phương pháp xây dựng lược đồ giải mã tối ưu trình bày mơn học • Vấn đề Sửa lỗi (hay xử lý mã sai) kênh truyền vấn đề quan trọng quan tâm nhiều môn học Các nội dung giới thiệu đến bạn Nguyên lý Khoảng cách Hamming, định lý Cận Hamming, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi, Bảng mã Hamming Bảng mã xoay vòng Hơn nữa, hầu hết vấn đề nêu đưa vào nội dung giảng dạy bậc Đại học số ngành có ngành Cơng nghệ thơng tin Do đó, để có tài liệu phục vụ cơng tác giảng dạy giáo viên việc học tập nghiên cứu sinh viên, mạnh dạn biên soạn giáo trình nhằm giúp cho sinh viên có tài liệu tự học nghiên cứu cách hiệu YÊU CẦU Sau học xong môn này, sinh viên phải có khả sau: • Hiểu khái niệm về thông tin, Entropy, Entropy phân phối, Entropy nhiều phân phối, Entropy có điều kiện, Độ đo lượng tin Vận dụng giải toán xác định lượng tin • Biết khái niệm mã tách được, mã không tách được, bảng mã tối ưu Hiểu Định lý Kraft (1949), Định lý Shannon (1948), Định lý sinh mã Huffman phương pháp sinh mã Huffman Vận dụng để sinh bảng mã tách tối ưu, nhận biết bảng mã bảng mã tối ưu vận dụng để viết chương trình sinh mã, giải mã (hay viết chương trình nén giải nén) Từ đây, sinh viên tự nghiên cứu loại bảng mã khác để vận dụng cho việc mã hóa bảo mật thơng tin cách hiệu Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn • • • Giáo trình: Lý thuyết thơng tin Biết khái niệm kênh truyền tin rời rạc không nhớ, dung lượng kênh truyền phân lớp kênh truyền Hiểu định lý dung lượng kênh truyền, phương pháp xây dựng lược đồ giải mã tối ưu cách tính xác suất truyền sai kênh truyền Biết khái niệm khoảng cách Hamming, nguyên lý khoảng cách Hamming, định lý Cận Hamming, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi, Bảng mã Hamming Bảng mã xoay vòng Vận dụng kiến thức học để thiết kế hệ thống truyền nhận liệu với quy trình bản: mã hóa, giải mã bảo mật thơng tin Lý thuyết thơng tin mơn học khó ngành Cơng nghệ thơng tin địi hỏi người học phải có kiến thức tốn xác suất thống kê Do đó, địi hỏi người học phải tự bổ sung kiến thức tốn xác suất thống kê cho (nếu thiếu), tham gia lớp học đầy đủ làm tập theo u cầu mơn học tiếp thu kiến thức môn học cách hiệu NỘI DUNG CỐT LÕI Giáo trình gồm chương trình bày 45 tiết giảng cho sinh viên chuyên ngành Cơng nghệ thơng tin, có khoảng 30 tiết lý thuyết 15 tiết tập mà giáo viên hướng dẫn cho sinh viên lớp Chương 1: Giới thiệu Chương trình bày nội dung có tính tổng quan mơn học bao gồm: đối tượng nghiên cứu, mơ hình lý thuyết thơng tin theo quan điểm nhà toán học Shannon, khái niệm lượng tin biết chưa biết, định lý kỹ thuật truyền tin Chương 2: Độ đo lượng tin Chương trình bày vấn đề entropy, tính chất entropy, entropy nhiều biến, entropy có điều kiện, định lý quan hệ entropy lượng tin kiện Chương 3: Sinh mã tách Nội dung chương bao gồm khái niệm mã tách được, quan hệ mã tách độ dài mã, tính tối ưu độ dài mã Chương 4: Kênh truyền Các nội dung trình bày chương bao gồm khái niệm kênh truyền tin rời rạc khơng nhớ, mơ hình truyền tin khía cạnh vật lý tốn học, dung lượng kênh truyền, phân lớp kênh truyền Phương pháp xây dựng lược đồ giải mã tối ưu cách tính xác suất truyền sai giới thiệu chương Chương 5: Sửa lỗi Chương trình bày nội dung cốt lõi sau: khái niệm khoảng cách Hamming, nguyên lý khoảng cách nhỏ Hamming, bổ đề tự sửa lỗi định lý Cận Hamming Chương giới thiệu mã kiểm tra chẵn lẻ, phương pháp kiểm tra chẵn lẻ, lược đồ sửa lỗi tối ưu, mã Hamming mã xoay vòng KẾT THỨC TIÊN QUYẾT Để học tốt môn học này, địi hỏi sinh viên phải nắm vững mơn học có liên quan như: xác suất thống kê, đại số boole (phép toán Modulo đa thức nhị phân) Các mơn học có liên quan tham kháo thêm kỷ thuật số, hệ điều hành, mạng máy tính Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin TÀI LIỆU THAM KHẢO David J.C Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge University Express-2003 G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992 Sanford Goldman, Information Theory http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html http://en.wikipedia.org/wiki/Information_theory http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/ http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html 10 http://guest.engelschall.com/~sb/hamming/ 11 http://www2.rad.com/networks/1994/err_con/hamming.htm PHƯƠNG PHÁP HỌC TẬP Để phục vụ cho mục tiêu nâng cao khả tự học tập tự nghiên cứu sinh viên, giáo trình biên soạn với giáo trình khác thuộc chuyên ngành Công nghệ thông tin Khoa Công nghệ thông tin Truyền thông – Đại Học Cần Thơ theo dự án ASVIET002CNTT “Tăng cường hiệu đào tạo lực đào tạo sinh viên khoa Công nghệ Thông tinĐại học Cần Thơ” Chúng cố gắng trình bày giáo trình cách có hệ thống nội dung theo bố cục chương ứng với khối kiến thức nêu trên, chương được trình bày theo bố cục học học giới thiệu đến người học vấn đề số vấn đề khối kiến thức tương ứng với chương Khi học xong học chương, người học có khối kiến thức cần thiết tương ứng cho môn học Nội dung học đưa vào ví dụ để người học dễ hiểu, tùy theo vấn đề mà người học cần phải học nghiên cứu thời lượng từ đến tiết tự học cho học chương Như vậy, để học tốt môn học này, trước hết sinh viên cần phải: • • • • • Học đầy đủ môn học tiên quyết, bổ sung kiến thức toán xác suất thống kê (nếu thiếu) Học nghiên cứu kỹ chương theo trình tự chương trình bày giáo trình Trong chương, học theo thứ tự trình bày, sau phải làm tập đầy đủ (nếu có) Tham gia lớp đầy đủ, thảo luận vấn đề tồn chưa hiểu trình tự học Sau chương học, phải nắm vững khái niệm, định nghĩa, cơng thức tính tốn vận dụng giải tốn có tính chất tổng hợp giới thiệu cuối chương Vận dụng kiến thức có sau học xong chương để giải số tập tổng hợp cuối giáo trình, từ giúp cho người học hiểu sâu mơn học giải vấn đề tương tự thực tế Việc cho đời giáo trình với mục đích khơng đơn giản khả kinh nghiệm người soạn cịn có hạn, nhiều khái niệm, thuật ngữ dùng giáo trình chưa định nghĩa cách thống Vì giáo trình khơng tránh khỏi khiếm khuyết, mong nhận góp ý đồng nghiệp người đọc Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau hoàn tất học bạn biết: - Đối tượng nghiên cứu, - Mơ hình lý thuyết thơng tin theo quan điểm Shannon, - Các khái niệm Lượng tin biết lượng tin chưa biết, - Định lý sở kỹ thuật truyền tin, - Khái niệm chung dung lượng kênh truyền, - Vấn đề sinh mã giải mã Đối tượng nghiên cứu Lý thuyết thống kê thông tin xây dựng hai hướng khác hai nhà toán học Shannon (1948) Wiener (1949) Lý thuyết thơng tin nghiên cứu q trình xử lý tín hiệu sau: Đầu vào (input): nhận tín hiệu từ lĩnh vực cụ thể, tức tín hiệu xuất theo ký hiệu (symbol) từ tập hợp cho trước theo phân phối xác suất biết Tín hiệu truyền kênh truyền (channel) bị nhiễu theo phân phối xác suất Kênh truyền hiểu hai nghĩa: Dưới nghĩa vật lý: kênh truyền hệ thống truyền tín hiệu (dây dẫn, mạch, sóng, ) gây nhiễu tùy thao chất lượng hệ thống Dưới nghĩa toán học: kênh truyền phân phối xác suất xác định lớp tín hiệu xét đầu nhận tín hiệu (output) Ở đầu (output): dựng lại tín hiệu chân thật có so với tín hiệu đầu vào Shannon xây dựng mơ hình lý thuyết thơng tin sở giải toán: sinh mã độ dài tối ưu nhận tín hiệu đầu vào Tín tối ưu xét yếu tố sau: Phân phối xác suất xuất tín hiệu Tính mã cho phép tự điều chỉnh mã sai có với độ xác cao Giải mã đồng thời tự động điều chỉnh mã xác định đoạn mã truyền sai Trong khí đó, Wiener lại nghiên cứu phương pháp xử lý tín hiệu đầu ra: ước lượng tối ưu chuỗi tín hiệu so với nhận đầu vào khơng qua trình sinh mã Như phương pháp Wiener áp dụng trường hợp người không kiểm sốt q trình truyền tín hiệu Mơn “xử lý tín hiệu” đề cập đến vấn đề Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu www.tech.com.vn Giáo trình: Lý thuyết thơng tin Mơ hình lý thuyết thơng tin theo quan điểm Shannon Lý thuyết thông tin xét theo quan điểm Shannon Đối tượng nghiên cứu hệ thống liên lạc truyền tin (communication system) sơ đồ đây: Nguồn Mã hóa Kênh Giải mã Nhận Nhiễu Bộ chữ Bộ chữ Diễn giải: - - Nguồn (source) thơng tin cịn gọi thông báo cần truyền đầu vào (Input) Mã hóa (encode) sinh mã Ứng với thông báo, sinh mã gán cho đối tượng (object) phù hợp với kỹ thuật truyền tin Đối tượng là: o Dãy số nghị phân (Digital) dạng: 01010101, giống mã máy tính o Sóng liên tục (Analog) giống truyền radio Kênh (channel) phương tiện truyền mã thông tin Nhiễu (noise) sinh kênh truyền tin Tùy vào chất lượng kênh truyền mà nhiễu nhiều hay Giải mã (decode) đầu (output) đưa dãy mã trở dạng thông báo ban đầu với xác suất cao Sau thơng báo chuyển cho nới nhận Trong sơ đồ trên, quan tâm đến khối mã hóa giải mã tồn môn học Lượng tin biết chưa biết Một biến ngẫu nhiên (BNN) X mang lượng tin Nếu X chưa xảy (hay ta chưa biết cụ thể thơng tin X) lượng tin chưa biết, trường hợp X có lượng tin chưa biết Ngược lại X xảy (hay ta biết cụ thể thông tin X) lượng tin biến ngẫu nhiên X coi biết hoàn toàn, trường hợp X có lượng tin biết Nếu biết thơng tin BNN X thông qua BNN Y xảy ta nói: biết phần lượng thơng tin X sở biết Y Ví dụ lượng tin biết chưa biết Ta xét ví dụ người tổ chức trò chơi may rủi khách quan với việc tung đồng tiền “có đầu hình – khơng có đầu hình” Nếu người chơi chọn mặt khơng có đầu hình thắng kết tung đồng tiền khơng có đầu hình, nguợc lại thua Tuy nhiên người tổ chức chơi “ăn gian” cách sử dụng đồng tiền “Thật- Giả” khác sau: + Đồng tiền loại (hay đồng tiền thật): đồng chất có mặt có đầu hình + Đồng tiền loại (hay đồng tiền giả ): đồng chất, mặt có đầu hình Mặc dù người tổ chức chơi “ăn gian” q trình trao đổi đồng tiền cho ngẫu nhiêu, liệu người tổ chức chơi “ăn gian” hồn tồn khơng? Hay lượng tin biết chưa biết kiện lấy đồng tiền từ đồng tiền nói hiểu nào? Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 10 www.tech.com.vn Giáo trình: Lý thuyết thông tin ⎡0 ⎢0 Ma trận đặc trưng ghi: T= ⎢ ⎢0 ⎢ ⎣1 0 0 1 0⎤ 0⎥ ⎥ 1⎥ ⎥ 0⎦ Chu kỳ ghi Như trình bày trình dịch chuyển lùi bước ghi: ⎛ x0 ⎞ ⎜ ⎟ ⎜ x2 ⎟ Nếu ta gọi x(0)= ⎜ x3 ⎟ véc tơ giá trị ghi thời điểm khởi tạo giá ⎜ ⎟ trị ghi thời điểm sau: ⎜ M ⎟ ⎜x ⎟ ⎝ m −1 ⎠ Giá trị ghi sau xung đồng hồ x(1)=T.x(0) Giá trị ghi sau xung đồng hồ x(2)=T.x(1)=T2.x(0) Giá trị ghi sau xung đồng hồ x(3)=T.x(2)=T3.x(0) Giá trị ghi sau n xung đồng hồ x(n)=T.x(n-1)=Tn.x(0) (bởi số trạng thái thơng tin khác có 2m) Vậy chu kỳ ghi số xung nhịp đồng hồ để ghi lặp lại trạng thái ban đầu Nghĩa x(0)≠0 ∃ n>0 cho x(n) = x(0) ta nói n chu kỳ ghi Lưu ý: Cách viết biểu diễn nhị phân cho giá trị x(i) theo thứ tự từ xuống (theo cột), tương ứng với viết từ trái sang phải (theo dịng) Ví dụ: biểu diễn nhị phân x(i) = có m = bit sau: Viết theo dòng: x(i) = 011 (viết từ trái sang phải) ⎛ 0⎞ ⎜ ⎟ (i) Viết theo cột: x = ⎜ ⎟ (viết từ xuống) ⎜1⎟ ⎝ ⎠ Ví dụ tìm chu kỳ ghi Cho ghi lui bước hình sau: + F3 F2 F1 F0 Từ ghi ta có: m=4, a0=1, a1=0, a2=1, a3=0 ⎡0 0 ⎤ ⎢0 ⎥ ⎥ Ma trận đặc trưng ghi: T= ⎢ ⎢0 0 ⎥ ⎥ ⎢ ⎣1 ⎦ Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 81 www.tech.com.vn Giáo trình: Lý thuyết thơng tin ⎛ x0 ⎞ ⎛ ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ x ⎟ ⎜ 0⎟ (0) Đặc giá trị khởi tạo ghi x =1= ⎜ ⎟ = ⎜ ⎟ x ⎜ 2⎟ ⎜ ⎟ ⎜ x ⎟ ⎜1⎟ ⎝ 3⎠ ⎝ ⎠ Tìm chu kỳ: ⎛ 0⎞ ⎛ 0⎞ ⎛1⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 0⎟ ⎜1⎟ ⎜ 0⎟ X(1)=T.x(0)= ⎜ ⎟ ⇒ x(2)=T.x(1)= ⎜ ⎟ ⇒ x(3)=T.x(2)= ⎜ ⎟ 1 ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 0⎟ ⎜1⎟ ⎜ 0⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎛0⎞ ⎛1⎞ ⎜ ⎟ ⎜ ⎟ ⎜1⎟ ⎜0⎟ ⇒ x(4)=T.x(3)= ⎜ ⎟ ⇒ x(5)=T.x(4)= ⎜ ⎟ ⇒ x(6)=T.x(5)= 0 ⎜ ⎟ ⎜ ⎟ ⎜0⎟ ⎜0⎟ ⎝ ⎠ ⎝ ⎠ Tương tự: + Khi chọn x(0) = thi ta có chu kỳ n = + Khi chọn x(0) = ta có chu kỳ n = + Khi chọn x(0) = ta có chu kỳ n = 1 ⎛0⎞ ⎜ ⎟ ⎜ ⎟ (0) ⎜0⎟ = x ⎜ ⎟ ⎜1⎟ ⎝ ⎠ 12 15 11 13 10 Chu kỳ n=6 Thanh ghi có chu kỳ Chu kỳ n=6 14 Chu kỳ n=3 Chu kỳ n=1 Bài tập Tìm chu kỳ ghi lui bước hình sau: + F2 F2 F1 F0 Tìm chu kỳ ghi lui bước hình sau: + F2 F1 F0 BÀI 5.8: MÃ XOAY VỊNG Mục tiêu Sau hồn tất học bạn có thể: Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 82 www.tech.com.vn - Giáo trình: Lý thuyết thông tin Biết cách xác định ma trận kiểm tra chẵn lẻ cho mã xoay vòng (hay gọi mã vòng), Hiểu định nghĩa mã xoay vòng, Vận dụng xây dựng mã xoay vòng, Vận dụng phương pháp sinh nhanh mã xoay vòng để sinh mã kiểm tra chẵn lẻ Ma trận kiểm tra chẵn lẻ mã xoay vòng Định nghĩa: ma trận kiểm tra chẵn lẻ thiết kế từ ghi lùi bước ma trận có dạng sau: A=[x(0)| T x(0)|T2 x(0) |…|Tn-1 x(0)] với n chu kỳ ghi (n > m) Trong đó: - T ma trận đặc trưng ghi - x(0) ≠ 0: giá trị khởi tạo ghi - n : chiều dài từ mã chu kỳ ghi - m: số bit kiểm tra hay số bit ghi Ví dụ: xét lại ví dụ tìm chu kỳ ghi, chọn giá trị khởi tạo ghi x(0) = ta có ma trận kiểm tra với chu kỳ n=6 sau: ⎡0 0 1 ⎤ ⎢0 1 ⎥ (0) (1) (2) (3) (4) (5) ⎥ A =[ x x x x x x ]= ⎢ ⎢0 1 0 ⎥ ⎥ ⎢ ⎣1 0 0⎦ Định nghĩa mã xoay vòng Mã xoay vòng mã kiểm tra chẵn lẻ sinh từ ma trận kiểm tra chẵn lẻ ứng với chu kỳ n ghi lùi bước có dạng như: A=[x(0)| Tx(0)|T2x(0) |…|Tn-1x(0) ] Ví dụ: xét lại ma trận kiểm tra chẵn lẻ ⎡0 0 1 ⎤ ⎢0 1 ⎥ ⎥ (chu kỳ n = 6) A=⎢ ⎢0 1 0 ⎥ ⎥ ⎢ ⎣1 0 ⎦ Ta có n = 6, m = 3, k = ⇒ s = 2k = 22 = từ mã Áp dụng Phương pháp sinh mã nhanh mã kiểm tra chẵn lẻ ta có mã kiểm tra chẵn lẻ gồm từ mã sau : w0 = 000000, w1 = 101010, w2 = 010101, w4 = 111111, mã xoay vòng sinh từ ghi lùi bước nêu (Các bước sinh mã nhanh đề nghị bạn tự làm) Phương pháp sinh nhanh mã xoay vòng Cách sinh nhanh k từ mã độc lập tuyến tính mã vòng từ a0, a1, a2, …, am-1: Bước 1: sinh mã xoay vòng Sinh mã xoay vịng có dạng w1=a0a1a2…am-1 1000…00 k-1 bit Bước 2: sinh k -1 từ mã độc lập tuyến tính cịn lại Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 83 www.tech.com.vn Giáo trình: Lý thuyết thơng tin w2= 0a0a1a2…am-11000…0 (dịch w1 sang phải bit) k-2 bit ……… wk= 000…00a0a1a2…am-11 (dịch từ wk-1 sang phải bit) k-1 bit Bước 3: xác định từ mã lại mã Các từ mã lại gồm (2k – k từ mã) xác định cách cộng tổ hợp 2, 3, …, k từ mã từ k từ mã độc lập tuyến tính Ví dụ sinh nhanh mã xoay vịng Cho ghi lui bước hình sau: + F3 F2 F1 F0 Từ ghi, ta có: m=4, n=6, a0=1, a1=0, a2=1, a3=0 Bước 1: Sinh mã xoay vòng w1=101010 Bước 2: Sinh k -1 từ mã độc lập tuyến tính cịn lại w2=010101 Bước 3: Xác định từ mã lại mã w3 =111111 (w1+w2), w0 =000000 (w1+w2 + w3) Bộ mã vòng vừa sinh W={000000, 101010, 010101, 111111) Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 84 www.tech.com.vn Giáo trình: Lý thuyết thông tin Bài tập Cho ghi lùi bước sau: F2 + F1 F0 - Tìm ma trận kiểm tra chẵn lẻ có số cột n > - Từ kết câu a, xác định mã xoay vịng tương ứng - Tìm mã xoay vịng theo phương pháp sinh nhanh mã xoay vòng Cho ghi lùi bước sau: + - F3 F2 F1 F0 Tìm ma trận kiểm tra chẵn lẻ có số cột n > Từ kết câu a, xác định mã xoay vịng tương ứng Tìm mã xoay vòng theo phương pháp sinh nhanh mã xoay vòng Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 85 www.tech.com.vn Giáo trình: Lý thuyết thơng tin BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI Mục tiêu Sau hồn tất học bạn có thể: - Hiểu định nghĩa đa thức đặc trưng ghi, - Hiểu Quan hệ chu kỳ n, đa thức đặc trưng đa thức (xn + 1), - Vận dụng sinh ghi lùi bước, - Làm sở để vận dụng sinh mã vòng Định nghĩa đa thức đặc trưng ghi Định nghĩa: đa thức đặc trưng ghi có ma trận đặc trưng T đa thức có dạng gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm với a0, a1, a2,…, am-1 công tắc ghi m số bit ghi Ví dụ: xét lại ghi hình sau: F3 + F2 F1 F0 a0 = 1, a1= 0, a2 = 1, a3 = Đa thức đặc trưng ghi có dạng: gm(x)=1 + x2 + x4 Quan hệ chu kỳ n, đa thức đăc trưng đa thức (xn + 1) Đa thức đặc trưng ghi gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm chia hết đa thức (xn + 1) Ví dụ: xét lại ghi lui bước hình sau: + F3 F2 F1 F0 Từ ghi ta xác định kết sau: - a0 = 1, a1= 0, a2 = 1, a3 = - Đa thức đặc trưng ghi có dạng: g4(x)=1 + x2 + x4 - Thanh ghi có chu kỳ n = Thực phép chia đa thức (x6 + 1) : (1 + x2 + x4) = (x2 + 1) ⇒ chia hết Ghi chú: phép toán đa thức nhị phân phép tốn Modulo Ví dụ: xét lại ghi lui bước hình sau: + F3 F2 F1 F0 a0 = 1, a1= 0, a2 = 1, a3 = đa thức đặc trưng ghi có dạng: g4(x)=1 + x2 + x4 ghi có chu kỳ n = (x6 + 1) : + x2 + x4 = x2 + Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 86 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Thủ tục sinh ghi lùi bước Để sinh ghi lùi bước với số bit m có chu kỳ n, ta thực theo bước sau: Bước 1: xác định đa thức đặc trưng ghi - Tìm đa thức gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk cho (xn + 1) = gm(x)* hk(x) - Nếu ∃ (xn + 1) = gm(x)* hk(x) ta chọn gm(x) làm đa thức đặc trưng cho ghi (vì số bit kiểm tra mã m) thực bước - Ngược lại: không tồn ghi theo yêu cầu Bước 2: vẽ ghi Từ gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm ⇒ a0, a1, a2,…, am-1 ⇒ ghi có dạng: Fm-1 Fm-2 F1 F0 + am-1 am-2 a1 a0 Ví dụ minh họa Thiết kế ghi có m=3 bit chu kỳ n=7, ta thực theo bước sau: Bước 1: Xác định đa thức đặc trưng ghi Ta có (x7 + 1) : (1 + x2 + x3) = (1 + x2 + x3 + x4) Do m=3 nên chọn g3(x) = (1 + x2 + x3) làm đa thức đặc trưng ghi Bước 2: Vẽ ghi Từ g3(x) = (1 + x2 + x3) ta có, a0=1, a1=0, a2=1 F2 + F1 F0 Bài tập Trong ghi sau đây, ghi sinh mã vịng có độ dài n=15 bit? (R1): + F3 F2 F1 F0 (R2): + F3 F2 F1 F0 (R3): + F3 F2 F1 F0 Nêu bước cần thiết để thiết kế mã xoay vòng độ dài 15 bit với số bit kiểm tra Vẽ sơ đồ ghi dạng tổng quát Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 87 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Bài 5.10: PHƯƠNG PHÁP SINH MÃ XOAY VỊNG Mục tiêu Sau hoàn tất học bạn có thể: - Hiểu phương pháp sinh mã vịng, - Biết bảng liệt kê số đa thức đặc trưng, - Vận dụng để sinh mã vòng theo nhiều cách khách Đặt vấn đề Để sinh mã kiểm tra chẵn lẻ, ta dựa theo nhiều phương pháp khác như: sinh mã dựa theo lý thuyết nhóm, mã Hamming, Vấn đề đặt để sinh mã xoay vòng với độ dài n bit m bit kiểm tra chẵn lẻ Phương pháp sinh mã xoay vòng dựa lý thuyết đa thức đặc trưng nhị phân ghi giúp ta có nhìn tổng qt vấn đề sinh mã xoay vòng theo nhiều cách khác Phương pháp sinh bảng mã xoay vòng Để sinh mã xoay vòng độ dài n bit với m bit kiểm tra k bit thơng tin, ta thực theo bước sau: Bước 1: tìm đa thức gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk cho (xn + 1) = gm(x)* hk(x) Nếu ∃ (xn + 1) = gm(x)* hk(x) chuyển sang bước Ngược lại khơng thể sinh mã vịng theo yêu cầu Bước 2: ta sinh mã xoay vòng theo cách đây: Cách 1: Chọn đa thức gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm ⇒ a0, a1, a2,…, am-1 ⇒ ghi ⇒ ma trận đặc trưng T ⇒ chu kỳ n ⇒ ma trận kiểm tra chẵn lẻ A ⇒ Bộ mã xoay vòng Cách 2: chọn đa thức gm(x)=a0 + a1x+ a2 x2+ …+am-1xm-1 + xm ⇒ a0, a1, a2,…, am-1 ⇒ Sinh nhanh k từ mã độc lập tuyến tính với từ mã sinh độc lập tuyến tính có dạng: w1=a0a1a2…am-11000…00 ⇒ Bộ mã xoay vịng k-1 bit Cách 3: chọn hk(x)=h0 + h1x+ h2x2 + …+hk-1xk-1 + xk làm đa thức sinh ma trận kiểm tra chẵn lẻ cho mã vịng có dạng: ⎛0 ⎜ ⎜0 − ⎜− − ⎜ ⎜0 ⎜1 h k −1 ⎝ − − − 0 − − − − − − − hk −1 − hk −1 − − k k −1 − − − − h1 h0 − − h1 h0 0 − − − h1 − − h1 − − − h0 − − − − − − − h0 ⎞ ⎟ 0⎟ −⎟ ⎟ 0⎟ 0⎟ ⎠ m (m-1) bits ⇒ Sinh mã xoay vòng theo Phương pháp sinh nhanh mã xoay vòng Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 88 www.tech.com.vn Giáo trình: Lý thuyết thông tin Nhận xét: kết theo cách sinh mã xoay vịng nói la (cho mã) Ví dụ minh họa Thiết kế ghi sinh ma trận kiểm tra chẵn lẻ Chọn đa thức gm(x)= 1+x+x4 ⇒ a0 = 1, a1 = 1, a2 = 0, a3 = F3 F2 F1 F0 + ⎡0 ⎢0 Ma trận đặc trưng ghi: T= ⎢ ⎢0 ⎢ ⎣1 Tìm chu kỳ ghi: ⎛ 0⎞ ⎜ ⎟ ⎜ 0⎟ (0) Chọn giá trị khởi tạo x =1= ⎜ ⎟ ⎜ ⎟ ⎜ 1⎟ ⎝ ⎠ 0 1 0 0⎤ 0⎥ ⎥ 1⎥ ⎥ 0⎦ ⎛ 0⎞ ⎛ 0⎞ ⎛ 1⎞ ⎛ 0⎞ ⎛ 0⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ (1) (0) ⎜ ⎟ (2) (1) ⎜ ⎟ (3) (2) ⎜ ⎟ (4) (3) ⎜ ⎟ (5) (4) ⎜ ⎟ x =T.x = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ 0 1 ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 0⎟ ⎜ 0⎟ ⎜ 1⎟ ⎜ 1⎟ ⎜ 0⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎛ 1⎞ ⎛ 1⎞ ⎛ 0⎞ ⎛ 1⎞ ⎛ 0⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ (6) (5) ⎜ ⎟ (7) (6) ⎜ ⎟ (8) (7) ⎜ ⎟ (9) (8) ⎜ ⎟ (10) (9) ⎜ ⎟ x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ ; x =Tx = ⎜ ⎟ 1 ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ 1⎟ ⎜ 0⎟ ⎜ 1⎟ ⎜ 1⎟ ⎜ 1⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎛1⎞ ⎛ 1⎞ ⎛ 1⎞ ⎛ 1⎞ ⎛ 0⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ (11) (12) ⎜1⎟ (12) (11) ⎜ ⎟ (13) (12) ⎜ ⎟ (14) (13) ⎜ ⎟ (15) (14) ⎜ ⎟ x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ;x =Tx = ⎜ ⎟ ; x =T.x = ⎜ ⎟ = x(0) 1 0 ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜1⎟ ⎜ 0⎟ ⎜ 0⎟ ⎜ 0⎟ ⎜ 1⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ Ma trận kiểm tra chẳn lẻ : ⎛0 0 ⎜ ⎜0 0 A= ⎜ 0 ⎜ ⎜1 0 1 ⎝ 1 1 1 0 1 1 1 1 1 1 1 1 0 1⎞ ⎟ 0⎟ 0⎟ ⎟ 0⎟ ⎠ ⇒ Bộ mã xoay vịng vớin=14, m=4, k=11 Ví dụ minh họa Chọn đa thức gm(x)= 1+x+x4 ⇒ a0 = 1, a1 = 1, a2 = 0, a3 = Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 89 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Bước 1: Sinh mã xoay vòng w1 =110010000000000 Bước 2: Sinh k -1 từ mã độc lập tuyến tính cịn lại w2 =011001000000000 w3 =001100100000000 w4 =000110010000000 w5 =000011001000000 w6 =000001100100000 w7 =000000110010000 w8 =000000011001000 w9 =000000001100100 w10=000000000110010 w11=000000000011001 Bước 3: Xác định từ mã lại mã (215 - 11) từ mã lại xác định cách cộng tổ hợp 2, 3, 4, , k = 11 từ mã từ k=11 từ mã độc lập tuyến tính Ví dụ minh họa Chọn hk(x)= 1+ x + x2 + x3 +x5 + x7 + x8 + x11 làm đa thức sinh ma trận kiểm tra chẵn lẻ cho mã vòng ⇒ h0 = 1, h1 = 1, h2 = 1, h3 = 1, h4 = 0, h5 = 1, h6 = 0, h7 = 1, h8 =1, h9 = 0, h10 = ⎛ 0 0 1 1 1 1⎞ ⎟ ⎜ ⎜ 0 0 1 1 1 0⎟ A= ⎜ ⇒ Bộ mã xoay vòng 0 1 1 1 0⎟ ⎟ ⎜ ⎜ 0 1 1 1 0 0⎟ ⎠ ⎝ Bảng liệt kê số đa thức đặc trưng M 10 11 12 13 Đa thức 1+x+x3 1+x+x4 1+x2+x5 1+x+x6 1+x3+x7 1+x2+x3+x4+x8 1+x4+x9 1+x3+x10 1+x2+x11 1+x+x4+x6+x12 1+x+x3+x4+x13 M 14 15 16 17 18 19 20 21 22 23 24 Đa thức 1+x+x6+x10+x14 1+x+x15 1+x+x3+x12+x16 1+x3+x7 1+x7+x18 1+x+x2+x5+x19 1+x3+x20 1+x2+x21 1+x+x22 1+x3+x23 1+x+x2+x7+x24 Bài tập Tìm mã vịng có độ dài bit Tìm ghi sinh mã vịng có độ dài 15 bit Tìm ghi sinh mã vịng có độ dài 31 bit Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 90 www.tech.com.vn Giáo trình: Lý thuyết thơng tin BÀI TẬP TỔNG HỢP Mục tiêu Sau hồn tất học bạn có thể: - Hiểu rõ nội dung môn học - Vận dụng nội dung môn học để giải số tập tổng hợp Bài Xét mơ hình chẩn đốn bệnh từ triệu chứng: A, B C; để chẩn đoán bệnh: 1, 2, với ma trận chẩn đoán (hay ma trận truyền tin) Bệnh Triệu chứng A B C 0,6 0,2 0,3 0,6 0 0,2 0,3 0,1 0,7 Yêu cầu: Câu 1: Vẽ sơ đồ mơ tả mơ hình chẩn đốn bệnh diễn giải ý nghĩa sơ đồ Câu 2: Nếu phân phối Triệu chứng có dạng: Triệu chứng P A 0,5 B 0,3 C 0,2 Tính lượng sau : Lượng ngẫu nhiên (Entropy) Triệu chứng Lượng ngẫu nhiên Bệnh Lượng ngẫu nhiên Bệnh biết Triệu chứng Lượng chẩn đoán đúng.(Lượng thông tin biết Bệnh thông qua Triệu chứng) tỷ lệ chẩn đoán phần trăm Câu 3: Bây người ta sử dụng bit để mã thơng tin Triệu chứng (có triệu chứng dự trữ) bit để mã triệu chứng chẩn đốn bệnh trực tuyến Mơ tả đoạn dãy bit phương pháp kiểm tra chẵn lẻ Câu 4: Nếu sử dụng ma trận kiểm tra chẵn lẻ dạng: A= 1 1 0 1 1 Tính từ mã Xây dựng Bộ sửa lỗi bit dùng cho tự động sửa lỗi tối ưu q trình chẩn đốn trực tuyến Cho ví dụ Bài Xét kênh truyền tin đặc biệt dạng : Truyền X Nhận Y Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 91 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Truyền giá trị X nhận nhiều giá trị khác Y với xác suất khác Bảng xác suất truyền X nhận Y khác cho đây: y1 y2 y3 y4 y5 y6 0,6 0,1 0,05 0,1 Y X x0 x1 x2 x3 0,1 0,05 0,1 0,05 0,1 0,6 0,1 0,05 0,05 0,1 0,05 0,1 0,05 0,1 0,6 0,1 0,1 0,05 0,1 0,6 Yêu cầu: Câu 1: Vẽ sơ đồ mô tả kênh truyền tin diễn giải ý nghĩa sơ đồ Câu 2: Nếu phân phối X có dạng : X P x0 0.5 x1 0.25 x3 0.15 x4 0.1 tính thơng lượng X truyền kênh Câu 3: Phân phối X cần có dạng để thơng lượng truyền kênh lớn Tính dung lượng kênh truyền Câu 4: Bây người ta sử dụng bit để mã thông tin X bit để mã giá trị truyền kênh Mô tả đoạn dãy bit phương pháp kiểm tra chẵn lẻ Câu 5: Nếu sử dụng ma trận kiểm tra chẵn lẻ dạng: A= 1 1 0 Tính từ mã Xây dựng Bộ sửa lỗi dùng cho tự động sửa lỗi tối ưu q trình truyền tin Cho ví dụ Bài Người ta cần đánh giá kênh truyền tin chuẩn bị thực truyền loại tín hiệu đặc biệt: X = {x0, x1, x2, x3} Công việc phải khảo sát kênh truyền Kết khảo sát cho thấy: Kênh truyền nhận giá trị khác nhau, để có khả phát lỗi điều chỉnh lỗi Ma trận truyền tin có dạng: y2 y3 y4 y5 y6 y7 y8 y1 Y X x0 0,6 0,1 0,05 0,05 0,05 0,05 0,05 0,05 x1 0,05 0,05 0,6 0,1 0,05 0,05 0,05 0,05 x2 0,05 0,05 0,05 0,05 0,6 0,1 0,05 0,05 x3 0,05 0,05 0,05 0,05 0,05 0,05 0,6 0,1 Yêu cầu: Câu 1: Vẽ sơ đồ mô tả kênh truyền tin diễn giải ý nghĩa sơ đồ Nếu phân phối X có dạng : X P x0 0.5 x1 0.25 x3 0.15 x4 0.1 tính thơng lượng X truyền kênh Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 92 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Câu 2: Phân lớp giá trị Y lớp B0, B1, B2, B3 dùng để giải mã tối ưu Y tốt giá trị tương ứng X Câu : Bây người ta sử dụng bit để mã thông tin X bit để mã giá trị truyền kênh Mô tả đoạn dãy bit phương pháp kiểm tra chẵn lẻ Câu 4: Nếu sử dụng ma trận kiểm tra chẵn lẻ dạng: A= 0 1 1 Tính từ mã Xây dựng Bộ sửa lỗi dùng cho tự động sửa lỗi tối ưu trình truyền tin Cho ví dụ Bài Xét mơ hình chẩn đốn bệnh từ triệu chứng: A, B C; để chẩn đoán bệnh: 1, 2, với ma trận chẩn đoán (hay ma trận truyền tin) Bệnh Triệu chứng A B C 0,5 0,1 0,3 0,2 0,1 0,7 0,3 0,2 0,6 Yêu cầu: Câu 1: Giả sử người ta biết thêm triệu chứng gây bệnh khác : D, E F muốn ghi lại triệu chứng thông qua bảng ký hiệu A = {+, - } Hãy kiểm tra tính tách bảng mã sau : Triệu chứng : X Mã : W A + B -+ C ++- D +- E ++-+ F B 0.2 C 0.2 D 0.05 E 0.03 F 0.2 Câu 2: Nếu triệu chứng câu có phân phối : Triệu chứng : X P A 0.5 Giử sử có người bệnh với triệu chứng đến khám bệnh bác sĩ hỏi bệnh với nguyên tắc, cho người bệnh trả lời câu : Đúng Sai Tìm phương pháp hỏi bệnh với số câu hỏi trung bình Tính số câu hỏi trung bình Tính lượng ngẫu nhiên Triệu chứng Nhận xét số câu hỏi trung bình lượng ngẫu nhiên triệu chứng Câu 3: Bây sử dụng mơ hình triệu chứng {A, B, C} bệnh Vẽ sơ đồ mơ tả mơ hình chẩn đốn bệnh diễn giải ý nghĩa sơ đồ Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 93 www.tech.com.vn Giáo trình: Lý thuyết thơng tin Câu 4: Từ kết câu 3, người ta sử dụng bit để mã thông tin Triệu chứng (có triệu chứng dự trữ) bit để mã triệu chứng chẩn đoán bệnh trực tuyến Mô tả đoạn dãy bit phương pháp kiểm tra chẵn lẻ Câu 5: Nếu sử dụng ma trận kiểm tra chẵn lẻ dạng: A= 1 1 0 1 1 Tính từ mã Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 94 www.tech.com.vn Giáo trình: Lý thuyết thông tin TÀI LIỆU THAM KHẢO 12 G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992 13 David J.C Mackey, Information Theory, Infernce, and Learning Algorithms, CamBridge University Express-2003 14 Sanford Goldman, Information Theory 15 http://www.inference.phy.cam.ac.uk/mackay/info-theory/course.html 16 http://en.wikipedia.org/wiki/Information_theory 17 http://www-2.cs.cmu.edu/~dst/Tutorials/Info-Theory/ 18 http://cscs.umich.edu/~crshalizi/notebooks/information-theory.html 19 http://www.lecb.ncifcrf.gov/~toms/paper/primer/primer.pdf 20 http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html 21 http://guest.engelschall.com/~sb/hamming/ 22 http://www2.rad.com/networks/1994/err_con/hamming.htm Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 95 ... H(0.5, 0 5) = -(0 .5)log(0. 5) -(0 .5)log(0. 5) = (bit) Entropy Y: H(X) = H(0.125, 0.25, 0.62 5) = -(0 .125)log(0.12 5) + (0 .25)log(0.2 5) + (0 .625)log(0.62 5) = 1.2988 (bit) Entropy X Y: H(X,Y) Xem tập... −∑∑ p ( xi , y j )[ log p ( xi ) + log p ( y j )] i =1 j =1 M L ⇒ H ( X ) + H (Y ) = −∑∑ p ( xi , y j )[ log p ( xi ) p ( y j )] (1 ) i =1 j =1 Đặt qij =p(xi)p(yj) Biên soạn: TS L ê Quy ết Thắng,. .. 1.49 (bit) H(Y/X=x 2) = H(0.3, 0.5, 0. 2)= 1.49 (bit) H(Y/X=x 1) = H(0.2, 0.3, 0. 5)= 1.49 (bit) H(Y/X)= p(x 1). H(Y/X=x 1) + p(x 2). H(Y/X=x 2) + p(x 3). H(Y/X=x 3) = 1.49 (bit) L? ?ợng thông tin truyền kênh: