tiểu luận môn cơ sở lý thuyết thông tin của ngành điện tử viễn thông, với đề tài giải chuỗi mã thông tin sau đây mọi người có thể tham khảo như bài trên và đã giải thích rất rõ ràng từng bài làm trong đó để được tìm hiểu chuỗi mã thông tìn mình cần truyền, môn nầy tôi đạt được 10 điểm kỳ thi cuối kỳ.
MỤC LỤC: Đề tài: Mã hóa chuỗi thơng tin sau: Lê Quang Đồn - 19T1051027 Trang Lời nói đầu Chương I: Phần Lý Thuyết Trình bày lý thuyết Lượng Tin Entropy 1.1 Lượng tin gì? 1.2 Xác định lượng tin .3 1.3 Entropy gì? Lập mã cho dịng mã hóa .6 2.1 Định nghĩa khái niệm 2.2 Mã thống kê tối ưu Trình bày lý thuyết mã hóa khối 11 3.1 Giới thiệu mã hóa khối 11 3.2 Các khái niệm nguyên lý hoạt động 11 Chương II: Phần Bài Tập 13 Mã hóa theo mã C(7.4) 13 1.1 Mã hóa chuỗi thơng tin “ LE QUANG DOAN 19T1051027” .13 1.2 Mã hóa theo mã C(7,4) .14 Tài liệu tham khảo Phiếu đánh giá tiểu luận Lời Nói Đầu Mơn học Cơ sở lý thuyết thơng tin môn quen thuộc khối sinh viên ngành điện tử - viễn thông Mặc dù cố gắng q trình viết, khơng thể tránh khỏi sai sót Mong nhận đóng góp ý kiến thầy cơ, để hồn thiện sau Chương I: Phần Lý Thuyết TRÌNH BÀY LÝ THUYẾT LƯỢNG TIN VÀ ENTROPY 1.1 Lượng Tin gì? - “Lượng thơng tin mức độ bị thủ tiêu độ bất định Lượng thông tin = độ chênh độ bất định trước sau nhận tin = độ bất định trước nhận tin – độ bất định sau nhận tin (độ bất định tiên nghiệm – độ bất định hậu nghiệm)” 1.2 Xác định lượng thông tin - Lượng thông tin = thông tin tiên nghiệm – thông tin hậu nghiệm - Thơng tin tiên nghiệm (hay cịn gọi lượng thông tin riêng) xác định: I(𝑥𝐾 ) = -log p(𝑥𝐾 ) Cịn thơng tin hậu nghiệm xác định sau: - Gọi 𝑥𝐾 tin gửi đi, 𝑦𝑙 tin thu có chứa dấu hiệu để hiểu biết 𝑥𝐾 (có chứa thơng tin 𝑥𝐾 ) Khi xác suất để rõ 𝑥𝐾 thu 𝑦𝑙 p(𝑥𝐾 /𝑦𝑙 ) Như độ bất định tin 𝑥𝐾 rõ 𝑦𝑙 bằng: I(𝑥𝐾 /𝑦𝑙 ) = -log p(𝑥𝐾 /𝑦𝑙 ) I(𝑥𝐾 /𝑦𝑙 ) gọi thông tin hậu nghiệm 𝑥𝐾 (thơng tin riêng 𝑥𝐾 sau có 𝑦𝑙 ) - Lượng thông tin 𝑥𝐾 : I(𝑥𝐾 , 𝑦𝑙 ) = I(𝑥𝐾 ) - I(𝑥𝐾 /𝑦𝑙 ) 1 = log – log p(𝑥𝐾 ) I(𝑥𝐾 , 𝑦𝑙 ) = log - p(𝑥𝐾 /𝑦𝑙 ) p(𝑥𝐾 ) p(𝑥𝐾 /𝑦𝑙 ) I(𝑥𝐾 , 𝑦𝑙 ) gọi lượng thông tin 𝑥𝐾 rõ tin 𝑦𝑙 hay cịn gọi lượng thơng tin chéo 𝑥𝐾 𝑦𝑙 mang lại Nếu việc truyền tin không bị nhiễu 𝑦𝑙 𝑥𝐾 Tức phát 𝑥𝐾 chắn nhận Khi đó: p(𝑥𝐾 /𝑦𝑙 ) = p(𝑥𝐾 /𝑥𝐾 ) = 1 I(𝑥𝐾 , 𝑦𝑙 ) = I(𝑥𝐾 , 𝑥𝐾 ) = I(𝑥𝐾 ) = log p(𝑥𝐾 ) - Như vậy, khơng có nhiễu lượng thơng tin nhận độ bất định kiện 𝑥𝐾 , tức thông tin tiên nghiệm 𝑥𝐾 Vậy lượng thông tin tổn hao kênh là: I(𝑥𝐾 ) - I(𝑥𝐾 , 𝑦𝑙 ) = I(𝑥𝐾 /𝑦𝑙 ) Đơn vị đo thông tin (lượng thông tin) đơn vị đo độ bất định Nếu số logarit 10 đơn vị đo thông tin gọi Hartley, hay đơn vị thập phân Nếu số logarit e = 2,718… đơn vị đo thơng tin gọi nat, hay đơn vị đo tự nhiên Nếu số logarit đơn vị đo thơng tin gọi bit, hay đơn vị nhị phân Hartley = 3,322 bit nat = 1,443 bit 1.3 Entropy gì? 1.3.1 Định nghĩa entropy nguồn rời rạc - Entropy nguồn tin rời rạc trung bình thống kê lượng thơng tin riêng dấu thuộc nguồn A, ký hiệu H(A): H(A) = M[I(𝑎𝑖 )] - Trong 𝑎𝑖 dấu nguồn A (Ta hiểu dấu chữ ký hiệu… nguồn) Còn nguồn A tập rời rạc dấu 𝑎𝑖 với xác suất xuất chúng Ta quy ước viết A sau: 𝑎1 𝑎2 … 𝑎𝑠 A = {𝑎𝑖 } = (𝑝(𝑎 ) 𝑝(𝑎 ) … 𝑝(𝑎𝑠 )) - Với 𝑝(𝑎𝑖 ) ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) = - A gọi trường tin (hay trường biến cố) H(A) = M[I(𝑎𝑖 )] = ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) I(𝑎𝑖 ) H(A) = -∑𝑠𝑖=1 𝑝(𝑎𝑖 )log 𝑝(𝑎𝑖 ) - H(A) gọi entropy chiều nguồn rời rạc 1.3.2 Các tính chất entropy chiều nguồn rời rạc: - Khi 𝑝(𝑎𝑘 ) = 𝑝(𝑎𝑟 ) = với ∀rk thì: H(A) = H(𝐴𝑚𝑖𝑛 ) = - Một nguồn rời rạc gồm s dấu đồng xác suất thỏa mãn 𝑝(𝑎𝑖 ) ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) = entropy đạt cực đại cực đại log s H(𝐴𝑚𝑎𝑥 ) = log s 1.3.3 Entropy trường kiện đồng thời: - Có hai trường kiện A B: 𝑎1 𝑎2 … 𝑎𝑠 𝑏 𝑏2 … 𝑏𝑡 ) B = ( ) A = (𝑝(𝑎 ) 𝑝(𝑎 ) … 𝑝(𝑎 ) 𝑝(𝑏1 ) 𝑝(𝑏2 ) … 𝑝(𝑏𝑡 ) 𝑠 - Các 𝑎𝑖 𝑏𝑗 kiện - Ta xét kiện tích: 𝑐𝑘 = 𝑎𝑖 𝑏𝑗 , p(𝑐𝑘 ) = p(𝑎𝑖 𝑏𝑗 ) Ta xét trường C giao hai trường A B, nếu: 𝑎1 𝑏𝑡 … 𝑎2 𝑏𝑗 … 𝑎 𝑏 𝑎1 𝑏2 … 𝑎𝑠 𝑏𝑡 ) C = A.B = ( 1 𝑝(𝑎1 𝑏1 ) 𝑝(𝑎1 𝑏2 ) … 𝑝(𝑎1 𝑏𝑡 ) … 𝑝(𝑎2 𝑏𝑗 ) … 𝑝(𝑎𝑠 𝑏𝑡 ) - Trường C gọi trường kiện đồng thời (trường giao, tích) hai trường kiện A B - Hai trường kiện A B gọi độc lập với nếu: p(𝑎𝑖 𝑏𝑗 ) = p(𝑎𝑖 ) p(𝑏𝑗 ) - Tất nhiên p(𝑎𝑖 ) p(𝑏𝑗 ) thỏa mãn 𝑝(𝑎𝑖 ) ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) = ta có: 𝑝(𝑎𝑖 𝑏𝑗 ) 1; ∑𝑠𝑖=1 ∑𝑡𝑗=1 𝑝(𝑎𝑖 𝑏𝑗 ) = - Entropy trường kiện đồng thời C = A.B tổng entropy trường kiện A B A B độc lập: H(A.B) = H(A) + H(B) ̅̅̅̅̅ Tương tự, nguồn 𝑋𝑘 , (k=1, 𝑛) độc lập với thì: H(𝑋1 𝑋2 … 𝑋𝑛 ) = ∑𝑛𝑘=1 𝐻(𝑋𝑘 ) 1.3.4 Entropy có điều kiện Lượng thơng tin chéo trung bình: - Entropy có điều kiện trường tin rõ tin trường tin xác định kỳ vọng lượng thông tin riêng có điều kiện 𝑎𝑘 𝑏𝑙 mang lại: H(A/𝑏𝑙 ) = M[I(𝑎𝑖 /𝑏𝑙 )] = ∑𝑠𝑖=1 𝑝(𝑎𝑖 /𝑏𝑙 )I(𝑎𝑖 /𝑏𝑙 ) = - ∑𝑠𝑖=1 𝑝(𝑎𝑖 /𝑏𝑙 )log 𝑝(𝑎𝑖 /𝑏𝑙 ) - H(A/𝑏𝑙 ) lượng thông tin tổn hao trung bình tin đầu phát đầu thu thu 𝑏𝑗 Tương tự: H(B/𝑎𝑖 ) = - ∑𝑡𝑗=1 𝑝(𝑏𝑗 /𝑎𝑖 )log 𝑝(𝑏𝑗 /𝑎𝑖 ) - H(B/𝑎𝑖 ) lượng thông tin riêng trung bình chứa tin đầu thu đầu phát phát tin 𝑎𝑖 - Entropy có điều kiện trường kiện A rõ trường kiện B xác định kỳ vọng đại lượng H(A/𝑏𝑗 ): H(A/B) = - ∑𝑠𝑖=1 ∑𝑡𝑗=1 𝑝(𝑎𝑖 𝑏𝑗 ) log 𝑝(𝑎𝑖 /𝑏𝑗 ) - H(A/B) lượng thơng tin tổn hao trung bình tin đầu phát đầu thu thu dấu - Tương tự: H(B/A) = - ∑𝑠𝑖=1 ∑𝑡𝑗=1 𝑝(𝑏𝑗 𝑎𝑖 ) log 𝑝(𝑏𝑗 /𝑎𝑖 ) H(B/A) lượng thơng tin riêng trung bình chứa tin đầu thu đầu phát phát tin 1.3.5 Các tính chất entropy có điều kiện tính chất I(A,B) - Nếu A B hai trường biến cố (hai nguồn tin bất kỳ) entropy trường biến cố đồng thời A.B bằng: H(A.B) = H(A) + H(B/A) = H(B) + H(A/B) - Entropy có điều kiện nằm khoảng: H(A/B) H(A) - Entropy trường kiện đồng thời không lớn tổng entropy trường kiện bản: H(A.B) H(A) + H(B) o Các tính chất I(A,B) I(A,B) I(A,B) H(A) I(A,A) = H(A) I(A,B) = I(B,A) 1.3.6 Lượng thông tin chéo trung bình: - Lượng thơng tin chéo trung bình (ký hiệu I(A,B)): - I(A,B) = M[I(𝑎𝑖 , 𝑏𝑗 )] = ∑𝑠𝑖=1 ∑𝑡𝑗=1 𝑝(𝑎𝑖 𝑏𝑗 )𝑙𝑜𝑔 ∑𝑠𝑖=1 ∑𝑡𝑗=1 𝑝(𝑎𝑖 𝑏𝑗 ) log 𝑝(𝑎𝑖 /𝑏𝑗 ) = = - H(A/B) + H(A) - 𝑎 𝑝( 𝑖 ) 𝑏𝑗 𝑝(𝑎𝑖 ) 𝑠 𝑡 ∑𝑖=1 ∑𝑗=1 𝑝(𝑎𝑖 𝑏𝑗 ) log 𝑝(𝑎𝑖 ) Tương tự, ta có: I(A,B) = H(B) – H(B/A) Hay: I(A,B) = H(A) + H(B) – H(A.B) - I(A,B) gọi lượng thơng tin trung bình truyền theo kênh rời rạc 1.3.7 Mơ hình kênh truyền tin có nhiễu Hình 1: Mối quan hệ đại lượng LẬP BỘ MÃ CHO DỊNG MÃ HĨA 2.1 Định nghĩa khái niệm 2.1.1 Mã hóa gì? - Mã hóa ánh xạ 1-1 từ tập tin rời rạc 𝑎𝑖 lên tập từ mã 𝛼𝑖 𝑛𝑖 f: 𝑎𝑖 𝛼𝑖 𝑛𝑖 - Mã hóa ánh xạ 1-1 từ tập tin rời rạc 𝑎𝑖 lên tập có cấu trúc cấu trúc đại số 2.1.2 Các yếu tố từ mã - Độ dài từ mã 𝑛𝑖 số dấu mã cần thiết dùng để mã hóa cho tin 𝑎𝑖 - Nếu 𝑛𝑖 = const với i từ mã có độ dài Bộ mã tương ứng gọi mã - Nếu 𝑛𝑖 𝑛𝑗 mã tương ứng gọi mã không - Số dấu mã khác (về giá trị) sử dụng mã gọi số mã Ta ký hiệu giá trị m - Nếu m = mã tương ứng gọi mã nhị phân - Nếu m = mã tương ứng gọi mã tam phân - Nếu m = p mã tương ứng gọi mã p phân - Thông thường dấu mã chọn phần tử trường F 2.1.3 Độ thừa mã (D) - Cho nguồn rời rạc A gồm s tin: A = {𝑎𝑖 ; ̅̅̅̅ 1, 𝑠 } 𝑛 𝑛 - Cho phép mã hóa f sau: f: 𝑎𝑖 𝛼𝑖 ; 𝛼𝑖 V - Cơ số mã m, số từ mã độ dài n có là: N = 𝑚𝑛 - Độ thừa mã xác định theo biểu thức sau: D= 𝐻0 (𝑉)− 𝐻0 (𝐴) 𝐻0 (𝑉) = 1− 𝐻0 (𝐴) 𝐻0 (𝑉) [%] Trong đó: 𝐻0 (𝐴) = log s 𝐻0 (𝑉) = log N = nlogm 2.1.4 Khoảng cách mã (D) - Khoảng cách hai từ mã 𝛼𝑖 𝑛 𝛼𝑗 𝑛 số dấu mã khác tính theo vị trí hai từ mã này, ký hiệu d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) - Khoảng cách mã d có đầy đủ tính chất khoảng cách khơng gian metric: TC1: d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) = d(𝛼𝑗 𝑛 , 𝛼𝑖 𝑛 ) TC2: d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) TC3: d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) + d(𝛼𝑗 𝑛 , 𝛼𝑘 𝑛 ) d(𝛼𝑖 𝑛 , 𝛼𝑘 𝑛 ) (tính chất tam giác) - Để đánh giá định lượng khả khống chế sai (bao gồm khả phát sai khả sửa sai) mã ta sử dụng khái niệm khoảng cách mã tối thiểu (hay khoảng cách Hamming) sau: - Khoảng cách Hamming 𝑑0 mã xác định theo biểu thức sau: 𝑑0 = d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) & ∀𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 - Ở 𝛼𝑖 𝑛 𝛼𝑗 𝑛 không đồng không (Ta coi 𝛼𝑖 𝑛 từ mã không dấu mã từ mã nhận giá trị không) 2.1.5 Trọng số từ mã - Trọng số từ mã W(𝛼𝑖 𝑛 ) số dấu mã khác không từ mã - Nếu ta coi từ mã 𝛼𝑖 𝑛 vecto n chiều khơng gian tuyến tính n chiều 𝑉𝑛 , phép cộng thực hai từ mã tương tự phép cộng hai vecto tương ứng Các tính chất trọng số: o W(𝛼𝑖 𝑛 ) o d(𝛼𝑖 𝑛 , 𝛼𝑗 𝑛 ) = W(𝛼𝑖 𝑛 + 𝛼𝑗 𝑛 ) 2.1.6 Khả khống chế sai mã nhị phân Khả phát sai: - Một mã nhị phân có độ thừa (D0) có 𝑑0 có khả phát t sai thỏa mãn điều kiện: t 𝑑0 − Khả sửa sai: - Một mã nhị phân có độ thừa (D0) có 𝑑0 có khả sửa - e sai thỏa mãn điều kiện: 𝑑0 −1 e[ ] - Ở [x] ký hiệu phần nguyên số x 2.2 Mã thống kê tối ưu - Là phép mã hóa mà kết mã có chiều dài trung bình nhỏ tất phép mã hóa có nguồn - Bộ mã phép mã hóa tối ưu cho nguồn gọi mã hóa tối ưu - Ba phép mã hóa: Shannon, Fano, Huffman Trong phép mã hóa mã hóa với số mã m = Ta xét phép mã hóa sau tin nguồn rời rạc A: f: 𝑎𝑖 𝛼𝑖 𝑛𝑖 Mỗi tin 𝑎𝑖 mã hóa tổ hợp mã (từ mã) 𝛼𝑖 𝑛𝑖 (𝛼𝑖 𝑛𝑖 tổ hợp mã gồm 𝑛𝑖 dấu mã) - Ta xét trường hợp mã nhị phân tức dấu mã nhận hai giá trị “0” “1” 2.2.1 Độ dài trung bình từ mã mã hóa tối ưu 𝑎𝑖 𝛼 𝑛𝑖 - Ta có A = (𝑝(𝑎 )) → ̅̅̅̅ V = ( 𝑖 ) i = ̅̅̅̅ 1, 𝑠 𝑖=1,𝑠 𝑝(𝑎𝑖 ) 𝑖 - Độ dài trung bình tổ hợp mã xác định theo biểu thức sau: 𝑛̅ = M[𝑛𝑖 ] = ∑𝑠𝑖=1 𝑛𝑖 𝑝 (𝑎𝑖 ) - Một mã hóa gọi tiết kiệm (hay tối ưu) làm cực tiểu giá trị 𝑛̅ 2.2.2 Yêu cầu phép mã tối ưu - 𝑛̅ - Có khả giải mã tức thì: khơng dãy bít biểu diễn tin (ký tự) lại phần đầu (prefix) dãy bít dài biểu diễn cho tin (ký tự) khác 2.2.3 Định lý mã hóa thứ Shannon (đối với mã nhị phân) Định lý: Ln ln xây dựng phép mã hóa tin rời rạc có hiệu mà 𝑛̅ nhỏ tùy ý khơng nhỏ entropy H(A) xác định đặc tính thống kê nguồn A 𝑛̅ H(A) Nguyên tắc lập mã tiết kiệm: - Theo định lý ta có: ∑𝑠𝑖=1 𝑝(𝑎𝑖 )𝑛𝑖 − ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) 𝑙𝑜𝑔𝑝(𝑎𝑖 ) - Bất đẳng thức thỏa mãn ∀i ta có: 𝑝(𝑎𝑖 )𝑛𝑖 − 𝑝(𝑎𝑖 ) 𝑙𝑜𝑔𝑝(𝑎𝑖 ) Hay 𝑛𝑖 − 𝑙𝑜𝑔𝑝(𝑎𝑖 ) - Nguyên tắc: Các từ mã có độ dài nhỏ dùng để mã hóa cho tin có xác suất xuất lớn ngược lại 2.2.4 Phương pháp mã hóa Shannon Các bước thực mã hóa theo phương pháp Shannon: o Bước 1: Sắp xếp xác suất theo thứ tự giảm dần Khơng tính tổng qt giả sử 𝑝1 𝑝2 … 𝑝𝑘 o Bước 2: Định nghĩa 𝑞1 = 0, 𝑞𝑖 = ∑𝑖−1 𝑗=1 𝑝𝑗 với i = 1, 2, …, k o Bước 3: Đổi 𝑞𝑖 sang số (biểu diễn 𝑞𝑖 số 2) chuỗi nhị phân o Bước 4: Từ mã gán cho 𝑎𝑖 𝑙𝑖 ký hiệu lấy từ vị trí sau dấu phẩy chuỗi nhị phân tương ứng với 𝑞𝑖 , 𝑙𝑖 = [−𝑙𝑜𝑔2 𝑝𝑖 ] - Ví dụ: Mã hóa nguồn S = {𝑎1 ; 𝑎2 ; 𝑎3 ; 𝑎4 ; 𝑎5 ; 𝑎6 ; 𝑎7 ; 𝑎8 } với xác suất 0.25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625 - Tin 𝑎𝑖 Xác suất 𝑝𝑖 Biểu diễn 𝑞𝑖 = 𝑙𝑖 = Từ mã 𝑤𝑖 𝑖−1 nhị phân [−𝑙𝑜𝑔 𝑝 ] ∑𝑗=1 𝑝𝑗 𝑖 0.25 0.0000000 00 𝑎1 0.25 0.25 0.0100000 01 𝑎5 0.125 0.5 0.1000000 100 𝑎2 0.125 0.625 0.1010000 101 𝑎6 0.0625 0.75 0.1100000 1100 𝑎3 0.0625 0.8125 0.1101000 1101 𝑎4 0.0625 0.875 0.1110000 1110 𝑎7 0.0625 0.9375 0.1111000 1111 𝑎8 Độ dài trung bình từ mã: 𝑛̅ = 0,25.2 + 0,25.2 + 0,125.3 + 0,125.3 + 0,0625.4 + 0,0625.4 + 0,0625.4 + 0,0625.4 = 2,75 Entropy nguồn tin: H(S) = −[0,25 𝑙𝑜𝑔2 0,25 + 0,25 𝑙𝑜𝑔2 0,25 + 0,125 𝑙𝑜𝑔2 0,125 + 0,125 𝑙𝑜𝑔2 0,125 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 = 2,75 Hiệu suất lập mã: - h= 𝐻(𝑆) 𝑛̅ = 2,75 2,75 =1 2.2.5 Phương pháp mã hóa Fano Các bước thực mã hóa theo phương pháp Fano: Bước 1: Sắp xếp xác suất theo thứ tự giảm dần Khơng tính tổng quát giả sử 𝑝1 𝑝2 … 𝑝𝑘 Bước 2: Phân xác suất thành hai nhóm có tổng xác suất gần Bước 3: Gán cho hai nhóm ký hiệu Bước 4: Lặp lại bước cho nhóm tiếp tục Bước 5: Từ mã ứng với tin chuỗi bao gồm ký hiệu theo thứ tự gán cho nhóm có chứa xác suất tương ứng tin Ví dụ: Mã hóa nguồn S = {𝑎1 ; 𝑎2 ; 𝑎3 ; 𝑎4 ; 𝑎5 ; 𝑎6 ; 𝑎7 ; 𝑎8 } với xác suất 0.25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625 Tin 𝑎𝑖 𝑎1 𝑎5 𝑎2 𝑎6 𝑎3 𝑎4 p(𝑎𝑖 ) 0.25 0.25 0.125 0.125 0.0625 0.0625 Lần 0 1 1 Lần 0 1 Lần Lần 0 Từ mã 00 01 100 101 1100 1101 0.0625 1 𝑎7 0.0625 1 1 𝑎8 Độ dài trung bình từ mã: 𝑛̅ = 0,25.2 + 0,25.2 + 0,125.3 + 0,125.3 + 0,0625.4 + 0,0625.4 + 0,0625.4 + 0,0625.4 = 2,75 Entropy nguồn tin: H(S) = −[0,25 𝑙𝑜𝑔2 0,25 + 0,25 𝑙𝑜𝑔2 0,25 + 0,125 𝑙𝑜𝑔2 0,125 + 0,125 𝑙𝑜𝑔2 0,125 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 + 0,0625 𝑙𝑜𝑔2 0,0625 = 2,75 Hiệu suất lập mã: h= 𝐻(𝑆) 𝑛̅ = 2,75 2,75 1110 1111 =1 - Nhận xét: Hai phương pháp Shannon Fano thực chất một, xây dựng sở độ dài từ mã tỉ lệ nghịch với xác suất xuất hiện, không cho phép lập mã cách chia nhóm sở đồng tổng xác suất nên có nhiều cách chia Sự lập mã theo cách chia nhóm sở đồng xác suất tạo cho mã có tính Prefix Phương pháp mã hóa tin nguồn tin có hiệu entropy nguồn lớn (H(S) 1) Trường hợp H(S) < phương pháp mã hóa tin riêng biệt khơng đưa đến cải tiến tốt tính tối ưu mã Trong trường hợp dùng phương pháp mã hóa khối tin 2.2.6 Thuật tốn mã hóa Huffman - Với phép mã hóa tối ưu ta có: 𝑛̅ = H(A) 𝑎𝑖 - VÀO: Nguồn rời rạc A = (𝑝(𝑎 )), i = ̅̅̅̅ 1, 𝑠 𝑖 - RA: Từ mã 𝛼𝑖 𝑛𝑖 tương ứng với tin 𝑎𝑖 - Bước 1: Khởi động danh sách nhị phân nút chứa trọng lượng 𝑝1 , 𝑝2 ,…, 𝑝𝑛 cho tin 𝑎1 , 𝑎2 ,…, 𝑎𝑛 - Bước 2: Thực bước sau n−1 lần: Tìm hai T’ T” danh sách với nút gốc có trọng lượng tối thiểu p’ p” Thay hai nhị phân với nút gốc có trọng lượng p’ + p” có T’ T” Đánh dấu mũi tên đến 10 Bước 3: Mã số tin 𝑎𝑖 dãy bít đánh dấu đường từ gốc nhị phân cuối tới nút 𝑎𝑖 TRÌNH BÀY LÝ THUYẾT CỦA MÃ HĨA KHỐI 3.1 Giới thiệu mã hóa khối - Mã khối tuyến tính lớp mã dùng phổ biến việc chống nhiễu - Loại mã xây dựng dựa kết đại số tuyến tính - Định nghĩa là: o Một mã khối có chiều dài n gồm 2𝑘 từ mã gọi mã tuyến tín C(n,k) 2𝑘 từ mã hình thành khơng gian vectơ k chiều không gian vectơ n chiều gồm tất vectơ n thành phần trường GF(2) o Mã tuyến tính C(n,k) có mục đích mã hóa khối tin (hay thông báo) k bit thành từ mã n bit Nghĩa là, n bit từ mã có chứa k bit thông tin o Quy ước viết dấu + thay cho dấu ⊕ dấu cộng hiểu theo ngữ cảnh 3.2 Các khái niệm nguyên lý hoạt động - Cách biểu diễn mã – Ma trận sinh o Mã tuyến tính C(n,k) khơng gian k chiều không gian vecto n thành phần, tồn k từ mã độc lập tuyến tính Chẳng hạn (g , g1 , … , g k−1 ) cho từ mã C tổ hợp tuyến tính k từ mã (với ∈ {0,1}∀ⅈ = 0, … , 𝑘 − 1) - W = a0 g + a1 g1 + + ak−1 g k−1 K từ mã tạo thành ma trận cấp k x n sau: Gk x n g0 g1 = = [g k−1 ] g 00 g10 g 01 g11 [g k−1 g (k−1)1 … g 0(n−1) … g1(n−1) … g (k−1)(n−1) ] Với g i = (g i0 , g i1 , … , g i(n−1) ), với i = 0, 1, , k-1 - Cách mã hóa o Nếu u = (a0 , a1 , … , ak−1 ) thông tin cần mã hóa từ mã w tương ứng với u lấy cách: W = u x G = (a0 , a1 , … , ak−1 ) x G Hay: w = a0 g + a1 g1 + +ak−1 g k−1 11 o Vì từ mã tương ứng với thông báo sinh G theo cách nên G gọi ma trận sinh mã Chú ý: Bất kỳ k từ mã độc lập tuyến tính dùng lam ma trận sinh cho mã Một mã tuyến tính (hay cịn gọi khơng gian mã) có nhiều ma trận sinh khác biểu diễn Mỗi ma trận sinh tương ứng với cách mã hóa khác VD: Cho ma trận sinh mã tuyến tính C(7,4) G4 x g0 1101000 g1 1011100 ] = [g ] = [ 0100011 g3 1010001 Nếu U = (1101) thơng tin cần mã hóa từ mã tương ứng W W = x g + x g1 + x g + x g = 11001001 - - Cách giải mã: o Lấy ma trận sinh ví dụ o U=(a0 , a1 , a2 , a3 ) thông báo w=(b0 , b1 , b2 , b3 , b4 , b5 , b6 ) từ mã tương ứng o Chúng ta có hệ phương trình liên hệ u w W = u*G b0 = a0 + a1 + a3 (1) b1 = a0 + a2 (2) b2 = a1 + a3 (3) b3 = a0 + a1 (4) b4 = a1 (5) b5 = a2 (6) b6 = a2 + a3 (7) o Chọn phương trình đơn giản để giải theo bj Chẳng hạn phương trình 4,5,6,7 giải g0 1101000 g1 1011100 ] G4 x = [ g ] = [ 0100011 g3 1010001 o Hệ phương trình gọi hệ phương trình giải mã Mã tuyến tính hệ thống o Một mã tuyến tính C(n,k) gọi mã tuyến tính hệ thống từ mã có hai dạng sau: Dạng 1: 12 K bit thông tin n-k bit kiểm tra Dạng 2: n-k bit kiểm tra K bit thơng tin Trong đó: k bit thông tin ban đầu n – k bit gọi phần dư thừa hay phần kiểm tra - Ma trận sinh hệ thống Gk x n = [Ik | Pk(n−k) ] = [ … P00 P01 … P0(n−k−1) … P10 P11 … P1(n−k−1) 0 … P(k−1)0 P(k−1)1 … P(k−1)(n−k−1) ] 13 Chương II: Phần Bài Tập MÃ HÓA THEO BỘ MÃ C(7,4) 1.3 Mã hóa chuỗi thơng tin “ LE QUANG DOAN 19T1051027” Ký tự L E Q U A N G D O T Xác 1 1 2 1 1 1 xuất 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 Ký tự Mã tương ứng 𝐧𝐢 T 01000 L 00000 E 00001 Q 00010 U 00011 G 00100 D 00101 O 00110 00111 5 5 5 5 01001 01010 01011 A 0110 N 0111 100 101 Cách 11 14 cách 24 5 - Đánh giá hiệu quả: 𝑛̅ = ∑𝑠𝑖=1 𝑛𝑖 𝑝(𝑎𝑖 ) = 24 4 ×(5+5+5+5+5+5+5+5+5+5+5+5+4×2+4×2+3×2+3×3+3×2) ≈ 4.04 (bit) H(A) = ∑𝑠𝑖=1 𝑝(𝑎𝑖 ) log = −(12× 24 × log 24 𝑝(𝑎𝑖 ) + 3× 24 × log 2 24 + 2× 24 × log 24 Ta thấy 𝑛̅ H(A) Vậy phép mã hóa gần tối ưu 1.4 Mã hóa theo mã C(7,4) Cho ma trận sinh mã tuyến tính C(7,4) sau: 1 0 1 1 0 ] 𝐺4×7 = [ 0 1 1 0 - - 𝑢𝐿 = (0000) 𝑢𝐸 = (0001) 𝑢𝑄 = (0010) 𝑢𝑈 = (0011) = 𝑢𝐺 = (0100) = 𝑢𝐷 = (0101) = 𝑢𝑂 = (0110) = 𝑢9 = (0111) = 𝑢 𝑇 = (1000) 𝑢5 = (1001) 𝑢2 = (1010) 𝑢7 = (1011) 𝑢𝐶á𝑐ℎ = (0011) 𝑢0 = (0100) 𝑢1 = (0101) 𝑢𝐴 = (0110) 𝑢𝑁 = (0111) W = (0000000) W = (1010001) W = (0100011) W = (1110010) W = (1011100) W = (0001101) W = (1111111) W = (0101110) W = (1101000) W = (0111001) W = (1001011) W = (0011010) 15 ) ≈ 3.94 (bit) 1 Vậy từ mã hệ thống: f = 1 [0 0 0 1 1 0 16 1 1 0 1 0 0 1 1 1 1 0 0 1 1 0 0 0 1 0 1 0 1 1 0 1 0 1 0] ... phép mã hóa mà kết mã có chiều dài trung bình nhỏ tất phép mã hóa có nguồn - Bộ mã phép mã hóa tối ưu cho nguồn gọi mã hóa tối ưu - Ba phép mã hóa: Shannon, Fano, Huffman Trong phép mã hóa mã hóa. .. với số mã m = Ta xét phép mã hóa sau tin nguồn rời rạc A: f: