Bài giảng Lý thuyết thông tin - Chương 2 cung cấp cho người học những kiến thức về bài toán mã trường hợp kênh không bị nhiễu. Trong phần này người học sẽ tìm hiểu về tính giải được của một bộ mã với các nội dung cụ thể như: Giới thiệu bài toán mã, mã tiền tố và mã giải được, giải thuật kiểm tra tính giải được,... Mời các bạn cùng tham khảo.
Chương 2: Bài tốn mã trường hợp kênh khơng bị nhiễu 2.1 Tính giải mã Huỳnh Văn Kha 9/30/2010 Giới thiệu tốn mã • Biến ngẫu nhiên X nhận giá trị x1, x2, … , xM (gọi trạng thái X) với xác suất tương ứng p1, p2, …., pM • Dãy hữu hạn giá trị X gọi mẫu tin (message) • Tập hợp {a1, a2, …, aD} gọi tập ký tự mã (code character) • Mỗi xi tương ứng với dãy hữu hạn ký tự mã gọi từ mã (character word) • Tập từ mã gọi mã (code) Huỳnh Văn Kha 9/30/2010 Giới thiệu tốn mã • Giả sử từ mã khác • Mẫu tin biến X sinh mã hóa thành dãy từ mã • Mục tiêu tốn cực tiểu hóa chiều dài trung bình mã • Chiều dài từ mã ứng với xi ni, i = 1, 2, …, M Mục tiêu cực tiểu hóa: Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Xét mã nhị phân x1 x2 010 x3 01 x4 10 • Dãy 010 tương ứng với ba mẩu tin: x2, x3x1, x1x4 Nên giải mã • Cần có số giới hạn từ mã mã Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Bộ mã gọi giải dãy hữu hạn từ mã tương ứng với nhiều mẫu tin • Dãy A gọi tiền tố dãy B dãy B viết dạng AC, với C dãy • Bộ mã tiền tố mã có tính chất: không từ mã tiền tố từ mã khác • Bộ mã tiền tố giải được, mã giải chưa mã tiền tố • Bộ mã tiền tố giải mã bước Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Bộ mã sau mã tiền tố x1 x2 x3 x4 100 101 11 • Bộ mã sau giải không tiền tố x1 x2 01 Huỳnh Văn Kha 9/30/2010 Giải thuật kiểm tra tính giải • Gọi S0 tập từ mã ban đầu • Xét tất cặp từ mã S0 Nếu có từ mã Wi, Wj cho Wj = WiA, cho hậu tố A vào tập S1 • Giả sử có tập Sn-1 (n>1) Nếu có W S0 A Sn-1 cho A=WB, cho B vào Sn Nếu có W’ So A’ Sn-1 cho W’=A’B’, cho B’ vào Sn • Định lý 2.1: Một mã giải không tập tập S1, S2, S3, … chứa từ mã Huỳnh Văn Kha 9/30/2010 Thuật tốn kiểm tra tính giải x1 x2 x3 x4 x5 x6 x7 a c ad abb bad deb bbcde Huỳnh Văn Kha 9/30/2010 Thuật tốn kiểm tra tính giải S0 S1 S2 S3 S4 S5 S6 S7 a d eb de b ad d eb c bb cde bcde ad • Sn rỗng với n>7 abb • ad thuộc S5 nên mã khơng bad giải • abbcdebad giải mã thành deb x1x7x5 x4x2x6x3 bbcde 10 Huỳnh Văn Kha 9/30/2010 Tìm dãy mã khơng giải • Dãy ký tự mã đại diện cho mẫu tin gọi dãy mã không giải • Ta khơng chứng minh định lý 2.1 cách tìm dãy mã khơng giải • Giả sử Sn chứa từ mã W Tiến hành ngược lại, ta tìm dãy: A0, W0, A1, W1, …, An, Wn 11 Huỳnh Văn Kha 9/30/2010 Tìm dãy mã khơng giải • A0, W0, W1, …, Wn từ mã, Ai ε Si (i = 1, 2, …, n), W0 = A0A1, An = Wn • Với i = 1, 2, …, n-1 Ai = WiAi+1 Wi = AiAi+1 • Ví dụ trên, ta có: A5 = ad ε S5 W5 = ad A4 = b ε S4 W4 = bad A3 = de ε S3 W3= deb A2 = cde ε S2 W2 = c A1 = bb ε S1 W1 = bbcde A0 = a W0 = abb 12 Huỳnh Văn Kha 9/30/2010 Tìm dãy mã khơng giải • Ta xây dựng hai dãy, dãy bắt đầu với A0W1, dãy bắt đầu với W0 • Nếu Ai = WiAi+1, thêm Wi+1 vào cuối dãy chứa Wi • Nếu Wi = AiAi+1, thêm Wi+1 vào cuối dãy khơng chứa Wi • Tiếp tục đến Wn • Người ta chứng minh hai dãy tạo thành một, dãy mã khơng giải cần tìm 13 Huỳnh Văn Kha 9/30/2010 Tìm dãy mã khơng giải • • • • • • • • • A0W1 = abbcde W0 = abb W1 = A1A2 thêm W2 vào W0 A0W1 = abbcde W0W2 = abbc A2 = W2A3 thêm W3 vào W0W2 A0W1 = abbcde W0W2W3 = abbcdeb W3 = A3A4 thêm W4 vào A0W1 A0W1W4 = abbcdebad W0W2W3 = abbcdeb W4 = A4A5 thêm W5 vào W0W2W3 A0W1W4 = abbcdebad W0W2W3W5 = abbcdebad 14 Huỳnh Văn Kha 9/30/2010 • Chú ý: Ta thêm Wi vào dãy ngắn x1 x2 x3 x4 x5 x6 x7 x8 abc abcd e dba bace ceac ceab eabd 010 0001 0110 1100 00011 00110 11110 101011 ... có tập Sn-1 (n>1) Nếu có W S0 A Sn-1 cho A=WB, cho B vào Sn Nếu có W’ So A’ Sn-1 cho W’=A’B’, cho B’ vào Sn • Định lý 2.1: Một mã giải không tập tập S1, S2, S3, … chứa từ mã Huỳnh Văn Kha 9/30/2010... hóa: Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Xét mã nhị phân x1 x2 010 x3 01 x4 10 • Dãy 010 tương ứng với ba mẩu tin: x2, x3x1, x1x4 Nên giải mã • Cần có số giới hạn từ mã mã Huỳnh Văn Kha. .. Bộ mã tiền tố giải mã bước Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Bộ mã sau mã tiền tố x1 x2 x3 x4 100 101 11 • Bộ mã sau giải không tiền tố x1 x2 01 Huỳnh Văn Kha 9/30/2010 Giải thuật kiểm