Bài giảng Lý thuyết thông tin - Chương 2 cung cấp cho người học những kiến thức về bài toán mã trường hợp kênh không bị nhiễu. Trong phần 2.2 này chúng ta sẽ tìm hiểu về sự tồn tại của bộ mã tiền tố và giải được. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Chương 2: Bài tốn mã trường hợp kênh khơng bị nhiễu 2.2 Sự tồn mã tiền tố giải Huỳnh Văn Kha 9/30/2010 Mở ñầu • Cho biến ngẫu nhiên X có giá trị x1, x2, …, xM Tập ký tự mã a1, a2, …, aD • Cho trước số nguyên dương n1, n2, …, nM • Bài tốn đặt là: xây dựng mã giải cho từ mã ứng với xk có chiều dài nk? • Mã tiền tố giải mã bước • Trong tốn kênh khơng bị nhiễu, mã giải quy mã tiền tố • Đầu tiên ta xét tồn mã tiền tố, sau mở rộng cho mã giải Huỳnh Văn Kha 9/30/2010 Ví dụ • Ví dụ 1: M = 3, D = 2, n1 = 1, n2 = 2, n3 = Có thể chọn mã {0, 10, 110} • Ví dụ 2: M = 3, D = 2, n1 = n2 = 1, n3 = Khơng có mã giải thỏa u cầu tốn (sẽ chứng minh sau) • Khi xây dựng mã thỏa yêu cầu, không? Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.2 Một mã tiền tố với chiều dài từ mã n1, n2, …, nM tồn Trong D số ký tự mã Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.2 • Cây bậc D kích thước k hệ thống điểm đoạn thẳng • Mỗi dãy s tạo thành từ ký tự {0, 1, …, D – 1} có chiều dài không lớn k biểu diễn điểm Vs khác • Nếu dãy t có thêm ký tự vào sau s nối Vs Vt đoạn thẳng • Các điểm ứng với dãy có chiều dài k gọi điểm kích thước k Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.2 00 000 00 001 0 010 01 Cây bậc kích thước 10 011 100 101 110 11 111 01 02 10 Cây bậc 11 kích thước 12 20 21 22 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.2 • Giả sử n1 ≤ n2 ≤ … ≤ nM • Mỗi từ mã đồng với điểm bậc D kích thước nM Cây ứng với mã {0, 10, 111} 10 11 111 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.2 • Do mã tiền tố nên điểm P đại diện cho từ mã, khơng điểm nhánh P đại diện cho từ mã khác • Điểm ứng với từ mã chiều dài nk che điểm • Số điểm bị toàn bộ mã che ≤ Tổng số điểm Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.2 • Ngược lại, giả sử n1 ≤ n2 ≤ … ≤ nM • Chọn điểm ứng với dãy có chiều dài n1 Điểm che điểm • Còn lại điểm ngọn, chọn điểm ứng với n2 Lúc đó, ta chọn điểm ứng với n3 Và hết 10 Huỳnh Văn Kha 9/30/2010 Mở rộng cho mã giải • Điều kiện định lý 2.2 điều kiện cần đủ cho tồn mã giải • Do mã tiền tố giải nên cần chứng minh định lý sau đủ Định lý 2.3: Nếu mã giải có chiều dài từ mã n1, n2, …, nM thì: 11 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.3 • Gọi ωj số từ mã chiều dài j r chiều dài lớn từ mã, ta có: • Với số tự nhiên n cho trước, nhân phân phối rút gọn, ta được: 12 Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.3 • Trong đó: • Nk tổng số mẫu tin tạo thành từ n trạng thái xi cho đoạn mã mẫu tin có chiều dài k • Bộ mã giải nên dãy ký tự mã tương ứng với nhiều mẫu tin • Nk khơng vượt q tổng số dãy ký tự mã có chiều dài k 13 Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.3 • Như Nk ≤ Dk ta có: • Lấy bậc n: • Cho n tiến vơ cực ta điều cần chứng minh ... thỏa yêu cầu, không? Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.2 Một mã tiền tố với chiều dài từ mã n1, n2, …, nM tồn Trong D số ký tự mã Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.2 • Cây bậc D kích... kích thước k Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.2 00 000 00 001 0 010 01 Cây bậc kích thước 10 011 100 101 110 11 111 01 02 10 Cây bậc 11 kích thước 12 20 21 22 Huỳnh Văn Kha 9/30/2010... Chứng minh định lý 2.2 • Giả sử n1 ≤ n2 ≤ … ≤ nM • Mỗi từ mã đồng với điểm bậc D kích thước nM Cây ứng với mã {0, 10, 111} 10 11 111 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.2 • Do mã tiền