7/2/2010 1 Chương 2: Bài toán mã trường hợp kênh không bị nhiễu 2.3 Định lý cho bài toán mã trong trường hợp kênh không bị nhiễu Mở ñầu • Biến ngẫu nhiên X có các trạng thái x 1 , x 2 , …, x M với xác xuất tương ứng p 1 , p 2 , …, p M • Các từ mã cho x 1 , x 2 , …, x M là W 1 , W 2 , …, W M có độ dài lần lượt là n 1 , n 2 , …, n M • Tập các ký tự mã là {a 1 , a 2 , …, a D } • Ta sẽ xây dựng bộ mã để cực tiểu hóa chiều dài từ mã trung bình • Đầu tiên là tìm chặn dưới lớn nhất, sau đó tìm cách tiến gần tới chặn dưới đó. Và cuối cùng là xây dựng thuật toán để tìm bộ mã tối ưu 7/2/2010 2 Huỳnh Văn Kha 7/2/2010 2 ðịnh lý 2.4 (ðịnh lý cho bài toán mã trong trường hợp kênh không bị nhiễu) Gọi là chiều dài từ mã trung bình của một bộ mã giải được bất kỳ cho biến ngẫu nhiên X. Khi đó: Dấu bằng xảy ra khi và chỉ khi: 7/2/2010 3 Huỳnh Văn Kha Chứng minh ñịnh lý 2.4 • Đặt: Thì các q i có tổng bằng 1. Áp dụng mệnh đề 1.1 7/2/2010 4 Huỳnh Văn Kha 7/2/2010 3 Chứng minh ñịnh lý 2.4 • Dấu bằng trong bất đẳng thức (*) xảy ra khi và chỉ khi: • Do bộ mã là giải được nên Và ta được • Tiếp theo, nếu , thì 7/2/2010 5 Huỳnh Văn Kha Chứng minh ñịnh lý 2.4 • Ngược lại, nếu thì từ (*) ta được Nhưng Vậy , và từ (**), ta được 7/2/2010 6 Huỳnh Văn Kha 7/2/2010 4 Bộ mã tối ưu tuyệt ñối • Bộ mã làm cho dấu bằng trong định lý 2.4 xảy ra được gọi là bộ mã tối ưu tuyệt đối • Ví dụ X Xác suất Từ mã x 1 1/2 0 x 2 1/4 10 x 3 1/8 110 x 4 1/8 111 7/2/2010 7 Huỳnh Văn Kha Bộ mã tối ưu tuyệt ñối • Bộ mã tối ưu tuyệt đối phải thỏa mãn • Trong trường hợp tổng quát chưa chắc xây dựng được bộ mã tối ưu tuyệt đối, do các n i như trên chưa chắc là số nguyên • Tuy nhiên, ta hoàn toàn có thể xây dựng được bộ mã tiền tố có chiều dài từ mã trung bình gần bằng chận dưới H(X)/log D như khẳng định của định lý sau 7/2/2010 8 Huỳnh Văn Kha 7/2/2010 5 ðịnh lý 2.5 Cho trước biến ngẫu nhiên X, với độ không chắc chắn là H(X). Khi đó tồn tại bộ mã tiền tố cho X, sao cho chiều dài từ mã trung bình thỏa mãn 7/2/2010Huỳnh Văn Kha 9 Chứng minh ñịnh lý 2.5 • Chọn n i là số nguyên thỏa mãn • Khi đó log p i ≥ -n i log D, suy ra • Vậy theo định lý 2.2 thì tồn tại bộ mã tiền tố ứng với các n i chọn như trên 7/2/2010Huỳnh Văn Kha 10 7/2/2010 6 Chứng minh ñịnh lý 2.5 • Tiếp theo, ta ước lượng chiều dài từ mã trung bình. Nhân hai vế cho p i rồi lấy tổng theo i ta được • Và ta có kết luận của định lý 7/2/2010Huỳnh Văn Kha 11 Mã hóa theo block • Theo định lý 2.5, ta luôn xây dựng được bộ mã tiền tố có chiều dài trung bình nhỏ hơn chận dưới H(X)/log D cộng thêm 1 ký tự mã • Tuy nhiên ta có thể làm tốt hơn thế nếu dùng phương pháp mã hóa theo block • Nghĩa là ta không mã hóa từng trạng thái x i của X, mà sẽ mã hóa từng nhóm s các trạng thái • Nói cách khác, ta sẽ xây dựng bộ mã cho vector ngẫu nhiên Y = (X 1 , X 2 , …, X s ). Trong đó các X i là độc lập và có cùng phân phối xác suất như X 7/2/2010Huỳnh Văn Kha 12 7/2/2010 7 Mã hóa theo block X p Từ mã x 1 3/4 0 x 2 1/4 1 7/2/2010Huỳnh Văn Kha 13 Y=(X 1 , X 2 ) p Từ mã x 1 x 1 9/16 0 x 1 x 2 3/16 10 x 2 x 1 3/16 110 x 2 x 2 1/16 111 Mã hóa theo block • Ta sẽ kiểm chứng rằng việc mã hóa theo block sẽ làm giảm chiều dài từ mã trung bình cho một trạng thái của X • Theo định lý 2.5, ta sẽ xây dựng được bộ mã tiền tố cho Y với chiều dài từ mã trung bình thỏa • Nhưng do các X i độc lập và cùng phân phối xác suất với X nên ta có: H(Y) = H(X 1 ) + H(X 2 ) + … + H(X s ) = sH(X) 7/2/2010Huỳnh Văn Kha 14 7/2/2010 8 Mã hóa theo block • Như vậy • chính là số ký tự mã trung bình để mã hóa một trạng thái của X • Từ trên ta thấy có thể gần H(X)/log D tùy ý • Vậy H(X)/log D chính là số ký tự mã trung bình (lấy trong bộ D ký tự mã) cực tiểu dùng để mã hóa một trạng thái của X 7/2/2010Huỳnh Văn Kha 15 Một ý nghĩa của H(X) • Trong trường hợp D=2 , ta thấy H(X) chính là số ký tự mã trung bình cực tiểu dùng để mã hóa 1 trạng thái của X • Một bộ mã nhị phân tiền tố sẽ tương ứng với một dãy các câu hỏi “yes no” dùng để xác định trạng thái của X • Trong đó số câu hỏi để xác định x i chính bằng chiều dài n i của từ mã tương ứng • Vậy H(X) có thể xem là số câu hỏi trung bình cực tiểu dùng để xác định trạng thái của X 7/2/2010Huỳnh Văn Kha 16 7/2/2010 9 Ví dụ X Từ mã x 1 00 x 2 01 x 3 11 x 4 100 x 5 101 7/2/2010Huỳnh Văn Kha 17 x 1 or x 2 ? x 1 ? x 4 or x 5 ? x 4 ? x 1 x 2 x 5 x 4 x 3 yes yes yes yes no no no no . 7/2/2010 1 Chương 2: Bài toán mã trường hợp kênh không bị nhiễu 2 .3 Định lý cho bài toán mã trong trường hợp kênh không bị nhiễu Mở ñầu • Biến ngẫu nhiên X có các trạng. thuật toán để tìm bộ mã tối ưu 7/2/2010 2 Huỳnh Văn Kha 7/2/2010 2 ðịnh lý 2.4 (ðịnh lý cho bài toán mã trong trường hợp kênh không bị nhiễu) Gọi là chiều dài từ mã trung bình của một bộ mã giải. Kha 12 7/2/2010 7 Mã hóa theo block X p Từ mã x 1 3/ 4 0 x 2 1/4 1 7/2/2010Huỳnh Văn Kha 13 Y=(X 1 , X 2 ) p Từ mã x 1 x 1 9/16 0 x 1 x 2 3/ 16 10 x 2 x 1 3/ 16 110 x 2 x 2 1/16 111 Mã hóa theo block •