7/2/2010 1 Chương 2: Bài toán mã trường hợp kênh không bị nhiễu 2.4 Xây dựng bộ mã tối ưu Bổ ñề 2.6 Giả sử bộ mã C là tối ưu trong họ các các bộ mã tiền tố cho phân bố xác suất p 1 , p 2 , …, p M ; nói cách khác, giả sử không bộ mã tiền tố nào có chiều dài từ mã trung bình nhỏ hơn của C. Khi đó C là tối ưu trong họ các bộ mã giải được 7/2/2010Huỳnh Văn Kha 2 Bổ đề 2.6 cho phép ta thay vì tìm bộ mã tối ưu trong tập các bộ mã giải được, ta chỉ cần tìm bộ mã tối ưu trong tập nhỏ hơn, tập các bộ mã tiền tố 7/2/2010 2 Chứng minh bổ ñề 2.6 • Giả sử tồn tại bộ mã giải được C’ có chiều dài từ mã trung bình nhỏ hơn của C. Gọi n’ 1 , n’ 2 , …, n’ M là các độ dài từ mã của C’ • Theo định lý 2.3 • Theo định lý 2.2 thì tồn tại bộ mã tiền tố C’’ với chiều dài từ mã lần lượt là: n’ 1 , n’ 2 , …, n’ M • Như vậy có bộ mã tiền tố C’’ có chiều dài từ mã trung bình nhỏ hơn của C (vô lý) 7/2/2010 3 Huỳnh Văn Kha Bổ ñề 2.7 • Cho C là bộ mã tiền tố nhị phân với chiều dài các từ mã là n 1 , n 2 , …, n M . • Giả sử các trạng thái được sắp xếp theo thứ tự giảm dần theo xác suất (nghĩa là p 1 ≥ p 2 ≥ … ≥ p M ) và trong mỗi nhóm có cùng xác suất, các trạng thái được xếp thứ tự tăng dần theo chiều dài từ mã, nghĩa là nếu p i = p i+1 = … = p i+r thì n i ≤ n i+1 ≤ … ≤ n i+r • Nếu C là tối ưu trong họ các bộ mã tiền tố thì C có các tính chất sau: 7/2/2010 4 Huỳnh Văn Kha 7/2/2010 3 Bổ ñề 2.7 a) Trạng thái có xác suất cao thì từ mã tương ứng có độ dài ngắn hơn, nghĩa là p j > p k kéo theo n j ≤ n k b) Hai từ mã của hai trạng thái cuối có độ dài bằng nhau, nghĩa là n M-1 = n M c) Trong số các từ mã có chiều dài n M , có ít nhất hai từ mã giống nhau hoàn toàn, ngoại trừ ký tự cuối cùng của chúng 7/2/2010 5 Huỳnh Văn Kha Ví dụ • Xét bộ mã nhị phân sau • Bộ mã này không tối ưu X Từ mã x 1 0 x 2 100 x 3 101 x 4 1101 x 5 1110 7/2/2010 6 Huỳnh Văn Kha 7/2/2010 4 Chứng minh bổ ñề 2.7 • Chứng minh a): Nếu p j > p k nhưng n j > n k thì chỉ cần đổi các từ mã ở vị trí thứ j và k cho nhau ta sẽ được bộ mã C’ có chiều dài từ mã trung bình nhỏ hơn. Thật vậy: • Chứng minh b): Chú ý rằng n M-1 ≤ n M . Nếu n M > n M-1 , chỉ cần bỏ đi ký tự cuối của từ mã thứ M thì ta được bộ mã tiền tố tốt hơn 7/2/2010 7 Huỳnh Văn Kha Chứng minh bổ ñề 2.7 • Chứng minh c): Giả sử ngược lại, mọi cặp từ mã độ dài n M đều có ít nhất một ký tự mã (không là ký tự cuối) khác nhau. Khi đó chỉ cần bỏ đi ký tự mã cuối cùng của một trong các từ mã đó, ta sẽ được bộ mã (vẫn là tiền tố) tốt hơn Chú ý: Để đơn giản ta chỉ nói về cách xây dựng bộ mã tiền tố nhị phân tối ưu. Cách xây dựng bộ mã với nhiều ký tự mã hơn có thể xem trong tài liệu tham khảo 7/2/2010 8 Huỳnh Văn Kha 7/2/2010 5 Xây dựng bộ mã tối ưu (Huffman) • Sắp xếp các x i theo thứ tự xác suất tăng dần • Ghép hai trạng thái x M-1 và x M thành một trạng thái, gọi là x M,M-1 , với xác suất p M + p M-1 • Giả sử ta xây dựng được bộ mã tiền tố tối ưu C 2 cho tập trạng thái mới • Xây dựng C 1 cho tập trạng thái ban đầu như sau: ▫ Các từ mã cho x 1 , x 2 , …, x M-2 vẫn như trong C 2 ▫ Từ mã cho x M-1 và x M được tạo thành bằng cách thêm lần lượt 0, 1 vào từ mã của x M,M-1 trong C 2 7/2/2010 9 Huỳnh Văn Kha Xây dựng bộ mã tối ưu (Huffman) X p C 1 n X p C 2 n x 1 p 1 W 1 n 1 x 1 p 1 W 1 n 1 x 2 p 2 W 2 n 2 x 2 p 2 W 2 n 2 … … … … … … … … x M,M-1 p M +p M-1 W M,M-1 n M,M-1 … … … … x M-2 p M-2 W M-2 n M-2 x M-1 p M-1 [W M,M-1 0] n M-1 x M-2 p M-2 W M-2 n M-2 x M p M [W M,M-1 1] n M 7/2/2010 10 Huỳnh Văn Kha 7/2/2010 6 Chứng minh • Ta sẽ chứng tỏ C 1 là bộ mã tối ưu • Giả sử C 1 không tối ưu. Gọi C 1 ’ là bộ mã tiền tố tối ưu với các từ mã W’ 1 , W’ 2 , …, W’ M có độ dài n’ 1 , n’ 2 , …, n’ M • Theo bổ đề 2.7 b) n’ M-1 = n’ M • Theo bổ đề 2.7 c), có ít nhất một cặp từ mã độ dài n M chỉ khác nhau ở ký tự cuối cùng • Không mất tính tổng quát, giả sử W’ M-1 , W’ M là một cặp từ mã như vậy (nếu cần thiết, đổi vị trí) 7/2/2010 11 Huỳnh Văn Kha Chứng minh • Ghép x M , x M-1 thành x M,M-1 và xây dựng bộ mã C’ 2 như sau • Các từ mã cho x 1 , …, x M-2 vẫn như trong C’ 1 • Từ mã cho x M,M-1 chính là W’ M (hay W’ M-1 ) bỏ đi ký tự cuối (gọi là U’) • Ta sẽ chứng minh C’ 2 có chiều dài từ mã trung bình nhỏ hơn chiều dài từ mã trung bình của C 2 • Và do đó trái với giả thiết tối ưu của C 2 7/2/2010 12 Huỳnh Văn Kha 7/2/2010 7 Chứng minh X p C’ 1 n X p C’ 2 n x 1 p 1 W’ 1 n’ 1 x 1 p 1 W’ 1 n 1 x 2 p 2 W' 2 n’ 2 x 2 p 2 W’ 2 n 2 … … … … … … … … x M,M-1 p M +p M-1 U’ n’ M -1 = n’ M-1 -1 … … … … x M-2 p M-2 W’ M-2 n’ M-2 x M-1 p M-1 W’ M-1 n’ M-1 x M-2 p M-2 W’ M-2 n’ M-2 x M p M W’ M n’ M =n’ M-1 7/2/2010 13 Huỳnh Văn Kha Chứng minh • C’ 1 có chiều dài từ mã trung bình nhỏ hơn C 1 • Theo cách xây dựng C 1 thì n M = n M-1 do đó 7/2/2010 14 Huỳnh Văn Kha 7/2/2010 8 Chứng minh • Vậy • Do n M-1 -1 = n M,M-1 , nên vế phải chính là độ dài từ mã trung bình của C 2 và ta có điều cần chứng minh 7/2/2010Huỳnh Văn Kha 15 Ví dụ x 1 0.3 x 2 0.25 x 3 0.2 x 4 0.1 x 5 0.1 x 6 0.05 7/2/2010Huỳnh Văn Kha 16 x 1 0.3 x 2 0.25 x 3 0.2 x 5,6 0.15 x 4 0.1 x 1 0.3 x 2 0.25 x 4,56 0.25 x 3 0.2 x 3,456 0.45 x 1 0.3 x 2 0.25 x 1,2 0.55 x 3,456 0.45 7/2/2010 9 7/2/2010Huỳnh Văn Kha 17 x 1,2 0 x 3,456 1 x 3,456 1 x 1 00 x 2 01 x 1 00 x 2 01 x 4,56 10 x 3 11 x 1 00 x 2 01 x 3 11 x 5,6 100 x 4 101 x 1 00 x 2 01 x 3 11 x 4 101 x 5 1000 x 6 1001 Bài tập X Xác suất x 1 0.3 x 2 0.28 x 3 0.15 x 4 0.1 x 5 0.06 x 6 0.06 x 7 0.05 7/2/2010Huỳnh Văn Kha 18 . C’ 2 n x 1 p 1 W’ 1 n’ 1 x 1 p 1 W’ 1 n 1 x 2 p 2 W' 2 n’ 2 x 2 p 2 W’ 2 n 2 … … … … … … … … x M,M-1 p M +p M-1 U’ n’ M -1 = n’ M-1 -1 … … … … x M-2 p M-2 W’ M-2 n’ M-2 x M-1 p M-1 W’ M-1 n’ M-1 x M-2 p M-2 W’ M-2 n’ M-2 x M p M W’ M n’ M =n’ M-1 7/2/2010 13 Huỳnh Văn. C 2 n x 1 p 1 W 1 n 1 x 1 p 1 W 1 n 1 x 2 p 2 W 2 n 2 x 2 p 2 W 2 n 2 … … … … … … … … x M,M-1 p M +p M-1 W M,M-1 n M,M-1 … … … … x M-2 p M-2 W M-2 n M-2 x M-1 p M-1 [W M,M-1 0] n M-1 x M-2 p M-2 W M-2 n M-2 x M p M [W M,M-1 1] n M 7/2/2010 10 Huỳnh Văn. 7/2/2010 1 Chương 2: Bài toán mã trường hợp kênh không bị nhiễu 2 .4 Xây dựng bộ mã tối ưu Bổ ñề 2.6 Giả sử bộ mã C là tối ưu trong họ các các bộ mã tiền tố cho phân bố xác suất