Mã nhị phân thì: H(U)≤n≤H(U)+1.
Như vậy có thể xây dựng bộ mã với ñộ dài trung bình không lớn hơn tỉ số entropi của nguồn với lượng tin trung bình cực ñại chứa trong một ký hiệu cộng 1 ñơn vị.
Tóm lại bộ mã có ñộ dài trung bình n thoả mãn các ñiều kiện trên gọi là mã thống kê tối ưu. Một bộ mã như vậy phải thoả mãn những ñặc ñiểm sau:
•Các ký hiệu phải có cùng xác suất.
•Sự xuất hiện của các ký hiệu trong từ mã là ñộc lập với nhau tức là xác suất xuất hiện của ký hiệu sau không phụ thuộc vào sự có mặt của các ký hiệu ra trước.
4.4.2 Tiêu chuẩn mã thống kê tối ưu
Như ñã ñề cập ở phần trước về chiều dài trung bình của từ mã, tiêu chuẩn của mã thống kê tối ưu là ñạt ñến chiều dài trung bình của từ mã tối thiểu. ðây là một hướng lớn của mã hóa (mã nén dữ liệu). Do các tin của nguồn tin có xác suất xuất hiện khác nhau, nên việc dùng các từ mã có ñộ dài nhỏ ñể mã hóa cho các tin có xác suất xuất hiện cao sẽ làm cho số ký hiệu cần
69 thiết ñể mã hóa cho một chuỗi các tin nhỏ hơn và tính kinh tế cao hơn. Tính kinh tế của bộ mã ñược ño bằng công thức
m n U H log ) ( = ρ ) (4.5)
Vậy nguyên tắc cơ bản của mã thống kê tối ưu dựa trên cơ sở: ñộ dài từ mã ni tỷ lệ nghịch với xác suất xuất hiện p(ui) nghĩa là các từ mã dài sẽ dùng ñể mã hóa cho các tin có xác suất xuất hiện nhỏ và ngược lại.