2. gán từ m.
2.1 Gán từ mà cú chiều dài đều.
Tiết 1 đ thảo luận vấn đề lợng tử hoỏ 1 nguồn vụ hớng hoặc vectơ, kết quả của lợng tử hoỏ là đem lại một mức lợng tử nào đú. Để truyền cho mỏy thu mứ c lợng tử đ đợc chọn trong số L mức, phải gỏn cho mỗi mức này 1 từ m (một chuỗi 0 và 1). Khi mỏy thu nhận đợc từ m nú nhận ra mức lợng tử tơng ứng nhờ tra sỏch m. Để cho mỏy thu có thĨ nhận ra 1 mức l−ỵng tư duy nhất, phải gỏn cho mỗi mức 1 từ m riêng.
Ngoài ra, vỡ lúc trun trong một dy có thĨ chứa nhiỊu mức lợng tử, phải thiết kế từ m sao cho mỏy thu nhận ra đợc từng từ khi truyền cả d Một m cú những đặc tính
nh− vậy gọi là cú tớnh giải m duy nhất. Khi L=4, gỏn 00 cho r 1, 01 cho r2, 10 cho r3 và 11 cho r4 thỡ nhận đợc một m khụng cú tớnh giải m duy nhất, bởi vỡ khi nhận
đợc 1000 thỡ cú thể hiểu ra r 3r1 hc r2r1r1.
Sẽ rất thuận tiện nếu nghĩ rằng kết quả lợng tử hoỏ 1 vụ hớng hoặc 1 vectơ cú thể coi nh một thụng bỏo cú L khả n ăng ai khác nhau, (1 ≤ i ≤ L) mà mỗi khả năng ứng
với một lợng tử. Phơng phỏp đơn giản nhất để chọn từ m là dựng từ m cú độ dài khụng đổ Trong phơng phỏp này mỗi khả năng của thụng bỏo đợc m hoỏ 2bằng một từ m có chiỊu dài giống nh− cỏc khả năng khỏc. Một vớ dụ về chọn từ m cú độ dài khụng đổi với L=8 đợc biểu diễn trờn bảng 4.2. Chiều dài của mỗi từ m trong ví dụ này là log2L = log28 = 3bit.
Số bit cần thiết để m hoỏ 1 thụng bỏo gọi là tỷ lệ bit. Trong vớ dơ cđa chúng ta ở đõy tỷ lệ bit là 3bit/thụng bỏ Nếu ta m hoỏ nhiều hơn 1 thụng bỏo thỡ tỷ lệ bit bỡnh quõn là tổng số bit cần thiết chia cho số thụng bỏ Trong trờng hợp từ m cú chiều dài khụng đổi thỡ tỷ lệ bit bỡnh quõn cịng bằng tỷ lƯ bit.
2.2 Entropy và việc gỏn từ mà cú chiề u dài biến đổi.
Gỏn từ m cú chiều dài khụng đổi tuy đơn giản nhng thờng là khụng tối u về mỈt tỷ lƯ bit trung bỡnh. Giả sử cú 1 vài khả năng của thụng bỏo cú xỏc suất đợc truyền nhiều hơn cỏc khả năng khỏc. Vậy thỡ cỏi nào hay đợc truyền đi ta gỏn c ho nú từ m ngắn, cũn cỏi nào ớt truyền đi thi gỏn từ m dài và nh vậy sẽ giảm đợc tỷ lệ bit bỡnh quân.
Bảng 4.2: Ví dơ vỊ một bộ từ m có chiều dài khụng đổi cho trờng hợp bản thụng bỏo cú 8 khả năng . Thụng bỏo Từ m a1 0 0 0 a2 0 0 1 a3 0 1 0 a4 0 1 1 a5 1 0 0 a6 1 0 1 a7 1 1 0 a8 1 1 1
Khi từ m đợc thiết kế theo đặc trng thống kờ của cỏc khả năng thỡ phơng phỏp thiết kế gọi là m hoỏ thống kờ. Để thảo luận vấn đỊ thiết k ế từ m sao cho tỷ lệ bit bỡnh quõn thấp nhất, phải dựng khỏi niệm entropy định nghĩa nh sau:
L
H ====−−−−∑∑∑∑Pi log 2 Pi
i ==1 == (4.31)
Pi là xỏc suất để bản tin là a i. Vì ∑L P = 1 cho nờn cú thể chứng minh là: i=1 i
0 ≤ H ≤ log2L (4.32)
Entropy H cú thể coi là lợng tin tức bỡnh quõn chứa trong bản tin. Giả sư L=2. Nếu P1=1 và P2 = 0 thì entropy H bằng khụng, và là giỏ trị cực tiểu ở tr−ờng hỵp L =2. Trong trờng hợp này xỏc suất để thụng bỏo là a 1 là 100%, nghĩa là bản tin khụng chứa tin tức gì mớị ở trạng thỏi cực đoan khỏc P 1 = P2=1/2, khi đú entropy H bằng 1 và là giỏ
trị tối đa ở trờng hợp L= 2, khi đú hai khả năng a 1 và a2 của thụng bỏo cú xỏc suất xt hiƯn nh− nhau, và nếu nhận đợc thụng bỏo thỡ rừ ràng là cú một tin tức mớị
Theo lý thuyết thông tin, entropy H trong(4.31) là tỷ lệ bit bỡnh quõn nhỏ nhất cú thể đạt về mặt lý thuyết khi m hoỏ một thụng bỏ Kết quả này tuy khụng chỉ ra đợc phơng phỏp thiết kế từ m, nh−ng rất có ích. Giả sư ta thiết kế ra những từ m có tỷ lƯ bit bỡnh quõn vừa bằng entropỵ Ta biết những từ m này là tối −u rồi, và khụng cần nghiên cứu thêm.
chơng 4: mà hoỏ ảnh
Giả sư L có thĨ biĨu thị thành luỹ thừa của 2 và cỏc khả năn g ai của thụng bỏo
bằng nhau, tức là P i =1/L với 1 ≤ i ≤ L .
Theo (4.32) thì entropy H trong trờng hợp này là log 2L. Vỡ từ m cú chiều dài khụng đổi đa đến tỷ lệ bit bỡnh quân bằng log 2L cho nờn trong trờng hợp này từ m có chiỊu dài đều là lời giải tối Entropy cũng là một tiờu chuẩn để xột chất lợng phơng pháp thiết kế từ m. Nếu thiết kế ra đạt tỷ lệ bit bỡnh quõn gần sỏt giỏ trị entropy thỡ phơng phỏp thiết kế đú là cú hiệu quả.
Nếu ta m hoỏ từng thụng bỏo riờng rẽ thỡ núi chung không thĨ thiế t kế ra từ m cú tỷ lệ bit bỡnh quõn bằng entrop Chẳng hạn, nếu L = 2, P 1=1/8, P2 = 7/8 entropy H của bản tin này là 0,544 , nhng khụng thể nào thiết kế ra từ m đem lại tỷ lệ bit bộ hơn một bit/thụng bỏ
Cú một phơng phỏp thiết kế từ m tối u khỏ đơn giản khi sư dơng, và cịng có tớnh giải m duy nhất, là phơng phỏp m hoỏ Huffman. Hình 4.16 cho một ví dơ vỊ m hố Huffman.
Trong ví dụ này L = 6 xỏc suất từng khả năng của thụng bỏo đợc ghi ở cỏc điểm nỳt trờn hỡnh vẽ. Trong bớc 1 của m hoỏ Huffm an ta chọn ra hai khả năng của thụng bỏo
cú xỏc suất thấp nhất. ở đõy đú là a 4 và a6. Ta kết hợp xỏc suất của hai thụng bỏo này và lập ra một nỳt mới cú xỏc suất kết hợp. Ta gỏn 0 cho một nhỏnh và 1 cho nhỏnh cũn lạ Trỏo 0 và 1 chỉ ảnh hởng đến từ m đ ợc gỏn m khụng ảnh hởng tỷ lệ bit bỡnh quõn. Bõy giờ ta xem hai khả năng a 4 và a6 nh− một khả năng a 7 cú xỏc suất kết hợp là 1/16. Rồi ta chọn trong thụng bỏo a 1, a2, a3, a5 và a7 hai khả năng cú xỏc suất thấp
nhất. ở đõy 2 khả năng đó là a 3 và a7. Ta lại đem kết hợp chỳng thành một thụng bỏo, gỏn 0 cho một nhỏnh và 1 cho nhỏnh cũn lạ Cứ nh thế tiếp tơc cho đến khi chỉ cũn một khả năng của thụng bỏo với bức xỏc suất 1. Để xỏc định từ m gỏn cho mỗi khả năng của thụng bỏo ta bắt đầu bằng điểm nỳt cuối cùng có xác suất 1, lần theo cỏc nhỏnh dẫn tới khả năng cần xột của thụng bỏo và kết hợp những bit 0 và 1 nhặt đợc trờn cỏc nhỏnh phải đi qu Chẳng hạn với khả năng a 4 của thụng bỏo thỡ từ m là 1110. Cỏc từ m nhận đợc bằng phơng phỏp này đợc ghi lại trờn hỡnh 4.16. Cỏc khả năng cú xỏc suất cao đ đợc gỏn từ m ngắn, cũn cỏc khả năng cú xỏc suất thấp d đợc gỏn từ m dà Để so sỏnh tớnh năng của phơng phỏp m hoỏ Huffman với entropy H và với từ m đều trong vớ dụ trờn ta tớnh tỷ lệ bit bỡnh quõn t rong trờng hợp từ m đều và trờng hợp từ m Huffman và tớnh entrop Kết quả nh sau:
a11 (1)
a2 100 P 2
a3 110 P3
5
Thông báo Từ m Xác suất
5 0 a11 (1) a1 0 P 1 8 1 3 0 a9 (7/32)0 a10 (3/8) 32 1 3 0 a8 (5/32) 32 a4 1110 P 4 1 1 32 1 1 a5 101 P 5 0 8 a6 1111 P 6 1 a7 (1/16) 32 1
Hình 4.16 : Minh hoạ việc tạo từ m theo m Huffman. Bản tin với xác xt cao
hơn đợc gỏn cho những từ m ngắn hơn.
- Từ m đều: 3bit/bản tin
- M hoá Huffman: 5 .1 + 3 .3 + 3 .3 + 1 .4 + 1 .3 + 1 .4 = 29 bit/bản tin
8 32 32 32 8 32 16 - Entropy : =1,813 bit/bản tin 5 − log 2 + 8 8 3 log 32 3 2 32 + 3 log 3 32 2 32 + 1 log 32 1 2 32 + 1 log 1 + 8 2 8 1 log 32 1 2 32 = 1,752bit/thụng bỏo
Trong ví dụ trờn m hoỏ Hu ffman cho nhịp bit bỡnh quõn gần sỏt với entropy hơn và cú một nhịp bit bỡnh quõn thấp hơn trờng hợp từ m đều là hơn hơn 1 bit/bản tin. ViƯc thay từ m đỊu bằng từ m cú chiều dài thay đổi phải trả giỏ bằng tốn kộm cao hơn.
chơng 4: mà hoỏ ảnh
Nhịp bit tức thời là 1 đại lợ ng biến thiờn. Khi những khả năng của thụng bỏo cú xỏc suất thấp đợc m hoỏ kế tiếp nhau thỡ nhịp bit tức thời cao hơn nhịp bit bỡnh quõn khỏ nhiề Trong ttrờng hợp ngợc lại nhịp bit tức thời thấp hơn nhịp bit bỡnh quõn nhiề Khi truyền những bản tin mà từ m cú chiều dài biến đổi qua 1 hệ cú nhịp bit khụng đổi thỡ phải cú một tầng đệm để chứa những thụng bỏo mà nhịp bit bỡnh quõn ca Thờm tầng đệm thỡ thờm phức tạp cho hệ m hoỏ và cũng gõy trễ .
Nếu ta đợc phộp gộp bất kỳ bao nhiờu thụng bỏo tuỳ ý để gỏn chung từ m thỡ có thĨ thiết kế ra từ m với nhịp bit bỡnh quõn kề sỏt tới entropy H bao nhiờu cũng đợc. Vỡ lý do đú phơng phỏp Huffman gọi là phơng phỏp m hoá entropỵ
Hy xét tr−ờng hỵp L=2, P 1=1/8, P2=7/8 khi đú entropy H = 0,544 bit. Nếu gỏn 1 từ m cho 1 thụng bỏo thỡ nhịp bit bỡnh quõn là 1bit/thụng bỏ Giả sử ta chờ đến khi cú 2 thụng bỏo và gỏn cho chỳng 1 từ m. Theo phơng phỏp Huffman sẽ nhận đợc từ m nh−
trong bảng 4.3. Khi đú nhịp bit bỡnh quõn là 0,680 bit/thụng bỏ Nếu tăng số lợng thụng bỏo đợc m hoỏ kết hợp nh thế thỡ nhịp bit bỡnh quõn theo m Huffman sẽ tiệm cận entropỵ Trong thực tế núi chung khụng thể chờ một số lợng thụng bỏo lớn, bởi vỡ nh vậy sẽ gõy trễ và cần đến 1 sỏch m lớn hơn. Cho nờn nhịp bit bỡnh quõn đạt đợc bằng phơng phỏp Huffman nói chung cao hơn entropỵ
Bảng 4.3 : M Hufman khi m hoỏ kết hợp từng cụm 2 thụng bỏo, 2 thụng bỏo này độc lập
với nhau và mỗi thụng bỏo cú 2 khả năng, với xỏc suất là 1/8 và 7/8.
Cụm thụng bỏo Xác suất M Huffman
a a 1 1 1 64 a a 7 1 2 64 0 0 0 0 0 1 a2a1 a2a2 7 0 1 64 49 1 64