BÀI GIẢNG TRUYỀN DẪN SỐ Chương 2

Chương 2 MÃ HÓA NGUỒN Nội dung: 2.1 Mô hình toán học của nguồn tin 2.2 Đo lượng tin của nguồn tin 2.3 Các kỹ thuật mã hóa nguồn rời rạc 2.4 Các kỹ thuật mã hóa nguồn tương tự 2.5.Lấy mẫu và điều chế xung 2.6 Điều chế xung mã Bài tập 1  1 Chương 2 MÃ HÓA NGUỒN 2.1 Mô hình toán học của nguồn tin:  Nguồn tin: Nguồn tương tự: tín hiệu ngõ ra có dạng liên tục Nguồn rời rạc: tín hiệu ngõ ra có dạng rời rạc  Nguồn tin tạo ra các bản tin một cách ngẫu nhiên. Với nguồn rời rạc (Discrete source), ngõ ra là chuỗi các biến ngẫu nhiên rời rạc.  Mô hình cho nguồn rời rạc: Giả sử nguồn rời rạc gồm L ký hiệu :{x 1 , x 2 ,…, x L }, với xác suất tương ứng là {p 1 ,p 2 ,…,p L }. Lúc đó: {0,1} !"#$ !%#!%&  Nguồn rời rạc không nhớ DMS (Discrete Memoryless Source): phát ra chuỗi ký hiệu là độc lập thống kê, nghĩa là: 2  2 1 1, 1, , L k k p k L = = = ∑ 1 2 ( | , , ) ( ) n n n n P x x x P x − − = Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin:   Tin tức liên quan đến sự ngạc nhiên mà chúng ta cảm nhận khi nhận được bản tin. Bản tin ít có khả năng xảy ra sẽ mang nhiều tin tức hơn. Từ đó, người ta đưa ra khái niệm lượng tin.  Lượng tin:  '()*+,-()./*01*.   .123!.  # • Đơn vị của lượng tin: Tùy vào cơ số hàm logarit (cơ số 2: đơn vị là bit, cơ số e: đơn vị là nat, cơ số 10: Hartley) • Tính chất: i/ ii/ 3  3 1 ( ) log log ( ) ( ) i i i I x P x P x   = = −  ÷   ( ) 0, 0 1 i i I x p≥ ≤ ≤ ( ) ( ), i j i j I x I x p p> < Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin (tt):  Lượng tin có điều kiện:  '()*,-()3!.  .1245*36!2 7 -8 .12&  Lượng tin tương hỗ:  '()*,-()93!.  *:.1236!2  &  Nhận xét: i/ Khi X, Y độc lập thống kê: I(x i ,y j ) = 0 ii/ I(x i ,y j ) = I(y j ,x i )  lượng tin về sự kiện X = x i có được từ việc xảy ra sự kiện Y = y j giống với lượng tin về sự kiện Y = y j có được từ việc xảy ra sự kiện X = x i . 4  4 ( | ) log ( | ) i j i j I x y P x y= − ( ) ( , ) ( ) ( | ) log ( | ) i i j i i j i j P x I x y I x I x y P x y = − = − Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin (tt):  Lượng tin trung bình:  '()**0;<*=>*0/*?@  Nhận xét:'()**0;15-()5***<@1*& A>*BACDE. " F. % GH.5/*./*5 *(I<'"&JJ"&"%& K()*+@. %  K()**0;@  Lượng tin tương hỗ trung bình: 5  5 1 ( ) ( )log ( ) L i i i I X P x P x = = − ∑ 1 1 ( , ) ( , ) ( , ) L K i j i j i j I X Y P x y I x y = = = ∑∑ 1 2 1 2 ( ) log [ ( )] log (0.01) 6.5 [ / ]I x p x bits symbol= − = − = 2 2 ( ) 0.99log (0.99) 0.01log (0.01) 0.081 [ / ]I X bits symbol= − − = Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin (tt): L=M;(&N=-, F6'5& H !%#! !"#!%OD 5-P 6!"F!"#QP 6!%F!"#& Lời giải: N, H  6  6 2 ( 0 | 0) (0,0) log ( 0) P Y X I P Y = = = = 0 0 1 0 1 0 1 2 2 0 1 0 1 ( 0 | 0) 1 ( 0) ( 0 | 0) ( 0) ( 0 | 1) ( 1) 1 1 1 (1 ) (1 ) 2 2 2 2(1 ) 2 (0,0) log [ ]. (1,0) log [ ] 1 1 P y X p P Y P y X P X P y X P X p p p p p p I bits I bits p p p p = = = − = = = = = + = = = = − + = − + − ⇒ = = − + − + N(I*3  Channel           Chương 2 MÃ HÓA NGUỒN !" #  Giả sử nguồn rời rạc X gồm L ký hiệu {x 1 , x 2 ,…, x L }, Entropy của nguồn X được định nghĩa là:  $%&'( • R*=2@''()**0;@-,& •   .Nếu các ký hiệu của nguồn có xác suất xuất hiện bằng nhau thì Entropy sẽ đạt giá trị cực đại. • . Dấu = xảy ra khi một ký hiệu có xác suất xuất hiện bằng 1, còn xác suất xuất hiện của các ký hiệu còn lại là 0. 7  7 ( ) logH X L≤ 1 1 1 1 ( ) , 1, , ( ) log log L i i P x i L H X L L L L = = = ⇒ = − = ∑ 1 1 ( ) ( )log ( ) ( ) ( ) L L i i i i i i H X P x P x P x I x = = = − = ∑ ∑ ( ) 0H X ≥ Chương 2 MÃ HÓA NGUỒN !" #)*  Entropy đồng thời:  Entropy có điều kiện:  Công thức liên hệ: 8  8 1 1 ( , ) ( , )log( , ) L K i j i j i j H X Y P x y x y = = = − ∑∑ 1 1 ( | ) ( , )log( | ) L K i j i j i j H X Y P x y x y = = = − ∑∑ ( , ) ( ) ( | ) ( , ) ( ) ( | ) ( , ) ( ) ( | ) ( , ) ( ) ( | ) ( , ) ( ) ( ) ( , ) H X Y H X H Y X H X Y H Y H X Y I X Y H X H X Y I X Y H Y H Y X H X Y H X H Y I X Y = + = + = − = − = + − +)* +)* ,)-* +)-* Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin (tt): L=F6, .5/*./*-*5 -()M*1(01& NS #FS 6T#FS F6#U0*V Lời giải: &N, H C2  9  9 1 1 2 ( 0) ( 0, 0) ( 0, 1) 3 3 3 P X P X Y P X Y= = = = + = = = + = Y \ X 0 1 0 1/3 0 1 1/3 1/3 2 2 2 2 1 ( ) ( )log ( ) ( 0)log ( 0) ( 1)log ( 1) i i i H X P x P x P X P X P X P X = = − = − = = − = = ∑ 1 1 ( 1) ( 1, 0) ( 1, 1) 0 3 3 P X P X Y P X Y= = = = + = = = + = 2 2 2 2 1 1 ( ) log log 0.9183 [ ] 3 3 3 3 H X bits= − − = Chương 2 MÃ HÓA NGUỒN 2.2 Đo lượng tin của nguồn tin (tt): Lời giải (tt): 0&N, &N,   N*(I*3=S 6#FS F6#P F6## 10  10 ( | ) ( , ) ( ) 1.585 0.983 0.667 [ ]H Y X H X Y H X bits= − = − = 2 2 2 1 1 2 2 2 2 2 ( , ) ( , )log ( , ) ( 0, 0)log ( 0, 0) ( 0, 1)log ( 0, 1) ( 1, 0)log ( 1, 0) ( 1, 1)log ( 1, 1) 1 1 3 log 1.585 [ ] 3 3 i j i j i j H X Y P x y x y P X Y P X Y P X Y P X Y P X Y P X Y P X Y P X Y bits = = = − = − = = = = − = = = = − = = = = − = = = = = − × = ∑∑ [...]... u4: 110 u5: 1110 u3: 10  u1: 00 u2: 01  u6: 11110u7: 11111 Hiệu suất mã hóa: • Entropy của nguồn: 7 H (U ) = −∑ pi log 2 pi i =1 = -[0.34log20.34 + 0 .23 log20 .23 + … + 0.01log20.01] = 2. 38 • 7 Chiều dài trung bình của từ mã: R = ∑ ni pi i =1 • η= 05/14/15 = (0.34x2) + (0 .23 x2) + … + (0.01x5) = 2. 45 Hiệu suất: H (U ) 2. 38 R = 2. 45 = 0.97 26 26 Chương 2 MÃ HÓA NGUỒN 2. 3 .2 Phương pháp mã hóa với từ mã có... Hiệu suất mã hóa: • Entropy của nguồn: 7 H (U ) = −∑ pi log 2 pi = - [0.34log20.34 + 0 .23 log20 .23 + … + 0.01log20.01] i =1 = 2. 38 • Chiều dài trung bình của từ mã: 7 • Hiệu suất: R = ∑ ni pi = (0.34x2) + (0 .23 x2) + … + (0.01x5) = 2. 45 i =1 η= 05/14/15 H (U ) 2. 38 = = 0.97 2. 45 R 29 29 c Mã hóa số học (Arithmetic Coding) 1 Arithmetic Coding là gì 2 Điểm khác biệt với mã Huffman 3 Các bước tiến hành mã hóa... hiệu suất mã hóa:  log 2 L  R=   log 2 L  + 1   , L = 2m , m ∈ ¥ , otherwise H (X ) log 2 L = R R log 2 L log 2 L η= = = 1 ↔ 100% R log 2 L η= o Khi L lũy thừa của 2: 05/14/15 13 13 Chương 2 MÃ HÓA NGUỒN 2. 3.1 Phương pháp mã hóa với từ mã có chiều dài bằng nhau (tt): o Khi L không phải là lũy thừa của 2: log 2 L log 2 L η= = . của 2: 13  13 2 log( ) LH X R R η = = 2 2 log , 2 , log 1 , m L L m R L otherwise  = ∈  =  +       ¥ 2 2 2 log log 1 100% log L L R L η = = = ↔ Chương 2 MÃ HÓA NGUỒN .1% 2 . H(X) < log 2 L)  dùng phương pháp mã hóa khác 15  15 2 2 log log 100 ( ) 94.91% 7 L H X R R η = = = = 2 2 2 log 3log 100 99.66% log 1 20 J L J L η = = = +     2 2 log 1 log 100. giải: N, H  6  6 2 ( 0 | 0) (0,0) log ( 0) P Y X I P Y = = = = 0 0 1 0 1 0 1 2 2 0 1 0 1 ( 0 | 0) 1 ( 0) ( 0 | 0) ( 0) ( 0 | 1) ( 1) 1 1 1 (1 ) (1 ) 2 2 2 2(1 ) 2 (0,0) log [ ]. (1,0) log