Mã hóa nguồn phổ quát

Trang 128 Bài 8 Mã hóa nguồn phổ quát 8.1 Nguồn rời rạc không nhớ với thống kê không biết trước 8.2 Các vectơ tần xuất và tựa–entropy (quasi–entropy) 8.3 Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ Trang 129 Giới thiệu  Vấn đề này không được khởi xướng bởi Shannon mà bởi B. M. Fitingof.  Lý thuyết của Shannon dựa trên kiến thức về các hàm phân bố xác suất và chứng minh tồn tại phép mã hoá tối ưu.  Mã hoá nguồn phổ quát tiếp cận theo cách khác bằng việc lợi dụng cấu trúc của các dãy và cũng đi đến được cùng kết quả tối ưu.  Trong trường hợp mà các hàm phân bố xác suất là không có sẵn hoặc sự thống kê về nguồn là thay đổi theo thời gian, những điều mà thường xảy ra trong thực tế, thì kỹ thuật mã hoá nguồn phổ quát là một lựa chọn thích hợp hơn là dùng kỹ thuật của Shannon. Trang 130 Nguồn rời rạc không nhớ với thống kê không biết trước  Xét nguồn A = {a 1 , ., a K } có sự phân bố xác suất là {p 1 , ., p K } sinh ra một dãy các kí hiệu độc lập có phân bố đồng nhất.  Chúng ta giả thiết rằng sự phân bố xác suất {p 1 , ., p K } là cố định nhưng không được biết trước bởi bộ mã hoá (encoder).  Thực tế sự phân bố xác suất thường là không được biết trước hoặc chỉ được biết ở mức độ gần đúng, hoặc sự phân bố này thay đổi chậm theo thời gian.  Vì vậy một sơ đồ mã hoá dựa trên xác suất có thể hiệu quảở khung thời gian này nhưng sẽ không hiệu quảởkhung thời gian khác. Trang 131 Nguồn rời rạc không nhớ với thống kê không biết trước (tt)  Đánh giá ảnh hưởng của sự biết không chính xác về thống kê của nguồn đến hiệu quả của việc mã hoá  Xét nguồn rời rạc không nhớ nhị phân với sự phân bố xác suất là P(0) = p, P(1) = 1– p.  Nếu bộ mã hoá được cung cấp xác suất gần đúng với p là p 0 thì theo phương pháp của Shannon kí hiệu 0 sẽ được gán với từ mã có chiều dài là –log p 0 còn 1 được gán với từ mã có chiều dài – log (1– p 0 ).  Chiều dài trung bình của các từ mã là = –p log p 0 –(1–p) log(1–p 0 )  Chiều dài trung bình từ mã tối ưu là = –p log p –(1–p) log(1–p) l opt l Trang 132 Nguồn rời rạc không nhớ với thống kê không biết trước (tt)  Chú ý rằng là một tiếp tuyến của tại p = p 0 , nhưng khi p lệch ra xa p 0 thì khoảng cách giữa hai đồ thị gia tăng khá nhanh. l p0 1 opt l l opt l Trang 133 Nguồn rời rạc không nhớ với thống kê không biết trước (tt)  Trong bài này chúng ta phát triển các ý tưởng cơ bản về mã hoá phổ quát, một sơ đồ mã hoá không dựa trên xác xuất của các dãy mà lại dựa vào cấu trúc của chúng.  Chúng ta sẽ chứng minh rằng ∀ε nguyên dương nhỏ tuỳ ý có khả năng mã hoá một nguồn sao cho ≤ H ( x ) + ε đối ∀ sự phân bố xác suất {p 1 , ., p K } của nguồn.  ε có thể được làm nhỏ tuỳ ý bằng cách chọn chiều dài khối tin cần mã hoá đủ lớn. l opt l p0 1 Cận trên của l Trang 134 Các vectơ tần suất và tựa-entropy  Xét các dãy nguồn S i có chiều dài N.  Có K N dãy và ta gọi tập K N dãy này là không gian mẫu S.  Chúng ta kí hiệu N ki là số kí hiệu a k có trong dãy S i và q ki là tần suất của a k trong S i q ki = N ki / N  Vectơ (q 1i , ., q Ki ) (kí hiệu là Q(S i ) hay gọn hơn là Q i ) được gọi là vectơ tần suất ứng với chuỗi Si.  Gọi các q k (k = 1, ., K) là các biến ngẫu nhiên trên S bằng cách gán mỗi S i với q ki . Chúng ta có bổ đề sau.  Giá trị trung bình của q k chính là xác suất p k của a k . () ∑ = == N K i kkiik pqSPE 1 )q( Trang 135 Các vectơ tần suất và tựa-entropy (tt)  Chứng minh  Định nghĩa biến ngẫu nhiên x k (n) bằng 1/N nếu nguồn sinh ra kí hiệu a k tại vị trí thứ n của dãy và bằng 0 nếu ngược lại. Vì nguồn là không nhớ, dãy x k (1) , ., x k (N) là độc lập và có phân bố đồng nhất. Giá trị trung bình của x k (n) bằng p k /N ∀ n. Mà Vì vậy  Mỗi dãy S i có tương ứng một vectơ tần suất Q i , nhưng ngược lại với một vectơ Q = (q 1 , ., q K ) có thể tương ứng với nhiều dãy S i . ∑ = = N n n k k 1 )( xq k N n n kk pEE == ∑ =1 )( )(x)(q Trang 136 Các vectơ tần suất và tựa-entropy (tt)  Gọi ω (Q) là số các dãy S i mà có cùng vectơ tần suất Q (tức là những dãy mà có số lần xuất hiện của mỗi a k trong dãy bằng nhau và bằng N k = Nq k ∀ k = 1, ., K).  Gọi φ (K, N) là số vectơ biểu diễn cho các dãy nguồn có chiều dài N.  Con số này có thể diễn đạt thành một bài toán tập hợp tương đương khá quen thuộc là: Có bao nhiêu bộ gồm K số nguyên không âm mà có tổng bằng N.  Bổ đề ∏ = = K k k N N Q 1 ! ! )( ω ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ −+ =Φ N KN NK 1 ),( Trang 137 Các vectơ tần suất và tựa-entropy (tt)  Chứng minh  Xét một hàng gồm N + K –1khoảng trống. Dùng N đối tượng giống nhau lấp vào N khoảng trống bất kỳ. K –1khoảng trống còn lại sẽ chia N đối tượng này thành K nhóm. Do đó ứng với mỗi cách lấp N đối tượng vào N + K –1vị trí chúng ta có một tổng tương ứng. Vì vậy số lượng tổng này bằng  Với mỗi dãy S i chúng ta có tương ứng một vectơ Q i = (q 1i , ., q Ki ). Chúng ta định nghĩa một biến ngẫu nhiên ψ (Q) gán mỗi dãy S i với giá trị (kí hiệu là ψ (S i ) hoặc ψ (Q i )) ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ −+ N KN 1 ∑ = − K k kiki qq 1 log [...]... đề trước đây chúng ta có E(qk) = pk Vì vậy K E (ψ(Q )) = ∑ − pk log pk = H ( p1 , , p K ) k =1 Trang 139 Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ Một từ mã cho một dãy Si gồm hai phần: phần đầu là chuỗi mã hoá cho vectơ tuần suất Qi tương ứng của dãy Si, phần thứ hai là chuỗi mã hoá cho dãy Si trong số các dãy có cùng vectơ Qi Vì tổng các vectơ tần suất khác nhau là φ(K, N), nên số bit dùng... đến entropy của nguồn chậm hơn so với các phương pháp mà biết trước xác suất Điều này cũng dễ hiểu và cũng là cái giá phải trả nếu chúng ta không biết trước xác suất Trang 141 Ví dụ Bảng sau đây mô tả việc mã hoá phổ quát cho một nguồn nhị phân cho từng khối có chiều dài 7 Có φ(2, 7) = 8 vectơ tần suất và vì vậy cần dùng 3 bit để mã hoá 8 vectơ này; 3 bit này sẽ là 3 bit đầu của mọi từ mã Các bit còn... (Qi )⎤ Vì vậy từ mã biểu diễn cho dãy Si có chiều dài là l(Si) = ⎡log φ( K , N )⎤ + ⎡log ϖ (Qi ) ⎤ < log φ(K, N) + log ω(Qi) + 2 Trang 140 Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ (tt) Chúng ta chứng minh được giá trị trung bình của l(Si) thoã N K −1 ) + ( K − 1) log(1 + ) E (l ( S i )) < NH ( p1 , , p K ) + N log(1 + N K −1 Suy ra chiều dài trung bình trên một kí tự nguồn thoã E (l (... Dĩ nhiên ψ(Qi) có tất cả các tính chất của hàm entropy H(Qi) cái mà chỉ phụ thuộc duy nhất vào Qi Chúng ta có định lý sau thiết lập mối quan hệ giữa ψ(Q) (hay viết rõ ra là ψ(q1, , qK)) với entropy của nguồn H(p1, , pK) Định lý 8.1 E(ψ(Q)) ≤ H(p1, , pK) Chứng minh ⎛ K ⎞ K E (ψ(Q)) = E ⎜ − ∑ q k log q k ⎟ = ∑ E (− q k log q k ) ⎝ k =1 ⎠ k =1 Trang 138 Các vectơ tần suất và tựa-entropy (tt) Mà để ý hàm . 8 Mã hóa nguồn phổ quát 8.1 Nguồn rời rạc không nhớ với thống kê không biết trước 8.2 Các vectơ tần xuất và tựa–entropy (quasi–entropy) 8.3 Một sơ đồ mã. = Trang 140 Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ  Một từ mã cho một dãy S i gồm hai phần: phần đầu là chuỗi mã hoá cho vectơ tuần suất