CHƯƠNG 3 NHỮNG KẾT QUẢ CƠ BẢN TỪ LÝ THUYẾT THÔNG TIN
3.2 Nguồn tĩnh rời rạc
3.2.3 Entropy của nguồn tĩnh
Mặc dù định nghĩa về Entropy của nguồn tĩnh là khá chung chung, cho đến nay chúng ta chỉ nghiên cứu chi tiết nội dung thông tin và mã hóa của bảng chữ cái nguồn. Ngay cả khi chúng ta đã đạt được mã hóa khối của nguồn, chúng ta giả định độc lập giữa các ký hiệu tạo thành từng khối. Tất nhiên, khi các thông điệp được phát ra bởi nguồn thực chất là một chuỗi các biến độc lập ngẫu nhiên, sau đó kết quả thu được cho bảng chữ cái nguồn cũng đúng đối với thông điệp nguồn. Nhưng trong thực tế, trường hợp này hiếm khi xảy ra. Do đó chúng ta cần phải mở rộng định nghĩa của chúng ta về nội dung thông tin của bảng chữ cái nguồn nội dung thông tin của nguồn; mà sẽ liên quan đến việc xét sự phụ thuộc thống kê giữa các ký hiệu trong một thông điệp.
Chúng ta hãy xem xét một thông điệp được phát ra bởi nguồn,như , và cố gắng tính toán các thông tin trung bình là cần thiết để xác định mỗi ký hiệu trong thông điệp.Nội dung thông tin của ký hiệu đầu tiên dĩ nhiên, là entropy H() :
H() =
Nội dung thông tin của ký hiệu thứ hai;đã xác định ,là entropy có điều kiện H(),dựa trên thông tin có điều kiện I(x|y) log (1/P(x|y)):
H() ()I() = ()log
(3.18) Nói chung nội dung thông tin của ký hiệu,trước ký hiệu h trong thông điệp,
thu được như sau : H() = . . .()log
Với 1 i
(3.19 )
Vì thế nó có vẻ khá trực quan để xác định nội dung thông tin của nguồn,hay của entropy (X), như nội dung thông tin của bất kỳ ký hiệu được tạo bởi nguồn, cung cấp cho
chúng ta có thể quan sát thấy tất cả các ký hiệu trước đó. Cung cấp cho một nguồn thông tin tĩnh , entropy của nó,biểu thị bằng (X).được xác định như sau :
(X)
Để có được một cái nhìn sâu hơn vào định nghĩa của (X), chúng ta sẽ chứng minh định lý sau đây :
Chúng ta đang sử dụng các ký hiệu để chỉ ra bảng chữ cái liên quan đến một ký hiệu trong thông điệp,thường thì tất cả là chỉ về cùng 1 tập X,nhưng nó là ký hiệu để giữ cho chúng riêng biệt
Định lý 3.4 : Entropy có điều kiện H() đáp ứng bất đẳng thức
H() H() (3.20)
Để chứng minh định lý, ta xét hiệu
H() H() = ()log Và sử dụng RHS trong bất đẳng thức (3.9)ta được :
H() H() log e() = 0
Mối quan hệ (3.20) trở thành một đẳng thức khi và là biến ngẫu nhiên độc lập;trong trường hợp này,trong thực tế = P().
=
Do đó, chuỗi ,n=1,2,..., không tăng, và với điều kiện của chuỗi là không âm,giới hạn (X) tồn tại. Hơn nữa, nó thỏa mãn bất đẳng thức sau :
0 (3.22)
Nơi RHS, bất đằng thức trở thành đẳng thức khi các ký hiệu theo thứ tự là độc lập.
Entropy của một nguồn tin rất khó tính toán trong hầu hết các trường hợp. Chúng ta mô tả làm thế nào điều này được thực hiện cho một lớp cụ thể của nguồn, nguồn Markov tĩnh. Một nguồn Markov tĩnh là một nguồn thông tin đầu ra có thể được mô phỏng như là một trạng thái bị giới hạn, chuỗi Markov thường đầy đủ ( xem phần 2.2.1). Các thuộc tính của một nguồn Markov tĩnh có thể được mô tả như sau :
(i) Vào đầu mỗi khoảng ký hiệu,nguồn là 1 trong những trạng thái q có thể .Trong từng khoảng thời gian của ký hiệu,nguồn thay đổi trạng thái,nói từ tới ,theo một xác suất chuyển tiếp có giá trị độc lập với khoảng thời gian của ký hiệu cụ thể.
(ii) Sự thay đổi được đi kèm với sự phát xạ của một ký hiệu ;được lựa chọn từ mẫu tự nguồn X,mà chỉ phụ thuộc vào trạng thái ban đầu và trạng thái mới .
(iii) Trạng thái phát ra ký hiệu duy nhất xác định trạng thái mới
Nói cách khác,các ký hiệu hiện tại phát ra bởi nguồn chỉ phụ thuộc vào các ký hiệu trược đây thông qua trạng thái của nguồn. Mô hình Markov tĩnh cho các nguồn thông tin là có giá trị gần đúng trong nhiều tình huống vật lý.
Ví dụ 3.5
Để cho một nguồn thông tin tĩnh được đặc trưng bởi P() = P() ,đó là,mỗi ký hiệu trong chuỗi chỉ phụ thuộc vào phần trước đó .Chúng ta giả định rằng mẫu tự X hình thành bởi ba ký hiệu, đó là các chữ cái A,B,và C.Các xác suất P() được đưa ra như sau :
A B C
A B C
0,2 0,3 0,6
0,4 0,5 0,1
0,4 0,2 0,3
Nguồn này có thể được biểu diễn như hình 3.6 mỗi trạng thái đại diện cho ký hiệu phát ra cuối cùng và quá trình chuyển đổi được xác định bởi xác xuất của nó và các ký hiệu này phát ra. Nó có thể xác minh nguồn này đáp ứng các thuộc tính (i),(ii) và (iii), do đó nó là một nguồn Markov tĩnh.
Hình 3.6:Đồ thị biểu diễn của một nguồn Markov tĩnh với mẫu tự X =
Bây giờ chúng ta sẽ tính Entropy của nguồn (X).Xác định entropy của trạng thái như sau :
H() log (3.23)
trong đó biểu diễn số các ký hiệu sẵn có ở trạng thái ,và biểu thị bởi các thành phần tĩnh của phân bố vector (2.54), các định lý cơ bản sau đây có thể được chứng minh
Định lý 3.5: Entropy (X) của nguồn Markov tĩnh được cho như sau
(X) = H() (3.24)
Ví dụ 3.5 (tiếp)
Entropy H∞(X) của nguồn trong hình 3.6.
Mã hóa nguồn Markov
Bất đẳng thức (3.21) và (3.22) cho thấy lượng thông tin trung bình của nguồn phát kí tự độc lập giảm khi độ dài bản tin tăng. Ta định nghĩa entropy của khối tin liên tục của nguồn tin là:
0 1
0, 1,..., 1 0 1
0 1
( ) ( ) ... ( ,..., ) log 1
( ,..., )
v
v
v v
X X v
H X H X X X P x x
P x x
−
− −
−
=∑ ∑
@ (3.25)
Và áp dụng các cách để dẫn đến (3.17) ta có thể tìm ra mã cho khối nguồn liên tiếp và số lượng trung bình các bit cho mỗi biểu tượng thỏa mãn:
( v) n_v ( v) 1
H X H X
v ≤ v < v +v (3.26)
Hơn nữa, dùng (3.21) và tính toán đại số, ta có thể chứng minh rằng. H(Xʋ)/ʋ,ʋ=1, 2, ...., không tăng, giới hạn của nó là
( )
lim ( )
v v
H X H X
v ∞
→∞ = (3.2)
Như vậy chúng ta thấy rằng khi tăng ʋ ( độ dài khối) làm mã hiệu quả hơn sau mỗi bước, và ʋ tiến tới vô cùng, độ dài trung bình nʋ /ʋ ddeerr tính toán giới hạn entropy nguồn H∞(X) sát như mong muốn.
_
( ) nv ( ) ( 1),
H X H X O v v
v
∞ ≤ < ∞ + − → ∞ (3.28)
Giá phải trả cho việc tăng hiệu quả này là mã hóa sẽ phức tạp, kí tự đầu vào sẽ tăng theo cấp cố nhân ʋ và có sự trễ trong quá trình tái tạo mã. Trước khi lấy được kí tự đầu tiên trong khối phải chờ giải mã toàn bộ khối tin ʋ tại đầu ra của bộ giải mã.
Trường hợp cụ thể với nguồn Markov, ta có thể áp dụng thuật toán Huffman để mã hóa các kí tự của bản tin cho mỗi trạng thái Sj. Điều này đòi hỏi việc thực hiện sử dụng một tập các từ mã khác nhau cho mỗi trạng thái của nguồn. Việc thực hiện như một thủ tục mã hóa, ta dễ dàng có được. Sử dụng định lí 3.3 biểu thị bởi n(Sj) số trung bình các chữ số/biểu tượng trong các từ mã cho trạng thái Sj, ta có:
_
( )j ( )j ( ) 1j
H S ≤n S <H S + (3.29)
Như vậy chiều dài trung bình của từ mã là:
_ _
1
( )
q
j j
j
n w n S
=
=∑ (3.30)
Và thỏa mãn bất đẳng thức:
_
( ) ( ) 1
H X∞ ≤ <n H X∞ + (3.31)
(3.24) được sử dụng để suy ra.
Ví dụ 3.6
Ta sử dụng mã Huffman để mã hóa các nguồn Markov của ví dụ 3.5 và tính hiệu quả của nó. Dùng cây mã hóa cho 3 biểu tượng được phát ra từ nguồn ở mỗi trạng thái, ta có bảng mã.
S1 S2 S3
A B C
11 10 0
10 0 11
0 11 10 Số trung bình các kí tự /biểu tượng
__ 3 _
1
( ) 1.5054
j j
j
n w n S
=
=∑ ≅
Sử dụng kết quả ở ví dụ 3.5, ta có thể tinha toán hiệu quả ɛ∞ của mã, nó được định nghĩa:
_
( ) H X
n ε∞ @ ∞
Và trong trường hợp này nó bằng 0.957 Tỉ lệ thông tin phát ra của nguồn
Trong định nghĩa nguồn rời rạc ở đầu mục 3.2, thời gian không được đưa vào tính toán. Để khắc phục điều này chúng ta cần phải đặt các sự kiện thành một nguồn thông tin tương ứng với một chuỗi các điểm trên trục thời gian. Đặc biệt giả định rằng nguồn phát ra các kí tự tạo thành một bản tin trên các khoảng thời gian như nhau, và thời gian giữa hai lần phát liên tục Ts. Vì vậy ta có thể xác định tỉ lệ thông tin trung bình của nguồn, Rs như sau:
( ) /
s
s
R H X bit s T
@ ∞ (3.32)
Chúng ta sẽ thấy sự xuất hiện của mô hình thời gian liên quan chặt chẽ với băng thông sử dụng để truyền tải thông tin.