Lý Thuyết thông tin Chương 2

Chương 2 Nguồn tin.Giáo Viên: TS. Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh. Email: trantrungduyptithcm.edu.vn. Điện Thoại: 0938967217. Để đánh giá định lượng cho tin tức, người ta đưa ra khái niệm lượng tin. Lượng tin đưa ra khả năng dự đoán được của tin. Một tin có xác suất xuất hiện càng nhỏ thì có độ bất ngờ càng lớn, lượng tin càng lớn, và ngược lại. Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là p(i), lượng tin i phải là một hàm có đặc điểm sau: Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1(p(i))). Hàm này phải bằng 0 khi p(i)=1 Nếu hai tin độc lập thống kê là i và j đồng thời xuất hiện ta có tin là (i, j) , thì lượng tin chung phải bằng tổng lượng tin của từng tin: Với luật nhân xác suất thì Vì vậy

CHƯƠNG 2 NGUỒN TIN

Giáo Viên: TS Trần Trung Duy

Học Viện Công Nghệ Bưu Chính Viễn Thông TP Hồ Chí Minh.

Email: trantrungduy@ptithcm.edu.vn

Điện Thoại: 0938967217.

Nguồn Tin

 Để đánh giá định lượng cho tin tức, người ta đưa ra khái niệm lượng tin.

 Lượng tin đưa ra khả năng dự đoán được của tin.

 Một tin có xác suất xuất hiện càng nhỏ thì có độ bất ngờ càng lớn, lượng tin càng lớn, và ngược lại.

 Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là p(i), lượng tin i phải là một hàm có đặc điểm sau:

• Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1/(p(i))).

• Hàm này phải bằng 0 khi p(i)=1

Nguồn Tin

 Nếu hai tin độc lập thống kê là i và j đồng thời xuất hiện ta có tin là (i, j) , thì lượng tin chung phải bằng

tổng lượng tin của từng tin:

 Với luật nhân xác suất thì

 Vì vậy

Nguồn Tin

 Hàm loga thỏa mãn các yêu cầu này nên hàm

log(1/p(i)) được chọn để đánh giá định lường cho tin.

 Lượng tin của một tin i được ký hiệu là I(i) Định nghĩa lượng tin của một tin i

 Đơn vị là bit hay nat hay hartley khi cơ số là 2, e hay

10

 Cơ số 2 hay được chọn

Nguồn Tin

 Entropy của nguồn tin

 Entropy H được định nghĩa là giá trị trung bình thống

kê của lượng tin Đó là lượng tin trung bình chứa trong một ký tự bất kỳ của nguồn tin

 Entropy của một nguồn M

 p(m) là xác suất của ký tự thứ m.

Nguồn Tin

 Entropy của nguồn tin

 Giá trị lớn nhất của entropy là

đạt được khi

 Tốc độ thông tin nguồn: R=rH, r (bit/s)

Ví dụ

• Cho X={x1, x2} có xác suất xuất hiện lần lượt là:

– P(x1) = P(x2) = 0.5

– P(x1) = 0.96875 và P(x2) = 0.03125

– P(x1) = 1 và P(x2) = 0

Tính I(x1) và I(x2) cho mỗi trường hợp và nhận xét

Lượng Tin có Điều Kiện

• Lượng tin X = x i khi đã xảy ra Y = y j

Lượng Tin Tương Hỗ

• Lượng tin X = x i khi đã xảy ra Y = y j

( )

/ log

i

P x y

P x

=

Lượng Tin Tương Hỗ

• Lượng tin tương hỗ có điều kiện

• Giả sử có 3 tập tin rời rạc X, Y, Z và xi ∈ X, yj

∈ Y, zk ∈ Z Khi đó lượng tin tương hỗ có điều kiện:

( / ) ( ; / ) log

( / )

P x y z

I x y z

P x z

=

Entropy đồng thời

( ) n m ( , ) log ( , )i j i j

i j

= =

Entropy đồng thời

• H(XY) = H(X)+H(Y/X)

• H(XY) = H(Y)+H(X/Y)

• H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y)

= H(XY) + H(Z/X,Y)

Entropy có điều kiện

• Xét hai biến ngẫu nhiên rời rạc xi∈X và yj ∈ Y với xác suất xuất hiện lần lượt là P(xi), i = 1, 2,

., n và P(yj), j = 1, 2, , m Entropy có điều kiện

H(X/Y) của tập tích XY là độ bất định trung

bình của X khi đã xảy ra một tin bất kỳ trong nguồn tin Y:

( / ) n m ( , ) log ( /i j i j )

H X Y P x y P x y

Tính chất của Entropy điều kiện

Entropy tương hỗ

• H(X;Y) = H(X) - H(Y/X)

• H(X;Y) = H(Y) - H(X/Y)

• H(X;YZ) = H(X;Y) + H(X;Z/Y)

BÀI TẬP

• Bài Tập 1: Nguồn tin X có 6 ký tự với xác suất xuất hiện lần lượt là PA = ½, PB = ¼, PC = 1/8,

PD = PE =1/20, PF = 1/40

a)Tính lượng thông tin chứa đựng trong thông

điệp sau: ABABBA và FDDFDF

b)Tính entropy H của nguồn tin X

BÀI TẬP

• Bài Tập 2: Cho 6 ký tự với xác suất xuất hiện lần lượt là PA = 0.4, PB =0.2, PC = 0.12, PD = PE

=0.1, PF = 0.08

a)Tính lượng thông tin chứa đựng trong thông

điệp sau: ABCDEF và ACADAF

b)Tính entropy H(X)

BÀI TẬP

• Bài Tập 3: Một nguồn tin gồm hai tin có xác suất xuất hiện lần lượt là PA = x và PB = 1-x a)Tính entropy H(X) của nguồn

b)Tìm x để H(X) lớn nhất

BÀI TẬP

• Bài Tập 4: Một nguồn tin gồm ba tin A, B và

C có xác suất xuất hiện lần lượt là PA = 1/3, PB

= x và PC = y

a)Tìm y và tính entropy H(X) của nguồn theo x b)Vẽ H(X) theo x

c)Tìm x để H(X) lớn nhất