Báo cáo: LÝ THUYẾT THÔNG TIN ppsx

LÝ THUYẾT THÔNG TINLÝ THUYẾT THÔNG TIN LÝ THUYẾT THÔNG TINLÝ THUYẾT THÔNG TIN ENTROPYENTROPY Định nghĩa entropy:Định nghĩa entropy: Entropy là một đại lượng toán học dùng để đo lượng tin không chắc (hay lượng ngẫu nhiên) của một sự kiện hay của phân phối ngẫu nhiên cho trước. Hay một số tài liệu tiếng anh gọi là Uncertainty Measure. Ý nghĩa entropy:Ý nghĩa entropy: Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từEntropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có baomột sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗnnhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu. loạn ngẫu nhiên của tín hiệu. Ở đây ta chỉ nghiên cứu các sự kiện ngẫu nhiên rời rạc.Ở đây ta chỉ nghiên cứu các sự kiện ngẫu nhiên rời rạc. Entropy của một sự kiện Giả sử có một sự kiện A có xác suất xuất hiện là p. Khi đó, ta nói A có một lượng không chắc chắn được đo bởi hàm số h(p) với p ⊆ [0,1]. Hàm h(p) được gọi là Entropy nếu nó thoả 2 tiêu đề toán học sau: Tiên đề 1: h(p) là hàm liên tục không âm và đơn điệu giảm. Tiên đề 2: nếu A và B là hai sự kiện độc lập nhau, có xác suất xuất hiện lần lượt là p A và p B . Khi đó, p(A,B) = p A .p B nhưng h(A,B) = h(p A ) + h(p B ). Entropy của một phân phối Xét biến ngẫu nhiên rời rạc X có phân phối:Xét biến ngẫu nhiên rời rạc X có phân phối: Nếu gọi A i là sự kiện X=x i , (i=1,2,3, ) thì Entropy của A i là: h(A i )=h(p i ) X x 1 x 2 … x n P p 1 p 2 … p n Gọi Y=h(X) là hàm ngẫu nhiên của X và nhận các giá trị là dãy các Entropy của các sự kiện X=x i , tức là Y=h(X)={h(p 1 ), h(p 2 ), …, h(p n )} Vậy, Entropy của X chính là kỳ vọng toán học của hàm Y=h(X) có dạng: H(X)=H(p 1 , p 2 , p 3 , …,p n ) = p 1 h(p 1 )+ p 2 h(p 2 )+…+p n h(p n ). Tổng quát: 1 ( ) ( ) n i i i H X p h p = = ∑ Dạng giải tích của entropyDạng giải tích của entropy h(p)=-log 2 (p) (đvt: bit) Do đó, 2 2 1 1 1 ( ) ( )log ( ) ( )log ( ) n n i i H X p i p i p i p i = =   = − =     ∑ ∑ Qui ước trong cách viết: log(p i )= log 2 (p i ) Lượng thông tin Shannon của 1 kết cục Lượng thông tin Shannon của 1 kết cục x x :: ( ) ( ) 2 1 logh x p x = Ví dụVí dụ Một dòng chữ luôn chỉ có các ký tự "a" sẽ có entropy bằng 0, vì ký tựMột dòng chữ luôn chỉ có các ký tự "a" sẽ có entropy bằng 0, vì ký tự tiếp theo sẽ luôn là "a". tiếp theo sẽ luôn là "a". Nếu sự kiện A có xác suất xuất hiện là 1/2 thì h(A)=h(1/2)= -log(1/2) = 1 (bit) Một dòng chữ chỉ có hai ký tự 0 và 1 ngẫu nhiên hoàn toàn sẽ cóMột dòng chữ chỉ có hai ký tự 0 và 1 ngẫu nhiên hoàn toàn sẽ có entropy là 1 bit cho entropy là 1 bit cho mỗi ký tựmỗi ký tự Ví dụVí dụ Xét biến ngẫu nhiên X có phân phối như sauXét biến ngẫu nhiên X có phân phối như sau X x 1 x 2 x 3 P 1/2 1/4 1/4 H(X) = - (1/2log(1/2)+1/4log(1/4)+1/4log(1/4)) =3/2 (bit) H(X) = - (1/2log(1/2)+1/4log(1/4)+1/4log(1/4)) =3/2 (bit) Tính chất 1Tính chất 1 1 2 1 2 1 2 1 1 2 1 1 ( , , , ) ( , ) ( ) , , n r r r n r r r r i i i i H p p p H p p p p p p p p p p p H p p + + = = = + + + + + +       + + + +       ∑ ∑ 1 1 1 1 2 1 1 ( ) , , i i n r r r n n n i i i r i r p p p p p H p p = = + + + = + = +         + + + +       ∑ ∑ Tính chất 2: Định lý cực đại của entropyTính chất 2: Định lý cực đại của entropy H(p 1 , p 2 , …,p n )≤ log(n) Trong đó: đẳng thức xảy ra khi và chỉ khi p 1 =…= p n = 1/n . LÝ THUYẾT THÔNG TINLÝ THUYẾT THÔNG TIN LÝ THUYẾT THÔNG TINLÝ THUYẾT THÔNG TIN ENTROPYENTROPY Định nghĩa entropy:Định nghĩa entropy: Entropy là một đại lượng toán học dùng để đo lượng tin. cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗnnhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của. Uncertainty Measure. Ý nghĩa entropy:Ý nghĩa entropy: Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từEntropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện