Một số ứng dụng của xác suất trong lý thuyết thông tin

1 MỤC LỤC Mở đầu Một số yếu tố lý thuyết xác suất 1.1 Xác suất có điều kiện biến cố độc lập 1.2 Ánh xạ đo biến ngẫu nhiên 1.3 Các số đặc trưng biến ngẫu nhiên 10 Một số ứng dụng xác suất lý thuyết thông tin 11 2.1 Entropi 11 2.2 Entropi đại lượng ngẫu nhiên 12 2.3 Entropi đồng thời entropi có điều kiện 23 2.4 Lượng thông tin 24 2.5 Entropi số phân phối thường gặp 30 Kết luận 37 Tài liệu tham khảo 39 MỞ ĐẦU Như biết, tượng ngẫu nhiên tác động vô số mối liên hệ, chúng xảy cách khác xác định kết xảy chưa thực quan sát.Vì kết tượng ngẫu nhiên mang tính bất định Để đo độ bất định kết tượng ngẫu nhiên nguyên nhân hình thành nên khái niệm Entropi, khái niệm khơng thể tách rời lý thuyết thông tin Một thành tựu đặc sắc lý thuyết tin đưa khái niệm lượng thông tin, lý thuyết định lượng thông tin Về mặt định tính, lý thuyết thơng tin cho ta hiểu thêm thuộc tính thơng tin đối lập với bất định ngẫu nhiên Khóa luận gồm chương Chương Một số yếu tố lý thuyết xác suất Trong chương này, chúng tơi trình bày số yếu tố lý thuyết xác suất cần thiết để xây dựng khái niệm quan trọng lý thuyết thơng tin như: xác suất có điều kiện biến cố độc lập, ánh xạ đo biến ngẫu nhiên Chương Một số ứng dụng sác xuất lý thuyết thông tin Đây nội dung luận văn.Trong chương chúng tơi trình bày khái niệm Entropi đại lượng ngẫu nhiên chiều, thiết lập số tính chất Entropi chiều Trình bày khái niệm Entropi đồng thời hệ hai đại lượng ngẫu nhiên ba đại lượng ngẫu nhiên, Entropi có điều kiện tính chất liên quan Đặc biệt luận văn thiết lập Entropi số phân phối thường gặp Khóa luận thực trường Đại học Vinh hướng dẫn tận tình PGS.TS Phan Đức Thành Nhân dịp cho phép tác giả bày tỏ lời cảm ơn sâu sắc tới PGS.TS Phan Đức Thành, người thầy tận tình hướng dẫn tác giả suốt q trình học tập hồn thành luận văn Đồng thời tác giả xin chân thành cảm ơn ban chủ nhiệm khoa Tốn, thầy giáo khoa Tốn nhiệt tình giảng dạy Cuối tác giả cảm ơn tất bạn bè gia đình ln động viên, giúp đỡ tác giả suốt thời gian học tập hoàn thành luận văn Mặc dù có nhiều cố gắng luận văn khơng thể tránh khỏi thiếu sót Vì tác giả mong nhận lời bảo quý báu thầy cô giáo bạn đọc Vinh, tháng 11 năm 2010 Tác giả: Nguyễn Thị Hương CHƯƠNG MỘT SỐ YẾU TỐ CỦA LÝ THUYẾT XÁC SUẤT 1.1 Xác suất có điều kiện biến cố độc lập 1.1.1 Xác suất có điều kiện Định nghĩa Giả sử ( Ω, F, P) không gian xác suất A,B ∈ F, P(A) > Khi số P(B/A) = P(AB) P(A) (1.1) gọi xác suất có điều kiện biến cố B biến cố A Tính chất 1.P(B/A) ≥ 0; Nếu B ⊃ A P(B/A) = 1, đặc biệt P( Ω/A) = Nếu(B n ) dãy biến có đơi xung khắc ∞ P( ∞ B n /A) = n=1 P(B n /A) (1.2) n=1 Giả sử A1 , A2 , An (n ≥ 2), n biến cố cho P(A1 A2 An ) > Khi đó: P(A1 A2 An ) = P(A1 ).P(A2 /A1 P(An /A1 An−1 ) (1.3) 1.1.2 Công thức xác suất đầy đủ công thức Bayes Định nghĩa Họ n biến cố H1 , H2 , , Hn gọi họ đầy đủ Hi Hj = ∅, (i = j) H1 ∪ H2 ∪ Hn = Ω Định lý Giả sử H1 , H2 , Hn họ đầy đủ biến cố P(Hi ) > 0, ∀i = 1, 2, , n Khi đó, với biến A bất kỳ, ta có (i) P(A) = n i=1 P(A/Hi )P(Hi ) (ii) Nếu P(A) > thì: P(A/Hk )P(Hk ) P(Hk /A) = n (k = 1, 2, , n) (1.4) P(A/Hi )P(Hi ) i=1 (1.4) gọi công thức Bayes 1.1.3 Tính độc lập biến cố Giả sử ( Ω, F, P) không gian xác suất Định nghĩa Hai biến cố Avà B gọi độc lập nếu: P(AB) = P(A).P(B) (1.5) Tính chất: A, B độc lập P(A/B) = P(A) P(B/A) = P(B) Hai biến cốA, B độc lập với điều kiện sau thỏa mãn: ¯ B độc lập ; (i) A, (ii)A, B¯ độc lập; ¯ B ¯ độc lập (iii)A, Định nghĩa Họ biến cố (Ai )i∈I gọi độc lập đôi hai biến cố họ độc lập Họ biến cố(Ai )i∈I gọi độc lập toàn cục(gọi vắn tắt độc lập), họ hữu hạn biến cố họ độc lập 1.2 Ánh xạ đo biến ngẫu nhiên 1.2.1 Ánh xạ đo Định nghĩa.Giả sử ( Ω1 , F1 ) ( Ω2 , F2 ) hai không gian đo Ánh xạ X: Ω1 −→ Ω2 gọi ánh xạ F1 /F2 đo với B ∈ F2 X −1 (B) ∈ F1 Tính chất 1.Giả sử ánh xạ X : Ω1 −→ Ω2 ánh xạ G1 /F1 đo Khi (i) Nếu G1 ⊂ G2 X G2 /F1 đo được, (ii) Nếu F2 ⊂ F1 X G1 /F2 đo 1.2.2 Biến ngẫu nhiên Định nghĩa.Giả sử ( Ω, F, P)là không gian xác suất, G ∂ - đại số σ -đại số F Khi ánh xạ X : Ω −→ R gọi biến ngẫu nhiên G đo ánh xạ G/B(R) đo (tức với B ∈ B(R) X −1 (B) ∈ G) Nếu biến ngẫu nhiên X nhận hữu hạn giá trị, gọi biến ngẫu nhiên đơn giản Biến ngẫu nhiên gọi đại lượng ngẫu nhiên Trong trường hợp đặc biệt, X biến ngẫu nhiên F− đo được, X gọi cách đơn giản biến ngẫu nhiên Hiển nhiên, biến ngẫu nhiên G− đo biến ngẫu nhiên Mặt khác, dễ thấy X biến ngẫu nhiên họ σ(X) = (X −1 (B) : B ∈ B(R) lập thành σ -đại số σ -đại số F , σ đại số gọi σ -đại số sinh X Đó σ -đại số bé mà X đo Từ suy rằng: X biến ngẫu nhiên G− đo σ(X) ⊂ G Tính chất Định lý X biến ngẫu nhiên điều kiện sau thỏa mãn (i)(X < a) := (ω : X(ω) < a) ∈ F ∀a ∈ R (ii)(X ≤ a) := (ω : X(ω) ≤ a) ∈ F ∀a ∈ R (iii)(X > a) := (ω : X(ω) > a) ∈ F ∀a ∈ R (iv)(X ≥ a) := (ω : X(ω) ≥ a) ∈ F ∀a ∈ R Định lý Giả sử X1 , X2 , Xn biến ngẫu nhiên xác định (Ω, F, P) : Rn −→ R hàm đo ( tức f B (Rn ) / B(R) đo được.) Khi Y = f (X1 , , Xn ) : Ω −→ R ω −→ f (X1 (ω), , Xn (ω)) biến ngẫu nhiên Hệ Giả sử X, Y biến ngẫu nhiên xác định (Ω, F, P), f : R −→ R hàm liên tục a ∈ R Khi aX,X ± Y, XY, |X|, f (X), X + = max(X, 0), X − = max(−X, 0), X Y , (Y = 0) biến ngẫu nhiên Định lý Giả sử (Xn , n ≥ 1) dãy biến ngẫu nhiên xác định (Ω, F, P) Khi đó, inf Xn , sup Xn , hữu hạn, inf Xn , sup Xn , lim Xn , lim Xn , n n n n lim Xn , ( tồn tại), biến ngẫu nhiên Trước kết thúc mục n→∞ này, cần ý tính chất biến ngẫu nhiên mở rộng cho biến ngẫu nhiên G - đo 1.2.3 Phân phối xác xuất Định nghĩa Giả sử (Ω, F, P) không gian xác suất, X : Ω −→ R biến ngẫu nhiên Khi hàm tập: PX : B(R) −→ R B −→ PX (B) = P(X −1 (B)) gọi phân phối xác suất X Ví dụ Giả sử A ∈ F, X = IA hàm tiêu A Với B ∈ B(R) ta có:   P(∅) = ∈ B, ∈ /B    ¯ P(A = − P(A) nếu0 ∈ / B, ∈ /B PX (B) = P(X −1 (B)) =  P(A) nếu1 ∈ B, ∈ /B   P(Ω) = ∈ B, ∈ B Tính chất PX độ đo xác suất B(R) Thật vậy: ( i) PX (B) = P(X −1 (B)) ≥ 0, ∀B ∈ B(R) (ii) PX (R) = P(X −1 (R)) = P(Ω) = (iii) Giả sử (Bn ) ⊂ B(R), Bi Bj = ∅(i = j) Lúc đó: X −1 (Bi )X −1 (Bj ) = X −1 Bi Bj = ∅(i = j) ∞ Suy ra: PX ( ∞ = Bn ) = P(X −1 ( n=1 P(X −1 Bn )) = n=1 ∞ ∞ ∞ Bn )) = P( n=1 X −1 (Bn ) n=1 PX (Bn ) n=1 Nếu Q độ đo xác suất B(R) Q phân phối xác suất biến ngẫu nhiên X Chứng minh: Đặt Ω = R, F = B(R), P = Q Xét: X : Ω −→ (R) ω −→ X(ω) = ω Với B ∈ B(R PX (B) = P(X −1 (B)) = P(B) = Q(B), suy PX = Q hay Q phân phối xác suất biến ngẫu nhiênX xác định Chú ý: Tương ứng biến ngẫu nhiên phân phối xác suất chúng tương ứng 1-1 Những biến ngẫu nhiên có phân phối xác suất gọi biến ngẫu nhiên phân phối 1.2.4 Các hàm phân phối Định nghĩa Giả sử (Ω, F, P) không gian xác suất, X : Ω −→ R biến ngẫu nhiên Khi đó, hàm số: FX (x) = P(X < x) = P(ω : X(ω) < x) gọi hàm phân phối X Nhận xét: FX (x) = P X −1 (−∞, x) = PX [(−∞, x)] Ví dụ Giả sử A ∈ F, IA hàm tiêu A P(A) = p Khi đó:  x ≤ 0 FX (x) = PX [(−∞, x)] = − p < x ≤  x > Tính chất ≤ F (x) ≤ Nếu a < b F(b) - F(a) = P(a ≤ X < b); hàm khơng giảm lim F (x) = 1; lim F (x) = x→+∞ x→−∞ Để thuận tiện, người ta thường dùng ký hiệu: F (+∞) = lim F (x); F (−∞) = lim F (x) x→+∞ Lúc tính chất viết: F (+∞) = 1; F (−∞) = x→−∞ 10 1.3 Các số đặc trưng biến ngẫu nhiên 1.3.1 Kỳ vọng Định nghĩa Giả sử X : (Ω, F, P) → (R, B(R)) biến ngẫu nhiên Khi tích phân Lebesgue củaX theo độ đo P ( Nếu tồn ) gọi kỳ vọng X ký hiệu EX Vậy: X dP EX = Ω Nếu tồn E |X|P < ∞ ( p > ),thì ta nói X khả tích bậc p Đặc biệt, E |X| < ∞, X gọi biến ngẫu nhiên khả tích Tính chất Kỳ vọng có tính chất sau đây: Nếu X ≤ EX ≤ Nếu X = C E X = C Nếu tồn E X với C ∈ R, ta có E(CX) = CEX Nếu tồn E X E Y E(X ± Y ) = EX ± EY    X rời rạc nhận giá trị x1 , x2 , với P(X = xi ) = pi 5.EX =   +∞ x p(x) dx X liên tục có hàm mật độ p(x) −∞ i x i pi Tổng quát: Nếu F : R → R hàm đo Y =f (X)    i f(xi )pi X rời rạc nhận giá trị x1 , x2 , với P(X = xi ) = pi EY =   +∞ f (x) p (x) dx X liên tục có hàm mật độ p(x) −∞ 25 độ đo thông tin (lượng thông tin) đại lượng ngẫu nhiên X chứa đại lượng ngẫu nhiên Y 2.4.2 Tính chất I (X; Y ) ≥ (2.56) Chứng minh: thật vậy, theo công thức (2.13), (2.28) (2.14) : I (X; Y ) = −E [logf (X)] + E [logf (X/Y )] f (X; Y ) f (X/Y ) = E log = E log f (X) f (X)f (Y ) +∞ +∞ = f (x, y)log f (x; y) dxdy ≥ (2.41) f (x)f (y) −∞ −∞ Và ta có: I (X; Y ) = ⇐⇒ H (X) = H(X/Y ) ⇐⇒ X Y độc lập với Khác với công thức (2.11) xác định với entropi đại lượng ngẫu nhiên liên tục, công thức (2.55) (2.57) xác định lượng thông tin đại lượng ngẫu nhiên Ví dụ, đại lượng ngẫu nhiên rời rạc X, Y cơng thức (2.57) có dạng: n I(X; Y ) = P( i,j=1 P (X = xi , Y = yj ) X = xi )log Y = yj P (X = xi )P (Y = yj ) 26 I(X; Y) = I(Y; X) (2.58) Chứng minh I (X ; Y ) = H (X) - H(X/ Y) I (Y; X )= H (Y) - H(Y/ X) ⇒ I(X; Y)- I(Y; X) = H(X)- H(X/ Y) - H(Y) + H(Y/ X) = H (X) + H(Y/X) - (H(Y) + H(X/Y)) = H (X; Y) - H(X; Y)= Với đại lượng ngẫu nhiên X Z thỏa mãn Z = ϕ(X) ( 2.59 ) X = ψ(Z) (2.60) với đại lượng ngẫu nhiên Y ta có; I(Z/Y ) = I(X/Y ) (2.61) Chứng minh: I (Z; Y) = I (X;Y) Ta biết X, Z đại lượng vơ hướng hàm mật độ Z f (z) = f (ψ(z)) |ψ (z)| , X, Z đại lượng véc tơ số chiều ( n chiều) hàm mật độ Z là: f (z) = f (ψ1 , ψ2 , , ψn ) ∂(ψ1 ,ψ2 , ,ψn ) ∂(z1 ,z2 , ,zn ) Trong trường hợp tổng quát ta biểu diễn hai công thức công thức: f (z) = f (ψ(z)) | J(z)| J(z) đạo hàm ψ khiX Z đại lượng vô hướng, Jacobi hàm ψ khiX Z đại lượng véc tơ Vì cơng thức (2.60) cho độ mật độ xác suất không điều kiện 27 đại lượng ngẫu nhiên X, Z mật độ xác suất có điều kiện chúng đại lượng Y nên theo (2.41) ta có thơng tin đại lượng Z chứa đại lượng Y là: I (Z; Y ) = E log f (Z/Y ) f (ψ(Z)) |J(Z)/Y | = E log f (Z) f (ψ(Z)) |J(Z)| = E log f (ψ(Z)/Y ) |J(Z)| f (ψ(Z)) |J/(Z)| = E log = E log f (ψ(Z)/Y ) f (ψ(Z)) f (X/Y f (X) = I [X/Y ] Nhận xét " Việc quan sát đại lượng ngẫu nhiên có liên hệ với phụ thuộc hàm số đơn trị cho ta lượng thông tin " Trên thực tế phép biến đổi tín hiệu cần phải quan sát có kèm theo " tiếng ồn nhiễu" mát thông tin Mật độ xác suất đồng thời đại lượng ngẫu nhiên X,Y, Z xác định công thức f (x, y, z) = f1 (x)f2 (y/x)f3 (z/x) f3 (z/x) mật độ xác suất có điều kiện đại lượng ngẫu nhiên Z X giả thuyết Y, Z độc lập Theo cơng thức ( 2.27) (2.55) ta có: I (Y ; X) − I (Y ; Z) = H (Y /Z) − H (Y /X) 28 = E log f2 (y/x) f4 (y/z (2.62) Trong f4 (y/z) mật độ xác suất có điều kiện đại lượng Y Z.Với: +∞ −∞ f1 (x)f2 (y/x)f3 (z/x)dx +∞ −∞ f1 (x)f3 (z/x)dx f4 (y/z) = (2.63) Từ cơng thức (2.62) và(2.63) ta có: I (Y ; X) − I (Y ; Z) = +∞ +∞ +∞ = f (x; y; z)log −∞ −∞ −∞ +∞ +∞ = f1 (x)f3 (z/x)dxdz −∞ −∞ +∞ = f2 (y/x) dxdydz f4 (y/z) f2 (y/x)log −∞ f2 (y/x)dy dy (2.64) f4 (y/z) Theo công thức (2.15) vế phải (2.64) âm nên suy ra: I (Y ; Z) ≥ I (Y ; X) Chú ý H (Z) = H (X) − E [log |J(Z)|] ( 2.65) Ký hiệu L(x) đạo hàm hàm ψ trường hợp X Z đại lượng vô hướng J (z) Jacobi thành phần hàm ψ với X, Z đại lượng véc tơ Khi đó: L(x) = J(z) (2.66) cơng thức (2.65) viết lại : 29 H (Z) = H (X) + E [log |L(x)|] ( 2.67) Đặc biệt Z = AX (2.68) với A ma trận Khi H(Z) = H(X) (2.69) Như entropi đại lượng ngẫu nhiên không thay đổi qua phép biến đổi tuyến tính véc tơ ngẫu nhiên I (X; Y ) = H (X) + H (Y ) − H (X; Y ) (2.70) Chứng minh: Ta có: H (X; Y ) = H (Y ) + H (X/Y ) ⇒ I (X; Y ) = H (X) − H (X/Y ) = H (X) − (H (X; Y ) − H (Y )) = H (X) + H (Y ) − H (X, Y ) 2.4.3 Lượng thông tin để phân biệt giả thiết thống kê 1.Giả sử có hai giả thiết H1 H2 liên quan đến đại lượng ngẫu nhiên X tương ứng với hàm mật độ f1 (x)và f2 (x) Theo định lý Bayes ta có: P (Hi /x) = P (Hi )fi (x) (i = 1, 2) P (H1 )f1 (x) + P (H2 )f2 (x) (2.71) Từ ta nhận được: P (H1 /x) P (H1 ) f1 (x) = P (H2 /x) P (H2 ) f2 (x) (2.72) Và suy P (H1 /x) P (H1 ) f1 (x) = log − log f2 (x) P (H2 /x) P (H2 ) (2.73) ( Ở số không bản, người ta thường lấy số e) Chú ý P (Hi ) i = 1,2 xác suất tiên nghiệm P (Hi )f (x) xác suất hậu nghiệm Người ta xem logarit tỷ số hợp lý log f1 (x) f2 (x) điểm X = x để phân biệt có lợi cho H1 H2 lượng thông tin 30 Định nghĩa Lượng thơng tin trung bình việc quan sát có lợi cho H1 bất lợi cho H2 là: I(1 : 2) = f1 (x)log f1 (x) dx f2 (x) (2.74) Các ví dụ Ví dụ Giả sử H1 H2 quần thể có phân phối đoạn [0, θ1 ] [0, θ2 ] tương ứng với hàm mật độ sau (θ1 < θ2 ) f1 (x) = 1/θ1 [0, θ1 ] lại f2 (x) = 1/θ2 [0, θ2 ] lại (θ1 < θ2 ), ta có θ2 θ1 1/θ1 log dx + θ1 1/θ2 I(1 : 2) = 0log θ2 dx = log 1/θ2 θ1 θ1 Ví dụ Xét quần thể Poisson với tham số λ1 λ2 ta có: ∞ I(1 : 2) = x=0 2.5 e−λ1 λx1 e−λ1 λx1 λ1 log −λ x = λ1 log + (λ1 − λ2 ) x; λ2 e λ2 Entropi số phân phối thường gặp Trong mục ta tính entropi số phân phối thường gặp thiết lập số bất đẳng thức có liên quan 2.5.1 Entropi phân phối 31 Giả sử 1/θ x ∈ [0, θ] lại X ∼ f (x) = Khi θ H(X) = − θ 1 log dx = logθ θ θ f (x)logf (x) = − (2.75) 2.5.2 Entropi phân phối mũ miền [θ, ∞)(θ ≥ 0) Giả sử e−(x−θ) X ∼ f (x) = nếuX ≥ θ cịn lại ∞ 0e−(x−θ) loge−(x−θ)) dx = H(X) = − ∞ (x − θ)e−(x−θ) |∞ θ − θe−(x−θ) dx = (2.76) 2.5.3 Entropi phân phối mũ E(X) X ∼ f (x) = Ta có: EX = Khi ∞ H(X) = − ∞ = −logλ Vì −logλ λ 0λe−λx log(λe−λx )dx 0λe−λx dx + λ ∞ λe−λx x ≥ 0 x Khi số P(B/A)