BÀI 3 CHUẨN BỊ TOÁN HỌC

Bài Chu n b toán h c 3.1 Xác su t (Probability) 3.2 B t đ ng th c Chebyshev lu t y u c a s l n 3.3 T p l i (Convex sets) hàm l i (convex functions), b t đ ng th c Jensen 3.4 Công th c Stirling Trang 29 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Xác su t ̈ Không gian m u (Sample space) ̈ ̈ S ki n (Event), s ki n c b n (elementary event) ̈ ̈ Là t p (hay không gian) t t c k t qu có th có c a m t thí nghi m Th ng đ c kí hi u E hay S N u không gian m u r i r c E có th đ c bi u di n b ng E = {e1, e2, , en} M i t p c a E (không gian m u) đ c g i m t s ki n, đ c bi t m i ph n t c a E đ c g i m t s ki n c b n Ví d ̈ ̈ Trong m t thí nghi m tung đ ng xu E = {U (úp), N (ng a)} N u đ ng ti n đ ng nh t xác su t P(U) = P(N) = 1/2 Trong m t thí nghi m tung xúc x c E = {1, 2, 3, 4, 5, 6} N u xúc x c đ ng nh t xác su t P(1) = P(2) = P(3) = P(4) = P(5) = P(6) = 1/6, P(2, 5) = 1/3, P(1, 3, 5) = 1/2 Trang 30 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Xác su t (tt) ̈ ̈ Bi n ng u nhiên r i r c (Discrete random variable) ̈ ̈ L y m t v n b n ti ng Anh n hình nh t m t kí t b t k E = {a, b, c, , x, y, z} xác su t c a kí t đ c phân b nh sau P(a) = 0,0642 , , P(e) = 0,103 , , P(z) = 0,0005 M t bi n ng u nhiên r i r c x đ c đ nh ngh a b ng cách gán m t s th c xi t i m i s ki n c b n ei c a không gian m u r i r c E Xác su t c a xi đ c đ nh ngh a xác su t c a s ki n c b n t ng ng đ c kí hi u p(xi) Tr trung bình (k v ng) (average, expected value), ph ng sai (variance) ̈ ̈ Tr trung bình ph ng sai c a bi n ng u nhiên r i r c x l n l t đ c kí hi u đ nh ngh a nh sau E(x) = x = ∑ x i p (x i ) i Trang 31 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin ̈ Var(x) Xác su t (tt) 2 = E ((x − x ) ) = ∑ (x i − x ) p(x i ) ( ) ̈ i = E x −x E(x2) tr k v ng c a x2 T ng quát, tr k v ng c a m t hàm c a x, ch ng h n f(x), đ đ nh ngh a b ng c E ( f (x )) = ∑ f (x i ) p(x i ) i ̈ Xác su t đ ng th i (joint probability), xác su t có u ki n (conditional probability) ̈ M t c p bi n ng u nhiên (x, y) liên k t v i m t thí nghi m t o thành m t bi n ng u nhiên n i (joint random variable) N u x, y r i r c, s phân b xác su t n i hay xác su t đ ng th i đ c đ nh ngh a pij = P(x = xi, y = yj) Trang 32 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Xác su t (tt) ̈ Xác su t c a y u ki n bi t x đ u ki n đ c đ nh ngh a p ( y j xi ) = ̈ c g i xác su t có p (xi , y j ) p( xi ) xác su t l (marginal probability) p(xi) đ khác không Các xác su t l đ c đ nh ngh a nh sau: p(xi) = ∑ p xi , y j ( ) j p(yj) = ∑ p(x , y ) i j i Trang 33 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin c gi thi t Ví d ̈ ̈ Xúc x c Thí nghi m tung đ ng th i m t đ ng xu xúc x c T k t qu ta th y P(U, 5) = 1/18 P( ng xu = U) = 5/9 P( ng xu = N) = 4/9 P(Xúc x c = 5) = 7/72 P(Xúc x c = bi t ng xu = U) Trang 34 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin 1/12 1/12 1/18 1/24 1/9 1/24 1/9 1/6 1/9 1/12 1/18 1/18 U N ng xu Xác su t (tt) ̈ S đ c l p (Independence) ̈ ̈ Hai bi n ng u nhiên x y đ c g i đ c l p n u p(xi, yj) = p(xi)p(yj) ∀ i, j Chúng ta th y n u hai bi n x y đ c l p p (xi , y j ) p ( xi ) p ( y j ) p y j xi = = = p(y j ) p ( xi ) p ( xi ) có ngh a xác su t yj u ki n có xi x y hay không x y đ u nh nhau, không thay đ i, ng c l i C ng t s đ c l p suy m t k t qu mà hay đ c s d ng sau E(xy) = E(x) E(y) = x y ( ̈ ) Trang 35 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Xác su t (tt) ̈ S t ̈ ̈ ng quan (correlation) S t ng quan C gi a hai bi n x y đ c đ nh ngh a tr k v ng c a (x – x )(y – y): C(x, y) = E((x – x )(y – y )) = = E(xy) – x y Trong tr ng h p x y đ c l p suy C(x, y) = Tuy nhiên u ng c l i không Trang 36 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B t đ ng th c Chebyshev lu t y u c a s l n ̈ B t đ ng th c Chebyshev ̈ ̈ Cho m t bi n ng u nhiên x có tr trung bình x ph ng sai δ x2, b t đ ng th c Chebyshev đ i v i m t s d ng tu ý δ Ch ng minh ̈ ̈ δ x2 P(|x – x | ≥ δ) ≤ δ ⎧1,|x - x| ≥ nh ngh a m t hàm f(x) nh sau f (x ) = ⎨ ⎩0 ,|x - x| < Thì P(|x – x| ≥ δ) = Σ f(xi)p(xi) Trang 37 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B t đ ng th c Chebyshev (tt) ⎛x−x ⎜ ⎜ δ ⎝ ⎞ ⎟ ⎟ ⎠ x −δ ̈ D a hình có ̈ Vì v y, ( ) x x +δ x ⎛x−x⎞ ⎟ f(x) ≤ ⎜ ⎜ δ ⎟ ⎝ ⎠ 2 x−x⎞ δ ⎟ p (x i ) = x2 δ ⎟⎠ δ ⎛ P x − x ≥ δ ≤ ∑ ⎜⎜ ⎝ i Trang 38 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Lu t y u c a s l n (tt) ̈ ̈ ̈ ̈ Xét m t thí nghi m nh phân k t qu c a thí nghi m v i xác su t t ng ng p0 1– p0 Thí nghi m đ c l p l i N l n m t cách đ c l p, k t qu trung bình đ c đ nh ngh a yN; t c là, yN b ng t ng s s N l n thí nghi m chia cho N Rõ ràng, yN m t bi n ng u nhiên có không gian m u {0, 1/N, 2/N, , 1} nh ngh a x(n) bi n ng u nhiên t ng ng v i k t qu c a l n thí nghi m th n, có yN = N N (n ) x ∑ n =1 Trang 39 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Lu t y u c a s l n (tt) yN = N (( δ = E yN − yN y )) ∑ E (x ) N (n ) n =1 ⎛⎡ = E⎜ ⎢ ⎜⎣N ⎝ N = N ∑x n =1 (n ) N ∑ x =x n =1 ⎤ − x⎥ ⎦ ⎞ ⎟ ⎟ ⎠ 2 N ⎛⎛ ⎡ N ⎞ ⎛ ⎞ ⎜⎡ ⎤ ⎞⎟ ⎤ ⎟ (n ) ( n) ⎜ = E ⎜⎜ ⎢∑ x − N x ⎥ ⎟⎟ = E ⎢∑ x − x ⎥ ⎟ ⎜ ⎝ N ⎣ n =1 ⎟ N ⎜ ⎣ n =1 ⎦ ⎦ ⎠ ⎠ ⎝ ⎝ ⎠ ( = N N (( (n ) x −x E ∑ n =1 )) 2 δ = Nδ x2 = x N N Trang 40 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin ) Lu t y u c a s l n (tt) ̈ ng tu ý ε, theo b t đ ng th c i v i m t s nguyên d Chebyshev có δ y2 P | y N − y N |≥ ε ≤ ε ( ) t d n đ ⎛⎡1 P⎜⎜ ⎢ ⎝ ⎣N ̈ ̈ c lu t y u c a s l n ⎞ δ ⎤ (n ) x ⎟ x − x ≥ ≤ ε ∑ ⎥ ⎟ N ε n =1 ⎦ ⎠ N Chú ý r ng v ph i ti n t i N ti n vô Lu t y u c a s l n v y kh ng đinh r ng tr trung bình m u c a x ti p c n tr trung bình th ng kê v i xác su t cao N → ∞ Trang 41 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin T pl i ̈ Trong không gian clit, m t t p S đ c g i l i (convex cap (∩)) n u đ i v i m t c p m P1, P2 thu c S m i m thu c đo n P1P2 c ng thu c S P1 P1 P2 P2 (b) (a) ̈ N u P1 = (x1, x2, , xn) P2 = (y1, y2, , yn) m không gian clit n chi u, đo n th ng n i chúng đ c bi u di n b ng t p m P, P = λP1 + (1–λ)P2 = (λx1 + (1–λ)y1, λx2 + (1–λ)y2, , λxn + (1–λ)yn) λ ∈ [0, 1] Trang 42 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Hàm l i ̈ ̈ M t ví d quan tr ng c a t p l i t p t t c m (p1, p2, , pn) (p1, p2, , pn) m t s phân b xác su t (t c pi ∈ [0, 1] Σpi = 1) M t hàm th c f(P), đ c đ nh ngh a t p l i S, đ c g i l i n u ∀c p m P1, P2 ∈ S, ∀ λ ∈ [0, 1] b t đ ng th c sau đúng: f(λP1 + (1–λ)P2) ≥ λf(P1) + (1–λ)f(P2) f((λx1 + (1-λ)x2) f(x) f(x2) f(x1) λf(x1) + (1-λ)f(x2) x1 (λx1 + (1-λ)x2 x2 Trang 43 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin x nh lý, b t đ ng th c Jensen ̈ N u λ1, , λN s không âm có t ng b ng đ i v i m i t p m P1, , PN mi n xác đ nh c a hàm l i f(P) b t đ ng th c sau ⎞ N ⎛ N f ⎜ ∑ λ n Pn ⎟ ≥ ∑ λ n f Pn ⎟ ⎜ ⎠ n =1 ⎝ n =1 ̈ ̈ Cho bi n ng u nhiên x l y giá tr x1, , xn v i xác su t p1, , pn Cho f(x) m t hàm l i có mi n xác đ nh ch a x1, , xn Chúng ta có E(x) = ∑ pi xi E(f(x)) = ∑ pi f ( xi ) i i Áp d ng đ nh lý có f(E(x)) ≥ E(f(x)) ây đ c g i b t đ ng th c Jensen Trang 44 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài L 4.1 L 4.2 L ng tin ng tin ng tin trung bình V n đ c b n c a truy n thông vi c tái sinh t i m t m ho c xác ho c g n m t thông báo đ c ch n t i m t m khác (Claude Shannon 1948) Trang 45 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L ̈ ̈ ̈ ̈ ̈ ̈ ng tin L ng tin (measure of information) dùng đ so sánh đ nh l ng tin t c v i M t tin đ i v i ng i nh n đ u mang hai n i dung, m t đ b t ng c a tin, hai ý ngh a c a tin Khía c nh ng ngh a ch có ý ngh a đ i v i ng i Khía c nh quan tr ng n m ch tin th t s m t đ c ch n t m t t p tin (t p kh n ng) có th N u s tin t p tin nhi u s mang l i m t “l ng tin” l n nh n đ c m t tin (gi s tin bình đ ng nh v kh n ng xu t hi n) s truy n tin đ t hi u qu cao không th đ i đãi tin nh n u chúng xu t hi n nhi u khác Trang 46 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L ̈ ̈ ̈ ̈ ̈ ng tin Xét m t tin x có xác su t xu t hi n p(x), có th xem tin nh m t tin m t t p có 1/p(x) tin v i tin có xác su t xu t hi n nh N u p(x) nh 1/p(x) l n v y “l ng tin” nh n đ c tin c ng s l n V y “l ng tin” c a m t tin t l thu n v i s kh n ng c a m t tin t l ngh ch v i xác su t xu t hi n c a tin Xác su t xu t hi n c a m t tin t l ngh ch v i đ b t ng nh n đ c m t tin “l ng tin“ ↑ s kh n ng ↑ đ b t ng ↓ xác su t M t tin có xác su t xu t hi n nh có đ b t ng l n v y có l ng tin l n Trang 47 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L ̈ ̈ ̈ Xét m t ngu n A = {a1, a2,…, am} v i xác su t xu t hi n p(ai) i = 1, , m Kí hi u l ng tin m i tin I(ai) V y hàm f dùng đ bi u th l ng tin ph i thoã mãn nh ng u ki n gì? Ph n ánh đ c tính ch t th ng kê c a tin t c ̈ ̈ ng tin (tt) Ví d có hai ngu n K, L v i s tin t ng ng k, l (gi thuy t đ u đ ng xác su t) N u k > l, đ b t ng nh n m t tin b t k c a ngu n K ph i l n h n đ b t ng nh n m t tin b t k c a ngu n L, v y f(k) > f(l) H p lý tính toán ̈ Gi thi t hai ngu n đ c l p K L v i s tin t ng ng k l Cho vi c nh n m t c p ki lj b t k đ ng th i m t tin c a ngu n h n h p KL S c p kilj mà ngu n có k*l Trang 48 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L ̈ ̈ ng tin (tt) b t ng nh n đ c m t c p nh v y ph i b ng t ng l nh n đ c ki lj Vì v y ph i có: f(kl) = f(k) + f(l) Khi ngu n ch có m t tin, l ph i b ng không ng tin c a ng tin ch a tin nh t f(1) = nh ngh a ̈ ̈ L ng đo thông tin c a m t tin đ c đo b ng logarit c a đ b t ng c a tin hay ngh ch đ o xác su t xu t hi n c a tin I ( x ) = log = − log p( x) p ( x) Trang 49 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L ̈ ̈ L ng tin (tt) ng tin ch a m t dãy x = a1a2 … an v i ∈ A n = −∑ log p(ai ) I ( x ) = log p( x) i =1 Trong tr ng h p m kí hi u c a ngu n đ ng xác su t v i t c p(ai) = 1/m I (ai ) = log = log m p(ai ) N u x = a1a2 … an v i ∈ A I(x) = n logm Trang 50 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin L nv c al ̈ ̈ ng tin trung bình ng tin N u c s đ n v bits (cho kí s nh phân); n u c s e đ n v nats (cho đ n v t nhiên), n u c s 10 đ n v Hartley nh ngh a ̈ ̈ L ng tin trung bình c a m t ngu n tin A l ng tin trung bình ch a m t kí hi u b t k c a ngu n tin Nó th ng đ c kí hi u I(A) đ c tính b ng công th c sau I ( A) = ∑ p(ai ) I (ai ) = − ∑ p(ai ) log p(ai ) ∈ A ∈ A Trang 51 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ví d ̈ Cho m t ngu n tin U bao g m tin U = {u0, u1, u2, u3, u4, u5, u6, u7}, v i xác su t xu t hi n nh sau: p(u0) p(u1) p(u2) p(u3) p(u4) p(u5) p(u6) p(u7) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 Hãy cho bi t l ng tin riêng c a m i tin l ng tin trung bình c a ngu n đ n v bits ̈ Gi i ̈ L ng tin riêng c a m i tin I(u0) I(u1) I(u2) I(u3) I(u4) I(u5) I(u6) I(u7) 2 3 4 4 Trang 52 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ví d (tt) ̈ ̈ L ng tin trung bình c a ngu n I(U) = (1/4) × + (1/4) × + (1/8) × + (1/8) × + (1/16) × + (1/16) × + (1/16) × + (1/16) × = 2,75 bits i u nói lên m t ý ngh a quan tr ng r ng, có th bi u di n m i tin ngu n U b ng m t chu i có chi u dài trung bình 2,75 bits Nó s t t h n so v i tr ng h p không ý đ n c u trúc thông kê c a ngu n Lúc s bi u di n m i tin tin c a ngu n b ng chu i có chi u dài bits Trang 53 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin [...]... tin U bao g m 8 tin U = {u0, u1, u2, u3, u4, u5, u6, u7}, v i các xác su t xu t hi n nh sau: p(u0) p(u1) p(u2) p(u3) p(u4) p(u5) p(u6) p(u7) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 Hãy cho bi t l ng tin riêng c a m i tin và l ng tin trung bình c a ngu n này trong đ n v bits ̈ Gi i ̈ L ng tin riêng c a m i tin là I(u0) I(u1) I(u2) I(u3) I(u4) I(u5) I(u6) I(u7) 2 2 3 3 4 4 4 4 Trang 52 Lý thuy t Thông tin... 3 + (1/8) × 3 + (1/16) × 4 + (1/16) × 4 + (1/16) × 4 + (1/16) × 4 = 2,75 bits i u này nói lên m t ý ngh a quan tr ng r ng, chúng ta có th bi u di n m i tin trong ngu n U b ng m t chu i có chi u dài trung bình là 2,75 bits Nó s t t h n so v i trong tr ng h p chúng ta không chú ý đ n c u trúc thông kê c a ngu n Lúc đó chúng ta s bi u di n m i tin trong 8 tin c a ngu n b ng các chu i có chi u dài là 3. .. Chúng ta có E(x) = ∑ pi xi và E(f(x)) = ∑ pi f ( xi ) i i Áp d ng đ nh lý trên chúng ta có f(E(x)) ≥ E(f(x)) ây đ c g i là b t đ ng th c Jensen Trang 44 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 4 L 4.1 L 4.2 L ng tin ng tin ng tin trung bình V n đ c b n c a truy n thông là vi c tái sinh t i m t đi m ho c chính xác ho c g n đúng m t thông báo đ c ch n t i m t đi m khác (Claude Shannon 1948)... t ng ng là k, l (gi thuy t đ u là đ ng xác su t) N u k > l, thì đ b t ng khi nh n m t tin b t k c a ngu n K ph i l n h n đ b t ng khi nh n m t tin b t k c a ngu n L, v y f(k) > f(l) H p lý trong tính toán ̈ Gi thi t hai ngu n đ c l p K và L v i s tin t ng ng là k và l Cho vi c nh n m t c p ki và lj b t k đ ng th i là m t tin c a ngu n h n h p KL S c p kilj mà ngu n này có là k*l Trang 48 Lý thuy t... cho N Rõ ràng, yN là m t bi n ng u nhiên có không gian m u là {0, 1/N, 2/N, , 1} nh ngh a x(n) là bi n ng u nhiên t ng ng v i k t qu c a l n thí nghi m th n, chúng ta có 1 yN = N N (n ) x ∑ n =1 Trang 39 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Lu t y u c a s l n (tt) 1 yN = N (( δ = E yN − yN 2 y )) 2 ∑ E (x ) N (n ) n =1 ⎛⎡ 1 = E⎜ ⎢ ⎜⎣N ⎝ N 1 = N ∑x n =1 (n ) N ∑ x =x n =1 ⎤ − x⎥ ⎦ 2 ⎞ ⎟ ⎟ ⎠... i là l i n u ∀c p đi m P1, P2 ∈ S, và ∀ λ ∈ [0, 1] b t đ ng th c sau đây đúng: f(λP1 + (1–λ)P2) ≥ λf(P1) + (1–λ)f(P2) f((λx1 + (1-λ)x2) f(x) f(x2) f(x1) λf(x1) + (1-λ)f(x2) x1 (λx1 + (1-λ)x2 x2 Trang 43 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin x nh lý, b t đ ng th c Jensen ̈ N u λ1, , λN là các s không âm có t ng b ng 1 thì đ i v i m i t p đi m P1, , PN trong mi n xác đ nh c a hàm l i f(P) b t... 2,75 bits Nó s t t h n so v i trong tr ng h p chúng ta không chú ý đ n c u trúc thông kê c a ngu n Lúc đó chúng ta s bi u di n m i tin trong 8 tin c a ngu n b ng các chu i có chi u dài là 3 bits Trang 53 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin