Bài 5 - Entropy

Bài Entropy 5.1 Entropy c a m t bi n ng u nhiên r i r c 5.2 Các đ c tính c a entropy 5.3 Entropy dãy c a m t bi n ng u nhiên Trang 54 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Entropy c a m t bi n ng u nhiên r i r c nh ngh a ̈ ̈ Cho x m t bi n ng u nhiên v i không gian m u X = {x1, , xN} đ đo xác su t P(xn) = pn Entropy c a x đ c đ nh ngh a là: N H (x ) = −∑ pn log( pn ) n =1 –p ln(p) e-1 e-1 = 0,37 Trang 55 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin p Entropy c a m t bi n ng u nhiên r i r c (tt) ̈ Ví d ̈ Cho X = {0, 1}, P(0) = p, P(1) = 1–p Thì H(x) = –plog(p) – (1– p) log(1– p) H(x) 0,5 p Trang 56 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các đ c tính c a entropy Entropy m t đ i l ̈ ng luôn d ng ho c b ng không H(x) = ⇔ có m t xác su t pi = 1, t t c xác su t l i b ng i u nói lên r ng đ b t ng v m t thí nghi m ch có m t k t qu nh t b ng H(x) ≤ log N d u b ng x y ⇔ p1 = p2 = = pN = 1/N Hay nói cách khác entropy đ t c c đ i xác su t xu t hi n c a kí hi u b ng ̈ Ch ng minh ⎛ ⎞ ⎟⎟ H ( x ) − ln( N ) = −∑ pn ln ( pn ) − ∑ pn ln ( N ) = ∑ pn ln⎜⎜ n =1 n =1 n =1 ⎝ Npn ⎠ N ⎛ ⎞ N ⎛1⎞ N ≤ ∑ pn ⎜⎜ − 1⎟⎟ = ∑ ⎜ ⎟ − ∑ pn = − = n =1 ⎝ Npn ⎠ n =1 ⎝ N ⎠ n =1 N N Trang 57 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin N Các đ c tính c a entropy (tt) Cho bi n ng u nhiên x có không gian m u X = {x1, , xN} bi n ng u nhiên y có không gian m u Y = {y1, , yM} Thì bi n ng u nhiên n i z = (x, y) có không gian m u Z = {(x1, y1), , (x1, yM), (x2, y1), , (x2, yM), , (xN, y1), , (xN, yM)} g m NM ph n t N u x, y đ c l p H(z) = H(x) + H(y) ̈ Ch ng minh N M N M n=1 m=1 N n=1 m=1 H(z) = −∑∑P(xn , ym ) logP(xn , ym ) = −∑∑P(xn )P( ym )[logP(xn ) + logP( ym )] M M N m=1 m=1 n=1 = −∑P(xn ) logP(xn )∑P( ym ) − ∑P(xm ) logP(xm )∑P( yn ) n=1 = H (x) + H (y) Trang 58 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các đ c tính c a entropy (tt) Xét m t bi n ng u nhiên x có không gian m u X = {x1, , xn, xn+1, , xN} xác xu t p(xi) = pi Chúng ta phân X thành hai không gian con, Y = {x1, , xn} Z = {xn+1, , xN} Các n xác su t liên k t v i Y Z đ c cho b i P(Y) =∑ i =1 pi N P(Z) = ∑ i = n +1 pi H n n a, đ nh ngh a bi n ng u nhiên y z b ng P(yi) = P(xi)/P(Y), i = 1, 2, , n P(zi) = P(xi)/P(Z), i = n+1, n+2, , N H(x) bây gi có th đ c vi t thành n N H ( x ) = −∑ pi log pi = −∑ pi log pi − i =1 i =1 N ∑ p log p i = n +1 i i n N i=1 i =n+1 = −P(Y )∑P( yi )(logP( yi ) + logP(Y )) − P(Z ) ∑P(zi )(logP(zi ) + logP(Z )) = − [P(Y )log P(Y ) + P(Z )log P(Z )] + [P(Y )H ( y) + P(Z )H ( z)] Trang 59 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Các đ c tính c a entropy (tt) ̈ ̈ ̈ Trong bi u th c cu i c p ngo c vuông đ u bi u di n đ b t ng liên k t v i thí nghi m th nh t (là ch n m t hai không gian m u Y Z) c p ngo c vuông th hai bi u di n đ b t ng trung bình liên k t v i thí nghi m th hai (sau ch n m t hai không gian m u, s ch n ti p s ki n c b n nào) Công th c di n t m t tính ch t c a entropy tính ch t nhóm Ng i ta ch ng minh đ c r ng công th c đ nh ngh a c a H(x) công th c nh t phù h p đ đo v đ b t ng , mà ph i thoã mãn tính ch t 2,3, c ng thêm tính liên t c M c d u hai khái ni m l ng tin trung bình entropy xu t hi n m t cách đ c l p nh ng l nh v c khác (entropy v n xu t phát t vi c nghiên c u trình nhi t đ ng) nh ng chúng có công th c gi ng Vì v y có th xem l ng tin trung bình c a m t ngu n entropy c a ngu n Trang 60 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Entropy dãy c a m t bi n ng u nhiên ̈ Ví d ̈ ̈ ̈ Xét m t bi n ng u nhiên x có không gian m u X = {x1, x2}, P(x1) = p1 = 1/3, P(x2) = 2/3 Thì entropy c a x H(x) = –(1/3) log(1/3) – (2/3) log(2/3) = 0.918295834 bits Chúng ta l p l i thí nghi m N l n đ nh n m t dãy N ph n t T ng quát có đ n 2N dãy có th N u dãy có n ph n t x1 xác su t xu t hi n c a dãy p1n(1–p1)N–n Có (nN) = N! dãy nh v y, nên t ng xác su t c a chúng n! N −n ! b ng n N N-n ( n ) p1 (1-p1 ) ̈ B ng bên d N = 15 i trình bày xác su t c a dãy khác đ i v i Trang 61 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Entropy dãy c a m t bi n ng u nhiên (tt) S dãy P m i dãy S dãy P m i dãy P t ng c ng P t ng c ng n n N (n ) p1n(1–p1)N–n (nN ) p1n(1–p1)N–n (nN ) p1n(1–p1)N–n (nN ) p1n(1–p1)N–n 2–15x0.584962501 0.002284 6435 2–15x1.118295834 0.057404 15 2–15x0.651629167 0.017127 5005 2–15x1.184962501 0.022324 105 2–15x0.718295834 0.059946 10 3003 2–15x1.251629167 0.006697 11 1365 2–15x1.318295834 455 2–15x0.784962501 0.129883 0.001522 12 455 2–15x1.384962501 1365 2–15x0.851629167 0.194825 0.000254 3003 2–15x0.918295834 0.214307 13 105 2–15x1.451629167 0.000029 14 15 2–15x1.518295834 5005 2–15x0.984962501 0.178589 0.000002 6435 2–15x1.051629167 0.114807 15 2–15x1.584962501 0.000000 Trang 62 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Nh n xét ̈ ̈ ̈ ̈ ̈ ̈ Nh ng dãy có xác su t l n (dãy có kh n ng) nh ng dãy mà có n g n v i giá tr Np1 = 5, c th ≤ n ≤ Nói cách khác, Xác su t xu t hi n c a m t dãy mà có n n m xa giá tr Np1 r t nh Xsu t riêng c a nh ng dãy có kh n ng n m gi a 2–15×0.718295834 2–15× 1.118295834, mà g n sát v i 2–NH(x) = 2–15×0.918295834 Nói cách khác, T t c nh ng dãy có kh n ng nhi u hay đ ng xác su t v i xác su t 2–NH(x) S l ng t ng c ng dãy kh n ng (2 ≤ n ≤ 8) 22803 = 215× 0.965129067 mà không xa so v i 2NH(x) Nói cách khác, S l ng dãy có kh n ng kho ng 2NH(x) Trang 63 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin i u ki n phân tách mã (tt) ̈ ̈ ̈ ̈ Nguyên nhân c a u b mã có m t t mã ti p đ u ng c a m t t mã khác Và c ng nguyên nhân b n ch t c a vi c m t dãy kí hi u có th tách thành hai dãy t mã khác Th t v y, n u t mã ti p đ u ng c a t mã khác (hay mã prefix) v i m i dãy t mã ch có nh t m t cách tách thành t mã thành ph n Vì v y nh sau s th y mã th ng đ c s d ng mã prefix D a vào tính ti p đ u ng trên, đ nh n bi t m t b mã (d nhiên không ph i mã prefix) có phân tách đ c hay không ng i ta th ng dùng m t công c đ c g i b ng th mã Trang 82 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã ̈ ̈ ̈ ̈ B n ch t c a b ng th mã phân tích nh ng t mã dài thành nh ng t mã ng n đ u Ch ng h n t mã dài u1 có th đ c phân tích thành v11v12 v1kw11 v11, , v1k t mã ng n w11 ph n l i c a u1 N u w11 c ng m t t mã b mã không phân tách đ c chu i v11v12 v1kw11 có nh t hai cách phân tách thành t mã, u1 v11, v12, , v1k, w11 Còn n u ng c l i w11 không t mã dùng đ xét ti p Trong l n xét ti p theo xét xem m i w11 có ti p đ u ng c a t mã hay không, n u v i m t t mã đó, gi s u2, t mã s có d ng w11v21 v2lw22 v21, , v2l t mã ng n (l có th b ng 0) w22 ti p v ng l i Trang 83 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ ̈ ̈ T ng t n u w22 c ng m t t mã b mã không phân tách đ c chu i v11v12 v1kw11v21 v2lw22 có nh t hai cách phân tách thành t mã, v11v12 v1kw11 | v21 | | v2l | w22, v11 | v12 | | v1k | w11v21 v2lw22 N u ng c l i w22 không t mã dùng đ xét ti p theo khuôn m u t ng t nh Vì v y k t lu n r ng N u m t l n phân tích đó, có m t t mã dài, ch ng h n u, đ c phân tích thành dãy wiiv(i+1)1 v(i+1)n wii ti p v ng c a m t t mã l n phân tích tr c đó, v(i+1)1, , v(i+1)n t mã ng n b mã không phân tách đ c Trang 84 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ ̈ ̈ Th t v y, lúc s t n t i m t dãy kí hi u sau v11v12 v1kw11v21 v2lw22 w(i–1)(i–1)vi1 vimwiiv(i+1)1 v(i+1)n mà có th phân tách thành hai dãy t mã khác Cách v11 | v12 | | v1k | w11v21 v2lw22 | | w(i–1)(i–1)vi1 vimwii | v(i+1)1 | | v(i+1)n Cách v11v12 v1kw11 | v21 | | v2l | w22 w(i–1)(i–1) | vi1 | | vim | wiiv(i+1)1 v(i+1)n Trang 85 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Cách xây d ng b ng th mã (1) em t mã x p thành m t c t, theo th t chi u dài c a t mã t nh đ n l n, đánh d u c t (2) Trong c t này, đ i chi u t mã ng n v i t mã dài h n, n u t mã ng n ti p đ u ng c a t mã dài ghi ti p v ng vào c t ti p theo đánh d u c t (3) Ti p t c, đ i chi u chu i c t c t v i nhau, n u có chu i c t ti p đ u ng c a chu i c t ti p v ng s đ c ghi vào c t ti p theo c t (4) Ti p t c theo khuôn m u n u xét c t th j đ i chi u chu i c t v i c t N u có chu i c t ti p đ u ng c a chu i c t ti p v ng s đ c ghi vào c t j + Th c hi n cho đ n không th n thêm đ c n a ho c c t m i thêm vào trùng v i m t c t tr c ho c có m t chu i c t m i trùng v i m t t Trang 86 mã Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ Ví d ̈ L p b ng th mã cho b mã nh nói 1100, 00010} 010 00 01 100 011 1100 00010 11 11 0010 0010 100 00 A = {00, 01, 011, Mã không phân tách đ c chu i 000101100 có hai cách phân tách khác 00 | 01 | 011 | 00 00010 | 1100 10 Trang 87 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ i u ki n c n đ đ m t b mã phân tách đ c ph n t c t t j ≥ trùng v i m t ph n t c t ch m gi i mã ̈ ̈ ̈ ch m gi i mã, th ng kí hi u Tch, s kí hi u c n ph i nh n đ c đ đ có th phân tách (nh n d ng) đ c t mã Trong tr ng h p chu i c t j ≥ trùng v i t mã nh ng có hai c t k, l (k ≠ l, k, l ≥ ) trùng mã phân tách đ c nh ng có đ ch m gi i mã vô h n Trang 88 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ Xét b mã {01, 10, 011, 100} có b ng th mã nh sau: 01 10 00 011 100 11 ̈ ̈ 11 00 B ng th mã có c t trùng v chu i nên b mã có đ ch m gi i mã tr ng h p x u nh t vô h n Ch ng h n v i chu i có d ng sau trình nh n ch a h t chu i không th th c hi n đ c vi c tách mã: 0110101010 Trang 89 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài t p ̈ ̈ ̈ ̈ ̈ ̈ ̈ Hãy l p b ng th mã cho nh ng b mã sau Cho bi t mã có phân tách đ c không, n u đ c đ ch m gi i mã (trong tr ng h p x u nh t) X1 = {00, 01, 100, 1010, 1011} X2 = {00, 01, 101, 1010} X3 = {00, 01, 110, 111, 1100} X4 = {00, 01, 110, 111, 1110} X5 = {00, 01, 110, 111, 0111} X6 = {00, 01, 110, 111, 1011, 1101} Trang 90 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B t đ ng th c Kraft nh lý 6.1 ̈ ̈ Cho l1, l2, , lK chi u dài c a m t b mã prefix có b ng kí hi u mã kích th c m (t c g m m kí hi u mã) Thì K − li m ≤1 ∑ i =1 ̈ ̈ Ng c l i, n u s nguyên l1, l2, , lK thoã b t đ ng th c t n t i m t b mã prefix v i t mã có chi u dài l1, l2, , lK Ch ng minh Chi u thu n ̈ G i T mã t ng ng v i b mã Trang 91 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B t đ ng th c Kraft M c0 M c1 G c M c2 M c3 ̈ ̈ ̈ ̈ m-2 m-2 m-2 m-2 m-2 m-2 m-3 m-3 m-3 m-3 m-3 Nút m c li s đ c gán tr ng s m-li Tr ng s c a m i nút cha đ c tính b ng t ng tr ng s c a nút V i cách gán này, suy tr ng s c a nút cha m c h ≤ m-h i u m i nút cha m c h có t i đa m nút m c h + Trang 92 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B t đ ng th c Kraft (tt) T suy ra, tr ng s c a nút g c ≤ ̈ Mà tr ng s c a nút g c t ng tr ng s c a nút ̈ V y suy u c n ch ng minh Chi u đ o ̈ Chúng ta ch ng minh b ng cách xây d ng m t mã cho ̈ i u th c hi n đ c theo nh ch ng minh c a chi u thu n ̈ ̈ Ví d ̈ ̈ Tìm b mã prefix cho b mã nh phân có chi u dài t mã t ng ng nh sau {2, 2, 3, 4, 4}, {2, 2, 3, 3, 3, 4, 4}, {2, 2, 3, 4, 4, 4, 5, 5} Trang 93 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin nh lý nh lý 6.2 ̈ ̈ ̈ M t mã phân tách đ đ ng th c Kraft ̈ K − li m ≤1 ∑ i =1 Ch ng minh ̈ c có chi u dài t mã thoã mãn b t G i l1 ≤ l2 ≤ ≤ lK chi u dài t mã v i c s m V i s nguyên N b t k ta có th vi t ⎛ − li ⎞ ⎜∑ m ⎟ ⎝ i =1 ⎠ K N = K K i1 =1 i N =1 ∑ L∑ m ( − l i1 + L + l i N Trang 94 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin ) nh lý 6.2 (tt) ̈ Chú ý l i + L + l i chi u dài c a m t dãy N t mã có th N nh n giá tr b t k gi a Nl1 NlK G i Aj s dãy N t mã mà có t ng chi u dài j Thì N ⎛ − li ⎞ ⎜∑m ⎟ = ⎠ ⎝ i =1 K ̈ ̈ Nl K −j A m ∑ j j = Nl1 Vì b mã phân tách đ c, nên dãy N t mã mà có t ng chi u dài j ph i khác S dãy có chi u dài j t i đa mj Vì v y Aj ≤ mj N ⎛ − li ⎞ ⎜∑m ⎟ ≤ ⎝ i =1 ⎠ K Nl K ∑m m j j = Nl1 −j = N (lK − l1 ) + Trang 95 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ch ng minh đ nh lý (tt) ̈ K − li m ∑ >1 N u i =1 ⎛ ⎞ m ⎟ ∑ ⎝ i =1 ⎠ K ̈ Thì v i N đ l n ⎜ ̈ Vì v y có đ − li N s l nh n N (l K − l1 ) + c u c n ch ng minh K − li m ∑ ≤1 i =1 ̈ ̈ K t h p hai đ nh lý rút m t nh n xét sau N u m t mã phân tách đ c t n t i m t b mã t ng đ v chi u dài t mã mà có tính prefix Trang 96 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin ng [...]... l −1 mã b= i a m ∑ i i=0 Trang 74 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M t s ph ̈ ng pháp bi u di n mã (tt) Ví d Tin a1 a2 a3 a4 a5 a6 T mã 00 010 011 10 110 111 Tin T mã Chi u dài l Tr ng s b a1 a2 a3 00 010 011 2 3 3 0 2 6 a4 a5 a6 10 110 111 2 3 3 1 3 7 b 7 6 5 4 3 2 1 0 Trang 75 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin a6 a3 a5 a2 a4 a1 1 2 3 4 l M t s ph ̈ ng pháp bi u di n mã (tt)... dãy thoã đi u ki n 1 1 − H (x) ≤ δ log N P( Si ) Vì v y đ nh lý đ c ch ng minh Trang 67 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Bài 6 Mã hi u 6.1 Gi i thi u 6.2 Mã hi u và các thông s c b n c a mã hi u 6.3 M t s ph ng pháp bi u di n mã 6.4 i u ki n phân tách mã Trang 68 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Gi i thi u ̈ ̈ ̈ Trong các h th ng truy n tin, bên nh n th ng bi t t p h p các tin... còn b mã X3 = {00, 01, 10, 11} là mã đ u và đ y Trang 73 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M t s ph ̈ ng pháp bi u di n mã B ng đ i chi u mã ̈ Là cách li t kê các tin c a ngu n và t mã t b ng ng ng trong m t Tin a1 a2 a3 a4 a5 a6 T mã 00 010 011 10 110 111 ̈ M t to đ mã ̈ Là cách bi u di n m i t mã w = a0a1…al-1 b ng m t đi m (l, b) trong m t ph ng to đ hai chi u, trong đó l là chi u dài... hi u các dãy này b ng các Si và xác su t c a dãy là P(Si) Ta có N P( Si ) = ∏ p(a ( j ) ) j =1 trong đó a(j) là kí hi u th j c a dãy Trang 65 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Ch ng minh đ nh lý ̈ ̈ G i z là bi n ng u nhiên b ng cách ánh x m i Si t i -log P(Si) N Chú ý − log P ( S i ) = −∑ log p (a ( j ) ) j =1 ̈ ̈ Vì v y z là t ng c a N bi n ng u nhiên y đ c l p Áp d ng lu t y u c a s l... Trang 86 mã Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng th mã (tt) ̈ Ví d ̈ L p b ng th mã cho b mã nh đã nói 1100, 00010} 1 2 3 010 0 00 01 1 100 011 1100 00010 4 0 1 5 0 1 11 11 0010 0010 100 00 trên A = {00, 01, 011, Mã là không phân tách đ c trên chu i 000101100 vì có hai cách phân tách khác nhau 00 | 01 | 011 | 00 00010 | 1100 10 Trang 87 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin B ng... v11 | v12 | | v1k | w11v21 v2lw22 | | w(i–1)(i–1)vi1 vimwii | v(i+1)1 | | v(i+1)n Cách 2 là v11v12 v1kw11 | v21 | | v2l | w22 w(i–1)(i–1) | vi1 | | vim | wiiv(i+1)1 v(i+1)n Trang 85 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Cách xây d ng b ng th mã (1) em các t mã x p thành m t c t, theo th t chi u dài c a t mã t nh đ n l n, đánh d u là c t 1 (2) Trong c t này, đ i chi u các t mã ng n... bi u di n b ng m t hàm G(li) cho bi t có bao nhiêu t mã có chi u dài li Trang 77 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin M t s ph ̈ ng pháp bi u di n mã (tt) Ví d ̈ B mã trong các ví d trên đ c bi u di n b ng hàm c u trúc mã sau đây G(li) = 2, khi li = 2 4, khi li = 3 Trang 78 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin i u ki n phân tách mã ̈ Ví d ̈ ̈ ̈ ̈ Xét b mã X1 = {0, 10, 11} mã hoá cho... t tin c a ngu n và m t t mã c a b mã Trong m t s tr ng h p ng i ta không mã hoá m i tin c a ngu n mà mã hoá m t b n tin hay kh i tin Lúc này chúng ta có khái ni m mã kh i Trang 71 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mã hi u và nh ng thông s c b n (tt) ̈ ̈ ng đ c kí hi u là u, v, w Chi u dài t mã, chi u dài trung bình ̈ ̈ Các t mã th Chi u dài t mã là s kí hi u có trong t mã th ng đ c kí hi... ngu n còn li là chi u dài t mã t ng ng v i tin xi c a ngu n Phân lo i mã: mã đ u, mã đ y, mã v i ̈ M t b mã đ c g i là mã đ u n u các t mã c a b mã có chi u dài b ng nhau Trang 72 Lý thuy t Thông tin - Khoa Công Ngh Thông Tin Mã hi u và nh ng thông s c b n (tt) ̈ ̈ ̈ M t b mã đ u có c s mã là m, chi u dài t mã là l và s l ng t mã n b ng v i ml thì đ c g i là mã đ y, ng c l i thì đ c g i là mã v i Ngoài...nh lý nh lý 5. 1 ̈ ̈ Cho các s ε > 0 và δ > 0 nh tu ý, ∃ m t s nguyên d ng N0 sao cho m t dãy có chi u dài b t k N ≥ N0 s r i vào m t trong hai l p sau đây: (1) M t t p các dãy mà có t ng xác su t c a chúng nh h n