MỤC LỤC Mục lục
Lời nói đầu 4
1 Một số kiến thức cơ bản của lý thuyết thông tin 6 1.1.Khái niệm độ bất định của đại lượng ngẫu nhiên 6
1.2.Entropi của đại lượng ngẫu nhiên 7
1.3.Entropi của hệ đại lượng ngẫu nhiên 10 1.4.Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân
PhOi MOU 0000022221 n ng nhe 16
1.5.Lượng thông fỈn 2n cence eens 20 2 Một số ứng dụng của thông tin trong thống kê 26
2.1.Các khái niệm và định nghĩa cơ bản 26
2,2,Các tính chất của /(1: 2) và /J(1,2) c2 2c 2v: 29 2.3.Một số ví dụ của thông tin trong thống kê 34
2.4.Các loại sai lầm loại lvà loại 2 cà 36
2.5.Các quần thể nhị thức 222 cà 37
Kết luận 38
Trang 2LỜI NÓI ĐẦU
Thông tin là một trong những nhu cầu không thể thiếu đối với con người,
là một trong những điều kiện cần cho sự tồn tại và phát triển của xã hội
loài người
Lý thuyết thông tin có rất nhiều ứng dụng đặc biệt đối với ngành công nghệ thông tin và điện tử viễn thông Chúng ta biết nhiều khái niệm của
xác suất đã được sử dụng vào lí thuyết thong tin Vay li thuyết thông tin có
ứng dụng như thế nào trong ngành xác suất thống kê? Trong luận văn này
chúng tôi xin đề cập một vài ứng dụng của lí thuyết thông tin để kiểm định giả thiết thống kê
Với mục đích đó, nội dung luận văn được trình bày trong hai chương Chương 1 Một số kiến thức cơ bản của lí thuyết thông tin Trong chương này chúng tôi trình bày một số kiến thức cơ bản của lí
thuyết thông tin như: Entropi của đại lượng và hệ đại lượng ngẫu nhiên, lượng thông tin của đại lượng và hệ đại lượng ngẫu nhiên để sử dụng cho chương sau
Chương 2 Một số ứng dụng của thông tin trong thống kê
Chương này trình bày một số ứng dụng của thông tin trong thống kê toán học, khái niệm trung tâm của chương này là khái niệm lượng thông tin trung bình do quan sát có lợi cho gia thiét Hy va bat lợi cho giả thiết Hạ được kí hiệu bởi ƒ(1 : 2) và nêu các tính chất của nó Cùng với khái niệm đó chúng tôi đưa ra độ sai khác ( hay khác biệt ) giữa các giá thiết ƒ và Hạ kí hiệu
bởi 7J(1,2) và nêu lên các tính chất của nó
Luận văn được hoàn thành tại trường Dại học Vinh đưới sự hướng dẫn
Trang 3các Thầy, Cô giáo trong tổ Lý thuyết xác suất và thống kê toán của Khoa
Toán - Trường Dại học Vĩnh đã tận tình dạy dỗ, giúp đỡ tác giả trong suốt
quá trình học tập và nghiên cứu
Tác giá xin gửi lời cảm ơn chân thành nhất đến quý Thầy, Cô giáo khoa
Sau đại học - Trường Dại học Vĩnh, Ban lãnh đạo trường Đại học Vĩnh, các bạn bè, đồng nghiệp và gia đình đã tạo mọi điều kiện thuận lợi, động viên và giúp đỡ tác giả để tác giả hoàn thành khóa học và thực hiện được luận văn này
Mặc dù tác giả đã rất có gắng nhưng do còn nhiều hạn chế về mặt năng
Trang 4CHƯƠNG 1
MỘT SỐ KIÊN THỨC CƠ BẢN CỦA LÝ THUYẾT
THONG TIN
Chương này chúng tôi trình bày một số kiến thức cơ bản của lý thuyết thông tin như Entropi của đại lượng và hệ các đại lượng ngẫu nhiên , lượng thông tin của đại lượng và hệ đại lượng ngẫu nhiên để sử dụng trong chương
sau
1.1 Khái niệm độ bất định của đại lượng ngẫu nhiên
Như chúng ta đã biết, các hiện tượng ngẫu nhiên là các hiện tượng mà do tác động của của vô số mối liên hệ giữa các hiện tượng này với các hiện
tượng khác, chúng có thể tiến triển một cách khác nhau và dẫn đến các kết cục khác nhau Do đó kết quả của mỗi lần quan sát của hiện tượng ngẫu
nhiên không thể xác định trước khi chưa thực hiện quan sát Vì thế các kết
quá quan sát của bất kì hiện tượng ngẫu nhiên nào đều mang tính bất định Xét thí nghiệm xuất hiện n biến có xung khắc khác nhau #21, F2, lạ Giả sử xác suất của tất cả các kết quả có thể có của một thí nghiệm nào đó
là:
P(E¡) = pị = da” (m; € N,i=1,n) (1.1)
Khi đó mỗi kết quả thí nghiệm có xác suất œ sẽ nhận chỉ số được biểu diễn bằng một số có zw chữ số trong hệ cơ số ø Nếu coi số lượng các chữ số trong con số viết trong hệ cơ số a, kí hiệu kết quả nhận được của phép thử,
như là một đại lượng ngẫu nhiên thì có thể lấy kỳ vọng toán của đại lượng
Trang 5của đại lượng ngẫu nhiên đó bằng:
HĨ = mịa TH -Ƒ nạa— "2 + - + npa— Thh, (1.2)
Công thức (1.2) có thế được viết dưới dang
n
H = —S © pj logy pi- (1.3)
i=l
Bằng cách như vậy có thể lấy đại lượng #7 được xác định bởi công thức
(1.3) là độ đo bất định của các kết quả của một thí nghiệm trong trường
hợp khi mà các xác suất của tất cả các kết quả có thể (2, 2, , F„) của một thí nghiệm có thể được biểu diễn bằng lũy thừa nguyên âm của một số dương a nào đấy Đại lượng H được xác định băng công thức (1.3) được gọi là #nfrop¡ của thí nghiệm đã cho
1.2 Entropi của đại lượng ngẫu nhiên
1.2.1.Entropi của đại lượng ngẫu nhiên rời rạc
1.2.1.1.Định nghĩa Giả sử X là đại lượng ngẫu nhiên rời rạc với luật
phân phối pj = P(X = «;)(i = 1,2, n) Entropi cia dai lượng ngẫu nhiên
X, ký hiệu H[X] dược xác định bới công thức
n
H[X] = — À ` p¡lospi (1.4)
i=1
1.2.1.2 Tinh chat
a) Ti công thức (1.4) ta dễ dàng suy ra H[X] la ham không âm, liên tục của các xác suất ø1,øs, p„ và chỉ khi bằng 0 khi một xác suất nào đấy trong số các xác suất ø,øs, p„ bằng 1 còn các xác suất còn lại bằng 0 (Túc là khi X không phổi là đại lượng ngẫu nhiên uà thá nghiệm đang
xót không chúa một độ bất định nào cả )
Trang 6b) Với N đã cho, T[X] sẽ nhận giá trị lén nhat khi py = pg = - = pp = + (Túc là khi tất cả các giá trị có thể có của đại lượng ngẫu nhiên X là dong xác suất) Chứng minh Dể chứng mình chúng ta sẽ sử dụng bất đẳng thức sau: nu 1 1 ] = — 1——).Vu > 0 1.5 ee na — 2 ina! a ue (1.5)
Dựa trên bất đắng thức (1.5) đối với bất kỳ các số dương ?;,g¡(i = 1,2 ,n) thỏa mãn điều kiện n n Sori = doa = (1.6) i=1 i=1 Thì bất đẳng thức sau luôn đúng: nr Soi log 2 > 0 (1.7) - Gi i=1 That vay, theo ụ 5) và (1.6) ta có: lo di log — > —— pi(l-— yp 3° n ioga 2? Fa n 1 “ ng 3 (bị — gi) oe 1 n +? = joga( Pi — Soa) =0 ¡=1 ¡=1 n = ST pilog” > 0 (L8) m ' "— won
Béi vi dau "=" trong (1.5) chi xay ra khi va khi w = 1 cho nén dau trong (1.7) va (1.8) xay ra khi va chi khi pj = q(t = 1,2, ,n) Nếu đặt
trong (1.7) q1 = 42 = +++ = Gn = 3, ba CÓ:
tì + +
» pi log np; = » pi log n + Sori log p;
Trang 7n n n > So pi log np; — » log pị = » log n = log n (1.9) ¿=1 ¿=1 i=l => — SL, pilog p; < logn Va dau "=" trong (1.9) chỉ xảy ra khi và chỉ khi DỊ = Đa —**''—=Dn =} L]
Như vậy bất đẳng thức (1.9) Entropi của đại lượng ngẫu nhiên rời rạc sẽ lớn nhất khi tất cả các giá trị có thế có của đại lượng ngẫu nhiên này là đồng xác suất
Nhận zét Đỏi vì log n táng thực sự khi ø tăng nên giá trị có thể lớn nhất
của Entropi của đại lượng ngẫu nhiên là hàm tăng thực sự của số z các giá
trị có thể của đại lượng ngẫu nhiên Diều này hoàn toàn phù hợp với những
suy đoán trực giác của chúng ta là: Số khả năng càng nhiều thà khó xác
định hơn, túc là độ bất định càng lớn
1.2.2 Entropi của đại lượng ngẫu nhiên liên tục
1.2.2.1 Định nghĩa Giả sử đại lượng ngẫu nhiên X có hàm mật độ
f(x)
Ta gọi đại lượng:
-+%
HỊX] —~ [ ` f(e)losll,fU)ih (110)
là Entropi của đại lượng ngẫu nhiên liên tục X, trong đó ƒ(z) là mật độ xác suất của đại lượng ngẫu nhiên X, còn „ là một khoảng nào đấy có liên hệ với đại lượng ngẫu nhiên X
Chú ý: 1) Khác với Entropi của đại lượng ngẫu nhiên rời rạc, Entropi
của đại lượng ngẫu nhiên liên tục trong trường hợp tổng quát có thể lấy giá trị dương hoặc âm Chỉ đối với các đại lượng ngẫu nhiên liên với mật độ xác
Trang 82) Khoảng i„ được đưa vào trong công thức (1.10) để cho đại lượng dưới
dấu logarit không quá lớn, khoảng này có thể được chọn tuỳ ý, đặc biệt tà có thé lay ly = 1 Do dé tit day vé sau ta chỉ xét với ly = 1 Khi d6 cong thức (1.10) được viết lại là: -Loe A(X] = -| f(x) log f(x)dx (1.11) œ 1.2.2.2 Tính chất a) Theo định nghĩa của kỳ vọng toán của hàm đại lượng ngẫu nhiên ta CÓ: H[X] = —Ellog f(X)] (1.12)
b) Nếu mật độ xác suất của đại lượng ngẫu nhiên Y nhận được bằng cách lây trung bình mật độ xác suất của đại lượng ngẫu nhiên X với hàm trọng lượng tuỳ ý a(z,w) thì:H[Y] > HỊX] (Nói một cách khác, tiệc san bằng
mật độ xác suất không làm giểm Entropi mà chỉ làm tăng Entropi mà
thôi.)
e) Chúng ta cũng dễ dàng thấy rằng Entropi của đại lượng ngẫu nhiên
liên tục không phụ thuộc vào gốc tính của đại lượng ngẫu nhiên Tức là:
HỊX| = HỊX + «| (1.13)
với mọi đại lượng ngẫu nhiên X và e là hằng số bất kỳ
Như vậy Entropi của các đại lượng ngẫu nhiên nhận được bằng cách kết
hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi của các đại lượng ngẫu nhiên thành phần
1.3 Entropi của hệ đại lượng ngẫu nhiên
1.3.1 Entropi của hệ hai đại lượng ngẫu nhiên
Trang 91.3.1.1.Định nghĩa 1 Entropi có điều kiện của đại lượng ngẫu nhiên
X đối với Y, ký hiệu H[X | Y], được xác định bởi:
-Loc
HỊX |Y|== Ƒ_ ñŒ|n)lesfi(rulde 19
Nhận zét Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y
phụ thuộc vào các giá trị ¿ của đại lượng ngẫu nhiên Y, tức là hàm số của
đại lượng ngẫu nhiên Y
1.3.1.2 Định nghĩa 2 Kỳ vọng toán của Entropi có điều kiện của đại
lượng X đối với Y được gọi là Entropi có điều kiện trung bình của đại lượng
ngẫu nhiên X đối với Y, ký hiệu Hy[X] + + Hy[X] = BH[X |Y]}=~ / —œ J-o foly) fale | u) log fale | u)dedy, (1.15) trong đó ƒa(ø) là mật độ xác suất của đại lượng ngẫu nhiên Yˆ 1.3.1.3.Tính chất Theo cong thite f(a, y) = fi(x)fo(y | x) = fo(y) fila | y), ta viét lai cong thức (1.15) dưới dạng: †+%_ /†+% Hy[X] = -| f(x,y) log fi(a | y)dxdy (1.16) —%œ —œ Với ƒ(z,) là mật độ xác suất đồng thời của các đại lượng ngẫu nhiên X và Y
Nhờ công thức của kỳ vọng toán ta có:
Hy[X] = —Ellog (X | Y)] (1.17)
Trang 10lượng ngẫu nhiên X, tức là:
Hy|[X| = HỊX |Y] = |X} (1.18)
Chú ý: 1) Entropi có điều kiện /T[Y | X] và Entropi có điều kiện trung
bình 77x[Y |eủa dại lượng ngẫu nhiên Y đối với X được xác định hoàn toàn tương tự
2) Tất cả những điều đã trình bày ở trên đúng cho cả trường hợp X,Y là
các đại lượng ngẫu nhiên vô hướng hoặc các vec tơ ngẫu nhiên Trong trường hợp X,Y là các vectơ, mỗi tích phân trong các công thức ở trên được biểu
diễn như là tích phân bội trên miền tất cả các giá trị có thế có của các veetơ
ngẫu nhiên Xvà Y Ví dụ như nếu X là veetơ ngẫu nhiên ø chiều với các
thành phần X, Xạ, X„ thì công thức (1.10) được viết dưới dạng chỉ tiết
hơn như sau:
oe Ms
HỊX] | " ƒ(l,z, , ạ) lOg (61, #2, ,z)da da đen
—œ —Ằ®%
(1.19)
1.3.1.4 Định nghĩa Giả sử X,Y là hai đại lượng ngẫu nhiên tuỳ ý (vô hướng hoặc vectơ), ƒ(z, ) là mật độ phân phối đồng thời của chúng Ta gọi Entropi của vectơ ngẫu nhiên kết hợp (X, Y) là:
Trang 11công thức:
H[X,Y] = H[X] + Hx[Y] (1.22)
Do tính đối xứng của X và Y ta cũng có:
HỊX,Y] = HỊY] + Hy[X] (1.23)
Trong trường hợp đặc biệt khi X và Y là các đại lượng ngẫu nhiên độc lập
với nhau thì ta có: Hy[Y] = H[Y], Hy[X] = HỊXỊ|;
Do đó ta có công thức (1.22) và (1.23) trong trường hợp này có dạng:
I[X,Y|= HỊX| + HỊY| (1.24)
1.3.2.Hệ ba đại lượng ngẫu nhiên độc lập
Cho ba đại lượng ngẫu nhiên X, Y; Z ta có các định nghĩa sau:
1.3.2.1.Định nghĩa Ta có Entropi có điều kiện của hệ (X,Y) đối với
đại lượng ngẫu nhiên Z được xác định là: + +00 mXY) | Z=— fo [palo | 2) 0 far 9) | Zhe | /Ìœ_ #l® "MA (1.25 và Entropi có điều kiện cúa đại lượng ngẫu nhiên Z với hệ (X,Y) là + HỊZ |(X.Y)]== „ #ữ | (X.Y) log fa(z | (X,Y )dz boo boo Lœ
f- J.J falz | (sy) log falz | (a y))drdydz, (1.26)
trong đó /a((z,) | z) và fale | (x, y)) lần lượt là mật độ có điều kiện của hệ (X,Y) đối với Z và của hệ Z đối với (X, Y) Dược định nghĩa bởi các hệ thức:
ƒ(œ:w.2)
Trang 12Và fle | (ny) = Fob (1.28)
1.3.2.2.Dinh nghĩa Gọi f(x,y, z) la ham mat độ của hệ ba đại lượng ngẫu nhiên (X, Y, Z) Ta có Entropi của hệ (X, Y, Z) được định nghĩa bởi:
too too too
A\X,Y, Z| = NÃ If „76 y, 2) log f(x, y, z)dadydz
= ~Bllog f0 Y,Z)] (1.29)
Khi đó theo (1.25),(1.26) và chú ý đến các công thức (1.27),(1.28) ta suy
ta các Emiropi có điều kiện trung bỳnh của hệ (X,Y) đối với đại lượng
ngẫu nhiên Z là:
H;|X,Y| = E{HI(X.Y) | ZlÌ
too ptoo too
- / | [ fale) fale) | log fal (0.9) | 2)derdyd:
+ r†oœ £†®%
-| / f(x,y, 2) log fs((x, y) | z)dadydz (1.30) và của đại lượng ngẫu nhiên Z đối với hệ (X,Y) là Hx.y)|Z] = E{H|Z | (X.Y)]} Lœ Lœ boo HÀ |_| _ 1 y) f3(z | (x, y)) log fa(z | (x, y) )dadydz l®_ ptoo ptoo
- / I, Pay 2)log f(z |(e,y))dedydz, (1.31)
Trang 13+00 /†%_ /†œ HỊX,Y.Z] = -| / / f(x,y, 2) log f(x, y, z)dadydz +œ +00 +œ ¬A , Tao _ pf foo
= -| / / S(x,y, 2) log f(x, y)dadydz
boc boc Foo
+ / f(a.y, z) log fa(z | (x, y))dadydz TH “reo = = — / | | f(x,y, 2) log f(x, y)dadydz + Axy IZ] oC —œ 7x +00 /†‡+ = F(x, y) log f(x, y)dedy + A(x,y)|4] —%œ /V—œ = HỊX,Y]+ H(xy[Zl Kết hợp với công thức (1.22) ta suy rà H(X,Y, Z2) = H(X) + Hx(Y) + H(x và) (2) (1.32) Tổng quát công thức (1.22) và (1.32) ta có:
Gia sử (Xi, X„) là các đại lượng ngẫu nhiên tày ý (vô hướng hoặc
véc tơ), thì Entropi của ø đại lượng ngẫu nhiên trên là:
H(X!, , X„) = HỊX1| + Hx,[X›] + -+ Hx x„ (Ấn): (1.33)
Trong trường hợp đặc biệt, khi các đại lượng ngẫu nhiên X, , X; là độc lập thì tất cả các Entropi có điều kiện sẽ trùng với Pntropi không điều kiện của đại lượng ngẫu nhiên tương ứng Như vậy công thức (1.33) được
viết lại như sau:
H(XI X„) =À`H[X:] (1.34)
Trang 14hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi
của các đại lượng ngẫu nhiên thành phần
1.4 Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều
1.4.1 Đại lượng ngẫu nhiên có phân phối đều
Giá sử ƒ¿(2) là mật độ xác suất của đại lượng ngẫu nhiên X có phân phối đều trong miền ø nào đấy (đặc biệt, nếu X là đại lượng vô hướng thì miền
0 có thể là a < z < Ù) Bởi vì ƒ„(z) = 0 với mọi + không thuộc ø nên dựa
vào công thức (1.10), Entropi của đại lượng ngẫu nhiên X được biểu dién bởi công thức:
foo foc
TIX] =— ?#(z)log f#,(œ)d# = — fo(x) log Ty =logo (1.35)
Dễ dàng thấy rằng biểu thức cụ thể của mật độ xác suất ƒ„(z) trong công
thức (1.35) không có ảnh hưởng đến giá trị của Entropi của X Điều quan
trọng là mật độ xác suất đó bằng không khắp nơi trong miền ngoài ø Vì
vậy công thức (1.35) vẫn còn đúng nếu thay trong đó ƒ„(%) bởi mật độ xác suất tuỳ ý ƒ() bằng không khắp nơi trong miền ngoài œ Do đó, Pntropi của đại lượng ngẫu nhiên có phân phối đều có thể biểu diễn bằng công thức:
boo
H[X]=— ƒ(z)log f;(z)dz (1.36)
1.4.2 Đại lượng ngẫu nhiên có phân phối chuẩn
Trang 15Chúng ta nhận được: foo HỊX]= — | fA(œ)logfx(e)d “Foo 1 1 +? = ivan nh BLS ag OP 262 )|dz 1 Jum +œ lái +œ + + = ——— log(ðzv2 ae oad vm) ©xp(—zz)d#— so jyg dea f ®p(=a)x(=ag am boc log(ð.v2m) Í _"° +2 x boc a +2 cxp(~ mM" xl exp( — g8) (a4 — log(ðzv2m) + + 5 loge = log(6,V2er) (1.37) 1 s V2T
(Do đó ở phần trên ta đã biết Entropi không phụ thuộc tào kỳ vong toán của đại lượng ngẫu nhiên nên ta có thể tính Eniropi tới giả thiết Mz = 0)
Như vậy ta thấy rằng, biểu thức cụ thể của mật độ xác suất ƒx(+) trong công thức (1.37) củng không ảnh hưởng đến giá trị của Entropi Chỉ có điều quan trọng là mômen cấp hai tương ứng với mật độ xác suất ƒw(+) bằng ð¿.Như vậy entropi của đại lượng ngẫu nhiên có phân phối chuẩn có thể được biểu diễn bởi công thức: -% H[X] = -| f(x) log fy(x)dz (1.38) —œ Trong đó ƒ(2) là mật độ xác suất bất kỳ thoá mãn: boo / x f(x)dx = 62 (1.39) —œ
1.4.3 De xác định Pntropi của vectơ ngẫu nhiên phân phối chuẩn ø chiều X, chúng ta thấy biếu thức
1 —-i S1 ÑjyUyuy
f #1; ‹;#n) —= e 2K igal sig a7
(yet) TR
Trang 16của mật độ xác suất chuẩn ø chiều vào công thức (1.20) Khi đó ta nhận được: + ;-Eo© HX) = / f œ —œ tylen -.an)llog VOn | +58 iE > Kyjxjxj|dxy .dxn |< 1 = log e = log V2m)" | K | +5 rk > Kijkij- (1.40) J
Trong đó | K | là định thức của ma trận tương quan của vectø ngẫu nhiêu X, còn ¿; là phần phụ đại số của phần tử #¿ trong định thức | K |
Theo công thức của khai triển định thức theo các phần tử của một hàng,
ta co
n
So Kigjkig =n | K |, (1.41)
¿j—1 Và công thức (1.40) cho ta:
II[X] = log v/(9ea)" | R | (1.42)
Dặc biệt khi ø = 1, công thức (1.42) có dạng của công thức (1.37) Vì
trong các công thức trên biểu thức cụ thể của mật độ xác suất ƒx(+) không
có ý nghĩa gì mà chỉ có các giá trị của có mô men cấp hai tương ứng với mật độ xác suất ƒwy(z) mới đóng vai trò quan trọng, nên Entropi của đại lượng ngẫu nhiên có phân phối chuẩn ø chiều có thể được biểu diễn bằng công thức:
-+œ +
H[X]= =Ƒ_ fos jenny Xn) log ƒN(#1, ,#n)dị đưa
Trang 17Trong đó ƒ(z, , #„) là hàm mật độ xác suất tuỳ ý thỏa mãn điều kiện:
boo foo
J af 1ị7(®1, ,®n)đ#t đen = bị, (t7 = 1n) (1.44) —se —œe
Công thức (1.43) eó thể được viết một cách đơn giản dưới dạng (1.44)
Như vậy công thức (1.38) cho ta biểu thức tổng quát của Entropi của đại lượng ngẫu nhiên có phân phối chuẩn một chiều hoặc nhiều chiều
1.4.4 Tính cực đại của Entropi của các đại lượng ngẫu nhiên
có phân phối chuẩn và phân phối đều
Nếu quan sát công thức (1.36) và (1.37), chúng ta thấy rằng Entropi của
đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều được biểu diễn qua các mật độ xác suất tùy ý bằng các công thức tương tự nhau Do những
điều đã trình bày ta thấy rằng các đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều có Entropi lớn nhất trong lớp các đại lượng ngẫu nhiên có phân phối xác dịnh Tính chất cựe dại đó của phân phối chuẩn và phân phối đều là hệ quả của bất đẳng thức tổng quát
LÝ Ta) f1 >o —œc g(x) Œ
đúng cho các mật độ xác suất bất kì ( một chiều cũng như nhiều chiều)
Trang 18
Bất đẳng thức đó chứng tỏ rằng trong số tất cả các đại lượng ngẫu nhiên mà tất cả các giá trị có thể có của nó được chứa trong miền ø nào đó, đại
lượng ngẫu nhiên có phân phối đều trong miền 0 sẽ có Entropi lớn nhất Tính chất cực đại của Entropi của đại lượng ngẫu nhiên có phân phối đều tương
tự với tính chất đã được chứng minh trong phần đã trình bày về Entropi của đại lượng ngẫu nhiên rời rạc Như chúng ta đã biết trong mục này, trong số
tất cá các đại lượng ngẫu nhiên rời rạc có những giá trị có thể có, các đại lượng ngẫu nhiên với các giá trị đồng xác suất thì có Entropi lớn nhất
Tương tự như vậy, từ công thức (1.38) và bất đẳng thức (*) ta cũng rút ra kết luận rằng trong số tất cả các đại lượng ngẫu nhiên liên tục có cùng
mô men cấp hai (hoặc ma trận các mô men cấp hai trong trường hợp các
đại lượng ngẫu nhiên véc tơ), các đại lượng ngẫu nhiên có cùng phân phối chuẩn có Entropi lớn nhất
1.5 Lượng thông tin 1.5.1 Định nghĩa
Thông tin về một đại lượng ngẫu nhiên X, nhận được do kết quả của việc
quan sát đại lượng ngẫu nhiên Y có liên quan, sẽ làm thay đổi độ bất định
của đại lượng ngẫu nhiên X, điều đó như ta dã biết trong phân trước chính là sự thay thế Entropi không điều kiện/7(X) của X bằng Entropi trung bình
có điều kiện Hy(X) cia X đối với Y Vì vậy ta sẽ gọi giá trị:
1[X:Y] = H[X] — Hy [X] (1.46)
Là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa
trong đại lượng ngẫu nhiên Y
1.5.2 Tính chất
1.5.2.1
Trang 19Chứng mánh Thật vậy, theo các công thức (1.12), (1.17) và (#) ta có:
1ỊX:Y| = =Ello f(X)|+ Plus ƒ(X | Y)|= Blog Ti)
= Hg LOY = [ote tow) k
= Ellog FOF y)) [ f(z, I) 108 0) #(y) Fy)” dụ >0 (1.48)
LÌ
(ở đây ƒ(z) ƒ() đóng vai trò ø(z,).) Và ta cũng có: TỊX;:Y]=0«œ H|ỊX| = Iy|[X| © X và Y dộc lập với nhau
1.5.2.2 Khác với công thức (1.10) chỉ xác định Entropi đối với các đại
lượng ngẫu nhiên liên tục, các công thức (1.46) và (1.48) xác định lượng thông tin đối với các đại lượng ngẫu nhiên bất kỳ
Ví dụ, đối với các đại lượng rời rạc X,Y thì công thức (1.48) có dạng: P(X = 2;,Y = y;) IX; Y]= ve (7= y= = yj i) log PaaS yy (1.49) 1.5.2.3 I[X:Y] = 1[Y: X] (1.50) Chting minh That vay, theo cong thtic (1.46) ta có: I[X:Y] — H[X] — Hy[X]
I{Y:X] = HỊY]~ Hx(Y]
= IX:Y]T— TY: X] = (HỊX] = Hy[X]) = (HỊY] — Hy[Y]) = (H[X] + Hyx[Y] — (H[Y] + Hy[X))
= HX,Y]— H[X,Y] = 0 Oo
1.5.2.4 Dối với hai đại lượng ngẫu nhiên X và Z, nếu tồn tại các hàm đơn trị y va j thỏa mãn :
Trang 20va X = u(Z) (1.52)
Thi mọi đại lượng ngẫu nhiên Y ta có:
T[Z:Y| = IY: XI (1.53)
Nhận xét Tính chất trên được hiểu như sau "Việc quan sát các đại lượng ngẫu nhiên có liên hệ với nhau bằng sự phụ thuộc hàm số đơn trị sẽ
cho ba cùng một lượng thông tin"
Chúng ta sẽ đánh giá sự thay đổi lượng thông tin gây ra do sự biến đổi đại lượng ngẫu nhiên phải quan sát X mà qua phép biến đổi đó ta nhận được đại lượng ngẫu nhiên Z Theo các công thức (1.46) và (1.16) ta có:
fo(¥ | X)
IY: X] — I[Y; Z] = Hy[Y] — Hyx[Y] = Ellog T(Y|Z) } 159
Trong đó /4(Ý | Z) là mật độ xác suất có điều kiện của đại lượng Y đối với Z Theo công thức ƒ(z,.z) = i(z)ƒ#(w | z)ƒa(z | z)(F*), và các công thức +00 Ji) = _#Œ; y)dy +00 +20 (am, y= fo f(a, ,n)1, ,đn ơ ` jaw) fila | y) — foly) Thì mật độ bằng:
[iS fila) faly | x) f(z | x)đ:
Trang 21†_ #†® _ =Ƒ_ | fila) fa(y | ded: = fh 2( | x) log ous Ta y (1.56) 1 œ Theo công thức (*), về phải của công thức (1.56) không thể âm Nên ta suy ra: I{Y:Z) < IY: XỊ (1.57)
Va diéu dé chttng minh diéu khang dinh da néu ra
+) Nếu các đại lượng X va Y độc lập với nhau thì, như đã chứng tỏ bởi công thức (1.55), chính các đại lượng ngẫu nhiên Y và Z là độc lập với nhau, trong trường hợp đó: 7[Y; Z] = /[Y: X] =0
+) Nếu các đại lượng X và Z liên hệ với nhau bởi hàm đơn trị 1-1(công
thức (1.51)) thì ƒa(z | #) = ð(z — g(2))
Và theo công thức (1.55) nên ta có các mật độ xác suất fo va fy bang
nhau với bất kỳ giá trị z và giá trị tương ứng với nó z = g(z)
1.5.2.5
I[X;:Y] - H[X] + HỊY] — HỊX, YÌ] (1.58)
Chitng minh Ta co:
Trang 22Trong đó hàm mật độ của X và Y lần lượt là:
„2 hũ
Ji(œ) = 553) Va foly) = 5m OPCs 262)
„V27 exp(— 232
với p là hệ số tương quan của X và Y (|p |< 1)
(Chú ú rằng ở đâu ta không xét trudng hop p = 1 tà khi đó X va
Y phụ thuộc luyến lánh lẫn nhau Và la chỉ zék uới các đại lượng ngẫu nhiên X va Y cững như (X,Y) có kỳ tọng bằng 0 theo chú g của khái
niệm Endropi của đại lượng ngẫu nhiên có phân phối chuẩn)
Khi đó theo công thức (1.16) và các công thức (1.37), (1.42) ta có: -+% -Eoo tyix] = — ff fevu)tow se | dey +00 Tao = Ƒ J f(x,y) log a Tả) đấy $00 yoo =- / S(x,y) log f(a, y)dicdy —œ —œ boo boc + / f(x, y) log fo(y)dady œ Jo +00 ptoo =- | S(«,y) log f(a, y)dady +00 +00 + S(«|y) J2(y) log fo(y)dcdy J-x JO Foo foo
= H(X,Y)]— | / ALY |f(x | y)dxdy
= log(2cðzðy/1 — p°) — log(ðyv2ca) L` [- f(a | y)dady = log (265.5, 1 — p*) — log(6, V2em) a“
= log(6,\/2en(1 — ?°))
Suy ra:
Trang 24CHƯƠNG 2
MOT SO UNG DUNG CUA THONG TIN TRONG THONG KE
Chương này chúng tôi trình bày một số ứng dụng của Lý thuyết thông
tin trong Thống lê Toán học Khái niệm Trung tâm của chương này là khái niệm lượng thông tin trung bình do quan sát có lợi cho gid thiét Hy va bat
lợi cho giá thiết ƒfạ được ký hiệu bởi ƒ(1 : 2) và nêu các tính chất của nó
Cùng với khái niệm đó còn đưa vào khái niệm độ sai khác (hay khác biệt)
giữa các giả thiết Ứ¡ và /Ta kí hiệu bởi J(1,2) và nêu lên các tính chất của
nó
2.1 Các khái niệm và định nghĩa cơ bản
2.1.1 Mở đầu
Xét các không gian xác suất (Sề, 5, ,;) (i = 1,2) Cặp (S, 5) dược gọi là không gian do
Ta giả thiết rằng các độ đo xác suất ị và /¿ liên tục tuyệt đối lẫn nhau và ta ký hiệu / = J2 Nhắc lại rằng „ liên tục tuyệt đối với /a(ký hiệu < /a nếu đối với mọi #€ 5 mà /¿(#) = 0 thì (#) = 0 Giả sử A là độ đo xác suất sao cho À — /,AÀ —= /¿ chẳng hạn À có thế là „mì hoặc ạ hoặc #12,
Theo định lý Radon-Nikodim tồn tại các hàm ƒ¡(ø) (được gọi là mật độ
Trang 25viết:
đư(#) = ƒi(3)dA(3)
Gọi H;(i = 1,2) là giả thiết: Dại lượng ngẫu nhiên X thuộc vào một tập hợp thống kê nào đó có độ đo xác suất ,¿ Khi đó theo định lý Bayét ta có:
PLH)f.(+)
P(A; | «) = ST 19 Donita) + Pump i=1,2 TP?
Từ đó ta nhận được:
fi(z) PUT | x) PUT
108 Ec) E 198 pate f a) ~ 8 Puy
( Cơ số của log không cơ bản ta thường lấy log cơ số e.)
Ta định nghĩa logarit của tý số hợp lý log fe là lượng thông tin tại điểm
X =z để phân biệt có lợi cho Hy bat lợi với Hạ
Định nghĩa Lượng thông tín trung bình do việc quan sát có lợi cho Ay, bat loi cho Hy là:
5) — frown re "`
tụ :3)= [1a aa) )= [ filo)t08 Bị A0):
Người ba cũng gọi /(1: 2) là lượng thông tin theo g đối với pro
2.1.2 Sự khác biệt (hay độ sai khác)
Định nghĩa: Dộ do mức độ khác biệt (hay độ phân biệt) giữa các giả thiét Hy va Hy (hay gitta py va pg) IA
J(1.2) = I(1:2)+ 1{(2:1)
_ lao- tog M2 arin)
- ưu " oP) tr
= [oes Rito - Hạ PỤ_ | Bưu J(1,2) chính là độ do mức độ khó phân biệt giữa các giả thiết f7 và Hạ
Trang 26
Hy: + và „ là các biến phụ thuộc với hàm mật độ đồng thời ƒ(z, )
Hạ: + và là các biến độc lập với các hàm mật do g(x) va h(a) tuong Đ)= [ | Tức v)lpx Lộ ddy T{1: 2) xác định lượng thông tin trung bình tại z đối với g hay tại đối với ứng Khi đó: Dễ nhận thấy:/(1 : 2) > 0 và T(1 : 2) = 0 chỉ trong trường hợp f(x,y) = g(+)h(z)
Do đó I(1 : 2) 6 trén 1a dé do mdi lién hé gitta x va y Dae biét néu Hy
cho phân phối chuẩn 2 chiều với mật độ: 1 1 x xy 2 ` —s— 2 > ƒ(œ.) = 3zø,øy(1— pm) P~g 2q 1— p3) 22 _ + op} V6i Hy 1a tích của hai phân phối chuẩn 1 chiều (x) = 4) — ©XD|L———> exp) I ØzV27 P 202 1 2 202) h(y) = (y) avon’ bí xp(— Thì ta nhận được:
T(1: 2) =| [ton y) log (oh Asie ;dụ = —} log(1 — p?)
Như vậy 7/(1 : 2) là hàm của hệ số tương quan p và biến thiên từ 0 đến +oo khi |p | biến thiên bừ 0 đến 1
Ví dụ Với Hñ\ và Hạ trong ví dụ trên:
f(x,y) ¬
g(œ)h(4) 2 = 5
Trang 27Như vậy J(1.2) là hàm của hệ số tương quan p và biến thiên từ 0 đến
+ee khi |p | biến đổi từ 0 đến 1
Ví dụ Dễ giải thích một số kết quả của lý thuyết liên lạc ta giả thiết rằng z là tín hiệu truyền có hướng, còn g là tín hiệu truyền thu được gồm hướng tín hiệu truyền và nhiễu tuyến tính tức là = œ + ø trong đó øœ là hướng của nhiễu
Nhiễu và tín hiệu truyền có thể xem là độc lập, thành thử
ƒ(z.w) = g(œ)h(w | 2) = g(œ)h(g — x)
Khi đó /(1 : 2) là độ đo mối liên hệ giữa các tín hiệu nhận được và truyền
đi là tính chất đặc trưng của kênh truyền tín Nếu ta giả thiết tính chuẩn
của các phân phối thì mật độ của phân phối chuẩn 2 chiều f(x,y) co the
Trang 282.2.1.1 Định lí /(1 : 2) là hàm cộng tính của các biến ngẫu nhiên độc lập, tức là đối với các biến ngẫu nhiên X và Y độc lập với các giả thiết H;,¡ = 1,2 tà có: 1(1:2;:X,Y)=1(1:2;X)+I(1:2:Y) Chứng mình
I(:2:X,Y) = le: Nosy ed A(x, y)
=J mm núi ine ty) yng St) lo) a = f a6e)tog 2 lam) + [hulu tow h0) = I(1:2:X)+1(1:2;Y) Vì do tính độc lập nên JœU) = ø(2)h(u) ¡—=1,2 đdA(œ,u) = du(z)d (9) [state = 1 i=1,2 [on = 1 i=1,2
Nếu các biến ngẫu nhiên X và Y phụ thuộc thì tính cộng tính cũng xảy
Trang 292.2.1.2 Định lí II:2;X.Y) = I(1:2;X)+1(1:2;Y |X) = T(1:2;Y)+T(1:2:X |Y) Chitng minh 1(1:2:X.Y) = J filou)t084 She oP dy = [ (v.08 ni na Sa 1# ) [múi x) log mr 5 dd — I(1:9;X)+1(1:9:Y|X) ˆ 2.2.2 Tính lôi 2.2.2.1 Định lí 11:2)>0 h.k.n và đẳng thức xẩy ra khi và chỉ khi ƒq(z) — ƒ()
Chitng minh Gia sit g(x) = ni Khi đó:
(1:2) an faleg(a) og g(x)AN(x) = f g(x) 08 g(x) date) trong đó đ/2(#) = fo(x)dX(a) Dat gy) = "ek t Ta co: (g(x) = @(1) + (ø(+) — )#'(1) + s(ø(z) - 1)?¢"(h(a)) trong dé h(x) € (g(x), 1) Chứng minh y(1) = 0, y’(1) = 1 vi [sora = laa=: Ta có: ƒ ¿(0(2))dua — J (g(x) — 1)22”(h(+))dụa
Trong đó vy’ " )=‡ >0 tới £ >0 Từ đó:
Trang 30Dẳng thức đạt được khi và chí khi g(z) = # = 1 Oo
2.2.2.2 Hé qua:
Sa s P prar [toa Set — yc) 99 HC
la log id= | fas | ng I, fod = (EF) 108 7 Oy
2.2.3 Tinh bat bién
Gid stt Y = T(x) la théng ké vdi mién xdc dinh ¥ va mién gia tri Y va Z là lóp cộng tính các tập con của
Ta giả thiết rằng 7(z) là hàm đo được tức với VŒ € Z TT1(Œ) = {z: T(z) e G} e S
Nhu vậy ta có ánh xạ đo được của không gian xác suất (%,,/;) vào không gian xác suất (, F u;) 6 day
v;(G) = u(T~1(G)) nên ta định nghĩa +(G) = A(T~1(G)) thì Vị = Ww =
Trang 31T(1:2;®) > I(1:2;) và đăng thức xảy ra khi va chi khi ñ(œ) — m(T()) fle) (T(x) Điều kiện cần và đủ để xảy ra đẳng thức trong Dịnh lý trên có thể viết dưới dạng ñ(œ) _ ) file) _ fax) nie) gol)" Ex(fily) By(fo ly)
Thống kê thỏa mãn điều kiện đẳng thức trong định lý trên được gọi là
hay
thong kê đủ để phân biệt
Ta gia thiết rằng hệ các độ đo zn thuần nhất tức là bất kỳ hai độ do của
họ đó liên tục tuyệt đối với nhau
Trang 322.2.4.1.Định lí 7(1,2) cộng tính đối với các đại lượng ngẫu nhiên độc lập, tức là nếu X và Y độc lập thì 7(1,3:X,Y) = J(1.3:X)+7(1.2:Y) 2.2.4.2.Định lí J(1,9; X.Y) = J(,3:X) + J(1,9:Y | X)= 2(.3:Y)+2(,9:X |Y) 2.2.4.3.Định lí J(1,2) >0 Đẳng thức xảy ra khi fi(a) = fo(y) 2.2.4.4 Hé qua a) J(1,2; X,Y) > J(1,2: X) Đẳng thức xảy ra khi: J(1,2;Y | X) =0 b) J(1,2: X,Y) > J(1,2:Y) Dang thtte xay ra khi: J(1,2;X | Y) =0 2.2.4.5.Dinh li I(1:3:3) > J(1,9:3) Đẳng thức xảy ra khi: (+) — ø(T(z)) J2(z) - ø(T(z))
2.3 Một số ví dụ của thông tin trong thống kê
2.3.1.Ví dụ 1 Giả sử Hy, va Hp 1a céc quần thể có phân phối đều trên
các đoạn [0, 0| và [0, Ø›] (0 < 0a) với các mật độ ñữ)= { i trên[0, 0]
0 còn lại f(x) = { i trên|0, Ø|
Trang 34Dối với mẫu ngẫu nhiên O, gdm n quan sát độc lập
T(1:2;O,) = nI(1 : 2;01) = nj log 7 + n(Ao — Aq)
2
Ta đã biết nếu % là không gian mẫu gồm ø quan sát độc lập và
= na, (nAi)® U: (y= 0,1,2, )i= 1,2 n Y =T(x) = Da; thi gi(y) =e i=l Như vậy ta có : © ny 1 —nÀ 1 co " € ®X(nÀi)#, 6 "*%(nÀi)# I(1:2;y) = 3 A = nA; log ` + n(Ag — Aj) 2
Vì T(1 : 2; %) = (1: 2; Y) nen ta két luận rằng 3 7? ¡ z;¡ là thống kê đủ đối với quần thế Poisson
2.4 Các sai lầm loại 1 và loại 2
Ta giá thiết rằng không gian mẫu % được phân ra làm hai tập rời nhau FE, và E> tite la AYN Ep = 0 va ¥ = E, U Ey
#% là không gian mẫu gdm n quan sat doc lap
Ta giả thiết rằng thủ tục được quy định như sau : nếu ø € 2 ta thừa nhận giả thiết 1 (bác bỏ Hạ) nếu ø € #22 ta thừa nhận giả thiết Hy (bac bd A) Ta xem 772 như "giá thiết không"
¡ dược xem là miền Critic
Xác suất để thừa nhận không đúng 77¡ là sai lầm loại 1 bằng a= P(x € Fy | He) = na(B))
Xác suất để thừa nhận không đúng 77; là sai lầm loại 2 bằng
Trang 35Ta có kết quả sau Định lí 8 1-8 T(1: 2;On) = nI(1 : 2:01) > Blog ———~ + (1 - 8) log —Œ a = (2 :1:On) = nf(2 = 1:01) > alog ~~ + (1 ~ a) log 7 2.5.Các quần thể nhị thức
Cho hai giả thiết thống kê ƒñq và H› có nội dung :
Các phân phối xác suất của hai quần thể thống kê gồm hai lớp
Hị: Pạ, Pa với Pa Tạ TL (4 = 1,2)
Thông tin trung bình để phân biệt có Idi cho Hy bat lợi cho 772 nhận được
do các quan sát thuộc Hy bang
Pu Dạ
I(1: 2) = Py log 4! + Pyy log (1:2) ¬ Bị 12008 Pr
Tương tự thông tin trung bình để phân biệt có lợi cho 7s bất lợi cho Hy
bằng
P21 Px
I(2: 1) = Po; log (2:1) = Py — + Py log — P, + es 5,
Độ khó phân biệt giữa Hy va Hy la
D
7J(1,2) = 1(1:9) + (2:1) = (Pu — Pat) log 2 + (Pip — Pox) log —? Py Px
Ta da biét :
I1:2)>0, I(2:1)>0 7(.2)>0
Đẳng thức xảy ra khi và chi khi Pj; = Po; (=1.2)
Trang 36KẾT LUẬN Luận văn đã đạt được các kết quả sau
1 Trình bày có hệ thống một số kiến thức cơ bản của lí thuyết thông tin
như:
- Entropi của đại lượng ngẫu nhiên và một số tính chất của nó
- Emtropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều - Entropi của hệ đại lượng ngẫu nhiên, Entropi có điều kiện và các tính chất
- Lượng thông tin của đại lượng ngẫu nhiên, của hệ đại lượng ngẫu nhiên
2 Trình bày khái niệm lượng thông tin để phân biệt có lợi cho giả thiết
Hị và không có lợi cho giả thiết 77s (kí hiệu /(1 : 2)) và đưa ra một số ví dụ để tính /(1: 2)
Phát biểu và chứng minh một số tính chất quan trọng của /(1 : 2) như tính cộng tuyến, tính lồi, tính bất biến
Đồng thời trình bày khái niệm độ khó phân biệt hai gia thiét Hy va He kt hieu J(1, 2)
Trang 37TÀI LIỆU THAM KHẢO
[1] Nguyén Duy Tiến, Vũ Viết Yên (2000), Lý thuyết xác suất ,, NXB
Giáo dục
[2 Nguyễn Văn Quảng (2008), Xác suất nâng cao, NXB DHQG Hà Nội [3] Thomas CM.Thomas JA (1991), Elemen of Information Theory, N.Y.John
Wiley
[4] Gray RM (2000), Entropi and Information Theory, Springer-Verlarg
NY
[5] MC Eliece RJ (2002), The Theory of Information and coding, Second
Edition-Cambridge Univer Press Cambridge