Một số ứng dụng của lý thuyết thông tin để kiểm định giả thiết thống kê

MỤC LỤC Mục lục Lời nói đầu Một số kiến thức lý thuyết thông tin 1.1.Khái niệm độ bất định đại lượng ngẫu nhiên 1.2.Entropi đại lượng ngẫu nhiên 1.3.Entropi hệ đại lượng ngẫu nhiên .10 1.4.Entropi đại lượng ngẫu nhiên có phân phối chuẩn phân phối 16 1.5.Lượng thông tin 20 Một số ứng dụng thông tin thống kê 26 2.1.Các khái niệm định nghĩa 26 2.2.Các tính chất I(1 : 2) J(1, 2) 29 2.3.Một số ví dụ thông tin thống kê 34 2.4.Các loại sai lầm loại 1và loại 36 2.5.Các quần thể nhị thức .37 Kết luận 38 Tài liệu tham khảo 39 LỜI NĨI ĐẦU Thơng tin nhu cầu thiếu người, điều kiện cần cho tồn phát triển xã hội loài người Lý thuyết thơng tin có nhiều ứng dụng đặc biệt ngành công nghệ thông tin điện tử viễn thông Chúng ta biết nhiều khái niệm xác suất sử dụng vào lí thuyết thơng tin Vậy lí thuyết thơng tin có ứng dụng ngành xác suất thống kê? Trong luận văn xin đề cập vài ứng dụng lí thuyết thơng tin để kiểm định giả thiết thống kê Với mục đích đó, nội dung luận văn trình bày hai chương Chương Một số kiến thức lí thuyết thơng tin Trong chương chúng tơi trình bày số kiến thức lí thuyết thơng tin như: Entropi đại lượng hệ đại lượng ngẫu nhiên, lượng thông tin đại lượng hệ đại lượng ngẫu nhiên để sử dụng cho chương sau Chương Một số ứng dụng thơng tin thống kê Chương trình bày số ứng dụng thông tin thống kê toán học, khái niệm trung tâm chương khái niệm lượng thơng tin trung bình quan sát có lợi cho giả thiết H1 bất lợi cho giả thiết H2 kí hiệu I(1 : 2) nêu tính chất Cùng với khái niệm chúng tơi đưa độ sai khác ( hay khác biệt ) giả thiết H1 H2 kí hiệu J(1, 2) nêu lên tính chất Luận văn hồn thành trường Đại học Vinh hướng dẫn khoa học thầy giáo PGS.TS Phan Đức Thành Tác giả bày tỏ lòng biết ơn sâu sắc tới thầy Tác giả xin bày tỏ lòng cảm ơn chân thành tới Thầy, Cô giáo tổ Lý thuyết xác suất thống kê toán Khoa Toán - Trường Đại học Vinh tận tình dạy dỗ, giúp đỡ tác giả suốt trình học tập nghiên cứu Tác giả xin gửi lời cảm ơn chân thành đến quý Thầy, Cô giáo khoa Sau đại học - Trường Đại học Vinh, Ban lãnh đạo trường Đại học Vinh, bạn bè, đồng nghiệp gia đình tạo điều kiện thuận lợi, động viên giúp đỡ tác giả để tác giả hoàn thành khóa học thực luận văn Mặc dù tác giả cố gắng nhiều hạn chế mặt lực, kiến thức thời gian nên luận văn tránh khỏi thiếu sót Rất mong nhận ý kiến đóng góp q báu để luận văn hồn thiện Xin trân trọng cảm ơn! Vinh, tháng 12 năm 2011 Tác giả Nguyễn Thị Kiều Oanh CHƯƠNG MỘT SỐ KIẾN THỨC CƠ BẢN CỦA LÝ THUYẾT THÔNG TIN Chương chúng tơi trình bày số kiến thức lý thuyết thông tin Entropi đại lượng hệ đại lượng ngẫu nhiên , lượng thông tin đại lượng hệ đại lượng ngẫu nhiên để sử dụng chương sau 1.1 Khái niệm độ bất định đại lượng ngẫu nhiên Như biết, tượng ngẫu nhiên tượng mà tác động của vô số mối liên hệ tượng với tượng khác, chúng tiến triển cách khác dẫn đến kết cục khác Do kết lần quan sát tượng ngẫu nhiên xác định trước chưa thực quan sát Vì kết quan sát tượng ngẫu nhiên mang tính bất định Xét thí nghiệm xuất n biến cố xung khắc khác E1 , E2 , , En Giả sử xác suất tất kết có thí nghiệm là: P (Ei ) = pi = a−mi (mi ∈ N, i = 1, n) (1.1) Khi kết thí nghiệm có xác suất a nhận số biểu diễn số có m chữ số hệ số a Nếu coi số lượng chữ số số viết hệ số a, kí hiệu kết nhận phép thử, đại lượng ngẫu nhiên lấy kỳ vọng tốn đại lượng ngẫu nhiên làm độ đo bất định kết thí nghiệm Kỳ vọng tốn đại lượng ngẫu nhiên bằng: H = m1 a−m1 + m2 a−m2 + · · · + mn a−mn (1.2) Công thức (1.2) viết dạng n H=− pi loga pi (1.3) i=1 Bằng cách lấy đại lượng H xác định công thức (1.3) độ đo bất định kết thí nghiệm trường hợp mà xác suất tất kết (E1 , E2 , , En ) thí nghiệm biểu diễn lũy thừa nguyên âm số dương a Đại lượng H xác định công thức (1.3) gọi Entropi thí nghiệm cho 1.2 Entropi đại lượng ngẫu nhiên 1.2.1.Entropi đại lượng ngẫu nhiên rời rạc 1.2.1.1.Định nghĩa Giả sử X đại lượng ngẫu nhiên rời rạc với luật phân phối pi = P (X = xi )(i = 1, 2, n) Entropi đại lượng ngẫu nhiên X , ký hiệu H[X] xác định công thức n H[X] = − pi log pi (1.4) i=1 1.2.1.2 Tính chất a) Từ cơng thức (1.4) ta dễ dàng suy H[X] hàm không âm, liên tục xác suất p1 , p2 , pn khi xác suất số xác suất p1 , p2 , pn xác suất lại (Tức X đại lượng ngẫu nhiên thí nghiệm xét khơng chứa độ bất định ) (Chúng ta quy ước lim x log x = với x = 0.) b) Với N cho, H[X] nhận giá trị lớn p1 = p2 = · · · = pn = n (Tức tất giá trị có đại lượng ngẫu nhiên X đồng xác suất) Để chứng minh sử dụng bất đẳng thức sau: 1 ln u ≥ (1 − ), ∀u > (1.5) log u = ln a ln a u Dựa bất đẳng thức (1.5) số dương pi , qi (i = Chứng minh 1, 2, , n) thỏa mãn điều kiện n n pi = i=1 (1.6) qi = i=1 Thì bất đẳng thức sau đúng: n pi log i=1 pi ≥ qi (1.7) Thật vậy, theo (1.5) (1.6) ta có: n i=1 pi pi log ≥ qi log a log a = n pi (1 − i=1 n (pi − qi ) i=1 n = ( log a i=1 pi log i=1 n pi − n ⇒ qi ) pi qi ) = i=1 pi ≥ qi (1.8) Bởi dấu "=" (1.5) xảy u = dấu "=" (1.7) (1.8) xảy pi = qi (i = 1, 2, , n) Nếu đặt (1.7) q1 = q2 = · · · = qn = n1 , ta có: n n pi log n + pi log npi = i=1 n pi log pi i=1 i=1 n ⇒ n pi log npi − i=1 ⇒− n n i=1 pi log pi pi log p1 = i=1 pi log n = log n (1.9) i=1 ≤ log n Và dấu "=" (1.9) xảy p1 = p2 = · · · = pn = n Như bất đẳng thức (1.9) Entropi đại lượng ngẫu nhiên rời rạc lớn tất giá trị có đại lượng ngẫu nhiên đồng xác suất Nhận xét Bởi log n tăng thực n tăng nên giá trị lớn Entropi đại lượng ngẫu nhiên hàm tăng thực số n giá trị đại lượng ngẫu nhiên Điều hồn tồn phù hợp với suy đốn trực giác là: Số khả nhiều khó xác định hơn, tức độ bất định lớn 1.2.2 Entropi đại lượng ngẫu nhiên liên tục 1.2.2.1 Định nghĩa Giả sử đại lượng ngẫu nhiên X có hàm mật độ f (x) Ta gọi đại lượng: +∞ H[X] = − (1.10) f (x) log[lx f (x)]dx −∞ Entropi đại lượng ngẫu nhiên liên tục X , f (x) mật độ xác suất đại lượng ngẫu nhiên X , lx khoảng có liên hệ với đại lượng ngẫu nhiên X Chú ý: 1) Khác với Entropi đại lượng ngẫu nhiên rời rạc, Entropi đại lượng ngẫu nhiên liên tục trường hợp tổng quát lấy giá trị dương âm Chỉ đại lượng ngẫu nhiên liên với mật độ xác suất giới nội f (x) ≤ A, luôn quy ước lx < dương A Entropi 2) Khoảng lx đưa vào công thức (1.10) đại lượng dấu logarit khơng q lớn, khoảng chọn tuỳ ý, đặc biệt ta lấy lx = Do từ sau ta xét với lx = Khi cơng thức (1.10) viết lại là: +∞ H[X] = − f (x) log f (x)dx (1.11) −∞ 1.2.2.2 Tính chất a) Theo định nghĩa kỳ vọng toán hàm đại lượng ngẫu nhiên ta có: H[X] = −E[log f (X)] (1.12) b) Nếu mật độ xác suất đại lượng ngẫu nhiên Y nhận cách lấy trung bình mật độ xác suất đại lượng ngẫu nhiên X với hàm trọng lượng tuỳ ý a(x, y) thì:H[Y ] ≥ H[X] (Nói cách khác, việc san mật độ xác suất không làm giảm Entropi mà làm tăng Entropi mà thôi.) c) Chúng ta dễ dàng thấy Entropi đại lượng ngẫu nhiên liên tục không phụ thuộc vào gốc tính đại lượng ngẫu nhiên Tức là: H[X] = H[X + c] (1.13) với đại lượng ngẫu nhiên X c số Như Entropi đại lượng ngẫu nhiên nhận cách kết hợp đại lượng ngẫu nhiên độc lập, có giá trị tổng Entropi đại lượng ngẫu nhiên thành phần 1.3 Entropi hệ đại lượng ngẫu nhiên 1.3.1 Entropi hệ hai đại lượng ngẫu nhiên Cho hai đại lượng ngẫu nhiên X Y (X = Y ) 10 I[X; Y ] = log 1 = − log(1 − p2 ) − p2 (1.59) Do vai trò đối xứng đại lượng ngẫu nhiên X Y ta có: I[Y ; X] = − log(1 − p2 ) 25 (1.60) CHƯƠNG MỘT SỐ ỨNG DỤNG CỦA THÔNG TIN TRONG THỐNG KÊ Chương chúng tơi trình bày số ứng dụng Lý thuyết thơng tin Thống Kê Tốn học Khái niệm Trung tâm chương khái niệm lượng thơng tin trung bình quan sát có lợi cho giả thiết H1 bất lợi cho giả thiết H2 ký hiệu I(1 : 2) nêu tính chất Cùng với khái niệm cịn đưa vào khái niệm độ sai khác (hay khác biệt) giả thiết H1 H2 kí hiệu J(1, 2) nêu lên tính chất 2.1 Các khái niệm định nghĩa 2.1.1 Mở đầu Xét không gian xác suất ( , S, µi ) (i = 1, 2) Cặp ( , S) gọi không gian đo Ta giả thiết độ đo xác suất µ1 µ2 liên tục tuyệt đối lẫn ta ký hiệu µ1 ≡ µ2 Nhắc lại µ1 liên tục tuyệt µ2 (ký hiệu µ1 µ2 E ∈ S mà µ2 (E) = µ1 (E) = Giả sử λ độ đo xác suất cho λ = µ1 , λ = µ2 chẳng hạn λ µ1 µ2 µ1 +µ2 Theo định lý Radon-Nikodim tồn hàm fi (x) (được gọi mật độ xác suất) xác đến tập có độ đo khơng λ, cho: µi (E) = fi (x)dλ(x) (i = 1, 2) E với E ∈ S Các hàm fi (x) gọi đạo hàm Radon - Nikodim người ta 26 viết: dµi (x) = fi (x)dλ(x) Gọi Hi (i = 1, 2) giả thiết: Đại lượng ngẫu nhiên X thuộc vào tập hợp thống kê có độ đo xác suất µi Khi theo định lý Bat ta có: P (Hi | x) = P (Hi )fi (x) P (H1 )f1 (x) + P (H2 )f2 (x) (i = 1, 2) Từ ta nhận được: log f1 (x) P (H1 | x) P (H1 ) = log − log f2 (x) P (H2 | x) P (H2 ) ( Cơ số log không ta thường lấy log số e.) (x) lượng thông tin điểm Ta định nghĩa logarit tỷ số hợp lý log ff21 (x) X = x để phân biệt có lợi cho H1 bất lợi với H2 Định nghĩa Lượng thơng tin trung bình việc quan sát có lợi cho H1 , bất lợi cho H2 là: I(1 : 2) = log f1 (x) dµ1 (x) = f2 (x) f1 (x) log f1 (x) dλ(x) f2 (x) Người ta gọi I(1 : 2) lượng thơng tin theo µ1 µ2 2.1.2 Sự khác biệt (hay độ sai khác) Định nghĩa: Độ đo mức độ khác biệt (hay độ phân biệt) giả thiết H1 H2 (hay µ1 µ2 ) J(1, 2) = I(1 : 2) + I(2 : 1) = = f1 (x) dλ(x) f2 (x) P (H1 | x) P (H1 | x) log dµ1 (x) − log dµ2 (x) P (H2 | x) P (H2 | x) (f1 (x) − f2 (x)) log J(1, 2) độ đo mức độ khó phân biệt giả thiết H1 H2 Ví dụ Giả sử khơng gian Ơclít R2 với phần tử X = (x, y) 27 H1 : x y biến phụ thuộc với hàm mật độ đồng thời f (x, y) H2 : x y biến độc lập với hàm mật độ g(x) h(x) tương ứng Khi đó: I(1 : 2) = f (x, y) log f (x, y) dxdy g(x)h(x) I(1 : 2) xác định lượng thông tin trung bình x y hay y x Dễ nhận thấy:I(1 : 2) ≥ I(1 : 2) = trường hợp f (x, y) = g(x)h(x) Do I(1 : 2) độ đo mối liên hệ x y Đặc biệt H1 cho phân phối chuẩn chiều với mật độ: 1 x2 xy y2 f (x, y) = exp{− ( − 2p + )} 2πσx σy (1 − p2 ) 2(1 − p2 ) σx2 σx σy σy2 Với H2 tích hai phân phối chuẩn chiều g(x) = h(y) = σx σy √ √ x2 exp(− ) 2σx 2π y2 exp(− ) 2σy 2π Thì ta nhận được: I(1 : 2) = f (x, y) log f (x, y) dxdy = − log(1 − p2 ) g(x)h(x) Như I(1 : 2) hàm hệ số tương quan p biến thiên từ đến +∞ | p | biến thiên từ đến Ví dụ Với H1 H2 ví dụ trên: J(1, 2) = (f (x, y) − g(x)h(y)) log 28 f (x, y) p2 dxdy = g(x)h(x) − p2 Như J(1, 2) hàm hệ số tương quan p biến thiên từ đến +∞ | p | biến đổi từ đến Ví dụ Để giải thích số kết lý thuyết liên lạc ta giả thiết x tín hiệu truyền có hướng, cịn y tín hiệu truyền thu gồm hướng tín hiệu truyền nhiễu tuyến tính tức y = x + n n hướng nhiễu Nhiễu tín hiệu truyền xem độc lập, f (x, y) = g(x)h(y | x) = g(x)h(y − x) Khi I(1 : 2) độ đo mối liên hệ tín hiệu nhận truyền tính chất đặc trưng kênh truyền tín Nếu ta giả thiết tính chuẩn phân phối mật độ phân phối chuẩn chiều f (x, y) viết dạng √ σx 2π exp(− x2 ) 2σx2 σy 2π(1 − p2 ) exp[− σy (y − p x) ] 2σy2 (1 − p2 ) σx Ta ý h(y | x) = h(y − x) σy σx2 S p = 1, p = = σx σy S+N S = E(x2 ) - cường độ trung bình truyền tín hiệu N = E(n2 ) - cường độ nhiễu Do đó: S S I(1 : 2) = − log(1 − ) = log(1 + ) S+N N J(1, 2) = S S+N S − S+N = S N 2.2 Các tính chất thơng tin I(1:2) J(1,2) 2.2.1 Tính cộng tính 29 2.2.1.1 Định lí I(1 : 2) hàm cộng tính biến ngẫu nhiên độc lập, tức biến ngẫu nhiên X Y độc lập với giả thiết Hi , i = 1, ta có: I(1 : 2; X, Y ) = I(1 : 2; X) + I(1 : 2; Y ) Chứng minh f1 (x, y) dλ(x, y) f2 (x, y) g1 (x)h1 (y) = dµ(x)dγ(y) g1 (x)h1 (y) log g2 (x)h2 (y) g1 (x) h1 (x) = g1 (x) log dµ(x) + h1 (y) log dγ(y) g2 (x) h2 (x) = I(1 : 2; X) + I(1 : 2; Y ) I(1 : 2; X, Y ) = f1 (x, y) log Vì tính độc lập nên fi (x, y) = gi (x)hi (y) i = 1, dλ(x, y) = dµ(x)dγ(y) gi dµ(x) = i = 1, hi (y)dγ(y) = i = 1, Nếu biến ngẫu nhiên X Y phụ thuộc tính cộng tính xảy theo thuật ngữ thông tin có điều kiện Ta định nghĩa: I(1 : 2; Y | X = x) = gi (x) = h1 (y | x) log fi (x, y)dy, hi (y | x) = fi (x,y) gi (x) I(1 : 2; Y | X) = E(I(1 : 2; Y | X = x)) 30 h1 (y | x) dy h2 (y | x) i = 1, 2.2.1.2 Định lí I(1 : 2; X, Y ) = I(1 : 2; X) + I(1 : 2; Y | X) = I(1 : 2; Y ) + I(1 : 2; X | Y ) Chứng minh f1 (x, y) dxdy) f2 (x, y) g1 (x) = g1 (x) log dx + g1 (x) g2 (x) = I(1 : 2; X) + I(1 : 2; Y | X) I(1 : 2; X, Y ) = f1 (x, y) log h1 (y | x) log h1 (y | x) dy]dx h2 (y | x) 2.2.2 Tính lồi 2.2.2.1 Định lí I(1 : 2) ≥ Chứng minh h.k.n đẳng thức xảy f1 (x) = f2 (x) Giả sử g(x) = I(1 : 2) = f1 (x) f2 (x) Khi đó: f2 (x)g(x) log g(x)dλ(x) = g(x) log g(x)dµ2 (x) dµ2 (x) = f2 (x)dλ(x) Đặt ϕ(t) = t log t Ta có: ϕ(g(x)) = ϕ(1) + (g(x) − 1)ϕ (1) + (g(x) − 1)2 ϕ (h(x)) h(x) ∈ (g(x), 1) Chứng minh ϕ(1) = 0, ϕ (1) = g(x)dµ2 = Ta có: f1 dλ = ϕ(g(x))dµ2 = (g(x) − 1)2 ϕ (h(x))dµ2 Trong ϕ (t) = t > với t > Từ đó: g(x) log g(x)dµ2 = 31 f1 (x) log f1 dλ ≥ f2 Đẳng thức đạt g(x) = f1 f2 = 2.2.2.2 Hệ quả: f1 log E f1 dλ ≥ f2 f1 dλ E log E E f1 dλ E f2 dλ = µ1 (E) log µ1 (E) µ2 (E) 2.2.3 Tính bất biến Giả sử Y = T (x) thống kê với miền xác định X miền giá trị Y F lớp cộng tính tập Y Ta giả thiết T (x) hàm đo tức với ∀G ∈ F T −1 (G) = {x : T (x) ∈ G} ∈ S Như ta có ánh xạ đo khơng gian xác suất (X, S, µi ) vào khơng gian xác suất (Y, F, vi ) vi (G) = µi (T −1 (G)) nên ta định nghĩa γ(G) = λ(T −1 (G)) V1 ≡ V2 ≡ γ Và theo định lý Randon - Nikodim tồn hàm mật độ xác suất gi (y), (i = 1, 2) Sao cho : vi (G) = gi (y)dγ(y) (i = 1, 2)G ∈ F G Nhờ ta định nghĩa được: I(1 : 2; Y) = g1 (y) log g1 (y) dγ(y) g2 (y) Bổ đề Nếu g hàm số thực Y thì: g(y)dvi (y) = G g(T (x))dµi (x) T −1 (G) G ∈ F (nếu tích phân tồn tại) 2.2.3.1.Định lí 32 i = 1, I(1 : 2; X) ≥ I(1 : 2; Y) đẳng thức xảy f1 (x) g1 (T (x)) = f2 (x) g2 (T (x)) Điều kiện cần đủ để xảy đẳng thức Định lý viết dạng f1 (x) f2 (x) f1 (x) f2 (x) = hay = g1 (x) g2 (x) Eλ (f1 | y) Eλ (f2 | y) Thống kê thỏa mãn điều kiện đẳng thức định lý gọi thống kê đủ để phân biệt Ta giả thiết hệ độ đo m tức hai độ đo họ liên tục tuyệt 2.2.3.2.Định lí Nếu µ1 µ2 hai số hạng họ I(1 : 2; X) ≥ I(1 : 2; Y) Đẳng thức xảy thống kê Y = T (x) thống kê đủ họ m 2.2.3.3.Hệ I(1 : 2; X) = I(1 : 2; Y) Nếu Y = T (x) phép biến đổi không suy biến 2.2.3.4 Hệ I(1 : 2; T −1 (G)) = I(1 : 2; G) G ∈ F , Y = T (x) thống kê đủ 2.2.4 Về độ phân biệt J(1,2) Cũng tương tự tính chất I(1 : 2), độ phân biệt J(1, 2) ta có tính chất sau 33 2.2.4.1.Định lí J(1, 2) cộng tính đại lượng ngẫu nhiên độc lập, tức X Y độc lập J(1, 2; X, Y ) = J(1, 2; X) + J(1, 2; Y ) 2.2.4.2.Định lí J(1, 2; X, Y ) = J(1, 2; X) + J(1, 2; Y | X) = J(1, 2; Y ) + J(1, 2; X | Y ) 2.2.4.3.Định lí J(1, 2) ≥ Đẳng thức xảy f1 (x) = f2 (y) 2.2.4.4 Hệ a)J(1, 2; X, Y ) ≥ J(1, 2; X) Đẳng thức xảy khi: J(1, 2; Y | X) = b)J(1, 2; X, Y ) ≥ J(1, 2; Y ) Đẳng thức xảy khi: J(1, 2; X | Y ) = 2.2.4.5.Định lí I(1 : 2; X) ≥ J(1, 2; Y) Đẳng thức xảy khi: f1 (x) g1 (T (x)) = f2 (x) g2 (T (x)) 2.3 Một số ví dụ thơng tin thống kê 2.3.1.Ví dụ Giả sử H1 H2 quần thể có phân phối đoạn [0, θ1 ] [0, θ2 ] (θ1 < θ2 ) với mật độ f1 (x) = f2 (x) = θ1 trên[0, θ1 ] lại θ2 trên[0, θ2 ] cịn lại 34 µ1 (E) = E dx , µ2 (E) = θ1 dx θ2 E Chú ý θ2 f1 (x)dx = µ1 (E) = θ1 θ2 f2 (x)dx = µ2 (E) = θ1 Chú ý µ1 (θ2 − θ1 ) = E = {x : θ1 ≤ x ≤ θ2 } θ2 µ2 µ1 = µ2 = Cả hai độ đo µ1 µ2 liên tục tuyệt độ đo Lơbe Ta có : θ1 I(1 : 2) = 1/θ1 log dx + θ1 1/θ2 θ2 log θ1 dx 1/θ2 hay θ2 f (x) log f (x) I(1 : 2) = dx θ2 f (x) = θ2 θ1 trên[0, θ1 ] trên[θ1 , θ2 ] Thành thử : I(1 : 2) = ( θ2 θ2 θ1 θ2 log ) = log θ1 θ1 θ2 θ1 Do mẫu ngẫu nhiên On gồm n quan sát độc lập I(1 : 2; On ) = n log θ2 θ1 2.3.2.Ví dụ Xét hai quần thể Poisson với tham số λ1 λ2 Khi ta có : ∞ I(1 : 2) = x=0 e−λ1 λx1 e−λ1 λx1 λ1 + (λ2 − λ1 ) log −λ x = λ1 log x! λ2 e λ2 35 Đối với mẫu ngẫu nhiên On gồm n quan sát độc lập I(1 : 2; On ) = nI(1 : 2; O1 ) = nλ1 log λ1 + n(λ2 − λ1 ) λ2 Ta biết X không gian mẫu gồm n quan sát độc lập n y −nλi (nλi ) xi gi (y) = e Y = T (x) = y! i=1 (y = 0, 1, 2, )i = 1, Như ta có : ∞ I(1 : 2; Y) = y=0 e−nλ1 (nλ1 )y e−nλ1 (nλ1 )y log −λ y! e (nλ2 )y = nλ1 log λ1 + n(λ2 − λ1 ) λ2 Vì I(1 : 2; X) = I(1 : 2; Y) nên ta kết luận n i=1 xi thống kê đủ quần thể Poisson 2.4 Các sai lầm loại loại Ta giả thiết không gian mẫu X phân làm hai tập rời E1 E2 tức E1 ∩ E2 = ∅ X = E1 ∪ E2 X không gian mẫu gồm n quan sát độc lập Ta giả thiết thủ tục quy định sau : x ∈ E1 ta thừa nhận giả thiết H1 (bác bỏ H2 ) x ∈ E2 ta thừa nhận giả thiết H2 (bác bỏ H1 ) Ta xem H2 "giả thiết không" E1 xem miền Critic Xác suất để thừa nhận không H1 sai lầm loại α = P (x ∈ E1 | H2 ) = µ2 (E1 ) Xác suất để thừa nhận không H2 sai lầm loại β = P (x ∈ E2 | H1 ) = µ1 (E2 ) 36 Ta có kết sau Định lí I(1 : 2; On ) = nI(1 : 2; O1 ) ≥ β log 1−β β + (1 − β) log 1−α α I(2 : 1; On ) = nI(2 : 1; O1 ) ≥ α log α 1−α + (1 − α) log 1−β β 2.5.Các quần thể nhị thức Cho hai giả thiết thống kê H1 H2 có nội dung : Các phân phối xác suất hai quần thể thống kê gồm hai lớp Hi : Pi1 , Pi2 với Pi1 + Pi2 = (i = 1, 2) Thông tin trung bình để phân biệt có lợi cho H1 bất lợi cho H2 nhận quan sát thuộc H1 I(1 : 2) = P11 log P11 P12 + P12 log P21 P22 Tương tự thông tin trung bình để phân biệt có lợi cho H2 bất lợi cho H1 I(2 : 1) = P21 log P21 P22 + P22 log P11 P12 Độ khó phân biệt H1 H2 J(1, 2) = I(1 : 2) + I(2 : 1) = (P11 − P21 ) log P11 P12 + (P12 − P22 ) log P21 P22 Ta biết : I(1 : 2) ≥ 0, I(2 : 1) ≥ 0, Đẳng thức xảy P1i = P2i Tức giả thiết phân phối 37 J(1, 2) ≥ (i = 1, 2) KẾT LUẬN Luận văn đạt kết sau Trình bày có hệ thống số kiến thức lí thuyết thơng tin như: - Entropi đại lượng ngẫu nhiên số tính chất - Entropi đại lượng ngẫu nhiên có phân phối chuẩn phân phối - Entropi hệ đại lượng ngẫu nhiên, Entropi có điều kiện tính chất - Lượng thông tin đại lượng ngẫu nhiên, hệ đại lượng ngẫu nhiên Trình bày khái niệm lượng thơng tin để phân biệt có lợi cho giả thiết H1 khơng có lợi cho giả thiết H2 (kí hiệu I(1 : 2)) đưa số ví dụ để tính I(1 : 2) Phát biểu chứng minh số tính chất quan trọng I(1 : 2) tính cộng tuyến, tính lồi, tính bất biến Đồng thời trình bày khái niệm độ khó phân biệt hai giả thiết H1 H2 kí hiệu J(1, 2) Phát biểu chứng minh tính chất J(1, 2) đưa số ví dụ để tính J(1, 2) 38 TÀI LIỆU THAM KHẢO [1] Nguyễn Duy Tiến, Vũ Viết Yên (2000), Lý thuyết xác suất , NXB Giáo dục [2] Nguyễn Văn Quảng (2008), Xác suất nâng cao, NXB ĐHQG Hà Nội [3] Thomas CM.Thomas JA (1991), Elemen of Information Theory, N.Y.John Wiley [4] Gray RM (2000), Entropi and Information Theory, Springer-Verlarg N.Y [5] MC Eliece RJ (2002), The Theory of Information and coding, Second Edition-Cambridge Univer Press Cambridge [6] Rothe RM (2006), Introduction to coding Theory , Cambridge Univer Press U.K 39 ... suất sử dụng vào lí thuyết thơng tin Vậy lí thuyết thơng tin có ứng dụng ngành xác suất thống kê? Trong luận văn xin đề cập vài ứng dụng lí thuyết thông tin để kiểm định giả thiết thống kê Với... xứng đại lượng ngẫu nhiên X Y ta có: I[Y ; X] = − log(1 − p2 ) 25 (1.60) CHƯƠNG MỘT SỐ ỨNG DỤNG CỦA THÔNG TIN TRONG THỐNG KÊ Chương chúng tơi trình bày số ứng dụng Lý thuyết thơng tin Thống Kê. .. ngẫu nhiên để sử dụng cho chương sau Chương Một số ứng dụng thơng tin thống kê Chương trình bày số ứng dụng thơng tin thống kê tốn học, khái niệm trung tâm chương khái niệm lượng thơng tin trung