Tìm hiểu về lý thuyết thông tin

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - PHẠM QUỐC HUY TÌM HIỂU VỀ LÝ THUYẾT THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - PHẠM QUỐC HUY TÌM HIỂU VỀ LÝ THUYẾT THƠNG TIN Chuyên ngành: Lý thuyết Xác suất Thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS PHAN VIẾT THƯ Hà Nội - Năm 2016 LỜI CẢM ƠN Luận văn hoàn thành trường Đại học Khoa học tự nhiên- Đại học quốc gia Hà Nội hướng dẫn PGS.TS Phan Viết Thư Tác giả bày tỏ lòng biết ơn sâu sắc tới PGS.TS Phan Viết Thư, người ln động viên, quan tâm tận tình hướng dẫn tác giả trình thực luận văn Tác giả xin gửi lời cảm ơn chân thành đến ban chủ nhiệm khoa ToánCơ-Tin trường Đại học khoa học tự nhiên, thầy cô giáo nhà trường thầy cô giáo dạy cao học chuyên ngành Toán lý thuyết xác suất thống kê tạo điều kiện thuận lợi trình tác giả học tập nghiên cứu Tác giả xin bày tỏ lòng biết ơn đến gia đình, người thân, bạn bè động viên tạo điều kiện để tác giả hồn thành luận văn Hà Nội, ngày 16 tháng 03 năm 2016 Tác giả Phạm Quốc Huy Mục lục Lời nói đầu Kiến thức mở đầu 1.1 Khái niệm thông tin 1.2 Công thức Hartley’s 1.3 Công thức Shannon’s 1.4 Entropy thông tin 1.4.1 Định nghĩa Entropy 1.4.2 Entropy thông tin 3 15 15 18 Cơ 2.1 2.2 2.3 2.4 2.5 sở xác suất lý thuyết thông tin Thơng tin có điều kiện tương đối Gia lượng thông tin Ý nghĩa thống kê thông tin Độ đo khác thông tin Giải thích thống kê thơng tin bậc α 20 20 25 29 33 46 Mở 3.1 3.2 3.3 rộng khái niệm lý thuyết thông tin Định nghĩa thông tin cho phân bố tổng quát Chứng minh theo lý thuyết thông tin định lý giới hạn Mở rộng lý thuyết thông tin đến khơng gian xác suất có điều kiện 50 50 60 66 Kết luận 69 Tài liệu tham khảo 70 Luận văn tốt nghiệp Phạm Quốc Huy LỜI NÓI ĐẦU Lý thuyết thơng tin nói vấn đề tốn học liên quan đến lưu trữ, chuyển đổi truyền tải thông tin Nhằm tạo sở hạ tầng tốt cho việc truyền thơng tin xác, nhanh chóng an tồn, lưu trữ thơng tin cách hiệu Chúng ta cần xây dựng luận điểm túy toán học sở toán học chặt chẽ lý thuyết thông tin Sau học xong chương trình cao học tốn với lòng mong muốn tìm hiểu sâu lý thuyết thơng tin, tơi chọn đề tài ”Tìm hiểu lý thuyết thơng tin” Nội dung luận văn bao gồm ba chương: Chương 1: Trình bày khái niệm lý thuyết thông tin, entropy thông tin, công thức hartley’s, cơng thức shannon’s tính chất để phục vụ cho chương sau Chương 2: Trình bày vấn đề sở xác suất lý thuyết thông tin thơng tin có điều kiện tương đối, gia lượng thông tin, ý nghĩa thống kê thông tin, độ đo khác thơng tin giải thích thống kê thơng tin bậc α Chương 3: Trình bày mở rộng số khái niệm lý thuyết thông tin gồm định nghĩa thông tin cho phân bố tổng quát, chứng minh lý thuyết thông tin định lý giới hạn, mở rộng lý thuyết thông tin đến không gian xác suất có điều kiện Tuy cố gắng luận văn khơng tránh khỏi sai sót Kính mong q thầy bạn đồng học góp ý để luận văn hoàn thiện Chương Kiến thức mở đầu Trong chương ta trình bày kiến thức khái niệm thông tin; công thức Hartley’s; công thức Shannon’s; Entropy thông tin 1.1 Khái niệm thơng tin Có nhiều cách hiểu thơng tin Thậm chí từ điển khơng thể có định nghĩa thống Ví dụ: Từ điển Oxford English Dictionary cho thơng tin "điều mà người ta đánh giá nói đến; tri thức, tin tức" Từ điển khác đơn giản đồng thông tin với kiến thức:"Thông tin điều mà người ta biết" "thông tin chuyển giao tri thức làm tăng thêm hiểu biết người" v,v Nguyên nhân khác việc sử dụng thuật ngữ thơng tin khơng thể sờ mó Người ta bắt gặp thơng tin q trình hoạt động, thơng qua tác động trừu tượng Từ Latin “Informatio”, gốc từ đại “information” (thơng tin) có hai nghĩa Một, hành động cụ thể tạo hình dạng (forme) Hai, tuỳ theo tình huống, có nghĩa truyền đạt ý tưởng, khái niệm hay biểu tượng Tuy nhiên với phát triển xã hội, khái niệm thông tin phát triển theo Theo nghĩa thông thường: Thông tin tất việc, kiện, ý tưởng, phán đoán làm tăng thêm hiểu biết người Thơng tin hình thành q trình giao tiếp: nguời nhận thơng tin trực tiếp từ người khác thông qua phương tiên thông tin đại chúng, từ ngân hàng liệu, từ tất tượng quan sát môi trường xung quanh Trên quan điểm triết học: Thông tin phản ánh tự nhiên xã hội Luận văn tốt nghiệp Phạm Quốc Huy (thế giới vật chất) ngơn từ, ký hiệu, hình ảnh v.v hay nói rộng tất phương tiện tác động lên giác quan người Trong tốn học: Lý thuyết thơng tin nói vấn đề toán học liên quan đến lưu trữ, chuyển đổi truyền tải thông tin Trong sống hàng ngày nhận loại thông tin khác (ví dụ số điện thoại), thơng tin nhận được, lưu trữ (ví dụ ghi nhận vào máy tính xách tay, truyền (nói với đó)) Để sử dụng thơng tin điều cần thiết biến đổi chúng kiểu khác (ví dụ điện báo chữ văn thay dấu hiệu đặc biệt, truyền hình phần liên tục hình ảnh chuyển đổi thành tín hiệu nối tiếp truyền sóng điện từ ) Để giải vấn đề giao cách toán học điều cần độ đo định lượng thông tin Không hồn tồn hiển nhiên lượng thơng tin chứa thơng báo xác định chí đo Nếu muốn có phương pháp đo phải trừu tượng hóa từ dạng thức nội dung thông báo, phải làm việc sở điện báo, có số lượng từ tính đến để tính tốn giá điện tín Điều hợp lý để đo lượng thông tin chứa điện tín số lượng ký hiệu cần thiết để thể nội dung dạng ngắn gọn có thể, hệ thống ký hiệu sử dụng, thơng tin cần đo phải chuyển đổi sang hệ thống lựa chọn, ví dụ chữ mã hóa chữ số Hệ thống số nhị phân dùng thay cho chữ số thập phân, ta cần dùng chữ số 0;1 (hay ký tự) Nếu thêm vào 26 chữ bảng chữ tiếng anh dấu chấm, dấu phẩy, dấu chấm phẩy, dấu hỏi, lưu ý dấu chấm than khoảng cách từ, 32 ký hiệu thu được gán cho số biểu diễn chữ số hệ nhị phân, theo cách này, điện biểu diễn chuỗi số 1; điện tín, thơng tin mã hóa thành dãy số Trên sở điện tín, văn hình thức nội dung khác trở nên so sánh với lượng thông tin chứa chúng Từ chữ số giả định giá trị 1, thơng tin định rõ gồm có hai khả xảy lấy thành đơn vị thơng tin Do để trả lời cho câu hỏi mà trả lời "có" "không" chứa đơn vị thông tin Đơn vị thơng tin gọi "bit" viết tắt "binary digit" Luận văn tốt nghiệp Phạm Quốc Huy (chữ số nhị phân) 1.2 Công thức Hartley’s Cho tập E E có N = 2n phần tử Ta mã hóa chúng số nhị phân có n chữ số, phần tử E đặc trưng chuỗi có độ dài n gồm số 1, n đơn vị thơng tin Từ N = 2n ⇒ n = log2 N , điều cho Hartley ý tưởng để định nghĩa log2 N thông tin cần thiết để xác định phần tử tập hợp gồm N phần tử, chí N khơng lũy thừa Đầu tiên ta thấy 2n < N < 2n+1 đơn vị log2 N thông tin không đủ đặc trưng cho phần tử E mà ta phải cần nhiều hơn, cụ thể n + đơn vị thông tin Nếu ta xem xét dãy ký hiệu số hạng phần tử E thay số hạng dãy số dãy số cần n + chữ số nhị phân Tuy nhiên, lấy từ phần tử E dãy gồm k phần tử (vài số nhau) Có N k dãy để mô tả số ta cần nk dấu hiệu 1, Ở 2nk −1 < N k ≤ 2nk ⇒ klog2 N ≤ nk < klog2 N + nk ⇒ lim = log2 N k→∞ k Công thức I(EN ) = log2 N (1) Trong I(EN ) biểu diễn thông tin cần thiết cho đặc trưng phần tử tập EN gồm N phần tử gọi cơng thức Hartley’s Cơng thức Hartley ’s có tiên đề: A.I(EN M ) = I(EN ) + I(EM ) , N, M = 1, ; B.I(EN ) ≤ I(EN +1 ) C.I(E2 ) = Luận văn tốt nghiệp Phạm Quốc Huy Trong tiên đề C định nghĩa đơn vị, tiên đề B hiển nhiên, tiên đề A giải thích sau: Tập EN M gồm N M phần tử phân tích thành N tập (1) (N ) M phần tử Đặt EM , , EM , đặc trưng cho phần tử EN M ta có (j) thể thực bước Đầu tiên ta xác định tập EM , ta cần rõ (j) thông tin I(EN ) từ N tập Tiếp theo ta xác định phần tử EM (j) Lượng thông tin cần cho mục đích I(EM ) từ tập EM chứa M phần tử EN M Bây hai thơng tin hồn tồn đặc trưng cho phần tử EN M Vậy tiên đề A biểu thị thông tin số lượng cộng tính Định lý 1.2.1 Các tiên đề A, B , C thỏa mãn hàm I(EN ) = log2 N Chứng minh Cho P số nguyên lớn 2, với số nguyên r số nguyên s(r) xác định bởi: 2s(r) ≤ P r < 2s(r)+1 , (2) s(r) s(r) + ⇒ ≤ log2 P < , (3) r r Vậy s(r) = log2 P , r→∞ r lim (4) Đặt f (n) = I(En ) Nó suy từ B với n < m f (n) < f (m), (5) (2) (5) dẫn đến f (2s(r) ) ≤ f (P r ) < f (2s(r)+1 ) , (6) Theo A ta viết f (ak ) = kf (a) , (7) Và từ C, f (2) = suy từ s(r) ≤ rf (P ) < s(r) + , (8) Vậy s(r) = f (P ) , n→∞ r lim (9) Từ (4) (9) ta kết luận f (P ) = log2 P với P > 2, từ f (2) = 1, f (1) = 0, Định lý chứng minh Luận văn tốt nghiệp Phạm Quốc Huy Tiên đề B thay : B∗ lim (I(EN +1 ) − I(EN )) = , N →∞ Và A thay tiên đề yếu: A∗ Nếu N, M số nguyên tố ⇒ I(EN M ) = I(EN ) + I(EM ) Định lý 1.2.2 I(EN ) = log2 N hàm thỏa mãn tiên đề A∗ , B ∗ C Chứng minh Cho P > lũy thừa số nguyên tố f (n) = I(EN ) hàm thỏa mãn A∗ , B ∗ C Đặt f (P )log2 n , log2 P g(n) = f (n) − (10) g(n) thỏa mãn A∗ , ta có g(n + 1) − g(n) = f (n + 1) − f (n) + f (P ) n log2 log2 P n+1 Nếu ta đặt εn = g(n + 1) − g(n) , (11) B ∗ kéo theo lim εn = , (12) n→∞ Vậy g(n) thỏa mãn B ∗ Dễ thấy g(P ) = , (13) Với số nguyên n xác định nguyên n  n n  với ,P =   P P n =    n − với n ,P P P >1 Trong (a, b) ước chung lớn a b Rõ ràng n ≤ n , P (15) Và n = Pn + l (14) Luận văn tốt nghiệp Phạm Quốc Huy Các lượng +∞ I1,1 (ξ) = f (x) log2 dx f (x) (30) −∞ +∞ Iα,1 (ξ) = log 1−α f (x)α dx (α > 0, α = 1) (31) −∞ gọi thông tin (một-chiều) bậc bậc α, liên kết với biến ngẫu nhiên ξ I1,1 (ξ) gọi entropy biến ngẫu nhiên (hoặc hàm mật độ f (x)) Các tính chất lượng khác vài điểm so với tính chất lượng tương ứng với phân bố rời rạc Một khác biệt lượng không bất biến với phép biến đổi một biến Ví dụ với c > ta có Iα,1 (cξ) = Iα,1 (ξ) + log2 c (32) Điều giải thích Iα,1 (ξ) giới hạn khác hai thơng tin Tất ta nói mở rộng trường hợp vectơ ngẫu nhiên r-chiều (r=2,3 ) với phân bố liên tục tuyệt đối Cho f (x1 , , xr ) hàm mật độ vectơ ngẫu nhiên (r) (1) Nếu Iα ξ (1) , , ξ (r) Đặt (k) ξN N ξ (k) = , (k = 1, 2, , r) N hữu hạn, ta có ξ1 , , ξ1 Iα lim (1) (r) ξN , , ξN = r log2 N N →∞ (33) Số chiều phân bố (liên tục tuyệt đối) vectơ ngẫu nhiên r thành phần r; khái niệm chiều lý thuyết thông tin phù hợp với khái niệm chiều hình học Hơn nữa, với α > 0, α = 1, ta có lim N →∞ Iα (1) (r) ξN , , ξN − rlog2 N = Iα,r ξ (1) , , ξ (r) (34a) với +∞ Iα,r ξ (1) , , ξ (r) log = 1−α +∞ −∞ 56 −∞ f (x1 , , xr )α dx1 dxr (34b) Luận văn tốt nghiệp Phạm Quốc Huy lim N →∞ I1 (1) (r) ξ (1) , , ξ (r) − rlog2 N = I1,r ξN , , ξN (35a) với +∞ I1,r ξ (1) , , ξ (r) = +∞ −∞ f (x1 , , xr ) log2 dx1 dxr (35b) f (x1 , , xr ) −∞ với điều kiện tích phân tồn Các lượng Iα,r ξ (1) , , ξ (r) I1,r ξ (1) , , ξ (r) xác định (34) (35) gọi độ đo r-chiều bậc α, bậc 1, lượng thông tin (hoặc entropy) liên kết với phân bố vectơ ngẫu nhiên ξ (1) , , ξ (r) Bây ta xem xét ngắn gọn khái niệm gia lượng thông tin trường hợp phân bố tổng quát Cho P Q hai độ đo xác suất không gian [Ω, A] Giả sử Q liên tục tuyệt đối P Thì với tập A ∈ A Q (A) = h (ω)dP, (36) A h(ω) ≥ đạo hàm Radon-Nikodym dQ dP h (ω)dP = Ω Gia lượng thông tin bậc α (hoặc bậc 1) nhận P thay Q xác định công thức Iα (Q||P) = log α−1 h (ω)α dP (37a) Ω I1 (Q||P) = h (ω) log2 h(ω)dP (38a) Ω Công thức (37a) (38a) có hiệu lực trường hợp rời rạc Phân bố rời rạc (thông thường) P = (p1 , , pn ) Q = (q1 , , qn ) thực coi độ đo xác định đại số biến cố n phần tử ω1 , , ωn với P(ωk ) = pk Q(ωk ) = qk (k = 1, 2, , n) Điều kiện Q liên tục tuyệt đối P thỏa mãn với pk > (k = 1, 2, , n) ta có h(ωh ) = qk pk (k = 1, 2, , n) 57 Luận văn tốt nghiệp Phạm Quốc Huy Các công thức n Iα (Q||P) = log α−1 k=1 n I1 (Q||P) = qkα qk log2 k=1 pα−1 k qk pk xuất trường hợp riêng (37a) (38a) Nếu Ω tập số thực, A tập tập Borel-đo Ω P Q liên tục tuyệt đối độ đo Lebesgue, có tồn hai hàm p(x) q(x) cho P (A) = p (x) dx, Q (A) = A q (x)dx với A ∈ A A Độ đo Q liên tục tuyệt đối P với x cho p(x) = ta có q(x) = Thì h(x) = q(x) p(x) (39) Trong trường hợp ta nhận gia lượng thông tin từ (37) (38)  +∞  q(x)α log  Iα (Q||P) = α−1 −∞ p(x)α−1 dx với α = (37b) +∞ I1 (Q||P) = q (x)log2 q (x) dx p (x) (38b) −∞ Gia lượng thông tin cho phân bố liên tục tuyệt đối nhận từ gia lượng thơng tin cho phân bố rời rạc trình giới hạn : Định lý 3.1.2 Cho P Q hai phân bố, liên tục tuyệt đối độ đo Lebesgue, Q liên tục tuyệt đối P Cho p(x) q(x) hàm mật độ tương ứng P Q Ta giả sử p(x) q(x) bị chặn Hơn k+1 N pN k = k+1 N p (x)dx, qN k = k N q (x)dx k N 58 (k = 0, ±1, ; N = 1, 2, ) , Luận văn tốt nghiệp Phạm Quốc Huy PN QN ký hiệu phân bố {pN k } {qN k }, α dương Iα (Q1 ||P1 ) hữu hạn, ta có lim Iα (QN ||PN ) = Iα (Q||P) N →∞ (40) Iα (Q||P) xác định (37b) với α = (38b) với α = 1, với điều kiện Iα (Q||P) tồn Chứng minh Tương tự định lý Ta xác định pN (x) qN (x) pN (x) = N pN k k+1 k k+1 k ≤x< (k = 0, ±, ) qN (x) = N qN k với ≤x< (k = 0, ±, ) N N N N p (x) Hơn đặt hN (x) = N qN (x) Đầu tiên ta xét trường hợp < α < Rõ ràng pN (x) → p(x) qN (x) → q(x) với hầu khắp nơi; +∞ log Iα (QN ||PN ) = α−1 qN (x)α pN (x)1−α dx (41) −∞ Theo định lý Lebesgue’s ta có với A > +A +A q(x)α p(x)1−α dx qN (x)α pN (x)1−α dx = lim N →∞ −A (42) −A Từ qN (x)α pN (x)1−α dx |x|>A làm nhỏ tùy ý với A đủ lớn, N Định lý 3.1.2 chứng minh với < α < Bây giả sử α > Ta có, theo bất đẳng thức Jensen’s, +∞ −∞ q(x)α dx ≥ p(x)α−1 +∞ −∞ qN (x)α pN (x)α−1 dx, (43) mặt khác, bổ đề Fatou’s +∞ lim inf N →∞ −∞ +∞ qN (x)α dx ≥ pN (x)α−1 −∞ 59 q(x)α p(x)α−1 dx, (44) Luận văn tốt nghiệp Phạm Quốc Huy Cuối cùng, cho α = Ta có +∞ I1 (QN ||PN ) = qN (x) log2 qN (x) dx pN (x) (45) −∞ Từ hàm x log2 x lồi, bất đẳng thức Jensen’s cho +∞ +∞ q (x) dx ≥ q (x) log2 p (x) qN (x) dx pN (x) (46) −∞ −∞ Từ xlog2 x ≥ − qN (x) log2 log2 e suy e qN (x) log2 qN (x) log2 e + p (x) ≥ pN (x) e N Vậy, theo bổ đề Fatou’s, +∞ +∞ q (x) qN (x) log2 N dx ≥ pN (x) lim inf N →∞ −∞ q (x) log2 q (x) dx p (x) (47) −∞ (46) (47) dẫn đến +∞ +∞ lim N →∞ −∞ q (x) dx ≥ qN (x) log2 N pN (x) q (x) log2 q (x) dx p (x) (48) −∞ Định lý 3.1.2 chứng minh 3.2 Chứng minh theo lý thuyết thông tin định lý giới hạn Ta thấy với phân bố đầy đủ, rời rạc hệ thức Iα (Q||P) ≥ Trong dấu đẳng thức xảy P Q đồng Bây ta chứng minh tính chất sau: Nếu {Qn } dãy phân bố rời rạc cho lim Iα (Qn ||P) = 0, phân bố Qn hội tụ đến phân bố P Do ta có n→∞ Định lý 3.2.1 Nếu P = (p1 , , pr ) Qn = (qn1 , , qnr ) phân bố xác suất lim Iα (Qn ||P) = (α > 0) , (1) n→∞ ta có lim qnk = pk n→∞ 60 (2) Luận văn tốt nghiệp Phạm Quốc Huy Chứng minh Nếu (2) không đúng, tồn dãy n1 < n2 < < ns < số nguyên với r pk − pk lim qns k = p k s→∞ =0 (3) k=1 r Rõ ràng, k=1 pk = 1; Hơn ta đặt P = (p1 , , pr ), suy từ (3) lim Iα (Qns ||P) = Iα (P ||P) s→∞ (4) Theo (1), Iα (P ||P) = 0, điều P ≡ P, tức pk = pk với (k = 1, 2, , r), trái với (3) Do định lý 3.2.1 chứng minh Định lý 3.2.2 Giả sử ta xem xét chuỗi Markov đồng với số hữu hạn trạng thái A0 , , AN ; giả sử xác suất chuyển đổi từ Aj tới Ak (1) n bước ký hiệu p(n) jk (n = 1, 2, ) Với pjk ta viết đơn giản pjk Nếu có tồn số nguyên s ≥ cho p(s) jk > với j, k = 0, 1, , N, phương trình N xj pjk = xk (k = 0, 1, , N ) (5a) j=0 có hệ thống nghiệm xk = pk (k = 1, 2, , N ) với N pk > (k = 0, 1, , N ) pk = 1, (6) k=0 ta có (n) lim p n→∞ jk = pk (j, k = 0, 1, , N ) (7) Chứng minh Sự tồn nghiệm xk = pk (k = 0, 1, , N )của hệ phương trình (5a) chứng minh trực tiếp, mà không cần xét đến xác suất, theo N cách: Định thức hệ (5a) 0, từ pjk = (j = 0, 1, , N ); hệ có k=1 nghiệm khơng tầm thường (x0 , x1 , , xN ) Nếu (5a) thỏa mãn, ta có N |xk | ≤ pjk |x| j=0 61 (5b) Luận văn tốt nghiệp Phạm Quốc Huy Nếu ta thêm vào bất đẳng thức (5b) với k = 0, 1, , N , ta nhận N N |xj | |xk | ≤ j=0 k=0 Nhưng bất đẳng thức đẳng thức; phải với bất đẳng thức (5b), tức N pjk |xj | |xk | = (5c) j=0 Vậy (5a) có hệ thống nghiệm không âm, không tầm thường p0 , p1 , , pN Nếu ta nhân (5a) với pk l, thêm vào phương trình nhận với k = 0, 1, , N lặp lại toàn trình tự n lần, ta nhận N N (h+1) pj pjl (h) = j=0 pk pkl k=0 Bằng quy nạp ta thấy N (h) pj pjk = pk với h = 1, 2, (5d) j=0 Từ (5d) có hiệu lực với h = s, suy khơng có pk Vì tính đồng phương trình, (5a) có hệ thống nghiệm dương N p0 , p1 , , pN với pk = Đặt k=0 P = (p0 , , pN ) P(n) = (p(n) , , p(n) ) j j0 jN Bây ta xem xét lượng Iα (P(n) j ||P) chứng minh hệ thức (n) lim Iα (Pj ||P) = 0, (8) n→∞ định lý 3.2.2 suy định lý 3.2.1 Giá trị α không quan trọng cho chứng minh Ta ví dụ giả định α > Bằng giả thuyết N pj pjk = pk , (9) j=0 Nếu ta đặt πjk = pj pjk , ta có pk N πjk = j=0 62 (10) Luận văn tốt nghiệp Phạm Quốc Huy Hơn theo định nghĩa N (n+1) pjk (n) = pjl plk , (11) l=0 N (n+1) log Iα (Pj ||P) = α−1 N pk k=0 α (n) pjl pl l=0 πlk (12) Vì (10), bất đẳng thức Jensen’s dẫn đến N l=0 α (n) pjl ≤ πlk pl α (n) N πlk l=0 pjl pl (13) N Từ plk = 1, suy k=0 N N pk πlk = pl k=0 plk = pl (14) k=0 Từ (13) ta nhận (n+1) Iα (Pj (n) ||P) ≤ Iα (Pj ||P) (n = 1, 2, ) (15) (n) Iα (Pj ||P) (n = 1, 2, ) dãy đơn điệu giảm số khơng âm, có giới hạn (n) lim Iα (Pj ||P) = γ n→∞ (16) Nó chứng tỏ γ = Chọn dãy n1 < < nt < số nguyên cho giới hạn (n ) lim p t t→∞ jk = qjk (k = 0, 1, , N ) N tồn Thì qjl = (11) l=0 N (n +s) lim p t t→∞ jk (s) = qjl plk = qjk l=0 Rõ ràng N N qjk = k=0 qjl = l=0 63 Luận văn tốt nghiệp Phạm Quốc Huy Giả sử Qj Qj ký hiệu phân bố (qj0 , , qjN ) (qj0 , , qjN ), tương ứng (s) (s) Nếu ta đặt πjk = pj pjk /pk , bất đẳng thức Jensen’s kéo theo log Iα (Qj ||P) = α−1 N N pk k=0 l=0 α qjl (s) π pl lk ≤ Iα (Qj ||P) (17) argument dẫn đến (15) Nhưng, (16), hệ thức (nt +s) Iα (Qj ||P) = lim Iα (Pj t→∞ ||P) = γ (18a) (nt ) Iα (Qj ||P) = lim Iα (Pj t→∞ ||P) = γ (18b) đúng; (17) đẳng thức Từ (17) suy từ bất đẳng thức Jensen’s, suy đẳng thức qjl = λpl (l = 0, 1, , N ) N Từ N qjl = l=0 pl = 1, ta phải có λ = 1; đó, Qj = P Nhưng l=0 Iα (Qj ||P) = Iα (P||P) = 0, (18b) γ = Định lý 3.2.2 chứng minh Ý tưởng chứng minh định lý giới hạn phân bố phương pháp lý thuyết thông tin Yu.V.Linnik Ông chứng minh định lý giới hạn trung tâm điều kiện Lindeberg cách sử dụng entropy Shannon’s; Ông chứng minh hội tụ phân bố với hàm mật độ pn (x) đến phân bố chuẩn chứng tỏ +∞ lim n→∞ −∞ pn (x)log2 pn (x) dx = 0, ϕ (x) (19) ϕ(x) hàm mật độ x2 ϕ (x) = √ e− 2π phân bố chuẩn Chứng minh Linnik’s đơn giản ta sử dụng gia lượng thơng tin bậc thay entropy Shannon’s; chí chứng minh phức tạp Tuy nhiên ta ngắn gọn nguyên tắc phương pháp Cho ξ1 , ξ2 , , ξn , biến ngẫu nhiên độc lập có phân bố liên tục tuyệt kỳ vọng 0, phương sai đơn vị cho pn (x) hàm mật độ 64 Luận văn tốt nghiệp Phạm Quốc Huy ξ1 + ξ2 + + ξn √ Thì n +∞ x2 pn (x)dx = −∞ Hệ thức (19) viết +∞ lim n→∞ −∞ pn (x)log2 √ dx = log2 2πe pn (x) (20) Nó dễ chứng tỏ √ log2 2πe = +∞ ϕ (x)log2 dx, ϕ (x) (21) −∞ (19) tương đương +∞ lim n→∞ −∞ +∞ pn (x)log2 dx = pn (x) ϕ (x)log2 dx ϕ (x) (22) −∞ Ta nói phân bố với hàm mật độ pn (x) tiến tới phân bố chuẩn, entropy phân bố tiến đến entropy phân bố chuẩn Nhưng ta chứng minh với hàm mật độ p(x) cho +∞ x2 p (x)dx = (23) −∞ bất đẳng thức +∞ +∞ p (x)log2 dx ≤ p (x) −∞ ϕ (x)log2 dx ϕ (x) (24) −∞ đúng, từ (21) (23),(24) tương đương với bất đẳng thức tiếng +∞ p (x)log2 p (x) dx ≥ ϕ (x) (25) −∞ Phát biểu định lý giới hạn trung tâm biểu thị sau: Entropy tổng chuẩn hóa biến ngẫu nhiên độc lập tiến tới, số biến tiến tới vô cùng, đến maximum entropy tất biến với phương sai đơn vị Do định lý giới hạn trung tâm lý thuyết xác suất liên kết chặt chẽ với định luật thứ nhiệt động lực học 65 Luận văn tốt nghiệp 3.3 Phạm Quốc Huy Mở rộng lý thuyết thông tin đến khơng gian xác suất có điều kiện Trong phần ta xét khơng gian xác suất có điều kiện đặc biệt [Ω, A, B, P (A|B)]: Cho Ω = {ω1 , ω2 , , ωn , } tập đếm A lớp tất tập Ω Thêm pk (k = 1, 2, ) dãy số không âm với ∞ pk = +∞ Ta đặt k=1 pn với A ∈ A µ (A) = ωn ∈A Cho B tập tập B Ω mà µ(B) dương hữu hạn Với A ∈ A B ∈ B, P (A|B) xác định P (A|B) = µ (AB) µ (B) (1) Ta vài ví dụ làm khái niệm lý thuyết thơng tin mở rộng đến khơng gian xác suất có điều kiện Nếu ξ biến ngẫu nhiên rời rạc xác định ξ(ω) = xn với ω ∈ An (n = 1, 2, ),ở An ∈ A, ∞ An = Ω, An Am = ∅, với n = m, số P (An |B) (n = n=1 1, 2, ; B ∈ B) lớp phân bố có điều kiện ξ điều kiện B Xem xét entropy phân bố này, tức ∞ P (An |B)log2 I1 (ξ|B) = n=1 P (An |B) (2) Nếu ΩN tập {ω1 , ω2 , , ωN }, ΩN ∈ B với N ≥ N0 Ta xác định entropy I1 (ξ) ξ I1 (ξ) = lim I1 (ξ|ΩN ) N →∞ (3) giới hạn tồn hữu hạn Nếu khơng tồn tại, thông tin câu hỏi đặc trưng hai lượng sau: lim infI1 (ξ|ΩN ) = I (ξ) N →∞ lim sup I1 (ξ|ΩN ) = I (ξ) N →∞ Xét trường hợp biểu diễn nhị phân số nguyên dương Ta chứng tỏ chữ số biểu diễn chứa xác đơn vị thơng tin Cho Ω 66 Luận văn tốt nghiệp Phạm Quốc Huy tập số nguyên dương, ωn = n, pn = (n = 1, 2, ) Xét không gian xác suất có điều kiện [Ω, A, B, P (A|B)] Cho εk (n) ký hiệu chữ thứ k mở rộng nhị phân n; ta có ∞ εk (n) 2k , n= (4) k=0 εk (n) Rõ ràng ε0 (n) = 1 n lẻ n chẵn Nếu ΩN = {1, 2, , N }, ta có I1 (ε0 (n)|ΩN ) = N N log2 N N N− + N N log2 N N− N (3) I1 (ε0 (n)) = (5) Nó suy cách I1 (εk (n)) = (k = 1, 2, ) (6) Bây lấy ví dụ cho trường hợp giới hạn (3) không tồn Xét mở rộng nhị phân số dương; cho [Ω, A, B, P (A|B)] khơng gian xác suất có điều kiện ví dụ trước Cho η(n) số mũ lớn mở rộng nhị phân n; Vậy η(n) εk (n) 2k với εη(n) = n= k=1 Bây 2r ≤ N < 2r+1 , r = [log2 N ], P (η (n) = j|ΩN ) = 2j với j ≤ r − N P (η (n) = r|ΩN ) = 67 N − 2r + N Luận văn tốt nghiệp Phạm Quốc Huy Nếu n tiến đến vô thông qua giá trị mà 2[log2 N ] =γ N N →∞ ≤γ≤1 , lim ta có lim I1 (η(n)|ΩN ) = 2γ + γ log2 N →∞ 1 + (1 − γ) log2 = L(γ) (7) 1−γ Do giới hạn L(γ) phụ thuộc vào γ L(γ) hàm lõm γ ta có L( ) = L(1) = Hơn nữa, max L (γ) = L ≤γ≤1 = log2 Do đó, I (η (n)) = I (η (n)) = log2 Thông tin I1 (η (n)) không xác định trường hợp này; Tuy nhiên, phát biểu số chữ số biểu diễn nhị phân số nguyên chứa đơn vị nhiều log2 đơn vị thông tin 68 Luận văn tốt nghiệp Phạm Quốc Huy KẾT LUẬN Về luận văn trình bày số luận điểm túy toán học sở tốn học lý thuyết thơng tin khái niệm lý thuyết thông tin, độ đo lượng tin sở xác suất lý thuyết thông tin Từ ta rút kết luận lý thuyết thơng tin đóng vai trò quan trọng phát triển phương tiện truyền thông, lưu trữ thông tin cách cung cấp sở lý thuyết nhìn triết học sâu sắc toán thách thức mà gặp phải hôm mai sau 69 Tài liệu tham khảo [1] Nguyễn Bình (2006), Bài giảng Lý thuyết Thơng tin, Học viện Cơng nghệ Bưu Viễn thông, Hà Nội [2] Đặng Hùng Thắng (2012), Mở đầu lý thuyết xác suất ứng dụng, Nhà xuất giáo dục [3] Lê Quyết Thắng, Phan Tấn Tài, Dương Văn Hiếu, Giáo trình Lý thuyết Thơng tin, Đại học Cần Thơ [4] Nguyễn Duy Tiến, Vũ Viết Yên (2009), Lý thuyết Xác suất, Nhà xuất giáo dục [5] A Rényi (1970), Probability Theory, Akadémiai Kiadó, Budapest, Hungary 70 ... 3.3 rộng khái niệm lý thuyết thông tin Định nghĩa thông tin cho phân bố tổng quát Chứng minh theo lý thuyết thông tin định lý giới hạn Mở rộng lý thuyết thơng tin đến khơng gian... sở tốn học chặt chẽ lý thuyết thơng tin Sau học xong chương trình cao học tốn với lòng mong muốn tìm hiểu sâu lý thuyết thơng tin, tơi chọn đề tài Tìm hiểu lý thuyết thông tin Nội dung luận... lượng thông tin, ý nghĩa thống kê thông tin, độ đo khác thông tin giải thích thống kê thơng tin bậc α Chương 3: Trình bày mở rộng số khái niệm lý thuyết thông tin gồm định nghĩa thông tin cho