Hàm số trong lý thuyết thông tin và các bài toán liên quan

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGÔ THỊ MINH TRANG HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ CÁC BÀI TOÁN LIÊN QUAN LUẬN VĂN THẠC SĨ KHOA HỌC Đà Nẵng - Năm 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGÔ THỊ MINH TRANG HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ CÁC BÀI TOÁN LIÊN QUAN Chuyên ngành : Phương pháp Toán sơ cấp Mã số: 60.46.40 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS.TSKH NGUYỄN VĂN MẬU Đà Nẵng - Năm 2013 LỜI CAM ĐOAN Tôi xin cam đoan Những nội dung trình bày luận văn thực hướng dẫn GS.TSKH Nguyễn Văn Mậu Mọi tài liệu luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian địa điểm cơng bố Nếu có chép khơng hợp lệ, vi phạm quy chế đào tạo xin chịu hồn tồn trách nhiệm Tác giả luận văn Ngơ Thị Minh Trang MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục dích nghiên cứu Nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Cấu trúc luận văn CHƯƠNG CÁC KIẾN THỨC BỔ TRỢ TRONG LÝ THUYẾT THÔNG TIN 1.1 KHÁI NIỆM THÔNG TIN 1.2 LÝ THUYẾT THÔNG TIN 1.3 ĐỘ ĐO THÔNG TIN 1.4 ENTROPY SHANNON 1.5 CÁC TÍNH CHẤT CỦA ENTROPY SHANNON CHƯƠNG PHƯƠNG TRÌNH HÀM TRONG LÝ THUYẾT THÔNG TIN 33 2.1 PHƯƠNG TRÌNH CƠ BẢN CỦA THÔNG TIN 33 2.2 NGHIỆM TỔNG QT CỦA PHƯƠNG TRÌNH CƠ BẢN CỦA THƠNG TIN 40 2.3 CÁC DẠNG TỔNG QUÁT CỦA PHƯƠNG TRÌNH CƠ BẢN CỦA THƠNG TIN 49 2.4 PHƯƠNG TRÌNH HÀM DẠNG TỔNG VÀ CÁC DẠNG TỔNG QUÁT CỦA NÓ 52 CHƯƠNG LÝ THUYẾT HỖN HỢP CỦA HỆ THÔNG TIN VÀ CÁC VẤN ĐỀ LIÊN QUAN 63 3.1 MỘT VÀI ĐỘ ĐO KHÁC CỦA THÔNG TIN 63 3.2 ĐỘ ĐO KHOẢNG CÁCH DẠNG TỔNG 64 3.3 ĐỘ ĐO KHOẢNG CÁCH KULLBACK – LEIBLER 67 3.4 ĐỘ ĐO KHOẢNG CÁCH ĐỐI XỨNG 68 3.5 ĐỘ ĐO SHANNON LIÊN TỤC 70 3.6 ENTROPY CỦA ĐẠI LƯỢNG NGẪU NHIÊN RỜI RẠC 71 3.7 ENTROPY CỦA ĐẠI LƯỢNG NGẪU NHIÊN LIÊN TỤC 73 KẾT LUẬN 76 DANH MỤC TÀI LIỆU THAM KHẢO 77 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (Bản sao) MỞ ĐẦU Lý chọn đề tài Phương trình hàm đề tài lâu đời toán học D’Alembert, Euler, Gauss, Cauchy, Abel, Weierstrass, Darboux Hilbert nhà toán học lớn quan tâm đến đề tài đưa hướng giải chúng Mặc dù lý thuyết phương trình hàm có từ lâu, ứng dụng vào khoa học kỹ thuật đời sống bắt đầu nhà tốn học quan tâm thập kỷ gần Thực tế cho thấy, phương trình hàm có khắp nơi áp dụng nhiều lĩnh vực khác Có thể kể đến như: khoa học ứng dụng, khoa học xã hội nhân văn, khoa học sống, khoa học máy tính, kinh tế, kỹ thuật, thống kê, Trong đó, ứng dụng quan trọng phương trình hàm lý thuyết thơng tin Do nhu cầu trao đổi thông tin người ngày lớn nên lý thuyết thông tin ngày phát triển Lý thuyết thông tin nhánh toán học nghiên cứu đo đạc lượng thơng tin Ứng dụng truyền thơng điều kiện tiên cho ứng dụng khác Với lí trên, tơi chọn đề tài: “Hàm số lý thuyết thơng tin tốn liên quan” làm đề tài luận văn thạc sĩ Tôi hi vọng tài liệu tham khảo tốt cho quan tâm đến đề tài Mục đích nghiên cứu Hệ thống tổng quan số kiến thức lý thuyết thơng tin Bước đầu tìm hiểu, khảo sát số phương trình hàm liên quan đến lý thuyết thông tin bước đầu tiếp cận số áp dụng Nhiệm vụ nghiên cứu Tìm hiểu lý thuyết thơng tin, số phương trình hàm liên quan đến lý thuyết thơng tin mối quan hệ chúng Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: độ đo thông tin entropy, phương trình hàm liên quan đến lý thuyết thông tin Phạm vi nghiên cứu: tài liệu, giáo trình GS TSKH Nguyễn Văn Mậu, tài liệu từ website, tạp chí tốn học diễn đàn toán học, Phương pháp nghiên cứu Nghiên cứu từ tài liệu, giáo trình GS TSKH Nguyễn Văn Mậu, tài liệu tiếng Anh, trang web, Từ tác giả phân tích, đánh giá, tổng hợp trao đổi với thầy hướng dẫn kết nghiên cứu để hoàn chỉnh luận văn Ý nghĩa khoa học thực tiễn đề tài Tạo đề tài có tính hệ thống, tổng quan tương đối đầy đủ lý thuyết thông tin phương trình hàm liên quan Hi vọng đề tài tài liệu tham khảo bổ ích cho sinh viên, học viên cao học tất bạn u tốn Đề tài đóng góp thiết thực cho việc nghiên cứu tìm hiểu tốn học đại nói chung hàm số lý thuyết thơng tin nói riêng Cấu trúc luận văn Luận văn gồm phần mở đầu, kết luận, tài liệu tham khảo chương Chương Trình bày tổng quan thông tin, khái niệm lý thuyết thông tin, đơn vị đo lường thông tin (entropy) đưa số kết quan trọng liên quan đến tính chất entropy Chương Trình bày hai dạng phương trình hàm liên quan đến lý thuyết thơng tin cơng thức nghiệm Chương Trình bày số độ đo khác thông tin vấn đề liên quan Mặc dù cố gắng, song luận văn không tránh khỏi hạn chế thiếu sót Tác giả mong nhận đóng góp ý kiến q thầy bạn để luận văn hồn chỉnh Tơi xin trân trọng cảm ơn! CHƯƠNG CÁC KIẾN THỨC BỔ TRỢ TRONG LÝ THUYẾT THÔNG TIN 1.1 KHÁI NIỆM THƠNG TIN Thơng tin tính chất xác định vật chất mà người (hoặc hệ thống kỹ thuật) nhận từ giới vật chất bên từ trình xảy thân Khái niệm thơng tin gắn liền với bất định đối tượng cần xét Có bất định đối tượng thơng báo đối tượng cho ta thơng tin Khi khơng có bất định khơng có thơng tin Như vậy, khái niệm thông tin cách diễn đạt khác khái niệm bất định 1.2 LÝ THUYẾT THƠNG TIN Lý thuyết thơng tin nhánh lý thuyết xác suất với lượng lớn ứng dụng hệ thống thông tin liên lạc Nó có nguồn gốc từ kỷ 20 năm thập kỷ qua phát triển mạnh mẽ có ứng dụng rộng rãi Trước đây, thông tin đo chất lượng cụ thể: đáng tin cậy, đáng tin cậy không đáng tin cậy Nhưng lý thuyết xác suất giúp ích nhiều việc cung cấp độ đo chất lượng thông tin nhận từ hệ thống Sự kiện bật đánh dấu đời lý thuyết thông tin báo Claude E Shannon :"A mathematical theory of communication" năm 1948 Điều dẫn đến việc nghiên cứu ứng dụng phương trình hàm lý thuyết thông tin 1.3 ĐỘ ĐO THƠNG TIN Thơng tin đại lượng vật lí, ta cần phải xác định độ đo cho thơng tin Theo chất thơng tin thơng tin có ý nghĩa xuất nên độ đo phải tỉ lệ nghịch với xác suất xuất tin Nói cách khác, hàm độ đo phải hàm tỉ lệ nghịch với xác suất xuất tin Kí hiệu x tin với xác suất xuất p(x) Khi hàm độ đo ký hiệu I(x) = f hàm tỉ lệ nghịch p(x) với xác suất p(x) Một tin x khơng có ý nghĩa biết hay xác suất xuất p(x) = Trong trường hợp độ đo phải không tức I(x) = Xét tin x, y độc lập thống kê với xác suất xuất tương ứng p(x), p(y) Khi tin z = xy tin xuất đồng thời tin x, y thời điểm Do theo tính chất tuyến tính, phải có I(xy) = I(x) + I(y) Như để xây dựng hàm độ đo thông tin, ta thấy hàm I(x) phải hàm không âm thỏa mãn đồng thời điều kiện nêu Dễ thấy tất hàm tốn học biết chọn I(x) = loga , a>1 p(x) tất điều kiện thỏa mãn, I(x) = loga p(x) I(x) = loga , a > hàm số nghịch biến với xác suất p(x) p(x) I(x) = loga p(x) ≥ 0, a > 1, với ≤ p(x) ≤ = p(x) ≡ I(xy) = loga = loga 1 = loga p(xy) p(x)p(y) 1 + loga p(x) p(y) = I(x) + I(y) Xuất phát từ lý trên, lý thuyết thông tin, hàm số I(x) = loga p(x) = − loga (p(x)), a > chọn làm độ đo thông tin Trong công thức này, số hàm logarit chọn tùy ý thỏa mãn a > 1.4 ENTROPY SHANNON Khái niệm entropy thí nghiệm giới thiệu Shannon năm 1948 khái niệm lý thuyết thông tin Định nghĩa 1.1 ([7]) Đặt n ∆n = {(p1 , p2 , , pn ) : < pi ≤ 1, pi ≥ 0, i = 1, 2, , n} (1.1) i=1 tập với phân bố xác suất hữu hạn, khơng đầy đủ Entropy Shannon dãy hàm Hn : ∆n → R (n = 1, 2, , ) định nghĩa n L(pk ) Hn (p1 , p2 , , pn ) = k=1 n , (1.2) pk k=1  −x log x với x ∈ (0, 1] L(x) = 0 với x = (1.3) 63 CHƯƠNG LÝ THUYẾT HỖN HỢP CỦA HỆ THÔNG TIN VÀ CÁC VẤN ĐỀ LIÊN QUAN 3.1 MỘT VÀI ĐỘ ĐO KHÁC CỦA THÔNG TIN Giả sử In : Γn → R - đối xứng n - đệ qui dạng β, β = 1, nghĩa In (p1 , p2 , , pn ) = In−1 (p1 +p2 , p3 , , pn )+(p1 +p2 )β I2 với p1 + p2 > 0, I2 1 , 2 p1 p2 , p1 + p2 p1 + p2 = Khi In (p1 , p2 , , pn ) = Hnβ (p1 , p2 , , pn ) Từ tính chất - đối xứng - đệ qui dạng β ta có phương trình hàm sau y 1−x f (x) + (1 − x)β f = f (y) + (1 − y)β f x 1−y f : [0, 1] → R định nghĩa f (x) = I2 (x, − x) trường hợp đặc biệt (2.60) Nghiệm phương trình hàm có dạng f (x) = 21−β −1 (xβ + (1 − x)β − 1) = sβ (x) Hnβ thỏa mãn β β β Hmn (P ∗ Q) = Hnβ (P ) + Hm (Q) + cHnβ (P )Hm (Q) (3.1) với P ∈ Γn , Q ∈ Γm có biểu diễn f (p) = c(pβ − p), c = 21−β − Giả sử In : Γn → R có biểu diễn In (p1 , p2 , , pn ) = 64 n f (pi ) thỏa mãn (3.1) Khi f thỏa mãn (2.92) cho i=1 (2.94), f (x) = Hnβ (p1 , p2 , , pn ) β (x − x), x ∈ [0, 1] Do Inβ (p1 , p2 , , pn ) = c 3.2 ĐỘ ĐO KHOẢNG CÁCH DẠNG TỔNG Trong năm qua, nhiều độ đo khoảng cách phân bố xác suất rời rạc đề xuất Mục đích khảo sát tất đặc tính quan trọng độ đo khoảng cách dạng tổng phân bố xác suất hoàn toàn rời rạc đưa mối liên hệ số phương trình hàm Vậy, độ đo khoảng cách In : Γ0n x Γ0n → R+ hai phân bố xác suất rời rạc biểu diễn dạng tổng n In (P, Q) = φ(pk , qk ) (3.2) k=1 φ : [0, 1] x [0, 1] → R hàm giá trị thực hình vng đơn vị biến đổi đơn điệu vế phải (3.2), nghĩa n In (P, Q) = ψ φ(pk , qk ) (3.3) k=1 ψ : R → R+ hàm tăng R, P, Q ∈ Γ0n Hàm φ gọi hàm sinh φ gọi hạt nhân In (P, Q) Một vài ví dụ quan trọng độ đo khoảng cách dạng tổng hai phân bố xác suất rời rạc P Q Γ0n là: Phân kỳ trực tiếp φ(x, y) = x(log x − log y) n Dn (P, Q) = pk log k=1 pk qk 65 Đối xứng J - phân kỳ φ(x, y) = (x − y)(log x − log y) n (pk − qk ) log Jn (P, Q) = k=1 pk qk Hệ số Hellinger φ(x, y) = √ xy n Hn (P, Q) = √ p k qk k=1 Khoảng cách Jeffreys √ √ φ(x, y) = ( x − y)2 n √ √ ( pk − qk )2 Kn (P, Q) = k=1 Hệ số Chernoff φ(x, y) = xα y 1−α n pαk qk1−α , α ∈ [0, 1] Cn,α (P, Q) = k=1 Khoảng cách Matusita φ(x, y) = |xα − y α | α n |pαk − qkα | α , < α ≤ Mn,α (P, Q) = k=1 Độ đo phân kỳ cấp α φ(x, y) = 2α−1 [xα y 1−α − 1], −1 Bn,α (P, Q) = α−1 −1 n (pαk qk1−α − pk ) , α = k=1 66 Độ đo affin Kagan (y − x)2 φ(x, y) = y n An (P, Q) = qk k=1 pk 1− qk Độ đo f - phân kỳ Csiszar x y φ(x, y) = xf n pk f Zn,α (P, Q) = k=1 pk qk 10 Độ đo f - khoảng cách dạng Kullback - Leibler φ(x, y) = x[f (x) − f (y)] n pk [f (pk ) − f (qk )] Ln,α (P, Q) = k=1 11 Khoảng cách tỷ lệ φ(x, y) = min{x, y} n min{pk , qk } Xn (P, Q) = k=1 12 Độ đo phân kỳ Rényi φ(x, y) = xα y 1−α , ψ(x) = Rn,α (P Q) = log α−1 log x α−1 n pαk qk1−α , α = k=1 biến đổi đơn điệu độ đo khoảng cách dạng tổng Độ đo phân kỳ Rényi logarit entropy lũy thừa α−1 n pαk qk1−α En,α (P, Q) = k=1 67 Để đưa định luật phân kỳ cực tiểu, Shore Johnson xây dựng tập hợp tiên đề, gọi tính nhất, tính bất biến, hệ thống độc lập tập độc lập Họ chứng minh hàm In : Γ0n x Γ0n → R+ thỏa mãn tiên đề tính nhất, tính bất biến tập độc lập tồn hàm sinh (hay hạt nhân) φ : [0, 1] x [0, 1] → R cho n φ(pk , qk ) In (P, Q) = k=1 với P, Q ∈ Γ0n 3.3 ĐỘ ĐO KHOẢNG CÁCH KULLBACK-LEIBLER Một hàm In : Γ0n x Γ0n → R+ gọi độ đo khoảng cách dạng Kullback - Leibler tồn hàm sinh f : [0, 1] → R cho n pk [f (pk ) − f (qk )] In (P, Q) = k=1 với P, Q ∈ Γ0n Dễ dàng thấy phân kỳ trực tiếp Dn (P, Q) độ đo khoảng cách dạng Kullback - Leibler với hàm sinh f (p) = log p Kết 3.1 Độ đo khoảng cách dạng Kullback - Leibler Γ0n với số n ≥ cố định có dạng In (P, Q) = bDn (P, Q), b số khơng âm tùy ý Dn (P, Q) phân kỳ trực tiếp P Q Theo định nghĩa độ đo khoảng cách dạng Kullback - Leibler ta có bất phương trình hàm n n pk f (qk ) ≤ k=1 với P, Q ∈ Γ0n với n ≥ pk f (pk ) k=1 68 Kết 3.2 Độ đo khoảng cách dạng Kullback - Leibler Γ02 với hàm sinh liên tục có dạng pk (1 − pk )H pk − I2 (P, Q) = k=1 − (1 − qk )H qk − pk − 12 pk + k=1 H(t)dt qk − 12 1 → R hàm lẻ tăng, liên tục tùy ý − , 2 Ở đây, giả thiết liên tục hàm sinh khơng có dạng tổng quát độ đo khoảng cách dạng Kullback - Leibler Điều ta chưa biết nghiệm tổng quát bất đẳng thức hàm H : xf (y) + (1 − x)f (1 − y) ≤ xf (x) + (1 − x)f (1 − x) với x, y ∈ [0, 1] 3.4 ĐỘ ĐO KHOẢNG CÁCH ĐỐI XỨNG Nhiều độ đo khoảng cách liệt kê không đối xứng Nếu độ đo khơng đối xứng, làm cho đối xứng Ví dụ, độ đo phân kỳ cấp α đươc làm cho đối xứng cách đặt Jn,α (P, Q) = Bn,α (P, Q) + Bn,α (Q, P ) Dạng chi tiết Jn,α n [pαk qk1−α + qkα p1−α k ]−2 Jn,α (P, Q) = k=1 2α−1 − Nếu α → lim Jn,α (P, Q) = Jn (P, Q) α→1 Trong phần này, tơi trình bày vài kết đặc trưng Để xác kết quả, ta cần định nghĩa sau 69 Định nghĩa 3.1 Một dãy độ đo {In } gọi hợp thành đối xứng với λ ∈ R, Inm (P ∗ R, Q ∗ S) + Inm (P ∗ S, Q ∗ R) = 2In (P, Q) + 2Im (R, S) + λIn (P, Q)Im (R, S) với P, Q ∈ Γ0n , S, R ∈ Γ0m Nếu λ = {In } gọi cộng tính đối xứng Kết 3.3 Giả sử dãy độ đo {In } có dạng tổng với hàm sinh đo φ : [0, 1] x [0, 1] → R hợp thành đối xứng với tất cặp số nguyên dương m, n ≥ Khi n [pk (a log pk + b log qk ) + pk (a log qk + b log pk )] In (P, Q) = k=1 λ = Ngoài ra, λ = In (P, Q) = λ n (pαk qkβ + pβk qkα ) − k=1 n pk (pk qk )β cos α log In (P, Q) = − − λ qk k=1 λ a, b, α, β số thực tùy ý dãy {In } độ đo khoảng cách P Q, ta thừa nhận In (P, Q) = − In (P, P ) = Kết 3.4 Một độ đo khoảng cách {In } thỏa mãn giả thiết kết 3.3 In (P, P ) = In (P, Q) = aJn (P, Q) 2α−1 − Jn,α (P, Q) In (P, Q) = λ 70 In (P, Q) = − Nn,α (P, Q) λ 3.5 ĐỘ ĐO SHANNON LIÊN TỤC Độ đo thông thường v − P (t) log P (t)dt u bất định phân bố xác suất liên tục (P phân bố tần số xác suất) không giới hạn entropy Shannon cho phân bố rời rạc n − p(ti ) log p(ti ) (3.4) i=1 Nó giới hạn − P (qi ) log P (qi )(ti − ti−1 ), (qi ∈ (ti−1 , ti )), nghĩa với lựa chọn phù hợp qi (i = 1, 2, , n) với hàm phân bố F (F = P, F (u) = 0, F (v) = 1), giới hạn n − (F (ti ) − F (ti−1 )) log i=1 F (ti ) − F (ti−1 ) ti − ti−1 (3.5) Nếu F (ti )−F (ti−1 ) hiểu xác suất thuộc khoảng Xi = (ti−1 , ti ) n i = 1, 2, , n, Xi = (u, v) = U (3.5) trở thành entropy i=1 n − pi log pi + pi log (Xi ) (3.6) i=1 (Xi ) độ dài Xi Trái với (3.4), lượng (3.6) khơng thiết khơng âm (3.4) dương với vài phân bố xác suất âm phân bố khác Với n = 1, X1 = U = (0, 1), (3.6) giảm xuống log (U ) (3.7) 71 độ đo bất định ta biết giá trị biến ngẫu nhiên rơi vào U phân bố xác suất Nếu ta biết phân bố, bất định giảm xuống (3.7) Sự khác biệt hai bất định lượng Sn n x1 , x2 , , xn p1 , p2 , , pn = log Xi + pi log pi − pi log (Xi ) i=1 = pi log pi (U ) (Xi ) (3.8) thông tin nhận từ phân bố xác suất Theo bất đẳng thức Shannon, (3.8) không âm.Nếu thay pi = 1, pj = (i = j) vào (3.8) ta nhận Sn x1 , , xi , , xn 0, , 1, , = − log (Xi ) (U ) (3.9) độ đo thông tin thu từ hiểu biết giá trị biến ngẫu nhiên nằm khoảng Xi U 3.6 ENTROPY ĐẠI LƯỢNG NGẪU NHIÊN RỜI RẠC 3.6.1 Khái niệm Giả sử X đại lượng ngẫu nhiên rời rạc với luật phân phối pi = P (X = xi ) (i = 1, 2, , n) Entropy đại lượng ngẫu nhiên X , ký hiệu H(X), xác định công thức n H(X) = − pi log pi (3.10) i=1 3.6.2 Tính chất • H(X) hàm khơng âm liên tục H(X) = xác suất p1 , p2 , , pn xác suất cịn lại • H(X) cực đại p1 = p2 = = pn = n 72 Chứng minh Ta sử dụng bất đẳng thức ln u 1 1− ≥ ln a ln a u loga u = (3.11) Dựa vào bất đẳng thức (3.11) với pi , qj (i = 1, 2, , n) thỏa mãn điều kiện n n pi = i=1 qi = (3.12) i=1 bất đẳng thức sau n pi ≥ qi pi log i=1 Thật vậy, theo (3.11), (3.12) ta có n i=1 pi pi log ≥ qi ln 10 = ln 10 = ln 10 n qi pi pi − i=1 n (pi − qi ) i=1 n n pi − qi i=1 = i=1 Dấu"=" xảy pi = qi (i = 1, 2, , n) Nếu q1 = q2 = = qn = n n n n pi log npi = pi log n + pi log pi i=1 i=1 i=1 n n n Suy pi log npi − i=1 pi log pi = i=1 Suy pi log n i=1 n − pi log pi ≤ log n i=1 Dấu "=" xảy p1 = p2 = = pn = n (3.13) 73 Lấy ví dụ nguồn tin x1 , x2 với xác suất tương ứng p1 , p2 Để minh họa ta có quy luật phân bố xác suất p1 + p2 = → p2 = − p1 Entropy nguồn H(X) = −p1 log p1 − p2 log p2 = −p1 log p1 − (1 − p1 ) log(1 − p1 ) H(X)max p1 = 1 (khi p2 = − p1 = = p1 ); H(X)max = log 2 3.7 ENTROPY ĐẠI LƯỢNG NGẪU NHIÊN LIÊN TỤC 3.7.1 Khái niệm +∞ H(X) = − f (x) log[lx f (x)]dx (3.14) −∞ H(X) entropy đại lượng ngẫu nhiên liên tục X , f (x) mật độ xác suất đại lượng ngẫu nhiên X , lx khoảng có liên hệ với đại lượng ngẫu nhiên X Chú ý Entropy đại lượng ngẫu nhiên liên tục trường hợp tổng quát lấy giá trị âm dương Chỉ đại lượng ngẫu nhiên với mật độ xác suất giới nội f (x) ≤ A, ln qui ước lx < A entropy dương Khoảng lx viết lại +∞ H(X) = − −∞ f (x) log f (x)dx (3.15) 74 3.6.2 Tính chất Kỳ vọng tốn học hàm đại lượng ngẫu nhiên H(X) = −E[log f (X)] Nếu mật độ xác suất đại lượng ngẫu nhiên Y nhận cách lấy trung bình mật độ cùa X với hàm trọng lượng tùy ý H(Y ) ≥ H(X) Chứng minh Với mật độ xác suất f (x), g(x) ta có +∞ f (x) log f (x) dx ≥ g(x) (3.16) −∞ +∞ Thật vậy, từ bất đẳng thức (3.11) tính chất f (x)dx = ta có −∞ +∞ +∞ f (x) f (x) log dx ≥ g(x) −∞ f (x) g(x) 1− dx ln 10 f (x) −∞ +∞ = ln 10 [f (x) − g(x)]dx = −∞ Dấu "=" xảy f (x) = g(x) Khi xét đại lượng ngẫu nhiên Y với hàm mật độ xác suất +∞ g(y) = a(x, y)f (x)dx −∞ hàm trọng lượng a(x, y) hàm thỏa mãn điều kiện a(x, y) ≥ +∞ +∞ a(x, y)dx = −∞ a(x, y)dy = −∞ 75 Rõ ràng g(y) có hai tính chất hàm mật độ xác suất g(y) ≥ +∞ +∞ +∞ g(y)dy = −∞ +∞ a(x, y)f (x)dxdy = −∞ −∞ +∞ =  +∞ f (x)  −∞  a(x, y)dy  dx −∞ f (x)dx = −∞ Nên ta có entropy đại lượng ngẫu nhiên Y +∞ +∞ +∞ g(y) log g(y)dy = − H(Y ) = − a(x, y)f (x) log g(y)dxdy −∞ −∞ −∞ (3.17) Nếu trừ vế (3.15) (3.17) ta có +∞ +∞ +∞ H(Y ) − H(X) = f (x) log f (x)dx − −∞ −∞ −∞ +∞ +∞ = a(x, y)f (x) log g(y)dxdy a(x, y)f (x) log f (x) dxdy g(y) −∞ −∞ Do bất đẳng thức (3.16) với mật độ chiều nhiều chiều nên +∞ +∞ +∞ +∞ f (x) a(x, y)f (x) log dxdy = g(y) −∞ −∞ a(x, y)f (x) log −∞ −∞ Suy H(Y ) ≥ H(X) a(x, y)f (x) dxdy a(x, y)g(y) 76 KẾT LUẬN Luận văn đạt số kết sau: Đã trình bày số khái niệm cần thiết thông tin để xây dựng khái niệm thông tin entropy lượng thông tin đại lượng ngẫu nhiên Đã trình bày hai loại phương trình hàm liên quan đến lý thuyết thông tin mối liên hệ hai loại phương trình với số kết thu Đã khái quát vài độ đo khác thông tin Đã xây dựng chi tiết khái niệm entropy đại lượng ngẫu nhiên liên tục rời rạc Do hạn chế lực thời gian nên luận văn chưa nghiên cứu thêm lớp phương trình hàm áp dụng cho nhánh khác lý thuyết thông tin lý thuyết mã hóa, lý thuyết kênh thơng tin, lý thuyết giảm tiếng ồn có liên quan đến đề tài, luận văn cịn thiếu sót Vì vậy, tơi mong nhận góp ý quý thầy cô bạn bè để luận văn hồn thiện Một lần tơi xin chân thành cảm ơn tất quý thầy cô bạn học viên giúp đỡ tơi suốt q trình nghiên cứu hoàn thành luận văn này! 77 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Bình (2006), Bài giảng lý thuyết thông tin, Nhà xuất Giáo dục, Hà Nội [2] Nguyễn Văn Mậu (1997), Phương trình hàm, Nhà xuất Giáo dục, Hà Nội [3] Nguyễn Văn Mậu, Bùi Công Huấn, Đặng Hùng Thắng, Trần Nam Dũng, Đặng Huy Ruận (2004), Một số chuyên đề toán học chọn lọc bồi dưỡng học sinh giỏi, Nhà xuất Giáo dục, Hà Nội [4] Vũ Vinh Quang (2010), Giáo trình lý thuyết thơng tin, Nhà xuất Giáo dục, Thái Nguyên [5] TS Lê Quyết Thắng (Biên soạn) (2010), Giáo trình lý thuyết thơng tin, Nhà xuất Giáo dục, Hà Nội Tiếng Anh [6] J Aczél (1966), Lectures on Functional Equations and their Applications, Vol 19, Academic Press, New York [7] J Aczél and Z Daróczy (1975), On Measures of Information and Their Characterizations, Academic Press, New York [8] Robert M Gray (1990), Entropy and Information Theory, Springer - Verlag, New York [9] Pl Kannappan (2009), Functional Equations and Inequalities with Applications, Springer Dordrecht Heidelberg, New York ... Trong đó, ứng dụng quan trọng phương trình hàm lý thuyết thông tin Do nhu cầu trao đổi thông tin người ngày lớn nên lý thuyết thông tin ngày phát triển Lý thuyết thông tin nhánh toán học nghiên...BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGÔ THỊ MINH TRANG HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ CÁC BÀI TOÁN LIÊN QUAN Chuyên ngành : Phương pháp Toán sơ cấp Mã số: 60.46.40 LUẬN VĂN... CHƯƠNG CÁC KIẾN THỨC BỔ TRỢ TRONG LÝ THUYẾT THÔNG TIN 1.1 KHÁI NIỆM THÔNG TIN 1.2 LÝ THUYẾT THÔNG TIN 1.3 ĐỘ ĐO THÔNG TIN 1.4 ENTROPY SHANNON 1.5 CÁC