Luận văn một số lớp phương trình hàm xuất hiện trong lý thuyết thông tin

Luận văn thạc sĩ toán chuyên ngành phương pháp toán sơ cấp do học viên Lê Hoài Thanh thực hiện dưới sự hướng dẫn khoa học của giáo sư tiến sĩ khoa học Nguyễn Văn Mẫu. tài liệu gồm 53 trang định dạng pdf đánh máy bằng latex gồm ba chương.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LÊ HỒI THANH MỘT SỐ LỚP PHƯƠNG TRÌNH HÀM XUẤT HIỆN TRONG LÝ THUYẾT THÔNG TIN LUẬN VĂN THẠC SĨ TỐN HỌC Bình Định - 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LÊ HOÀI THANH MỘT SỐ LỚP PHƯƠNG TRÌNH HÀM XUẤT HIỆN TRONG LÝ THUYẾT THƠNG TIN Chun ngành: Phương pháp tốn sơ cấp Mã số: 60.46.01.13 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TSKH NGUYỄN VĂN MẬU Bình Định - 2012 i Mục lục Mở đầu ii Chương Các kiến thức bổ trợ từ lý thuyết thông tin 1.1 Một số tính chất đặc trưng hàm số phương trình hàm 1.2 Một số yếu tố lý thuyết xác suất 1.3 Khái quát thông tin Chương Phương trình hàm lý thuyết thơng tin 13 2.1 Khái niệm Entropy 13 2.2 Kí hiệu, kí hiệu sơ 14 2.3 Entropy Shannon số khái quát 19 2.4 Phương trình hàm dạng tổng (SFE) khái quát 24 2.5 Lý thuyết trộn thông tin - Độ đo ghép 29 Chương Một số toán liên quan áp dụng 33 3.1 Entropy đại lượng ngẫu nhiên rời rạc 33 3.2 Entropy đại lượng ngẫu nhiên liên tục 37 3.3 Entropy số phân phối thường gặp 39 3.4 Độ đo Shannon liên tục thông tin ghép Shannon-Wiener 41 3.5 Lý thuyết chơi bạc 43 3.6 Entropy ghép đệ quy kiểu nhân tính 45 Kết luận 47 Tài liệu tham khảo 49 ii Mở đầu Phương trình hàm lĩnh vực nghiên cứu quan trọng giải tích tốn học có nhiều ứng dụng lĩnh vực toán học khác thực tiễn Gần đây, nhiều vấn đề lý thuyết thông tin gắn với hệ thức ràng buộc dạng hàm số Lớp phương trình hàm xuất ngày nhiều hơn, cần có khảo sát chuyên biệt Trên tinh thần luận văn "Một số lớp phương trình hàm xuất lý thuyết thông tin" cần thiết cho việc tìm hiểu khảo sát chúng Mục đích luận văn bước đầu tìm hiểu, khảo sát số lớp phương trình hàm xuất lý thuyết thơng tin, bước đầu tiếp cận số áp dụng Luận văn thực hồn thành trường Đại học Quy Nhơn, hướng dẫn GS TSKH Nguyễn Văn Mậu Nhân dịp xin bày tỏ lòng biết ơn trân trọng sâu sắc với GS TSKH Nguyễn Văn Mậu, người thầy định hướng nghiên cứu, quan tâm tạo điều kiện thuận lợi, lời động viên khích lệ tơi suốt q trình học tập nghiên cứu Tơi xin trân trọng cảm ơn Ban chủ nhiệm khoa Toán, Phòng Sau đại học thầy giáo, bạn bè học viên gia đình động viên, giúp đỡ tơi suốt q trình viết chỉnh sửa luận văn Mặc dù cố gắng, song luận văn tránh khỏi hạn chế thiếu sót Tơi mong nhận đóng góp ý kiến từ thầy cô giáo bạn để luận văn hồn thiện Tơi xin trân trọng cảm ơn! Chương Các kiến thức bổ trợ từ lý thuyết thơng tin Chương trình bày số kiến thức hàm số, xác suất lý thuyết thơng tin 1.1 Một số tính chất đặc trưng hàm số phương trình hàm 1.1.1 Một số tính chất hàm số Trong phần ta xét hàm số f (x) với tập xác định Df ⊆ R tập giá trị Rf ⊆ R Định nghĩa 1.1 (Hàm số liên tục) Cho hàm số f (x) xác định khoảng (a, b) Ta nói hàm số f (x) liên tục x0 ∈ (a, b) lim f (x) = f (x0 ) x→x0 Tính chất 1.1 • f (x) liên tục x0 ∈ D ⇔ ∀ {xn } ⊂ D, xn = x0 : lim xn = x0 ⇒ lim f (xn ) = f (x0 ) n→∞ n→∞ • Tổng, hiệu, tích, thương (mẫu số khác 0) hai hàm số liên tục x0 hàm số liên tục x0 • Nếu f (x) hàm số liên tục hàm số f (λx), ∀λ ∈ R hàm số liên tục • Nếu g(x) liên tục x0 hàm f (u) liên tục u0 = g(x0 ) hàm hợp f (g(x)) liên tục x0 • Nếu hàm số f (x) đơn ánh, liên tục khoảng đơn điệu thực khoảng • Nếu hàm f : R → R liên tục cộng tính f (x) = kx, k ∈ R tùy ý Tính chất 1.2 (Phương trình hàm Cauchy) • Nếu hàm f : R+ → R+ liên tục nhân tính f (x) = xα , ∀α ∈ R • Nếu hàm số f (x) liên tục R f( x+y f (x) + f (y) )= , ∀ x, y ∈ R 2 hàm f có dạng tuyến tính, nghĩa f (x) = ax + b, ∀x ∈ R; ∀a, b ∈ R Định nghĩa 1.2 (Hàm số khả vi) a) Cho hàm số f (x), x0 ∈ Df Ta nói f (x) khả vi x0 tồn f (x0 − ∆x) − f (x0 ) giới hạn hữu hạn lim Giới hạn kí hiệu f (x0 ) ∆x→0 ∆x gọi đạo hàm hàm f (x) x0 b) Hàm số f (x) gọi khả vi tập D ⊆ Df ⇔ f (x) khả vi điểm thuộc D ⇔ f (x) có đạo hàm điểm thuộc D Định nghĩa 1.3 (Hàm số khả tích) Hàm số mà tích phân Riemann (Lơbe) tập hợp tồn gọi hàm khả tích theo nghĩa Riemann (Lơbe) tập hợp Nhận xét 1.1 • Điều kiện cần đủ để hàm số khả tích theo nghĩa Riemann đoạn [a, b] bị chặn tập hợp điểm gián đoạn có độ đo Lơbe khơng • Để cho hàm số khả tích theo nghĩa Lơbe phải hàm đo Điều ngược lại hàm số bị chặn Mọi hàm khả tích theo nghĩa Rieman khả tích theo nghĩa Lơbe Định nghĩa 1.4 (Hàm số tuần hoàn phản tuần) a) Hàm số f (x) gọi hàm tuần hồn cộng tính chu kỳ a (a > 0) M M ⊂ D(f ) ∀x ∈ M ⇒ x ± a ∈ M f (x + a) = f (x), ∀x ∈ M Nếu tồn số dương T nhỏ số a T gọi chu kỳ sở hàm số f (x) b) Hàm số f (x) gọi hàm phản tuần hoàn cộng tính chu kỳ b (b > 0) M M ⊂ D(f ) ∀x ∈ M ⇒ x ± b ∈ M f (x + b) = −f (x), ∀x ∈ M Nếu tồn số dương T nhỏ số b T gọi chu kỳ sở hàm số f (x) c) Hàm số f (x) gọi hàm tuần hồn nhân tính chu kỳ a (a ∈ / {0; −1; 1}) M M ⊂ D(f ) ∀x ∈ M ⇒ a±1 x ∈ M f (ax) = f (x), ∀x ∈ M d) Hàm số f (x) gọi hàm phản tuần hoàn nhân tính chu kỳ a (a ∈ / {0; −1; 1}) M M ⊂ D(f ) ∀x ∈ M ⇒ a±1 x ∈ D f (ax) = −f (x), ∀x ∈ M Nhận xét 1.2 Mối quan hệ hàm tuần hồn cộng tính nhân tính Nếu f (x) hàm số tuần hồn cộng tính chu kỳ (a > 0) R g(t) = f (ln t), (t > 0) hàm nhân tính chu kỳ ea R+ Ngược lại, f (x) hàm tuần hồn nhân tính chu kỳ a (0 < a = 1) R+ g(t) = f (et ) hàm tuần hồn cộng tính chu kỳ lna R 1.1.2 Một số phương trình hàm Phần trình bày số phương trình hàm phương pháp tìm nghiệm phương trình hàm Bài tốn 1.(Phương trình hàm Cauchy) Tìm hàm f (x) xác định R thỏa mãn điều kiện sau   f (x + y) = f (x) + f (y), ∀x, y ∈ R f (x) liên tục x = x0 ∈ R  f (1) = α, (α = 0) Giải Giả sử tồn hàm số f (x) thỏa mãn yêu cầu Cho x = y = ta f (0) = f (0) + f (0) ⇔ f (0) = Cho y = −x ta f (0) = f (x) + f (−x) ⇒ f (x) = f (−x), ∀x ∈ R Vậy hàm f (x) hàm số lẻ nên ta cần xác định biểu thức f (x) với x > Cho y = x suy f (2x) = 2f (x) Giả sử f (kx) = kf (x), (k ∈ N∗ ) Ta có: f ((k + 1) x) = f (kx + x) = f (kx) + f (x) = kf (x) + f (x) = (k + 1) f (x) Theo nguyên lý quy nạp ta f (nx) = nf (x), ∀x ∈ R, n ∈ N∗ Với n ∈ Z− suy −n ∈ N∗ , ta có f (nx) = f ((−n)(−x)) = −nf (−x) = −n(−f (x)) = nf (x) (do f (x) hàm số lẻ) Suy f (nx) = nf (x),n ∈ Z− Kết hợp với f (0x) = f (0) = = 0f (x) ta f (nx) = nf (x), ∀x ∈ R; n ∈ Z Với m ∈ Z∗ , ta có f (x) = f m x x x = mf ⇒f = f (x) m m m m Với r ∈ Q, tồn m ∈ Z; cho r = f (rx) = f m n Từ kết ta có n x n x = nf = f (x) = rf (x) , ∀r ∈ Q m m m Cho x = ta f (r) = rf (1) = αr, ∀r ∈ Q Với ∀m ∈ R, ta có f (x) = f (x + x0 − m + m − x0 ) = f (x − m + x0 ) + f (m) − f (x0 ) Từ giả thiết hàm số liên tục x = x0 ta có lim f (x) = lim [f (x − m + x0 ) + f (m) − f (x0 )] x→m x→m = lim f (x − m + x0 ) + f (m) − f (x0 ) x→m = f (x0 ) + f (m) − f (x0 ) = f (m) Vậy f (x) liên tục điểm m ∈ R Nói cách khác f (x) liên tục R Với ∀x ∈ R, tồn dãy số (rn ) ⊂ Q cho rn → x n → +∞ Khi f (x) liên tục R nên ta có f (x) = lim f (rn ) = lim αrn = αr n→+∞ n→+∞ Thử lại, dễ thấy hàm số f (x) = αx thỏa mãn yêu cầu đề Bài tốn (Phương trình hàm Cauchy dạng mũ) Xác định hàm f (x) liên tục R thỏa mãn điều kiện sau f (x + y) = f (x)f (y), ∀x, y ∈ R (1.1) Giải Dễ thấy f ≡ 01 nghiệm (1.1) Xét trường hợp f ≡ 02 , tồn x0 ∈ R cho f (x0 ) = Theo (1.1) f (x0 ) = f (x + (x0 − x)) = f (x)f (x0 − x) = 0, ∀x ∈ R Suy f (x) = 0, ∀x ∈ R, mặt khác f (x) = f x x x + = f 2 2 > 0, ∀x ∈ R Đặt ln f (x) = g(x) ⇒ f (x) = eg(x) Khi g(x) hàm liên tục R g(x + y) = ln f (x + y) = ln[f (x)f (y)] = ln f (x) + ln f (y) = g(x) + g(y), ∀x, y ∈ R Theo Bài tốn g(x) = bx, b ∈ R tùy ý, suy f (x) = ebx = ax với a > Kết luận, nghiệm toán f (x) ≡ f (x) = ax với a > Tổng quát Đặc trưng hàm số hàm số sơ cấp Như ta biết phương trình hàm phương trình thơng thường mà nghiệm hàm số Để giải tốt vấn đề ta cần phân biệt tính chất hàm với đặc trưng hàm Hàm số tuyến tính f (x) = ax, a = Đặc trưng hàm tuyến tính f (x + y) = f (x) + f (y), ∀x, y ∈ R Hàm số bậc f (x) = ax + b, a = 0, b = f (x) + f (y) x+y )= , ∀ x, y ∈ R Đặc trưng hàm bậc f ( 2 Hàm số lũy thừa f (x) = xm , x > Đặc trưng hàm lũy thừa f (xy) = f (x).f (y), ∀x, y ∈ R, x, y > Hàm số mũ f (x) = ax , < a = Đặc trưng hàm số mũ f (x + y) = f (x).f (y), ∀x, y ∈ R Hàm số logarit f (x) = loga |x| , < a = 1, ∀x ∈ R Đặc trưng hàm logarit f (xy) = f (x) + f (y), ∀x, y ∈ R Hàm số f (x) = cos x Đặc trưng hàm cosx f (x + y) + f (x − y) = 2f (x).f (y), ∀x, y ∈ R π Hàm số f (x) = tan x, (x = + kπ) f (x) + f (y) Đặc trưng hàm tanx f (x + y) = , − f (x).f (y) (2k + 1)π π π x+y = , x = + kπ, y = + kπ 2 Hàm số lượng giác ngược f (x) = arcsin x √ Đặc trưng hàm arcsin x f (x) + f (y) = f (x − y + y − x2 ), ∀x, y ∈ [−1; 1] 35 Entropy nguồn là: H (X) = −p0 log p0 − p1 log p1 = −p0 log p0 − (1 − p0 ) log (1 − p0 ) 1 H(X)max p0 = (khi p1 = − p0 = = p0 ); H(X)max = log 2 3.1.3 Entropy đồng thời entropy có điều kiện Entropy đồng thời Entropy đồng thời độ bất ngờ trung bình cặp (x, y) tập tích XY Theo định nghĩa entropy có: H (X, Y ) = − p (x, y) log p (x, y) x∈X ; y∈Y Entropy có điều kiện Khi cần đánh giá ràng buộc thống kê cặp (x, y) ta dùng khái niệm entropy có điều kiện H(X|Y ) H(Y |X) Đó độ bất định trung bình ký hiệu x ∈ X biết ký hiệu y ∈ Y Xuất phát từ xác suất có điều kiện p(x|y) p(y|x) theo định nghĩa entropy ta có biểu thức định nghĩa sau: H (X|Y ) = − p (x, y) log p (x|y) x∈X ; y∈Y H (Y |X) = − p (x, y) log p (y|x) x∈X ; y∈Y So sánh với biểu thức định nghĩa cho entropy, ta có quan hệ sau: H(X, Y ) = H(X) + H(Y |X) H(X, Y ) = H(Y ) + H(X|Y ) Trường hợp nguồn phức tạp Đối với mã hóa hay truyền tin phức tạp ta mở rộng khái niệm entropy cho tập tích mà số tập hợp thành nhiều hai, chẳng hạn trường hợp tập tích XY Z, ta có định nghĩa entropy đồng thời có điều kiện mở rộng sau: H (XY Z) = − p (x, y, z) log p (x, y, z) x∈X ; y∈Y ; z∈Z H (X|Y Z) = − p (x, y, z) log p (x|y.z) x∈X ; y∈Y ; z∈Z 36 3.1.4 Entropy nguồn Markov Nguồn Markov giữ vai trò quan trọng lĩnh vực truyền thơng Nó đặc trưng quan hệ p(xin |xjn−1 , xkn−2 , ) = p(xin |xjn−1 ) xin ký hiệu xi nguồn X xuất thời điểm n Điều có nghĩa xác suất tạo ký hiệu thời điểm n phụ thuộc vào ký hiệu tạo thời điểm thứ n − không phụ thuộc vào ký hiệu rạo thởi điểm n − 2, n − 3, Tại thời điểm n, nguồn trạng thái j với xác suất p(xjn /xin−1 ) thời điểm n − nguồn trạng thái i Xác suất p(xjn /xin−1 ) = pij gọi xác suất chuyển đổi từ trạng thái i sang m trạng thái j, pij = (m số tin thuộc nguồn) j=1 Xác suất để nguồn trạng thái j thời điểm n là: m p (xjn ) = p (xin−1 ) pij j = 1, 2, , m j=1 Biểu diễn dạng ma trận ta có:    p (x1n−1 ) p (x1n )   p (x2n )   , Pn−1 =  p (x2 n−1 ) Pn =     p (xmn−1 ) p (xmn )  p11  p21 ,T =   ···  pm1  p12 p22 ··· pm2  · · · p1m · · · p2m  ··· ···  · · · pmm Mối quan hệ viết: Pn = T T Pn−1 Nếu nguồn trạng thái i có độ bất định trạng thái nguồn thời điểm sau, trạng thái j, trạng thái trạng thái nguồn Giá trị trung bình độ bất định m xác định entropy Hi = pij log pij j=1 Nếu tính tới tất trạng thái nguồn, entropy nguồn giá trị trung bình entropy nguồn X trạng thái: H = p(xi )Hi 37 3.2 Entropy đại lượng ngẫu nhiên liên tục 3.2.1 Khái niệm +∞ H (X) = − f (x) log [lx f (x)] dx (3.5) −∞ H(X) entropy đại lượng ngẫu nhiên liên tục X, f (x) mật độ xác suất đại lượng ngẫu nhiên X, lx khoảng có liên hệ với đại lượng ngẫu nhiên X Chú ý 3.1 Entropy đại lượng ngẫu nhiên liên tục trường hợp tổng quát lấy giá trị âm dương Chỉ đại lượng ngẫu nhiên với mật độ xác suất giới nội f (x) ≤ A, quy ước lx < A1 entropy dương Khoảng lx (3.5) viết lại là: +∞ H (X) = − f (x) log f (x) dx (3.6) −∞ 3.2.2 Tính chất Kỳ vọng tốn hàm đại lượng ngẫu nhiên là: H (X) = −E [log f (X)] Nếu mật độ xác suất đại lượng ngẫu nhiên Y nhận cách lấy trung bình mật độ X với hàm độ đo tùy ý thì: H(Y ) ≥ H(X) 38 Chứng minh Với mật độ xác suất f (x), g(x) ta có: +∞ f (x) log f (x) dx ≥ g (x) (3.7) −∞ +∞ f (x) dx = 1, ta có: Thật từ bất đẳng thức (3.2) tính chất −∞ +∞ +∞ f (x) f (x) log dx ≥ g (x) −∞ f (x) f (x) 1− dx ln a g (x) −∞ +∞ = ln a [f (x) − g (x)] dx = −∞ Cũng từ (3.2) dấu "=" (3.7) xảy f (x) = g(x) Khi xét đại lượng ngẫu nhiên Y với hàm mật độ xác suất là: +∞ a (x, y) f (x) dx g (y) = −∞ hàm độ đo a(x, y) hàm thỏa mãn điều kiện +) a(x, y) ≥ +∞ +) +∞ a (x, y) dx = −∞ a (x, y) dy = −∞ Rõ ràng g(y) có hai tính chất hàm mật độ xác suất g(x) ≥ và:  +∞  +∞ +∞ +∞ g (y) dy = −∞ a (x, y) f (x) dxdy = −∞−∞ +∞ = f (x)  −∞ a (x, y) dy  dx −∞ f (x) dx = −∞ Nên ta có entropy đại lượng ngẫu nhiên Y là: +∞ H (Y ) = − −∞ +∞ g (y) log g (y) dy = − −∞−∞ a (x, y) f (x) log g (y) dxdy (3.8) 39 Nếu trừ vế (3.6) (3.8) ta có: +∞ H (Y ) − H (X) = +∞ f (x) log f (x) dx − −∞ +∞ = a (x, y) f (x) log g (y) dxdy −∞−∞ a (x, y) f (x) log f (x) dxdy g (y) −∞−∞ Do bất đẳng thức (3.7) với mật độ chiều nhiều chiều cho nên: +∞ +∞ f (x) a (x, y) f (x) log dxdy = g (y) −∞−∞ a (x, y) f (x) log a (x, y) f (x) dxdy ≥ a (x, y) g (y) −∞−∞ ⇒ H(Y ) ≥ H(X) 3.3 Entropy số phân phối thường gặp Trong mục ta tính entropy số phân phối thường gặp thiết lập số bất đẳng thức có liên quan 3.3.1 Entropy phân phối Giả sử X ∼ f (x) = Khi 1/θ x ∈ [0, θ] x ∈ / [0, θ] θ θ H (X) = − 1 log dx = log θ θ θ f (x) log f (x) = − 0 3.3.2 Entropy phân phối mũ miền [θ, ∞) (với θ ≥ 0) 40 Giả sử e−(x−θ) X ∼ f (x) = x ≥ θ x < θ Khi ∞ 0e−(x−θ) log e−(x−θ) dx = (x − θ) e−(x−θ) H (X) = − ∞ ∞ − θe−(x−θ) dx = θ 3.3.3 Entropy phân phối mũ E(X) Giả sử X ∼ f (x) = Ta có EX = λe−λx x ≥ x < , λ ∞ 0λe−λx log λe−λx dx = − log λ H (X) = − ∞ Vì ∞ 0λe−λx dx = 1, ∞ ∞ 0λe−λx dx + λ 0xe−λx dx 0xe−λx dx = EX = λ1 , nên H (X) = − log λ = log e λ 3.3.4 Entropy đại lượng ngẫu nhiên có phân phối chuẩn Giả sử: X ∼ N 0, σ Khi đó: +∞ H (X) = −∞ x2 √ exp − 2σ σ 2π x2 √ log exp − 2σ σ 2π √ dx = log σ 2πe 3.3.5 Entropy vectơ ngẫu nhiên X = (X1 , , Xn ) có phân phối chuẩn nhiều chiều Giả sử X ∼ f (x) = n exp − Kij ui uj n |X| i,j=1 (2π) |X| 41 Khi +∞ H (X) = − −∞ +∞ t (x1 , , xn ) log t (x1 , , xn ) dx1 dxn −∞ n = log log e (2π) |K| + Kij kij |K| i,j=1 n |K| định thức ma trận tương quan X, Kij phần phụ đại số phần tử kij |K| Chẳng hạn (X, Y ) có phân phối chuẩn hai chiều với hàm tương quan P H (X, Y ) = log σx 2πe(1 − p2 ) I (X, Y ) = − log(1 − p2 ) θ e−(x−θ) log e−(x−θ) dx = H (X) = − 3.4 Độ đo Shannon liên tục thông tin ghép ShannonWiener Độ đo v − P (t) log P (t)dt (3.9) u thường dùng cho độ bất định phân phối (P hàm tần suất xác suất) không giới hạn entropy Shannon cho phân phối rời rạc n − p(ti ) log p(ti ) (3.10) i=1 Nó giới hạn − P (qi ) log P (qi ) (ti − ti−1 ), (qi ∈ (ti−1 , ti )); nghĩa là, với các lựa chọn thích hợp qi (i = 1, 2, , n) với hàm phân phối 42 F (F = P, F (u) = 0, F (v) = 1), giới hạn n − (F (ti ) − F (ti−1 )) log i=1 F (ti ) − F (ti−1 ) ti − ti−1 (3.11) Nếu thông thường, F (ti ) − F (ti−1 ) = pi hiểu xác suất theo n khoảng Xi = (ti−1 , ti ), i = 1, , n, Xi = (u, v) = U (3.11) cho i=1 entropi ghép n − pi log pi + pi log (Xi ) (3.12) i=1 (với (Xi ) độ dài Xi ) Trái với (3.10), đại lượng (3.12) khơng cần khơng âm từ (3.10) dương cho vài phân phối xác suất âm cho phân phối khác Cho n = 1, Xi = U = (0, 1), (3.12) thu gọn lại log (Xi ) (3.13) độ đo độ bất định ta biết giá trị đại lượng ngẫu nhiên rơi vào U phân phối xác suất Nếu ta biết phân phối, độ bất định thu lại thành (3.12) Sự khác biệt hai độ bất định đại lượng Sn x1 , x2 , , xn p1 , p2 , , pn n = log Xi + pi log pi − pi log (Xi ) i=1 = pi log pi (U ) , (Xi ) (3.14) thông tin thu từ phân phối xác suất Do bất đẳng thức Shannon, (3.14) không âm Quan trọng hơn, đặt pi = 1, pj = 0(i = j) (3.14), ta có (Xi ) x1 , , x i , , x n Sn = log (3.15) 0, , 1, , (U ) độ đo thông tin thu biết giá trị đại lượng ngẫu nhiên khoảng Xi U Nhưng (3.15) xác độ đo thông tin giới thiệu Wiener, với độ đo Shannon, (3.9) (3.15) sở lý thuyết thông tin vào năm 1948 43 3.5 Lý thuyết chơi bạc Xét ván bạc G với kết độc lập x1 , x2 , , xn với xác suất tương ứng p1 , p2 , , pn Khi X = (x1 , , xn ) ∈ Ωn , p = (p1 , , pn ) ∈ Γn , biểu diễn x1 , , x n G = (X, P ) = p1 , , p n Đặt U hàm gán với số thuận lợi cho xi ; nghĩa là, U : B → R Khi "Quy tắc thuận lợi mong đợi" (QTM) viết n U (G) = pi U (xi ) (3.16) i=1 QTM cho chơi bạc đẳng cấu với quy tắc thông thường cho tính tốn xác suất lề Nếu ta tìm thấy quy tắc thuận lợi cho chơi bạc, điều đẳng cấu với quy tắc để tính tốn xác suất lề Quy tắc chơi bạc quan tâm? Nó đề xuất quy tắc thuận lợi cho ván bạc cần phải có đối xứng phụ đơn giản để "thú vị" Điều kiện yếu, với điều kiện biên cho ván bạc suy tàn, mục đích quy tắc thuận lợi cho ván bạc nên thành phần lớp phương trình hàm đặc biệt Một phần lớp QTM, phần khác "QTM cộng với Entropy" n (pi U (xi ) − bpi log pi ) , U (X, P ) = (3.17) i=1 với b số cho trước Những quy tắc thuận lợi biết trước Còn lại, quy tắc chưa biết trước, phần lớp có dạng n n pci U U (X, P ) = pci − (xi ) + β (c = 1) (3.18) i=1 i=1 Sự kiểm tra (3.16) (3.18) đề nghị quy tắc thuận lợi tổng quát có dạng n U (X, P ) = f (U (xi ) , pi ) , i=1 (3.19) 44 f (U, p) hàm khả vi liên tục U p Cơng thức (3.19) có thuộc tính lý tưởng đối xứng, vế phải (3.19) không bị ảnh hưởng thay đổi số n với (U (xi ), pi ) Có hàm khác, khơng theo dạng (3.19), có kiểu tính đối xứng Một số đó, rõ quy tắc n U (X, P ) = f (U (xi ) , pi ) (3.20) i=1 Tuy nhiên lưu ý (3.20) chuyển (3.19) việc biến đổi tăng đơn điệu phù hợp Điều cho phép ta tập trung ý vào quy tắc dạng (3.19) Có hai tính chất mà ta muốn quy tắc thuận lợi cần phải có Thứ nhất, kỳ vọng khơng thể có (có xác suất 0), ta bỏ qua chúng, U (x1 , , xn−1 , xn ; p1 , , pn−1 , 0) = U (x1 , , xn−1 , p1 , , pn−1 ) Điều này, (3.19), có nghĩa f (U (xn ), 0) = (3.21) Thứ hai, kỳ vọng chắn (có xác suất 1), thật khơng có ván bạc tất cả, nên ta có U (x1 ; 1) = U (x1 ) Điều này, (3.19), có nghĩa f (U (x1 ), 1) = U (x1 ) (3.22) Ta tạo sử dụng quy tắc chơi bạc hỗn hợp x1 = (y1 , , ym ; q1 , , qm )U [(y1 , y2 , , ym ; q1 , , qm ), x2 , , xn ; p1 , , pn ] = U (y1 , y2 , , ym , x2 , , xn ; p1 q1 , , p1 qm , p2 , , pn ), với tất m ≥ 1, n ≥ Nên có phụ thuộc khơng tầm thường vào quy tắc (3.19) U (x) Vì f khơng nên gán ích lợi mong đợi giống với hy vọng để 45 gán với số lợi ích khác Do f phải biến số với giá trị miền f giá trị thứ hai cố định Một lượng chắn tính đặn f cần phải có Xét điều thu kết sau Kết 3.1 Cho U hàm hữu dụng xác định B, U : B → R cho f hàm xác định f : R × [0, 1] → R biến số với giá trị giá trị thứ hai cố định; tức f (·, p) biến số đạo hàm riêng thứ hai với giá trị đầu cố định, liên tục Nếu U xác định đệ quy (3.19), thỏa mãn (3.21) (3.22), hàm f thỏa mãn f (U (x1 ), p1 ) + f (U (x2 ) , p2 ) p2 =f f U (x1 ) , p1 + p +f U (x2 ) , p2 p1 + p , p1 + p2 (3.23) U cho U (X, P ) =    n [pi U (xi ) + api log pi ], i=1   i pci U (xi ) − a c−1 (pi − pci ) , c = 1, c = (3.24) 3.6 Entropy ghép đệ quy kiểu nhân tính Tại đầu hội nghị quốc tế lần thứ hai mươi phương trình hàm, vào năm 1983, trình bày danh sách vấn đề chưa giải lý thuyết phương trình hàm Bây trình bày cách giải vấn đề 10 J.Aczél, mô tả sau Cho B vành tập Ω = n = 2, 3, , cho B Cho B ∗ = B (Ø), cho Dn = {(x1 , x2 , , xn ) |xi ∈ B ∗ , xi ∩ xj = Ø, ∀i = j } Cho k nguyên dương cố định, I0k = (0, 1)k , D = {(p, q) |p, q, p + q ∈ I } Một ánh xạ ϕ : D2 × I0k → R gọi (k - chiều) hàm thông tin ghép nhân tính tập mở với ánh xạ tích M : I0k → R (tức M (pq) = 46 M (p)M (q)), ϕ thỏa mãn phương trình ϕ (x1 ∪ x2 , x3 ; p) + M (1 − p) ϕ x1 , F ; q 1−p p = ϕ (x1 ∪ x3 , x2 ; q) + M (1 − q) ϕ x1 , G; 1−q (3.25) với tất (x1 , x2 , x3 ) ∈ D3 tất (p, q) ∈ D Để tránh tính tầm thường, giả sử D3 = Ø Vấn đề đưa Aczél tìm cách giải tổng qt (3.25), phương trình hàm đa chiều thơng tin ghép nhân tính Phương trình (3.25) trường hợp đặc biệt có bề dày lịch sử, nhiều tác giả tham gia góp phần Lời giải cho vấn đề dẫn đến xây dựng tiên đề độ đo thông tin ghép In (x1 , , xn , p1 , , pn ) biểu diễn n n n g (xi ) − f f (x1 ) + xi + L (p1 ) + n f (x1 ) M (p1 )+ n g (xi ) M (pi )−f L (pi ) M (pi )(với M cộng tính), n g (xi ) M (pi ) − f (với M = 1), n xi + n f (x1 ) M (p1 ) + λ (xi , pi ) 1 xi (với M = khơng cộng tính) Ở L hàm lơgarít, λ cộng tính với biến cố lơgarít xác suất, f g hàm 47 Kết luận Luận văn thu kết sau: Đã trình bày số tính chất hàm số, yếu tố lý thuyết xác suất khái niệm thông tin cần thiết để xây dựng số khái niệm lý thuyết thông tin entropy lượng thông tin đại lượng ngẫu nhiên Đã trình bày hai loại phương trình hàm để xây dựng khái niệm entropy mối liên hệ hai loại phương trình hàm với vài kết thu Đã trình bày lớp phương trình hàm áp dụng lý thuyết trộn thông tin, độ đo ghép Đã xây dựng chi tiết khái niệm entropy đại lượng ngẫu nhiên rời rạc liên tục Đã thiết lập mối quan hệ số phân phối thường gặp như: • Phân phối • Phân phối mũ • Phân phối chuẩn chiều • Phân phối chuẩn n chiều Đã vận dụng phương trình hàm thơng tin vào Độ đo Shannon liên tục thông tin ghép Shannon - Weiner, Lý thuyết chơi bạc Entropy ghép đệ quy kiểu nhân tính 48 Do hạn chế lực thời gian nên luận văn chưa nghiên cứu thêm nhiều lớp phương trình hàm áp dụng cho nhánh khác lý thuyết thông tin lý thuyết mã, lý thuyết kênh thông tin, lý thuyết giảm tiếng ồn có liên quan đến đề tài, luận văn thiếu sót Vì tơi mong q thầy bạn bè đóng góp ý kiến cho luận văn hoàn thiện Một lần nữa, xin chân thành cảm ơn tất quý thầy cô bạn học viên giúp đỡ suốt q trình nghiên cứu hồn thành luận văn này! 49 Tài liệu tham khảo [1] Nguyễn Văn Mậu (1997), Phương trình hàm, Nhà xuất Giáo dục [2] Vũ Vinh Quang (2010), Giáo trình lý thuyết thơng tin, Khoa Công nghệ thông tin - Đại học Thái Nguyên [3] Nguyễn Văn Quảng (2008), Giáo trình xác suất nâng cao, Nhà xuất ĐHQG Hà Nội [4] Pl Kannappan (2009), Functional Equations and Inequalities with Applications, Springer Dordrecht Heidelberg London New York [5] Gray R.M (2000), Entropy and InformationTheory, N.Y, Berilin and New York [6] Rith R.M (2006), Information To Coding Theory, Cambridge Unive Press V.K ... đề lý thuyết thông tin gắn với hệ thức ràng buộc dạng hàm số Lớp phương trình hàm xuất ngày nhiều hơn, cần có khảo sát chuyên biệt Trên tinh thần luận văn "Một số lớp phương trình hàm xuất lý thuyết. .. thơng tin Chương trình bày số kiến thức hàm số, xác suất lý thuyết thông tin 1.1 Một số tính chất đặc trưng hàm số phương trình hàm 1.1.1 Một số tính chất hàm số Trong phần ta xét hàm số f (x) với... THANH MỘT SỐ LỚP PHƯƠNG TRÌNH HÀM XUẤT HIỆN TRONG LÝ THUYẾT THÔNG TIN Chuyên ngành: Phương pháp toán sơ cấp Mã số: 60.46.01.13 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TSKH NGUYỄN VĂN