tập ngẫu nhiên hữu hạn trong thống kê

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH TRƯƠNG NGỌC TRIẾT TẬP NGẪU NHIÊN HỮU HẠN TRONG THỐNG KÊ Chuyên ngành: Toán Giải Tích Mã số: 604601 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN CHÍ LONG Thành phố Hồ Chí Minh – 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH TRƯƠNG NGỌC TRIẾT TẬP NGẪU NHIÊN HỮU HẠN TRONG THỐNG KÊ LUẬN VĂN THẠC SĨ TOÁN HỌC Thành phố Hồ Chí Minh – 2012 LỜI CÁM ƠN Lời cám ơn sâu sắc nhất, xin chân thành cảm ơn cố PGS-TS Đậu Thế Cấp, người giảng dạy cho khóa học, người gợi mở cho đến với đề tài này; xin gửi lời cám ơn sâu sắc đến Thầy – TS Nguyễn Chí Long, người tận tình hướng dẫn suốt trình thực luận văn Thạc sĩ Tôi xin gửi lời cám ơn đến quý Thầy, Cô Hội đồng chấm luận văn dành thời gian đọc cho nhận xét luận văn Tôi xin chân thành cám ơn Ban Giám hiệu, quý Thầy, Cô Khoa Toán – Tin học, quý Thầy, Cô thuộc Phòng Quản lý Khoa học Sau Đại học Trường Đại học Sư phạm TP.HCM trang bị cho kiến thức tạo điều kiện thuận lợi cho suốt trình học tập trường Tôi xin bày tỏ lòng biết ơn đến quý Thầy Cô – đồng nghiệp Trường THPT Chuyên Trần Hưng Đạo – Phan Thiết – Bình Thuận nhiệt tình giúp đỡ công việc để thuận lợi trình học tập Tôi xin cám ơn bạn học viên lớp Cao học Giải Tích khóa 20 chia sẻ, giúp đỡ suốt trình học tập Cuối lời cám ơn dành cho người thân gia đình tôi, người động viên suốt thời gian qua TP Hồ Chí Minh, Tháng năm 2012 Trương Ngọc Triết MỤC LỤC LỜI CÁM ƠN MỞ ĐẦU CHƯƠNG 1: ĐẠI CƯƠNG XÁC SUẤT 1.1 Đại số σ -đại số 1.2 Độ đo xác suất 1.3 Phần tử ngẫu nhiên, biến ngẫu nhiên, véctơ ngẫu nhiên 15 1.4 Hàm phân phối, hàm mật độ biến ngẫu nhiên vécto ngẫu nhiên 20 CHƯƠNG II: MỘT VÀI TẬP NGẪU NHIÊN TRONG THỐNG KÊ 27 2.1 Miền tin cậy 27 2.2 Thống kê Bayes 34 CHƯƠNG 3: TẬP NGẪU NHIÊN HỮU HẠN 36 3.1 Tập ngẫu nhiên phân phối chúng 37 3.2 Tập giá trị quan sát 42 3.3 Hàm định với tập ngẫu nhiên 48 3.4 Kì vọng tập ngẫu nhiên 51 3.5 Phân phối Entropy cực đại 52 3.6 Quan hệ vấn đề entropy cực đại với tập ngẫu nhiên 58 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 MỞ ĐẦU Lý chọn đề tài: Xác suất ngành toán học nghiên cứu tượng ngẫu nhiên Lý thuyết xác suất gắn liền với thống kê toán học, khoa học phương pháp thu thập phân tích liệu, thông tin định lượng Xác suất thống kê ứng dụng rộng rãi kinh tế, khoa học kĩ thuật nhiều lĩnh vực khoa học xã hội nhân văn Lý thuyết tập ngẫu nhiên tổng quát tự nhiên biến ngẫu nhiên véctơ ngẫu nhiên Tập hợp liệu ngẫu nhiên xem quan sát không xác, không đầy đủ thường xuyên xã hội công nghệ ngày Khi mô hình cho thiết lập giá trị quan sát sở để thu thập, nhận thức thông tin tập ngẫu nhiên loại liệu Như vậy, nghiên cứu tập ngẫu nhiên công cụ toán học để giải toán xác suất thống kê Các nghiên cứu tập ngẫu nhiên cho phép mở rộng thêm vài tính chất hàm phân phối, hàm mật độ, đặc trưng khác đại lượng ngẫu nhiên hữu hạn Chính vậy, chọn nghiên cứu đề tài “Tập ngẫu nhiên hữu hạn thống kê” Mục đích nghiên cứu: Trong luận văn này, khảo sát số định nghĩa đưa gần hàm phân phối, hàm mật độ tập ngẫu nhiên hữu hạn nghiên cứu tính chất chúng Đối tượng phạm vi nghiên cứu: Đối tượng nghiên cứu luận văn là: độ đo xác suất, tập ngẫu nhiên hữu hạn, miền tin cậy, thống kê Bayes, sử dụng nguyên lí entropy cực đại, mối quan hệ với tập ngẫu nhiên thống kê Phạm vi nghiên cứu thuộc lý thuyết độ đo tích phân lý thuyết xác suất thống kê Ý nghĩa khoa học thực tiễn đề tài: Tìm hiểu sâu tập ngẫu nhiên hữu hạn sở mở rộng lên tập vô hạn đếm Luận văn ý đến việc ứng dụng lý thuyết xác suất thống kê Cấu trúc luận văn: Nội dung luận văn trình bày chương: Chương 1: Trình bày số vấn đề lý thuyết độ đo, độ đo xác suất định nghĩa, tính chất khác có liên quan đến tập ngẫu nhiên hữu hạn Chương 2: Trình bày số tập ngẫu nhiên thống kê, lí thuyết cách xác định miền tin cậy,tìm hiểu thống kê Bayes tập ngẫu nhiên Chương 3: Trình bày tính chất hàm phân phối, hàm mật độ tập ngẫu nhiên hữu hạn Tìm hiểu công thức tính kì vọng, ứng dụng nguyên lí Entropy cực đại cho hàm định tập ngẫu nhiên CHƯƠNG 1: ĐẠI CƯƠNG XÁC SUẤT 1.1 Đại số σ -đại số Giả sử Ω tập tùy ý khác rỗng Kí hiệu (Ω) tập hợp gồm tất tập Ω Định nghĩa 1.1.1 Lớp  ⊂  (Ω) gọi đại số nếu: A1) Ω ∈  , A2) A ∈  ⇒ A = Ω \ A∈ , A3) A, B ∈  ⇒ A ∪ B ∈  Định nghĩa 1.1.2 Lớp  ∈ (Ω) gọi σ -đại số đại số ∞ A4) từ A n ∈  , n = 1,2,… suy  A ∈ n n =1 Định nghĩa 1.1.3 Lớp  ⊂ (Ω) khác rỗng gọi lớp đơn điệu nếu: ∞ a) An ∈ , An ⊂ An +1 , n = 1, 2, ⇒  An ∈ n =1 ∞ b) An ∈ , An ⊃ An +1 , n = 1, 2, ⇒  An ∈  n =1 Định nghĩa 1.1.4  { Ai , i ∈ I } họ tập khác rỗng, rời Một phân hoạch hữu hạn= cặp Ω hợp chúng Ω Định lí 1.1.5 Đại số  sinh phân hoạch hữu hạn  Ω gồm tất hợp họ có  (nếu  gồm n phần tử  có 2n phần tử) Ngược lại, đại số  gồm số hữu hạn tập Ω tập hợp nguyên tử  tạo thành phân hoạch hữu hạn Ω sinh  (ở A ⊂ Ω gọi nguyên tử  A ≠ ∅ ∅ ≠ B ⊂ A, B ∈  B = A ) Chứng minh: Phần đầu định lí hiển nhiên Để chứng minh phần sau ta giả thiết =  { Ai , i ∈ I } đại số hữu hạn Ω Xét họ = {B ⊂ Ω : B ≠ ∅ B =  Bi Bi Ai i∈I Ai } Khi  phân hoạch Ω gồm nguyên tử  sinh  Định lí 1.1.6 Giả sử  đại số Khi đó,  σ -đại số  lớp đơn điệu Chứng minh: Hiển nhiên  σ -đại số  lớp đơn điệu Ngược lại, giả sử Bn  lớp đơn điệu Khi ( An ) ⊂   đại số, = n  A ∈ , i i =1 Bn ⊂ Bn +1 , n = 1, 2, Từ đó,  lớp đơn điệu ∞ A n n =1 = lim ↑ Bn ∈  nên  σ n đại số; ta viết: = B lim ↑ Bn nghĩa ( Bn ) tăng B =  Bn , n n = B lim ↓ Bn nghĩa ( Bn ) giảm B =  Bn n n Định lí 1.1.7 Giả sử  đại số Khi σ -đại số sinh  trùng với lớp đơn điệu sinh  Chứng minh: Kí hiệu σ ( ) ( tương ứng m( ) ) σ -đại số ( tương ứng lớp đơn điệu) sinh  Vì σ ( ) lớp đơn điệu nên m( ) ⊂ σ ( ) Để chứng minh σ ( ) ⊂ m( ) ta cần chứng tỏ m( ) đại số Do theo định lí 1.1.6 m( ) σ -đại số Kí hiệu  = {B : B B ∈ m( )} Rõ ràng  ⊂  ⊂ m( ) Từ ta chứng minh  lớp đơn điệu  ≡ m( ) Giả sử ( Bn ) ⊂  dãy tăng, (Cn ) ⊂  dãy giảm tuỳ ý Khi Bn , Bn , Cn , Cn ∈ m( ) Do m( ) lớp đơn điệu nên = B lim ↑ Bn , lim ↑ Bn = lim ↓ Bn ∈ m( ) , n n n C = lim ↓ Cn , lim ↓ Cn = lim ↑ Cn ∈ m( ) , n n n B, C ∈  Điều có nghĩa  lớp đơn điệu Với A ∈ m( ) xét lớp A = {B : B AB ∈ m( )} Từ đẳng thức lim ABn = A lim Bn ( với dãy đơn điệu ( Bn ) bất kỳ) suy A n n lớp đơn điệu Nhưng với B ∈  ta có B ∈ A ⊂ m( ) Vì A = m( ) Từ hệ thức A ∈ B ⇔ B ∈ A suy A∈ B với A∈  B ∈ m( ) , hay  ⊂ B với B ∈ m( ) Vậy B = m( ) với B ∈ m( ) , nghĩa m( ) đóng với phép giao nên m( ) đại số Định nghĩa 1.1.8 Cho X không gian tôpô Ta gọi σ -đại số Borel X σ -đại số sinh họ tập mở X Kí hiệu  ( X ) Mỗi phần tử thuộc  ( X ) gọi tập Borel Định lí 1.1.9  () sinh họ tập sau  a Họ khoảng= mở 1 {(a, b) / a < b} = 2 {[a, b] / a < b} b Họ khoảng đóng = 4 {[a, b) / a < b} = 3 {(a, b] / a < b} c Họ khoảng nửa mở 5 {(a, +∞) / a ∈ } 6= {(−∞, a) / a ∈ } d Họ nửa đường thẳng mở = 7 {[a, +∞) / a ∈ } 8= {(−∞, a] / a ∈ } e Họ nửa đường thẳng đóng = Định nghĩa 1.1.10 Cho { X α }α ∈I họ tập khác rỗng, X = ∏ X α π α : X → X α ánh α ∈I xạ toạ độ thứ α Với α , cho α σ -đại số X α Ta gọi σ -đại số tích σ -đại số X α σ -đại số X sinh họ tập {π α−1 ( Eα ) / Eα ∈ α , α ∈ I } n Ta kí hiệu σ -đại số ⊗ α , I = {1,…,n} ta kí hiệu ⊗ j α ∈I 1 ⊗ ⊗ n Định lí 1.1.11 Nếu I tập đếm ⊗ α σ -đại số sinh họ tập α ∈I {∏ Eα / Eα ∈ α } α ∈I 1.2 Độ đo xác suất Định nghĩa 1.2.1 Cặp (Ω,  ), Ω ≠ ∅  σ -đại số tập Ω gọi không gian đo Định nghĩa 1.2.2 Cho  σ -đại số Ω Một hàm tập µ :  → [0; +∞] gọi độ đo  thoả điều kiện i) µ (∅) =0 ii) {E j } +∞ j =1 +∞ +∞ j =1 j =1 dãy tập rời thuộc  µ ( E j ) = ∑ µ (E j ) Độ đo µ  gọi hữu hạn µ ( E ) < +∞, ∀E ∈  Độ đo µ  gọi σ -hữu hạn tồn dãy µ ( E j ) < +∞, ∀j +∞ E j {E } j +∞ j =1 ⊂ , =X j =1 Độ đo µ  gọi độ đo đầy đủ E ∈  , µ ( E ) = F ⊂ E có F ∈  Khi mô hình thống kê X cho  ( F ) vấn đề tìm phần tử  ( F ) để đại diện cho quan sát X; thực hiện, ví dụ, cách sử dụng nguyên lí entropy cực đại Trong thực tế vấn đề liệu thô mà X không quan sát được, vấn đề xem có yếu tố  ( F ) mà làm cho S mô hình CAR Trong trường hợp, mô tả rõ ràng  ( F ) hữu ích Thật vậy, Đặt Q ∈  ( F ) mà F ≤ Q= để π ( A) f ( A) / Q( A) ∈ [0,1] Tồn mô hình CAR Q ∈  ( F ) cho f ( A) ∑ Q( A) = 1, ∀x ∈U A∋ x Bây giờ, Q ∈  ( F ) tương đương Q = Qα , α : U × 2U \{∅} →  + thỏa ∀A ⊂ U , ∑ = α ( x, A) f ( = A), gα ( x) x∈ A ∑ α ( x, A) A∋ x Vì vậy, vấn đề tìm α (nếu có) để Qα ( A) = ∑ gα ( x) x∈ A f ( A) = 1, ∀x ∈ U α ( A) ∑Q A∋ x 3.3 Hàm định với tập ngẫu nhiên Định nghĩa 3.3.1 Cho u biến ngẫu nhiên khả tích xác định không gian xác suất (U,  ,P) giá trị kì vọng viết EP (u ) = ∞ ∞ ∞ 0 + − ∫ P(u > t )dt − ∫ P(u > t )dt = ∫ P(u > t )dt + ∫ ( P(u > t ) − 1)dt −∞ Nhận xét 3.3.2 u + u − phần dương phần âm u Đặc biệt P thay hàm khả F EP tổng quát tích phân Choquet EF (u= ) ∞ 0 −∞ ∫ F (u > t )dt + ∫ ( F (u > t ) − 1)dt Nếu u ≥ số hạng thứ hai định nghĩa biến Ta ý định nghĩa ∞ 0 −∞ thu ∫ P(u > t )dt + ∫ ( P(u > t ) − 1)dt cách thay P F định nghĩa với u ≥ sử u u + − u − Điều cần thiết EF toán tử cộng tính dụng = Khi U hữu hạn việc tính EF (u ) đơn giản Giả sử U = {θ1 ,θ , ,θ n } với trật u (θ1 ) ≤ u (θ ) ≤ ≤ u (θ n ) tự = EF (u ) n ∑ u (θ )[ F ({θ ,θ i =1 i i i +1 ta có , , θ n }) − F ({θi +1 , θi + , , θ n })] = Đặt g (θi ) F ({θi ,θi +1 , ,θ n }) − F ({θi +1 , θi + , , θ n }) hàm mật độ xác suất U để tích phân Choquet EF (u ) kì vọng xác suất thường Định lí sau chứng tỏ sử dụng EF (u ) với hàm định dẫn tới cách làm cho giá trị kì vọng xác suất nhỏ Nếu g hàm mật độ U, P g độ đo xác suất 2U F lớp hàm mật độ g U thỏa Pg ≥ F Định lí 3.3.3 Cho U tập hữu hạn, u : U →  F hàm phân phối tập ngẫu nhiên E= inf{EP (u ) : f ∈ F } S Khi tồn hàm g ∈ F thỏa E= F (u ) P (u ) g f Chứng minh = Theo trên, ta đặt g (θi ) F ({θi ,θi +1 , ,θ n }) − F ({θi +1 , θi + , , θ n }) với Ai = {θi ,θi +1 , ,θ n } , ta có g (θi ) = F ( Ai ) − F ( Ai \ {θi }) = ∑ m( B ) − B ⊂ Ai điều chứng tỏ g ∈ F ∑ B ⊂ Ai \{θi } m( B ) = ∑ m( B ) , θi ∈B ⊂ Ai Phần lại ta chứng tỏ ∀t ∈  với tất f ∈ F ∞ EPf (= u) ∫ Pf (u > t )dt + 0 ∫ ( P (u > t ) − 1)dt ≥ E f −∞ n (θ ) ∑ m( B) , ∑ g= k k =i Pg (u ) (u > t ) = (θi ,θi +1 , ,θ n ) Bằng cách xây dựng g, ta có Thật vậy, đặt Pg (u= > t) ta có tổng tất tập {θi ,θi +1 , ,θ n } n Nếu f ∈ F Pf (u > t ) = ∑ f (θk ) , tập thuộc A mà m(A) phân phối k =i theo θ k với k ≥ i lớn với tập thuộc B Ví dụ 3.3.4: [9] tr 57 Đặt Θ ={1,5,10, 20} với thông tin phân phối xác P{1} ≥ 0.4 , P{5} ≥ 0.2 , P{10} ≥ 0.2 , P{20} ≥ 0.1 Đặt  bao gồm tất P thỏa mãn điều kiện Ta mô tả mô hình  {P : F ≤ P} bằng= A ∈ 2Θ , = F ( A) inf{P( A) : P ∈ } Nếu ta đặt m{1} = 0.4 , m{5} = 0.2 , m{10} = 0.2 , m{20} = 0.1 m{1,5,10, 20} = 0.1 , kiểm tra F ( A) = ∑ m( B) , để F hàm phân B⊂ A phối tập ngẫu nhiên Θ Đặt  = { f1 , f , f3 , f } : Θ 10 20 f1 0.5 0.2 0.2 0.1 f2 0.4 0.3 0.2 0.1 f3 0.4 0.2 0.3 0.1 f4 0.4 0.2 0.2 0.2 Nếu F ( A) = Pf ( A) ta dễ dàng kiểm tra P( A) = ∑ m( B) , m i i B⊂ A cho F ({1, 2,3, 4}) − F ({2,3, 4}) =− 0.5 = 0.5 , Bây g thay f1 g (1) = g (2) = F ({2,3, 4}) − F ({3, 4}) = 0.5 − 0.3 = 0.2 , g (3) = F ({3, 4}) − F ({4}) = 0.3 − 0.1 = 0.2 , = g (4) F= ({4}) 0.1 EF (u ) = ∑ u (i) g (i) =1× 0.5 + × 0.2 + 10 × 0.2 + 20 × 0.1 =5.5 Giá trị kì vọng nhỏ tất mật độ tương ứng với mF Cụ thể, mF ({1, 2,3, 4}) = 0.1 , tất chia phần với 1, u(1) nhỏ tất giá trị khác u Điều tổng quát Cụ thể, EF (u ) = EP (u ) , g mật độ tương ứng với mF với kết g kì vọng nhỏ 3.4 Kì vọng tập ngẫu nhiên Theo mục 3.3 hàm định tập ngẫu nhiên dựa entropy cực đại, dẫn tới lựa chọn hàm mật độ f ∈ m để đến kì vọng hữu ích E f (u ) Với f ∈ m tìm nhiều hàm tập ϕ : 2U →  thỏa E= E= f ( A) m ( A) ∑ ϕ ( A)m( A) A∈2U Xác định ϕ tùy ý phần tử 2U trừ vài tập A mà m( A) ≠ định nghĩa ϕ ( A) = E f (u ) − ∑ ϕ ( B)m( B) B≠ A m( A) Nói cách khác ta lựa chọn ϕ xem xét Em (ϕ ) = ∑ ϕ (a)m(a) Một hàm tập ϕ lựa chọn cho hàm định sau Với = ϕ ρ ( A) ρ max{u (θ ) : θ ∈ A} + (1 − ρ ) min{u (θ ) : θ ∈ A} Ta nhận ρ ∈ [0,1] , định nghĩa Em (ϕ ρ ) = E f (u ) hàm mật độ f xây dựng sau: Bổ sung U = {θ1 ,θ , ,θ n } thứ tự để u (θ1 ) ≤ u (θ ) ≤ ≤ u (θ n ) f xác  { A : θi ∈ A ⊂ {θ1 ,θ , ,θi }} định bởi= f (θi ) ρ ∑ m( A) + (1 − ρ ) ∑ m( A) , = A∈ A∈  { A : θi ∈ A ⊂ {θi ,θi +1 , ,θ n }} = Nghĩa là, với Θi , tập A chứa θi làm cho phần tử θ j với j ≤ i theo tỉ lệ ρ tập A chứa θi làm cho phần tử θ j với j ≥ i theo tỉ lệ − ρ m(A) f (θi ) Nếu ρ = = E f (u ) min{Eh (u ) : h ∈ m } Ta thấy giá trị {u (θ ) : θ ∈ A} tập di chuyển bên số ρ max{u (θ ) : θ ∈ A} + (1 − ρ ) min{u (θ ) : θ ∈ A} Nhận xét i) Số hàm max u ii) Sự di chuyển dựa vào tham số ρ cung cấp hàm định Có nhiều cách tổng quát để lựa chọn ϕ Với A mà m(A) > hàm định véctơ ( w1 ( A), w2 ( A), , w A ( A)) với wi ( A) ≥ cho ∑ u w ( A) , ui i i ∑ w ( A) = ϕ ( A) i giá trị u (θ ) với θ ∈ A xếp theo trật tự tăng dần độ lớn Việc chọn véctơ cho hàm định dựa vào vài nguyên lí ví dụ nguyên lí entropy cực làm rõ véctơ Ví dụ chọn ( w1 ( A), w2 ( A), , w A ( A)) để ∑ w ( A) log(w ( A)) i i cực đại với wi ( A) ≥ ∑ w ( A) = i A −i ∑ A − 1w ( A) = α i ϕ lựa chọn, kì vọng thường Em (ϕ ) sử dụng kì vọng hữu ích cho mục đích định Một hướng tổng quát để xác định khái niệm kì vọng hữu ích không gian (U , m, u ) lựa chọn hàm tập ϕ : 2U →  hình thức Em (ϕ ) Vận dụng nguyên lí entropy cực đại hợp lí để làm hàm định cho vấn đề 3.5 Phân phối Entropy cực đại Mô hình Entropy cực đại mô hình dựa xác suất có điều kiện cho phép tích hợp thuộc tính đa dạng từ liệu mẫu nhằm hỗ trợ cho trình thống kê Ví dụ 3.5.1 Trước trình bày mô hình Entropy cực đại, xem xét ví dụ đơn giản sau Xét trình ngẫu nhiên: gieo súc sắc cân đối đồng chất Quan sát 1000 lần thử, thống kê xác suất mặt ta có nhận xét: ∑ p(i) = (3.5.1) i =1 p(i) xác suất xuất mặt i chấm Dễ dàng nhận thấy có nhiều nghiệm thỏa mãn phương trình (3.5.1), ví dụ với p(1) = tất mặt khác có xác suất nghĩa mặt xuất mặt Tuy nhiên, ta biết thực tế trình sinh mặt ngẫu nhiên nên phân phối giống phân phối thực là: xác suất xuất cho mặt nhau, hay nói cách khác phân phối xác suất phân phối đều: p(1) = p(2) = p(3) = p(4) = p(5) = p(6) = 1/6 Giả sử, lí sản xuất đó, súc sắc bị lệch hai mặt chiếm 50% số lần tung: p(1) + p(4) = 1/2 (3.5.2) Vì phân phối xác suất mặt tuân theo phương trình (3.5.1) nên ta có: p(2) + p(3) + p(5) + p(6) = 1/2 (3.5.3) Rõ ràng có nhiều phân phối thỏa mãn cho phương trình (3.5.2) (3.5.3), ví dụ với p(1) =1/3, p(4) = 1/6 p(2) = 1/2, mặt 3, 5, có xác suất xuất Tuy nhiên, lại lần ta thấy rằng, phân phối giống phân phối thực là: p (1) = p(4) = 1/4 p(2) = p(3) = p(5) = p(6) = 1/8 Dữ liệu giới thực vô hạn, khó đoán nhận, ta mong muốn xây dựng mô hình mà ước lượng gần với phân phối thực thông qua tập liệu mẫu Qua ví dụ vừa nêu có nhận xét rằng: tập liệu mẫu mà ta có được, mô hình có phân phối gần giống với phân phối thực Vì vậy, vấn đề đặt là: làm để mô vậy? Phương pháp entropy cực đại cho phép tìm mô hình Tư tưởng chủ đạo nguyên lí entropy cực đại đơn giản: ta phải xác định phân phối mô hình cho phân phối tuân theo giả thiết quan sát từ thực nghiệm, không cho thêm giả thiết khác Điều có nghĩa phân phối mô hình phải thỏa mãn ràng buộc quan sát từ thực nghiệm, phải gần với phân phối Entropy độ đo tính đồng hay tính không chắn phân phối xác suất Một phân phối xác suất có entropy cao phân phối Khi thông tin tập ngẫu nhiên hữu hạn để nói tập U Nó làm cho phần tử U bình đẳng, nghĩa giúp U có phân phối đồng Nếu xảy phần tử U điều khiển hàm mật độ xác suất f U, độ đo không chắn tượng entropy f, hay H ( f ) = −∑ f (θ ) log( f (θ )) θ Tình mà xét Đặt U = {θ1 ,θ , ,θ n } − ∑αi = ε Vấn đề phân m mật độ 2U với m({θi }) = α i m(U ) = chia ε theo α i để kết mật độ U có entropy lớn Tức là, viết ) α i + ε i lớn ε = ∑ ε i với ε i ≥ để entropy hàm mật độ f cho f (θi= Đây tường thuật rõ ràng vấn đề Vấn đề 3.5.2 Với i = 1, 2, , n Đặt α i ≥ , ε i ≥ ∑α + ∑ ε i i Xác định ε i = −∑ (α i + ε i ) log(α i + ε i ) lớn mà H (ε1 , ε , , ε n ) = Bổ đề 3.5.3 Với x c - x dương L( x) = −[(c − x) log(c − x) + x log( x)] tăng theo x c - x > x Chứng minh Lấy đạo hàm L '( x) =1 + log(c − x) − − log( x) =log(c − x) − log( x) dương c – x > x Bây bổ sung α i ε i thỏa mãn điều kiện vấn đề Ta quan tâm lượng lớn −∑ (α i + ε i ) log(α i + ε i ) Bổ sung thêm α i + ε i < α j + ε j (ở H (ε1 , ε , , ε n ) = δ > 0, ε j − δ > α i + ε i + δ < α j + ε j − δ Dựa vào bổ đề i H (ε1 , ε , , ε n ) Kết cuối phân bố ε1 , ε , , ε n ε để H lớn nhất, α i + ε i < α j + ε j phải có ε j = Bây giờ, đặt hệ số hóa α i mà α1 ≤ α ≤ ≤ α n Vì vậy, để H lớn nhất, ta phải có α1 + ε1 = α + ε = = α k + ε k ≤ α k +1 ≤ ≤ α n (3.5.4) với α k +i = với i > k n Có phép gán ε i giống Với phân bố khác γ , γ , , γ n ε , vài ε i < γ i vài ε j < γ j , trường hợp α j + γ j < α i + γ i với γ i > Nhưng (3.5.4) tính chất này, có phân phối thỏa mãn (3.5.4) Để có ε i thỏa mãn (3.5.4), đặt δ=i α k − α i , i = 1, 2, , k với k lớn mà ∑δ n i ≤ ε Bây đặt ε i = δ i + (ε − ∑ δ i ) / k , i = 1, 2, , k , ε i = với i > k Từ ∑ ε=i n ∑ (δ =i =i i + (ε − ∑ δ i ) / k= ) ε, với i < k α i + ε i = α i + δ i + (ε − ∑ δ i ) / k = α i + α k − α i + (ε − ∑ δ i ) / k = α k + (ε − ∑ δ i ) / k = α k + ε k Do có tập ε i thỏa mãn (3.5.4) tập mà H lớn Ta gọi phân phối phân phối chuẩn Tại điểm ta phân phối H lớn H lớn phân phối thực Tồn H lớn sau từ định lí tổng quát Một tập điểm {(ε1 , ε , , ε n ) : ε i ≥ 0, ∑ ε i = c} với số c tập đóng bị chặn  n , −∑ (α i + ε i ) log(α i + ε i ) hàm liên tục lớn ảnh  H (ε1 , ε , , ε n ) = Có vài ưu điểm đưa dẫn chứng xây dựng phân phối H lớn Ta có phân phối xây dựng Nhưng để lớn cho H, ta yêu cầu phải tồn lí thuyết tổng quát Ở việc xây dựng chứng mà chuẩn cấu hình α1 + ε1 = α + ε = = α k + ε k ≤ α k +1 ≤ ≤ α n H cực đại Đầu tiên ta nhận xét ∑α + ∑ ε i i = không thảo luận trên, có tổng số dương Bổ sung γ , γ , , γ n phân phối ε , với α1 ≤ α ≤ ≤ α n Đặt i số nhỏ mà ε i ≠ γ i Nếu ε i > γ i số i1 , i2 , , im mà ε i + j > γ i thỏa mãn j ∑γ j ij − ∑ ε i j ≥ ε i − γ i (vài ε i j 0) Điều đơn giản j Do ta có α i + γ i > α i + ε i ≥ α i + ε i > α i + γ i Đặt δ i j j j j j ∑γ = ∑ε j j thỏa γ i − δ i ≥ , j j α i + γ i − δ i ≥ α i + γ i α i + ε i = α i + γ i + ∑ δ i Với bổ đề trên, phân phối chứa γ j j j j j cách thay γ i γ i − δ i γ i γ i + ∑ δ i có entropy lớn Sự j j j j j phân phối có số hạng thứ i ε1 , ε , , ε i Định lí 3.5.4 Đặt U = {θ1 ,θ , ,θ n } m hàm mật độ 2U với m(θi ) = α i m(U ) = − ∑ α i Có mật độ xác f U tương thích với m có entropy lớn nhất: H ( f ) = −∑ f (θ ) log( f (θ )) θ ) α i + ε i Nếu α1 ≤ α ≤ ≤ α n hàm mật độ cho f (θi= εi ≥ , k ∑ε i =1 i = m(U ) α1 + ε1 = α + ε = = α k + ε k ≤ α k +1 ≤ ≤ α n Hàm mật độ xây dựng cách đặt α i theo trật tự tăng, đặt δ=i α k − α i , i = 1, 2, , k với k lớn mà ∑δ i ≤ m(U ) , đặt ε i = δ i + (m(U ) − ∑ δ i ) / k , i = 1, 2, , k đặt ε i = với i > k Việc thảo luận tổng quát trường hợp thay m({θi }) = α i , ta có m({Θi }) = α , Θ1 , Θ2 , , Θn phân hoạch U Đầu tiên ta quan sát có phép gán entropy cực đại Tập gán tập đóng bị chặn  U , entropy hàm liên tục  đạt lớn Entropy cực đại đạt gán θ Θi m(Θi ) / Θi Để nhìn thấy điều này, ý hai điểm Θi phải xác suất Nếu hai điểm Θi gán xác suất α + ε β + γ , với α , β từ m(Θi ) ε , γ từ m(U), α + β < ε + γ , β , γ dương, với bổ đề phần đổi chỗ α + ε để entropy tăng Vì entropy trở thành lớn nhất, α + β =ε + γ , rõ ràng ta cho α = β ε = γ Do để entropy cực đại, ta bắt đầu gán m(Θi ) số phần tử Cuối ta khẳng định có phép gán entropy cực đại Nhận xét 3.5.5 Trong trường hợp này, đặt F hàm phân phối 2U Đặt F lớp tất hàm mật độ g U mà F ≤ Pg Tìm khẳng định để tính toán mật độ m với nguyên lí entropy cực đại Kết luận 3.5.6 Đặt U : Γ × U →  hàm hữu ích vấn đề định Hành động tối ưu điều kiện kì vọng hữu ích đòi hỏi thông tin chắn U Khái niệm giá trị kì vọng hữu ích thiết lập kì vọng toán, phần tử U, xác định mật độ xác suất f Vấn đề định bao gồm E f u (a,θ ) lớn a Γ Nếu thông tin xác suất U rõ ràng, ví dụ hàm mật độ U biết vài sưu tập  mật độ vài tỉ lệ cần đưa để lựa chọn vài mật độ sưu tập nghiên cứu trường hợp mật độ biết 3.6 Quan hệ vấn đề entropy cực đại với tập ngẫu nhiên Vấn đề chuẩn entropy cực đại xác suất thống kê, hạn chế hình thức ta biết Vấn đề entropy cực đại trên, hạn chế tập mật độ U Dưới quan hệ vấn đề entropy cực đại với tập ngẫu nhiên mà hạn chế hình thức kì vọng kích cỡ tập ngẫu nhiên (khi tập ngẫu nhiên S hữu hạn, kì vọng số phần tử nó) Nếu S tập ngẫu nhiên U = {u1 , u2 , , un } kì vọng E ( S ) = θ , A) P= ( S A) , A ⊂ U (1 < θ < n) , mật độ entropy cực đại S, tức là, PS (= nghiệm sau Max{− ∑ PS ( A) logPS ( A)} với A⊂U PS ( A) ≥ 0, ∑ PS ( A) = 1, i) A⊂U E( S ) = θ ii) n Chú ý E ( S ) = ∑ jq j q j = ∑ PS ( A) tổng tất A ⊂ U mà j =1 pi , i 1, 2, ,= 2n − m xác suất PS ( A), A ⊂ U A = j Để kí hiệu đơn giản, đặt= n} , i 1, 2, ,= 2n − m E ( S ) viết (bao gồm tập trống) đặt ∈ {1, 2, ,= m ∑a p i =1 i i m Vấn đề điều khiển tối ưu trở thành MaxH ( S ) = −∑ pi log pi với i =1 m i) pi ≥ 0, ∑ pi = 1, i =1 m ii) ∑a p i =1 i i =θ Chú ý pi p j xác suất hai tập A B mà A = B , a=i a= A Tổng j n ∑a p i =1 i i không kì vọng biến ngẫu nhiên X với giá trị , i = 1, 2, , m phân phối pi , i = 1, 2, , m , không phân biệt, E ( S ) , S cho giá trị {1, 2, , n} với phân phối p j , j = 1, 2, , n Quá trình đơn giản trường hợp biến ngẫu nhiên Sử dụng kĩ thuật nhân Lagrange, m m  m  L(α , β , p ) = −∑ pi log pi + α  ∑ pi − 1 + β  ∑ pi − θ  =i =  i 1=  i  m m  −α − β  log + + p e α p β ∑ i p ∑ ∑ pi  i i =i =i =  i  = m m m m ≤ ∑ e −α − β − + α ∑ pi + β ∑ pi =i =i =i (sử dụng log x ≤ x − ) với đẳng thức, pi = e −α − β m ∂L (α , β , p ) =0 ⇒ α =log φ ( β ) , φ ( β ) = ∑ e − β ∂α i =1 ∂L φ '( β ) − β = −θ (α , β , p) = 0⇒ pi = e ∂β φ (β ) φ (β ) β nghiệm phương trình φ '( β ) + θφ ( β ) = Để thấy điều đúng, xét không gian độ đo hữu hạn (Ω,  , µ ) với µ (Ω)= 2n − 1= m xét ánh xạ độ đo ) Y : (Ω,  , µ ) → {1, 2, , n} mà µ (ω : Y (ω= = φ (β ) m n n e − β ∑= β e β ∑ = e ∫  j Nhân phương =i =i ∫ [θ − Y (ω )]e (θ −Y (ω )) β − Y (ω ) −i n j= )   , j = 1, 2, , n Ta viết  j d µ (ω ) Ω trình cho φ '( β ) + θφ ( β ) = eβ Ta có d µ (ω ) = Ω Chú ý θ ≠ EY Tập g (ω )= θ − Y (ω ) Rõ ràng hàm độ đo g bị chặn trung bình < θ < n , ta có µ{ω : g (ω ) > 0} > , µ{ω : g (ω ) < 0} > β g (ω ) Vì vậy, hàm β ∈  → V ( β ) = ∫ g (ω )e d µ (ω ) tăng ngặt, với V (+∞) = +∞ , Ω V (−∞) = −∞ Do V ( β ) = nghiệm Vì pi = − β e , ta thấy a=i a=j k pi = p j , tức tính phân φ (β ) p ( p1 , p2 , , pm ), m = 2n − tập ngẫu nhiên S đặt lượng giống phối tắc = tập U có số phần tử giống KẾT LUẬN Trong chương 2, đưa cách xác định miền tin cậy tập ngẫu nhiên, bước đầu tìm hiểu thống kê Bayes liên quan đến tập ngẫu nhiên Trong chương 3, trình bày định nghĩa, tính chất hàm phân phối, hàm mật độ tập ngẫu nhiên Định nghĩa chứng minh tính chất yếu tố tập giá trị quan sát Cơ sở lí thuyết nguyên lí Entropy cực đại ứng dụng mối quan hệ với tập ngẫu nhiên Trong luận văn này, chưa lấy thật nhiều ví dụ ứng dụng đặc biệt vấn đề liên quan đến nguyên lí Entropy cực đại, chưa mở rộng vấn đề tập đếm vô hạn Cuối cùng, kính mong nhận xét bảo tận tình Quý Thầy Cô để có thêm kinh nghiệm học hỏi nhiều đường học vấn TÀI LIỆU THAM KHẢO [1] Đậu Thế Cấp, Bùi Đình Thắng (2008), “Dung lượng không gian tôpô”, Tạp chí Khoa học, Đại học Sư phạm TP.HCM [2] Đậu Thế Cấp (2009), Độ đo tích phân, NXB Giáo dục [3] Đậu Thế Cấp (2009), Xác suất thống kê Lí thuyết tập, NXB Giáo dục [4] Phan Phụng Hiệp (2008), Lý Thuyết dung lượng không gian Tôpô, Luận văn Thạc Sĩ Toán Học, Giải tích K16, ĐHSP TP.HCM [5] Nguyễn Chí Long (2008), Xác suất thống kê trình ngẫu nhiên, NXB Đại học Quốc gia TP.HCM [6] Nguyễn Duy Tiến, Vũ Viết Yên (2009), Lí Thuyết Xác Suất, NXB Giáo dục [7] Nguyễn Hải Triều Anh (2010), Tuyển tập báo cáo Hội nghị sinh viên nghiên cứu Khoa học lần thứ Đại học Đà Nẵng [8] Nguyễn Thị Thùy Linh (2006), Phân lớp tài liệu web, độc lập ngôn ngữ, Khóa luận tốt nghiệp đại học, Trường đại học công nghệ, Đại học quốc gia Hà Nội [9] Hung T Nguyen (2006), An introduction to random sets, Chapman London, New York [10] G Matheron (1975), Random sets and integral geometry, J Wiley, New York [...]... các tập Borel tương ứng thì phần tử Khi= ngẫu nhiên tương ứng gọi là biến ngẫu nhiên (thực), biến ngẫu nhiên phức hay véctơ ngẫu nhiên d-chiều Véctơ ngẫu nhiên d-chiều được biểu diễn duy nhất dưới dạng X = ( X 1 , , X d ) , trong đó X k = π k 0 X , π k là ánh xạ chiếu từ  d lên tọa độ thứ k Vì π k là các hàm liên tục nên X k là biến ngẫu nhiên Đảo lại, nếu X k là biến ngẫu nhiên thì X là véctơ ngẫu nhiên. .. x)Λ(dx) trong đó  π (= x) P( x ∈ S ) d là hàm phủ của tập S Từ định lí Fubini sử dụng cho độ đo σ - hữu hạn và theo công thức Robbins ta được E S = ∑ π (u ) với tập ngẫu nhiên hữu hạn S là con của u∈U tập hữu hạn U bằng cách xem xét độ đo đếm được 2.2 Thống kê Bayes Trước hết chúng ta đưa ra ví dụ về xác suất không chính xác Ý nghĩa của ví dụ này, ta chỉ có thể chỉ định một phần phân phối của biến ngẫu. .. xét tập  gồm các tập B ∈  sao cho P ( B ) = sup P ( A) Dễ dàng thấy rằng A∈ , A⊂ B  là lớp đơn điệu, chứa 0 Do đó,  =  1.3 Phần tử ngẫu nhiên, biến ngẫu nhiên, véctơ ngẫu nhiên Định nghĩa 1.3.1 Giả sử (Ω,  ) và ( E ,  ) là hai không gian đo Ánh xạ f : Ω → E được gọi là đo được, hay phần tử ngẫu nhiên nhận giá trị trong E nếu f −1 ( A) ∈  với mỗi A∈ Đôi khi f còn được gọi là phần tử ngẫu. .. được và tập các số { pi , i ∈ I } + Ngược lại, nếu cho tập= như trên thì có một biến ngẫu nhiên rời rạc X với tập giá trị S và có bảng phân phối  pi , x = xi 0, x ∉ {xi , i ≥ 1} ở trên Đôi khi hàm số p( x) =  còn được gọi là hàm mật độ của biến ngẫu nhiên rời rạc X c= 0 , F = Fac Khi đó F có dạng (1.4.2) Biến ngẫu nhiên + Trong trường hợp c= 1 3 có hàm phân phối như vậy gọi là biến ngẫu nhiên có... chúng ta cần thiết lập khái niệm tập ngẫu nhiên trong  d với cách mà Λ ( S ) là biến ngẫu nhiên (không âm) Đặt  là không gian của tất cả các tập đóng trong  d và  (  ) là σ -đại số Borel có cấu trúc liên kết trên  Tập ngẫu nhiên đóng S là ánh xạ từ Ω đến  và  -  (  ) đo được (tức là S là yếu tố xác định trên không gian xác suất (Ω,  , P ) , với giá trị trong không gian (  ,  (  )) Độ... (C )] ∈  = Y −1 (C ) X −1[ϕ −1 (C )] ∈  và Y là biến ngẫu nhiên Do đó, Định lí 1.3.9 n X −1 (∏ (−∞, xi )) ∈ i =1 Giả sử ( X n , n ≥ 1) là dãy biến ngẫu nhiên và sup X n , inf X n hữu hạn trên Ω Khi n n đó, sup X n , inf X n , lim sup X n , lim inf X n là các biến ngẫu nhiên Đặc biệt nếu n n n n lim X n = X , X hữu hạn thì X cũng là biến ngẫu nhiên Chứng minh: − sup(− X n ) , Từ các đẳng thức inf... mật độ của biến ngẫu nhiên và vécto ngẫu nhiên Định nghĩa 1.4.1 Giả sử X là phần tử ngẫu nhiên xác định trên (Ω,  ,P) nhận giá trị trên ( E ,  ) Hàm= tập P X ( B) P( X −1 ( B)), B ∈ , được gọi là phân phối của X trên ( E ,  ) Đó là một độ đo xác suất còn được gọi là ảnh của P qua X, kí hiệu là X(P) Khi ( E ,  ) = (T ,  (T )) , phần tử ngẫu nhiên X còn được gọi là hàm ngẫu nhiên Nếu T ⊂ ... ngẫu nhiên suy rộng nếu {ω : X (ω ) ∈ = (Ở đây  () là σ -đại số các tập Borel của trục thực  ) Thêm vào đó, nếu X : Ω →  = (−∞; +∞) thì ta có khái niệm biến ngẫu nhiên Giả sử  ⊂  () và  () = σ ( ) thì ánh xạ X : (Ω,  ) → (,  ()) là biến ngẫu nhiên suy rộng khi và chỉ khi X −1 (C ) ∈  với mỗi C ∈  Định lí 1.3.6 Giả sử X : Ω →  Khi đó các mệnh đề sau tương đương a) X là biến ngẫu nhiên. .. X tại ω1 và ω2 tương ứng Tập A1 × A2 ⊂ Ω1 × Ω 2 được gọi là tập chữ nhật Bây giờ, giả sử (Ω1 , 1 ), (Ω 2 , 2 ) là hai không gian đo, tập chữ nhật A1 × A2 với Ai ∈ i , i = 1, 2 gọi là tập chữ nhật đo được Dễ dàng thấy rằng tập hợp 0 gồm các tập con của Ω là tổng của một số hữu hạn các hình chữ nhật đo được rời nhau lập thành một đại số tập hợp σ -đại số sinh bởi 0 hay bởi 1 × 2 kí hiệu là 1... n − µ ) / V < t2 ) =− tốt nhất mức 1 − α được xác định khi chiều dài của biến ngẫu nhiên là ngắn nhất Cụ thể S = U − L = V (t2 − t1 ) Vì vậy ta có thể chọn t1 , t2 bằng cách giảm thiểu n [ L, U ] = [Xn − chiều dài kì vọng E S của tập ngẫu nhiên S = V V t2 , X n − t1 ] n n Trường hợp nhiều tham số Chiều dài của tập ngẫu nhiên S được thay thế bằng độ đo Lebesgue Λ ( S ) của nó Chúng ta sẽ đối mặt với ... 1.3 Phần tử ngẫu nhiên, biến ngẫu nhiên, véctơ ngẫu nhiên 15 1.4 Hàm phân phối, hàm mật độ biến ngẫu nhiên vécto ngẫu nhiên 20 CHƯƠNG II: MỘT VÀI TẬP NGẪU NHIÊN TRONG THỐNG KÊ 27 2.1... chất khác có liên quan đến tập ngẫu nhiên hữu hạn Chương 2: Trình bày số tập ngẫu nhiên thống kê, lí thuyết cách xác định miền tin cậy,tìm hiểu thống kê Bayes tập ngẫu nhiên Chương 3: Trình bày... nhiên không gian hữu hạn Các nghiên cứu tập ngẫu nhiên hữu hạn chương minh họa kết có nhiều không gian trừu tượng 3.1 Tập ngẫu nhiên phân phối chúng Trong chương này, U biểu thị tập hợp hữu hạn