Vector ngẫu nhiên

http://www.ebook.edu.vn Chương 3 VÉC TƠ NGẪU NHIÊN §3.5. SỰ HỘI TỤ CỦA DÃY CÁC BIẾN NGẪU NHIÊN Mục này trình bày bốn dạng hội tụ thông dụng nhất của dãy các BNN cũng như những định lý hạt nhân của lý thuyết xác suất về sự hội tụ của dãy các BNN độc lập: luật số lớn, định lý giới hạn trung tâm. Sự hội tụ của dãy các BNN dạng khác như xích Markov, martilgal… được trình bày ở chuyên khảo khác. 3.5.1. Các dạng hội tụ a)Định nghĩa. Giả sử X và , n = 1, 2, … là các BNN cùng xác định trên không gian xác suất ( n X ) ,,PΩℑ . (i) Ta nói dãy các BNN { } n X hội tụ chắc chắn tới BNN X và viết (hay (cc)) nếu cc n XX⎯⎯→ n X → X n n lim X ( ) X( ), →∞ ζ = ζ ∀ζ ∈Ω . (i) Ta nói dãy các BNN { } n X hội tụ hầu chắc chắn tới BNN X và viết (hay (hcc)) nếu tồn tại biến cố với P(A) = 1 sao cho hcc n XX ⎯⎯→ n X → X A ⊂Ω n n lim X ( ) X( ), A →∞ ζ = ζ ∀ζ∈ . (ii) Ta nói dãy các BNN { } n X hội tụ theo xác suất tới BNN X và viết nếu P n XX ⎯⎯→ { } n n lim P X X 0, 0. →∞ − ≥ε = ∀ε> (iii) Ta nói dãy các BNN { } n X hội tụ trung bình cấp p (0 < p < ∞ ) tới BNN X , và viết (hay theo trung bình cấp p), nếu L P n XX⎯⎯→ n X→ X p n EX , n< ∞∀ và p n n lim E X X 0 →∞ − = . (4i) Ta nói dãy các BNN { } n X hội tụ theo luật đến BNN X và ta viết hay ⇒ nếu L n X⎯⎯→X X n F X F XX n n lim F (x) F (x) →∞ = tại mọi điểm liên tục của hàm phân bố X F(x). Từ bất đẳng thức Liapunov (xem 5.2.1), hội tụ trung bình cấp p sẽ suy ra hội tụ trung bình cấp q với 0 < q < p. Tuy nhiên trong thực tế ứng dụng thì hội tụ trung bình cấp hai là quan trọng nhất; hội tụ trung bình cấp hai còn gọi là hội tụ bình phương trung bình hay MS - hội tụ (mean square convergence), ký hiệu MS n XX,(n⎯⎯→ → ∞) hay n l.i.m. X X= 23 http://www.ebook.edu.vn (l.i.m. là viết tắt của chữ limit in mean). Riêng với hội tụ theo luật, các BNN và X có thể xác định trên những không gian xác suất khác nhau. n X b. Tiêu chuẩn Cauchy về sự hội tụ Áp dụng tiêu chuẩn Cauchy về sự hội tụ của dãy số thông thường cũng như một vài kỹ thuật khác, chúng ta phát biểu các tiêu chuẩn Cauchy sau đây về sự hội tụ của dãy các BNN. ¦ u điểm của các tiêu chuẩn Cauchy là không cần sự có mặt của BNN giới hạn X. Định nghĩa: Ta nói dãy các BNN { } n X là dãy Cauchy (hay dãy cơ bản) hầu chắc chắn, theo xác suất hay theo bình phương trung bình nếu lần lượt thoả mãn các tính chất sau: + Dãy { } n X(),n 1,2, .ζ = là dãy Cauchy với hầu hết ζ ∈Ω ; + , 0∀ε > { } nm PX X 0 −≥ε→ khi n,m →∞ ; + 2 nm E X X 0 khi n,m . −→ →∞ Định lý (tiêu chuẩn Cauchy). Dãy các BNN { } n Xhội tụ đến BNN X nào đó: (i) hầu chắc chắn khi và chỉ khi nó là dãy Cauchy hầu chắc chắn. (ii) theo xác suất khi và chỉ khi nó là dãy Cauchy theo xác suất; (iii) theo bình phương trung bình khi và chỉ khi nó là dãy Cauchy theo bình phương trung bình. Độc giả có thể tham khảo chứng minh trong các cuốn sách chuyên biệt về xác suất như [4], [11]. c. Mối quan hệ giữa các dạng hội tụ Chúng ta sẽ phát biểu định lý sau đây nêu lên mối quan hệ giữa các dạng hội tụ vừa nêu. Định lý . (i) Dãy { } n X hội tụ hầu chắc chắn sẽ hội tụ theo xác suất: hcc n XX ⎯⎯→ P n XX ⇒⎯⎯→ . (ii) Dãy { } n X hội tụ bình phương trung bình thì cũng hội tụ theo xác suất: MS P nn XXX ⎯⎯→ ⇒ ⎯⎯→ X. (iii) Dãy { } n X hội tụ theo xác suất thì cũng hội tụ theo luật: XX PL nn XX. ⎯⎯→⇒ ⎯⎯→ Mối quan hệ giữa các dạng hội tụ thể hiện ở giản đồ sau hầu chắc chắn Theo xác suất Theo trung bình Theo luậtChắc chắn Ngoài ra, quan hệ sau đây cũng hay được sử dụng: Định lý. Nếu dãy các BNN {X hội tụ theo xác suất đến X thì có thể tích ra một dãy con { hội tụ hầu chắc chắn đến X. n } n k X ,k 1,2, .} = 24 http://www.ebook.edu.vn 3.5.2. Các định lý giới hạn. Các định lý giới hạn ở mục nhỏ này khảo sát dáng điệu của tổng các BNN độc lập cũng phân bố khi số các số hạng tăng lên vô hạn, bao gồm luật yếu số lớn, luật mạnh số lớn và định lý giới hạn trung tâm. Trước hết, chúng ta tìm hiểu bất đẳng thức Chebyshev. Ngoài việc dùng để chứng minh luật yếu số lớn, bất đẳng thức này còn được ứng dụng vào nhiều mục đích khác. a. Bất đẳng thức Chebyshev Giả sử X là BNN với kỳ vọng EX và phương sai DX hữu hạn. Khi đó, xảy ra bất đẳng thức: 0∀ε > {} 2 D[X] PX E[X] .−≥ε≤ ε (3.5.1) Chứng minh. Chúng ta chứng minh cho trường hợp X có hàm mật độ, ta có: E[X] 22 D[X] (x E[X]) f(x)dx (x E[X]) f(x)dx −ε +∞ −∞ −∞ =− ≥ − ∫∫ {} 22 E[X] (x E[X]) f(x)dx P X E[X] . +∞ +ε + −≥ε− ∫ ≥ε Nhận được đpcm.  Đôi khi dạng sau đây của (3.5.1) cũng rất tiện lợi: {} 2 D[X] PX E[X] 1 .−<ε≥− ε Đặc biệt, khi ε là một số nguyên lần độ lệch chuẩn chúng ta thu được {} 2 1 PX E[X] n 1 . n −<σ≥− Nếu chọn n = 3 thì {} 8 PX E[X] 3 . 9 − <σ ≥ (3.5.2) Bất đẳng thức (3.5.2) cũng được phát biểu dưới dạng quy tắc 3 σ : Mỗi BNN không lệch khỏi giá trị trung bình của nó một lượng 3 với xác xuất khá lớn. σ Chúng ta thấy xác suất “khá lớn” ở đây chỉ là 8/9, thấp hơn rất nhiều so với 0.9973 ở trường hợp X có phân bố chuẩn theo công thức (1.17). Như vậy, nếu biết thêm thông tin về tính chuẩn của BNN X, chúng ta có những khẳng định mạnh hơn về khả năng xuất hiện biến cố { } XE[X]3 .− <σ b. Luật yếu số lớn Cho dãy BNN { } n X độc lập, cùng phân bố với kỳ vọng i E[X ] m= và phương sai hữu hạn. Khi đó, với mọi 2 i D[X ] =σ 0 ε > cố định, 1n n X . X lim P 1. n →∞ ⎧⎫++ −µ <ε = ⎨ ⎩⎭ ⎬ (3.5.3) 25 Chứng minh. Từ giả thiết suy ra http://www.ebook.edu.vn 2 1n 1n X . X X . X E;D nn ++ ++ σ =µ = . n Áp dụng bất đẳng thức Chebyshev chúng ta có 2 1n 2 X . X P1 n n ⎧⎫ . + +σ −µ <ε ≥ − ⎨⎬ ε ⎩⎭ Chuyển qua giới hạn khi nhận được đpcm.  n →∞ Theo các dạng hội tụ xét đến ở mục 3.5.1, luật yêu số lớn chính là: Đối với dãy BNN độc lập, cùng phân bố với phương sai hữu hạn, dãy trung bình cộng hội tụ theo xác suất đến kỳ vọng chung của dãy. Định lý này được nêu ra bởi Bernoulli ở cuối thế kỷ 17 như là thành công đầu tiên của lý thuyết xác suất non trẻ. Thực ra, v ới cùng giả thiết, chúng ta còn thu được sự hội tụ hầu chắc chắn, dạng hội tụ mạnh hơn hội tụ theo xác suất. Đó là nội dung của luật mạnh số lớn, công trình thuộc về Kolmogorov. c.Luật mạnh số lớn Cho dãy BNN { } n X độc lập, cùng phần bố với kỳ vọng i E[X ] = µ và phương sai D[ hữu hạn. Khi đó 2 i X ] =σ 1n n X .X Plim 1 n →∞ ++ ⎧⎫ = µ= ⎨ ⎩⎭ ⎬ . (3.5.4) Chứng minh đầy đủ định lý này khá sâu sắc và chúng ta bỏ qua. Như vậy, với điều kiện nêu ra, dãy trung bình cộng ( ) 1n X . X / n++ hội tụ hầu chắc chắn đến kỳ vọng µ . Ví dụ 5. Xét dãy các phép thử Becnoulli. 26 i 1 X 0 ⎧ = ⎨ ⎩ Trung bình cộng () 1n n X . X X n + + = bằng - tần suất xuất hiện biến cố A trong n phép thử đầu tiên. Với P = P(A) ta có n f ii E[X] p;D[X] p(1 p).= =− nếu biến cố A xảy ra ở phép thử thứ i nếu trái lại Theo luật mạnh số lớn, tần suất hội tụ hầu chắc chắn đến E[ i X ] p P(A).== Như vậy, luật mạnh số lớn là cơ sở toán học của định nghĩa thống kê về xác suất, đưa ra ở giai đoạn đầu của lý thuyết này. Ví dụ 5 Hình 3 .(a) trình bày kết quả mô phỏng với BNN mũ X với kỳ vọng E[X] = 1. Theo các giá trị , chúng ta tính toán được trung bình cộng i X () 1n n X . X X. n ++ = Sau khoảng 200 phép thử chúng ta dường như nhận được sự ổn định. Hình 3 (b) chỉ ra hình ảnh của n {(X) } với 50 giá trị đầu, sự biến động dường như còn lớn. http://www.ebook.edu.vn ( ) n X 1 n 10 30 50400 1000 200 • n 6 • • • (a) (b) Hình 3. . Trung bình cộng của dãy BNN mũ kỳ vọng 1. Nhận xét: Sự hội tụ của dãy n {(X) } thường là chậm hơn rất nhiều so với sự hội tụ của dãy tất định hay gặp thông thường. Ví dụ, nếu chúng ta cần một ngưỡng xác suất (độ tin cậy) 95%, đối với BNN có , theo bất đẳng thức Chebychev chúng ta có thể đưa ra bảng sau đây về số phép thử cần thiết để trung bình cộng 1 σ= n (X) lệch khỏi kỳ vọng E[X] một lượng bé hơn . ε Sai số tuyệt đối ε 0,1 0,01 0.001 Số phép thử n 2 000 200 000 2 000 000 Gần đây người ta đưa ra những bất đẳng thức tinh vi hơn, số phép thử cần thiết giảm cỡ 5 lần. d) Định lý giới hạn trung tâm. n (X)Để nghiên cứu tỉ mỉ hơn về , hãy chuẩn hoá nó bằng cách đặt n n (X) Tn −µ = σ . Z ] 1. (3.5.5) Rõ ràng và D[ n E[T ] 0= n = Như vậy, kỳ vọng và phương sai của BNN giới hạn (nếu có) vẫn là 0 và 1 tương ứng. Câu hỏi đặt ra là: Hàm phân bố hay hàm mật độ (nếu có) của BNN giới hạn sẽ ra sao? Định lý sau đây trả lời cho câu hỏi này. Định lý (Định lý giới hạn trung tâm). Cho dãy BNN { } n X độc lập, cùng phân bố với kỳ vọng i E[X ] = µ và phương sai 2 i D[X ] = σ hữu hạn. Khi đó đối với dãy { } i T xác định theo (3.5.5) xảy ra đẳng thức: {} 2 t x 2 n x 1 lim P T x e dt 2 − →∞ −∞ <= π ∫ (3.5.6) Vế phải của (3.5.6) chính là hàm phân bố chuẩn tắc F(x). Như vậy, định lý giới hạn trung tâm khẳng định rằng: Đối với dãy BNN độc lập cùng phân bố và phương sai hữu hạn, dãy chuẩn hoá của trung bình cộng hội tụ theo luật đến phân bố chuẩn tắc. Định lý được công bố đầu tiên bởi Laplace cho dãy { } với dựa vào công thức Stirling. Định lý được chứng minh theo phương pháp hàm đặc n X n X~B(1,p) 27 http://www.ebook.edu.vn trưng. Độc giả cũng có thể tham khảo chứng minh tỉ mỉ khác ở [ ]. Vì tầm quan trọng đặc biệt, người ta đã phát triển định lý này theo rất nhiều hướng khác nhau. Nhận xét. Người ta nhận thấy tốc độ hội tụ ở định lý giới hạn trung tâm khá tốt, thể hiện ở bất đẳng thức 3 ii x 3 x EX EX Sup F (x) F(x) C n −∞< <+∞ − −≤ σ trong đó hằng số C thoả mãn (xem [4] trang 2.2.6): 1 C0. 2 ≤≤ π 8 Như vậy, tôc độ hội tụ là 1 O( ) n và phụ thuộc vào độ bất đối xứng Trong thực tế áp dụng, với các BNN có phân bố gần đối xứng, chỉ cần ; với các biến ngẫu nhiên khác, chỉ cần n đã có xấp xỉ tốt. 33 11 E[X EX ] / .−σ n20 ≥ 30 ≥ Hệ quả (Định lý giới hạn Mouvra - Laplace). Giả sử là BNN có phân bố nhị thức B(n;p) (0 < p < 1). Đặt: n Z n n Znp T npq . − = (3.5.7) Khi đó {} 2 t x 2 n n 1 lim P T x e dt. 2 − →∞ −∞ <= π ∫ (3.5.8) Nói cách khác, { } n T hội tụ theo luật đến phân bố chuẩn tắc. Chứng minh. Đặt như ở Ví dụ 5 . và đặt i X n1 S X . X . n = ++ Khi đó có phân bố nhị thức B(n,p) và suy ra theo (3.5.7) là BNN chuẩn hoá của . Theo định lý giới hạn trung tâm ta nhận được (3.5.8).  n S n T n S Như vậy, với n lớn chúng ta có xấp xỉ { } n PT x F(x)< ≈ (3.5.9) với F(x) là hàm phân bố chuẩn tắc. Bây giờ ta quay trở lại tính xấp xỉ n1 2 P(k k)÷ như nêu ra ở . Chúng ta có { } n1 2 1 n 2 P(k k) P k S k÷= ≤≤ = 1n 2 knpSnpk np P npq npq npq ⎧⎫ −−− ⎪⎪ ≤≤ ⎨⎬ ⎪⎪ ⎩⎭ 21 knp knp F( ) F( ). npq npq − − ≈− Cuối cùng, vì 1 F(x) (x) 2 =+Φ chúng ta nhận được xấp xỉ n1 2 2 1 P(k k) (x) (x),÷ ≈Φ −Φ (3.5.10) trong đó i i knp x,i npq 1,2 − == 28 http://www.ebook.edu.vn 2 t x 2 0 1 (x) e dt 2 − Φ= π ∫ - hàm Laplace. Người ta thấy rằng xấp xỉ là tốt nếu np > 5; nq > 5 hoặc npq > 20. Công thức hiệu chỉnh. Với các điều kiện vừa nêu cho n, p, q người ta thấy có thể làm tốt hơn xấp xỉ (3.5.9) bằng cách tăng lên nửa đơn vị, và giảm đi nửa đơn vị. Cụ thể, nên sử dụng xấp xỉ sau: 2 k 1 k n1 2 2 1 P(k k) (x) (x), ∗∗ ÷≈Φ−Φ (3.5.11) trong đó 12 12 11 knp k 22 x;x npq npq ∗∗ np − −+ == − > với điều kiện hoặc npq > 20. np 5; nq 5> Ví dụ: Xác suất trúng đích của một xạ thủ khi bắn một viên đạn vào bia là 0,75. Tính xác suất để xạ thủ đó bắn 100 viên có 81 phát trúng đích trở lên. Giải. np, nq > 10, chúng ta có thể áp dụng các kết quả nêu trên. 100 2 1 PP(81100) (x) (x)=÷≈Φ−Φ; 1 81 100.75 x1,38 100.0,75.0.25 − =≈; 29 2 100 100.75 x5,77. 100.0,75.0.25 − =≈ (1,38) 0,4162; (5,77) (3,0) 0,5000Φ= Φ ≈Φ= Tra bảng ta có ; P 0,5000 0,4162 0,0838 8% ⇒= − = ≈ . Nếu ta dùng công thức hiệu chỉnh thì 1 81 0,5 100.75 x1,27 100.0,75.0.25 ∗ −− =≈ ; 2 100 0,5 100.75 x5,889. 100.0,75.0.25 ∗ + − =≈ (1,27) 0,398; (5,77) (3,0) 0,5000 Φ= Φ≈Φ= ; P 0,500 0,398 0,102 10% ⇒= − = ≈ . Xấp xỉ (3.5.9) và do đó (3.5.10) là tốt với các diều kiện đã đưa ra. Các diều kiện này thoả mãn, chẳng hạn khi n lớn hoặc khi p gần với 1/2. Khi n nhỏ , người ta đã lập bảng giá trị cho các xác suất . Khi n không lớn lắm, hoặc khi (n 20) ≤ n P (k;p) p 0haykhi p 1, ≈≈ các công thức trên không còn chính các nữa, người ta sử dụng định lý giới hạn Poisson sau đây. Định lý (Định lý giới hạn Poisson). Giả sử trong lược đồ Becnoulli p P(A), = và khi mà npn →∞ const = λ= thì k n n lim P (k) e k! −λ →∞ λ = . Chứng minh. Từ công thức Becnoulli ta có kk k k (nk) nn n(n 1) .(n k 1) P(k) Cp(1 p) p(1 p) k! − − −+ =−= − . Từ chỗ p /n =λ suy ra http://www.ebook.edu.vn kn n n(n 1) .(n k 1) P(k) 1 k! n n − −−+λ λ ⎛⎞⎛ ⎞ =− ⎜⎟⎜ ⎟ ⎝⎠⎝ ⎠ k nk k 1k1 1.(1 ) .(1 ) 1 k! n n n − λ−λ ⎡ ⎤⎛ ⎞ =−− − ⎜⎟ ⎢⎥ ⎣ ⎦⎝ ⎠ . Chuyển qua giới hạn khi (k cố định) ta được n →∞ n n lim P (k) →∞ = n ()()k kk n lim 1 e k! n k! −−λ− λ −λ →∞ λλ λ ⎛⎞ −= ⎜⎟ ⎝⎠ .  Ý nghĩa. Khi n lớn còn np λ = không lớn lắm ( 5 λ ≤ chẳng hạn), xảy ra công thức xấp xỉ k n P(k) e k! np −λ ⎧ λ ≈ ⎪ ⎨ ⎪ λ= ⎩ (3.5.12) Xấp xỉ là tốt khi n > 50; p < 0,1. Vì xác suất p là bé nên biến cố A rất ít khi xảy ra khi thực hiện một phép thử. Chính vì thế, Định lý giới hạn Poisson còn được gọi là định luật về các sự kiện hiếm hoi. Người ta đã lập bảng các giá trị của k e k! −λ . λ Có tài liệu lại lập bảng giá trị cho k m k0 e k! −λ = λ ∑ . Các xác suất n1 2 P(k k)÷ có thể dễ dàng tính được từ (3.5.12) và các bảng này. Ví dụ. Xác suất để một loại máy bay trên một tuyền đường nhất định bị tai nạn là 4 p 10 − = . Tìm xác suất để trong 1000 lần bay có : a) một lần bị tai nạn; b) có ít nhất 1 lần bị tai nạn. Giải. Ta có thể áp dụng Định lý giới hạn Poisson với n = 1000, p = 0,0001; . np 0,1λ= = 1 0,1 a1000 (0,1) P P (1) e 0,0905. 1! − =≈ = 0 0,1 b 1000 1000 (0,1) P P (1 1000) 1 P (0) 1 e 0,0952. 0! − = ÷ =− ≈− = Nếu bây giờ p = 0,001, tính toán tương tự ta được ab P 0,3679; P 0,6321.≈ ≈ Đây là những xác suất khá lớn. Câu hỏi ôn tập chương III 3.1. Dãy BNN hội tụ hcc, theo xác suất, bình phương trung bình và theo luật. Mối quan hệ giữa các dạng hội tụ này. 3.2. Phát biểu và chứng minh bất đẳng thức Chebyshev, luật yếu số lớn. Phát biểu luật mạnh số lớn. 3.3 . Định lý giới hạn trung tâm. 30 . http://www.ebook.edu.vn Chương 3 VÉC TƠ NGẪU NHIÊN §3.5. SỰ HỘI TỤ CỦA DÃY CÁC BIẾN NGẪU NHIÊN Mục này trình bày bốn dạng hội tụ thông dụng. thực tế áp dụng, với các BNN có phân bố gần đối xứng, chỉ cần ; với các biến ngẫu nhiên khác, chỉ cần n đã có xấp xỉ tốt. 33 11 E[X EX ] / .−σ n20 ≥ 30 ≥ Hệ