định lý giới hạn trung tâm và tốc độ hội tụ

ĐAỊ HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Bùi Thị Thu Phương Chuyên ngành: Lý thuyết xác suất thống kê toán học Người hướng dẫn: TS Trần Mạnh Cường Hà Nội, 03 - 2019 Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tổng quan Định lý giới hạn trung tâm tốc độ hội tụ đóng vai trò quan trọng để phục vụ cho việc nghiên cứu thống kê lý thuyết, sinh học, y học, kinh tế định lý giới hạn trung tâm lần đầu phát biểu chứng minh nhà toán học Pháp Pierre - Simon, Laplace sau mở rộng tác Lindeberg, Feller định lý giới hạn trung tâm cho ta đưa kết luận, đánh giá đuợc tốc độ xấp xỉ phân phối chuẩn cho phép ước lượng cỡ mẫu cần thiết để áp dụng định lý Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Nội dung Kiến thức chuẩn bị Định lý giới hạn trung tâm Trường hợp dãy biến ngẫu nhiên độc lập phân bố xác suất Trường hợp dãy biến ngẫu nhiên độc lập, không phân bố xác suất Điều kiện Lindeberg Điều kiện Lyapounov Tốc độ hội tụ Ước lượng Ước lượng không Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý giới hạn trung tâm Trường hợp dãy biến ngẫu nhiên độc lập phân bố xác suất Chứng minh graduate course, First edition, Springer.) Cho X , X1 , X2 , dãy biến ngẫu nhiên độc lập, phân bố xác suất Giả sử kỳ vọng (giá trị trung bình) µ hữu hạn độ lệch chuẩn σ dương, hữu hạn Xét tổng Sn = X1 + X2 + + Xn , n ≥ Sn − nµ √ σ n d − → Sn −nµ √ σ n Xi −µ n √ i=1 σ n Đặt Zn = Cần chứng minh Zn − → N(0, 1) n → ∞ Đặt Định lý 2.1.1(Allan Gut (2005), Probability: A = d Yi = Xi − µ với EYi = 0, VarYi = σ n N(0, 1) n → ∞ ϕZn (t) = ϕ √ Yi (t) ϕ Yi √t n n = n = 1− t2 2n +o t2 n n ⇒ ϕZn (t) → ϕN(0,1) n → ∞ Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý giới hạn trung tâm Trường hợp dãy biến ngẫu nhiên độc lập, không phân bố xác suất Cho X1 , X2 , dãy biến ngẫu nhiên độc lập với phương sai hữu hạn, EXk = µk , VarXk = σk2 với k ≥ Sn = nk=1 Xk , sn2 = nk=1 σk2 với n ≥ Chúng ta bỏ qua trường hợp có phương sai Ta có hai điều kiện sau điều kiện Lindeberg σk2 →0 1≤k≤n sn2 L1 (n) = max L2 (n) = sn n → ∞, n E |Xk − µk |2 I {|Xk − µk | > εsn } → n → ∞ k=1 Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý Lindeberg - Levy - Feller Định lý 2.2.1(Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập với phương sai hữu hạn, EXk = µk , VarXk = σk2 với k ≥ Sn = nk=1 Xk , sn2 = nk=1 σk2 với n ≥ Ta có L2 (n) = sn2 n E |Xk − µk |2 I {|Xk − µk | > εsn } → n → ∞ k=1 (1) σk2 →0 1≤k≤n sn2 L1 (n) = max sn n → ∞, (2) n (Xk − µk ) d − → N(0, 1) n → ∞ (3) k=1 Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý Lindeberg - Levy - Feller Điều kiện đủ: Phương pháp hàm đặc trưng (Levy chứng minh) Phương pháp thay (Lindeberg chứng minh) Điều kiện cần: Feller chứng minh Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý Lindeberg - Levy - Feller Điều kiện đủ: Ta làm theo hai bước chứng minh Bước 1: (1) ⇒ (2) Bước 2: (2) ⇒ (3) Giả sử µk = chứng minh Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Cách 1: Phương pháp hàm đặc trưng - Hàm đặc trưng Bước 1: Đặt ϕ = exp{log ϕ}, nghĩa n n ϕSn /sn (t) = ϕSn (t/sn ) = ϕXk (t/sn ) = exp k=1 log ϕXk (t/sn ) k=1 n ≈ exp − (1 − ϕXk (t/sn )) k=1 n ≈ exp − 1− 1+ (it)2 it + σ sn 2s 2n k 1− 1− t2 σ 2sn2 k k=1 n = exp − k=1 t2 = exp − 2s n n σk2 = exp −t /2 = ϕN(0,1) (t), k=1 Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Cách 1: Phương pháp hàm đặc trưng - Hàm đặc trưng Bước 2: Chứng minh biến đổi = thành ≈ n (log ϕXk (t/sn ) + (1 − ϕXk (t/sn ))) → n → ∞, k=1 Sử dụng |ϕXk (t/sn ) − 1| ≤ E 2|tX | t Xk2 sn , 2sn2 , Sử dụng công thức |log(1 − z) + z| ≤ |z| với z = − ϕXk (t/sn ) Sử dụng L1 (n) → n → ∞ Bước 3: Chứng minh biến đổi ≈ thành = n ϕXk (t/sn ) − − k=1 σk2 t 2sn2 Sử dụng ϕXk (t/sn ) − − t σk2 2sn2 →0 n → ∞, ≤ E t Xk2 |t|3 |Xk |3 sn2 , 6sn3 chia thành miền ±εsn để xuất L2 (n) Sử dụng L2 (n) → n → ∞ Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Điều kiện Lyapounov Định lý 2.2.2 (Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập với phương sai hữu hạn, EXk = µk , VarXk = σk2 với k ≥ Sn = nk=1 Xk , sn2 = nk=1 σk2 với n ≥ Giả sử E |Xk |r < ∞ với k Nếu với r > ta có n k=1 β(n, r ) = E |Xk − µk |r → n → ∞, snr (8) sn n d (Xk − µk ) − → N(0, 1) n → ∞ k=1 Chứng minh Sử dụng (8) để điều kiện (1) L2 (n) thỏa mãn Theo định lý Lindeberg - Levy - Feller ta có (1) ⇒ (3) Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tốc độ hội tụ Ước lượng Định lý 3.1.1 (Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho X , X1 , X2 , dãy biến ngẫu nhiên độc lập, phân phối xác suất với tổng riêng {Sn , n ≥ 1}, đặt µ = EX , σ = VarX giả sử γ = E |Xk |3 < ∞ (x) − Φ(x) ≤ C sup F Sn −nµ √ x σ n γ3 √ , σ3 n C số Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tốc độ hội tụ Ước lượng Định lý 3.1.2 - Định lý Berry - Esseen (Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập, với giá trị trung bình tổng riêng {Sn , n ≥ 1} Giả sử γk3 = E |Xk |3 < ∞ với k, đặt σk2 = VarXk , sn2 = nk=1 σk2 βn3 = nk=1 γk3 sup F Sn (x) − Φ(x) ≤ C x sn βn3 , sn3 C số Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tốc độ hội tụ Bổ đề 3.1.1 (Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho U V biến ngẫu nhiên, giả sử sup FV (x) ≤ A (9) x∈R Thì ta có sup |FU (x) − FV (x)| ≤ x ≤ π π T −T T −T ϕU (t) − ϕV (t) t 1− |t| T dt + 24A πT ϕU (t) − ϕV (t) 24A dt + t πT Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tốc độ hội tụ Bổ đề 3.1.2 (Allan Gut (2005), Probability: A graduate course, First edition, Springer.) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập, với giá trị trung bình tổng riêng {Sn , n ≥ 1} Giả sử γk3 = E |Xk |3 < ∞ với k, đặt σk2 = VarXk , sn2 = nk=1 σk2 βn3 = nk=1 γk3 ϕSn /sn (t) − e −t /2 ≤ 16 βn3 −t /3 |t| e sn3 Bùi Thị Thu Phương với |t| ≤ sn3 4βn3 ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Ý tưởng chứng minh Để chứng minh định lý Berry - Esseen ta làm theo bước sau Bước 1: Sn − nµ Sn Đặt hai biến ngẫu nhiên U = = sn sn V ∼ N(0, 1) Hàm mật độ biến ngẫu nhiên V fV (x) = √ e −x /2 = FV (x) 2π ⇒ sup FV (x) ≤ √ x 2π Bước 2: Chọn A = √1 2π áp dụng bổ đề 3.1.1, sup F Sn −nµ (x) − Φ(x) ≤ s π n x Bùi Thị Thu Phương T ϕ Sn (t) − e −t sn −T t /2 24 dt+ √ π 2πT ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Ý tưởng chứng minh Bước 3: Chọn T = Tn = ϕSn /sn (t) − e −t /2 ≤ 16 sn3 4βn3 βn3 sn3 áp dụng bổ đề 3.1.2 |t|3 e −t 16 β sup F Sn −nµ (x) − Φ(x) ≤ 3n sn π sn x Bước 4: Tính I = x sn3 4βn3 s3 − n3 4βn ∞ −t /3 dt −∞ t e ⇒ sup F Sn −nµ (x) − Φ(x) ≤ sn /3 = t e −t √ sn Bùi Thị Thu Phương /3 sn3 4βn3 ta 96β dt + √ n π 2πsn3 3π √ 24 96 √ + √ π π 2π Vậy sup F Sn (x) − Φ(x) ≤ C x |t| ≤ với βn3 βn3 ≤ 36 sn3 sn3 βn3 sn3 ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Chứng minh định lý 3.1.1 Vì dãy biến ngẫu nhiên X , X1 , X2 , phân phối xác suất nên ta có n βn3 = γk3 = nγ k=1 n sn2 = σk2 = nσ k=1 √ √ ⇒ sn = σ n ⇒ sn3 = n nσ 3 Mà supx F Sn −nµ (x) − Φ(x) ≤ C βs 3n n sn ⇒ supx F Sn −nµ (x) − Φ(x) ≤ C σ3γ√n √ σ n Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Tốc độ hội tụ Ước lượng không Định lý 3.2.2 (Esseen, C.-G (1945), "Fourier analysis of distribution functions A mathematical study of the Laplace - Gaussian law", Acta Math, 1-125.) Cho X1 , X2 , X3 , dãy biến ngẫu nhiên độc lập với tổng riêng Sn , n ≥ 1, EXk = 0, σk2 = VarXk < ∞ Đặt sn2 = nk=1 σk2 ∆n = sup F Sn (x) − Φ(x) , x n ≥ sn Nếu ∆n ≤ 1/2 với n > n0 tồn số C cho với n > n0 F Sn (x) − Φ(x) ≤ ∆n , C sn Bùi Thị Thu Phương ∆n log(1/∆n ) + x2 với x ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Chứng minh FSn /sn kí hiệu hàm phân phối tích lũy biến ngẫu nhiên X1 + X2 + + Xn Sn Zn = = sn sn ∞ −∞ x dFSn /sn (x) = 1, ∞ x dΦ(x) = −∞ Cho a ≥ 1, khơng làm tính tổng qt giả sử FSn /sn (x) liên tục x = ±a a −a x dFSn /sn (x) = =a a −a x d FSn /sn (x) − Φ(x) + a FSn /sn (a) − Φ(a) − a2 FSn /sn (−a) − Φ(−a) a −2 ⇒ ⇒ x dΦ(x) −a a x FSn /sn (x) − Φ(x) dx+ −a a a 2 −a x dFSn /sn (x) ≥ −4a ∆n + −a x dΦ(x) 2 |x|≥a x dFSn /sn (x) ≤ 4a ∆n + |x|≥a x dΦ(x) Bùi Thị Thu Phương x dΦ(x) −a ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Ước lượng không Các mối quan hệ sau xảy |x|≥a x dFSn /sn (x) ≥ x dΦ(x) ≥ |x|≥a x (1 − FSn /sn (x)), với x ≥ a x FSn /sn (x), với x ≤ −a x (1 − Φ(x)), với x ≥ a x Φ(x), với x ≤ −a |x|≥a ⇒ (1 + x ) FSn /sn (x) − Φ(x) ≤ Chọn a = , a + − a2 e π a x dΦ(x) ≤ Giả sử n0 đủ lớn cho ∆n ≤ , 2 a + − a2 e + 5a2 ∆n π a với n > n0 log ∆1n , FSn /sn (x) − Φ(x) ≤ C ∆n log ∆1 n 1+x Bùi Thị Thu Phương , với n > n0 , C = const ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Kết luận Định lý giới hạn trung tâm trường hợp biến ngẫu nhiên độc lập, phân phối xác suất trường hợp biến ngẫu nhiên độc lập không phân phối xác suất điều kiện Lindeberg , Lyapounov cách khác Định lý Berry - Esseen tốc độ hội tụ hai trường hợp biến ngẫu nhiên độc lập phân bố xác suất không phân bố xác suất phần ước lượng chứng minh chi tiết định lý tốc độ hội tụ phần ước lượng không Trong tương lai, nghiên cứu sâu định lý giới hạn trung tâm tốc độ hội tụ qua phương pháp Stein’s method Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Đào Hữu Hồ (1999), Xác suất thống kê, Nhà xuất Đại học quốc gia Hà Nội Đặng Hùng Thắng (2005), Mở đầu lí thuyết xác suất ứng dụng, Nhà xuất Giáo dục Esseen, C.-G (1945), "Fourier analysis of distribution functions A mathematical study of the Laplace - Gaussian law", Acta Math, 1-125 Esseen, C.-G (1956), "A moment inequality with an application to the central limit theorem", Skand Aktuar Tidskr, (XXXIX), 160–170 Allan Gut (2005), Probability: A graduate course, First edition, Springer Shiganov, I.S (1986), "Refinement of the upper bound of the constant in the central limit theorem", J Sov Math, (35), 2545–2550 Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ van Beek, P (1972), "An application of Fourier methods to the problem of sharpening of the Berry-Esseen inequality", Z Wahrsch verw Gebiete, (23), 183–196 Chen, P.-N (2002), Asymptotic refinement of the Berry Esseen constant, National Chiao Tung University, Taiwan Petrov, V.V(1975), Sums of Independent Random Variables, Springer, New York Petrov, V.V(1995), Limit Theorems of Probability Theory, Oxford Science Publications, Clarendon Press, Oxford Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Em xin chân thành cảm ơn thầy cô, anh chị bạn quan tâm theo dõi! Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ ... Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Em xin chân thành cảm ơn thầy cô, anh chị bạn quan tâm theo dõi! Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ ... kiện Lyapounov Tốc độ hội tụ Ước lượng Ước lượng không Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Định lý giới hạn trung tâm Trường hợp dãy biến ngẫu nhiên độc lập phân bố... Trong tương lai, nghiên cứu sâu định lý giới hạn trung tâm tốc độ hội tụ qua phương pháp Stein’s method Bùi Thị Thu Phương ĐỊNH LÝ GIỚI HẠN TRUNG TÂM VÀ TỐC ĐỘ HỘI TỤ Đào Hữu Hồ (1999), Xác suất