Giáo trình lý thuyết xác suất

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM —————————— Tôn Thất Tú (Chủ biên) Lê Văn Dũng - Tạ Cơng Sơn Giáo trình LÝ THUYẾT XÁC SUẤT Đà Nẵng - 2022 MỤC LỤC Bảng ký hiệu viết tắt Lời nói đầu Chương XÁC SUẤT 11 1.1 Không gian mẫu biến cố 11 1.1.1 Phép thử 11 1.1.2 Không gian mẫu 11 1.1.3 Biến cố 12 1.1.4 Các phép toán biến cố 13 1.2 Xác suất biến cố 14 1.2.1 σ -đại số 14 1.2.2 Độ đo xác suất 15 1.3 Các định nghĩa xác suất khác 17 1.3.1 Quan điểm cổ điển 17 1.3.2 Quan điểm thống kê 19 1.3.3 Quan điểm hình học 19 1.4 Xác suất có điều kiện 20 1.5 Công thức nhân xác suất 21 1.6 Các biến cố độc lập 22 1.7 Cơng thức xác suất tồn phần cơng thức Bayes 24 1.7.1 Hệ đầy đủ 24 1.7.2 Công thức xác suất tồn phần cơng thức Bayes 24 1.8 Công thức Bernoulli 27 Bài tập chương 28 Chương BIẾN NGẪU NHIÊN 37 2.1 Biến ngẫu nhiên 37 2.2 Hai loại biến ngẫu nhiên 38 2.2.1 Biến ngẫu nhiên rời rạc 38 2.2.2 Biến ngẫu nhiên liên tục 40 2.3 Hàm phân phối xác suất 41 2.4 Kì vọng 43 2.5 Phương sai độ lệch chuẩn 46 2.6 Trung vị 47 2.7 Biến ngẫu nhiên độc lập 48 2.8 Một số phân phối xác suất quan trọng 49 2.8.1 Phân phối Bernoulli 49 2.8.2 Phân phối nhị thức 49 2.8.3 Phân phối Poisson 51 2.8.4 Phân phối 53 2.8.5 Phân phối mũ 54 2.8.6 Phân phối chuẩn 55 2.8.7 Phân phối bình phương 59 2.8.8 Phân phối Student (t-distribution) 60 2.8.9 Phân phối F 61 Bài tập chương 62 Chương VECTƠ NGẪU NHIÊN 68 3.1 Định nghĩa 68 3.2 Phân bố xác suất vectơ ngẫu nhiên 68 3.2.1 Vectơ ngẫu nhiên chiều rời rạc 68 3.2.2 Vectơ ngẫu nhiên chiều liên tục 71 3.2.3 Hàm phân phối xác suất đồng thời 73 3.3 Kì vọng có điều kiện 74 3.3.1 Trường hợp rời rạc 74 3.3.2 Trường hợp liên tục 75 3.4 Hiệp phương sai, hệ số tương quan 76 Bài tập chương 80 Chương CÁC ĐỊNH LÍ GIỚI HẠN 84 4.1 Các khái niệm hội tụ 84 4.1.1 Hội tụ hầu chắn 84 4.1.2 Hội tụ theo xác suất 85 4.1.3 Hội tụ theo phân phối 85 4.2 Luật số lớn 87 4.3 Định lí giới hạn trung tâm 88 4.4 Luật số lớn dãy biến ngẫu nhiên đôi độc lập 92 Bài tập chương 96 Chương XÍCH MARKOV 99 5.1 Tính Markov 99 5.2 Xích Markov có khơng gian trạng thái hữu hạn 101 5.2.1 Ma trận xác suất chuyển sơ đồ chuyển trạng thái 101 5.2.2 Phân phối xác suất 102 5.3 Phân phối dừng phân phối giới hạn 107 5.4 Phân lớp trạng thái xích Markov 113 Bài tập chương 115 Tài liệu tham khảo 118 BẢNG KÝ HIỆU VIẾT TẮT R R+ Z N |A| m(S) P (·) P (·|B) Cnk A ∩ B, AB A∪B A Ω B(R), B(R2 ) E(·) V (·) fX (·) FX (·) p(·) SD(·) med(·) φ(·) Φ(·) B(n, p) Ber(p) P oi(λ) U ([a, b]) Exp(λ) χ2n Tn Fm,n IA , I(A) X(Ω) E(·|Y = y) N (µ, σ ) Cov(·, ·) tập tất số thực tập tất số thực dương tập tất số nguyên tập tất số tự nhiên số phần tử tập A số đo miền S xác suất xác suất có điều kiện hệ số tổ hợp chập k n phần tử giao hai biến cố A, B hợp hai biến cố A, B biến cố đối biến cố A không gian mẫu σ−đại số Borel R, R2 kỳ vọng toán phương sai hàm mật độ xác suất X hàm phân phối xác suất X hàm xác suất biến ngẫu nhiên rời rạc độ lệch chuẩn trung vị hàm mật độ xác suất phân phối N (0, 1) hàm phân phối xác suất phân phối N (0, 1) phân phối nhị thức với tham số n, p phân phối Bernoulli với tham số p phân phối Poisson với tham số λ phân phối đoạn [a, b] phân phối mũ với tham số λ phân phối χ2 với n bậc tự phân phối Student với n bậc tự phân phối F với m, n bậc tự hàm tiêu tập A tập giá trị biến ngẫu nhiên X kỳ vọng có điều kiện phân phối chuẩn với tham số µ, σ hiệp phương sai ρ(·, ·) hệ số tương quan h.c.c hội tụ hầu chắn P hội tụ theo xác suất d ϕX (·) hội tụ theo phân phối hàm đặc trưng biến ngẫu nhiên X log+ (x) max{1, ln(x)} an ≍ b n < lim inf an /bn ≤ lim sup an /bn < +∞ U (n) phân phối xác suất Xn xác suất chuyển sau n bước phân phối dừng trạng thái i đến trạng thái j trạng thái i j liên lạc −−−→ − → → − pik (n) Π i→j i↔j LỜI NĨI ĐẦU Trong thực tế có tượng mà ta khơng thể biết trước có xảy hay không thực lần quan sát Những tượng có tính chất gọi tượng ngẫu nhiên Việc nghiên cứu tượng ngẫu nhiên, tìm hiểu quy luật xuất xây dựng mơ hình tốn học để mơ tả tượng có ý nghĩa quan trọng khoa học thực tiễn Lý thuyết xác suất – ngành khoa học thuộc lĩnh vực Tốn học, đời nhằm đáp ứng u cầu Lý thuyết xác suất xuất vào khoảng cuối kỷ XVII với trao đổi, nghiên cứu trị chơi may rủi nhà tốn học Đây xem viên gạch cho lĩnh vực khoa học Cơ sở toán học vững cho lý thuyết xác suất xây dựng nhà toán học người Nga tên A.N Kolmogorov Vào năm 1933, tác giả cho xuất sách trình bày nghiên cứu xác suất, đánh dấu phát triển lĩnh vực theo hướng đại dựa tảng lý thuyết độ đo Do tính ứng dụng rộng rãi lĩnh vực ngành khoa học sống, lý thuyết xác suất đưa vào giảng dạy bậc phổ thông, cao đẳng đại học hầu giới với mức độ kiến thức khác Nhìn chung, giáo trình Việt Nam lĩnh vực chủ yếu viết cho sinh viên ngành kinh tế kỹ thuật mức độ Một số giáo trình chuyên sâu phù hợp cho học viên cao học nghiên cứu sinh ngành Toán Đối với sinh viên ngành Sư phạm Toán cử nhân Tốn, khái niệm, tính chất kết lĩnh vực cần hệ thống trình bày chặt chẽ Giáo trình biên soạn nhằm đáp ứng yêu cầu Nội dung giáo trình viết dựa chương trình đào tạo sinh viên ngành Toán, chia làm chương Chương giới thiệu khái niệm xác suất, tính chất cơng thức tính xác suất Chương trình bày biến ngẫu nhiên, số đặc trưng số luật phân phối thường gặp Chương giới thiệu vectơ ngẫu nhiên hai chiều Chương cung cấp số khái niệm hội tụ xác suất định lý giới hạn Chương dành để nghiên cứu xích Markov với thời gian rời rạc Bên cạnh kiến thức lý thuyết, hệ thống đa dạng ví dụ minh hoạ tập cung cấp để giúp người học tự học, tự rèn luyện nhằm củng cố kiến thức kỹ vận dụng lý thuyết Mặc dù có nhiều cố gắng cơng tác biên soạn, tham khảo tài liệu trình bày kiến thức cách có hệ thống, song giáo trình khó tránh khỏi sai sót Tác giả mong nhận đóng góp ý kiến bạn đọc để giáo trình hồn thiện lần tái sau Mọi góp ý xin gửi địa chỉ: Khoa Toán, Trường Đại học Sư phạm - Đại học Đà Nẵng Qua tác giả xin bày tỏ lời cảm ơn với Trường Đại học Sư phạm - Đại học Đà Nẵng thầy, khoa Tốn, Trường Đại học Sư phạm - Đại học Đà Nẵng ủng hộ giúp đỡ trình biên soạn Đà Nẵng, tháng 11 năm 2021 Các tác giả 10 CHƯƠNG CÁC ĐỊNH LÍ GIỚI HẠN ≤ Cℓ(n1/p ) → n → ∞ ϵnr/p−1 □ Định lí chứng minh Sau ta xét ứng dụng Định lí 4.7 ước lượng mơ hình hồi quy phi tham số Xét mơ hình hồi quy phi tham số: Yni = f (xni ) + εni , ≤ i ≤ n, (4.4) xni điểm thiết kế cho trước tập compact A ⊂ Rm , f (x) hàm hồi quy đa biến xác định A, εi sai số ngẫu nhiên Một ước lượng hàm f (x) cho n X ˆ Wni (x)Yni , (4.5) fn (x) = i=1 Wni (x) = W (x, xn1 , xnn ) hàm trọng số Ước lượng đưa Stone [20], sau Georgiev [14] nghiên cứu với trường hợp thiết kế cố định Vấn đề nghiên cứu nhiều tác giả khác Chẳng hạn, Georgiev Greblicki [14], Georgiev [15], Muller [17] nghiên cứu ước lượng với sai số ngẫu nhiên độc lập Trong mục nghiên cứu ước lượng với sai số ngẫu nhiên đôi độc lập có xác suất nặng Với x ∈ A, sau số giả thiết hàm trọng số P (A1) | ni=1 Wni (x) − 1| = o(1); P (A2) | ni=1 |Wni (x)| = O(1); P (A3) ni=1 |Wni (x)||f (xni ) − f (x)|I(∥xni − x∥ > a) = o(1) với a > Ta có định lí sau Định lí 4.8 Cho < r < 2, < p ≤ r Trong mơ hình (4.4), giả sử (εi ; ≤ i ≤ n) dãy sai số ngẫu nhiên đơi độc lập có phân phối xác suất với biến ngẫu nhiên ε có kì vọng P (|ε| > x) ≍ x−r ℓ(x), (4.6) ℓ(x) hàm biến đổi chậm vơ cực thỏa mãn ℓ(n1/p ) = o(nr/p−1 ) Nếu n X Wni (x) = O(n1−2/p ), (4.7) i=1 với x ∈ c(f ), P fˆn (x) − → f (x) n → ∞, c(f ) tâp điểm liên tục hàm f (x) tập A 94 CHƯƠNG CÁC ĐỊNH LÍ GIỚI HẠN Chứng minh Với x ∈ c(f ), ta có n X fˆn (x) − f (x) = Wni (x)εnj + [E(fˆn (x)) − f (x)] i=1 Áp dụng Định lí 4.7 với ani = n1/p Wni (x), ta có n X P Wni (x)εni − → n → ∞ i=1 Do đó, để hồn thành chứng minh định lí ta cần E(fˆn (x) − f (x)) → n → ∞ Vì x ∈ c(f ), nên với ϵ > tùy ý, tồn δ > cho với x′ ∈ A thỏa mãn ∥x′ − x∥ < δ ta có |f (x′ ) − f (x)| < ϵ Nếu ta chọn a ∈ (0, δ), n X Wni (x)f (xni ) − f (x) |E(fˆn (x) − f (x))| = i=1 ≤ n X |Wni (x)||f (xni ) − f (x)|I(∥xni − x∥ ≤ a) i=1 + ≤ϵ n X i=1 n X n X