Phương pháp bayes ước lượng tham số đại lượng ngẫu nhiên

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KHOA TOÁN NGUYỄN THỊ PHƯƠNG THẢO PHƯƠNG PHÁP BAYES ƯỚC LƯỢNG THAM SỐ ĐẠI LƯỢNG NGẪU NHIÊN KHÓA LUẬN TỐT NGHIỆP Người hướng dẫn: ThS.LÊ VĂN DŨNG Đà Nẵng - 2013 LỜI CẢM ƠN Trong suốt khoá học (2009 - 2013) Trường Đại học Sư phạm - ĐHĐN, với nổ lực thân giúp đỡ thầy cô giáo trường, đặc biệt thầy giáo khoa Tốn giúp tơi có vốn tri thức vững vàng để hoàn thành luận văn tốt nghiệp Trong thời gian làm luận văn, giúp đỡ giáo viên hướng dẫn Th.S Lê Văn Dũng mặt, từ nhiều phía tơi hồn thành thời gian quy định Tơi xin chân thành cảm ơn đến : - Các thầy cô giáo khoa Tốn giảng dạy cho tơi kiến thức chuyên môn làm sở để thực tốt luận văn tốt nghiệp tạo điều kiện cho hồn thành tốt khố học - Đặc biệt, tơi xin gửi lời cảm ơn chân thành đến Th.S Lê Văn Dũng người theo sát bảo hướng cho tơi lời khun q báu cung cấp thông tin khoa học để định hướng tốt làm luận văn tốt nghiệp - Nhân xin gởi lời cảm ơn đến gia đình, bạn bè giúp đỡ động viên vật chất lẫn tinh thần suốt trình làm luận văn tốt nghiệp Mặc dù luận văn hoàn thành thời gian qui định điều kiện thời gian kiến thức cịn hạn chế nên luận văn tơi khơng tránh khỏi thiếu sót Vì vậy, tơi mong nhận đóng góp ý kiến thầy cô bạn để tạo điều kiện cho luận văn tơi hồn thiện Đà Nẵng, tháng 05 năm 2013 Sinh viên thực Nguyễn Thị Phương Thảo MỤC LỤC Chương Kiến Thức Cơ Sở 1.1 Không gian xác suất 1.2 1.3 1.1.1 1.1.2 Phép thử Không gian mẫu 8 1.1.3 Độ đo xác suất Công thức Bayes 1.2.1 Xác suất có điều kiện 9 1.2.2 Công thức Bayes 10 Đại lượng ngẫu nhiên 11 1.3.1 1.3.2 1.4 1.5 Hàm phân phối xác suất 11 Đại lượng ngẫu nhiên rời rạc 11 1.3.3 Đại lượng ngẫu nhiên liên tục 12 Đại lượng ngẫu nhiên độc lập 12 Các tham số đặc trưng đại lượng ngẫu nhiên 12 1.5.1 Kỳ vọng toán 12 1.5.2 1.6 8 Phương sai 13 1.5.3 Độ lệch tiêu chuẩn 13 Các phân phối xác suất sử dụng chương sau 14 1.6.1 1.6.2 Phân phối Bernoulli 14 Phân phối Nhị Thức 14 1.6.3 1.6.4 Phân phối Poisson 15 Phân phối Đều 15 1.6.5 1.6.6 Phân phối Beta 16 Phân phối Gamma 16 1.6.7 Phân phối inverse - Gamma 17 1.6.8 1.6.9 1.7 1.6.10 Phân phối inverse - bình phương 18 Vectơ ngẫu nhiên 18 1.7.1 1.7.2 1.8 Phân phối Student 17 Phân phối bình phương 18 Định nghĩa 18 Hàm phân phối xác suất đồng thời 19 1.7.3 Hàm mật độ xác suất đồng thời 19 Mẫu số liệu mẫu ngẫu nhiên 19 Chương Phương pháp Bayes ước lượng tham số 20 2.1 Phân phối xác suất có điều kiện 20 2.1.1 2.1.2 2.2 Định nghĩa 20 Trường hợp Y đại lượng ngẫu nhiên rời rạc 20 2.1.3 Trường hợp Y đại lượng ngẫu nhiên liên tục 20 Ước lượng tham số phân phối Bernoulli 21 2.2.1 Công thức ước lượng khoảng tham số 22 2.3 Ước lượng tham số phân phối nhị thức 24 2.3.1 Công thức ước lượng khoảng tham số 25 2.4 Ước lượng tham số phân phối Poisson 26 2.4.1 Công thức ước lượng tham số 27 2.5 Ước lượng khoảng kì vọng phân phối chuẩn 29 2.5.1 Công thức ước lượng khoảng 30 2.6 Ước lượng khoảng kì vọng phương sai 32 2.6.1 Công thức ước lượng khoảng kì vọng 33 2.6.2 Công thức ước lượng khoảng phương sai 34 LỜI MỞ ĐẦU Lí chọn đề tài Ngày nay, Xác suất thống kê môn học sở giảng dạy trường đại học, cao đẳng Khơng cịn ứng dụng nhiều ngành kinh tế, kỹ thuật, sinh học, y học, Nó giúp cách tổ chức đạo, sản xuất, phân phối lưu thơng, góp phần dự báo kinh tế, đánh giá chất lượng sản phẩm, suất lao động, thu nhập xử lý khối lượng lớn số liệu thông tin, Phương pháp Bayes phương pháp dùng để kết hợp đối tượng nghiên cứu bên ngoài, đại diện đường cong xác suất Phương pháp Bayes xem phương pháp tính tốn cơng trình nghiên cứu, không dựa riêng vào độ tin cậy định lý Bayes cung cấp cách thích hợp để đo lường kết hợp đối tượng nghiên cứu Phương pháp Bayes mô tả không chắn nhận thức luận cách sử dụng ngôn ngữ xác suất Trong phương pháp này, mức độ tin cậy vào trạng thái tự nhiên qui định cụ thể Và mạnh dễ dàng đưa dự đoán Ý tưởng phương pháp thống kê Bayes thông qua thơng số trung bình, tỉ lệ, độ lệch chuẩn, có luật phân phối riêng Các luật phân phối thể bất định thơng số, mà cịn phản ánh kiến thức thơng số Đối với thơng kê cổ điển thơng số cố định khơng có luật phân phối Đây điểm khác biệt mang tính tốn học thống kê Bayes thống kê cổ điển Với lí định chọn đề tài nghiên cứu cho luận văn : Phương Pháp Bayes Ước Lượng Tham Số Đại Lượng Ngẫu Nhiên Mục đích nghiên cứu Phương pháp Bayes dùng để ước lượng tham số đại lượng ngẫu nhiên rời rạc Đây phương pháp hữu hiệu hạn chế số nhược điểm thống kê cổ điển Phương pháp đánh giá cách mạng quan trọng xác suất thống kê Đối tượng nghiên cứu Đề tài nghiên cứu Phương pháp Bayes ước lượng tham số đại lượng ngẫu nhiên Phạm vi nghiên cứu Nghiên cứu tài liệu xác suất, phương pháp Bayes nước Phạm vi nghiên cứu tập trung chủ yếu vào ước lượng tham số phân phối Phương pháp nghiên cứu Để thuận tiện cho việc nghiên cứu, sử dụng phần mềm R để thực phương pháp Bayes, R ngơn ngữ tương đối dễ sử dụng linh hoạt để tính tốn vấn đề khó thực tế nghiên cứu đặc biệt phần mềm miễn phí Thu thập báo khoa học, tài liệu liên quan đến đề tài Tham khảo tài liệu mạng Internet Địa : http://cran.cs.pu.edu.tw/ Ý nghĩa khoa học Luận văn trình bày có hệ thống với mục rõ ràng chặt chẽ Phương pháp Bayes ước lượng tham số đại lượng ngẫu nhiên Bên cạnh đó, luận văn cịn đưa ví dụ áp dụng thực tế việc ước lượng tham số đại lượng ngẫu nhiên Do đó, luận văn góp phần tạo số tài liệu tham khảo cho sinh viên ngành toán Cấu trúc luận văn Bố cục bao gồm chương : • Chương Kiến thức sở • Chương Phương pháp Bayes ước lượng tham số Do thời gian thực khóa luận khơng nhiều, kiến thức cịn hạn chế nên làm khóa luận khơng tránh khỏi hạn chế sai sót Tơi mong nhận góp ý ý kiến phản biện quý thầy cô bạn Tôi xin chân thành cảm ơn! Đà Nẵng, tháng 05 năm 2013 Sinh viên Nguyễn Thị Phương Thảo CHƯƠNG KIẾN THỨC CƠ SỞ 1.1 1.1.1 Không gian xác suất Phép thử Trong tốn học có khái niệm khơng có định nghĩa mà mơ tả chúng hình ảnh tư trực quan Chẳng hạn hình học khái niệm điểm, đường thẳng, mặt phẳng khái niệm khơng có định nghĩa Trong xác suất, khái niệm phép thử khái niệm khơng có định nghĩa Ta hiểu phép thử việc thực nhóm điều kiện để quan sát tượng có xảy hay khơng Phép thử gọi ngẫu nhiên ta dự báo trước xác kết xảy ta thực phép thử 1.1.2 Khơng gian mẫu Tập hợp tất kết xảy phép thử ngẫu nhiên gọi khơng gian mẫu Ta thường kí hiệu Ω Cho không gian mẫu Ω Một lớp F tập Ω thoã mãn điều kiện: +∅∈F + Nếu A ∈ F Ac ∈ F + Nếu A1 , A2 , , An , ∈ F ∞ n=1 An ∈F Lớp F gọi σ -đại số tập Ω 1.1.3 Độ đo xác suất Một hàm tập hợp P : F → R gọi độ đo xác suất thoã mãn điều kiện sau: + Với A ∈ F , ≤ P(A) ≤ + P(Ω) = + Nếu A1 ,A2 , ,An , đôi không giao nhau(Ai ∩ Ai = ∅ với ∞ i = j) P ( ∞ n=1 An ) P (An ) = n=1 Khi phần tử F gọi biến cố P(A) gọi xác suất xảy biến cố A Bộ ba (Ω, F, P ) gọi không gian xác suất 1.2 1.2.1 Cơng thức Bayes Xác suất có điều kiện * Định nghĩa Xác suất biến cố A với điều kiện biến cố B xảy gọi xác suất có điều kiện biến cố A Ký hiệu P(A/B) định nghĩa sau: P (A/B) = P (A ∩ B) P (B) * Hệ P (A ∩ B) = P (A).P (B/A) P (B).P (A/B) P (A) > P (B) > Tổng quát ta có : P (A1 , A2 , , An ) = P (A1 )P (A2 /A1 )P (A3 /A1 A2 ) P (An /A1 A2 An−1 ) Công thức gọi công thức nhân xác suất * Hệ P (B/A) = P (B)P (A/B) P (A) 24 Giải Theo giả thiết ta có : n = 10 , k = , α = 0.05 Như : a = b = Ta tìm θα/2 θ1−α/2 phần mềm R : > a < −3; b < −9 > qbeta(c(0.025, 0.975), a, b) [1] 0.06021773 0.51775585 Như ta có ước lượng khoảng p với độ tin cậy 95% [0.06; 0.52] 2.3 Ước lượng tham số phân phối nhị thức Cho đại lượng ngẫu nhiên X có phân phối nhị thức Bin (n, θ) có hàm mật độ f (x/θ) = Cnx θx (1 − θ)n−x , x ∈ {1, 2, , n}, với tham số n biết tham số θ chưa biết Cho X = x giá trị quan sát X Giả sử θ đại lượng ngẫu nhiên có phân phối đoạn [0; 1] Hàm mật độ θ : θ ∈ [0; 1] f (θ) = θ ∈ / [0; 1] Với giá trị quan sát X = x, hàm mật độ θ là: f (x/θ)f (θ) Cnx θx (1 − θ)n−x f (θ) = f (θ/x) = f (x) f (x) = c(x)θx (1 − θ)n−x f (θ) Khi c(x) hàm phụ thuộc vào x không phụ thuộc vào θ, với f (θ) = tìm c(x) qua cơng thức sau : c(x)θx (1 − θ)n−x dθ 1= θx (1 − θ)n−x dθ = c(x) 25 Γ(y + 1)Γ(n − y + 1) Γ(n + 2) Γ(n + 2) c(x) = Γ(x + 1)Γ(n − x + 1) = c(x) Thay c(x) vào công thức f (θ/x) ta : Γ(n + 2) f (θ/x) = θx (1 − θ)n−x Γ(x + 1)Γ(n − x + 1) Γ(n + 2) θ(x+1)−1 (1 − θ)(n−x+1)−1 = Γ(x + 1)Γ(n − x + 1) Như vậy, xem θ có phân phối đoạn [0; 1] với giá trị quan sát X = x, θ có phân phối xác suất Beta(y + 1, n − y + 1) 2.3.1 Công thức ước lượng khoảng tham số Cho x giá trị quan sát đại lượng ngẫu nhiên X có phân phối nhị thức B(n, θ) với tham số θ Nếu θ có phân phối đoạn [0; 1] với độ tin cậy − α, ước lượng khoảng θ ứng với giá trị quan sát x là: θα/2 ≤ θ ≤ θ1−α/2 Trong đó, θα/2 θ1−α/2 phân vị phân phối Beta : Beta(x + 1, n − x + 1) xác định : P (Beta < θα/2 ) = α/2 P (Beta > θ1−α/2 ) = α/2 Ví dụ 2.3.1 Các sản phẩm nhà máy A đóng gói thành hộp hộp 20 sản phẩm Chọn ngẫu nhiên hộp sản phẩm nhà máy thấy hộp có phế phẩm Với độ tin cậy 95% ước lượng khoảng tỉ lệ phế phẩm nhà máy Giải Theo giả thiết ta có : n = 20 , y = , α = 0.05 Như : a = b = 16 Ta tìm θα/2 θ1−α/2 phần mềm R : 26 > a < −6; b < −16 > qbeta(c(0.025, 0.975), a, b) [1] 0.1128094 0.4716598 Như ta có ước lượng khoảng θ với độ tin cậy 95% [0.11; 0.47] 2.4 Ước lượng tham số phân phối Poisson Cho đại lượng ngẫu nhiên rời rạc X có phân phối Poisson với tham số θ (θ > 0) có hàm mật độ f (x/θ) = θ −θ xe x! , x ∈ N = {0, 1, 2, .} với tham số θ chưa biết Cho (x1 , x2 , , xn ) mẫu số liệu X Giả sử θ đại lượng ngẫu nhiên có hàm mật độ f (θ) Giả sử (X1 , X2 , , Xn ) mẫu ngẫu nhiên X Gọi hàm mật độ xác suất đồng thời (X1 , X2 , Xn ) f (x1 , , xn ), hàm mật độ xác suất đồng thời (X1 , X2 , Xn ) với điều kiện θ là: f (x1 , x2 , , xn /θ), hàm mật độ đại lượng ngẫu nhiên θ với điều kiện (X1 , , Xn ) = (x1 , , xn ) f (θ/x1 , , xn ) Khi ta có : f (θ/x1 , , xn ) = f (θ)f (x1 , , xn /θ) f (x1 , , xn ) Suy f (θ/x1 , , xn ) =c1 (x1 , , xn )f (θ)f (x1 , , xn /θ) = c2 (x1 , , xn )f (θ)θ n i=1 xi −nθ e ba a−1 −bθ Vì vậy, chọn f (θ) = dgamma(θ, a, b) = θ e Γ(a) ba a+ f (θ/x1 , , xn ) = c2 (x1 , , xn ) θ Γ(a) n i=1 xi −1 −(n+b)θ e n = C(x1 , , xn , a, b)dgamma(θ, a + xk , b + n) k=1 27 Vì : +∞ f (θ/x1 , , xn )dθ = −∞ nên C(x1 , , xn , a, b) = Do đó, n xk , b + n) f (θ/x1 , xn ) = dgamma(θ, a + k=1 Như vậy, xem θ có phân phối Gamma(a, b) với điều kiện mẫu số liệu x1 , , xn , θ có phân phối Gamma(a + nk=1 xk , b + n) 2.4.1 Công thức ước lượng tham số Cho x1 , x2 , , xn mẫu số liệu đại lượng ngẫu nhiên X có phân phối Poisson(θ) Nếu tham số θ có phân phối Gamma(a, b) với độ tin cậy − α ước lượng khoảng θ với điều kiện mẫu số liệu : f (x/θ) = Cnx θx (1 − θ)n−x , x ∈ {1, 2, , n} Trong đó,θα/2 θ1−α/2 phân vị phân phối G=Gamma (a + nk=1 yk , b + n): P (G < θα/2 ) = α/2 P (G > θ1−α/2 ) = α/2 Ví dụ 2.4.1 Biết số khách hàng vào mua hàng cửa hàng ngày có phân phối Poisson Theo dõi 15 ngày thấy có tổng cộng 165 khách vào mua Với độ tin cậy 95% ước lượng khoảng số khách vào trung bình ngày cửa hàng Giải Gọi X số khách vào mua hàng cửa hàng ngày X ∼ P ois(θ) n Theo giả thiết ta có : n = 15 , xi = 165 i=1 Giả sử θ ∼ gamma (2, 1) (chọn a = 2, b = 1) Sử dụng công thức ước lượng tham số phân phối Poisson ta có: 28 θ| {n = 15, xi = 165} ∼ gamma (2 + 165, + 15) = gamma (167, 16) Chúng ta tìm θ với độ tin cậy 95% phần mềm R : > a < −2; b < −1 > n < −15; sy < −165 > (a + sy)/(b + n) [1]10.4375 > (a + sy − 1)/(b + n) [1]10.375 > qgamma (c(0.025, 0.975), a + sy, b + n) [1] 8.914482 12.078861 8.914482 ≤ θ ≤ 12.078861 Như ước lượng khoảng khách ngày cửa hàng [8.91, 12.07] Ví dụ 2.4.2 Trong điều tra General Social Survey vào năm 1990 trình độ giáo dục số 155 phụ nữ 40 tuổi , kết điều tra là: - 111 phụ nữ khơng có đại học có tổng cộng 217 đứa - 44 phụ nữ có đại học có tổng cộng 66 đứa Giả sử số phụ nữ có phân phối Poisson độ tin cậy 95%, ước lượng khoảng số trung bình phụ nữ có đại học phụ nữ khơng có đại học Giải Gọi X số phụ nữ có đại học, Y số phụ nữ khơng có đại học Khi đó, X ∼ P ois(θ1 ), Y ∼ P ois(θ2 ) Từ giả thiết ta có: n1 + Nhóm phụ nữ khơng có đại học : n1 = 111 , n2 + Nhóm phụ nữ có đại học : n2 = 44 , xi = 217 i=1 yi = 66 i=1 Giả sử θ1 , θ2 ∼ Gamma (2, 1) (chọn a = 2, b = 1) Sử dụng cơng thức ước lượng có: 29 θ1 | {n1 = 111, xi = 217} ∼ gamma (2 + 217, + 111) = gamma (219, 112) θ2 | {n2 = 44, yi = 66} ∼ Gamma (2 + 66, + 44) = Gamma (68, 45) Chúng ta tìm θ1 , θ2 với độ tin cậy 95% phần mềm R : > a < −2; b < −1 > n1 < −111; sy1 < −217 > n2 < −44; sy2 < −66 > (a + sy1) / (b + n1) [1] 1.955357 > (a + sy1 − 1) / (b + n1) [1] 1.946429 > qgamma (c (0.025, 0.975) , a + sy1, b + n1) [1] 1.704943 2.222697 > (a + sy2) / (b + n2) [1] 1.511111 > (a + sy2 − 1) / (b + n2) [1] 1.488889 > qgamma (c (0.025, 0.975) , a + sy2, b + n2) [1] 1.173437 1.890836 Vậy 1.704943 ≤ θ1 ≤ 2.222679 1.173437 ≤ θ2 ≤ 1.890836 2.5 Ước lượng khoảng kì vọng phân phối chuẩn N (µ; σ 2) với điều kiện biết σ Cho đại lượng ngẫu nhiên X có phân phối chuẩn N (µ, σ ) có hàm √1 e σ 2Π −(x−µ)2 2σ với tham số µ chưa biết mật độ xác suất f (x/µ, σ) = tham số σ biết Cho (x1 , x2 , , xn ) mẫu số liệu X Giả sử (X1 , X2 , , Xn ) mẫu ngẫu nhiên X có hàm mật độ xác suất đồng thời f (x1 , x2 , , xn ) Hàm mật độ xác suất đồng thời (X1 , X2 , , Xn ) với điều kiện µ f (x1 , x2 , , xn /µ) = √1 e (σ 2Π)n −(xk −µ)2 n k=1 2σ Nếu xem µ đại lượng ngẫu nhiên có phân phối chuẩn N (µ0 , σ02 ) có hàm mật độ xác suất µ f (µ) = √ σ0 2Π e −(µ−µ0 )2 2σ0 30 Mặt khác, theo định lý 2.1.1 ta có: f (µ).f (x1, x2 , , xn /µ) f (x1 , x2 , , xn ) = c(x1 , x2 , , xn ) f (µ) f (x1 , x2 , , xn /µ) −(µ−µ0 )2 1 = c(x1 , x2 , , xn ) √ e 2σ0 √ e σ0 2Π (σ 2Π)n fµ (µ/x1 , x2 , , xn ) = −(xk −µ)2 n k=1 2σ 2 = c(x1 , x2 , , xn , σ0 , σ).e n a = σ12 + σn2 b = σµ02 + k=1 σ2 0 Theo tính chất hàm mật độ ta có: +∞ −∞ f (µ/x1 , x2 , , xn ) dµ − 21 b µ− a √ a , xk =1 − 21 +∞ ⇒ −∞ c(x1 , x2 , , xn , σ0 , σ).e ⇒ c(x1 , x2 , , xn , σ0 , σ) = √1 √1 2Π b µ− a √1 a dµ = a Vì ta có: f (µ/x1 , x2 , , xn ) = Với µn = σn = √1 a b a = n µ0 + σ x σ0 n + σ2 σ0 σn √ n) e −(µ−µ 2σ 2Π n = n + σ2 σ0 Kết luận: Nếu µ có phân phối chuẩn N (µ0 , σ02 ) với điều kiện x1 , x2 , , xn biết σ µ có phân phối chuẩn N (µn , σn2 ) với b µn = = a µ + σn2 x σ02 + σn2 σ02 σn = √ = a 2.5.1 σ02 + n σ2 Công thức ước lượng khoảng Cho x1 , x2 , , xn mẫu số liệu X ∼ N (µ, σ ) với σ biết Nếu µ có phân phối chuẩn N (µ0 , σ02 ) µ/x1 , x2 , , xn ∼ N (µn , σn2 ) Với µn = b a = n µ0 + σ x σ0 n + σ2 σ0 31 σn = √1 a = n + σ2 σ0 µ/x1 , x2 , ,xn −µn σn ∼ N (0, 1) Do với độ tin cậy − α ta có ước lượng khoảng µ là: Suy ra: α α µn − z( ).σn ≤ µ ≤ µn + z( ).σn 2 Trong đó: z( α2 ) xác định bởi: −x2 +∞ √ e z( α2 ) 2Π dx = α Ví dụ 2.5.1 Chọn ngẫu nhiên 25 nam niên đo chiều cao tính x = 1, 68(m) với độ tin cậy 95% Hãy ước lượng khoảng chiều cao trung bình nam niên biết chiều cao trung bình nam niên có phân phối chuẩn N (µ, σ ) với σ = 0, Giải Giả sử µ có phân phối chuẩn N (µ0 , σ02 ) √ Khi đó: f (µ/x1 , x2 , , xn ) = −(µ−µn )2 2σn với µn = e Chọn µ0 = 1, 65 σ0 = 0, thõa đk: µ0 > 2σ0 Ta có: µn = Và σn = √1 a b a = = n µ0 + σ x σ0 n + σ2 σ0 n + σ2 σ0 = σn 2Π = 25 1,65+ 0,1 1,68 0,82 25 + 0,12 0,82 1 25 + 0,1 0,82 1√ e 0,0199 2Π b a σn = √1 a = 1, 678 = 0, 0199 −(µ−1,678)2 2.0,01992 ⇒ f (µ/x1 , x2 , , xn ) = Với α = 0, 05 ta có z( α2 ) = 1, 96 Do với độ tin cậy − α ta có ước lượng khoảng µ là: α α µn − z( ).σn ≤ µ ≤ µn + z( ).σn 2 ⇒ 1, 678 − 1, 96.0, 0199 ≤ µ ≤ 1, 678 + 1, 96.0, 0199 ⇒ 1, 639 ≤ µ ≤ 1, 717 Vậy ta có ước lượng khoảng µ với độ tin 95% là: [1,639;1,717] 32 2.6 Ước lượng khoảng tham số µ σ phân phối chuẩn N (µ; σ 2) với µ σ 2chưa biết Xét đại lượng ngẫu nhiên X ∼ N (µ, σ ) với µ σ chưa biết Cho {x1 , x2 , , xn } mẫu số liệu X Giả sử µ σ đại lượng ngẫu nhiên có hàm mật độ xác suất f (µ)và f (σ ), giả sử µ σ độc lập Khi f (µ; σ ) = f (µ) f (σ ) hàm mật độ xác suất đồng thời (µ; σ ) Giả sử (X1 , X2 , , Xn ) mẫu ngẫu nhiên X có hàm mật độ xác suất đồng thời f (x1 , x2 , , xn ) Gọi f (x1 , x2 , , xn /µ; σ ) hàm mật độ xác suất đồng thời mẫu ngẫu nhiên (X1 , X2 , Xn ) với điều kiện µ σ , f (xk /µ, σ ) hàm mật độ xác suất Xk (1 ≤ k ≤ n), ⇒ f (x1 , x2 , , xn /µ, σ ) = f (x1 /µ, σ ) f (x2 /µ, σ ) f (xn /µ, σ ) ⇒ f (x1 , x2 , , xn /µ, σ ) = √ σ 2Π ne −(xk −µ)2 n k=1 2σ Theo định lý 2.1.1 ta có: f (µ; σ ) f (x1 , x2 , , xn /µ; σ ) f (µ; σ /x1 , x2 , , xn ) = f (x1 , x2 , , xn ) f (µ) f (σ ) f (x1 , x2 , , xn /µ; σ ) f (µ; σ /x1 , x2 , , xn ) = f (x1 , x2 , , xn ) Nếu xem µ đại lượng ngẫu nhiên có phân phối σ có phân phối Inv − Gamma(0, 0) f (µ; σ /x1 , x2 , , xn ) = C(x1 , , xn ) Khi ta có: (σ ) n +1 −1 e 2σ2 [(n−1)s 2 +n(x−µ) ] 33 +∞ f (µ; σ /x1 , x2 , , xn ) dσ f (µ/x1 , x2 , , xn ) = −∞ n (µ − x)2 ⇒ f (µ/x1 , x2 , , xn ) = C(x1 , , xn ) + (n − 1) s2 µ−x √ n s ⇒ f (µ/x1 , x2 , , xn ) = C(x1 , , xn ) + n−1 Đặt x = µ−x √ s n −n 2 −n ta được: f (x/x1 , x2 , , xn ) = C(x1 , , xn ) + x2 n−1 √ Vậy µ−x s n ∼ Tn−1 Mặt khác ta có: −n +∞ f (σ /x1 , x2 , , xn ) = f (µ; σ /x1 , x2 , , xn ) dµ −∞ = C σ − n+1 e −(n−1)s2 2σ 2 , x2 , ,xn Do σ /x(n−1)s ∼ Inv − χ2 (n − 1) Suy σ2 |x(n−1)s ∼ χ2 (n − 1) ,x2 , ,xn Như phương pháp Bayes trường hợp cho ta cơng thức ước lượng khoảng kì vọng phương sai công thức ước lượng khoảng cổ điển Nếu xét µ có phân phối chuẩn σ có phân phối Inv-Gamma ta có kết 2.6.1 Cơng thức ước lượng khoảng kì vọng Cho x1 , x2 , , xn mẫu số liệu đại lượng ngẫu nhiên X có phân phối chuẩn N (µ, σ ) với σ chưa biết Nếu xem µ có phân phối σ có phân phối Inv − Gamma(0, 0), µ σ độc lập với độ tin cậy − α ta có cơng thức ước lượng khoảng cho kì vọng µ là: 34 α s α s x − tn−1 ( ) √ ≤ µ ≤ x + tn−1 ( ) √ n n n α Trong đó: s2 = n−1 k=1 (xk − x) tn−1 ( ) giá trị tới hạn bảng phân phối Student n − bậc tự Ví dụ 2.6.1 Một báo tạp chí Materials Engineering (1989, Vol.II, No.4, pp.275-281) có kết kiểm tra độ bền 22 mẫu hợp kim U-700 (đơn vị: MPa) sau: x = 13, 71 (M P a), s = 3, 55 (M P a) Với độ tin cậy 95% ước lượng khoảng độ bền trung bình loại hợp kim Biết độ bền hợp kim đại lượng ngẫu nhiên chuẩn Giải Với α = 0, 05 ta có tn−1 ( α2 ) = t21 (0, 025) = 2, 0796 Với độ tin cậy − α ta có ước lượng khoảng µ là: α s α s x − tn−1 ( ) √ ≤ µ ≤ x + tn−1 ( ) √ n n 3, 55 3, 55 ⇒ 13, − 2, 0796 √ ≤ µ ≤ 13, + 2, 0796 √ 22 22 ⇒ 12, 13 ≤ µ ≤ 15, 27 Vậy ta có ước lượng khoảng µ với độ tin cậy 95% là: [12,13;15,27] 2.6.2 Công thức ước lượng khoảng phương sai Cho x1 , x2 , , xn mẫu số liệu đại lượng ngẫu nhiên X có phân phối chuẩn N (µ, σ ) với σ chưa biết Nếu xem µ có phân phối σ có phân phối Inv − Gamma(0, 0), µ σ độc lập với độ tin cậy − α ta có cơng thức ước lượng khoảng cho phương sai σ là: (n − 1)s2 (n − 1)s2 ≤ σ ≤ kn−1 ( α2 ) kn−1 (1 − α2 ) 35 Trong đó: kn−1 ( α2 ) kn−1 (1 − α2 ) giá trị tới hạn phân phối bình phương n − bậc tự Ví dụ 2.6.2 Để nghiên cứu độ ổn định máy gia công, người ta lấy ngẫu nhiên 25 chi tiết máy gia cơng, đem đo thu kết sau: 24, 27, 26, 23, 26, 25, 27, 23, 26, 27, 22, 26, 24, 24, 23, 24, 26, 25, 25, 22, 26, 25, 23, 23, 24, Với độ tin cậy 95% ước lượng độ phân tán kích thước chi tiết máy gia cơng Biết kích thước chi tiết gia công đại lượng ngẫu nhiên phân phối chuẩn Giải Ta có: x= n s = n−1 n xk = 25, 092 k=1 n Với α = 0, 05 ta có (xk − x)2 = 2, 428 k=1 kn−1 ( α2 ) = k24 (0, 025) = 39, 3641 kn−1 (1 − α2 ) = k24 (0, 975) = 12, 4012 Với độ tin cậy − α ta có ước lượng khoảng σ là: (n − 1)s2 (n − 1)s2 ≤σ ≤ kn−1 ( α2 ) kn−1 (1 − α2 ) 36 ⇒ (25 − 1).2, 428 (25 − 1).2, 428 ≤ σ2 ≤ 39, 3641 12, 4012 ⇒ 1, 48 ≤ σ ≤ 4, 67 Vậy ta có ước lượng khoảng σ với độ tin cậy 95% là: [1,48;4,67] 37 KẾT LUẬN Kết đạt : Nêu tóm tắt nội dung quan trọng cần cho nội dung Phân tích ước lượng tham số đưa công thức ước lượng khoảng tham số phân phối Bernoulli, phân phối Nhị Thức, phân phối Poisson phân phối chuẩn Đưa ví dụ thực tế phương pháp Bayes ước lượng tham số đại lượng ngẫu nhiên minh họa tính tốn thơng qua phần mềm R Đóng góp khóa luận bao gồm: Tìm hiểu trình bày lại nội dung kiến thức sở xác suất thống kê Đề cập số phân phối dùng nội dung Nêu ước lượng tham số phân phối Bernoulli, phân phối Nhị Thức, phân phối Poisson phân phối chuẩn TÀI LIỆU THAM KHẢO [1] Lê Văn Dũng, Tôn Thất Tú (2012), Bài giảng Lý thuyết xác suất ứng dụng [2] Nguyễn Duy Tiến (2007), Cơ sở lý thuyết xác suất, NXB ĐHQG Hà Nội [3] Đặng Hùng Thắng (2009), Thống kê ứng dụng, NXB Giáo dục [4] Carlin, B P., Louis, T A (2000) Bayes And Empirical Bayes Methods For Data Analysis, Chapman & Hall/CRC [5] Fienberg, S.E , van der Linden, W.J (2007) Statistics for Social and Behavioral Sciences, Springer [6] Hoff, P.D (2009) A First Course In Bayesian Statistical Methods, Springer 38 ... văn : Phương Pháp Bayes Ước Lượng Tham Số Đại Lượng Ngẫu Nhiên Mục đích nghiên cứu Phương pháp Bayes dùng để ước lượng tham số đại lượng ngẫu nhiên rời rạc Đây phương pháp hữu hiệu hạn chế số nhược... 11 Đại lượng ngẫu nhiên rời rạc 11 1.3.3 Đại lượng ngẫu nhiên liên tục 12 Đại lượng ngẫu nhiên độc lập 12 Các tham số đặc trưng đại lượng ngẫu nhiên. .. miền giá trị đại lượng ngẫu nhiên rời rạc X , hàm số f : E → R xác định f (x) = P (X = x) gọi hàm mật độ X 1.3.3 Đại lượng ngẫu nhiên liên tục Đại lượng ngẫu nhiên X gọi đại lượng ngẫu nhiên liên