Tìm hiểu về khoảng tin cậy bayes

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES Chuyên ngành: Lý thuyết xác suất Thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRỊNH QUỐC ANH Hà Nội – Năm 2015 LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn nhiệt tình TS.Trịnh Quốc Anh.Thầy dành nhiều thời gian hướng dẫn giải đáp thắc mắc suốt trình làm luận văn.Tôi muốn bày tỏ lòng biết ơn sâu sắc đến thầy Qua xin gửi tới quý thầy cô Khoa Toán – Cơ – Tin học, trường Đại học Khoa học Tự nhiên, đại học Quốc gia hà Nội, thầy cô tham gia giảng dạy khóa cao học 2013 – 2015, lời cảm ơn sâu sắc công lao dạy dỗ suốt trình học tập Trường Để hoàn thành chương trình đào tạo hoàn thiện luận văn này, thời gian vừa qua nhận nhiều giúp đỡ quý báu, lớn lao từ gia đình bạn bè Vì vậy, này, muốn gửi lời cảm ơn tới người Hà Nội ngày 01 tháng 12 năm 2015 Học viên Trịnh Thị Ngọc Lan Danh mục từ viết tắt HPD Mật độ hậu nghiệm cao MCMC Monte Carlo xích Markov UMVU Không chệch với phương sai bé ƯLKC Ước lượng không chệch MỞ ĐẦU Tính cấp thiết đề tài Suy luận Bayes suy luận thống kê mà quan sát hay chứng dùng để cập nhật suy luận xác suất cho việc giả thuyết Cái tên "Bayes" bắt nguồn từ việc sử dụng định lý Bayes trình suy luận, thước đo cho mức độ mà chứng làm thay đổi tin tưởng vào giả thuyết (luôn gắn liền với xác suất tiên nghiệm) Mặc dù việc lựa chọn xác suất tiên nghiệm cho giả thuyết coi chủ quan, dẫn đến xác suất khác nhau, chứng từ quan sát lặp lặp lại có xu hướng đưa xác suất hậu nghiệm lại gần Suy luận bayes ngày trở nên phổ biến suy luận thống kê Mặc dù Thomas Bayes đề cập đến từ kỷ 18, phải đến kỷ 20, suy luận thống kê có tảng toán học vững với công trình Ronald Fisher, Karl Pearson, Jerzy Neyman, De Finetti Abraham Wald, suy luận Bayes trở thành vấn đề tranh cãi không kết quả, cách làm mà tư tưởng thực hiện, so với suy luận tần suất Trong thời gian dài từ trước chiến hai, phương pháp tần suất phát triển mạnh.Tần suất thắng thống trị khắp khoa thống kê Mỹ, từ Berkeley, Stanford đến Harvard, Chicago.Phương pháp Bayes nghiên cứu vài khoa thống kê nhỏ (khi đó) Carnegie Mellon Duke Ngày nay, khoa học thống kê bớt dần tính triết lý giáo điều mà dịch dần tính thực dụng phải đối đầu với vấn đề có liệu phức tạp Phương pháp Bayes thực công cụ hữu ích nhiều tình thống kê sống, mà tần suất tỏ không hiệu (ví dụ lĩnh vực trí tuệ nhân tạo).Suy luận Bayes bước tiếp nhận ưa chuộng, dạy học hầu hết khoa thống kê Tuy nhiên khác biệt Bayes tần suất nguyên, câu chuyện Bayes tần suất nóng hổi tính thời sự, mà mang nhiều sắc thái vô thú vị Chính lý này, chọn đề tài: “Tìm hiểu khoảng tin cậy Bayes” cho luận văn Đối tƣợng nghiên cứu Đối tượng nghiên cứu luận văn là: cách xây dựng hai khoảng tin cậy Bayes sử dụng chủ yếu suy luận thống kê: khoảng đối xứng khoảng chứa xác suất hậu nghiệm cao (HPD); sở so sánh với khoảng tin cậy tần suất để giống khác hai cách tiếp cận Phạm vi nghiên cứu Nội dung lý thuyết khoảng tin cậy Bayes xây dựng luận văn song song với tiêu chí xây dựng khoảng tin cậy chương trình thống kê đại học, từ đưa so sánh tương ứng hai cách tiếp cận Ngoài luận văn đề cập đến phương pháp mô Monte Carlo công cụ số để giải toán ước lượng nêu Mục đích nghiên cứu Làm rõ chất phương pháp Bayes suy luận thống kê.Trên sở đó, khoảng ước lượng chọn làm đối tượng để đánh giá ý nghĩa kết mà phương pháp Bayes mang lại Phƣơng pháp nghiên cứu - Phân tích tổng hợp lý thuyết - Phân loại hệ thống hóa lý thuyết Bố cục luận văn Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo, phụ lục, danh mục bảng, nội dung luận văn gồm chương:  Chương Cơ sở lý thuyết, trình bày điểm quan điểm, sở toán học để xây dựng ước lượng khoảng tin cậy theo hai phương pháp: tần suất Bayes  Chương Khoảng tin cậy Bayes - Đi sâu vào cách xây dựng hai khoảng tin cậy Bayes thường dùng: khoảng đối xứng khoảng chứa xác suất hậu nghiệm cao nhất, hai trường hợp: phân bố hậu nghiệm cho tham số có biểu diễn giải tích cụ thể không cụ thể - Các ví dụ minh họa kèm giải thích cho sở lý thuyết  Chương Khoảng tin cậy khoảng tin cậy Bayes - Tiến hành so sánh, đánh giá kết khoảng tin cậy khoảng tin cậy Bayes qua toán quen thuộc suy luận thống kê - Phân tích tình dẫn đến kết giống khác hai cách làm, từ đưa chứng minh tổng quát cho trường hợp khoảng tin cậy khoảng tin cậy Bayes cho kết số giống - Đánh giá độ phức tạp hai cách tiếp cận toán ước lượng khoảng - Nêu tính chất “đẹp”: khoảng tin cậy Bayes hẹp so với khoảng tin cậy, kiểm tra phương pháp số thấy khoảng tin cậy Bayes nằm khoảng tin cậy Ý nghĩa lý luận thực tiễn đề tài Mặc dù phương pháp Bayes giảng dạy nhiều trường đại học Việt Nam, chưa có đề tài khoa học phân tích sở cho giống khác khoảng tin cậy khoảng tin cậy Bayes toán thống kê Luận văn trình bày vấn đề với mong muốn cung cấp tài liệu hữu ích cho nghiên cứu sâu phương pháp suy luận thống kê, từ người làm thống kê lựa chọn phương pháp phân tích phù hợp tình cụ thể cho có kết tốt Bên cạnh đó, luận văn mở nhiều hướng nghiên cứu sau với mục tiêu đưa phương pháp Bayes trở thành công cụ phổ biến lĩnh vực ứng dụng khác sinh học, khoa học máy tính, thiên văn, Chƣơng Cơ sở lý thuyết Nội dung họ mũ, thống kê đủ, tính chất ước lượng thống kê tần suất tác giả trích dẫn từ 1.1 Thống kê tần suất 1.1.1 Họ mũ thống kê đủ Giả sử ta có mẫu ngẫu nhiên cỡ 𝑛: 𝑋 = 𝑋1 , … , 𝑋𝑛 , 𝑋𝑖 độc lập phân phối 𝑋có không gian mẫu 𝒳, 𝒜 , họ phân phối xác suất 𝒫 = 𝑃𝜃 , 𝜃 ∈ Θ Khi 𝒳, 𝒜, 𝒫 = 𝑃𝜃 , 𝜃 ∈ Θ gọi mô hình thống kê Định nghĩa 1.1.1 (Thống kê) Một hàm đo 𝑇của 𝑋: ⟶ 𝕋, 𝒯, 𝒫 𝑇 = 𝑃𝜃𝑇 , 𝜃 ∈ Θ 𝑇: 𝒳, 𝒜, 𝒫 = 𝑃𝜃 , 𝜃 ∈ Θ 𝑃𝜃𝑇 𝐵 = 𝑃𝜃 𝑋: 𝑇 𝑋 ∈ 𝐵 , ∀𝐵 ∈ 𝒯 (độ đo xác suất cảm sinh độ đo 𝑃𝜃 qua ánh xạ 𝑇), gọi thống kê Định nghĩa 1.1.2 (Họ mũ 𝒔 chiều) Họ phân phối 𝑃𝜃 gọi họ mũ 𝑠 chiều mật độ độ đo 𝜇 có dạng: 𝑠 𝑝 𝑥, 𝜃 = exp 𝑗 =1 𝜂𝑗 𝜃 𝑇𝑗 𝑥 − 𝐵 𝜃 ℎ 𝑥 𝜂𝑗 𝐵 hàm giá trị thực tham ẩn 𝜃, 𝑇𝑗 hàm nhận giá trị thực 𝑥 với 𝑥 ∈ 𝒳 Định nghĩa 1.1.3 (Thống kê đủ) Thống kê: 𝑇 𝑋 : 𝒳, 𝒜, 𝒫 = 𝑃𝜃 , 𝜃 ∈ Θ ⟶ 𝕋, 𝒯, 𝒫 𝑇 = 𝑃𝜃𝑇 , 𝜃 ∈ Θ thống kê đủ họ 𝒫 (hay 𝜃 𝑋) 𝑃𝜃 𝑋 ∈ 𝐴 𝑇 𝑋 = 𝑡 không phụ thuộc 𝜃, ∀𝑡, ∀𝐴 ∈ 𝒜 Khái niệm thống kê đủ quan trọng việc so sánh hai phương pháp tần suất Bayes toán thống kê.Các phương pháp để kiểm tra tính đủ thống kê KẾT LUẬN Luận văn làm nội dung sau: Xây dựng khoảng tin cậy Bayes (đối xứng HPD) trường hợp phân bố hậu nghiệm tham số có biểu diễn giải tích cụ thể.Khẳng định tồn cách tìm công thức tính khoảng tin cậy Bayes, kèm ví dụ áp dụng Xây dựng khoảng tin cậy Bayes (đối xứng HPD) trường hợp phân bố hậu nghiệm tham số biểu diễn giải tích cụ thể.Sử dụng phương pháp Monte Carlo xích Markov để tìm ước lượng cho khoảng đối xứng HPD, kèm toán mô minh họa So sánh kết khoảng tin cậy khoảng tin cậy bayes dựa toán cụ thể, trường hợp thống kê tần suất gặp khó khăn (khi thống kê đủ để ước lượng cho tham số, cách xử lý tham số nhiễu trường hợp tổng quát), nhiên thống kê Bayes đưa cách làm đơn giản đưa kết tốt hơn; đồng thời nêu khoảng tin cậy Bayes nằm khoảng tin cậy tần suất Cuối chương, luận văn đề cập đến kết tổng quát cho trường hợp khoảng tin cậy khoảng tin cậy Bayes cho kết giống phân phối có tham số vị trí tham số tỉ lệ Tuy nhiên, trình độ thời gian hạn chế nên luận văn tránh khỏi thiếu sót Vì vậy, mong nhận góp ý từ Thầy Cô bạn đọc để luận văn hoàn chỉnh TÀI LIỆU THAM KHẢO Tiếng Việt Đào Hữu Hồ (2015), Lý thuyết ước lượng, NXB Đại học Quốc gia Hà Nội Nguyễn Văn Hữu, Đào Hữu Hồ, Hoàng Hữu Như (2004), Thống kê toán học, NXB Đại học Quốc gia Hà Nội Đặng Hùng Thắng (2010), Mở đầu lý thuyết xác suất ứng dụng, NXB Giáo dục Việt Nam, Vĩnh Phúc Đặng Hùng Thắng (2009), Thống kê ứng dụng, NXB Giáo dục, Thái Nguyên Đặng Hùng Thắng (2012), Xác suất nâng cao, NXB Đại học Quốc gia Hà Nội Tiếng Anh Allan – Birnbaum (2011), “The Neyman – Pearson Theory as Decision Theory, and as Inference theory, with a criticism of the Lindly – Savage Argument for Bayesian Theory”, Springer Andrew Gelman, John B Carlin, Hal S Stern, Donald B Rubin (2009), “Bayesian Data analysis”, Second Edition, Taylor & Francis e-Library Box George E.P & Tiao George C (1992), “Bayesian Inference in Statistical Inference”, Willy – Interscience Publication Christian P Robert, George Casella (2010), “Introducing Monte Carlo Methods with R”, Springer Science + Business Media 10 Christian P Robert, George Casella (2004), Monte Carlo Statistical Methods, Springer – Verlag 11 Christian P Robert (2007), “The Bayesian Choice from Decisoin – Theoretic Foundations to Computational Implementation”, Second Editon, Springer Science + Business media, USA 12 Hyndman R J (1996), “Computing and Graphing Highest Density Regions”, The American Statistician, Vol 50, 791 – 800 13 Jake Vander Plas (2014), “Frequentism and Bayesianism: a Python – driven Primer”, Science Institute, University of Washington 14 Jaynes E.T (1976), “Confidence intervals and Bayesian intervals”, Foundation of Probability theory, Statistical Inference, and Statistical Theories of Science, Vol II, 175 – 257 15 John A Rice (2007), “Mathematical Statistics and Data ananlysis”, Third Edition, Thomson Brooks/Scole 16 Julian Besag (2001), “Markov chain Monte Carlo for Statistical Inference”, University of Washington, USA 17 Justin L Tobias (?), “Bayesian Interval Estimation”, Econ 690, Purdue University 18 Kandethody M Ramachandran, Chris P Tsokos (2009), “Mathematical Statistics with Applications”, Elsevier inc 19 Matthew S Johson (2009), “Introduction to Bayesian Statistics with WinBUGS, Part II – Bayesian inference, MCMC algorithm and Diagnosing Convergence”, Columbia University, New York, USA 20 Michael I Jordan (2010), “Jeffreys Priors and Reference Priors”, Bayesian Modeling and Inference, Lecture 21 Ming – Hui Chen & Qi – Man Shao (1998), “Monte Carlo Estimation of Bayesian Credible and HPD Interval”, Jounal of Computational and Graphical Statistics, 69 – 92 22 Ming – Hui Chen, Qi – Man Shao, Joseph G Ibrahim (2000), “Monte Carlo Methods in Bayesian Computation”, Springer Science + Business Media New York 23 Peter D Hoff (2009), “A First Course in Bayesian Statistical Methods”, Springer Science + Business media, USA 24 Tanner M A (1996), “Tools for Statistical Inference”, Third edition, Springer, New York 25 William M Bostald (2007), “Introduction to Bayesian Statistics, Second Edition”, John Willey & Sons, Inc Publication [...]... for Statistical Inference”, University of Washington, USA 17 Justin L Tobias (?), “Bayesian Interval Estimation”, Econ 690, Purdue University 18 Kandethody M Ramachandran, Chris P Tsokos (2009), “Mathematical Statistics with Applications”, Elsevier inc 19 Matthew S Johson (2009), “Introduction to Bayesian Statistics with WinBUGS, Part II – Bayesian inference, MCMC algorithm and Diagnosing Convergence”,...12 Hyndman R J (1996), “Computing and Graphing Highest Density Regions”, The American Statistician, Vol 50, 791 – 800 13 Jake Vander Plas (2014), “Frequentism and Bayesianism: a Python – driven Primer”, Science Institute, University of Washington 14 Jaynes E.T (1976), “Confidence intervals and Bayesian intervals”, Foundation of Probability theory, Statistical Inference,... Jordan (2010), “Jeffreys Priors and Reference Priors”, Bayesian Modeling and Inference, Lecture 7 21 Ming – Hui Chen & Qi – Man Shao (1998), “Monte Carlo Estimation of Bayesian Credible and HPD Interval”, Jounal of Computational and Graphical Statistics, 69 – 92 22 Ming – Hui Chen, Qi – Man Shao, Joseph G Ibrahim (2000), “Monte Carlo Methods in Bayesian Computation”, Springer Science + Business Media... Computation”, Springer Science + Business Media New York 23 Peter D Hoff (2009), “A First Course in Bayesian Statistical Methods”, Springer Science + Business media, USA 24 Tanner M A (1996), “Tools for Statistical Inference”, Third edition, Springer, New York 25 William M Bostald (2007), “Introduction to Bayesian Statistics, Second Edition”, John Willey & Sons, Inc Publication