Luận văn thạc sĩ tìm hiểu về khoảng tin cậy bayes

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES Chuyên ngành: Lý thuyết xác suất Thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRỊNH QUỐC ANH Hà Nội – Năm 2015 LỜI CẢM ƠN Luận văn hồn thành hướng dẫn nhiệt tình TS Trịnh Quốc Anh Thầy dành nhiều thời gian hướng dẫn giải đáp thắc mắc tơi suốt q trình làm luận văn Tơi muốn bày tỏ lòng biết ơn sâu sắc đến thầy Qua xin gửi tới quý thầy cô Khoa Toán – Cơ – Tin học, trường Đại học Khoa học Tự nhiên, đại học Quốc gia hà Nội, thầy tham gia giảng dạy khóa cao học 2013 – 2015, lời cảm ơn sâu sắc công lao dạy dỗ suốt trình học tập tơi Trường Để hồn thành chương trình đào tạo hồn thiện luận văn này, thời gian vừa qua nhận nhiều giúp đỡ quý báu, lớn lao từ gia đình bạn bè Vì vậy, này, muốn gửi lời cảm ơn tới người Hà Nội ngày 01 tháng 12 năm 2015 Học viên Trịnh Thị Ngọc Lan Mục lục Danh mục hình vẽ, bảng biểu Danh mục từ viết tắt MỞ ĐẦU Chương Cơ sở lý thuyết 12 1.1 Thống kê tần suất 12 1.1.1 Họ mũ thống kê đủ 12 1.1.2 Tính khơng chệch ước lượng liên quan 13 1.1.3 Khoảng tin cậy 14 1.2 Thống kê Bayes 15 1.2.1 Ước lượng Bayes 15 1.2.2 Phân phối tiên nghiệm 18 1.2.3 Khoảng tin cậy Bayes 20 Chương Khoảng tin cậy Bayes 25 2.1 Phân bố hậu nghiệm có biểu diễn giải tích cụ thể 26 2.1.1 Khoảng tin cậy Bayes đối xứng 26 2.1.2 Khoảng HPD 26 2.2 Phân bố hậu nghiệm khơng có biểu diễn giải tích cụ thể 27 2.2.1 Phương pháp Monte Carlo 28 2.2.2 Phương pháp Monte Carlo xích Markov 31 2.2.3 Phương pháp MCMC với khoảng tin cậy Bayes 32 2.3 Bài tốn mơ 38 Chương Khoảng tin cậy khoảng tin cậy Bayes 44 3.1 Bài toán sai khác hai giá trị trung bình 46 3.1.1 Phát biểu toán 46 3.1.2 Lời giải theo phương pháp tần suất 46 3.1.3 Lời giải theo phương pháp Bayes 47 3.1.4 Nhận xét 50 3.2 Bài toán so sánh hai phương sai 51 3.2.1 Phát biểu toán 51 3.2.2 Lời giải theo phương pháp tần suất 51 3.2.3 Lời giải theo phương pháp Bayes 52 3.2.4 Nhận xét 52 3.3 Bài toán tham số tỉ lệ phân bố mũ 53 3.3.1 Phát biểu toán 53 3.3.2 Lời giải theo phương pháp tần suất 53 3.3.3 Lời giải theo phương pháp Bayes 54 3.3.4 Các thiếu sót hai lời giải 55 3.3.5 Cải tiến thiếu sót đặc tính “chuỗi” 56 3.3.6 Nhận xét 57 3.3.7 Cải tiến thiếu sót thông tin tiên nghiệm 58 3.4 Tổng kết hai cách tiếp cận tốn ước lượng phía 60 3.5 Bài toán ước lượng cho tham số phân bố mũ rút gọn ( ) .61 3.5.1 Phát biểu toán 61 3.5.2 Lời giải theo phương pháp tần suất 61 3.5.3 Lời giải theo phương pháp Bayes 62 3.5.4 Nhận xét 63 3.6 Bài toán ước lượng tham số tỉ lệ phân bố nhị thức 64 3.6.1 Phát biểu toán 64 3.6.2 Lời giải theo phương pháp tần suất 64 3.6.3 Lời giải theo phương pháp Bayes 65 3.7 Bài tốn ước lượng tham số vị trí phân phối Cauchy 66 3.7.1 Phát biểu toán 66 3.7.2 Lời giải theo phương pháp tần suất 67 3.7.3 Lời giải theo phương pháp Bayes 70 3.8 Tổng quát trường hợp khoảng tin cậy khoảng tin cậy Bayes cho kết giống phân phối có tham số vị trí 71 KẾT LUẬN 73 TÀI LIỆU THAM KHẢO 74 Phụ lục A Các phân phối xác suất thường gặp 77 Danh mục hình vẽ, bảng biểu Hình 1.2 Sơ đồ trình tìm ước lượng Bayes cho tham số .18 Hình 1.2 So sánh khoảng tin cậy đối xứng khoảng HPD 95% 23 Hình 1.2 Khoảng (vùng) tin cậy HPD cho tham số trường hợp phân bố hậu nghiệm có hai đỉnh 24 Hình 2.2 Mơ Monte Carlo cho phân bố hậu nghiệm với cỡ mẫu tăng dần 29 Hình 2.3 Mơ phân phối tiên nghiệm tham số 40 Hình 2.3 Mô phân phối hậu nghiệm tham số γ 40 Bảng So sánh khoảng tin cậy 95% cho tham số theo hai phương pháp tần suất Bayes 66 Bảng Mức tin cậy "khoảng tin cậy 90%" tương ứng với giá trị khác thống kê 69 Danh mục từ viết tắt HPD Mật độ hậu nghiệm cao MCMC Monte Carlo xích Markov UMVU Không chệch với phương sai bé ƯLKC Ước lượng khơng chệch MỞ ĐẦU Tính cấp thiết đề tài Suy luận Bayes suy luận thống kê mà quan sát hay chứng dùng để cập nhật suy luận xác suất cho việc giả thuyết Cái tên "Bayes" bắt nguồn từ việc sử dụng định lý Bayes trình suy luận, thước đo cho mức độ mà chứng làm thay đổi tin tưởng vào giả thuyết (luôn gắn liền với xác suất tiên nghiệm) Mặc dù việc lựa chọn xác suất tiên nghiệm cho giả thuyết coi chủ quan, dẫn đến xác suất khác nhau, chứng từ quan sát lặp lặp lại có xu hướng đưa xác suất hậu nghiệm lại gần Suy luận bayes ngày trở nên phổ biến suy luận thống kê Mặc dù Thomas Bayes đề cập đến từ kỷ 18, phải đến kỷ 20, suy luận thống kê có tảng tốn học vững với cơng trình Ronald Fisher, Karl Pearson, Jerzy Neyman, De Finetti Abraham Wald, suy luận Bayes trở thành vấn đề tranh cãi không kết quả, cách làm mà tư tưởng thực hiện, so với suy luận tần suất Trong thời gian dài từ trước chiến hai, phương pháp tần suất phát triển mạnh Tần suất thắng thống trị khắp khoa thống kê Mỹ, từ Berkeley, Stanford đến Harvard, Chicago Phương pháp Bayes nghiên cứu vài khoa thống kê nhỏ (khi đó) Carnegie Mellon Duke Ngày nay, khoa học thống kê bớt dần tính triết lý giáo điều mà dịch dần tính thực dụng phải đối đầu với vấn đề có liệu phức tạp Phương pháp Bayes thực cơng cụ hữu ích nhiều tình thống kê sống, mà tần suất tỏ không hiệu (ví dụ lĩnh vực trí tuệ nhân tạo) Suy luận Bayes bước tiếp nhận ưa chuộng, dạy học hầu hết khoa thống kê Tuy nhiên khác biệt Bayes tần suất nguyên, câu chuyện Bayes tần suất khơng cịn nóng hổi tính thời sự, mà cịn mang nhiều sắc thái vơ thú vị Chính lý này, tơi chọn đề tài: “Tìm hiểu khoảng tin cậy Bayes” cho luận văn Đối tƣợng nghiên cứu Đối tượng nghiên cứu luận văn là: cách xây dựng hai khoảng tin cậy Bayes sử dụng chủ yếu suy luận thống kê: khoảng đối xứng khoảng chứa xác suất hậu nghiệm cao (HPD); sở so sánh với khoảng tin cậy tần suất để giống khác hai cách tiếp cận Phạm vi nghiên cứu Nội dung lý thuyết khoảng tin cậy Bayes xây dựng luận văn song song với tiêu chí xây dựng khoảng tin cậy chương trình thống kê đại học, từ đưa so sánh tương ứng hai cách tiếp cận Ngồi luận văn cịn đề cập đến phương pháp mô Monte Carlo công cụ số để giải toán ước lượng nêu Mục đích nghiên cứu Làm rõ chất phương pháp Bayes suy luận thống kê Trên sở đó, khoảng ước lượng chọn làm đối tượng để đánh giá ý nghĩa kết mà phương pháp Bayes mang lại Phƣơng pháp nghiên cứu - Phân tích tổng hợp lý thuyết - Phân loại hệ thống hóa lý thuyết Bố cục luận văn Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo, phụ lục, danh mục bảng, nội dung luận văn gồm chương: • Chương Cơ sở lý thuyết, trình bày điểm quan điểm, sở toán học để xây dựng ước lượng khoảng tin cậy theo hai phương pháp: tần suất Bayes • Chương Khoảng tin cậy Bayes 3.7.2 Lời giải theo phương pháp tần suất a Sử dụng thống kê trung bình mẫu làm ước lượng Phân bố Cauchy có dạng đối xứng, tiện lợi ta dùng ước lượng () ( ) ( ) cho tham số , với phân bố thống kê ( | ) giống phân bố Cauchy ban đầu (đây đặc điểm bật luật Cauchy) Tuy nhiên hạn chế chọn thống kê mẫu để ước lượng cho , có phân bố giống nhau, chúng cho kết ước lượng điểm khoảng tin cậy (với độ dài) Đặt trường hợp riêng biệt, ta có chọn hay làm thống kê ước lượng cho , không hợp lý Để khách quan, toán ta chọn để nghiên cứu Như ta có (| ) ( ) Suy ( ) (| ) ( ) Vì phân bố đối xứng, nên khoảng tin cậy ( ) ngắn cho khoảng đối xứng ( ) ( ), với tìm sau ( | ) ( | ) ( ( ) ( )), suy ( ) Vậy khoảng tin cậy ( ) ngắn cho CI b Thêm thống kê “nửa khoảng” tương ứng với gọi khoảng Vấn đề đặt liệu thống kê sử dụng hết thông tin từ mẫu chưa? Ta thử thêm thống kê “nửa khoảng” ()( ) có cho ta thêm thơng tin có ý nghĩa hay không, với phân bố cho Cauchy với giá trị median Như ta quan tâm đến biến ( ) Tiến hành đổi biến từ phân bố ( | ) ( | ) ( | ) Dễ thấy Jacobian phép đổi biến 2, từ phân bố đồng thời ()(|) , ( ) -, ( ) ( ) độc lập ( ) khơng Do đó, phân bố tích lũy với điều kiện ( ) (| ) , ( ) ( )- ( ) * ) ( + Với phân bố tích lũy này, khoảng tin cậy độ dài với ( ) khẳng định mức ( ) ( mà ) , ( ) ( Ta có bảng kết sau ( ) ( ) )- * ( ) ( ) + ( ) Bảng Mức tin cậy "khoảng tin cậy 90%" tƣơng ứng với giá trị khác thống kê cho ta số liệu thực mức tin cậy ( ) dựa khoảng tin cậy , với nhiều giá trị khác ( , cột thứ tỉ lệ toàn mẫu ( ) / cho giá trị ) lớn c Nhận xét kết hai cách xử lý Qua kết trên, ta thấy giá trị ( ) thực đóng góp lượng thơng tin đáng kể kết luận khoảng tin cậy cho tham số Khi lặp lại số lượng lớn lần lấy mẫu ngẫu nhiên, khoảng CI cho kết luận trường hợp, nhiên lại không hợp lý trường hợp riêng lẻ - Trong trường hợp khoảng giá trị mẫu nhỏ (ví dụ khoảng CI hay rộng, ta chọn khoảng hẹp mà đưa kết luận với trường hợp - ), Trong trường hợp khoảng giá trị mẫu lớn (ví dụ hay lớn ), khoảng CI lại cho kết luận với chưa đến trường hợp Những khuyết điểm khoảng CI dụng phân bố có điều kiện ( khắc phục cách sử ), sau dựa vào ( ) để chọn khoảng tin cậy khác cho khoảng ngắn lớp mẫu cho kết trường hợp Gọi khoảng tìm UR Bây ta so sánh kết tính từ khoảng UR phương pháp thực nghiệm Tiến hành chạy 100 mẫu * tham số vị trí với khoảng CI + từ phân bố Cauchy có , tham số tỉ lệ Sau với mẫu, tính giá trị khoảng UR, so sánh với khoảng CI Ta nhận kết sau - khoảng UR chứa giá trị tham số vị trí ; - trường hợp khoảng UR ngắn khoảng CI ( ); - trường hợp với khoảng giá trị nhỏ cho khoảng UR ngắn lần so với CI ( ); - trường hợp khoảng UR ngắn lần so với CI ( ); - mẫu với khoảng giá trị rộng nhất, khoảng CI chứa giá trị Như vậy, số mẫu “tồi” (có khoảng giá trị rộng), khơng thể đưa ước lượng xác cho , khoảng tin cậy ( ) (với độ rộng không đổi) không truyền tải độ chắn Để bù đắp cho điều giữ cho khả thành cơng trung bình cho mẫu , khoảng tin cậy buộc phải đưa kết trường hợp mẫu “tốt” với độ rộng lớn mức cần thiết Điều đối lập với khoảng UR, phần lớn trường hợp cho ta khoảng ngắn nhiều 3.7.3 Lời giải theo phương pháp Bayes Hàm hợp lý cho mẫu * + (|) ), ( ) -, ( Chọn tiên nghiệm cho , ta nhận phân bố hậu nghiệm ( ) ( | ( ) , ( ) -, ) ( ) - , ( ) -, ( ) Để tìm khoảng tin cậy Bayes ngắn cho , ta tìm phân phối tích lũy ( ) (| ) * , ( ) ( )Nhận thấy phân phối tích lũy ( khoảng tin cậy Bayes ( ) ( ) + ), tức khoảng UR ngắn nhất! Tuy nhiên việc tiếp cận đến phân phối nhanh tự nhiên nhiều so với cách giải theo phương pháp tần suất: thống kê ( 3.8 ) xuất trình tìm phân bố hậu nghiệm cho Tổng quát trƣờng hợp khoảng tin cậy khoảng tin cậy Bayes cho kết giống phân phối có tham số vị trí Phần ta xét phân phối có tham số vị trí, mà phân phối Cauchy ví dụ lớp phân phối Xét phân bố mẫu ( ) (|)(| ) tham số vị trí, tức ()(|)(| ) Thực phép đổi biến từ * + sang * +: ( ) ( ) ̅ ∑ Từ ( ) ( ) ( ) ta có phân bố mẫu * + có dạng ()(|)( ) Nếu thống kê đủ, khoảng tin cậy dựa phân bố cho kết giống khoảng ( ( | ) ) Để có khoảng UR, ta phải sử dụng phân bố với điều kiện thống kê phụ * +, tức ()(|)( ) số chuẩn hóa Tuy nhiên, ta có phân bố hậu nghiệm Bayes cho tham số dựa tiên nghiệm đều, hoàn toàn giống ( ): ()(|)(|)() Như vậy, việc hiệu chỉnh tiêu chuẩn đánh giá phương pháp tần suất, khoảng tin cậy “tốt nhất” cho tham số vị trí hồn tồn giống khoảng tin cậy Bayes hậu nghiệm (dựa tiên nghiệm đều) với mức tin cậy Đối với tham số tỉ lệ , sử dụng phép đổi biến: ( ̅ ̅ ̅ ̅), ta nhận khoảng tin cậy khoảng tin cậy Bayes (dựa tiên nghiệm Jeffreys ( ) ) KẾT LUẬN Luận văn làm nội dung sau: Xây dựng khoảng tin cậy Bayes (đối xứng HPD) trường hợp phân bố hậu nghiệm tham số có biểu diễn giải tích cụ thể Khẳng định tồn cách tìm cơng thức tính khoảng tin cậy Bayes, kèm ví dụ áp dụng Xây dựng khoảng tin cậy Bayes (đối xứng HPD) trường hợp phân bố hậu nghiệm tham số khơng có biểu diễn giải tích cụ thể Sử dụng phương pháp Monte Carlo xích Markov để tìm ước lượng cho khoảng đối xứng HPD, kèm tốn mơ minh họa So sánh kết khoảng tin cậy khoảng tin cậy bayes dựa toán cụ thể, trường hợp thống kê tần suất gặp khó khăn (khi khơng có thống kê đủ để ước lượng cho tham số, cách xử lý tham số nhiễu trường hợp tổng quát), nhiên thống kê Bayes đưa cách làm đơn giản đưa kết tốt hơn; đồng thời nêu khoảng tin cậy Bayes nằm khoảng tin cậy tần suất Cuối chương, luận văn đề cập đến kết tổng quát cho trường hợp khoảng tin cậy khoảng tin cậy Bayes cho kết giống phân phối có tham số vị trí tham số tỉ lệ Tuy nhiên, trình độ thời gian cịn hạn chế nên luận văn khơng thể tránh khỏi thiếu sót Vì vậy, mong nhận góp ý từ Thầy Cơ bạn đọc để luận văn hồn chỉnh TÀI LIỆU THAM KHẢO Tiếng Việt Đào Hữu Hồ (2015), Lý thuyết ước lượng, NXB Đại học Quốc gia Hà Nội Nguyễn Văn Hữu, Đào Hữu Hồ, Hồng Hữu Như (2004), Thống kê tốn học, NXB Đại học Quốc gia Hà Nội Đặng Hùng Thắng (2010), Mở đầu lý thuyết xác suất ứng dụng, NXB Giáo dục Việt Nam, Vĩnh Phúc Đặng Hùng Thắng (2009), Thống kê ứng dụng, NXB Giáo dục, Thái Nguyên Đặng Hùng Thắng (2012), Xác suất nâng cao, NXB Đại học Quốc gia Hà Nội Tiếng Anh Allan – Birnbaum (2011), “The Neyman – Pearson Theory as Decision Theory, and as Inference theory, with a criticism of the Lindly – Savage Argument for Bayesian Theory”, Springer Andrew Gelman, John B Carlin, Hal S Stern, Donald B Rubin (2009), “Bayesian Data analysis”, Second Edition, Taylor & Francis e-Library Box George E.P & Tiao George C (1992), “Bayesian Inference in Statistical Inference”, Willy – Interscience Publication Christian P Robert, George Casella (2010), “Introducing Monte Carlo Methods with R”, Springer Science + Business Media 10 Christian P Robert, George Casella (2004), Monte Carlo Statistical Methods, Springer – Verlag 11 Christian P Robert (2007), “The Bayesian Choice from Decisoin – Theoretic Foundations to Computational Implementation”, Second Editon, Springer Science + Business media, USA 12 Hyndman R J (1996), “Computing and Graphing Highest Density Regions”, The American Statistician, Vol 50, 791 – 800 13 Jake Vander Plas (2014), “Frequentism and Bayesianism: a Python – driven Primer”, Science Institute, University of Washington 14 Jaynes E.T (1976), “Confidence intervals and Bayesian intervals”, Foundation of Probability theory, Statistical Inference, and Statistical Theories of Science, Vol II, 175 – 257 15 John A Rice (2007), “Mathematical Statistics and Data ananlysis”, Third Edition, Thomson Brooks/Scole 16 Julian Besag (2001), “Markov chain Monte Carlo for Statistical Inference”, University of Washington, USA 17 Justin L Tobias (?), “Bayesian Interval Estimation”, Econ 690, Purdue University 18 Kandethody M Ramachandran, Chris P Tsokos (2009), “Mathematical Statistics with Applications”, Elsevier inc 19 Matthew S Johson (2009), “Introduction to Bayesian Statistics with WinBUGS, Part II – Bayesian inference, MCMC algorithm and Diagnosing Convergence”, Columbia University, New York, USA 20 Michael I Jordan (2010), “Jeffreys Priors and Reference Priors”, Bayesian Modeling and Inference, Lecture 21 Ming – Hui Chen & Qi – Man Shao (1998), “Monte Carlo Estimation of Bayesian Credible and HPD Interval”, Jounal of Computational and Graphical Statistics, 69 – 92 22 Ming – Hui Chen, Qi – Man Shao, Joseph G Ibrahim (2000), “Monte Carlo Methods in Bayesian Computation”, Springer Science + Business Media New York 23 Peter D Hoff (2009), “A First Course in Bayesian Statistical Methods”, Springer Science + Business media, USA 24 Tanner M A (1996), “Tools for Statistical Inference”, Third edition, Springer, New York 25 William M Bostald (2007), “Introduction to Bayesian Statistics, Second Edition”, John Willey & Sons, Inc Publication Phụ lục A Các phân phối xác suất thƣờng gặp A.1 Phân phối nhị thức ( ) ( | ) ( ) • ( ) • Khi , ta có ( ) phép thử Bernoulli A.2 Phân phối Poisson ( ) ( |) • A.3 Phân phối ( ) ( | • () ) , - { , - A.4 Phân phối mũ ( ) ( ) () { tham số tỉ lệ, tham số vị trí • • Hàm phân phối tích lũy tương ứng: ( ) { A.5 Phân phối chuẩn ( ) ( ) ma trận xác định dương đối xứng cấp ( ), ( | [ ( ) ( )] ) ( ) ( ) • , - ,( )( ) - A.6 phân phối gamma ( ) , (|) ( ) • ,- ,,- • Các trường hợp đặc biệt phân phối gamma là: phân phối mũ ( ), phân phối khi-bình phương / (thường ký hiệu ) A.7 Phân phối beta ( ) , ( ) (|) với ( ) ( ( ) ( ) ( ) ) • , - , - ( ) ( ) A.8 Phân phối student ( ) ma trận xác định dương đối xứng cấp ( ), ( / ( | • , - ( ) ) ()() / ,( )( ) - ) ( ) ( () ) ( ) • Với , ta nhận phân phối Cauchy ( ) (tương ứng với bậc tự ), ví dụ quan trọng phân bố không tồn kỳ vọng phương sai A.7 Phân phối bình phƣơng ( ) (|) / • • Nếu ( ) ̅ ̅ ̅ ̅ ̅ ∑ ( ) • Nếu ( ) ̅ ̅ ∑ ̅ ̅ ̅ ̅ ∑ A.8 Phân phối Fisher-Snedecor ( ) ( | ) / / / • () ()() ( ) / / ̅ / ( ) • Khi phân bố Fisher ( ) xấp xỉ phân phối chuẩn ( ) • Nếu ( ) ( ) ( ) ... kết luận Theo định nghĩa, ta tìm nhiều khoảng tin cậy Bayes Luận văn xin đề cập đến hai loại chính: khoảng tin cậy Bayes đối xứng khoảng tin cậy Bayes chứa mật độ hậu nghiệm cao (khoảng HPD) a Khoảng. .. định khoảng HPD cho tương ứng chứa giá trị lớn ), ta có Chƣơng Khoảng tin cậy khoảng tin cậy Bayes Chương đưa so sánh khoảng tin cậy Bayes khoảng tin cậy theo quan điểm tần suất (gọi tắt khoảng tin. .. (khoảng ước lượng hai phía cho tham số): đặc điểm khoảng tin cậy Bayes vượt trội so với khoảng tin cậy theo quan điểm tần suất: khoảng tin cậy Bayes nằm khoảng tin cậy tần suất Cuối chương, luận