DSpace at VNU: Thống kê Bayes nhiều chiều và ứng dụng

DSpace at VNU: Thống kê Bayes nhiều chiều và ứng dụng tài liệu, giáo án, bài giảng , luận văn, luận án, đồ án, bài tập l...

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TỐN Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH ĐẶNG HÙNG THẮNG HÀ NỘI - 2015 Mục lục Lời nói đầu Các phân phối xác suất nhiều chiều quan trọng Chương 1.1 Phân phối nhiều chiều 1.1.1 Phân phối chuẩn nhiều chiều 1.1.2 Phân phối Student nhiều chiều t Phân phối ma trận ngẫu nhiên 1.2.1 Phân phối chuẩn ma trận 1.2.2 Phân phối Wishart 11 1.2.3 Phân phối Wishart nghịch đảo 12 1.2.4 Phân phối ma trận T 14 1.3 Vectơ ngẫu nhiên liên tục 15 1.4 Ma trận ngẫu nhiên liên tục 16 1.2 Chương Mở đầu thống kê Bayes nhiều chiều 18 2.1 2.2 Phân phối tiên nghiệm 18 2.1.1 Phân phối tiên nghiệm mơ hồ 18 2.1.2 Phân phối tiên nghiệm liên hợp 20 2.1.3 Phân phối tiên nghiệm tổng quát 24 2.1.4 Vectơ ngẫu nhiên 25 2.1.5 Phân phối tiên nghiệm tương quan 28 Đánh giá siêu tham số 31 2.2.1 31 Hàm hợp lí phân phối chuẩn nhiều chiều 2.2.2 2.3 Hàm hợp lí phân phối chuẩn ma trận 32 Phương pháp ước lượng Bayes 34 2.3.1 Trung bình biên duyên hậu nghiệm 35 2.3.2 Tối đa hóa hậu nghiệm 47 Chương Hồi quy Bayes áp dụng 51 3.1 Mơ hình hồi quy tuyến tính đa biến 51 3.2 Hồi quy Bayes nhiều biến 60 3.3 Áp dụng 61 3.3.1 Xét nghiệm Insulin 61 3.3.2 Bữa tiệc Cocktail 68 3.3.3 Mơ hình tách nguồn 69 Tài liệu tham khảo 75 Danh sách hình vẽ 3.1 Bữa tiệc cocktail 68 3.2 Quá trình hỗn hợp chưa biết 70 3.3 Ví dụ xử lí hỗn hợp 71 3.4 Xử lí hỗn hợp 73 Danh sách bảng 2.1 Phân phối tiên nghiệm chiều 21 2.2 Véctơ tiên nghiệm liên hợp 22 2.3 Ma trận tiên nghiệm liên hợp 24 2.4 Phân phối tiên nghiệm liên hợp vectơ tổng quát 26 2.5 Ma trận tiên nghiệm liên hợp tổng quát 27 3.1 Phân phối tiên nghiệm ma trận liên hợp 61 3.2 Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu tiên nghiệm) 62 3.3 Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu hậu nghiệm) 64 3.4 Prior, Gibbs, and ICM hệ số hồi quy Bayes 65 3.5 Prior, Gibbs, and ICM hiệp phương sai hồi quy 66 3.6 Các hệ số thống kê 67 Lời cảm ơn Trước trình bày nội dung luận văn, Tác giả xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Đặng Hùng Thắng người Thầy đáng kính ln tận tình bảo giúp đỡ tác giả suốt thời gian qua Mặc dù có nhiều cố gắng, song trình thực luận văn Tác giả khơng tránh khỏi thiếu sót Vì vậy, Tác giả mong nhận ý kiến đóng góp Thầy Cơ bạn bè đồng nghiệp, để luận văn hoàn thiện Tác giả xin chân thành cảm ơn! Hà Nội, ngày 10 tháng 10 năm 2015 Học viên Trần Anh Tuấn Lời nói đầu Hiện thống kê có hai trường phái: Thống kê tần suất thống kê Bayes Thống kê tần suất đời trước, phương pháp phổ biến Nó dựa kết quan sát mẫu mà không cần để ý đến thông tin, liệu biết trước Thống kê Bayes dựa thông tin liệu biết trước vấn quan sát để suy luận cho thống kê Trước phát triển mạnh mẽ công nghệ thông tin, đặc biệt phần mềm thống kê, việc lưu trữ thông tin thuận lợi thống kê Bayes ngày phát triển Chúng ta đem thống kê Bayes vào phương pháp tần suất để phát triển nhiều kết lí thuyết ứng dụng Chính vậy, nói thống kê Bayes mảng kiến thức rộng lớn nhiều nhà thống kê giới quan tâm, nhiên nước ta vấn đề chưa nghiên cứu nhiều So với phương pháp khác, phương pháp thống kê Bayes lập luận theo kinh nghiệm tích lũy áp dụng vào mơ hình phân loại đối tượng linh hoạt hơn, phù hợp với đặc trưng toán Các chế ước lượng gần gũi với cách suy luận thơng thường, mà kết phân loại tương đối giống với cách phân loại thông thường Suy luận Bayes sử dụng rộng rãi tất ngành nghề y học, kinh tế, tin học, Đặc biệt xác suất thống kê đóng vai trò quan trọng Hiện tìm số biểu thức giải tích hậu nghiệm cụ thể giả sử tiên nghiệm hàm mật độ xác suất thông dụng Beta, mũ, chuẩn, Trong thống kê sử dụng định lí Bayes cho ước lượng kiểm định tham số thống kê, toán phân loại ngày trở nên phổ biến Trong đề tài luận văn này, tác giả trình bày số kiến thức thống kê Bayes nhiều chiều mơ hình hồi quy Bayes đồng thời đưa số ứng dụng hồi quy Bayes Luận văn tác giả chia làm chương Chương Các phân phối xác suất nhiều chiều quan trọng Trong chương này, tác giả hệ thống lại số quy luật phân phối nhiều chiều thường gặp như: Phân phối chuẩn nhiều chiều, phân phối Student nhiều chiều; phân phối ma trận ngẫu nhiên; véctơ ngẫu nhiên liên tục ma trận ngẫu nhiên liên tục Từ làm sở để nghiên cứu phần Chương Mở đầu thống kê Bayes nhiều chiều Trong chương này, tác giả trình bày kiến thức thống kê Bayes nhiều chiều, bao gồm: phân phối tiên nghiệm, đánh giá siêu tham số, phương pháp ước lượng Bayes Chương Hồi quy Bayes áp dụng Trong chương này, tác giả kiến thức hồi quy đa biến hồi quy Bayes Đồng thời, tác giả trình bày số ví dụ minh họa cho phương pháp hồi quy Bayes Chương Các phân phối xác suất nhiều chiều quan trọng 1.1 Phân phối nhiều chiều Một  p-biến  vectơ quan sát x tập hợp p qua sát vơ hướng, kí hiệu x     x =     xp 1.1.1 Phân phối chuẩn nhiều chiều p-biến ngẫu nhiên phân phối chuẩn nhiều chiều sử dụng để miêu tả đồng thời p biến ngẫu nhiên giá trị thực liên tục Một biến ngẫu nhiên tuân theo quy luật p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với vectơ kì vọng µ ma trận hiệp phương sai Σ kí hiệu x|µ, Σ ∼ N (µ, Σ), (1.1) tham số (µ, Σ) cho p −1 (x−µ) p(x|µ, Σ) = (2π)− |Σ|− e− (x−µ) Σ , (1.2) với x ∈ Rp , µ ∈ Rp , Σ > 0, (1.3) CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG Rp kí hiệu tập số thực p-chiều Σ > ma trận p-chiều xác định dương Tính chất: kì vọng, mode, phương sai phân phối chuẩn nhiều chiều E (x|µ, Σ) = µ, (1.4) M ode (x|µ, Σ) = µ, (1.5) var (x|µ, Σ) = Σ, (1.6) điều tìm phép lấy vi phân tích phân Vì x phân phối chuẩn nhiều chiều, phân phối điều kiện phân phối biên duyên tập phân phối chuẩn nhiều chiều p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với moomen cấp cấp hai hội tụ tới trung bình theo định lí giới hạn trung tâm 1.1.2 Phân phối Student nhiều chiều t t-phân phối Student nhiều chiều sử dụng để mô tả biến ngẫu nhiên giá trị thực liên tục với "cái đuôi nặng hơn" phân phối chuẩn nhiều chiều Nó có nguồn gốc x ∼ N (µ, φ−2 ) G ∼ W (Σ, p, ν) , (1.7) đổi biến 1 t = ν G− (x − µ) + t0 W = G, (1.8) với Jacobian p J(x, G → t, W ) = ν − W , (1.9) sau lấy tích phân W Trong phép lấy đạo hàm, x trung bình biến độc lập biến đồng vectơ phân phối chuẩn với ma trận kì vọng hiệp phương sai, G tổng bình phương độ lệch biến với trung bình chúng Một biến ngẫu nhiên tuân theo t-phân phối Student nhiều chiều kí hiệu t|ν, t0 , Σ, φ2 ∼ t(ν, t0 , Σ, φ2 ), (1.10) Tài liệu tham khảo [1] Aage Volund (1980), Multivariate bioassay, Biometrics, 36:225–236 [2] Bernardo, J.M and Smith A.M (1994), Bayesian Theory, John Wiley, London [3] Daniel B.Rowe (2003), Multivariate Bayes Statistics, Chapman & Hall/CRC [4] Morris, H D (1996), Probability and statistics, Addison-Wesley, United [5] Peter M.Lee (2003) Bayesian Statistics An Introduction, Oxford University Press Inc., New York [6] Peter Congdon (2005), Bayesian Statistical Modelling, Wile 75 ... kê Bayes ngày phát triển Chúng ta đem thống kê Bayes vào phương pháp tần suất để phát triển nhiều kết lí thuyết ứng dụng Chính vậy, nói thống kê Bayes mảng kiến thức rộng lớn nhiều nhà thống kê. .. TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI... bày số kiến thức thống kê Bayes nhiều chiều mơ hình hồi quy Bayes đồng thời đưa số ứng dụng hồi quy Bayes Luận văn tác giả chia làm chương Chương Các phân phối xác suất nhiều chiều quan trọng