Thống kê bayes nhiều chiều và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH ĐẶNG HÙNG THẮNG HÀ NỘI - 2015 Mục lục Lời nói đầu Các phân phối xác suất nhiều chiều quan trọng Chương 1.1 Phân phối nhiều chiều 1.1.1 Phân phối chuẩn nhiều chiều 1.1.2 Phân phối Student nhiều chiều t Phân phối ma trận ngẫu nhiên 1.2.1 Phân phối chuẩn ma trận 1.2.2 Phân phối Wishart 11 1.2.3 Phân phối Wishart nghịch đảo 12 1.2.4 Phân phối ma trận T 14 1.3 Vectơ ngẫu nhiên liên tục 15 1.4 Ma trận ngẫu nhiên liên tục 16 1.2 Chương Mở đầu thống kê Bayes nhiều chiều 18 2.1 2.2 Phân phối tiên nghiệm 18 2.1.1 Phân phối tiên nghiệm mơ hồ 18 2.1.2 Phân phối tiên nghiệm liên hợp 20 2.1.3 Phân phối tiên nghiệm tổng quát 24 2.1.4 Vectơ ngẫu nhiên 25 2.1.5 Phân phối tiên nghiệm tương quan 28 Đánh giá siêu tham số 31 2.2.1 31 Hàm hợp lí phân phối chuẩn nhiều chiều 2.2.2 2.3 Hàm hợp lí phân phối chuẩn ma trận 32 Phương pháp ước lượng Bayes 34 2.3.1 Trung bình biên duyên hậu nghiệm 35 2.3.2 Tối đa hóa hậu nghiệm 47 Chương Hồi quy Bayes áp dụng 51 3.1 Mô hình hồi quy tuyến tính đa biến 51 3.2 Hồi quy Bayes nhiều biến 60 3.3 Áp dụng 61 3.3.1 Xét nghiệm Insulin 61 3.3.2 Bữa tiệc Cocktail 68 3.3.3 Mô hình tách nguồn 69 Tài liệu tham khảo 75 Danh sách hình vẽ 3.1 Bữa tiệc cocktail 68 3.2 Quá trình hỗn hợp chưa biết 70 3.3 Ví dụ xử lí hỗn hợp 71 3.4 Xử lí hỗn hợp 73 Danh sách bảng 2.1 Phân phối tiên nghiệm chiều 21 2.2 Véctơ tiên nghiệm liên hợp 22 2.3 Ma trận tiên nghiệm liên hợp 24 2.4 Phân phối tiên nghiệm liên hợp vectơ tổng quát 26 2.5 Ma trận tiên nghiệm liên hợp tổng quát 27 3.1 Phân phối tiên nghiệm ma trận liên hợp 61 3.2 Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu tiên nghiệm) 62 3.3 Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu hậu nghiệm) 64 3.4 Prior, Gibbs, and ICM hệ số hồi quy Bayes 65 3.5 Prior, Gibbs, and ICM hiệp phương sai hồi quy 66 3.6 Các hệ số thống kê 67 Lời cảm ơn Trước trình bày nội dung luận văn, Tác giả xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Đặng Hùng Thắng người Thầy đáng kính tận tình bảo giúp đỡ tác giả suốt thời gian qua Mặc dù có nhiều cố gắng, song trình thực luận văn Tác giả không tránh khỏi thiếu sót Vì vậy, Tác giả mong nhận ý kiến đóng góp Thầy Cô bạn bè đồng nghiệp, để luận văn hoàn thiện Tác giả xin chân thành cảm ơn! Hà Nội, ngày 10 tháng 10 năm 2015 Học viên Trần Anh Tuấn Lời nói đầu Hiện thống kê có hai trường phái: Thống kê tần suất thống kê Bayes Thống kê tần suất đời trước, phương pháp phổ biến Nó dựa kết quan sát mẫu mà không cần để ý đến thông tin, liệu biết trước Thống kê Bayes dựa thông tin liệu biết trước vấn quan sát để suy luận cho thống kê Trước phát triển mạnh mẽ công nghệ thông tin, đặc biệt phần mềm thống kê, việc lưu trữ thông tin thuận lợi thống kê Bayes ngày phát triển Chúng ta đem thống kê Bayes vào phương pháp tần suất để phát triển nhiều kết lí thuyết ứng dụng Chính vậy, nói thống kê Bayes mảng kiến thức rộng lớn nhiều nhà thống kê giới quan tâm, nhiên nước ta vấn đề chưa nghiên cứu nhiều So với phương pháp khác, phương pháp thống kê Bayes lập luận theo kinh nghiệm tích lũy áp dụng vào mô hình phân loại đối tượng linh hoạt hơn, phù hợp với đặc trưng toán Các chế ước lượng gần gũi với cách suy luận thông thường, mà kết phân loại tương đối giống với cách phân loại thông thường Suy luận Bayes sử dụng rộng rãi tất ngành nghề y học, kinh tế, tin học, Đặc biệt xác suất thống kê đóng vai trò quan trọng Hiện tìm số biểu thức giải tích hậu nghiệm cụ thể giả sử tiên nghiệm hàm mật độ xác suất thông dụng Beta, mũ, chuẩn, Trong thống kê sử dụng định lí Bayes cho ước lượng kiểm định tham số thống kê, toán phân loại ngày trở nên phổ biến Trong đề tài luận văn này, tác giả trình bày số kiến thức thống kê Bayes nhiều chiều mô hình hồi quy Bayes đồng thời đưa số ứng dụng hồi quy Bayes Luận văn tác giả chia làm chương Chương Các phân phối xác suất nhiều chiều quan trọng Trong chương này, tác giả hệ thống lại số quy luật phân phối nhiều chiều thường gặp như: Phân phối chuẩn nhiều chiều, phân phối Student nhiều chiều; phân phối ma trận ngẫu nhiên; véctơ ngẫu nhiên liên tục ma trận ngẫu nhiên liên tục Từ làm sở để nghiên cứu phần Chương Mở đầu thống kê Bayes nhiều chiều Trong chương này, tác giả trình bày kiến thức thống kê Bayes nhiều chiều, bao gồm: phân phối tiên nghiệm, đánh giá siêu tham số, phương pháp ước lượng Bayes Chương Hồi quy Bayes áp dụng Trong chương này, tác giả kiến thức hồi quy đa biến hồi quy Bayes Đồng thời, tác giả trình bày số ví dụ minh họa cho phương pháp hồi quy Bayes Chương Các phân phối xác suất nhiều chiều quan trọng 1.1 Phân phối nhiều chiều Một  p-biến  vectơ quan sát x tập hợp p qua sát vô hướng, kí hiệu x     x =     xp 1.1.1 Phân phối chuẩn nhiều chiều p-biến ngẫu nhiên phân phối chuẩn nhiều chiều sử dụng để miêu tả đồng thời p biến ngẫu nhiên giá trị thực liên tục Một biến ngẫu nhiên tuân theo quy luật p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với vectơ kì vọng µ ma trận hiệp phương sai Σ kí hiệu x|µ, Σ ∼ N (µ, Σ), (1.1) tham số (µ, Σ) cho p −1 (x−µ) p(x|µ, Σ) = (2π)− |Σ|− e− (x−µ) Σ , (1.2) với x ∈ Rp , µ ∈ Rp , Σ > 0, (1.3) CHƯƠNG CÁC PHÂN PHỐI XÁC SUẤT NHIỀU CHIỀU QUAN TRỌNG Rp kí hiệu tập số thực p-chiều Σ > ma trận p-chiều xác định dương Tính chất: kì vọng, mode, phương sai phân phối chuẩn nhiều chiều E (x|µ, Σ) = µ, (1.4) M ode (x|µ, Σ) = µ, (1.5) var (x|µ, Σ) = Σ, (1.6) điều tìm phép lấy vi phân tích phân Vì x phân phối chuẩn nhiều chiều, phân phối điều kiện phân phối biên duyên tập phân phối chuẩn nhiều chiều p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với moomen cấp cấp hai hội tụ tới trung bình theo định lí giới hạn trung tâm 1.1.2 Phân phối Student nhiều chiều t t-phân phối Student nhiều chiều sử dụng để mô tả biến ngẫu nhiên giá trị thực liên tục với "cái đuôi nặng hơn" phân phối chuẩn nhiều chiều Nó có nguồn gốc x ∼ N (µ, φ−2 ) G ∼ W (Σ, p, ν) , (1.7) đổi biến 1 t = ν G− (x − µ) + t0 W = G, (1.8) với Jacobian p J(x, G → t, W ) = ν − W , (1.9) sau lấy tích phân W Trong phép lấy đạo hàm, x trung bình biến độc lập biến đồng vectơ phân phối chuẩn với ma trận kì vọng hiệp phương sai, G tổng bình phương độ lệch biến với trung bình chúng Một biến ngẫu nhiên tuân theo t-phân phối Student nhiều chiều kí hiệu t|ν, t0 , Σ, φ2 ∼ t(ν, t0 , Σ, φ2 ), (1.10) CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG ma trận B xác định Phần tử thứ ij X hàng thứ i U nhân với cột thứ j B cộng với phần tử thứ ij E Mô hình viết theo dạng cột cách đặt biến độc lập X, ma trận biến phụ thuộc U , ma trận hệ số hồi quy B ma trận sai số E X= X1 , , X p ,U= en , U1 , , Uq ,B = β1 , β1 , , βp ,E= E1 , , E p (3.52) en véctơ cột đơn vị n-chiều Điều dẫn đến mô hình sau βj (Xj |βj ,U ) Ei U = + [n×(q+1)] [(q+1)×1] (n×1) (n×1) 3.3 3.3.1 (3.53) Áp dụng Xét nghiệm Insulin Kết việc thực hồi quy Bayes ước lượng ma trận hệ số hồi quy ma trận hiệp phương sai sai số nhiễu Các kết hồi quy Bayes mô tả với việc sử dụng ví dụ Bảng 3.1: Phân phối tiên nghiệm ma trận liên hợp Các biến X Các biến U X1 Nồng độ thời điểm U1 Loại Insulin X2 Nồng độ thời điểm U2 Mức liều lượng X3 Nồng độ thời điểm U3 Insulin*Liều lượng ảnh hưởng X4 Nồng độ thời điểm X5 Nồng độ thời điểm X6 Nồng độ thời điểm Như ví dụ minh họa, xem xét liệu từ xét nghiệm sinh học insulin Xem xét lượng đường máu 36 thỏ đo mg/100ml 61 , CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG sau tiêm liều insulin Có hai loại insulin chuẩn bị (loại tiêu chuẩn với U1 = −1 loại thử nghiệm với U1 = 1), loại hai loại có liều lượng sử dụng (0.75 đơn vị với U2 = −1, 1.50 đơn vị với U2 = 1) từ nghiên cứu Người ta tin có tương tác giữa loại chuẩn bị với với liều lượng, số hạng tương tác U3 = U1 ∗ U2 đưa vào Vấn đề xác định mối liên hệ tập biến độc lập (biến U ) biến phụ thuộc (biến X) mô tả bảng 3.1 Có n = 36 quan sát với số chiều p = với q = biến độc lập Dữ liệu X ma trận thiết kế U (bao gồm cột số hạng tương tác) cho bảng 3.2 Siêu tham số cho phân phối tiên nghiệm đánh giá cách thực hồi quy tập liệu cho trước X0 đạt từ thu thập ngày trước Bảng 3.2: Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu tiên nghiệm) X U en 96 37 31 33 35 41 1 1 90 47 48 55 68 89 1 1 99 49 55 64 74 97 1 1 95 33 37 43 63 92 1 1 107 62 62 85 110 117 1 1 81 40 43 45 49 55 1 1 95 49 56 63 68 88 1 1 105 53 57 69 103 106 1 1 97 50 53 59 82 96 1 1 10 97 54 57 66 80 89 10 1 -1 -1 11 105 66 83 95 97 100 11 1 -1 -1 12 105 49 54 56 70 90 12 1 -1 -1 13 106 79 92 95 99 100 13 1 -1 -1 14 92 46 51 57 73 91 14 1 -1 -1 15 91 61 64 71 80 90 15 1 -1 -1 62 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG 16 101 51 63 91 95 96 16 1 -1 -1 17 87 53 55 57 78 89 17 1 -1 -1 18 94 57 70 81 94 96 18 1 -1 -1 19 98 48 55 71 91 96 19 -1 -1 20 98 41 43 61 89 101 20 -1 -1 21 103 60 56 61 76 97 21 -1 -1 22 99 36 43 57 89 102 22 -1 -1 23 97 44 51 58 85 105 23 -1 -1 24 95 41 45 49 59 78 24 -1 -1 25 109 65 62 72 93 104 25 -1 -1 26 91 57 60 61 67 83 26 -1 -1 27 99 43 48 52 61 86 27 -1 -1 28 102 51 56 81 97 103 28 -1 -1 29 96 57 55 72 85 89 29 -1 -1 30 111 84 83 91 101 102 30 -1 -1 31 105 57 67 83 100 103 31 -1 -1 32 105 57 61 70 90 98 32 -1 -1 33 98 55 67 88 94 95 33 -1 -1 34 98 69 72 89 98 98 34 -1 -1 35 90 53 61 78 94 95 35 -1 -1 36 100 60 63 77 104 36 -1 -1 67 Ước lượng ma trận hệ số hồi quy B định nghĩa đường thẳng phù hợp Đường thẳng phù hợp mô tả mối quan hệ tuyến tính biến độc lập U biến phụ thuộc X Ma trận hệ số giải thích tất biến độc lập cố định ngoại trừ uij , uij tăng tới u∗ij , biến phụ thuộc xij tăng tới x∗ij cho x∗ij = βi0 + · · · + βij u ∗ij + · · · + βiq uiq (3.54) Các hệ số hồi quy xác định để đánh giá đóng góp biến độc lập lớn hay nhỏ tới biến phụ thuộc 63 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Bảng 3.3: Dữ liệu hồi quy Bayes ma trận thiết kế (mẫu hậu nghiệm) X U en 96 54 61 63 93 103 1 1 98 57 63 75 99 104 1 1 104 77 88 91 113 110 1 1 109 63 60 67 85 109 1 1 98 59 65 72 95 103 1 1 104 59 62 74 89 97 1 1 97 63 70 72 101 102 1 1 101 54 64 77 97 100 1 1 107 59 67 61 69 99 1 1 10 96 63 81 97 101 97 10 1 -1 -1 11 99 48 70 94 108 104 11 1 -1 -1 12 102 61 78 81 99 104 12 1 -1 -1 13 112 67 76 100 112 112 13 1 -1 -1 14 92 49 59 83 104 103 14 1 -1 -1 15 101 53 63 86 104 102 15 1 -1 -1 16 105 63 77 94 111 107 16 1 -1 -1 17 99 61 74 76 89 92 17 1 -1 -1 18 99 51 63 77 99 103 18 1 -1 -1 19 98 53 62 71 81 101 19 -1 -1 20 103 62 65 96 101 105 20 -1 -1 21 102 54 60 57 64 69 21 -1 -1 22 108 83 67 80 106 108 22 -1 -1 23 92 56 60 61 73 79 23 -1 -1 24 102 61 59 71 91 101 24 -1 -1 25 94 51 53 55 86 83 25 -1 -1 26 95 55 58 59 71 85 26 -1 -1 27 103 47 59 64 92 100 27 -1 -1 64 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG 28 120 46 44 58 118 108 28 -1 -1 29 95 65 75 85 96 95 29 -1 -1 30 99 59 73 82 109 109 30 -1 -1 31 105 50 58 84 107 107 31 -1 -1 32 97 67 89 104 118 118 32 -1 -1 33 97 46 50 59 78 91 33 -1 -1 34 102 63 67 74 83 98 34 -1 -1 35 104 69 81 98 104 105 35 -1 -1 36 101 65 69 72 93 95 36 -1 -1 Trong bảng 3.4 chứa ma trận hệ số hồi quy từ mô hình liên hợp tiên nghiệm bổ sung sử dụng liệu bảng 3.2 Phương trình giải thích đòi hỏi xác để tính kì vọng biên duyên ước lượng hậu nghiệm tối đa sử dụng Kì vọng biên duyên phân phối hậu nghiệm có điều kiện biết mô tả chương trước Với phân phối hậu nghiệm này, khoảng tin cậy giả thuyết đánh giá để xác định toàn tập biến độc lập có mối quan hệ với quan sát Bảng 3.4: Prior, Gibbs, and ICM hệ số hồi quy Bayes B0 101.0000 0.0556 -0.3889 0.8889 58.6944 0.2500 0.5833 1.0278 66.3889 2.5556 -2.8889 0.6111 76.9444 3.0556 -6.6111 -0.9444 95.5278 2.6944 -6.3056 1.5278 100.2222 2.6111 -2.5556 2.7222 ¯ B 99.6250 -0.6806 -0.5972 0.4861 55.9306 -0.4583 -2.5417 0.6806 62.0694 1.0417 -5.1806 -0.0417 65 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG 72.4444 0.4722 -7.8889 -0.1389 88.9306 -0.4306 -6.4861 0.9306 96.7917 -0.3194 -2.5972 1.0139 B 99.6250 -0.6806 -0.5972 0.4861 55.9306 -0.4583 -2.5417 0.6806 62.0694 1.0417 -5.1806 -0.0417 72.4444 0.4722 -7.8889 -0.1389 88.9306 -0.4306 -6.4861 0.9306 96.7917 -0.3194 -2.5972 1.0139 Mode tiên nghiệm, trung bình biên duyên cực đại giá trị tiên nghiệm cực đại giá trị hậu nghiệm phương sai nhiễu hiệp phương sai nhiễu quan sát giá trị cho bảng 3.5 Bảng 3.5: Prior, Gibbs, and ICM hiệp phương sai hồi quy Q/ν 1 30.3333 8.1327 -5.9198 2.8488 19.1790 18.5802 64.8086 55.9815 55.6574 29.8735 22.7747 80.3765 74.8858 29.8148 20.8056 128.1173 82.6636 57.0432 132.9506 75.2963 69.0247 ¯ Ψ 45.6351 29.9234 25.0795 36.3755 56.8027 47.6303 110.1676 104.0680 85.9636 57.8525 139.9377 114.5536 76.4875 205.5766 188.4320 122.8870 277.5163 184.3142 115.7423 141.7941 171.0833 66 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Ψ 34.8268 22.8363 19.1396 27.7602 43.3494 36.3494 88.3297 84.0753 79.4203 65.6038 44.1506 108.2113 106.7946 87.4225 58.3721 156.8874 143.8034 93.7822 211.7887 140.6608 130.5636 Trong hệ số mô hình tách nguồn, hệ số thỏa mãn lớn, quan sát nguồn liên quan góp phần đáng kể vào pha trộn nguồn Trong bảng 3.6 chứa ma trận số liệu thống kê biên duyên cho hệ số Từ bảng này, rõ ràng hệ số có ý nghĩa thống kê Bảng 3.6: Các hệ số thống kê t65 125.1369 -0.8548 -0.7502 0.6106 44.1133 -0.3615 -2.0047 0.5368 44.2298 0.7423 -3.6916 -0.0297 42.8731 0.2795 -4.6687 -0.0822 45.2974 -0.2193 -3.3037 0.4740 62.7914 -0.2072 -1.6849 0.6577 z 143.2445 -0.9785 -0.8587 0.6989 50.4966 -0.4138 -2.2947 0.6144 50.6300 0.8497 -4.2258 -0.0340 49.0769 0.3199 -5.3443 -0.0941 51.8520 -0.2510 -3.7818 0.5426 71.8775 -0.2372 -1.9287 0.7529 67 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG 3.3.2 Bữa tiệc Cocktail Mô hình tách nguồn giải thích dễ dàng kĩ thuật "bữa tiệc cocktail" mô tả Bữa tiệc cocktail ví dụ dễ hiểu, mô hình tách nguồn áp dụng Có nhiều ứng dụng khác mà mô hình tách nguồn thích hợp Tại bữa tiệc cocktail có người tham gia người diễn giả tham gia thảo luận thời điểm có micro ghi âm quan sát diễn giả gọi nguồn Bữa tiệc cocktail minh họa hình 3.1 Những người tham gia, diễn giả nguồn sử dụng thay cho thể ghi lại quan sát Bữa tiệc cocktail thường quay lại mô tả khái niệm tài liệu Tại bữa tiệc cocktail thường có Hình 3.1: Bữa tiệc cocktail nhóm nhỏ diễn giả tổ chức hội thoại Trong nhóm, có người nói thời điểm Xem xét hai người gần hình 3.1 Trong nhóm này, người (bên trái) nói, sau người thứ hai (bên phải nói), sau người lại 68 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG nói, Các diễn giả rõ ràng tương quan ngược Trong mô hình tách nguồn Bayes luận văn này, diễn giả luôn tương quan với không ràng buộc để độc lập Tại bữa tiệc cocktail, có p micro để ghi lại quan sát m người tham gia diễn giả khoảng thời gian n Kí hiệu phù hợp với thống kê nhiều chiều Các đàm thoại quan sát bao gồm pha trộn đàm thoại không thực quan sát Một micro đặt vào miệng diễn giả không bị che từ diễn giải khác Các micro không quan sát trò chuyện diễn giả cách tách biệt Các hội thoại ghi lại cách hỗn hợp Vấn đề để không hỗn hợp ghi lại hội thoại gốc từ hội thoại hỗn hợp ghi lại Xem xét ví dụ Có bữa tiệc với m = diễn giả p = micro hình 3.2 Tại khoảng thời gian i, i = 1, , n, hội thoại từ diễn giả si1 , diễn giả si2 , diễn giả si3 , diễn giả si4 Thì hội thoại ghi lại micro xi1 , micro xi2 , micro xi3 Có hàm chưa biết f mô tả hình 3.3 gọi hàm hỗn hợp tín hiệu nguồn phát pha trộn chúng để tạo tín hiệu quan sát hỗn hợp 3.3.3 Mô hình tách nguồn p micro ghi hỗn hợp m diễn giả khoảng thời gian n Những phát từ m diễn giả thời gian i tập hợp m giá trị khác véctơ cột si biểu diễn   s  i1    si =   , i = 1, 2, , m   sim 69 (3.55) CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Hình 3.2: Quá trình hỗn hợp chưa biết ghi lại thời điểm i p micro tập hợp p giá trị khác véctơ cột xi biểu diễn   x  i1    xi =     xip (3.56) Một lần nữa, mục tiêu tách không hỗn hợp quan sát vectơ tín hiệu p-chiều vào vectơ tín hiệu nguồn sở tín hiệu nguồn không quan sát m-chiều Quá trình pha trộn trò chuyện diễn giả tức thời, liên tục, độc lập theo thời gian Số diễn giả biết Mô hình tách nguồn cho tất thời gian i (xi |si ) = f (si ) + i (p×1) (p×1) (p×1) (3.57) fi hàm số miêu tả hình 3.3 tín hiệu nguồn hỗn hợp 70 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Hình 3.3: Ví dụ xử lí hỗn hợp sai số ngẫu nhiên Sử dụng khai triển Taylor, hàm f , với điều kiện trơn thích hợp mở rộng cho vectơ c, viết f (si ) = f (c) + f (c)(si − c) + · · · , (3.58) cách xem xét hai số hạng (như lớp mô hình hồi quy), ta f (si ) =f (c) + f (c)(si − c) = [f (c) − f (c)c] + f (c)si =µ + Λsi , 71 (3.59) CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG f (c) Λ ma trận cấp p × m Phương trình gọi mô hình tuyến tính tổng hợp Như ngụ ý hình 3.4, tín hiệu nguồn phát từ miệng diễn giả nhân với hệ số hỗn hợp mà xác định cường độ đóng góp nó cấp độ trung bình tiếng ồn âm micro sai số ngẫu nhiên tham gia vào trình hỗn hợp ghi lại Một cách xác, mô hình nhận si (xi |µ,Λ,si ) = µ + Λ (p×1) (p×m)(m×1) + (p×1) (p×1) (3.60) xi mô tả trước,   µ     µ=    µp vectơ tập hợp trung bình không quan sát p-chiều   λ     Λ=    λp (3.61) (3.62) ma trận cấp p × m hệ số hỗn hợp không quan sát được, si vectơ gốc không quan sát m-chiều thứ i mô tả trên,   i  i1    =     (3.63) ip vectơ p-chiều sai số số hạng ồn vectơ tín hiệu quan sát thứ i Tín hiệu quan sát hỗn hợp xij phần tử thứ j vectơ tín hiệu quan sát i coi tín hiệu hội thoại hỗn hợp ghi lại khoảng thời gian i, i = 1, 2, , n cho micro j, j = 1, 2, , p Tín hiệu quan sát xij pha trộn nguồn hội thoại diễn giả không quan sát si với sai số, khoảng thời gian i, i = 1, , n Các tín hiệu nguồn không quan sát sik phần tử thứ k vectơ nguồn không quan sát si coi tín hiệu hội thoại nguồn không quan sát diễn giả k, k = 1, 2, , m khoảng thời gian i, i = 1, 2, , n 72 CHƯƠNG HỒI QUY BAYES VÀ ÁP DỤNG Hình 3.4: Xử lí hỗn hợp Mô hình mô tả trình pha trộn cách ghi lại tín hiệu quan sát xij tổng trung bình tổng thể thành phần µj cộng với tổ hợp tuyến tính thành phần tín hiệu nguồn không quan sát sik sai số quan sát ij Phần tử j xij tìm phép nhân cộng ma trận đơn giản phần tử thứ j µ, µj ; cộng với phép nhân cộng thành phần dòng thứ j Λ, λj si ; phép cộng phần tử thứ j i , ij Điều viết kí hiệu vectơ sau m (xij |µj , λj , si ) = µj + λjk sik + ij k=1 = µj + λj s i + 73 ij (3.64) Kết luận Trong trình nghiên cứu, luận văn trình bày số kiến thức thống kê Bayes nhiều chiều mô hình hồi quy Bayes, đồng thời đưa hai ví dụ minh họa cho mô hình hồi quy Bayes Ví dụ xét nghiệm Insulin minh chứng cho ưu điểm phương pháp Bayes dựa thông tin liệu biết trước vấn đề quan sát để suy luận cho thống kê Mô hình tách nguồn giải thích kĩ thuật sử dụng ví dụ "bữa tiệc cocktail" Bữa tiệc cocktail ví dụ dễ hiểu, mô hình tách nguồn áp dụng 74 Tài liệu tham khảo [1] Aage Volund (1980), Multivariate bioassay, Biometrics, 36:225–236 [2] Bernardo, J.M and Smith A.M (1994), Bayesian Theory, John Wiley, London [3] Daniel B.Rowe (2003), Multivariate Bayes Statistics, Chapman & Hall/CRC [4] Morris, H D (1996), Probability and statistics, Addison-Wesley, United [5] Peter M.Lee (2003) Bayesian Statistics An Introduction, Oxford University Press Inc., New York [6] Peter Congdon (2005), Bayesian Statistical Modelling, Wile 75 [...]... Họ tiên nghiệm Phân phối chuẩn nhiều chiều, biết Σ µ Chuẩn nhiều chiều Phân phối chuẩn nhiều chiều, biết µ Σ Whishart nghịch đảo (µ, Σ) Phân phối chuẩn nhiều chiều 22 Chuẩn-IW CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU 2.1.2.3 Ma trận Phân phối chuẩn của ma trận X Các quan sát có thể được xác định dựa trên một phân phối chuẩn ma trận, X|M, Φ, Σ ∼ N (M, Φ ⊗ Σ) với Φ và Σ có thể biết hoặc không biết... sử dụng M0 vì vậy nó không phụ thuộc vào dữ liệu X và tạo tính độc lập của các tham số khác Φ và Σ thông qua Ξ và χ Định lượng M0 , Ξ và χ là các siêu tham số được xác định Bằng cách định lượng 26 CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU ma trận M0 và ma trận Ξ và χ, phân phối chuẩn ma trận tiên nghiệm là hoàn toàn được xác định Phân phối Wishart nghịch đảo Nếu chúng ta tráo đổi vai trò của X và. .. sử dụng µ0 vì vậy nó không phụ thuộc vào dữ liệu và tạo nên tính độc lập của các tham số khác Σ thông qua ∆ Định lượng µ0 và ∆ là các siêu tham số được xác định Bằng cách định lượng vectơ µ0 và ma trận ∆, phân phối chuẩn tiên nghiệm nhiều chiều là hoàn toàn được xác định 2.1.4.2 Phân phối Wishart nghịch đảo Nếu chúng ta tráo đổi vai trò của x và Σ trong hàm hợp lí chuẩn vectơ hoặc nhiều chiều và sử dụng. .. các tham số µ và Σ của phân phối này như là các biến ngẫu nhiên với các tham số được biết bao gồm n0 và x1 , , xn0 Bằng việc sắp xếp và biểu diễn lại một vài đại số trên phân bố trên, nó có thể thấy rằng µ và Σ là các phân phối chuẩn nhiều chiều và phân phối Gamma nghịch đảo 2.2.1.1 Phân phối chuẩn nhiều chiều Tham số ngẫu nhiên µ từ một mẫu của biến ngẫu nhiên phân phối chuẩn nhiều chiều có một... được bằng phép lấy vi phân và tích phân Chú ý rằng các tham số này là một sự tổng quát được sử dụng, có thể tìm được khi φ2 = 1 Kì vọng của biến ngẫu nhiên t-phân phối Student nhiều chiều chỉ có thể tồn tại với ν > 1 và phương sai chỉ có thể tồn tại với ν > 2 Khi ν = 1, t-phân phối Student nhiều chiều là phân phối Cauchy nhiều chiều mà kì vọng và phương sai hoặc mô men cấp 1 và mô men cấp 2 không tồn... nghiệm với việc sử dụng Q và ν vì vậy nó không phụ thuộc vào dữ liệu Định lượng của ν và Q là các siêu tham số được xác 25 CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU định Bằng cách định lượng ma trận Q và vô hướng ν, phân phối Wishart nghịch đảo nghiệm là hoàn toàn được xác định Phương pháp liên hợp tổng quát cho phân phối tiên nghiệm cho Σ tương tự như phương pháp liên hợp Sử dụng phương pháp liên... phân phối tiên nghiệm với việc sử dụng µ0 vì vậy nó không phụ thuộc vào dữ liệu Đại lượng vectơ µ0 là một siêu tham số cần xác định Bằng cách định rõ vectơ µ0 và ma trận Σ, phân phối chuẩn tiên nghiệm vectơ hoặc nhiều chiều là hoàn toàn được xác định Phân phối Wishart nghịch đảo Nếu chúng ta tráo đổi vai trò của x và Σ trong hàm hợp lí chuẩn vectơ hoặc nhiều chiều và sử dụng tính chất của toán tử vết,... Σ là ν 1 −1 Q p(Σ) ∝ |Σ|− 2 e− 2 trΣ , (2.24) ở đây chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng Q và ν vì vậy nó không phụ thuộc vào dữ liệu Định lượng của ν và Q là các siêu tham số được xác 23 CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU định Bằng cách định lượng ma trận Q và vô hướng ν, phân phối Wishart nghịch đảo nghiệm là hoàn toàn được xác định Tương tự như phân phối chuẩn ma... các tham số M, Σ và Φ của phân phối này như là các biến ngẫu nhiên với các tham số được biết bao gồm n0 và X1 , , Xn0 32 CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU Bằng việc sắp xếp và biểu diễn lại một vài đại số trên phân bố trên, nó có thể thấy rằng M, Σ và Φ là các phân phối chuẩn ma trận và phân phối Wishart nghịch đảo 2.2.2.1 Phân phối chuẩn ma trận Tham số ngẫu nhiên M từ một mẫu của biến... Ψ p(Φ) ∝ |Φ|− 2 e− 2 trΦ 33 , (2.66) CHƯƠNG 2 MỞ ĐẦU VỀ THỐNG KÊ BAYES NHIỀU CHIỀU và nó được thấy rằng các siêu tham số κ và Ψ của phân phối tiên nghiệm cho ma trận n0 hiệp phương sai Φ, là κ = n0 p1 và Ψ = ¯ Σ−1 (Xi − X) ¯ (Xi − X) i=1 Chú ý rằng phương trình cho Q và Ψ là coupled Điều này nghĩa là không có nghiệm dạng giải tích để đánh giá Φ và Σ Các giá trị của chúng phải được tính toán một cách ... kê Bayes ngày phát triển Chúng ta đem thống kê Bayes vào phương pháp tần suất để phát triển nhiều kết lí thuyết ứng dụng Chính vậy, nói thống kê Bayes mảng kiến thức rộng lớn nhiều nhà thống kê. .. TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN ANH TUẤN THỐNG KÊ BAYES NHIỀU CHIỀU VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI... bày số kiến thức thống kê Bayes nhiều chiều mô hình hồi quy Bayes đồng thời đưa số ứng dụng hồi quy Bayes Luận văn tác giả chia làm chương Chương Các phân phối xác suất nhiều chiều quan trọng