Một số kỹ thuật thống kê sử dụng trong ước lượng Bayes

Một số kỹ thuật thống kê sử dụng trong ước lượng Bayes Một số kỹ thuật thống kê sử dụng trong ước lượng Bayes Một số kỹ thuật thống kê sử dụng trong ước lượng Bayes luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HỒNG MỘT SỐ KỸ THUẬT THỐNG KÊ SỬ DỤNG TRONG ƯỚC LƯỢNG BAYES LUẬN VĂN THẠC SĨ TOÁN HỌC HÀ NỘI, 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HỒNG MỘT SỐ KỸ THUẬT THỐNG KÊ SỬ DỤNG TRONG ƯỚC LƯỢNG BAYES LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 Người hướng dẫn khoa học TS Trịnh Quốc Anh HÀ NỘI, 2014 Lời cảm ơn Tác giả xin bày tỏ lòng biết ơn sâu sắc đến tất thầy cô khoa Toán – Tin- Cơ trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội giảng dạy truyền đạt kiến thức quý báu cho em chương trình cao học khóa 11-13 Tác giả xin cảm ơn quý thầy cô môn Xác suất thống kê toán trang bị cho kiến thức giúp tác giả hiểu sâu chuyên ngành Hơn hết, luận văn hoàn thành hướng dẫn TS Trịnh Quốc Anh, em xin bày tỏ kính trọng lịng biết ơn sâu sắc thầy, người giao đề tài tận tình hướng dẫn, góp ý sửa chữa chu đáo góp phần quan trọng để em hoàn chỉnh luận văn Nhân dịp tác giả xin gửi lời cảm ơn tới đồng nghiệp Khoa Khoa học bản, ban giám hiệu trường Đại học Sao đỏ giúp đỡ tạo điều kiên tốt để tác giả hoàn thành khóa học Và cuối cùng, tơi xin gửi lời cảm ơn chân thành tới gia đình, bạn bè, động viên, cổ vũ, tạo điều kiện thuận lợi cho tơi q trình học tập hoàn thành luận văn Hà Nội, tháng 10 năm 2014 Tác giả Nguyễn Thị Hồng Lời cam đoan Tôi xin cam đoan, luận văn Thạc sĩ chuyên ngành Lý thuyết xác suất thống kê với đề tài "Một số kỹ thuật thống kê sử dụng ước lượng Bayes" hoàn thành hướng dẫn TS Trịnh Quốc Anh thân tác giả Trong trình nghiên cứu thực luận văn, tác giả kế thừa thành tựu nhà khoa học với lòng biết ơn trân trọng Hà Nội, tháng năm 2014 Tác giả Nguyễn Thị Hồng Mục lục Mở đầu Chương Giới thiệu thống kê Bayes Chương Thống kê Bayes mơ hình chuẩn hồi quy 27 Chương Thống kê Bayes với chuỗi thời gian 63 Kết luận 78 Tài liệu tham khảo 79 Mở đầu Thống kê khoa học phương pháp tổng quát xử lí kết thực nghiệm Để phát quy luật đằng sau số, người làm thống kê phải tiến hành công việc suy luận thống kê Hiểu cách đơn giản, suy luận thống kê trình tìm quy luật từ liệu thực tế Hiện có hai trường phái phát triển song song “cạnh tranh” Đó trường phái tần suất (cổ điển) Bayes Suy luận Bayes thể cách suy nghĩ phổ biến tất tiếp thu kiến thức theo kiểu tích lũy Thông tin mà muốn biết bắt nguồn từ thông tin biết cộng với thông tin thực tế Trong luận văn , tác giả trình bày tổng quan thống kê Bayes, thống kê Bayes với mơ hình; chuẩn, hồi quy tuyến tính, tuyến tính tổng qt mơ hình chuỗi thời gian Luận văn gồm chương Chương Giới thiệu thống kê Bayes Trong chương 1, tác giả hệ thống suy luận Bayes cho biến ngẫu nhiên rời rạc liên tục, với tiên nghiệm rời rạc liên tục Đồng thời giới thiệu phương pháp MCMC để giải phép tính tích phân phức tạp có thống kê Bayes Chương Thống kê Bayes mô hình chuẩn hồi quy Trong chương 2, trình bày mơ hình thống kê Bayes chuẩn hồi quy, so sánh cách tiếp cận tần suất tiếp cận Bayes Chương Thống kê Bayes với mơ hình chuỗi thời gian Trong chương 3, trình bày thống kê Bayes với mơ hình chuỗi thời gian, kết ước lượng kiểm định theo Bayes số thuật toán chạy sử dụng phân tích số liệu Bayes Kết luận Trình bày kết luận văn Chương Giới thiệu thống kê Bayes I Định lý Bayes Việc suy luận thống kê để tìm quy luật từ liệu thực tế biểu thị y, liệu tuân theo phân phối đó, nhiên phân phối phụ thuộc vào tham số chưa biết θ, kí hiệu f (y, θ) Với mơ hình xác suất f (y|θ) có hai cách hiểu tham số θ tương ứng với hai trường phái suy luận: thống kê tần suất thống kê Bayes • Thống kê tần suất (thống kê cổ điển) xem tham số giá trị khơng biết khơng ngẫu nhiên; • Thống kê Bayes coi tham số θ biến ngẫu nhiên Chúng ta gán cho tham số phân phối xác suất để biểu thị tin cậy giá trị thực tham số Bằng cách kết hợp thơng tin có trước quan sát với thơng tin có quan sát, thu thông tin muốn biết Cơ sở suy luận Bayes định lí Bayes Định lí cho phép xác định xác suất xảy kiện ngẫu nhiên biết kiện liên quan xảy Xét tham số biến ngẫu nhiên X, không quan sát X Biến ngẫu nhiên Y , phụ thuộc vào tham số, với giá trị y1 , y2 , , yn , Y quan sát Ta suy luận biến ngẫu nhiên X/Y = yn việc sử dụng định lí Bayes Gọi f phân phối chứa biến ngẫu nhiên Y, g phân phối chứa tham số biến ngẫu nhiên X Trường hợp X rời rạc Nếu X nhận giá trị x1 , x2 , , xn Phân phối đồng thời f (xi /yj ) = n g(xi )f (yj /xi ) Phân phối biên duyên Y n f (xi /yj ) = i=1 g(xi )f (yj /xi ) i=1 Phân phối hậu nghiệm X/Y = yj là: g(xi /yj ) = g(xi )f (yj /xi ) n (1.1) g(xi )f (yj /xi ) i=1 Phân phối xác suất tiên nghiệm g(xi ) biến ngẫu nhiên rời rạc X xác suất xi trước ta quan sát thấy liệu, xuất phát từ kinh nghiệm, từ liệu Khi quan sát Y = yi ta có hàm hợp lý f (yj /xi ) Trường hợp X liên tục Nếu X liên tục R, phân phối hậu nghiệm xác định theo định lý Bayes sau g(x)f (y/x) g(x)f (y/x)dx g(x/y) = (1.2) R Hệ quan trọng cuả định lý Bayes: Nhân số với tiên nghiệm không làm thay đổi kết định lý Bayes Nhân hàm hợp lý với số không làm thay đổi kết định lý Bayes Trong tính tốn phân phối hậu nghiệm, nói chung tìm mật độ biên duyên mật độ hậu nghiệm không dễ, nên tập trung vào phân phối tiên nghiệm mà có phân ph�rộng hai mơ hình trước (chuẩn) mơ hình ARMA (p, q), xt (t ∈ T) điều kiện xác định p q xt = µ − ϑj εt−j , εt ∼ N 0, σ ϑi (xt−i − µ) + εt − i=1 (3.12) j=1 εt độc lập Cho phương trình quan sát  yt+1      =      ϑr xt = xt = µ − (ϑr−1 ϑr−2 ϑ1 − 1) yt   0      0       yt + εt+1        0     ϑr−1 ϑr−2 ϑ1 Với r-max (p, q+1) quy ước ϑm = m >p q∗m =             (3.13) 73 m>q Tương tự (q ) trường hợp MA, đại diện không gian trạng thái tiện dụng việc đưa thuật toán MCMC hội tụ đến phân phối hậu nghiệm tham số mơ hình ARMA( p, q) Nếu định nghĩa (t>p) p x = xt − µ + υ (xt−i − µ) i=1 Hợp lý giống hợp lý tiêu chuẩn M(q) x , khôi phục q ϑj εt−j , hợp lý AR( p) nhiều Nếu định nghĩa số dư εt = j=1 log-likelihood điều kiện x0:(p−1) υj [xt−j − µ] − εt xt − µ − − t=p p T /2σ j=1 Rõ ràng chọn log-likelihood AR( p) , ngoại trừ εt II Thuật toán Thuật toán Metropolis – Hastings (M-H) Với thuật toán M-H, phân bố đề suất Markov, với mật độ q(x,y) Nếu phân bố mục tiêu có mật độ g, thuật toán M-H sau Thuật toán: Lấy mẫu M-H chung Khởi tạo: Chọn giá trị bắt đầu tùy ý x(0) Lặp lại : t (t ≥ 1) 1/ Cho biết x(t−1) , tạo x ∼ q x(t−1) , x 2/Tính ρ x(t−1) , x = g (x) /q x(t−1) , x ,1 g x(t−1) /q x, x(t−1) ... KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HỒNG MỘT SỐ KỸ THUẬT THỐNG KÊ SỬ DỤNG TRONG ƯỚC LƯỢNG BAYES LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 Người hướng dẫn... tham số θ tương ứng với hai trường phái suy luận: thống kê tần suất thống kê Bayes • Thống kê tần suất (thống kê cổ điển) xem tham số giá trị không ngẫu nhiên; • Thống kê Bayes coi tham số θ... sĩ chuyên ngành Lý thuyết xác suất thống kê với đề tài "Một số kỹ thuật thống kê sử dụng ước lượng Bayes" hoàn thành hướng dẫn TS Trịnh Quốc Anh thân tác giả Trong trình nghiên cứu thực luận văn,