(Luận văn thạc sĩ) quyết định bayes và bài toán occam’s razor

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRỊNH QUỐC ANH Hà Nội - 2014 LỜI CẢM ƠN Trong suốt trình học tập, nghiên cứu hoàn thành luận văn này, em nhận hướng dẫn, giúp đỡ quý báu thầy cơ, đồng nghiệp, gia đình bạn bè Em xin bày tỏ lịng kính trọng cảm ơn sâu sắc tới: - Tiến sỹ Trịnh Quốc Anh – Giảng viên Bộ môn Xác suất Thống kê, Khoa Toán – Cơ – Tin học, Trường Đại học Khoa học Tự nhiên động viên, hướng dẫn bảo tận tình em suốt trình em thực nghiên cứu đề tài Nhờ động viên dạy tận tình thầy, em cố gắng vượt qua khó khăn để hồn thành đề tài nghiên cứu - Các thầy cô Khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên tạo điều kiện thuận lợi giúp đỡ em trình học tập hoàn thành đề tài nghiên cứu Những kiến thức mà em nhận từ thầy cô hành trang giúp em vững bước tương lai - Các đồng nghiệp Khoa Khoa học bản, ban giám hiệu trường Đại học Công nghệ Giao thông vận tải giúp đỡ tạo điều kiện tốt để tác giả hồn thành khóa học - Gia đình tồn thể bạn bè ln quan tâm, động viên giúp đỡ tác giả vượt qua khó khăn, thử thách sống học tập hoàn thành luận văn Hà Nội, tháng 10 năm 2014 Học viên Nguyễn Đức Hùng Mục lục Cơ sở lý thuyết 1.1 Tổng quan thống kê Bayes 1.2 Suy luận Bayes cho biến ngẫu nhiên rời rạc 1.2.1 Định lý Bayes cho tỷ lệ p phân phối nhị thức với tiên nghiệm rời rạc 1.2.2 Định lý Bayes cho tỷ lệ p phân phối nhị thức sử dụng tiên nghiệm liên tục 1.2.3 Ước lượng cho tỷ lệ p phân phối nhị thức 1.2.4 Kiểm định giả thiết cho tỷ lệ p phân phối nhị thức 1.3 Suy luận Bayes cho biến ngẫu nhiên liên tục 1.3.1 Định lý Bayes cho trung bình µ phân phối chuẩn với tiên nghiệm rời rạc 1.3.2 Định lý Bayes cho trung bình µ phân phối chuẩn với tiên nghiệm liên tục 1.3.3 Ước lượng cho trung bình µ phân phối chuẩn 1.3.4 Kiểm định giả thuyết cho trung bình µ 1.4 Chuỗi Markov 1.4.1 Quá trình Markov 1.4.2 Không gian trạng thái rời rạc 1.4.3 Phương pháp chuỗi Markov Monte Carlo (MCMC) Bài toán Occam’s Razor 2.1 Bài toán occam’s razor 2.1.1 Khái niệm 2.1.2 Occam’s razor toán Galileo 2.2 Occam’s razor mơ hình hồi quy tuyến tính 2.2.1 Phụ thuộc tuyến tính 2.2.2 Mơ hình hồi quy tuyến tính 2.2.3 Ước lượng cổ điển 2.2.4 Suy luận Bayes cho mơ hình hồi quy tuyến tính 5 10 13 17 17 18 21 23 25 25 26 28 30 30 30 31 32 32 34 34 36 2.2.5 Ứng dụng toán Occam’s razor việc lựa chọn mơ hình hồi quy tuyến tính 49 Quyết định Bayes mơ hình chuỗi thời gian 3.1 Ứng dụng tốn Occam’s Razor mơ hình log-tuyến tính 3.1.1 Bảng dự phòng 3.1.2 Suy luận theo tiên nghiệm 3.1.3 Chọn mơ hình ý nghĩa tham số 3.2 Quyết định Bayes mơ hình chuỗi thời gian 3.2.1 Mơ hình tự hồi quy AR 3.2.2 Mơ hình trung bình trượt MA 3.2.3 Mơ hình ARMA 57 57 57 60 61 63 64 71 74 Lời mở đầu Thế giới xung quanh chứa điều bí ẩn Những biết giới nhỏ bé so với hùng vĩ Xuất phát từ nhu cầu muốn tìm hiểu, khám phá giới tự nhiên, hàng loạt ngành khoa học chuyên sâu đời, có khoa học thống kê Thống kê (theo nghĩa thống kê toán học) khoa học phương pháp tổng quát xử lí kết thực nghiệm Hiện nay, giới có hai trường phái suy luận tồn phát triển song song với nhau: thống kê tần suất thống kê Bayes Thống kê tần suất (thống kê cổ điển) xem tham số giá trị không ngẫu nhiên thống kê Bayes coi tham số biến ngẫu nhiên Suy luận Bayes thể cách suy nghĩ phổ biến tất tiếp thu kiến thức theo kiểu tích lũy Có thể diễn đạt thống kê Bayes sau “những biết tổng hợp biết cộng với chứng thực tế ” Trong luận văn này, tác giả trình bày tổng quan thống kê Bayes, thống kê Bayes mơ hình hồi quy tuyến tính mơ hình chuỗi thời gian, ứng dụng nguyên tắc "Lưỡi dao cạo Occam" để giải số toán thực tế Luận văn gồm chương: Chương Cơ sở lý thuyết Trong chương 1, tác giả hệ thống suy luận Bayes cho biến ngẫu nhiên rời rạc liên tục, đại diện tương ứng phân phối nhị thức phân phối chuẩn, với tiên nghiệm rời rạc liên tục So sánh suy luận tần suất Bayes Đồng thời giới thiệu phương pháp MCMC phương pháp thông dụng hiệu để lấy mẫu cho phân phối hậu nghiệm Chương Bài tốn Occam’s razor Trong chương 2, tác giả trình bày mơ hình hồi quy tuyến tính ứng dụng tốn Occam’s razor việc lựa chọn mơ hình (chọn biến), sử dụng thuật tốn lấy mẫu Gibbs Chương Quyết định Bayes mơ hình chuỗi thời gian Trong chương 3, tác giả trình bày ứng dụng tốn Occam’s Razor mơ hình log-tuyến tính sử dụng thuật tốn MetropolisHastings để xấp xỉ hàm hợp lý Tác giả trình bày Thống kê Bayes mức biểu đồ cuối liên kết chuỗi thực tế bước dự đốn E [xt+1 |xt , xt−1 , ] 70 3.2.2 Mơ hình trung bình trượt MA Một dạng thứ hai mơ hình chuỗi thời gian phụ thuộc tuyến tính biểu dạng đóng mơ hình trung bình trượt M A(q), xuất phiên kép mơ hình AR(p) Một q trình M A(1) : (xt )t∈Z có điều kiện khứ (t ∈ T ) cho cơng thức xt = µ + εt − ϑεt−1 (3.10) Trong (εt )t∈T tiếng ồn trắng Do E (xt ) = µ, V (xt ) = + ϑ2 σ , γx (1) = ϑσ γx (h) = (h > 1) Một tính chất quan trọng (3.10) mơ hình khơng phải định danh cho gia nhập Thật vậy, viết lại xt sau: xt = µ + εt−1 − εt , ε ∼ N 0, ϑ2 σ ϑ Vì vậy, hai cặp (ϑ, σ) ϑ , ϑσ đại diện tương đương mơ hình Để đạt tính đồng nhất, khơng gian tham số trình M A(1) bị hạn chế |ϑ| < Quá trình gọi nghịch đảo Cũng tính nhân quả, tính nghịch đảo khơng đặc tính q trình (xt )t∈Z mà liên kết hai trình (xt )t∈T (εt )t∈T Tổng quát mô hình M A(1) để tăng phụ thuộc vào khứ mơ hình M A(q) xác định t ∈ T q x t = µ + εt ϑi εt−i (3.11) i=1 Trong (εt )t∈T tiếng ồn trắng Điều kiện “đồng nhất” tương ứng mơ hình tất nghiệm đa thức q ϑi ui , Q (u) = − i=1 71 Đều nằm bên ngồi hình trịn đơn vị mặt phẳng phức Một khác biệt lớn mơ hình M A(q) AR(p) cấu trúc M A(q) không Markov Trong trường hợp Gauss, toàn véc tơ quan sát x1:T biến chuẩn ngẫu nhiên thực, với số trung bình µ ma trận hiệp phương sai Do đó, cung cấp hàm hợp lý rõ ràng Tuy nhiên, việc tính tốn hàm hợp lý tốn liên quan đến ma trận nghịch đảo (khá lớn) Một biểu khác hàm hợp lý M A(q) sử dụng hàm hợp lý x1:T có điều kiện tiếng ồn trắng ε0 , , ε−q+1 : c l (µ, ϑ1 , , ϑq , σ|x1:T , ε0 , , ε−q+1 ) ∝ σ −T   T  exp xt − µ +   t=1 2 q ϑj εt−j  /2σ   j=1 (3.12) q Trong đó: (t > 0) : εt = xt − µ + ϑj εt−j ε0 = ε0 , , ε1−q = ε1−q j=1 Định nghĩa đệ quy hàm hợp lý tốn liên quan đến tổng T q số hạng Tuy nhiên, vấn đề xử lý giá trị điều kiện (ε0 , , ε−q+1 ) phải xử lý riêng thông qua bước MCMC, phức tạp biểu dễ quản lý so với biểu xác chuẩn Chú ý rằng, phân phối có điều kiện (ε0 , , ε−q+1 ) cho hai x1:T tham số phân phối chuẩn Với hai x1:T tiếng ồn khứ (ε0 , , ε−q+1 ) , phân phối có điều kiện tham số (µ, ϑ1 , , ϑq , σ) gần với hậu nghiệm kết hợp với phân phối hậu nghiệm AR(q) Vì thế, tái xử dụng thuật toán (3.2) Tiếng ồn khứ ε−i (i = 1, , q) mô xt , tham số µ, σ ϑ = (ϑ1 , , ϑq ) Trong phân phối xác: T f (ε0 , , ε−q+1 |x1:T , µ, σ, ϑ) ∝ e i=−q+1 −ε2i /2σ 2 e−ˆεt /2σ (3.13) t=1 Trong εˆt định nghĩa trên, phân phối chuẩn véc 72    tơ (ε0 , , ε−q+1 ) Tính tốn q tốn cho biến với giá trị thực T Do đó, sử dụng thuật tốn hỗn hợp Gibbs tiếng ồn biến ε = (ε0 , , ε−q+1 ) mô từ đề nghị dựa giá trị mô trước (ε0 , , ε−q+1 ) dựa phân phối có điều kiện (ε0 , , ε−q+1 ) tham số phân phối chuẩn Thuật toán 3.3[10]: Nhảy ngược M A(q) Khởi tạo: Chọn λ(0) , ε(0) , µ(0) σ (0) tùy ý Lặp lặp lại t(t ≥ 1) : Chạy bước từ đến thuật toán (3.2) với điều kiện ε(t−1) với hàm hợp lý có điều kiện xác tương ứng Mơ ε(t) bước Metropolis-Hasting Ví dụ 3.2[10] (tiếp): Chúng ta xem xét 350 điểm chuỗi Air Liquide Eurostoxx50 Kết đại diện cho q = 10000 lần lặp lại thuật toán (3.3), với ước lượng sau: Hình 3.3[10] 73 ... Monte Carlo (MCMC) Bài toán Occam’s Razor 2.1 Bài toán occam’s razor 2.1.1 Khái niệm 2.1.2 Occam’s razor toán Galileo 2.2 Occam’s razor mơ hình hồi... o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA... Chương Bài toán Occam’s razor Trong chương 2, tác giả trình bày mơ hình hồi quy tuyến tính ứng dụng tốn Occam’s razor việc lựa chọn mơ hình (chọn biến), sử dụng thuật tốn lấy mẫu Gibbs Chương Quyết