Quyết định bayes và bài toán occam’s razor

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRỊNH QUỐC ANH Hà Nội - 2014 LỜI CẢM ƠN Trong suốt trình học tập, nghiên cứu hoàn thành luận văn này, em nhận hướng dẫn, giúp đỡ quý báu thầy cơ, đồng nghiệp, gia đình bạn bè Em xin bày tỏ lịng kính trọng cảm ơn sâu sắc tới: - Tiến sỹ Trịnh Quốc Anh – Giảng viên Bộ môn Xác suất Thống kê, Khoa Toán – Cơ – Tin học, Trường Đại học Khoa học Tự nhiên động viên, hướng dẫn bảo tận tình em suốt trình em thực nghiên cứu đề tài Nhờ động viên dạy tận tình thầy, em cố gắng vượt qua khó khăn để hồn thành đề tài nghiên cứu - Các thầy cô Khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên tạo điều kiện thuận lợi giúp đỡ em trình học tập hoàn thành đề tài nghiên cứu Những kiến thức mà em nhận từ thầy cô hành trang giúp em vững bước tương lai - Các đồng nghiệp Khoa Khoa học bản, ban giám hiệu trường Đại học Công nghệ Giao thông vận tải giúp đỡ tạo điều kiện tốt để tác giả hồn thành khóa học - Gia đình tồn thể bạn bè ln quan tâm, động viên giúp đỡ tác giả vượt qua khó khăn, thử thách sống học tập hoàn thành luận văn Hà Nội, tháng 10 năm 2014 Học viên Nguyễn Đức Hùng Mục lục Cơ sở lý thuyết 1.1 Tổng quan thống kê Bayes 1.2 Suy luận Bayes cho biến ngẫu nhiên rời rạc 1.2.1 Định lý Bayes cho tỷ lệ p phân phối nhị thức với tiên nghiệm rời rạc 1.2.2 Định lý Bayes cho tỷ lệ p phân phối nhị thức sử dụng tiên nghiệm liên tục 1.2.3 Ước lượng cho tỷ lệ p phân phối nhị thức 1.2.4 Kiểm định giả thiết cho tỷ lệ p phân phối nhị thức 1.3 Suy luận Bayes cho biến ngẫu nhiên liên tục 1.3.1 Định lý Bayes cho trung bình µ phân phối chuẩn với tiên nghiệm rời rạc 1.3.2 Định lý Bayes cho trung bình µ phân phối chuẩn với tiên nghiệm liên tục 1.3.3 Ước lượng cho trung bình µ phân phối chuẩn 1.3.4 Kiểm định giả thuyết cho trung bình µ 1.4 Chuỗi Markov 1.4.1 Quá trình Markov 1.4.2 Không gian trạng thái rời rạc 1.4.3 Phương pháp chuỗi Markov Monte Carlo (MCMC) Bài toán Occam’s Razor 2.1 Bài toán occam’s razor 2.1.1 Khái niệm 2.1.2 Occam’s razor toán Galileo 2.2 Occam’s razor mơ hình hồi quy tuyến tính 2.2.1 Phụ thuộc tuyến tính 2.2.2 Mơ hình hồi quy tuyến tính 2.2.3 Ước lượng cổ điển 2.2.4 Suy luận Bayes cho mơ hình hồi quy tuyến tính 5 10 13 17 17 18 21 23 25 25 26 28 30 30 30 31 32 32 34 34 36 2.2.5 Ứng dụng toán Occam’s razor việc lựa chọn mơ hình hồi quy tuyến tính 49 Quyết định Bayes mơ hình chuỗi thời gian 3.1 Ứng dụng tốn Occam’s Razor mơ hình log-tuyến tính 3.1.1 Bảng dự phòng 3.1.2 Suy luận theo tiên nghiệm 3.1.3 Chọn mơ hình ý nghĩa tham số 3.2 Quyết định Bayes mơ hình chuỗi thời gian 3.2.1 Mơ hình tự hồi quy AR 3.2.2 Mơ hình trung bình trượt MA 3.2.3 Mơ hình ARMA 57 57 57 60 61 63 64 71 74 Lời mở đầu Thế giới xung quanh chứa điều bí ẩn Những biết giới nhỏ bé so với hùng vĩ Xuất phát từ nhu cầu muốn tìm hiểu, khám phá giới tự nhiên, hàng loạt ngành khoa học chuyên sâu đời, có khoa học thống kê Thống kê (theo nghĩa thống kê toán học) khoa học phương pháp tổng quát xử lí kết thực nghiệm Hiện nay, giới có hai trường phái suy luận tồn phát triển song song với nhau: thống kê tần suất thống kê Bayes Thống kê tần suất (thống kê cổ điển) xem tham số giá trị không ngẫu nhiên thống kê Bayes coi tham số biến ngẫu nhiên Suy luận Bayes thể cách suy nghĩ phổ biến tất tiếp thu kiến thức theo kiểu tích lũy Có thể diễn đạt thống kê Bayes sau “những biết tổng hợp biết cộng với chứng thực tế ” Trong luận văn này, tác giả trình bày tổng quan thống kê Bayes, thống kê Bayes mơ hình hồi quy tuyến tính mơ hình chuỗi thời gian, ứng dụng nguyên tắc "Lưỡi dao cạo Occam" để giải số toán thực tế Luận văn gồm chương: Chương Cơ sở lý thuyết Trong chương 1, tác giả hệ thống suy luận Bayes cho biến ngẫu nhiên rời rạc liên tục, đại diện tương ứng phân phối nhị thức phân phối chuẩn, với tiên nghiệm rời rạc liên tục So sánh suy luận tần suất Bayes Đồng thời giới thiệu phương pháp MCMC phương pháp thông dụng hiệu để lấy mẫu cho phân phối hậu nghiệm Chương Bài tốn Occam’s razor Trong chương 2, tác giả trình bày mơ hình hồi quy tuyến tính ứng dụng tốn Occam’s razor việc lựa chọn mơ hình (chọn biến), sử dụng thuật tốn lấy mẫu Gibbs Chương Quyết định Bayes mơ hình chuỗi thời gian Trong chương 3, tác giả trình bày ứng dụng tốn Occam’s Razor mơ hình log-tuyến tính sử dụng thuật tốn MetropolisHastings để xấp xỉ hàm hợp lý Tác giả trình bày Thống kê Bayes mơ hình chuỗi thời gian, kết ước lượng, dự đoán số thuật tốn chạy sử dụng phân tích số liệu Bayes: Thuật toán nhảy ngược, thuật toán Metropolis-Hastings Đồng thời tác giả ứng dụng tốn Occam’s razor mơ hình Hà Nội, tháng 10 năm 2014 Chương Cơ sở lý thuyết 1.1 Tổng quan thống kê Bayes Thống kê Bayes ngày phổ biến xây dựng mẫu thống kê cho vấn đề thực tế Trong năm gần đây, phương pháp thống kê Bayes sử dụng nhiều lĩnh vực từ khảo cổ học đến tính tốn Suy luận Bayes phương pháp kết hợp thông tin thu thập từ liệu thực nghiệm với thơng tin có từ trước Với mơ hình xác suất, y liệu thực tế, θ tham số chưa biết, có hai cách hiểu tham số θ tương ứng với hai trường phái suy luận: thống kê tần suất thống kê Bayes Nếu suy luận thống kê cổ điển coi tham số θ giá trị cố định chưa biết, thống kê Bayes coi θ biến ngẫu nhiên (theo nghĩa ta đưa phân bố xác suất thể chắn giá trị thực tham số) Đây khác biệt hai cách tiếp cận Có lý để thống kê Bayes hiệu thống kê cổ điển: (1) kết luận Bayes thiết lập có điều kiện (thông tin tiên nghiệm) dựa mẫu liệu thu thập được, (2) với quan điểm Bayes hồn tồn hợp lý nói xác suất để tỉ lệ rơi vào khoảng ước lượng (vì tham số biến ngẫu nhiên) Cơ sở suy luận Bayes định lí Bayes Định lí cho phép xác định xác suất xảy kiện ngẫu nhiên biết kiện liên quan xảy Xét tham số biến ngẫu nhiên X, nhận giá trị x1 , x2 , , xI , không quan sát X Biến ngẫu nhiên Y, phụ thuộc vào tham số, với giá trị y1 , y2 , , yJ , Y quan sát Ta suy luận biến ngẫu nhiên X/Y = yj việc sử dụng định lý Bayes Gọi f phân phối chứa biến ngẫu nhiên Y, g phân phối chứa tham số biến ngẫu nhiên X Phân phối đồng thời f (xi , yj ) = g(xi )f (yj /xi ) Phân phối biên duyên Y n n g(xi )f (yj /xi ) Phân phối hậu nghiệm X/Y = yj f (xi /yj ) = i=1 i=1 là: g(xi /yj ) = g(xi )f (yj /xi ) n g(xi )f (yj /xi ) n , g(xi /yj ) = i=1 i=1 Phân phối xác suất tiên nghiệm g(xi ) biến ngẫu nhiên rời rạc X xác suất xi trước ta quan sát thấy liệu, xuất phát từ kinh nghiệm, khơng phải từ liệu Khi quan sát Y = yj ta có hàm hợp lý f (yj /xi ) 1.2 Suy luận Bayes cho biến ngẫu nhiên rời rạc 1.2.1 Định lý Bayes cho tỷ lệ p phân phối nhị thức với tiên nghiệm rời rạc Cho Y ∼ B(n, p), hàm hợp lý: f (y/p) = Cny py (1 − p)n−y , ≤ p ≤ Ví dụ 1.1 : Y /p ∼ B(4, p) Giả sử xem xét giá trị có cho p là: 0,4; 0,5; 0,6 ( giả định chúng nhau) Bảng phân phối đồng thời, phân phối biên duyên hậu nghiệm p/Y = 3: p Tiên nghiệm 0,4 1/3 0,0432 0,1152 0,1152 0,0512 0,5 1/3 0,0208 0,0833 0,1250 0,0833 0,6 1/3 0,0085 0,0512 0,1152 0,1152 0,0725 0,2497 0,3554 0,2497 Biên duyên Hậu nghiệm 0,0502 0,2497 0.0833 0,2497 0,1152 0,2497 = 0, 205 = 0, 334 = 0, 461 1,000 Hệ quan trọng định lý Bayes: • Nhân số với tiên nghiệm khơng làm thay đổi kết định lý Bayes • Nhân hàm hợp lý với số không làm thay đổi kết định lý Bayes Trong tính tốn phân phối hậu nghiệm, nói chung tìm mật độ biên duyên mật độ hậu nghiệm không dễ, nên thường sử dụng phân phối tiên nghiệm mà phân phối hậu nghiệm dễ tính tốn, tiên nghiệm gọi tiên nghiệm liên hợp 1.2.2 Định lý Bayes cho tỷ lệ p phân phối nhị thức sử dụng tiên nghiệm liên tục a Sử dụng tiên nghiệm Cho Y ∼ B(n, p) Sử dụng tiên nghiệm đều: g(p) = 1, ≤ p ≤ Mật độ hậu nghiệm g(p/y) = g(p)f (y/p) g(p)f (y/p)dp = 1Cny py (1 − p)n−y y y 1Cn p (1 − p)n−y dp ∝ Cny py (1 − p)n−y Ta thấy phân phối hậu nghiệm hàm p phân phối phân phối Beta (a; b) với a = y + 1, b = n − y + Nếu | | < 1, (xt )t∈Z thể viết lại sau ∞ j xt = µ + εt−j (3.5) j=0 Dễ thấy trình dừng cấp hai hồi quy Nếu | | > 1, trình dừng cấp hai hồi quy (3.4) ∞ −j xt = µ − εt+j j=1 Phương pháp tính dừng cho thấy xt có tương quan với tiếng ồn trắng tương lai (εt )s>t , tính chất khơng có (3.5) | | > Đây hạn chế trình AR(1) với | | < 1, để xt có tính hồi quy giới hạn mối quan hệ khứ (εt )s≤t Hạn chế tương ứng với tính nhân hay trình tự hồi quy độc lập tương lai Chú ý rằng, tính nhân hạn chế cho mơ hình AR(1) kết hợp tự nhiên với tiên nghiệm thống [−1, 1] Tổng qt mơ hình AR(1) mơ hình AR(p) thu cách tăng phụ thuộc vào giá trị khứ, xác định sau p xt = µ + i (xt+1−i − µ) + εt (3.6) i=1 Trong (εt )t∈(Z) tiếng ồn trắng Tương tự, tính dừng tính nhân áp dụng mơ hình này, q trình AR(p) bao gồm tính nhân tính dừng cấp hai tất nghiệm đa thức p i iu P (u) = − (3.7) i=1 Là bên ngồi hình tròn đơn vị mặt phẳng phức Bây ta xem xét hàm hợp lý liên kết với giá trị quan sát từ 65 q trình x0:T phụ thuộc vào giá trị không quan sát x−p , , x−1 từ: l (µ, ∝σ , , p , σ|x0:T , x−p:−1 ) −T −1 p T exp − xt − µ − t=0 i (xt−i − µ) /2σ i=1 Những giá trị ban đầu khơng quan sát được xử lý theo cách khác Đầu tiên, tất thiết lập µ; thứ hai, dựa vào tính dừng tính nhân quả, q trình (xt )t∈Z có phân phối dừng giả sử x−p:−1 phân phối từ phân phối dừng tương ứng, cụ thể phân phối Np (µ1p , A) Sau đó, tích hợp giá trị ban đầu để có hàm hợp lý biên duyên:   2 p T  −1 x −µ− (3.8) σ −T −1 exp i (xt−i − µ)   2σ t t=0 i=1 ×f (x−p:−1 |µ, A) dx−p:−1 Dựa lập luận chúng không quan sát trực tiếp Hàm hợp lý xử lý phân tích gặp nhiều khó khăn thơng qua mẫu Gibbs mơ giá trị ban đầu Một phương pháp tiếp cận khác rõ ràng thay hàm hợp lý có điều kiện giá trị quan sát ban đầu x0:p−1 nghĩa lc µ, ∝σ , , p , σ|xp:T , x0:(p−1) −T +p−1 p T exp − xt − µ − t=p 2 i (xt−i − µ) /2σ (3.9) i=1 Trong trường hợp này, không hạn chế không gian tham số thông qua điều kiện dừng, tiên nghiệm liên hợp tự nhiên tìm cho tham số θ = µ, , σ , tạo thành phân phối chuẩn (µ, ) phân phối nghịch đảo Gammar σ Thay dùng tiên nghiệm Jeffreys, đề xuất tiên nghiệm thiếu 66 : σ Nếu áp đặt hạn chế tính dừng nhân thông tin truyền thống g (θ) = mà tất nghiệm đa thức P (3.7) bên ngồi hình trịn đơn vị Một số chấp nhận trở nên phụ thuộc sử dụng cho phân phối tiên nghiệm phân phối giới hạn chuẩn, ta thiếu thuật tốn đơn giản để mơ tả quy định Một giải pháp khả thi đưa dựa mối tương quan tự động q trình AR(p) Chúng ta có cách tiếp cận khác cách đó, tham số trở lại đơn giản cách sử dụng nghịch đảo nghiệm thực phức đa thức P, mà khoảng (−1, 1) hình cầu tương ứng Nếu ta đại diện cho đa thức (3.7) dạng nhân tử hóa nó: p (1 − λi x), Px = i=1 nghiệm nghịch đảo λi (i = 1, 2, , p) có giá trị thực phức Dưới hạn chế tính dừng nhân quả, tiên nghiệm tự nhiên sau sử dụng tiên nghiệm thống cho nghiệm này, lấy phân phối số lượng rp nghiệm phức liên hợp phân phối [−1, 1] hình cầu đơn vị ζ = {λ ∈ C; |λ| ≤ 1} cho nghiệm thực phức không liên hợp tương ứng Nói cách khác g (λ) = 1 1|λ | 1) Một tính chất quan trọng (3.10) mơ hình khơng phải định danh cho gia nhập Thật vậy, viết lại xt sau: xt = µ + εt−1 − εt , ε ∼ N 0, ϑ2 σ ϑ Vì vậy, hai cặp (ϑ, σ) ϑ , ϑσ đại diện tương đương mơ hình Để đạt tính đồng nhất, khơng gian tham số trình M A(1) bị hạn chế |ϑ| < Quá trình gọi nghịch đảo Cũng tính nhân quả, tính nghịch đảo khơng đặc tính q trình (xt )t∈Z mà liên kết hai trình (xt )t∈T (εt )t∈T Tổng qt mơ hình M A(1) để tăng phụ thuộc vào khứ mơ hình M A(q) xác định t ∈ T q x t = µ + εt ϑi εt−i (3.11) i=1 Trong (εt )t∈T tiếng ồn trắng Điều kiện “đồng nhất” tương ứng mơ hình tất nghiệm đa thức q ϑi ui , Q (u) = − i=1 71 Đều nằm bên ngồi hình trịn đơn vị mặt phẳng phức Một khác biệt lớn mơ hình M A(q) AR(p) cấu trúc M A(q) không Markov Trong trường hợp Gauss, toàn véc tơ quan sát x1:T biến chuẩn ngẫu nhiên thực, với số trung bình µ ma trận hiệp phương sai Do đó, cung cấp hàm hợp lý rõ ràng Tuy nhiên, việc tính tốn hàm hợp lý tốn liên quan đến ma trận nghịch đảo (khá lớn) Một biểu khác hàm hợp lý M A(q) sử dụng hàm hợp lý x1:T có điều kiện tiếng ồn trắng ε0 , , ε−q+1 : c l (µ, ϑ1 , , ϑq , σ|x1:T , ε0 , , ε−q+1 ) ∝ σ −T   T  exp xt − µ +   t=1 2 q ϑj εt−j  /2σ   j=1 (3.12) q Trong đó: (t > 0) : εt = xt − µ + ϑj εt−j ε0 = ε0 , , ε1−q = ε1−q j=1 Định nghĩa đệ quy hàm hợp lý tốn liên quan đến tổng T q số hạng Tuy nhiên, vấn đề xử lý giá trị điều kiện (ε0 , , ε−q+1 ) phải xử lý riêng thông qua bước MCMC, phức tạp biểu dễ quản lý so với biểu xác chuẩn Chú ý rằng, phân phối có điều kiện (ε0 , , ε−q+1 ) cho hai x1:T tham số phân phối chuẩn Với hai x1:T tiếng ồn khứ (ε0 , , ε−q+1 ) , phân phối có điều kiện tham số (µ, ϑ1 , , ϑq , σ) gần với hậu nghiệm kết hợp với phân phối hậu nghiệm AR(q) Vì thế, tái xử dụng thuật toán (3.2) Tiếng ồn khứ ε−i (i = 1, , q) mô xt , tham số µ, σ ϑ = (ϑ1 , , ϑq ) Trong phân phối xác: T f (ε0 , , ε−q+1 |x1:T , µ, σ, ϑ) ∝ e i=−q+1 −ε2i /2σ 2 e−ˆεt /2σ (3.13) t=1 Trong εˆt định nghĩa trên, phân phối chuẩn véc 72    tơ (ε0 , , ε−q+1 ) Tính tốn q tốn cho biến với giá trị thực T Do đó, sử dụng thuật toán hỗn hợp Gibbs tiếng ồn biến ε = (ε0 , , ε−q+1 ) mô từ đề nghị dựa giá trị mô trước (ε0 , , ε−q+1 ) dựa phân phối có điều kiện (ε0 , , ε−q+1 ) tham số phân phối chuẩn Thuật toán 3.3[10]: Nhảy ngược M A(q) Khởi tạo: Chọn λ(0) , ε(0) , µ(0) σ (0) tùy ý Lặp lặp lại t(t ≥ 1) : Chạy bước từ đến thuật toán (3.2) với điều kiện ε(t−1) với hàm hợp lý có điều kiện xác tương ứng Mơ ε(t) bước Metropolis-Hasting Ví dụ 3.2[10] (tiếp): Chúng ta xem xét 350 điểm chuỗi Air Liquide Eurostoxx50 Kết đại diện cho q = 10000 lần lặp lại thuật toán (3.3), với ước lượng sau: Hình 3.3[10] 73 Hàng cùng: biểu đồ bên trái trình tự nghiệm phức (dao động từ đến 8); biểu đồ phải chuỗi µ σ Hàng trình tự ước lượng ϑi (i = 1, 2, 3) Hàng : biểu đồ bên trái trình tự hàm hợp lý quan sát; biểu đồ biểu đám mây nghiệm phức với ranh giới hình trịn đơn vị; biểu đồ bên phải phát triển mơ ε−t 3.2.3 Mơ hình ARMA Mở rộng hai mơ hình trước mơ hình ARM A(p, q), xt (t ∈ Z) xác định bởi: p xt = µ − q i (xt−i ϑj εt−j , εt ∼ N 0, σ − µ) + εt − i=1 j=1 74 (3.14) Trong εt độc lập Cho phương trình quan sát:  yt+1     =     r xt = µ − (ϑr−1 ϑr−2 ϑ1 − 1) yt ,   0          yt + εt+1     0    r−1 r−2 Với r = max(p, q + 1) quy ước m          (3.15) = m >p ϑm = m>q Tương tự trường hợp MA(q), đại diện không gian trạng thái tiện dụng việc đưa thuật toán MCMC hội tụ đến phân phối hậu nghiệm tham số mơ hình Nếu định nghĩa (t>p) p xt = xt − µ + i (xt−i − µ), i=1 Hàm hợp lý giống hàm hợp lý tiêu chuẩn M A(q) xt , khôi phục hàm hợp lý AR(p) nhiều Nếu định nghĩa số dư q εt = ϑj εt−j , log-hàm hợp lý điều kiện x0:(p−1) là: j=1 T −  υj [xt−j − µ] − εt  /2σ xt − µ − t=p 2 p j=1 Rõ ràng log-hàm hợp lý AR(p) dạng đóng, ngoại trừ εt Kết luận: Trên đây, thấy vai trò thống kê Bayes việc xử lý mơ hình chuỗi thời gian AR, M A, ARM A Các mơ hình có điểm chung sử dụng hàm tiên nghiệm thiếu thông tin khác hàm hợp lý Các hàm hợp lý liên kết với giá trị quan sát Ta xem 75 xét phương pháp chọn hàm hợp lý mơ hình AR(p) dựa giá trị quan sát: Đầu tiên xem xét hàm hợp lý liên kết với giá trị quan sát x0:T , phụ thuộc vào giá trị không quan sát x−p , , x−1 Tuy nhiên việc tính tốn hàm hợp lý tốn liên quan tới tích phân (khá lớn) Thứ hai xem xét hàm hợp lý liên kết với giá trị quan sát xp:T , phụ thuộc vào giá trị quan sát ban đầu x0 , , xp−1 Sau ta áp dụng thuật tốn nhảy ngược kết hợp với thuật toán MetropolisHastings xấp xỉ hàm hợp lý để ước lượng hệ số mô hình chuỗi thời gian Đối với mơ hình khác, việc chọn hàm hợp lý giống mơ hình AR(p) Phương pháp xem xét hàm hợp lý liên kết với giá trị quan sát phụ thuộc vào giá trị quan sát ban đầu đơn giản hơn, rõ ràng giải việc ước lượng hệ số mơ hình cách hiệu Đây lời giải toán Occam’s razor việc lựa chọn phương pháp xử lý mơ hình chuỗi thời gian 76 Kết luận Luận văn trình bày tổng quan thống kê Bayes, so sánh thống kê tần suất Bayes số trường hợp Thống kê tần suất xem tham số giá trị không ngẫu nhiên thống kê Bayes coi tham số biến ngẫu nhiên tuân theo phân phối đó, tham số lại phụ thuộc vào tham số khác gọi siêu tham số (hyperparameters) Trong luận văn trình bày suy luận Bayes ước lượng, kiểm định, dự đoán với trường hợp tiên nghiệm chứa thông tin tiên nghiệm thiếu thông tin dựa vào phân phối hậu nghiệm, đồng thời so sánh với tần suất Luận văn trình bày ứng dụng Occam’s razor để giải số tốn thực tế: chọn biến mơ hình hồi quy tuyến tính, tốn Galileo, phân tích mơ hình chuỗi thời gian Từ mơ hình hồi quy tuyến tính tới mơ hình chuỗi thời gian, nhờ thống kê Bayes, có kết suy luận tốt cho mẫu liệu thực tế, cập nhật liên tục có phân phối dừng Tuy nhiên, có số hạn chế suy luận Bayes việc tính tốn: tính tích phân, kích thước mẫu lớn Trong luận văn trình bày phương pháp MCMC để giải hạn chế Cuối tác giả mong muốn tiếp tục sâu nghiên cứu thống kê Bayes, để có hiểu biết sâu sắc hơn, đầy đủ phương pháp Tác giả hy vọng tương lai áp dụng suy luận Bayes vào thực tiễn sống 77 Tài liệu tham khảo [1] Đào Hữu Hồ, Thống kê toán học, NXB ĐH THCN, NXB ĐHQG Hà Nội, (1984) [2] Nguyễn Văn Hữu, Nguyễn Hữu Dư Phân tích thống kê dự báo, NXB ĐHQG Hà Nội, (2003) [3] Nguyễn Xuân Dực, Phương pháp mô Monte Carlo: Giải thuật Gibbs, Khóa luận tốt nghiệp, Trường Đại học Khoa học Tự nhiên [4] Andrew Gelman, John B Carlin, Hal S Stern and Donald, Bayesian Data analysis [5] Congdon, Bayesian Statistical Modelling, John Wiley, New York, (2001) [6] Dupuis, Bayesian estimation of movement probabilities in open populations using hidden Markov chains, Biometrika, 82(4):761–772, (1995) 78 [7] Green, Reversible jump MCMC computation and Bayesian model determination, Biometrika, 82(4):711–732, (1995) [8] William H Jefferys and James O Berger, Ockham’s Razor and Bayesian Analysis [9] [10] William M Bolstad, Introduction to Bayesian statistics Jean- Michel Marin Christian P.Robert, Bayesian core: A practical approach to computational Bayesian statistics 79 ... Monte Carlo (MCMC) Bài toán Occam’s Razor 2.1 Bài toán occam’s razor 2.1.1 Khái niệm 2.1.2 Occam’s razor toán Galileo 2.2 Occam’s razor mơ hình hồi... - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyết xác suất thống kê toán Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI... mạnh giải vấn đề này, đặc biệt với trợ giúp máy tính điện tử 29 Chương Bài toán Occam’s Razor 2.1 2.1.1 Bài toán occam’s razor Khái niệm Nguyên tắc “Lưỡi dao cạo Occam” có vị trí quan trọng giới