Tóm tắt luận văn thạc sĩ phương pháp MCMC và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN THỊ BÍCH NGỌC PHƯƠNG PHÁP MCMC VÀ MỘT SỐ ỨNG DỤNG TÓM TẮT LUẬN VĂN THẠC SỸ TOÁN HỌC Chuyên ngành : LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 01 06 HÀ NỘI, 2014 LỜI MỞ ĐẦU Luận văn với mục đích trình bày phương pháp MCMC số ứng dụng nó.Luận văn xây dựng dựa lý thuyết suy luận Bayes,tích phân Monte Carlo xích Markov Luận văn gồm có chương: Chương 1. Tổng quan. Suy luận Bayes: giới thiệu suy luận Bayes, đặc điểm mô hình Bayes, tiên nghiệm Jeffreys. Tích phần Monte Carlo: Bài toán tích phân Monte Carlo, xấp xỉ Monte Carlo, Monte Carlo thông qua lấy mẫu theo trọng số. Phương pháp sinh biến ngẫu nhiên: Phương pháp biến đổi, phương pháp chấp nhận - bác bỏ, phương pháp tỷ số đều. Xích Markov: Các định nghĩa kí hiệu, Sự hội tụ phân phối, giới hạn giá trị trung bình. Chương 2. Mẫu Gibbs. Giới thiệu phương pháp lấy mẫu Gibbs ví dụ cho trường hợp biến ngẫu nhiên nhiều chiều. Thuật toán mở rộng liệu:mô tả thuật toán số ví dụ tương ứng. Chương 3. Thuật toán Metropolis- Hastings. Thuật toán Metropolis- Hasting: Khái niệm, mẫu độc lập, xích bước ngẫu nhiên. Thuật toán Metropolis - Hasting phân phối nhiều chiều: giới thiệu ứng dụng thuật toán Metropolis - Hasting biến ngẫu nhiên nhiều chiều cập nhật khối, cập nhật thành phần. Các dạng khác thuật toán Metropolis - Hasting: Thuật toán chạm chạy, thuật toán Langevin, thuật toán đa phép thử MH. Chương 4. Phương pháp biến phụ trợ MCMC. Giới thiệu mặt lý thuyết vài thuật toán phương pháp MCMC có sử dụng biến phụ trợ: Phương pháp mô nhiệt luyện, mô điều chỉnh nhiệt,Moller, thuật toán trao đổi, phương pháp lấy mẫu MH kép. Do thời gian gấp rút kiến thức hạn chế nên luận văn tránh khỏi thiếu sót, vậy, mong nhận ý kiến đóng góp thầy cô bạn bè đồng nghiệp, xin trân trọng cám ơn. Hà Nội tháng 12 năm 2014 Chương TỔNG QUAN Chương trình bày số kiến thức chuẩn bị tích phân Monte Carlo, xích Markov ., yếu tố quan trọng phương pháp MCMC 1.1 Suy luận Bayes Ta xét suy luận Bayes thông qua ví dụ cụ thể Ví dụ 1.1. (Mô hình Bernoulli với tiên nghiệm biết) Giả sử θ ∼ U nif (0, 1) phân phối khoảng (0,1),và x1 , x2 , ., xn mẫu lấy từ Bernoulli (θ) với không gian mẫu X = {0, 1} hàm khối xác suất Pr (X = |θ ) = θ; Pr (X = |θ ) = − θ (1.1) X biến ngẫu nhiên Bernoulli với X = thành công, X = thất bại. n Ta viết N = i=1 xi số quan sát thành công n phép thử Bernoulli. Khi N |θ ∼ B (n, θ) phân phối nhị thức với cỡ n xác suất thành công θ. Xác suất nghịch đảo θ cho x1 , x2 , ., xn hiểu phân phối hậu nghiệm,được xem phân phối Beta, Beta(1+N,1+n-N) với hàm mật độ xác suất θ(1+N )−1 (1 − θ)(1+n−N )−1 B(1 + N, + n − N ) B (◦ ,◦ ) kí hiệu hàm Beta (0 ≤ θ ≤ 1) (1.2) 1.1.1 Đặc điểm mô hình Bayes Theo nghiên cứu toán học biết để xác định mô hình Bayes ta cần : (i) Chỉ rõ mô hình lấy mẫu từ liệu quan sát X, có điều kiện đại lượng chưa biết θ. (X ∈ X , θ ∈ Θ) X ∼ f (X |θ ) (1.3) f (X |θ ) hàm mật độ xác suất, (ii) Chỉ rõ phân phối biên,được gọi phân phối tiên nghiệm hay đơn giản tiên nghiệm π (θ) θ: (θ ∈ Θ) θ ∼ π (θ) (1.4) Phân phối hậu nghiệm π (θ |X ) = π (θ) L (θ |X ) π (θ) L (θ |X ) dθ (θ ∈ Θ) (1.5) L (θ |X ) ∝ f (X |θ ) δ gọi thống kê hợp lý δ với X cho. 1.1.2 Các tiên nghiệm Jeffreys Đối với trường hợp thông tin không sẵn có không dễ xác định phân phối xác suất xác, đặc biệt toán với số chiều cao, phương pháp thường sử dụng phương pháp Jeffreys, với việc giả thiết tiên nghiệm có dạng: πJ (θ) ∝ |I (θ)| (θ ∈ Θ) (1.6) Trong I (θ) lượng thông tin Fisher. Phân phối hậu nghiệm tương ứng θ cho X sau: πJ (µ |X ) = N (X, 1) (1.7) 1.2 1.2.1 Tích phân Monte Carlo Bài toán Cho ν độ đo xác suất σ - trường Borel X với không gian mẫu X ⊆ Rd , Rd không gian Euclide d-chiều. Một khó khăn thường gặp toán ước tính tích phân dạng: Eν [h (X)] = h (x) ν (dx) (1.8) X Trong h(x) hàm đo được. Giả sử ν có hàm mật độ xác suất f (x) (1.9) viết thành: Ef [h (X)] = h (x) f (x) dx (1.9) X 1.2.2 Xấp xỉ Monte Carlo Ta kí hiệu X1 , ., Xn mẫu kích thước n lấy từ hàm mật độ xác suất f (x) (1.10). Khi trung bình mẫu h (X) là: hn = n n h (Xi ) (1.10) i=1 sử dụng để tính xấp xỉ (1.10) hn hội tụ tới (1.10) hầu chắn theo luật số lớn. Khi h (X) có phương sai hữu hạn, sai số xấp xỉ mô tả định lý giới hạn trung tâm, nghĩa là: hn − Ef [h (X)] ∼ N (0, 1) nV ar (h (X)) Tương tự V ar (h (X)) xấp xỉ phương sai mẫu: n−1 n h (X1 ) − hn i=1 Phương pháp xấp xỉ tích phân qua mẫu mô biết đến phương pháp Monte Carlo 1.2.3 Monte Carlo thông qua lấy mẫu theo trọng số Ef [h (X)] = h (x) f (x) dx = X X (x) h (x) fg(x) g (x) dx = Eg [h (X) f (X) /g (X)] Trong g (x) hàm mật độ xác suất X g(x) > với x mà f (x) > 0. Ta cần chọn g (x) để cực tiểu phương sai h (X) với X ∼ g (x). Người ta chứng minh hàm g(x) thoả mãn điều kiện là: |h (x)| f (x) g ∗ (x) = |h (y)| f (y) dy X 1.3 Phương pháp sinh biến ngẫu nhiên Thuật toán 1.1 (Hàm phân bố ngược liên tục) 1, Sinh biến ngẫu nhiên U. 2, Tính toán đưa kết X = F −1 (U ) F −1 (.) hàm số ngược hàm phân bố liên tục F (.). Thuật toán 1.2 (Hàm phân bố ngược rời rạc) 1, Sinh biến ngẫu nhiên U. 2, Tìm X thỏa mãn F (X − 1) < U ≤ F (X). 3, Trả lại giá trị X. 1.3.1 Phương pháp biến đổi Các phương pháp biến đổi tốt thu cách dựa vào phân phối mục tiêu f (x). Công thức Phép biến đổi Mũ X = −ln(U ) Cauchy X = tan (πU − π/2)) Beta ind Xi ∼ Gamma (αi ) , i = 1, Phân phối X ∼ Expo(1) X ∼ Cauchy(0, 1) X1 X1 +X2 ∼ Beta (α1 , α2 ) 1.3.2 Phương pháp chấp nhận - bác bỏ Xét mẫu có phân phối d - chiều với không gian mẫu X ⊆ Rd . Theo định nghĩa hàm mật độ, miền phía đường cong/mặt phẳng hàm mật độ Cf = {(x, u) : ≤ u ≤ f (x)} ⊂ Rd+1 (1.11) đơn vị thể tích.Do (X,U) miền Cf X ∼ f (x). Chú ý rằng: Ch = {(x, y) : ≤ u ≤ h (x)} ⊂ Rd+1 (1.12) h (x) ∝ f (x),bởi thay đổi tỷ lệ U không ảnh hưởng đến phân phối biên X. Khi ta gặp khó khăn để lấy mẫu cách trực tiếp từ Ch ,ta lấy mẫu cách gián tiếp qua Ch sau: (i) Sinh điểm có tính miền mở rộng dễ dàng để lấy mẫu D ⊇ Ch (ii) Thu thập điểm thuộc vào miền Ch . Miền mở rộng D xây dựng phân phối lấy mẫu cách (x) đơn giản với hàm mật độ g (x) thoả mãn fg(x) bị chặn số số hữu hạn M. Vì Ch đóng miền: Cg = {(x, u) : ≤ u ≤ g (x)} ⊂ Rd+1 (1.13) với h (x) ∝ f (x). Phân phối g (x) gọi phân phối công cụ f (x) phân phối mục tiêu. Tóm lại, thuật toán AR dùng để sinh số ngẫu nhiên từ f (x) cách sử dụng phân phối công cụ g (x), : h (x) ≤M 0,thì Pr (Xn ∈ Bi.o. |X0 = x) > với x P r (Xn ∈ Bi.o. |X0 = x) = với hầu hết π (x) (b) Xích hồi quy Harris P r (Xn ∈ Bi.o. |X0 = x) = với hầu hết π(x) Định nghĩa 1.2. Các dạng ergodic khác cho sau: (a) Một xích Markov gọi ergodic Harris dương hồi quy không tuần hoàn. (b) Cho HB thời điểm chạm tập B. Một xích ergodic với phân phối dừng π (x) gọi ergodic cấp nếu: Ex HB2 π (dx) < ∞ B với H ∈ X thỏa mãn π (H) > (c) Một xích ergodic với phân phối dừng π (x) gọi ergodic hình học tồn hàm số thực không âm M thỏa mãn E (|M (X)|) < ∞ số dương r < cho: P n (x, .) − π ≤ M (x) rn ∀x (d) Xích (c) gọi ergodic tồn số M số dương r < cho P n (x, .) − π ≤ M rn 10 1.4.2 Sự hội tụ phân phối Định lý 1.1. Giả sử P (x, dy) có π(x) bất khả quy dừng. Khi P (x, dy) hồi quy dương π (dx) phân phối dừng P (x, dy). Nếu P (x, dy) không tuần hoàn với hầu hết π (x): P n (x, .) − π → với . tổng biến thiên khoảng cách. Nếu P (x, dy) hồi quy Harris hội tụ với x 1.4.3 Giới hạn giá trị trung bình Định lý 1.2. Giả sử Xn ergodic với phân phối cân f (x) giả sử h (x) có giá trị thực Ef (|h (X)|) < ∞. Khi với phân phối ban đầu, hn → Ef (h (X)) h.c.c . Định lý 1.3. Giả sử Xn ergodic bậc với phân phối cân f (x) giả sử h (x) có giá trị thực bị chặn. Khi tồn số thực √ σh cho phân phối n hn − Ef (h (X)) hội tụ yếu tới phân phối chuẩn với kỳ vọng phương sai σh2 với phân phối ban đầu. Giả thiết tính bị chặn h(x) bỏ xích ergodic Ef h2 (X) < ∞ Định lý 1.4. Giả sử Xn ergodic với phân phối cân f (x) giả sử h (x) có giá trị thực Ef h2 (X) < ∞. Khi tồn số √ thực σh cho phân phối n hn − Ef (h (X)) hội tụ yếu tới phân phối chuẩn với kỳ vọng phương sai σh2 với phân phối ban đầu. 11 Chương MẪU GIBBS Chương đề cập đến thuật toán đơn giản phương pháp MCMC: thuật toán lấy mẫu Gibbs số ứng dụng nó. 2.1 Mẫu Gibbs Giả sử ta muốn sinh số ngẫu nhiên từ hàm mật độ mục tiêu f (x), x ∈ X ⊆ Rd . Ta tiến hành phân hoạch vector d-chiều x vào K khối viết x = (x1 , ., xK ) K ≤ d dim (x1 ) + . dim (xK ) = d với dim (xk ) số chiều xk . Ta kí hiệu fk (xk |x1 , ., xk−1 , xk+1 , ., xK ) (k = 1, ., K) (2.1) tương ứng tập phân phối có điều kiện. Dưới điều kiện không chặt tập phân phối có điều kiện xác định phân phối mục tiêu f (x). Định lý 2.1. (Hammersley- Clifford) Nếu f (x) > với x ∈ X , phân phối đồng thời f (x) xác định phân phối điều kiện(2.1). Chính xác hơn: K f (x) = f (y) fjk xjk xj1 , ., xjk−1 , yjk+1 , ., yjK f yjk xj1 , ., xjk−1 , yjk+1 , ., yjK k=1 jk (x ∈ X ) (2.2) với hoán vị j {1, ., n} ∀y ∈ X. (0) (0) Định nghĩa 2.1. (Mẫu Gibbs) Lấy x(0) = x1 , , xK f x(0) > lặp lại với t = 1, . 12 từ f (0) (x) với (t) (t−1) 1, Sinh x1 ∼ f1 x1 x2 (t−1) , ., xK . k, Sinh (t) (t) (t) (t−1) (t−1) xk ∼ fk xk x1 , ., xk−1 , xk+1 , ., xK . K, Sinh (t) (t) (t) xK ∼ fK xK x1 , ., xK−1 Ví dụ 2.1. (Phân phối chuẩn biến ngẫu nhiên nhiều chiều) Để minh hoạ cho mẫu Gibbs, ta dùng phân phối chuẩn hai chiều p (x) = N µ, = ; µ = [µ1 , µ2 ] = [0, 0] ; ρ12 ρ21 = (t) (t−1) (t) (t) x1 ∼ N µ1 + ρ21 x2 0, 0, − µ2 , x2 ∼ N µ2 + ρ12 x1 − µ1 , 13 − ρ221 − ρ212 Hình 2.1: Mẫu Gibbs phân phối chuẩn hai chiều 2.2 Thuật toán mở rộng liệu Thuật toán DA: mẫu Gibbs hai bước Lấy θ(0) ∈ Θ lặp lại với t = 1, 2, . (t) Bước I Chỉ Xmis ∼ fmis Xmis θ(t−1) , Xobs (t) Bước P Chỉ θ(t) ∼ p θ Xobs , Xmis 14 Chương THUẬT TOÁN METROPOLIS-HASTINGS Chương trình bày thuật toán Metropolis - Hastings, biến thể thuật toán MH số ứng dụng , thuật toán bước nhảy ngược số ứng dụng thuật toán việc xác định điểm thay đổi 3.1 Thuật toán Metropolis – Hastings 3.1.1 Khái niệm Thuật toán lấy mẫu Metropolis (hay mẫu Metropolis) tóm tắt sau: Định nghĩa 3.1. Mẫu Metropolis 1, Sinh y từ q (y|xt ) 2, Tính toán tỷ số chấp nhận α (xt , y) = 1, f (y) f (xt ) Đặt xt+1 = y với xác suất α (xt , y) xt+1 = xt với xác suất − α (xt , y) 15 Hasting(1970) tổng quát thuật toán Metropolis cách chấp nhận phân phối đề nghị không đối xứng đưa thuật toán Metropolis - Hasting. Định nghĩa 3.2. Metropolis – Hastings (MH) 1, Sinh y từ q (y|xt ) 2, Tính toán tỷ số chấp nhận α (xt , y) = 1, f (y) q (xt | y) f (xt ) q (y| xt ) Đặt xt+1 = y với xác suất α (xt , y) xt+1 = xt với xác suất − α (xt , y) 3.1.2 Mẫu độc lập Mẫu độc lập xem xét dạng tổng quát thuật toán chấp nhận – bác bỏ. Dễ dàng nhận thấy xích độc lập bất khả quy không tuần hoàn nếu: {x : x ∈ X , f (x) > 0} ⊆ {x : x ∈ X , g (x) > 0} Định lý 3.1. Xích độc lập ergodic tồn số M cho f (x) ≤ M g (x) (x ∈ {x : f (x) > 0}) 3.1.3 Xích bước ngẫu nhiên Xích bước ngẫu nhiên tạo nên cách lấy phân phối có điều kiện có dạng: q (x, y) = q (y − x) Nghĩa là, bước nhảy đề xuất có hướng khoảng cách xuất phát từ trạng thái xt độc lập với xt Những phân phối hình cầu đơn giản, ví dụ phân phối chuẩn tắc, phân phối Student, phân phối với hình cầu có tâm O, phân phối ellip thường lựa chọn phổ biến cho q(.). 16 3.2 Thuật toán Metropolis- Hasting cho phân phối nhiều chiều 3.2.1 Cập nhật khối Ta sử dụng x = (x1 , x2 , ., xN ) để mô tả biến ngẫu nhiên N thành phần x(t) vị trí thứ t.Ta tóm tắt bước sau: Đặt t=1 Sinh giá trị ban đầu u = (u1 , u2 , ., uN ) đặt x(t) = u Lặp: t = t + Sinh x∗ từ q x x(t−1) p(x∗ )q (x(t−1) |x∗ ) Xác suất chấp nhận α = 1, p x(t−1) q x∗ x(t−1) ( )( | ) Sinh u từ phân phối U(0,1) Nếu u ≤ α, chấp nhận phân phối đề nghị đặt x(t) = x∗ , ngược lại đặt x(t) = x(t−1) Ví dụ 3.1. Giả sử ta muốn lấy mẫu từ phân phối mũ hai chiều: p (θ1 , θ2 ) = exp (− (λ1 + λ) θ1 − (λ2 + λ) θ2 − λ max (θ1 , θ2 )) Ta giới hạn khoảng θ1 θ2 [0,8] đặt λ1 = 0, 5; λ2 = 0, 1; λ + 0, 01; max(λ1 , λ2 ) = 17 Hình 3.1: Thuật toán MH cập nhật khối phân phối mũ hai chiều Ví dụ 3.2. Phân phối chuẩn hai chiều p (x) = N µ, = ; µ = [µ1 , µ2 ] = [0, 0] ; ρ12 ρ21 = (t) (t−1) (t) (t) x1 ∼ N µ1 + ρ21 x2 0, 0, − µ2 , x2 ∼ N µ2 + ρ12 x1 − µ1 , − ρ221 − ρ212 Hình bên minh hoạ phân phối mẫu (bên trái) phân phối mục tiêu(bên phải)thông qua thuật toán MH cập nhật khối.Chúng ta thấy cập nhật khối mô tả tốt việc tạo mẫu từ phân phối mục tiêu. 18 Hình 3.2: Thuật toán MH cập nhật khối phân phối chuẩn hai chiều 3.2.2 Cập nhật thành phần t=1 t=t+1 với chiều i = 1, ., N (t−1) Sinh x∗i từ q xi xi Tính toán tỷ số chấp nhận   (t−1) ∗ ∗ (t−1) p xi , xj q xi |xi  α = 1, (t−1) (t−1) (t−1) ∗ p xi , xj q xi xi Sinh giá trị ngẫu nhiên u từ U(0,1); Nếu u ≤ α, chấp nhận x∗i đặt (t) xi = x∗i , ngược lại đặt xi (t) = xi (t−1) Ví dụ 3.3. Phân phối chuẩn hai chiều p (x) = N µ, ; µ = [µ1 , µ2 ] = [0, 0] ; 19 = ρ12 ρ21 = (t) (t−1) (t) (t) x1 ∼ N µ1 + ρ21 x2 0, 0, 1 − ρ221 − µ2 , x2 ∼ N µ2 + ρ12 x1 − µ1 , − ρ212 Hình 3.3: Thuật toán MH với cập nhật thành phần phân phối chuẩn hai chiều 3.3 Các dạng khác thuật toán Metropolis - Hastings 3.3.1 Thuật toán chạm chạy Định nghĩa 3.3. Thuật toán nhấn chạy 1, Sinh d ∼ g (d) (d ∈ O) λ ∼ l (λ |d, x) Xx,d tính toán xác suất chấp nhận MH α (x, y) x = x(t) 20 2, Sinh U từ U nif (0, 1) đặt: X (t+1) = 3.3.2 x + λd, nếuU ≤ α (x, y) x, ngược lại Thuật toán Langevin Định nghĩa 3.4. Thuật toán Langevin 1. Chỉ phương trình mới: x∗ = x(t) + σ2 ∇ log f x(t) + σεt σ tham số người dùng quy định. 2. Tính toán tỷ số MH: f (x∗ ) exp − x(t) − x∗ − σ2 ∇ log f f x(t) exp − x∗ − x(t) − σ2 ∇ log f (x∗ ) /2σ r= x(t) /2σ Đặt x(t+1) = x∗ với xác suất (1, r) x(t+1) = x(t) với xác suất lại. 3.3.3 Thuật toán đa phép thử MH Định nghĩa 3.5. Phép biến đổi MTM 1. Sinh y1 , ., yk độc lập phân phối từ q (y |x) ωi = ω (yi , x) với i = 1, 2, , k 2. Chọn y = yj từ {y1 , y2 , ., yk } theo xác suất tỷ lệ với ωi , i = 1, 2, ., k . Sinh x∗1 , ., x∗k−1 từ q (. |y ). Đặt x∗k = x tính toán ωi∗ = ω (x∗i , y) với i = 1, 2, ., k 3. Chấp nhận y với xác suất: am = 1, ω1 + . + ωk ω1∗ + . + ωk∗ bác bỏ (hoặc đặt X (t+1) = x) với xác suất − am . 21 (3.1) 3.4 Thuật toán bước nhảy ngược MCMC cho toán lựa chọn mô hình Bayes 3.4.1 Thuật toán bước nhảy ngược MCMC Định nghĩa 3.6. Thuật toán bước nhảy ngược MCMC 1. Chọn mẫu Mk∗ với xác suất q k (t) , k ∗ 2. Đưa u1 , ., us ∼ ψk(t) →k∗ (u) (t) 3. Đặt (θk∗ , u∗ ) = T θk , u 4. Tính tỷ số MH: k ∗ , k (t) ψk(t) →k∗ (u∗ ) f (k ∗ , θk∗ |Y ) q r= f (t) k (t) , θk |Y ∂ (θk∗∗ ,u∗ ) (t) ∂ (θk ,u) q k (t) , k ∗ ψk(t) →k∗ (u) ∂ (θk∗∗ , u∗ ) ∂ (t) θk , u (3.2) Jacobi phép biến đổi (3.10) 5. Đặt X (t+1) = (k ∗ , θk∗∗ ) với xác suất (1, r) X (t+1) = Xt với xác suất lại 3.4.2 Xác định điểm thay đổi Xét ứng dụng sau RJMCMC cho toán xác định điểm thay đổi. Đặt Z = (z1 , ., zn ) dãy quan sát độc lập. Đặt ϑ = (ϑ1 , ., ϑn−1 ) số điểm thay đổi, vector nhị phân với ϑc1 = . = ϑck = ngược lại. Nghĩa là, = c0 < c1 < . < ck < ck+1 = n zi ∼ pr (.) , cr−1 < i ≤ cr với r = 1, 2, ., k + Mục đích ta xác định vị trí điểm thay đổi c1 , ., ck . Ta xét trường hợp pr (.) phân phối Gauss với tham số µr , σr2 chưa biết. Đặt ϑ(k,l) mẫu thứ l sinh bước lặp t, k số điểm thay đổi mẫu. Các mẫu tạo theo bước sau đây: 22 a, Đặt j = k − j = k j = k + theo xác suất qk,j qk,k = với kmin ≤ k ≤ kmax qkmin ,kmin +1 = qkmax ,kmax −1 = 32 vqk,k+1 = qk,k−1 = 3 kmin < k < kmax b, Nếu j = k , cập nhật ϑt (k,l) dịch chuyển đồng thời Nếu j = k + 1, cập nhật ϑt (k,l) dịch chuyển ’sinh’ j = k-1, cập nhật ϑt (k,l) dịch chuyển ’tử’ 23 Chương Phương pháp biến phụ trợ MCMC Trong chương ta xét tồn công thức phụ trợ MCMC. 4.1 Mô nhiệt luyện Định nghĩa 4.1. Thuật toán mô nhiệt luỵện 1. Khởi tạo mô nhiệt độ T1 mẫu x0 2. Tại nhiệt độ Ti , mô phân phối f (x, Ti ) với Ni bước lặp sử dụng mẫu MCMC. Thông qua mẫu cuối tới mức nhiệt độ thấp mẫu khởi tạo. 4.2 Mô điều hoà nhiệt Định nghĩa 4.2. Mô điều hoà nhiệt 1. Sinh số ngẫu nhiên U ∼ U nif orm [0, 1] xác định giá trị j theo ma trận truyền đề nghị (qij ) 2. Nếu j = it đặt it+1 = it sinh từ hạch MH Kit (x, y) với thừa nhận f (x, Tit ) phân phối dừng. 3. Nếu j = it , đặt xt+1 = xt chấp nhận đề nghị với xác suất : 1, Zj Zit exp −H (x) 1 − Tj Tit qj,it qit ,j Zi ước lượng Zi . Nếu chấp nhận đặt it+1 = j . Ngược lại, đặt it+1 = it . 24 Mô điều hoà nhiệt có ứng dụng thành công nhiều hệ thống phức tạp, xếp protein thiết kế mặt sàn. 4.3 Thuật toán Moller Định nghĩa 4.3. Thuật toán Moller 1. Sinh θ từ phân phối đề nghị q (θ |θt ) 2. Sinh mẫu xác y từ phân phối f (y |θ ) 3. Chấp nhận (θ , y ) với xác suất (1, r) đó: f (x |θ ) f (θ ) f y θ q (θt |θ ) f (y |θt ) r= f (x |θt ) f (θt ) f y θ q (θ |θt ) f (y |θ ) Nếu điều kiện thỏa mãn đặt (θt+1 , yt+1 ) = (θ , y ), ngược lại ta đặt (θt+1 , yt+1 ) = (θt , yt ) 4.4 Thuật toán trao đổi Định nghĩa 4.4. Thuật toán trao đổi: 1. Đề nghị θ ∼ q (θ |θ, x) 2. Sinh biến phụ trợ y ∼ f (y |θ ) với xác suất {1, r (θ, θ , y |x)} đó: r (θ, θ , y |x) = π (θ ) f (x |θ ) f (y |θ ) q (θ |θ ) π (θ) f (x |θ ) f (y |θ ) q (θ |θ ) 25 (4.1) [...]... (x) có giá trị thực và Ef h2 (X) < ∞ Khi đó tồn tại một số √ thực σh sao cho phân phối của n hn − Ef (h (X)) hội tụ yếu tới phân 2 phối chuẩn với kỳ vọng 0 và phương sai σh với mọi phân phối ban đầu 11 Chương 2 MẪU GIBBS Chương này đề cập đến thuật toán đơn giản nhất của phương pháp MCMC: thuật toán lấy mẫu Gibbs và một số ứng dụng của nó 2.1 Mẫu Gibbs Giả sử rằng ta muốn sinh các số ngẫu nhiên từ hàm... Thuật toán DA: mẫu Gibbs hai bước Lấy θ(0) ∈ Θ và lặp lại với t = 1, 2, (t) Bước I Chỉ ra Xmis ∼ fmis Xmis θ(t−1) , Xobs (t) Bước P Chỉ ra θ(t) ∼ p θ Xobs , Xmis 14 Chương 3 THUẬT TOÁN METROPOLIS-HASTINGS Chương này trình bày thuật toán Metropolis - Hastings, các biến thể của thuật toán MH và một số ứng dụng của nó , thuật toán bước nhảy ngược và một số ứng dụng của thuật toán này trong việc xác định... chuyển ’sinh’ và nếu j = k-1, cập nhật ϑt (k,l) bằng dịch chuyển ’tử’ 23 Chương 4 Phương pháp biến phụ trợ MCMC Trong chương này ta xét sự tồn tại các công thức phụ trợ MCMC 4.1 Mô phỏng nhiệt luyện Định nghĩa 4.1 Thuật toán mô phỏng nhiệt luỵện 1 Khởi tạo mô phỏng tại nhiệt độ T1 và một mẫu bất kỳ x0 2 Tại mỗi nhiệt độ Ti , mô phỏng của phân phối f (x, Ti ) với Ni bước lặp sử dụng một mẫu MCMC Thông... - Hastings 3.3.1 Thuật toán chạm và chạy Định nghĩa 3.3 Thuật toán nhấn và chạy 1, Sinh ra d ∼ g (d) (d ∈ O) và λ ∼ l (λ |d, x) trên Xx,d và tính toán một xác suất chấp nhận MH α (x, y) trong đó x = x(t) 20 2, Sinh ra U từ U nif (0, 1) và đặt: X (t+1) = 3.3.2 x + λd, nếuU ≤ α (x, y) x, nếu ngược lại Thuật toán Langevin Định nghĩa 3.4 Thuật toán Langevin 1 Chỉ ra một phương trình mới: x∗ = x(t) + σ2... cân bằng f (x) và giả sử h (x) có giá trị thực và bị chặn Khi đó tồn tại một số thực √ σh sao cho phân phối của n hn − Ef (h (X)) hội tụ yếu tới phân phối 2 chuẩn với kỳ vọng bằng 0 và phương sai σh với mọi phân phối ban đầu Giả thiết về tính bị chặn của h(x) có thể được bỏ nếu xích là ergodic đều và Ef h2 (X) < ∞ Định lý 1.4 Giả sử rằng Xn là ergodic đều với phân phối cân bằng f (x) và giả sử h (x)... Metropolis (hay mẫu Metropolis) có thể tóm tắt như sau: Định nghĩa 3.1 Mẫu Metropolis 1, Sinh ra y từ q (y|xt ) 2, Tính toán tỷ số chấp nhận α (xt , y) = min 1, f (y) f (xt ) Đặt xt+1 = y với xác suất α (xt , y) và xt+1 = xt với xác suất 1 − α (xt , y) 15 Hasting(1970) đã tổng quát thuật toán Metropolis bằng cách chấp nhận các phân phối đề nghị là không đối xứng và đưa ra thuật toán Metropolis - Hasting... là chỉ số của điểm thay đổi, một vector nhị phân với ϑc1 = = ϑck = 1 và 0 nếu ngược lại Nghĩa là, 0 = c0 < c1 < < ck < ck+1 = n và zi ∼ pr (.) , cr−1 < i ≤ cr với r = 1, 2, , k + 1 Mục đích của ta là xác định các vị trí của điểm thay đổi c1 , , ck Ta xét trường hợp pr (.) là phân phối Gauss với các tham số 2 µr , σr chưa biết Đặt ϑ(k,l) là mẫu thứ l sinh ra tại bước lặp t, trong đó k chỉ số điểm... chọn phổ biến nhất cho q(.) 16 3.2 Thuật toán Metropolis- Hasting cho các phân phối nhiều chiều 3.2.1 Cập nhật từng khối Ta sử dụng x = (x1 , x2 , , xN ) để mô tả một biến ngẫu nhiên N thành phần và x(t) là vị trí thứ t.Ta có thể tóm tắt bằng các bước sau: 1 Đặt t=1 2 Sinh ra một giá trị ban đầu u = (u1 , u2 , , uN ) đặt x(t) = u 3 Lặp: t = t + 1 Sinh ra x∗ từ q x x(t−1) p(x∗ )q (x(t−1) |x∗ ) Xác suất... T θk , u 4 Tính tỷ số MH: k ∗ , k (t) ψk(t) →k∗ (u∗ ) ∗ f (k ∗ , θk |Y ) q r= f trong đó (t) k (t) , θk |Y ∗ ∂ (θk∗ ,u∗ ) (t) ∂ (θk ,u) q k (t) , k ∗ ψk(t) →k∗ (u) ∗ ∂ (θk∗ , u∗ ) ∂ (t) θk , u (3.2) là Jacobi của phép biến đổi (3.10) ∗ 5 Đặt X (t+1) = (k ∗ , θk∗ ) với xác suất min (1, r) và X (t+1) = Xt với xác suất còn lại 3.4.2 Xác định điểm thay đổi Xét ứng dụng sau đây của RJMCMC cho bài toán xác... muốn sinh các số ngẫu nhiên từ hàm mật độ mục tiêu f (x), x ∈ X ⊆ Rd Ta tiến hành phân hoạch vector d-chiều x vào K khối và viết x = (x1 , , xK ) trong đó K ≤ d và dim (x1 ) + dim (xK ) = d với dim (xk ) là số chiều của xk Ta kí hiệu fk (xk |x1 , , xk−1 , xk+1 , , xK ) (k = 1, , K) (2.1) tương ứng là tập các phân phối có điều kiện Dưới các điều kiện không chặt tập các phân phối có điều kiện này sẽ xác . BÍCH NGỌC PHƯƠNG PHÁP MCMC VÀ MỘT SỐ ỨNG DỤNG TÓM TẮT LUẬN VĂN THẠC SỸ TOÁN HỌC Chuyên ngành : LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 01 06 HÀ NỘI, 2014 LỜI MỞ ĐẦU Luận văn này với. với mục đích trình bày về phương pháp MCMC và một số ứng dụng của nó .Luận văn được xây dựng dựa trên lý thuyết về suy luận Bayes,tích phân Monte Carlo và xích Markov Luận văn gồm có 4 chương: Chương. thông qua lấy mẫu theo trọng số. Phương pháp sinh biến ngẫu nhiên: Phương pháp biến đổi, phương pháp chấp nhận - bác bỏ, phương pháp tỷ số đều. Xích Markov: Các định nghĩa và kí hiệu, Sự hội tụ của