Mô phỏng xích markov bằng thuật toán metropolis hastings

1 Mục lục Mở đầu .2 Chương Các kiến thức chuẩn bị .4 1.1 Biến ngẫu nhiên số đặc trưng biến ngẫu nhiên 1.1.1 Biến ngẫu nhiên 1.1.2 Các số đặc trưng .7 1.2 Xích Markov .9 1.2.1 Lý thuyết xích Markov 1.2.2 Tính ergodic 12 1.2.3 Tính khả nghịch 14 1.3 Mô biến ngẫu nhiên .14 1.3.1 Phương pháp chung 14 1.3.2 Phương pháp Monte Carlo 16 Chương Mô xích Markov 19 2.1 Thuật toán Metroloplis-Hastings 19 2.1.1 Thuật toán 19 2.1.2 Bổ đề 20 2.1.3 Mệnh đề 21 2.2 Sự triệt tiêu hàm sinh .22 2.2.1 Định lý .22 2.2.2 Các ví dụ 24 2.2.3 Các định lý hội tụ .25 2.2.4 Các ví dụ 26 Kết luận .28 Tài liệu tham khảo 29 MỞ ĐẦU Đầu kỷ XX, nhà vật lý bác học tiếng người Nga A.A Markov đưa mô hình tốn học để mơ tả chuyển động phân tử chất lỏng bình kín Sau mơ hình phát triển mang tên là: Q trình Markov Xích Markov trường hợp riêng q trình Markov Xích Markov Monte Carlo (MCMC) phương pháp Monte Carlo dựa việc lấy mẫu từ trình xích Markov Mặc dù năm gần thuật toán Metropolis Hastings (M-H) sử dụng rộng rãi ngành vật lý (Metropolis, Rosenbluth, Teller Teller (1953)) thuật tốn khơng nhận nhiều ý nhà thống kê Hastings (1970) người khái quát phương pháp Metropolis, thuật tốn gọi thuật toán MetropolisHastings (M-H) MCMC nhận nhiều quan tâm lý thuyết số lượng lớn ứng dụng Để tập dượt nghiên cứu khoa học nâng cao hiểu biết mình, hồn thành luận văn tốt nghiệp cao học, quan tâm tới thuật tốn Metropolis-Hastings Do chúng tơi mạnh dạn nghiên cứu đề tài "Mơ xích Markov thuật tốn Metropolis-Hastings" Tài liệu chúng tơi tham khảo luận văn báo "Geometric convergence of the Metropolis-Hasting simulation algorithm" tác giả Lars Holden "Metropolis Hastings Markov Chain Monte Carlo" tác giả Chuang Yi (xem [3] [4]) Nội dung luận văn chia làm hai chương: Chương Kiến thức sở Trong chương này, chúng tơi trình bày khái niệm lý thuyết xác suất biến ngẫu nhiên, xích Markov Ngồi ra, chúng tơi trình bày thêm số khái niệm kiến thức liên quan phương pháp mô biến ngẫu nhiên, đặc biệt phương pháp mô Monte Carlo Chương Mơ xích Markov Trong chương này, chúng tơi trình bày thuật toán Metropolis-Hastings định lý liên quan đến tính chất hội tụ thuật tốn, từ chúng tơi sử dụng thuật tốn để mơ Xích Markov, đưa số ví dụ minh hoạ Luận văn hoàn thành Trường Đại học Vinh hướng dẫn thầy giáo, TS Nguyễn Trung Hồ Nhân dịp tơi xin tỏ lịng biết ơn sâu sắc tới thầy giáo tổ Xác suất thông kê giảng dạy, bảo cho suôt thời gian học tập nghiên cứu Cũng xin gửi lời cám ơn thầy giáo, giáo khoa Tốn, khoa sau Đại học tạo điều kiện cho tơi q trình học tập nghiên cứu Tơi xin bày tỏ lịng biết ơn bạn bè gia đình tạo điều kiện thuận lợi cho tơi hồn thành luận văn Vinh, tháng 12 năm 2011 Tác giả CHƯƠNG CÁC KIẾN THỨC CHUẨN BỊ 1.1 Biến ngẫu nhiên số đặc trưng biến ngẫu nhiên 1.1.1 Biến ngẫu nhiên Giả sử (Ω, F, P ) không gian xác suất, G σ- đại số σđại số F Khi ánh xạ X : Ω → R gọi biến ngẫu nhiên G- đo ( ánh xạ G/B(R) đo tức với B ∈ B(R) ) X −1 (B) ∈ G Trong trường hợp đặc biệt, X biến ngẫu nhiên F- đo được, X gọi biến ngẫu nhiên Biến ngẫu nhiên gọi đại lượng ngẫu nhiên Biến ngẫu nhiên G- đo biến ngẫu nhiên Nếu X biến ngẫu nhiên họ: ( ) σ(X) = X −1 (B) : B ∈ B(R) lập thành σ- đại số σ- đại số F, σ- đại số gọi σ- đại số sinh X Đó σ- đại số bé mà X đo Từ suy X biến ngẫu nhiên G- đo σ(X) ⊂ G Định lý X biến ngẫu nhiên điều kiện sau thoả mãn ( ) (i) (X < a) := ω : X(ω) < a ∈ F với a ∈ R ( ) (ii) (X a) := ω : X(ω) a ∈ F với a ∈ R ( ) (iii) (X > a) := ω : X(ω) > a ∈ F với a ∈ R ( ) (iv) (X a) := ω : X(ω) a ∈ F với a ∈ R Định lý Giả sử X1 , X2 , X3 , , Xn biến ngẫu nhiên xác ( định (Ω, F, P ), f : Rn → R hàm đo tức f B(Rn )/B(R) ) đo Khi Y = f (X1 , , Xn ) : Ω → R ( ) ω → f X1 (ω), , Xn (ω) biến ngẫu nhiên Hệ Giả sử X, Y biến ngẫu nhiên xác định (Ω, F, P ) f : R → R hàm liên tục a ∈ R Khi đó: aX, X ± Y, |X|, f (X), X + = max(X, 0), X − = max(−X, 0), X Y , (Y ̸= 0) biến ngẫu nhiên Định lý Giả sử (Xn , n 1) dãy biến ngẫu nhiên xác định (Ω, F, P ) Khi đó, inf Xn , sup Xn hữu hạn inf Xn , sup Xn , n n n n limXn , limXn , lim Xn (nếu tồn tại,) biến ngẫu nhiên n→∞ Định lý Nếu X biến ngẫu nhiên khơng âm tồn dãy biến ngẫu nhiên đơn giản, không âm (Xn , n 1) cho Xn ↑ X (khi n → ∞) Giả sử (Ω, F, P ) không gian xác suất, X : Ω → R biến ngẫu nhiên Khi hàm tập Px : B(R) → R ( ) B → Px (B) = P X −1 (B) gọi phân phối xác suất X Ta có tính chất sau phân phối xác suất PX độ đo xác suất B(R) Thật ( ) (i) PX (B) = P X −1 (B) 0, ∀B ∈ B(R) ( −1 ) (ii) PX (R) = P X (R) = P (Ω) = (iii) Giả sử (Bn )⊂ B(R), Bi Bj = ϕ (i ̸= j) Lúc đó: X −1 (Bi )X −1 (Bj ) = X −1 (Bi Bj ) = ϕ(i ̸= j) Suy ra: ( PX ∞ ∪ ( ) Bn X −1 =P n=1 = ∞ ∑ ( ∞ ∪ ( )) Bn n=1 ( P X −1 (Bn )= n=1 =P ∞ ∑ ∞ ∪ ) X −1 (Bn ) n=1 PX (Bn ) n=1 Nếu Q độ đo xác suất B(R) Q phân phối xác suất biến ngẫu nhiên X Giả sử (Ω, F, P ) khơng gian xác suất, X : Ω → R biến ngẫu ( ) nhiên Khi đó, hàm số FX (x) = P (X < x) = P ω : X(ω) < x gọi hàm phân phối X [ ] [ ] Nhận xét: FX (x) = P X −1 (−∞, x) = PX (−∞, x) Ta có tính chất sau cho hàm phân phối • F (x) • Nếu a < b F (b) − F (a) = P (a X < b); F (x) hàm khơng giảm • lim F (x) = 1; lim F (x) = x→+∞ x→−∞ Một biến ngẫu nhiên gọi biến ngẫu nhiên rời rạc nhận số hữu hạn đếm giá trị Biến ngẫu nhiên X gọi biến ngẫu nhiên liên tục hàm phân phối F (x) hàm liên tục tồn hàm số p(x) cho • p(x) • F (x) = 0; −∞ < x < +∞ +∞ ∫ p(t)dt; −∞ < x < +∞ x Hàm số p(x) nêu gọi hàm mật độ xác suất X Hàm mật độ xác suất X có tính chất • Với a, b thoả mãn −∞ a b P (x) = x b b−a a 1.1.2 Các số đặc trưng ( ) Giả sử X : (Ω, F, P ) → R, B(R) biến ngẫu nhiên Khi tích phân Lebergue X theo độ đo P (nếu tồn tại) gọi kỳ vọng X ký hiệu EX ∫ Vậy EX = XdP Ω Nếu tồn E|X|p < ∞ (p > 0) ta nói X khả tích bậc p Đặc biệt, E|X| < ∞, X gọi biến ngẫu nhiên khả tích Ta có tính chất kỳ vọng Nếu X EX Nếu X = C EX = C Nếu tồn EX với C ∈ R, ta có E(CX) = CEX Nếu tồn EX EY E(X ± Y ) = EX ± EY Nếu X rời rạc nhận giá trị x1 , x2 , với P (X = xi ) = pi ∑ EX = xi p i i Nếu X liên tục với hàm mật độ p(x) EX = +∞ ∫ xp(x)dx −∞ Tổng quát hơn, f : R → R hàm đo Y = f (X) • Nếu X rời rạc nhận giá trị x1 , x2 , với P (X = xi ) = pi ∑ f (xi )pi EY = i • Nếu X liên tục với hàm mật độ p(x) ∫+∞ EY = f (x)p(x)dx −∞ Định lý P Levy hội tụ đơn điệu Nếu Xn ↑ EX (tương ứng Xn ↓ X) tồn n để EXn− < ∞ (tương ứng EXn+ < ∞) EXn ↑ EX (tương ứng EXn ↓ EX) Bổ đề Fatou Nếu Xn EY > −∞ Y với n limEXn ElimXn Nếu Xn Y với n EY < +∞ ElimXn Nếu |Xn| Y , với n ElimXn limEXn EY < ∞ limEXn limEXn ElimXn Bất đẳng thức Markov Giả sử X biến ngẫu nhiên khơng âm Khi tồn EX với ε > ta có P (X ε) EX ε Giả sử X biến ngẫu nhiên Khi đó, số DX := E(X − EX)2 (nếu tồn tại) gọi phương sai X Chú ý: Phương sai DX biến ngẫu nhiên X tồn khơng tồn Nếu tồn tính sau: Nếu X rời rạc nhận giá trị x1 , x2 , với P (X = xi ) = pi ∑ DX = (xi − EX)2 pi Nếu X liên tục với hàm mật độ p(x) ∫+∞ DX = (x − EX)2 p(x) −∞ Tính chất DX = EX − (EX)2 DX DX = X = EX = số h.c.c 4.D(CX) = C DX 1.2 Xích Markov 1.2.1 Lý thuyết xích Markov Ta nói X(t) có tính chất Markov { } P X(tn+1 ) = j|X(t0 ) = i0 , , X(tn−1 ) = in−1 , X(tn ) = i { } = P X(tn+1 ) = j|X(tn ) = i với t0 < t1 < < tn < tn+1 < i0 , , in−1 , i, j ∈ E Với tn tại, tn+1 tương lai, (t0 , t1 , , tn−1 ) khứ ( ) Đặt p(s, i, t, j) = P X(t) = j|X(s) = i , (s < t) p xác suất có điều kiện để trạng thái i xích thời điểm s, chuyển sang trạng thái j thời điểm t Vì thế, ta gọi p(s, i, t, j) xác suất chuyển xích Markov 10 Nếu xác suất chuyển phụ thuộc vào (t − s) tức p(s, i, t, j) = p(s + h, i, t + h, j) ta nói q trình theo thời gian • Ma trận xác suất chuyển Giả sử (Ω, A, P ) không gian xác suất, Xn : Ω → E biến ngẫu nhiên nhận giá trị tập đếm E, E khơng gian trạng thái Khi (Xn ); n = 0, 1, 2, xích Markov rời rạc Tính Markov tính (Xn ) có nghĩa ( ) pij = P |Xn+1 = j|Xn = i ) ( = P |Xn+1 = j|X0 = i0 , , Xn−1 = in−1 , Xn = in P = (pij ) gọi ma trận xác suất chuyển sau bước pij xác suất có điều kiện để trình chuyển từ trạng thái i thời điểm n (hiện tại) sang trạng thái j thời điểm n + (tương lai) Tính Markov có nghĩa khứ tương lai độc lập với cho trước Ma trận P = (pij ) có tính chất pij 1, ∀i, j ∈ E; ∑ pij = j∈E gọi ma trận ngẫu nhiên Xác suất chuyển sau n bước định nghĩa theo công thức (n) pij = P (Xn+m = j|Xm = i) = P (Xn = j|X0 = i) Đây xác suất trình thời điểm ban đầu trạng thái i, (n) sau n bước chyển sang trạng thái j Rõ ràng Pij = Pij Ta quy ước { i = j (0) pij = i ̸= j 19 1.3.2 Phương pháp Monte Carlo Mô Monte Carlo phương pháp sử dụng số ngẫu nhiên biến ngẫu nhiên có phân phối (0, 1), để giải tốn mà trơi qua thời gian khơng đóng vai trị định Phương pháp Monte Carlo lớp thuật toán để giải nhiều toán thường cách sử dụng số ngẫu nhiên (thường số giả ngẫu nhiên), ngược lại với thuật toán tất định Một ứng dụng cổ điển phương pháp việc tính tích phân xác định, đặc biệt tích phân nhiều chiều với điều kiện biến phức tạp Thuật tốn Monte Carlo phương pháp tính số hiệu cho nhiều toán liên quan đến nhiều biến số mà không dễ dàng giải phương pháp khác Hiệu phương pháp so với phương pháp khác tăng lên số chiều toán tăng Monte Carlo ứng dụng cho nhiều lớp toán tối ưu hoá Nhiều khi, phương pháp Monte Carlo thực hiệu với số giả ngẫu nhiên, thay cho số ngẫu nhiên thực thụ, vốn khó tạo máy tính Các số giả ngẫu nhiên có tính tất định, tạo từ chuỗi giả ngẫu nhiên có quy luật, sử dụng để chạy thử, chạy mơ theo điều kiện trước Các số giả ngẫu nhiên mô cần tỏ "đủ mức ngẫu nhiên", nghĩa chúng theo phân bố hay theo phân bố định trước Phương pháp Monte Carlo thường thực lặp lại số lượng lớn bước đơn giản, song song với nhau, phương pháp phù hợp cho máy tính Kết phương pháp xác (tiệm cận kết đúng) số lượng lặp bước tăng Ví dụ Mơ phân phối [0, 1) Sử dụng hàm sinh số ngẫu nhiên (Random number generator) cài đặt máy tính Dù dùng bảng số ngẫu nhiên hay sử dụng hàm sinh số ngẫu nhiên máy tính, ta lấy tính 20 liên tiếp số ngẫu nhiên xi [0, 1) với i = 1, 2, , n Tần số giả trị rơi vào k khoảng nhỏ với độ dài k chia từ [0, 1) gần (≈ nk ) Với n lớn tần số sát gần nk Vì ta coi giả trị phát sinh thể biến ngẫu nhiên X tuân theo phân phối [0, 1) Trong trường hợp cần mô biến Y phân phối [a, b) ta có: yi = a + (b − a)xi Chú ý để phát sinh số ngẫu nhiên nhận giá trị nguyên 0, 1, 2, , N , cần áp dụng công thức: ] [ V ar Y (n) = n−1 var(Y )yi = [(N + 1)xi ] vế phải phần nguyên (N + 1)xi Một số bảng số ngẫu nhiên nguyên hay hàm sinh số ngẫu nhiên nguyên cài đặt sẵn hệ máy tính Ví dụ Giả sử ta muốn đánh giá tích phân I = ∫b g(x)dx, g(x) a hàm thực khả tích Sử dụng mơ Monte Carlo giải gần toán Giả sử X biến ngẫu nhiên có phân phối [a, b] xét Y = (b − a)g(X) Khi kỳ vọng biến Y có dạng sau E(Y ) = E(b − a)g(X) = (b − a)Eg(X) ∫b = (b − a) g(x)fX dx a ∫b = g(x)dx = I a fX = (b − a)−1 hàm mật độ xác suất biến ngẫu nhiên có 21 phân phối [0, 1] Như tốn đánh giá tích phân đưa đánh giá kì vọng E(Y ) Chúng ta đánh giá I = E(Y ) trung bình mẫu n ∑ Y (n) = Yi i=1 n X1 , X2 , , Xn biến ngẫu nhiên độc lập phân phối (0, 1) Chúng ta chứng minh [ EY (n) ] = I cho Y (n) ước lượng không chệch I V ar Y (n) = n−1 var(Y ) Giả sử V ar(Y ) hữu hạn, suy Y (n) dần tới I n đủ lớn với xác suất đơn vị 22 CHƯƠNG MƠ PHỎNG XÍCH MARKOV 2.1 Thuật tốn Metropolis-Hastings Thuật tốn mơ Metropolis-Hastings sử dụng để lấy mẫu đáp ứng phân phối f (x) Hiện có nhiều quan tâm MCMC lý thuyết số lượng lớn ứng dụng Thuật tốn xây dựng xích Markov thoả mãn điều kiện sau số bước đủ lớn hội tụ tới hàm phân bố xác suất f (x) Mục tiêu xây dựng dãy mẫu ngẫu nhiên cho hàm phân phối hội tụ đến hàm phân bố cho Giả sử Ω ⊂ Rn không gian trạng thái Borel đo (đo theo độ đo Borel) f (x) với mật độ xác suất dương Ω Các mật độ p0 (x) q(x|y), (x, y ∈ Ω) dương Ω tập hợp Ω Tất mật độ giả thiết liên tục tuyệt đối Thuật toán Metropolis-Hastings sau sử dụng để tạo mẫu từ mật độ xác suất f (x) 2.1.1 Thuật toán Bước 1: Tạo trạng thái ban đầu x0 ∈ Ω từ mật độ xác suất ban đầu p0 (x) Bước 2: Với: 1, , n: Sinh trạng thái {y từ mật độ }q(y|xi ) f (y)q(xi |y) Tính xác suất α(y, xi ) = 1, f (x)q(y|xi ) 23 Bước 3: Đặt: { xi+1 = y xác suất = α(y, xi ) xi xác suất = − α(y, xi ) Giả thiết q(y|x) > nghĩa q(x|y) > với x, y từ trạng thái đề xuất q(x|y) = q(y|x) > khơng chấp nhận Ta cần định nghĩa sau { } h(x, y) = f (x)q(y|x), f (y)q(x|y) { } h(x, y) f (x) = q(x|y), q(y|x) Q(x, y) = f (y) f (y) { } j (x) j (x) P P j Rj (x) = − RM = sup −1 f (x) f (x) x∈Ω với pj (x) hàm mật độ sau j bước lặp lại Ω(y) có chiều thấp Ω Tích phân Ω(y) tập Ω(y) liên quan với tích phân Lebesgue khơng gian Sự thách thức Metropolis-Hastings tìm hàm sinh tốt Công thức rõ ràng tốc độ hội tụ đưa luận văn sử dụng để so sánh hàm sinh khác Bổ đề sau đay có ích cho định lý công thức xác định mật độ xác suất với pi+1 (x) hàm pi (x) công thức thu gọn 2.1.2 Bổ đề Mật độ xác suất thuật tốn mơ metrolopolis-hasting thoả ∫ ( mãn pi+1 (y) = pi (y) + pi (x) pi (y) − f (x) f (y) ) h(x, y)dx Ω(y) Và   Ri+1 (y) = Ri (y) 1 − ∫ Ω(y)   Q(x, y)dx + ∫ Ω(y) Ri (x)Q(x, y)dx 24 ∫ Khi Q(x, y)dx) Ω(y) Chứng minh Định nghĩa thuật toán metrolopolis-hasting cho thấy ∫ pi+1 (y) = ∫ pi (x)q(y|x)α(y, x)dx) + Ω(y) ( ) pi (y)q(z|y) − α(z, y)dz Ω(y) ∫ ( = pi (y) + ) pi (x)q(y|x)α(y, x) − pi (y)q(x|y)α(x, y) dx Ω(y) ∫ ( i = p (y) + pi (x) pi (y) − f (x) f (y) ) h(x, y)dx Ω(y) Ta có h(x, y) đối xứng { } h(x, y) = f (x)q(y|x), f (y)q(x|y) ( } = f (y)q(x|y), f (x)q(y|x) = h(y, x) Trong phần chứng minh sử dụng hệ thức α(x, y) = h(x,y) f (y)q(x|y) h(x, y) đối xứng Theo định nghĩa R i+1 pi+1 (y) −1 (y) = f (y) ) ∫ ( i p (x) pi (y) h(x, y) pi (y) −1+ − dx = f (y) f (x) f (y) f (y) Ω(y) ∫ ( = Ri (y) + ) Ri (y) − Ri (y) Q(x, y)dx Ω(y)   = Ri (y) 1 − ∫ Ω(y)   Q(x, y)dx + ∫ ω(y) Ri (x)Q(x, y)dx 25 Nếu hàm sinh dương, chuyển hai trạng thái bước Điều làm cho hội tụ nhanh Mengersen Tweedie (1994) chứng minh phát biểu tương tự với giả thiết mạnh q(x|y) = q(x) 2.1.3 Mệnh đề: Giả thiết q(x|y) af (x) thoả mãn với trường hợp số a ∈ [0, 1] Khi sai số tương đối thuật tốn mơ metrolopolisi+1 hasting thoả mãn RM i (1 − a)RM Chứng minh Giả thiết mệnh đề có nghĩa Q(x, y) áp dụng bổ đề ta có ∫ i RM − Ri+1 (y) ∫ i RM Q(x, y)dx + Ω ∫ i RM −a = ( Ri (x)Q(x, y)dx Ω ) i RM − Ri (x) f (x)dx Ω i RM (1 − a) Việc tính tốn với Ri+1 (y) af (x) ∼ Ri (x) = −Ri (x) Khi i (1 − a) Vì hai f (x) q(x|y) mật độ, a ∈ RM [0, 1] 2.2 Sự triệt tiêu hàm sinh Khi hàm sinh triệt tiêu vài bước chuyển { j} x j=0,s , x0 = x xs = x, cần theo thứ tự để chuyển trạng thái ( ) x, y ∈ Ω Cho Dj xi+1 miền chứa xj , qua bước chuyển từ x { } đến y cách sử dụng định nghĩa: S = Syx x,y∈Ω tập hợp { ( )}s−1 ( ) chuỗi Syx = Dj X j+1 j=0 , xs = y, xj ∈ Dj xj+1 với ( ) ( ) { } ( ) { } xj+1 ∈ Dj+1 xj+2 , Do x1 = x0 Dj xj+1 ⊆ Ω xj+1 với j = 0, , s − 26 Giả sử Sj tập hợp gồm phần tử thứ j tất chuỗi Syx 2.2.1 Định lý Giả sử không gian trạng thái Ω tập Rn , giả thiết ∫ ∫ inf f (x)dx > sup f (x)dx z∈Ω Ω(z) z∈Ω Ω(z) )}s−1 { ( hữu hạn Giả sử tập dãy Syx = Dj X j+1 j=0 , với x, y ∈ Ω thoả mãn ( ) q xj |xj+1 ( ) aj f (xj ) q xj+1j ( ) aj f xj+1 (1) ( ) với xj ∈ Dj xj+1 , j = 0, t, s − và: ∫ ( ) bj = inf f xj dxj > với j = 1, , s − Dj (xj+1 )∈Sj Dj (xj+1 ) Nếu s = 1, tập c = a0 , s > 1, tập c = a0 i+s RM ∏s−1 ( j=1 ) aj bj Khi đó, i với c ∈ [0; 1] Nếu chẳng hạn tập S x không tồn (1 − c)RM y j ε > cho RM ε với j Chứng minh Trước tiên cận Q(., ) cần thiết ( ) ( ) ( ) Bất đẳng thức (1) nghĩa Q xj , xj+1 aj f xj với xj ∈ Dj xj+1 Sau đó, tích phân bị chặn ( ) ∫ (2) Q xj , xj+1 dxj Dj (xj+1 ) ∫ aj Dj 1, , s − ( ) f xj dxj aj bj , với j = (xj+1 ) ∏ Điều chứng tỏ c = s−1 j=1 (aj bj ) ∈ (0, 1], có nghĩa ( ) Rj+1 xj+1 RM Bổ đề cho ta thấy ∫ ( j+1 ) ( ( )) ( ) j+1 R x RM − RM − Rj xj Q xj , xj+1 dxj Ω(xj+1 ) 27 ( ) Chú ý tích phân Ω xj+1 , có chiều thấp Ω Do ∫ ∫ ( ( )) ( ) ( ) Rj+s (y) RM − RM − R0 x0 Q x0 , x1 dx0 Q x1 , x2 dx1 Ω(xs ) ∫ Ω(x1 ) ( ) × × Q xs−1 , xs dxs−1 ( ) ( ) Q x0 , x1 Q x1 , x2 dx1 × ∫ RM − Ω DS−1 (xs ) ∫ ( ) ( ( )) × Q xs−1 , xs dxs−1 RM − R0 x0 dx0 ( ) ( ) Q x0 , x1 Q x1 , x2 dx1 × ∫ RM − a Ω DS−1 (xs ) ∫ RM − c ( RM ( ) ( ( )) ( ) × Q xs−1 , xs dxs−1 RM − R0 x0 f x0 dx0 ( )) ( ) − R0 x0 f x0 dx0 = RM (1 − c) Ω Trong tính tốn sử dụng cận Q(., ), thứ tự tích phân thay đổi sử dụng S mở rộng Ω Trước thứ { }j=s tự thay đổi lấy tích phân tất chuỗi xj j=0 ( ) cố định xs = y Do (2), sau lấy tích phân tập Dj xj+1 ( ) với hai xs = y x0 cố định Để ý rằng, miền tích phân Dj xj+1 phụ ∼ i+s Tương tự R (x) = −Ri+s (y) bị chặn, phần đầu định lý chứng minh ( ) Chọn a ∈ (0, 1) s > Xác định Sya,s cho Dj xj+1 ( ) ( ) ( a,s ) lớn tốt thoả mãn q xj |xj+1 af xj , Aa,x ⊂Ω y = span Sy { ( a,s )} n Ay = supa,s span Sy Nếu Aa,s y khơng có độ đo dương R , thuộc vào hai xs = y x0 y thay trạng thái khác Ω Đầu tiên, Ay ̸= Ω Khi đó, không chuyển Ay Ω \ Ay , i nghĩa RM ε > Nếu Ay = Ω Với δ > cho trước, tồn a a,s s cho xác suất xích với x0 ∈ Ω \ Aa,s y rơi vào Ay bé 28 δ Giả sử: { (1 + ε)f (x) với x ∈ Ω \ Aa,s y p (x) = (1 − βε)f (x) với x ∈ / Ω \ Aa,s y ∫ β xác định cho thoả mãn p (x)dx = Thế Ω pj (x) (1 + ε)(1 − δ)f (x) với x ∈ Ω \ Aa,s y j i s, nghĩa RM ε> 2.2.2 Các ví dụ Ví dụ Cho Ω = R, cho f phân phối chuẩn với kỳ vọng µ, q(x|y) = với |x − y| > c cho số c Nếu { (1 + ε)f (x) với x µ p0 (x) = (1 − ε)f (x) với x > µ i = ε với i Thuật toán hội tụ L , L Thì RM ∞ chuẩn T.V ∫ f (x)dx > vi phạm với |y| đủ Trong ví dụ này, giả thuyết inf y Ω(y) lớn Ví dụ Cho Ω = (0, 1), f (x) = 1, q(x|y) = 2x, { (1 + ε)f (x) với x p (x) = (1 − ε)f (x) với x > 2 i = ε với i Thuật toán hội tụ L , chuẩn T.V RM khơng phải L∞ Trong ví dụ (1) vi phạm Ví dụ { Cho x = (x1 , x2 ) ∈ R2 , Ω = (x1 , x2 ) ∈ R2 ; x1 < x2 f (x) = với ∀x ∈ Ω Hơn giả sử   12 x(21 )x1 = y1 q ((x1 , x2 ) | (y1 , y2 )) = x22 − x2 = y + 2  khác } x−1 29 { (1 + ε)f (x) x1 > (1 − β)f (x) x1 ∫ i = ε với ∀j β chọn cho p0 (x)dx = Do RM Ω ∫ Trong ví dụ khơng phải sup f (x)dx hữu hạn p0 (x) = Ω(y) 2.2.3 Các định lý hội tụ Định lý Đối với chuỗi Markov bất khả qui khơng tuần hồn tồn phân phối dừng Đặt µ = (µ1 , µ2 , , µk )T v = (v1 , v2 , , vk )T hai phân bố xác suất không gian trạng thái S = (s1 , , sk ) Tổng khoảng cách biến thiên µ v xác định 1∑ dT V (µ, v) = |µi − vi | k i=1 Một chuỗi phân bố xác suất π (i) hội tụ tổng biến phân đến phân phối π lim dT V i→∞ ( ) (i) π ,π = Ta viết tắt là: TV π (i) → π Định lý (Lý thuyết hội tụ chuỗi Markov) Cho chuỗi Markov bất khả qui khơng tuần hồn {X0 , X1 , X2 , } Chúng ta ký hiệu phân phối chuỗi sau bước chuyển thứ n µ(n) có phân phối ban đầu µ(0) , phân phối dừng π TV µ(n) → π 30 2.2.4 Các ví dụ Ví dụ Cho S = 1, S có hai trạng thái: Với bảng phân [ ] phối π = π0 = 89 , π1 = 19 , dễ dàng ta thấy hạt nhân chuyển tiếp P khả nghịch P00 = 10 , P01 = 10 , P10 dạng ma trận [ P = 10 , P11 = P00 = P10 = 10 10 = 10 P01 = P11 = Chúng ta viết P 10 10 ] Kiểm tra tính khả nghịch 8 × = 10 90 8 = × = 10 90 π0 P01 = π1 P10 Điều cho thấy π0 P01 = π1 P10 Sau kiểm tra ổn định phương trình (1) [ πP = , 9 ][ 10 10 10 10 ] [ ] = , =π 9 Ví dụ Lấy mẫu N (0, 1) sử dụng thuật toán Metropolis-Hastings Xác định Q sau: Mỗi vòng lặp i, đầu vào Y ∼ U (xi − a, Xi + a), với a số Do tính đối xứng phân phối ) ( ] π(Y )q (Xi |Y ) 1[ X −Y2 T R := = exp π (Xi ) q (Y |X) i Theo định nghĩa tỉ lệ chấp nhận, nhỏ T R Chúng ta có điều sau Nếu T R 1, đặt Xi+1 = Y Nếu T R < 1, đặt Xi+1 = Y với xác suất T R Đặt Xi+1 = Xi với xác suất − T R Thuật tốn nhìn đơn giản ta lấy log(T R), ] 1[ TR ⇔ Xi − Y 2 31 ] 1[ Xi − Y < có: TR < ⇔ Chú ý T R ] 1[ Xi − Y 2 log(u) với u ∼ U (0, 1), ví dụ trở nên dễ dàng với: ] 1[ Xi − Y 2 log(u) 32 kết luận Luận văn trình bày nội dung sau Trình bày số khái niệm sở Lý thuyết xác suất, xích Markov, mơ biến ngẫu nhiên Trình bày thuật tốn mô Metropolis-Hastings sử dụng để lấy mẫu đáp ứng phân phối f (x) Từ mơ xích Markov thuật toán Metropolis-Hastings đưa số ví dụ minh hoạ mơ xích Markov thuật tốn Trình bày chứng minh biểu thức cho mật độ xác suất, hội tụ hàm sinh dương Phát biểu chứng minh định lý liên quan đến tính chất hội tụ thuật tốn, đưa số ví dụ minh hoạ cho định lý Hướng phát triển tiếp đề tài Tìm hiểu giải pháp khả thi cho thuật tốn Metropolis-Hastings xích Markov với phân phối cho trước Cài đặt thử nghiệm để tạo xích Markov mơ q trình thực tế Tìm hiểu ứng dụng liên quan đến thuật tốn mô 33 TÀI LIỆU THAM KHẢO [1] Trần Lộc Hùng, 1997 Cơ sở mô biến ngẫu nhiên, NXB Giáo dục [2] Nguyễn Văn Quảng, 2008 Xác suất nâng cao, NXB Đại học Quốc Gia Hà Nội [3] Nguyễn Duy Tiến, 2000, Các mơ hình xác suất ứng dụng, (Phần Xích Markov ứng dụng, NXB Đại học Quốc Gia Hà Nội [4] Chuang Yi, Metropolis Hastings Markov Chain Monte Carlo [5] Lars Holden, Geometric convergence of the Metropolis-Hasting simulation algorithm [6] Yves F Atchadé and Francois Perron, 2005, On the Geometric Ergodicity of Metropolis-Hastings Algorithm ... trình xích Markov Mặc dù năm gần thuật toán Metropolis Hastings (M-H) sử dụng rộng rãi ngành vật lý (Metropolis, Rosenbluth, Teller Teller (1953)) thuật toán không nhận nhiều ý nhà thống kê Hastings. .. quan tâm tới thuật tốn Metropolis- Hastings Do mạnh dạn nghiên cứu đề tài "Mô xích Markov thuật tốn Metropolis- Hastings" Tài liệu tham khảo luận văn báo "Geometric convergence of the Metropolis- Hasting... MƠ PHỎNG XÍCH MARKOV 2.1 Thuật tốn Metropolis- Hastings Thuật tốn mơ Metropolis- Hastings sử dụng để lấy mẫu đáp ứng phân phối f (x) Hiện có nhiều quan tâm MCMC lý thuyết số lượng lớn ứng dụng Thuật