Xích markov và thuật toán metropolis

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Nguyễn Thị Thanh Hà XÍCH MARKOV VÀ THUẬT TOÁN METROPOLIS KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Hà Nội – Năm 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Nguyễn Thị Thanh Hà XÍCH MARKOV VÀ THUẬT TOÁN METROPOLIS Chuyên ngành: Toán Ứng dụng KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRẦN VĨNH ĐỨC Hà Nội – Năm 2017 Mục lục Lời cảm ơn Lời cam đoan Lời mở đầu Kiến thức chuẩn bị 1.1 1.2 Biến ngẫu nhiên phân phối xác suất 1.1.1 Biến ngẫu nhiên 1.1.2 Hàm phân bố xác suất 1.1.3 Phân loại biến ngẫu nhiên Mô biến ngẫu nhiên 10 1.2.1 Các phương pháp chung 10 1.2.2 Phương pháp Monte Carlo 14 Xích Markov 17 2.1 Định nghĩa 17 2.2 Ma trận chuyển trạng thái 20 2.3 Phân bố dừng 24 2.4 Phân bố giới hạn 31 2.5 Một số tính chất quan trọng định nghĩa liên quan 32 i Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà 2.5.1 Tính Ergodic 32 2.5.2 Tính khả nghịch 35 Thuật toán Metropolis 37 3.1 Giới thiệu xích Markov Monte Carlo 37 3.2 Thuật toán Metropolis - Hasting 38 3.2.1 Giới thiệu 38 3.2.2 Thuật toán 39 3.2.3 Ví dụ 40 Kết luận 46 Tài liệu tham khảo 47 ii Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Lời cảm ơn Em hoàn thành khóa luận tốt nghiệp hướng dẫn bảo tận tình Ts Trần Vĩnh Đức Thầy dành thời gian quý báu để hướng dẫn giải đáp thắc mắc em trình làm khóa luận Em muốn tỏ lòng biết ơn gửi lời cảm ơn sâu sắc tới thầy! Em xin chân thành cảm ơn thầy cô giáo Khoa Toán trường Đại học Sư phạm Hà Nội 2, đặc biệt tổ Ứng dụng, tạo điều kiện thuận lợi cho em trình học Đại học thực khóa luận Hà Nội, ngày 24/04/2017 Tác giả khóa luận Nguyễn Thị Thanh Hà Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Lời cam đoan Khóa luận tốt nghiệp "Xích Markov thuật toán Metropolis" hoàn thành cố gắng, nỗ lực tìm hiểu nghiên cứu thân với hướng dẫn tận tình TS.Trần Vĩnh Đức Tôi xin cam đoan khóa luận tốt nghiệp không trùng lặp với kết tác giả khác Hà Nội, ngày 24/04/2017 Tác giả khóa luận Nguyễn Thị Thanh Hà Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Lời mở đầu Thuật toán Metropolis John von Neumann, Stan Ulam Nick Metropolis xây dựng vào năm 1946 biết đến với tên phương pháp Monte Carlo Thuật toán thuật toán đưa cách thức hiệu để “đến gần” lời giải cho toán phức tạp, khó giải cách xác Được thúc đẩy vấn đề tính toán xác suất vật lý, Metropolis giới thiệu ý tưởng việc phát triển trình Markov để đạt việc lấy mẫu Ý tưởng sau phát triển thành thuyết Metropolis dù đơn giản hữu ích sử dụng rộng rãi nhà nghiên cứu nhiều lĩnh vực khoa học khác sinh học, hóa học, khoa học máy tính, kinh tế học, ngành kỹ thuật, khoa học vật liệu nhiều lĩnh vực khác Khóa luận gồm ba chương Chương "Kiến thức chuẩn bị" trình bày số hiểu biết biến ngẫu nhiên, hàm phân phối xác suất đồng thời trình bày mô biến ngẫu nhiên có phương pháp chung phương pháp Monte Carlo Chương "Một vài hiểu biết xích Markov" trình bày số định nghĩa xích Markov tính chất xích Chương "Thuật toán Metropolis" thảo luận số nội dung xích Markov Monte Carlo (MCMC) phương pháp Monte Carlo kết Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà hợp với xích Marko thuật toán Metropolis trường hợp đặc biệt phương pháp MCMC Bên cạnh chương trình bày số ví dụ để làm rõ ứng dụng thuật toán Metropolis Chương Kiến thức chuẩn bị Thuật toán Metropolis kết hợp phương pháp mô biến ngẫu nhiên với xích Markov, chương trình bày kiến thức biến ngẫu nhiên, hàm phân phối xác suất phương pháp mô biến ngẫu nhiên Đây kiến thức tảng để ta xây dựng thuật toán Metropolis 1.1 1.1.1 Biến ngẫu nhiên phân phối xác suất Biến ngẫu nhiên Định nghĩa 1.1 Một không gian xác suất (Ω, F, P ) không gian trang bị độ đo với độ đo toàn thể (nghĩa P (Ω)=1) Trong đó, thành phần đầu, Ω xem không gian mẫu, tập không rỗng, với phần tử thường biết "kết quả" hay "trạng thái tự nhiên" (ví dụ trạng thái sấp hay ngửa đồng tiền, ) Một trạng thái tự nhiên tồn với xác suất Một phần tử Ω thường ký hiệu ω Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Thành phần thứ hai, F, tập hợp mà phần tử gọi kiện (event) Các kiện tập Ω Tập F phải thỏa mãn vài điều kiện, đặc biệt phải σ-đại số Cùng với nhau, Ω F tạo thành không gian đo Một kiện tập hợp kết hay trạng thái tự nhiên mà ta xác định xác suất Thành phần thứ ba, P , gọi "độ đo xác suất", hay "xác suất" Nó hàm số từ F vào tập số thực, cho tương ứng kiện với xác suất có giá trị nằm Nó cần thỏa mãn điều kiện, phải độ đo P (Ω) = Các độ đo xác suất thường viết đậm có gạch, ví dụ P hay Q Định nghĩa 1.2 Một biến ngẫu nhiên ánh xạ từ Ω đến tập hợp khác, thông thường tập số thực Đặc biệt, phải hàm đo Điều có nghĩa là, ví dụ, X biến ngẫu nhiên thực, tập hợp kết cho X dương, {ω ∈ Ω : X(ω) > 0}, phải kiện Người ta thường tóm gọn cách viết {ω ∈ Ω : X(ω) > 0} thành {X > 0} viết P (X > 0) thay viếtP ({X > 0}) Nếu biến ngẫu nhiên X nhận hữu hạn giá trị gọi biến ngẫu nhiên đơn giản Biến ngẫu nhiên gọi đại lượng ngẫu nhiên Đối với biến ngẫu nhiên người ta quan tâm xem có nhật giá trị nhận khoảng với xác suất bao nhiêu? Ví dụ đại lượng ngẫu nhiên: Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Định nghĩa 2.9 Chu kỳ d(i) trạng thái i ước chung lớn (0) (0) tất số nguyên n ≥ thỏa mãn điều kiện pij > Nếu pij = đặt d(i) = Định nghĩa 2.10 Trạng thái i gọi hồi quy pii = i gọi trạng thái dương ∞ (n) pii (n) = +∞ pii xác suất chuyển xác suất chuyển từ trạng thái i quay trở lại trạng thái i bước thứ n Giả sử P = (pij ) ma trận chuyển xích Markov (X(n)) có trạng thái hữu hạn S = {1, 2, 3, , N } (i) Nếu P quy theo nghĩa tồn n0 cho: (n ) pij > (1.1) tồn số π1 , ,πN cho: N n ≥ n0 πj > 0, πj =1, (1.2) (n) với lim pij = πj , (1.3) (ii) Ngược lại tồn số π1 , , 1→∞ πN thỏa mãn điều kiện (1.2) (1.3) tồn n0 thỏa mãn (1.1), (iii) Các số π1 , , πN nghiệm hệ phương trình: N xj = xk pkj (1.4) j=1 nghiệm thỏa mãn điều kiện N xj ≥ với j ∈ S xj = 1, j=1 (1.1) thực (n) (n) (n) Chứng minh (i) Đặt mj = mini pij Mj trình Chapman - Kolmogorov ta có 33 (n) = maxi pij Từ phương Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà (n+1) pij (n) pik pkj , = k Từ suy (n+1) mj k (n) (n+1) ≤ mj Vậy mj (n) cóMj (n+1) (n) (n) pik pkj ≥ mini = mini pik mj k (n) hay (mj ) dãy đơn điệu tăng Tương tự ta (n) ≥ Mj hay (Mj ) dãy đơn điệu giảm Vì để chứng minh (1.3) ta cần chứng tỏ: (n) (n) Mj - mj n → ∞ với j = 1, 2, ,N (n ) (n) (n ) Giả sử ε = mini,j pij > Khi pik − εpjk ≥ ta có: ( (n ) (n) pij n0 + n) = k = k (n ) [pik (n) − (n) (n) εpjk ]pkj k + (n) (n) [pik − εpjk ]pkj + ε k (2n) εpjj (2n) (n) (n ) ≥ mj (n ) pik pkj = [pik − εpjk ] + εpjj (n) (n) (n) k pjk pkj (2n) = mj (1 − ε) + εpjj Từ ta có: (n0 +n) ≥ mj (1 − ε) + εpjj , (n0 +n) ≤ Mj (1 − ε) + εpjj mj (n) (2n) (n) (2n) Tương tự ta có Mj Từ hai bất đẳng thức ta được: (n0 +n) Mj (n0 +n) - mj (n) ≤ (Mj (n) - mj )(1 − ε) Từ suy ra: (kn0 +n) Mj (n) Dãy (Mj (n) (Mj (kn0 +n) - mj (n) ≤ (Mj (n) - mj )(1 − ε)k → k → ∞ (n) − mj ) đơn điệu giảm, có dãy hội tụ đến nên (n) − mj ) → n → ∞ với j = 1, 2, , N 34 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Như vậy, ta chứng minh tồn (n) πj = lim mj n→∞ (n) = lim Mj n→∞ (n) = lim pij n→∞ Cần ý rằng, theo cách chứng minh n ≥ ∞ ta có: (n) (n) |pij | ≤ Mj (n) − mj ≤ (1 − ε)[n/n0 ]−1 , (n) tức hội tụ pij tới πj diễn với tốc độ cấp số nhân (n) (n0 ) Ngoài ra, mj ≥ mj ≥ ε > n ≥ n0 , πj > (ii) Hiển nhiên từ (1.2) (1.3) ta suy (1.1) số trạng thái hữu hạn, (iii) (1.4) hệ trực tiếp (1.3) Thật vậy, số lượng trạng thái hữu hạn nên: (n+1) πj = lim pij n→∞ = k 2.5.2 (n) = lim n→∞ k (n) lim pik pkj n→∞ pik pkj πk pkj = k Tính khả nghịch Định nghĩa 2.11 Xét xích Markov (X0 , X1 , ) có không gian trạng thái S = {1, 2, 3, } ma trận chuyển P Một phân bố xác suất π không gian trạng thái S gọi khả nghịch với i, j ∈ S ta có: πi pij = πj pji , Xích Markov gọi khả nghịch tồn phân bố khả nghịch xích 35 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Định lý 2.3 Xét xích Markov (X0 , X1 , ) có không gian trạng thái S = {1, 2, 3, N } ma trận chuyển P Nếu π phân bố khả nghịch xích đồng thời phân bố dừng xích Ví dụ 2.5.1 Cho S = 1, S có hai trạng thái Với bảng phân phối π = [π0 = 8/9, π1 = 1/9], dễ dàng ta thấy hạt nhân P khả nghịch p00 = 9/10, p01 = 1/10, p10 = 8/10, p11 = 2/10 Ta kiểm tra tính khả nghịch xích Ta có: π0 p01 = 8/9.1/10 = 8/90 π1 p10 = 1/9.8/10 = 8/90 ⇒ π0 p01 = π1 p10 Vậy xích cho xích khả nghịch 36 Chương Thuật toán Metropolis Thuật toán Metropolis coi 10 thuật toán làm thay đổi thời đại ứng dụng mạnh mẽ ngành khoa học đặc biệt lý Chương tìm hiểu nội dung thuật toán đồng thời đưa số ví dụ có dùng thuật toán để giải 3.1 Giới thiệu xích Markov Monte Carlo Phương pháp Monte Carlo đòi hỏi quỹ đạo ngẫu nhiên để có quỹ đạo người ta sử dụng xích Markov Xích Markov công cụ toán học hữu ích, kết hợp với phương pháp Monte Carlo (Markov Chain Monte Carlo) trở thành công cụ toán học đặc biệt cần thiết việc tính toán hệ phức tạp lò phản ứng hạt nhân Giả sử ta muốn biết kỳ vọng biến ngẫu nhiên h(Y ) với Y đại lượng ngẫu nhiên có hàm mật độ π Tuy nhiên ta khó để tính tích phân E(h(Y )) = h(y)π(y)dy ta xây dựng xích Markov ergodic có phân phối dừng với hàm mật độ π Ta mô 37 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà X thời điểm N đủ lớn Áp dụng định lý Ergodic ta ước lượng E(h(Y )) Từ điều nêu xích Markov ta nâng cấp lên thành thuật toán Markov Chain Monte Carlo (MCMC) Nhờ tính Ergodic xích Markov nêu định lý Ergodic ta có: Giả sử muốn biết kỳ vọng biến ngẫu nhiên mà có Y hàm phân phối với hàm mật độ tương ứng Tuy ta tính ta lại xây dựng xích Markov có tính Ergodic mà phân phối ban đầu có hàm mật độ π Sau ta cho X tới giá trị theo thời gian - giá trị lớn nên ta đặt N ước N lượng E(h(Y )) h(Xn ) N n=1 Trên ý tưởng thuật toán Markov Chain Monte Carlo Như với phân phối π cho trước ta cần xây dựng xích Markov ergodic X có phân phối giới hạn π 3.2 3.2.1 Thuật toán Metropolis - Hasting Giới thiệu Trong thống kê vật lý thống kê, thuật toán Metropolis - Hasting phương pháp Markov Chain Monte Carlo để thu dãy mẫu ngẫu nhiên từ phân bố xác suất mà việc lấy mẫu trực tiếp khó Thuật toán thường sử dụng để lấy mẫu từ phân bố đa chiều, đặc biệt số chiều cao Thuật toán mô Metropolis - Hasting sử dụng để lấy mẫu đáp ứng phân phối xác suất f (x) 38 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Thuật toán xây dựng xích Markov thỏa mãn điều kiện sau số bước đủ lớn hội tụ tới hàm phân bố xác suất f (x) Mục tiêu xây dựng mẫu ngẫu nhiên cho hàm phân bố hội tụ đến hàm phân bố cho 3.2.2 Thuật toán Gọi S không gian trạng thái phân phối mục tiêu Thuật toán Metropolis thực sau: Với x ∈ S ta chọn hàm mật độ q(x, ) cho x ∈ S xác định hàm chuyển (xác suất chuyển) xích Markov trạng thái x không gian trang thái S, ta nên chọn hàm chuyển q(x, ) cho dễ tính Giả sử trạng thái xích Xn = x Ta cho xích chuyển sang trạng thái theo hàm chuyển q(x, ) cách đề xuất trạng thái z chấp nhận cho xích chuyển sang trạng thái với xác suất: α(x, z) = 1, π(z)q(x, z) π(x)q(z, x) Nếu z không chấp nhận ta giữ nguyên trạng thái x cho xích, tức bước ta có: Xn+1 =   z  x với xác suất α(x, z), với xác suất − α(x, z) Ta tổng kết thật toán định nghĩa: Định nghĩa 3.1 Chọn xác suất chuyển hàm mật độ q(x, y) 39 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà x, y ∈ S Chúng gọi phân phối đề xuất: Giả sử Xn = x x ∈ S ta bắt đầu sau: 1.Lấy Z = z từ hàm mật độ q(x, z) z ∈ S, π(z)q(x, z) π(x)q(z, x) = z, không chấp nhận Chấp nhận Z = z với xác suất α(x, z) = Nếu Z = z chấp nhận Xn+1 1, Xn+1 = x ta quay bước 3.2.3 Ví dụ Ví dụ 3.2.1 Sử dụng thuật toán Metropolis - Hasting lấy mẫu N (0, 1) Xác định P sau: Mỗi vòng lặp i, đầu vào Y ∼ U (xi − a, xi + a) với a số Do tính đối xứng phân phối đều: A= π(Y )q(Xi |Y ) = exp [Xi2 − Y ], π(Xi )q(Y |X) Theo định nghĩa tỉ lệ chấp thuận, nhỏ A ta có: Nếu A ≥ 1, đặt Xi+1 = Y Nếu A < 1, đặt Xi+1 = Y với xác suất A đặt Xi+1 = Xi với xác suất − A Thuật toán nhìn đơn giản ta lấy log(A) A ≥ ⇔ [Xi2 − Y ] ≥ 0, A < ⇔ [Xi2 − Y ] < 0, ý A ≥ 1, ta có: [X − Y ] ≥ ≥ log(U ), i với U ∼ U (0, 1) Ví dụ dễ dàng với [Xi2 − Y ] ≥ log(U ) 40 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Ví dụ 3.2.2 Lấy mẫu từ phân phối hỗn hợp cách sử dụng thuật toán Metropolis - Hasting Mô phân phối hỗn hợp hai phân phối chuẩn • Mật độ mục tiêu là: π(x) = p √ 1 exp[− (x − µ2 ), 2σ2 2πσ2 với < p < 1 exp[− (x − µ1 ) + (1 − 2σ1 2πσ1 p) √ • Mật độ đề xuất: Lấy mẫu mẫu ω từ mật độ dạng chuẩn tắc đề xuất z = x + ω trạng thái Khi z ∼ N (x, 1) mật độ đề xuất là: 1 q(x, z) = √ exp[− (z − x)2 ] 2π π(z)q(z, x) • Xác suất chấp nhận: α = (x, z) = 1, π(x)q(x, z)   1     π(z) √ exp[− (x − z) ]   2π = 1, 1     π(x) √ exp[− (z − x) ]   2π π(z) = 1, π(x) • Thuật toán Metropolis - Hasting thực sau: - Chọn X0 = x0 , x0 ∈ R, - Giả sử Xn = x, lấy mẫu z ∼ N (0, 1) đặt y = x + z, π(z) Chấp nhận y với xác suất 1, Nếu chấp nhận đặt π(x) Xn+1 = y, ngược lại Xn+1 = x 41 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Ví dụ 3.2.3 Một mẫu ngẫu nhiên từ tập hữu hạn Ω, nghĩa lựa chọn ngẫu nhiên từ Ω cho phần tử có trường hợp ngẫu nhiên giống cách chọn |Ω| Cố định tập {1, 2, , q} màu sắc Một tính chất q - màu đồ thị G = (V, E) phép gán màu với đỉnh V điều kiện đỉnh màu giống Có lí để tìm kiếm phương pháp lấy mẫu từ Ω - tập tất tính chất q - màu Nếu mẫu ngẫu nhiên tạo cỡ mẫu Ω ước lượng Do lấy mẫu từ Ω đặc trưng trung bình màu nghiên cứu thông qua mô Với số đồ thị, ví dụ cây, có nhiều phương pháp đệ quy đơn giản cho sinh tính chất màu ngẫu nhiên Tuy nhiên đồ thị khác thách thức trực tiếp dựng mẫu ngẫu nhiên Một phép xấp xỉ sử dụng chuỗi Markov để lấy mẫu.Giả sử (Xt ) chuỗi với không gian Ω với phân phối dừng Ω Theo định lý hội tụ, (Xt ) xấp xỉ phân bố t đủ lớn Phương pháp mẫu thử từ phân phối xác suất gọi chuỗi Markov Monte Carlo thuật toán Metropolis Giả sử π phân phối dừng Ω Nếu ta dựng chuỗi Markov (Xt ) với phân phối dừng π, t đủ lớn, phân phối Xt đóng với π Ví dụ 3.2.4 Giả sử ψ ma trận chuyển đối xứng Trong trường hợp này, ψ khả nghịch với phân bố Ω Bây xem chuyển đổi ψ thu dãy với phân phối dừng π, π phân phối xác suất Ω 42 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Dãy phát triển sau: trạng thái ban đầu x, phương án tạo từ phân phối ψ(x, ) Nếu phương án y di chuyển bị thiếu với xác suất − a(x, y) Thật vậy, với xác suất a(x, y) chấp nhận y trạng thái chuỗi y, với xác suất lại − a(x, y) trạng thái chuỗi giữ nguyên x Bỏ qua di chuyển chậm quy tính toán hiệu cần hoàn thành đặc điểm phân phối dừng Chúng ta thảo luận chọn xác suất thu a(x, y) quan sát ma trận chuyển P dãy là:    ψ(x, y)a(x, y) x = y, P(x, y) =   ψ(x, z)a(x, z) y = x 1 − z=x ma trận chuyển P có phân phối dừng π nếu: π(x)ψ(x, y)a(x, y) = π(y)ψ(y, x)a(y, x) với x = y Vì giả sử ψ đối xứng nên phương trình cố định b(x, y) = b(y, x) b(x, y) = π(x)a(x, y) Từ a(x, y) xác suất phải thỏa mãn a(x, y) ≤ 1, hàm b phải tuân theo ràng buộc b(x, y) ≤ π(x), ⇒ b(x, y) = b(y, x) ≤ π(y) chuyển động dãy ban đầu ψ không cần thiết, nghiệm b từ phương trình nên lựa chọn b lớn tốt Rõ ràng nghiệm bị chặn b(x, y) = π(x) × π(y) := {π(x), π(y)} Sự lựa chọn này, xác suất thu a(x, y) π(y) × π(x) 43 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Dãy Metropolis cho xác suất π ma trận chuyển đối xứng ψ định nghĩa là:  π(y)   ] ψ(x, y)a(x, y)[1 × π(x) P(x, y) = π(y)   ψ(x, z)[1 × ] 1 − π(x) z=x y = x, y = x Thảo luận cho thấy π phân phối dừng cho chuỗi Metropolis Ví dụ 3.2.5 Cho f là hàm giá trị thực định nghĩa tập đỉnh Ω đồ thị Trong nhiều ứng dụng mong muốn tìm đỉnh x f (x) GTLN Nếu định nghĩa Ω lớn việc tìm kiếm khó Leo núi thuật toán mà cố gắng xác định giá trị cực đại f sau: x, y bên cạnh x có f (y) > f (x) ta chuyển sang y Khi f có cực đại địa phương cực đại lân cận nhiên toàn toàn tập đỉnh Ω, thuật toán leo núi bị mắc kẹt trước ta tìm kiếm toàn Ω Một lời giải ngẫu nhiên hóa chuyển để luôn thay cực đại địa phương, với số xác suất leo núi di chuyển để giảm trạng thái Giả sử đơn giản Ω đồ thị thường, nên bước đơn giản ngẫu nhiên Ω có ma trận chuyển đối xứng Cố định λ ≥ định nghĩa: λf (x) , πλ (x) = Z(λ) 44 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà λf (x) số bình thường mà làm πλ độ đo Z(λ) = x∈Ω xác suất Vì πλ (x) tăng f (x), độ đo πλ đỉnh x mà f (x) lớn Nếu f (y) < f (x), dãy Metropolis thừa nhận di chuyển x → y với xác suất λ−[f (x)−f (y)] , λ → ∞, dãy leo núi đóng giống Định nghĩa Ω∗ := {x ∈ Ω : f (x) = f ∗ := maxy∈Ω f (y)}, ( λf (x) /λf ∗) lim πλ (x) = lim ∗ f (x) /λf ( ∗) λ→∞ λ→∞ |Ω | + x∈Ω\Ω∗ λ 1x∈Ω∗ , |Ω∗ | Đó là, λ → ∞, phân phối dừng πλ dãy Metropolis hội tụ = đến phân phối toàn cực đại f 45 Khóa luận tốt nghiệp Đại học Nguyễn Thị Thanh Hà Kết luận Như vậy, khóa luận trên, em trình bày kiến thức phương pháp mô biến ngẫu nhiên như: phương pháp lấy mẫu ngược, phương pháp lấy mẫu loại trừ Trong chương em trình bày khái niệm kiến thức liên quan đến biến ngẫu nhiên ước lượng mô Trong chương em trình kiến thức xích Markov với ma trận xác suất chuyển, phân bố dừng phân bố giới hạn, tính chất quan trọng xích Markov Trong chương từ điều nêu xích Markov ta nâng cấp lên thành thuật toán Markov Chain Monte Carlo Nhờ tính Ergodic xích Markov nêu định lý Ergodic ta có: Giả sử ta muốn biết kỳ vọng biến ngẫu nhiên mà có Y hàm phân phối với hàm mật độ tương ứng p(x) Tuy vậy, ta tính được, may ta xây dựng xích Markov có tính Ergodic mà hàm phân phối ban đầu có hàm mật độ π ý tưởng thuật toán Markov Chain Monte Carlo thuật toán Metropolis Hasting, đồng thời trình bày số ví dụ có sử dụng thuật toán để giải 46 Tài liệu tham khảo [1] Nguyễn Thị Phi Doan(2014), Thuật toán Metropolis ứng dụng, Đại học Quốc gia Hà Nội, tr.28-29 [2] Nguyễn Duy Tiến, Vũ Viết Yên, Lý thuyết xác suất, Nhà xuất Giáo dục, 2009 [3] Nguyễn Duy Tiến, Các mô hình xác suất ứng dụng, Nhà xuất Đại học Quốc gia [4] Đặng Hùng Thắng, Quá trình ngẫu nhiên tính toán ngẫu nhiên, Nhà xuất Đại học Quốc Gia Hà Nội, 2009 [5] Nguyễn Văn Tân, Thuật toán mô MCMC thích nghi ứng dụng, Đại học Quốc gia Hà Nội, 2015 [6] David A Lenvin, Yuval Peres, Elizabeth L Wilmer, Markov Chain and Mixing Times, American Mathematical Society, 2006 47 ... pháp Monte Carlo Chương "Một vài hiểu biết xích Markov" trình bày số định nghĩa xích Markov tính chất xích Chương "Thuật toán Metropolis" thảo luận số nội dung xích Markov Monte Carlo (MCMC) phương... 35 Thuật toán Metropolis 37 3.1 Giới thiệu xích Markov Monte Carlo 37 3.2 Thuật toán Metropolis - Hasting 38 3.2.1 Giới thiệu 38 3.2.2 Thuật toán. .. với xích Marko thuật toán Metropolis trường hợp đặc biệt phương pháp MCMC Bên cạnh chương trình bày số ví dụ để làm rõ ứng dụng thuật toán Metropolis Chương Kiến thức chuẩn bị Thuật toán Metropolis