Phương pháp MCMC và một số ứng dụng

Mục lục LỜI MỞ ĐẦU 5 BẢNG KÝ HIỆU 7 1 TỔNG QUAN 8 1.1 Suy luận Bayes . . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.1 Đặc điểm mô hình Bayes . . . . . . . . . . . . . . . 9 1.1.2 Các tiên nghiệm Jeffreys . . . . . . . . . . . . . . . 9 1.2 Tích phân Monte Carlo . . . . . . . . . . . . . . . . . . . . 10 1.2.1 Bài toán . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2.2 Xấp xỉ Monte Carlo . . . . . . . . . . . . . . . . . . 11 1.2.3 Monte Carlo thông qua lấy mẫu theo trọng số . . . 12 1.3 Phương pháp sinh biến ngẫu nhiên . . . . . . . . . . . . . . 13 1.3.1 Phương pháp biến đổi . . . . . . . . . . . . . . . . . 13 1.3.2 Phương pháp chấp nhận - bác bỏ . . . . . . . . . . . 14 1.3.3 Phương pháp tỷ số đều . . . . . . . . . . . . . . . . 15 1.4 Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.4.1 Các định nghĩa và kí hiệu . . . . . . . . . . . . . . . 18 1.4.2 Sự hội tụ của phân phối . . . . . . . . . . . . . . . . 19 1.4.3 Giới hạn của giá trị trung bình . . . . . . . . . . . . 19 2 MẪU GIBBS 21 2.1 Mẫu Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.2 Thuật toán mở rộng dữ liệu . . . . . . . . . . . . . . . . . . 24 3 THUẬT TOÁN METROPOLIS-HASTINGS 27 3.1 Thuật toán Metropolis – Hastings . . . . . . . . . . . . . . 27 3.1.1 Khái niệm . . . . . . . . . . . . . . . . . . . . . . . 27 2 3.1.2 Mẫu độc lập . . . . . . . . . . . . . . . . . . . . . . 29 3.1.3 Xích bước ngẫu nhiên . . . . . . . . . . . . . . . . . 30 3.2 Thuật toán Metropolis- Hasting cho các phân phối nhiều chiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.2.1 Cập nhật từng khối . . . . . . . . . . . . . . . . . . 30 3.2.2 Cập nhật từng thành phần . . . . . . . . . . . . . . 34 3.3 Các dạng khác nhau của thuật toán Metropolis - Hastings . 36 3.3.1 Thuật toán chạm và chạy . . . . . . . . . . . . . . . 36 3.3.2 Thuật toán Langevin . . . . . . . . . . . . . . . . . 37 3.3.3 Thuật toán đa phép thử MH . . . . . . . . . . . . . 38 3.4 Thuật toán bước nhảy ngược MCMC cho bài toán lựa chọn mô hình Bayes . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4.1 Thuật toán bước nhảy ngược MCMC . . . . . . . . 39 3.4.2 Xác định điểm thay đổi . . . . . . . . . . . . . . . 43 4 Phương pháp biến phụ trợ MCMC 46 4.1 Mô phỏng nhiệt luyện . . . . . . . . . . . . . . . . . . . . . 48 4.2 Mô phỏng điều hoà nhiệt . . . . . . . . . . . . . . . . . . . 49 4.3 Thuật toán Moller . . . . . . . . . . . . . . . . . . . . . . . 51 4.4 Thuật toán trao đổi . . . . . . . . . . . . . . . . . . . . . . 53 Tài liệu tham khảo 56 3 LỜI CẢM ƠN Luận văn này được hoàn thành với sự hướng dẫn tận tình và cũng hết sức nghiêm khắc của TS. Nguyễn Thịnh. Thầy đã dành nhiều thời gian quý báu của mình để hướng dẫn cũng như giải đáp các thắc mắc của tôi trong suốt cả quá trình làm luận văn. Tôi muốn tỏ lòng biết ơn chân thành và sâu sắc nhất tới người thầy của mình. Tôi cũng muốn gửi tới toàn thể các thầy cô Khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, các thầy cô đã đảm nhận giảng dạy khóa Cao học 2011 - 2013, đặc biệt là các thầy cô tham gia giảng dạy nhóm Xác suất thống kê 2011 - 2013 lời cám ơn chân thành đối với công lao dạy dỗ trong suốt thời gian của khóa học. Tôi xin cám ơn gia đình, bạn bè, đồng nghiệp và các anh chị em trong nhóm Xác suất thống kê 2011 - 2013 đã quan tâm, giúp đỡ, tạo điều kiện và động viên tinh thần để tôi có thể hoàn thành được khóa học này. 4 LỜI MỞ ĐẦU Luận văn này với mục đích trình bày về phương pháp MCMC và một số ứng dụng của nó.Luận văn được xây dựng dựa trên lý thuyết về suy luận Bayes,tích phân Monte Carlo và xích Markov Luận văn gồm có 4 chương: Chương 1. Tổng quan. Suy luận Bayes: giới thiệu về suy luận Bayes, các đặc điểm của mô hình Bayes, các tiên nghiệm Jeffreys. Tích phần Monte Carlo: Bài toán tích phân Monte Carlo, xấp xỉ Monte Carlo, Monte Carlo thông qua lấy mẫu theo trọng số. Phương pháp sinh biến ngẫu nhiên: Phương pháp biến đổi, phương pháp chấp nhận - bác bỏ, phương pháp tỷ số đều. Xích Markov: Các định nghĩa và kí hiệu, Sự hội tụ của các phân phối, giới hạn của giá trị trung bình. Chương 2. Mẫu Gibbs. Giới thiệu về phương pháp lấy mẫu Gibbs và ví dụ cho trường hợp biến ngẫu nhiên nhiều chiều. Thuật toán mở rộng dữ liệu:mô tả thuật toán và một số ví dụ tương ứng. Chương 3. Thuật toán Metropolis- Hastings. Thuật toán Metropolis- Hasting: Khái niệm, mẫu độc lập, xích bước ngẫu nhiên. Thuật toán Metropolis - Hasting đối với phân phối nhiều chiều: giới thiệu ứng dụng của thuật toán Metropolis - Hasting đối với các biến ngẫu nhiên nhiều chiều bằng cập nhật từng khối, cập nhật từng thành phần. Các dạng khác nhau của thuật toán Metropolis - Hasting: Thuật toán chạm và chạy, thuật toán Langevin, thuật toán đa phép thử MH. Chương 4. Phương pháp biến phụ trợ MCMC. 5 Giới thiệu về mặt lý thuyết một vài thuật toán của phương pháp MCMC có sử dụng các biến phụ trợ: Phương pháp mô phỏng nhiệt luyện, mô phỏng điều chỉnh nhiệt,Moller, thuật toán trao đổi, phương pháp lấy mẫu MH kép. Do thời gian gấp rút và kiến thức còn hạn chế nên luận văn không thể tránh khỏi những thiếu sót, vì vậy, rất mong nhận được những ý kiến đóng góp của các thầy cô và bạn bè đồng nghiệp, xin trân trọng cám ơn. Hà Nội, tháng 11 năm 2014 6 BẢNG KÝ HIỆU MCMC: Xích Markov Monte Carlo AD: Thuật toán mở rộng dữ liệu AR: Thuật toán chấp nhận - bác bỏ h.c.c: hầu chắc chắn MTH: thuật toán đa phép thử Metropolis - Hastings MTM: thuật toán đa phép thử Metropolis RJMCMC: Thuật toán bước nhảy ngược MCMC 7 Chương 1 TỔNG QUAN 1.1 Suy luận Bayes Suy luận Bayes là một công thức suy luận xác suất. Với ưu điểm là tính toán đơn giản và cùng với những phát triển gần đây của các phương pháp xích Markov Monte Carlo(MCMC) cho việc tính xấp xỉ tích phân có số chiều cao mà suy luận Bayes ngày càng được sử dụng rộng rãi. Suy luận Bayes được bắt nguồn từ Thomas Bayes (1764), người đã rút ra xác suất nghịch đảo của xác suất thành công θ trong một dãy các phép thử độc lập Bernoulli, trong đó θ được lấy từ phân phối đều trên khoảng (0,1). Ví dụ 1.1. (Mô hình Bernoulli với tiên nghiệm đã biết) Giả sử rằng θ ∼ Unif (0, 1) là phân phối đều trên khoảng (0,1),và x 1 , x 2 , , x n là mẫu lấy từ Bernoulli (θ) với không gian mẫu X = {0, 1} và hàm khối xác suất Pr (X = 1 |θ) = θ; Pr (X = 0 |θ) = 1 −θ (1.1) trong đó X là biến ngẫu nhiên Bernoulli với X = 1 nếu thành công, và X = 0 nếu thất bại. Ta viết N =  n i=1 x i là số quan sát thành công trong n phép thử Bernoulli. Khi đó N |θ ∼ B (n, θ) là phân phối nhị thức với cỡ n và xác suất thành công θ. Xác suất nghịch đảo của θ cho bởi x 1 , x 2 , , x n được hiểu như phân phối hậu nghiệm,được xem như là phân phối Beta, Beta(1+N,1+n-N) với hàm mật độ xác suất 1 B(1 + N, 1 + n −N) θ (1+N)−1 (1 −θ) (1+n−N)−1 (0 ≤ θ ≤ 1) (1.2) 8 trong đó B ( ◦ , ◦ ) là kí hiệu của hàm Beta 1.1.1 Đặc điểm mô hình Bayes Theo như những nghiên cứu toán học đã biết thì để xác định mô hình Bayes ta cần : (i) Chỉ rõ một mô hình lấy mẫu từ dữ liệu quan sát X, có điều kiện trên một đại lượng chưa biết θ. X ∼ f (X |θ) (X ∈ X, θ ∈ Θ) (1.3) ở đó f (X |θ) là hàm mật độ xác suất, và (ii) Chỉ rõ một phân phối biên,được gọi là phân phối tiên nghiệm hay đơn giản là tiên nghiệm π (θ) của θ: θ ∼ π (θ) (θ ∈ Θ) (1.4) Phân tích dữ liệu dựa trên kết quả những suy luận ở trên nhằm mục đích rút gọn tính toán tích phân đối với phân phối hậu nghiệm, hay nói gọn là hậu nghiệm, π (θ |X ) = π (θ) L (θ |X )  π (θ) L (θ |X ) dθ (θ ∈ Θ) (1.5) ở đó L (θ |X ) ∝ f (X |θ) trong đó δ được gọi là thống kê hợp lý của δ với X đã cho. 1.1.2 Các tiên nghiệm Jeffreys Một cách tự nhiên ta thấy rằng việc chỉ rõ mô hình Bayes chẳng khác gì việc tổng hợp các thông tin có thể trong thực tế theo quan điểm xác suất chính xác. Đồng thời, việc chỉ rõ mô hình xác suất đối với dữ liệu quan sát X là việc làm tất yếu. Thêm vào đó khi xét mô hình lấy mẫu của dữ liệu quan sát X đối với đại lượng chưa biết θ suy luận Bayes yêu cầu tiên nghiệm cho θ phải được xác định rõ ràng. Trong trường hợp thông tin tiên 9 nghiệm của θ là sẵn có và có thể biết một cách chính xác bởi một phân phối xác suất thì điều này là hiển nhiên. Tuy nhiên, đối với các trường hợp khi thông tin này là không sẵn có hoặc không dễ xác định bằng một phân phối xác suất chính xác, đặc biệt là đối với các bài toán với số chiều cao, khi đó phương pháp thường được sử dụng là phương pháp Jeffreys, với việc giả thiết tiên nghiệm có dạng: π J (θ) ∝ |I (θ)| 1 2 (θ ∈ Θ) (1.6) Trong đó I (θ) là lượng thông tin Fisher. Ví dụ 1.2. Giả sử rằng ta xét một mẫu được lấy từ phân phối N (µ, 1) Thông tin Fisher thu được như sau: I (µ) = +∞  −∞ φ (x −µ) dx = 1 Trong đó φ (x −µ) = (2π) 1 2 exp  − 1 2 (x −µ) 2  là hàm mật độ của N (µ, 1). Điều này dẫn đến tiền nghiệm Jeffreys của θ là π J (θ) ∝ 1 (−∞ < µ < +∞) (1.7) Ta thu được phân phối hậu nghiệm tương ứng của θ cho bởi X như sau: π J (µ |X ) = N (X, 1) (1.8) 1.2 Tích phân Monte Carlo 1.2.1 Bài toán Cho ν là độ đo xác suất trên σ - trường Borel X với không gian mẫu X ⊆ R d , trong đó R d là không gian Euclide d-chiều. Một khó khăn thường gặp trong bài toán là ước tính tích phân dạng: E ν [h (X)] =  X h (x) ν (dx) (1.9) 10 Trong đó h(x) là hàm đo được. Giả sử rằng ν có hàm mật độ xác suất f(x) thì (1.9) có thể được viết thành: E f [h (X)] =  X h (x) f (x) dx (1.10) Ví dụ 1.3. Để ước lượng xác suất Pr (X ∈ S) với S ∈ X, h (x) hàm chỉ tiêu là: h (x) = I x∈S với h (x) =  1, nếu x ∈ S 0, nếu ngược lại , và tính toán phân phối thành phần f Y (y) từ phân phối đồng thời f X,Y (x, y). Khi đó thay vào trong (1.10) ta được là E fX  f Y |X (y|x)  , trong đó f X (x) là hàm mật độ của thành phần X,và f Y |X (y |x) là hàm mật độ có điều kiện của Y đối với X đã biết. 1.2.2 Xấp xỉ Monte Carlo Ta kí hiệu X 1 , , X n là một mẫu kích thước n lấy từ hàm mật độ xác suất f(x) trong (1.10). Khi đó trung bình mẫu của h (X) là: h n = 1 n n  i=1 h (X i ) (1.11) có thể được sử dụng để tính xấp xỉ (1.10) vì h n hội tụ tới (1.10) hầu chắc chắn theo luật số lớn. Khi h (X) có phương sai hữu hạn, sai số của xấp xỉ này có thể được mô tả bằng định lý giới hạn trung tâm, nghĩa là: h n − E f [h (X)]  nV ar (h (X)) ∼ N (0, 1) Tương tự V ar (h (X)) có thể được xấp xỉ bằng phương sai mẫu: 1 n −1 n  i=1  h (X 1 ) −h n  2 Phương pháp xấp xỉ tích phân qua các mẫu mô phỏng được biết đến như là phương pháp Monte Carlo 11 [...]... (x) Phương pháp tỷ số đều Phương pháp tỷ số đều là phương pháp thông dụng để sinh các số ngẫu nhiên của nhiều phân phối thông dụng như phân phối Gamma, chuẩn, và student-t Ý tưởng tổng quát của phương pháp tỷ số đều là tìm ra một cặp phép biến đổi khả vi U = u(Y ) và X = x(Z, Y ) với U = u(Y ) tăng thực sự để 15 thoả mãn (1.14) và do đó với một hằng số Jacobi thì (Y, Z) cũng đều trên tập ảnh tương ứng. .. một số phương pháp thường được sử dụng để lấy mẫu từ các các phân phối trong trường hợp công thức hàm phân bố ngược không thể áp dụng được 1.3.1 Phương pháp biến đổi Phương pháp biến đổi dựa trên phép biến đổi của các biến ngẫu nhiên,thuật toán 1.1 và 1.2 là một ví dụ Tuy nhiên,ngoại trừ một vài trường hợp như phân phối mũ và phân phối Bernoulli thì thuật toán 1.1 và 1.2 thường không hiệu quả Các phương. .. X 12 1.3 Phương pháp sinh biến ngẫu nhiên Phương pháp MC dựa trên việc lấy mẫu từ các phân phối xác suất Mặt khác,dựa vào phân phối đều U nif (0, 1) ta có thể sinh được các số ngẫu nhiên của một phân phối xác suất bất kỳ Do đó phương pháp sinh một mẫu độc lập cùng phân phối từ phân phối đều đơn giản nhất U nif (0, 1) là rất quan trọng bởi vì toàn bộ các phương pháp lấy mẫu đều dựa trên các số ngẫu nhiên... với phương pháp chấp nhận bác bỏ hoặc các biến thể của nó như phương pháp tỷ số đều, tỷ số chấp nhận thường có kết quả 0 trong các bài toán có số chiều cao Để khắc phục khó khăn này ta sử dụng phương pháp lấy mẫu Gibbs hay gọi đơn giản là mẫu Gibbs 2.1 Mẫu Gibbs Giả sử rằng ta muốn sinh các số ngẫu nhiên từ hàm mật độ mục tiêu f (x), x ∈ X ⊆ Rd Ta tiến hành phân hoạch vector d-chiều x vào K khối và. .. 0 và lặp lại với t = 1, 2, 36 Định nghĩa 3.3 Thuật toán nhấn và chạy 1, Sinh ra (d ∈ O) d ∼ g (d) và λ ∼ l (λ |d, x) trên Xx,d và tính toán một xác suất chấp nhận MH α (x, y) trong đó x = x(t) 2, Sinh ra U từ U nif (0, 1) và đặt: X (t+1) = x + λd, nếuU ≤ α (x, y) x, nếu ngược lại Chen và cộng sự (2000)chú ý rằng lựa chọn phổ biến nhất của g (d) là phân phối đều trên O Thuật toán nhấn và chạy ứng dụng. .. mà phương pháp này được gọi là phương pháp lấy mẫu theo trọng số Vấn đề mấu chốt của phương pháp này là chọn g (x) thỏa mãn cả tính đơn giản trong việc sinh ra các mẫu Monte Carlo và độ chính xác trong ước lượng Ef [h (X)] bằng cách kiểm soát các sai số Monte Carlo Với độ tin cậy Monte Carlo,ta cần chọn g (x) để cực tiểu phương sai của h (X) với X ∼ g (x) Người ta chứng minh được rằng hàm g(x) thoả... ergodic đều nếu tồn tại một hằng số M và một hằng số dương r < 1 sao cho P n (x, ) − π ≤ M rn 1.4.2 Sự hội tụ của phân phối Tổng biến thiên khoảng cách giữa hai độ đo trên (X, X ) đã được sử dụng để mô tả sự hội tụ của một xích Markov trong định lý sau đây (Định lý 1 của Tierney, 1994) Định lý 1.1 Giả sử rằng P (x, dy) có π(x) là bất khả quy và dừng Khi đó P (x, dy) là hồi quy dương và π (dx) là phân phối... bỏ nếu xích là ergodic đều và Ef h2 (X) < ∞ Định lý 1.4 Giả sử rằng Xn là ergodic đều với phân phối cân bằng f (x) và giả sử h (x) có giá trị thực và Ef h2 (X) < ∞ Khi đó tồn tại một số √ thực σh sao cho phân phối của n hn − Ef (h (X)) hội tụ yếu tới phân 2 phối chuẩn với kỳ vọng 0 và phương sai σh với mọi phân phối ban đầu 20 Chương 2 MẪU GIBBS Trong thực tế các phương pháp lấy mẫu trực tiếp để sinh... không hiệu quả Các phương pháp biến đổi tốt hơn thu được bằng cách dựa vào phân phối mục tiêu f (x) Sau đây là một số ví dụ thường được sử dụng trong thực hành 13 Công thức Phép biến đổi Mũ X = −ln(U ) Cauchy X = tan (πU − π/2)) Beta 1.3.2 ind Xi ∼ Gamma (αi ) , i = 1, 2 Phân phối X ∼ Expo(1) X ∼ Cauchy(0, 1) X1 X1 +X2 ∼ Beta (α1 , α2 ) Phương pháp chấp nhận - bác bỏ Phương pháp chấp nhận - bác bỏ (AR)... Yn và đã biết 26 Chương 3 THUẬT TOÁN METROPOLIS-HASTINGS Thuật toán lấy mẫu Gibbs không thể áp dụng được cho các bài toán lựa chọn mô hình Bayes trong trường hợp các không gian nhiều tham số với số chiều khác nhau dù cho suy luận Bayes là rất mạnh đối với nhiều mô hình thống kê Thêm vào đó, các phương pháp lấy mẫu Gibbs là không thích hợp để lấy mẫu từ các phân phối mà phân có điều kiện của một số . lượng h (x) 1.3.3 Phương pháp tỷ số đều Phương pháp tỷ số đều là phương pháp thông dụng để sinh các số ngẫu nhiên của nhiều phân phối thông dụng như phân phối Gamma, chuẩn, và student-t. Ý tưởng. thông qua lấy mẫu theo trọng số. Phương pháp sinh biến ngẫu nhiên: Phương pháp biến đổi, phương pháp chấp nhận - bác bỏ, phương pháp tỷ số đều. Xích Markov: Các định nghĩa và kí hiệu, Sự hội tụ của. toán chạm và chạy, thuật toán Langevin, thuật toán đa phép thử MH. Chương 4. Phương pháp biến phụ trợ MCMC. 5 Giới thiệu về mặt lý thuyết một vài thuật toán của phương pháp MCMC có sử dụng các