Phần trên, đã nhắc lại một số khái niệm và phương pháp tiếp cận cơ bản của thống kê Bayes. Mặc dù phương pháp Bayes rất hiệu quả trong việc đưa ra các dự đoán về những quan sát chưa biết. Tuy nhiên không phải lúc nào ta cũng dễ dàng làm việc được với phương pháp này. Ví dụ trong cơng thức 1.4.2 với biến ngẫu nhiên liên tục trong trường hợp nhiều chiều, nhiều biến số thì tích phânR−∞+∞f(θ)×f(y|θ)dθ rất khó thực hiện. Phương pháp xích Markov Monte Carlo được đưa ra để giải quyết vấn đề này.
1.5.1 Phương pháp Monter Carlo
Phương pháp Monter Carlo là một phương pháp mơ phỏng có ứng dụng quan trọng trong nhiều lĩnh vực, nó sử dụng mơ phỏng để ước lượng xác suất xuất hiện của những sự kiện khơng chắc chắn. Đặc biệt trong tốn học thì phương pháp này rất hiệu quả đối với các bài tốn tích phân khơng dễ giải được bằng các bài tốn khác.
Như đã biết, trong thống kê Bayes, hệ số Bayes và xác suất hậu nghiệm là các đại lượng được dùng để đánh giá các giả thuyết về mơ hình. Tuy nhiên, các phân tích của chúng khơng phải lúc nào cũng thực hiện được vì chúng liên quan tới việc tích phân tham sốθ. Vì vậy để giải quyết vấn đề này, ta nhắc lại một kỹ thuật để xấp xỉ những tích phân khó.
Phương pháp mơ phỏng Monte Carlo
Thơng thường để tính tích phân hàm f(x) trên miền D một chiều, ta tiến hành như sau:
1. Chia miền lấy tích phân D thành n đoạn với các đầu mút x1, x2, ..., xn. 2. Tính giá trị f(x) tại những điểm này đượcf(x1), ..., f(xn).
3. Nhânf(xi) với độ dài đoạn tương ứng.
4. Tích phân được xấp xỉ bằng tổng các tích. Khi n tăng lên thì sai số của xấp xỉ được giảm đi.
Theo phương pháp Monte Carlo, để tính tích phân, thay vì chọnx1, ..., xn là các điểm cố định, chúng ta lấy x1, ..., xn ngẫu nhiên từ một phân phối π(x) trên miền lấy tích
phân D. Sau đó, tính f(xi) cho mỗixi. Trung bình các giá trị f(xi) cho ta xấp xỉ tích phân cần tính.
- Nếu miền lấy tích phân D bị chặn, π(x) được chọn là phân phối đều trên miền lấy tích phân.
- Nếu miền lấy tích phân D khơng bị chặn, có thể tính tích phân hàm f(x)bằng cách biểu diễn nó dưới dạng tích của một hàm h(x) với một phân phối π(x) mà có thể lấy được các giá trị x Z D f(x)dx= Z D h(x)π(x)dx.
Sau đó xấp xỉ tích phân này bằng giá trị trung bình của cácf(x1)
Z D f(x)dx≈ 1 n n X i=1 h(xi),
xi lấy ngẫu nhiên từπ(x)trong miền D.
Q trình rút mẫu ngẫu nhiên(X1, ..., Xn)từπ(x)gọi là mơ phỏng hàm phân bốπ(x). XétX1, X2, ..., Xn là mẫu ngẫu nhiên được sinh ra từ phân phốiπ(x). Khi đó kì vọng của f(X) được ước lượng bởi
Enf(X) = Z f(x)π(x)dx≈ 1 n n X i=1 f(xi) = ¯f , Theo luật số lớn: lim n→∞ 1 n n X i=1 f(Xi)→Eπ[f(X)] trong đó X1, X2, ..., Xn là độc lập. Xích Markov
Phương pháp Markov chain Monte Carlo (MCMC) là phương pháp thông dụng và hiệu quả để lấy mẫu cho phân phối hậu nghiệm. Trước khi đi sâu tìm hiểu cách thức hoạt động của phương pháp, chúng ta cần hiểu một số kiến thức về chuỗi Markov.
Quá trình Markov
1. Quá trình ngẫu nhiên Xét một hệ tiến triển theo thời gian. Gọi X(t) là vị trí (tình trạng) của hệ tại thời điểm t. Ứng với mỗi thời điểm t, X(t) là một biến ngẫu nhiên mơ tả vị trí (tình trạng) của hệ.
Quá trình X(t)t ≥ 0 được gọi là một quá trình ngẫu nhiên. Tập hợp tất cả các trạng thái có thể có của hệ được gọi là khơng gian trạng thái, kí hiệu S.
2. Q trình Markov Giả sử trước thời điểms, hệ đã ở trạng thái nào đó, cịn tại thời điểms, hệ ở trạng tháii. Chúng ta muốn đánh giá xác suất để tại thời điểmt (t > s),
hệ sẽ ở trạng thái j. Nếu xác suất này chỉ phụ thuộc vào bộ bốn (s, i, t, j), nghĩa là
p(X(s) = i, X(t) = j) = p(s, i, t, j) đúng ∀i,∀j,∀s,∀t, điều này thể hiện: sự tiến triển
của hệ trong tương lai chỉ phụ thuộc vào hiện tại, và hồn tồn độc lập với q khứ (tính khơng nhớ). Đây chính là tính Markov.
Q trình ngẫu nhiênX(t)có tính chất Markov như trên được gọi là q trình Markov.
3. Phân loại quá trình Markov: Ta xét quá trình Markov X(t).
- Nếu tập các giá trị t không quá đếm được (t = 0,1,2, ...), ta có q trình Markov
thời gian rời rạc.
- Nếu t∈[0,∞), ta có q trình Markov thời gian liên tục.
4. Quá trình Markov thuần nhất theo thời gian Xét một chuỗi Markov. Nếu xác suất chuyển trạng thái
p(s, i, t, j) =p(s+h, i, t+h, j)∀i,∀j,∀s,∀t và ∀h >0
ta nói chuỗi Markov thuần nhất theo thời gian. Trong khn khổ luận văn này, ta chỉ xét q trình Markov thời gian rời rạc và thuần nhất. Vì vậy, từ nay, nếu khơng nói gì thêm thì q trình Markov được hiểu là thời gian rời rạc và thuần nhất.
1.5.2 Phương pháp xích Markov Monte Carlo (MCMC)
Để giải quyết bài tốn sinh mẫu từ một phân phối, phương pháp MCMC hoạt động như sau
• Vai trị của phương pháp Monte Carlo tạo ra một chuỗi Markov, cịn gọi là mơ phỏng.
• Chuỗi Markov thỏa mãn điều kiện ergodic có phân phối dừng là phân phối cần sinh mẫu.
Như vậy, phương pháp MCMC sinh ra được các mẫu theo phân phối yêu cầu.
Trở lại mơ hình xác suất f(y, θ), áp dụng MCMC, chúng ta cần xây dựng chuỗi
Markov trên tập trạng tháiθ∈Θ, có phân phối dừng là phân phối hậu nghiệm của mơ
hình chúng ta quan tâm f(y, θ). Mô phỏng MCMC xấp xỉ đúng mật độ hậu nghiệm bằng cách sử dụng tập các mẫu rút ra từ hàm mật độ, nghĩa là cho ra tập M mẫu θ(1), ..., θ(M), mỗi mẫu được lấy từ f(θ|y).
Mơ hình hóa dữ liệu
MCMC hoạt động theo cách mô phỏng một chuỗi Markov thời gian rời rạc, nghĩa là tạo ra một dãy biến ngẫu nhiênx(t)Mt=1 xấp xỉ phân phối f(x(t)) = f(x).
• Chuỗi được khởi tạo giá trị ban đầu x(0).
• Tính chất Markov chỉ ra rằng phân phối của x(t+1)|x(t), x(t−1), ... chỉ phụ thuộc vào trạng thái hiện thời x(t).
• Ma trận xác suất chuyển trạng thái sau n bước: Pn(x(0), A) = P(x(n) ∈ A|x(0))
trong đó A là tập trạng thái của x.
MCMC xây dựng chuỗi Markov theo cáchPn(x(0), A)≈P(x)với một vài ntương ứng x(0).
Thêm vào đó việc xấp xỉ tại mỗi bước|Pn(x(0), A)−P(x∈A)| →0 khin → ∞nghĩa là phân phối của trạng thái của chuỗi f(x(t)) hội tụ tới phân phối mục tiêu f(x) khi t đủ lớn.
Giải thuật chung
• Khởi tạo x(0).
• Cho t chạy từ 1 tới n với x(t) =f(x(t−1)).
• Kết thúc
Nếu gặp khó khăn trong việc lấy mẫu từf(x)dof(x)không là phân phối quen thuộc, chúng ta sẽ chọn một phân phối đề xuất q(x) dễ lấy mẫu hơn. Mẫu lấy từ q(x) (thỏa mãn tính Markov) được chấp nhận hay không phụ thuộc vào tiêu chuẩn phù hợp. Gọi x(t) là trạng thái hiện thời,x∗ là trạng thái đề xuất từ phân phối q(x), ta có:
α(x, x∗) = min 1, f(x ∗)q(x∗) f(x(t))q(x(t)) .
- Nếuα= 1, xác suất chuyển sang trạng tháix∗ lớn hơn, chấp nhận trạng thái mới. - Nếuα 6= 1, ngoài xác suất chuyển sang trạng tháix∗ , cịn có xác suất ở lại trạng thái đó. Để quyết định, chuyển sang trạng thái mới hay ở lại trạng thái cũ, chúng ta sinh một số u ngẫu nhiên từ phân phối đều trên khoảng (0,1). So sánh α với u. Nếu a > u, chấp nhận trạng thái mới, x(t+1) =x∗, ngược lại α≤ u ở lại trạng thái cũ x(t+1) =x(t).
Khi đó giải thuật chung cho MCMC là Khởi tạo x(0).
– Cho t chạy từ 1 tới n. – x=x(t−1). – Sinh x∗ từ hàm mật độ đề xuất q(x, x∗). – Tính α(x, x∗). – Sinh u∼U(0,1). – Nếu (u < α(x, x∗)) thì gánx(t)=x∗, cịn khơng thì gán x(t) =x. Kết thúc.
MCMC là một cuộc cách mạng trong thống kê Bayes. Các bài toán suy luận f(θ|y), f(θi|y), f(|y) được MCMC mô phỏng một cách dễ dàng. Các nhà khoa học đã nghiên cứu và đề xuất ra nhiều giải thuật thuộc lớp phương pháp MCMC giải quyết bài tốn lấy mẫu. Trong số đó, lấy mẫu Gibbs là một giải thuật khá mạnh giải quyết vấn đề này, đặc biệt với sự trợ giúp của máy tính điện tử.