Tài liệu tham khảo: Hướng dẫn sử dụng phương pháp Bayes trên Stata - Nguyễn Ngọc Thạch, Lê Hoàng Anh, Nguyễn Trần Xuân Linh

BỘ GIÁO DỤC VÀ ĐÀO TẠO NGÂN HÀNG NHÀ NƯỚC VIỆT NAM TRƯỜNG ĐẠI HỌC NGÂN HÀNG TP.HỒ CHÍ MINH

HƯỚNG DẪN SỬ DỤNG PHƯƠNG PHÁP BAYES TRÊN STATA

Chủ biên: PGS TSKH NGUYỄN NGỌC THẠCH Thành viên biên soạn

TS LÊ HOÀNG ANH

NCS THS NGUYỄN TRẦN XUÂN LINH

TP.HCM, THÁNG 9 NĂM 2021

DẪN NHẬP

Phân tích Bayes được đề xuất bởi mục sư Thomas Bayes (1701 – 1761) Tuy nhiên, phân tích này chỉ thực sự được biết đến vào năm 1763, khi Richard Price công bố nghiên cứu “An Essay towards solving a Problem in the Doctrine of Chances” của người bạn quá cố Thomas Bayes trên tạp chí khoa học danh tiếng “Philosophical Transactions of the Royal Society” Ý tưởng của phân tích Bayes là kết hợp lý thuyết sẵn có và dữ liệu quan sát để đưa ra các kết luận Do đó, để sử dụng phân tích Bayes chúng ta cần có một “xác suất ban đầu” (Prior Probability) cho giả thuyết, sau đó mới sử dụng dữ liệu quan sát để điều chỉnh và đưa ra kết luận Đây cũng chính là vấn đề của phân tích Bayes bởi “xác suất ban đầu” thường không có sẵn

Khoảng thời gian sau đó, các nhà thống kê truyền thống đã phê phán sự chủ quan và cảm tính trong việc đưa ra “xác suất ban đầu” của phân tích Bayes Do đó, họ đã phát triển ý tưởng “significant test” Phương pháp này bỏ qua xác suất ban đầu và tập trung vào xác suất khách quan của dữ liệu được quan sát Trên thực tế, ý tưởng “significant test” chỉ dựa vào dữ liệu được quan sát do đó các kết quả nghiên cứu dường như không thể được tái lập lại

Trong những năm gần đây, cùng với sự phát triển của khoa học máy tính, phân tích Bayes đang trong thời kỳ phục hưng và được áp dụng trong nhiều lĩnh vực khoa học xã hội, sinh học, y học và vật lý Cuốn sách này được biên soạn với mục đích giới thiệu về phân tích Bayes và cách thức thực hiện phân tích Bayes với sự hỗ trợ của phần mềm STATA Do khả năng ứng dụng rộng rãi của phân tích Bayes nên một số ví dụ trong sách được lấy từ các nghiên cứu ở một số lĩnh vực khác nhau nhưng trọng tâm của cuốn sách vẫn hướng đến các ví dụ trong lĩnh vực khoa học xã hội Cuốn sách được chúng tôi kết cấu thành 3 chương:

Trong chương 1, chúng tôi đã bàn những vấn đề cơ bản của phân tích Bayes, so sánh phương pháp này với phương pháp kinh tế lượng tần suất truyền thống Bên cạnh đó các thành phần cơ bản của phân tích Bayes bao gồm phân phối hậu nghiệm, thông tin tiên nghiệm và ước lượng điểm cũng đã được chúng tôi trình bày Vấn đề với phân tích Bayes là phương pháp lấy mẫu Trong nội dung sách chuyên khảo

này, chúng tôi trình bày thuật toán lấy mẫu Metropolis-Hastings Bên cạnh đó, cách thức đánh giá sự hội tụ của chuỗi MCMC cũng được chúng tôi trình bày chi tiết Trong chương 2, chúng tôi đã trình bày cách thức tiến hành phân tích Bayes cơ bản bằng phần mềm STATA Các thông tin tiên nghiệm được chúng tôi phân tích bao gồm tiên nghiệm phi thông tin, tiên nghiệm có thông tin và tiên nghiệm đa thông tin Bên cạnh đó, việc chuẩn đoán hội tụ của các chuỗi MCMC và tóm tắt kết quả phân phối hậu nghiệm cũng được chúng tôi trình bày chi tiết Cuối cùng, chúng tôi trình bày cách thức ứng dụng phân tích Bayes trong dự báo Một số ví dụ cụ thể để minh họa cách thức tiến hành dự báo cũng đã được chúng tôi trình bày trong chương 2

Trong chương 3, chúng tôi đã ứng dụng phương pháp Bayes để ước lượng các mô hình hồi quy phổ biến hiện nay Đồng thời, chúng tôi cũng cố gắng đưa ra một sự so sánh giữa phương pháp Bayes và phương pháp tần suất trong việc ước lượng các mô hình này Các mô hình hồi quy được chúng tôi thực hiện ước lương bằng phương pháp Bayes bao gồm mô hình hồi quy Logistic, Probit, mô hình hồi quy với dữ liệu bảng, mô hình đường cong tăng trưởng, mô hình hồi quy logistic đa tầng, mô hình phi tuyến ba tầng, mô hình phân tích sống còn, mô hình phân tích điểm gãy, mô hình tác động ngẫu nhiên trong phân tích tổng hợp

Tập thể tác giả hi vọng cuốn sách này sẽ là một tài liệu tham khảo hữu ích cho những người mới bắt đầu tiếp cận với phân tích Bayes

MỤC LỤC

CHƯƠNG 1: GIỚI THIỆU VỀ PHÂN TÍCH BAYES 1

1.1 Phân tích Bayes là gì? 1

1.2 So sánh phương pháp kinh tế lượng tần suất (frequentist) và Bayesian 3

1.3 Các đặc tính của phân tích Bayes 5

1.4 Những vấn đề cơ bản của thống kê Bayes 7

1.4.1 Phân phối hậu nghiệm (Posterior distribution) 7

1.4.2 Thông tin tiên nghiệm (prior information) 8

1.4.3 Ước lượng điểm và ước lượng khoảng 10

1.4.4 So sánh các mô hình Bayesian 11

1.4.5 Dự báo hậu nghiệm 13

1.4.6 Tính toán Bayes 13

1.4.7 Phương pháp chuỗi Markov Monte Carlo (MCMC) 14

1.4.8 Thuật toán Metropolis – Hastings 15

1.4.9 Bước tự do Metropolis–Hastings 17

1.4.10 Blocking tham số 18

1.4.11 Metropolis–Hastings và cách lấy mẫu Gibbs 19

1.4.12 Chuẩn đoán hội tụ chuỗi MCMC 20

Tóm tắt chương 1: 26

CHƯƠNG 2: ỨNG DỤNG PHÂN TÍCH BAYES CƠ BẢN 27

2.1 Hồi quy tuyến tính Bayes với tiên nghiệm phi thông tin (noninformative prior) 28

2.2 Hồi quy Bayes với tiên nghiệm có thông tin 32

2.3 Hồi quy tuyến tính Bayes đa thông tin 33

2.4 Chuẩn đoán hội tụ 34

2.5 Tóm tắt kết quả hậu nghiệm 39

2.6 So sánh mô hình 42

2.7 Dự báo Bayes (chỉ có thể thực hiện trên bản Stata 16 trở lên) 44

2.7.1 Dự báo số đối tượng bị nhiễm 49

2.7.2 Tóm tắt kết quả dự báo 51

2.7.3 Biểu thức kết quả dự báo riêng lẻ 51

2.7.4 Đồ họa kết quả hậu nghiệm 52

2.7.5 Tóm tắt hậu nghiệm của các kết quả mô phỏng 53

2.7.6 Kiểm định mức độ phù hợp của mô hình bằng cách sử dụng MCMC sao chép các kết quả mô phỏng 53

2.7.7 Kiểm tra thống kê dưới dạng hàm vô hướng của các kết quả được mô phỏng 59

2.7.8 Dự báo ngoài mẫu (Out-of-sample prediction) 61

Tóm tắt chương 2 65

CHƯƠNG 3: CÁC DẠNG MÔ HÌNH HỒI QUY THEO CÁCH TIẾP CẬN BAYES CƠ BẢN 66

3.1 Hồi quy Logistic theo Bayes (Bayesian Logistic regression) 66

3.2 Hồi quy Probit thứ bậc 74

3.3 Hồi quy dữ liệu bảng với mô hình phân tích đa tầng 79

3.3.1 Mô phỏng đầu tiên — phương pháp lấy mẫu MH mặc định 82

3.3.2 Mô phỏng thứ hai — blocking các tham số 85

3.3.3 Mô phỏng thứ ba — lấy mẫu Gibbs 86

3.3.4 Mô phỏng thứ tư — tách các tham số hiệu ứng ngẫu nhiên 90

3.3.5 Mô phỏng thứ năm — tham số hóa thay thế 91

3.4 Mô hình đường cong tăng trưởng — một mô hình hệ số chặn ngẫu nhiên 93 3.5 Hiệp phương sai phi cấu trúc cho các tác động ngẫu nhiên 98

3.6 Hồi quy logistic đa tầng (Multilevel logistic regression) 100

3.7 Mô hình phi tuyến ba tầng (Three-level nonlinear model) 102

3.8 Mô hình sống sót (survival analysis) 107

3.9 Phân tích Bayes về điểm thay đổi (change-point) 113

3.10 Mô hình tác động ngẫu nhiên trong phân tích tổng hợp (meta-analysis) 118

3.10.1 Mô hình phân tính Normal–normal 119

3.10.2 Mô hình phân tích Binomial-normal 122

Tóm tắt chương 3 128

CHƯƠNG 1: GIỚI THIỆU VỀ PHÂN TÍCH BAYES

1.1 Phân tích Bayes là gì?

Phân tích Bayes là một phân tích thống kê nhằm trả lời các câu hỏi về thông số chưa biết của mô hình thống kê bằng cách sử dụng các khái niệm xác suất (probability statements) Phân tích Bayes dựa trên giả định rằng tất cả các thông số của mô hình là ngẫu nhiên và do vậy, nó có thể kết hợp với các thông tin tiên nghiệm (prior knowledge) Giả định này trái ngược hoàn toàn với phương pháp thống kê tần suất (frequentist) truyền thống, phương pháp này cho rằng các thông số của mô hình là chưa biết nhưng là một đại lượng cố định (fixed quantities) Phương pháp thống kê Bayes tuân theo một quy tắc xác suất đơn giản, quy tắc Bayes, nó cung cấp một phương thức cho sự kết hợp giữa thông tin tiên nghiệm và các dữ liệu nghiên cứu thu thập được Quy tắc Bayes được sử dụng để định dạng cho một phân phối gọi là phân phối hậu nghiệm (posterior distribution) cho các thông số của mô hình Các kiểm định thống kê về các hệ số của mô hình đều được thể hiện dưới dạng xác suất dựa trên việc ước lượng phân phối hậu nghiệm

Để giới thiệu nhanh về phân tích Bayes chúng ta sử dụng ví dụ được mô tả trong nghiên cứu của Hoff (2009, 3) về việc nghiên cứu sự truyền nhiễm của một căn bệnh hiếm Với một mẫu nhỏ, ngẫu nhiên gồm 20 chủ thể từ một thành phố được tiến hành kiểm tra về căn bệnh này Gọi thông số của tỷ lệ mắc bệnh trong thành phố là θ, θ ∈ [0, 1] Kết quả y sẽ ghi nhận số cá thể bị mắc bệnh trong mẫu nghiên cứu Mô hình phù hợp cho y là mô hình nhị thức: 𝑦|𝜃 ~ 𝐵𝑖𝑛𝑜𝑚𝑖𝑛𝑎𝑙 (20, 𝜃) Dựa trên các nghiên cứu từ các thành phố khác, tỷ lệ mắc bệnh sẽ nằm trong khoảng 0,05 và 0,2, với tỷ lệ hiện hành (rate prevalence) là 0,1 Để sử dụng thông tin này, chúng ta phải tiến hành phân tích Bayes Thông tin này sẽ được sử dụng làm phân phối tiên nghiệm cho 𝜃, nó được gán vào một xác suất giữa 0,05 và 0,2, với giá trị kỳ vọng của 𝜃 gần với 0,1 Một tiên nghiệm tiềm năng thỏa điều kiện này là tiên nghiệm Beta (2, 20) với giá trị kỳ vọng là 2/(20 + 2) = 0,09 Như vậy, giả định tiên nghiệm cho tỷ lệ nhiễm bệnh 𝜃 là 𝜃~𝐵𝑒𝑡𝑎(2, 20) Chúng ta lấy mẫu từng cá thể và quan sát được rằng không ai bị mắc bệnh, có nghĩa là y = 0 Kết quả này không phải là bất thường cho một mẫu nhỏ với một căn bệnh hiếm Ví dụ, tỷ lệ mắc

bệnh thật sự là 𝜃 = 0,05, xác suất theo phân phối nhị thức để mẫu quan sát với 20 cá thể và không có ai mắc bệnh là 36% Như vậy, mô hình Bayesian được định nghĩa như sau:

𝑦|𝜃~𝐵𝑖𝑛𝑜𝑚𝑖𝑛𝑎𝑙 (20, 𝜃) 𝜃~𝐵𝑒𝑡𝑎(2, 20)

Với mô hình Bayesian, chúng tính được phân phối hậu nghiệm của 𝜃|𝑦 𝜃|𝑦 ~ 𝐵𝑒𝑡𝑎(2 + 0, 20 + 20 − 0) = 𝐵𝑒𝑡𝑎 (2, 40)

Phân phối hậu nghiệm là sự kết hợp thông tin tiền nghiệm của hệ số 𝜃 với thông tin từ dữ liệu quan sát được, từ kết quả 𝑦 = 0 đã cung cấp bằng chứng một giá trị 𝜃 thấp hơn và dịch chuyển mật độ về bên trái tạo thành dạng mật độ hậu nghiệm

Trên cơ sở phân phối hậu nghiệm này, ta có thể ước tính giá trị trung bình hậu nghiệm cho 𝜃 là 2

(2+40)= 0,048 và xác suất hậu nghiệm của 𝜃 < 10% là khoảng 93%

Nếu chúng ta ước tính bằng phương pháp tần suất của 𝜃 như một tỷ lệ của chủ thể nhiễm bệnh trong mẫu là 𝑦̅ = 𝑦 𝑛⁄ , chúng ta có giá trị 0 với khoảng tin cậy (confidence interval) 95% chúng ta sẽ thu được khoảng giá trị (𝑦̅ − 1,96 ×√𝑦̅(1 − 𝑦̅)/𝑛, 𝑦̅ + 1,96 × √𝑦̅(1 − 𝑦̅)/𝑛 ) là 0 Điều này dường như rất khó để

thuyết phục được những nhà hoạch định chính sách lĩnh vực y tế rằng tỷ lệ mắc bệnh ở thành phố này là 0 với một mẫu nhỏ và thông tin tiên nghiệm sẵn có về các thành phố đối chứng là một tỷ lệ khác 0

Chúng ta sử dụng phân phối tiên nghiệm Beta trong ví dụ này, nhưng chúng ta cũng có thể lựa chọn một phân phối tiên nghiệm khác dựa trên kiến thức của chúng ta sẵn có (prior knowledge) về vấn đề nghiên cứu Đối với phân tích cuối cùng, điều quan trọng là phải xem xét một chuỗi phân phối tiên nghiệm khác nhau và điều tra độ nhạy đối với kết quả của tiên nghiệm được lựa chọn

1.2 So sánh phương pháp kinh tế lượng tần suất (frequentist) và Bayesian

Tại sao phải sử dụng Bayesian, hay câu hỏi tốt hơn là khi nào sử dụng phương pháp Bayesian, khi nào sử dụng phương pháp tần suất? Để trả lời câu hỏi này chủ yếu dựa vào vấn đề bạn nghiên cứu Bạn nên lựa chọn phương pháp phân tích phù hợp cho từng chủ đề cụ thể mà bạn nghiên cứu Ví dụ, nếu bạn quan tâm đến việc ước tính xác suất các thông số mà nó có một vài khoảng được xác định trước, bạn nên lựa chọn khung phân tích Bayesian, bởi vì xác suất này không thể ước tính chính xác bằng khung lý thuyết tần suất Tuy nhiên, nếu nghiên cứu của bạn dựa việc diễn trên một mẫu được lặp đi, lặp lại, phương pháp tần suất sẽ phù hợp với bạn

Bayesian và tần suất có những triết lý rất khác nhau về việc xem xét cái được cố định, do vậy, việc diễn giải kết quả nghiên cứu cũng khác nhau Cách tiếp cận Bayes dựa trên giả định rằng mẫu dữ liệu quan sát được là cố định và thông số của mô hình là ngẫu nhiên Phân phối hậu nghiệm của các thông số sẽ được ước tính dựa trên mẫu quan sát được và phân phối tiên nghiệm của thông số đó và sử dụng nó để diễn giải kết quả Phân phối tần suất thì lại giả định rằng các mẫu quan sát là mẫu lặp lại ngẫu nhiên và thông số này là không biết nhưng nó là cố định và không đổi thông qua việc lặp đi lặp lại các mẫu Sự diễn giải dựa trên phân phối mẫu của dữ liệu hoặc đặc tính thống kê của dữ liệu Nói cách khác, phân tích Bayesian trả lời câu hỏi dựa trên phân phối của thông số có điều kiện của mẫu quan sát được Trong đó, phân tích tần suất trả lời câu hỏi dựa trên phân phối thống kê đạt được lặp lại từ các mẫu giả thuyết, nó sẽ được tạo ra bởi cùng một quy trình mà quy trình

này được tạo ra từ các mẫu quan sát được vì các thông số thống kê này là chưa biết nhưng cố định Phương pháp tần suất đòi hỏi quá trình tạo ra các mẫu quan sát phải lặp lại liên tục Nhưng giả định này không phải lúc nào cũng khả thi Ví dụ, trong phân tích tổng hợp (meta-analysis), khi các mẫu quan sát được đại diện qua việc thu thập nghiên cứu được quan tâm, và vấn đề gây tranh cãi là sự thu thập các nghiên cứu này là một thí nghiệm một lần (one-time experiment)

Phân tích tần suất được điều khiển dữ liệu (data-driven) hoàn toàn (có nghĩa dữ liệu hoàn toàn khách quan) và sự chính xác của việc ước tính thông số phụ thuộc rất nhiều vào việc các giả định đòi hỏi của mô hình có được đáp ứng hay không? Trong khi đó, phân tích Bayes cung cấp một cách tiếp cận ước tính vững chắc hơn bằng cách không chỉ sử dụng dữ liệu thu thập được mà còn kết hợp với thông tin sẵn có hoặc những hiểu biết về thông số của mô hình

Trong phân tích tần suất, sự ước tính được sử dụng để xấp xỉ giá trị thật sự của thông số chưa biết, còn phân tích Bayes cung cấp một phân phối cho thông số Trong ví dụ tỷ lệ mắc bệnh được trình bày ở trên, phương pháp tần suất chỉ cho được một điểm ước lượng cho tỷ lệ mắc bệnh, trong khi đó, phân tích Bayes ước tính toàn bộ phân phối hậu nghiệm cho tỷ lệ mắc bệnh dựa trên mẫu nghiên cứu và thông tin từ tỷ lệ mắc bệnh từ các thành phố đối ứng

Diễn giải thống kê tần suất được dựa trên phân phối mẫu của sự ước tính thông số và cung cấp ước lượng điểm, sai số chuẩn cũng như độ tin cậy (confidence interval – khoảng tự tin về sự chính xác mô hình) Phân phối mẫu chính xác hiếm khi biết được và được xấp xỉ bởi một phân phối chuẩn mẫu lớn Diễn giải Bayes dựa trên phân phối hậu nghiệm của thông số và nó cung cấp bản tóm tắt của phân phối này bao gồm trung bình hậu nghiệm và sai số chuẩn của chuỗi MCMC (MCMC standard errors - MCSE) của chúng cũng như khoảng mật độ xác suất hậu nghiệm Mặc dù phân phối hậu nghiệm chính xác chỉ được biết trong một số trường hợp, phân phối hậu nghiệm tổng quát có thể ước tính được thông qua, ví dụ lấy mẫu chuỗi Markov chain Monte Carlo (MCMC) mà không cần phải xấp xỉ mẫu lớn

Khoảng tin cậy (confidence interval) của phương pháp tần suất không có sự diễn giải thống kê rõ rằng như khoảng tin cậy (credible interval) của Bayesian Ví

dụ, cách diễn giải khoảng tin cậy (confidence interval) 95% là nếu lặp lại cùng một nghiên cứu nhiều lần và tính khoảng tin cậy riêng lẻ cho mỗi nghiên cứu thì có 95% khoảng tin cậy của chúng sẽ bao gồm giá trị thật (true value) của thông số Với bất kỳ khoảng tin cậy nào, xác suất mà giá trị thật nằm trong khoảng tin cậy đó hoặc bằng 0 hoặc bằng 1 và chúng ta không biết cụ thể là bao nhiêu Chúng ta chỉ có thể diễn giải rằng bất kỳ một khoảng tin cậy nào cũng sẽ cung cấp một khoảng hợp lý cho giá trị thực của thông số Nhưng với Bayesian, khoảng tin cậy (credible interval) sẽ cung cấp một chuỗi cho một thông số và xác suất để thông số đó nằm trong chuỗi này là 95%

Kiểm định giả thuyết thống kê tần suất dựa vào việc sử dụng mức độ ý nghĩa thống kê (significance level) được chỉ định trước để quyết định chấp nhận hay bác bỏ giả thuyết vô hiệu (còn gọi là giả thuyết không – null hypothesis tức giả thuyết ngược với vấn đề nghiên cứu) theo dữ liệu quan sát được, giả định rằng giả thuyết không thật sự là đúng Quyết định được dựa vào p-value tính toán từ dữ liệu quan sát được Ý nghĩa p-value là nếu chúng ta lặp lại một thí nghiệm nhiều lần và sử dụng cùng quy trình kiểm định, nếu giả thuyết vô hiệu là đúng, p-value phản ánh xác suất dữ liệu xảy ra hoặc dữ liệu cực đoan hơn xảy ra nếu giả thuyết vô hiệu là đúng P-value không phản ánh xác suất của giả thuyết vô hiệu, nó chỉ có ý nghĩa rằng, xác suất dữ liệu xảy ra nếu giả thuyết vô hiệu là đúng

1.3 Các đặc tính của phân tích Bayes

Phân tích Bayes được bắt đầu với sự đặc tả của một mô hình hậu nghiệm (posterior model) Mô hình hậu nghiệm mô tả phân phối xác suất của tất cả tham số dựa trên dữ liệu quan sát và thông tin tiên nghiệm Phân phối hậu nghiệm gồm hai thành phần: hàm hợp lý tối đa (likelihood), nó bao gồm thông tin về các tham số của mô hình theo dữ liệu quan sát, và một tiên nghiệm, nó bao gồm thông tin tiên nghiệm, những hiểu biết về vấn đề nghiên cứu (trước khi có dữ liệu quan sát) về các tham số của mô hình hàm khả năng và mô hình tiên nghiệm được kết hợp với nhau bằng cách sử dụng quy tắc Bayes để tạo ra phân phối hậu nghiệm:

𝑃𝑜𝑠𝑡𝑒𝑟𝑖𝑜𝑟 ∝ 𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 × 𝑝𝑟𝑖𝑜𝑟

Nếu phân phối hậu nghiệm có thể được bắt đầu với một phân phối dạng gần (close form) chúng ta có thể tiến hành trực tiếp bước diễn giải kết quả Bayes Tuy nhiên, thực tế trừ một số mô hình đặc biệt, thì rất hiếm khi có sẵn một phân phối hậu nghiệm để phân tích do vậy nó cần được thiết lập thông qua mô phỏng Cách lấy mẫu MCMC có thể được sử dụng mô phỏng các phân phối hậu nghiệm phức tạp tiềm năng với một độ chính xác tùy ý Phương pháp MCMC cho sự mô phỏng mô hình Bayes thường yêu cầu xác định một thuật toán lấy mẫu hiệu quả và phải xác minh sự hội tụ của thuật toán để thỏa mãn phân phối hậu nghiệm

Diễn giải là bước tiếp theo của phân tích Bayes Nếu cách lấy mẫu MCMC được sử dụng để xấp xỉ phân phối hậu nghiệm thì phân tích hội tụ chuỗi MCMC phải được thực hiện trước khi tiến hành diễn giải kết quả Ước lượng điểm và khoảng hoặc được bắt nguồn từ phân phối hậu nghiệm lý thuyết (theoretical posterior distribution) hoặc ước tính bằng mô phỏng lấy mẫu từ phân phối hậu nghiệm Có rất nhiều ước tính Bayes, như trung bình hậu nghiệm, độ lệch chuẩn hậu nghiệm, và phải áp dụng tích phân tính toán Nếu tích phân không thể phân tích để có được một biểu thức dạng đóng thì những cách lấy mẫu phổ biến như tích phân Monte Carlo và MCMC và tích phân số (numerical integration) thường được sử dụng

Một bước quan trọng tiếp theo của phân tích Bayes là kiểm định, một phương pháp điểm hình là kiểm định dự báo hậu nghiệm Ý tưởng đằng sau kiểm định dự báo hậu nghiệm là sự so sánh các khía cạnh khác nhau của sự phân phối các dữ liệu quan sát với dữ liệu bản sao của nó Dữ liệu bản sao được mô phỏng từ phân phối dự báo hậu nghiệm của mô hình Bayes đã được xác định theo cùng điều kiện đã tạo ra dữ liệu quan sát như cùng giá trị độ lệch chuẩn, vân vân Sự khác biệt giữa phân phối của dữ liệu quan sát và dữ liệu bản sao được đo lường bởi kiểm định định lượng (hàm của dữ liệu và thông số mô hình) được gọi là p-value dự báo hậu nghiệm

Các giả thuyết của Bayes có thể được thực hiện dưới hai dạng: kiểm định giả thuyết khoảng (interval-hypothesis testing) và kiểm định giả thuyết mô hình (model-hypothesis testing) Trong kiểm định giả thuyết khoảng, xác suất mà thông số hoặc bộ thông số của mô hình thuộc một khoảng xác định hoặc khoảng được

tính toán Trong kiểm định mô hình, xác suất mô hình Bayes của vấn đề nghiên cứu được đưa ra bởi dữ liệu quan sát được tính toán

So sánh mô hình là bước tiếp theo của phân tích Bayes Khung lý thuyết Bayes cung cấp một cách tiếp cận nhất quán và có hệ thống cho việc so sánh mô hình bằng việc sử dụng ý tưởng của odds hậu nghiệm (posterior odds) và liên quan tới Bayes Factor

Cuối cùng, dự báo một vài dữ liệu không quan sát được cũng là vấn đề quan tâm trong phân tích Bayesian Việc dự báo một điểm dữ liệu mới được thực hiện dưới điều kiện sử dụng dữ liệu đã quan sát được gọi là phân phối dự báo hậu nghiệm (posterior predictive distribution) Nó tích hợp tất cả các tham số trong mô hình với các phân phối hậu nghiệm tương ứng của chúng Tích phân Monte Carlo một lần nữa là sự lựa chọn khả dĩ cho việc đạt được sự dự báo Sự dự báo cũng có thể hữu ích trong việc ước tính sự chuẩn xác mức độ thích hợp của mô hình

1.4 Những vấn đề cơ bản của thống kê Bayes

1.4.1 Phân phối hậu nghiệm (Posterior distribution)

Để lĩnh hội nguyên tắc thống kê Bayes, chúng ta sẽ bắt đầu với một trường hợp đơn giản với việc phân tích sự tương tác giữa hai biến ngẫu nhiên A và B Đặt 𝑝 ( ) là hàm khối xác suất hoặc mật độ xác suất tùy theo các biến là rời rạc hoặc liên tục Nguyên tắc xác suất có điều kiện

𝑝(𝐴|𝐵) = 𝑝(𝐴,𝐵)

𝑃(𝐵) , có thể được sử dụng để hình thành nên định lý Bayes 𝑝(𝐵|𝐴) = 𝑝(𝐴|𝐵)𝑝(𝐵)

(likelihood function) 𝐿(𝜃; 𝑦) = 𝑓(𝑦; 𝜃) = ∏𝑛𝑖=1𝑓(𝑦𝑖|𝜃)trong đó, 𝑓(𝑦𝑖|𝜃) thể hiện hàm phân phối mật độ xác suất của 𝑦𝑖 dưới điều kiện 𝜃 Chúng ta muốn suy luận một vài tính chất của 𝜃 trên cơ sở dữ liệu y Trong phân tích Bayes, mô hình thông số 𝜃 là một vector ngẫu nhiên Chúng ta giả định rằng 𝜃 có phân phối xác suất 𝑝(𝜃) = 𝜋(𝜃) Bởi vì cả 𝜃 và y đều ngẫu nhiên, ta có thể áp dụng định lý Bayes (1) để tính toán phân phối hậu nghiệm (posterior distribution) của 𝜃 với dữ liệu y cho trước

ln{𝑝(𝜃|𝑦)} = 𝑙(𝜃|𝑦) + ln{𝜋(𝜃)} − 𝑐

trong đó l (.;.) biểu thị hàm khả năng của mô hình Tùy thuộc vào quá trình phân tích liên quan đến hàm log hậu nghiệm (log-posterior) ln{p(𝜃|𝑦)}, giá trị của hằng số 𝑐 = ln{𝑚(𝑦)}có thể phù hợp hoặc không Tuy nhiên, để phân tích thống kê là vững, chúng ta sẽ luôn giả định rằng c là hữu hạn

1.4.2 Thông tin tiên nghiệm (prior information)

Trong phân tích Bayes, để tìm kiếm sự cân bằng giữa thông tin tiên nghiệm dưới dạng kiến thức chuyên môn hoặc niềm tin và bằng chứng từ dữ liệu có sẵn

Đạt được sự cân bằng phù hợp là một trong những nhiệm vụ khó khăn trong việc lập mô hình và suy luận theo cách tiếp cận Bayes Nói chung, chúng ta không nên để thông tin tiên nghiệm lấn át các bằng chứng thu được từ dữ liệu, đặc biệt khi chúng ta thu thập được một mẫu dữ liệu lớn Theo định lý Bernstein – von Mises nổi tiếng, với dữ liệu có số lượng quan sát lớn, phân phối hậu nghiệm cơ bản là độc lập với phân phối tiên nghiệm, do vậy, các suy luận Bayes dựa trên hàm hợp lý tối đa nhìn chung sẽ có kết quả giống nhau Mặt khác, chúng ta cần phải có thông tin tiên nghiệm đủ mạnh để hỗ trợ bằng chứng yếu thường đến từ những bộ dữ liệu có số lượng quan sát ít Nhằm đảm bảo thông tin tiên nghiệm là hợp lý, chúng ta nên tiến hành phân tích độ nhạy để kiểm tra mức độ biến động của phân phối hậu nghiệm với các thông tin tiên nghiệm được lựa chọn

Tính linh hoạt của việc tự do lựa chọn thông tin tiên nghiệm luôn là vấn đề gây ra nhiều tranh cãi và nhiều nhà nghiên cứu thực nghiệm cho rằng phân tích Bayes mang tính chủ quan Đây cũng là lý do giải thích cho việc các nhà nghiên cứu thực nghiệm theo trường phái Bayes, đặc biệt là giai đoạn ban đầu, luôn sử dụng tiên nghiệm phi thông tin (noninformative priors), còn được gọi là tiên nghiệm phẳng (flat prior), có nghĩa chúng ta sẽ gán xác suất bằng nhau cho tất cả các khả năng có thể có của không gian tham số với mục đích khắc phục vấn đề chủ quan Một trong những nhược điểm của flat prior là chúng thường không phù hợp; nghĩa là, chúng không chỉ định một phân phối xác suất chính thống (legitimate probability distribution) Ví dụ: sử dụng phân phối tiên nghiệm đều (a uniform prior) cho một tham số liên tục trên một miền không giới hạn không thể lấy tích phân cho một số hữu hạn Tuy nhiên, điều này không nhất thiết phải là một vấn đề quan trọng vì phân hậu nghiệm tương ứng vẫn có thể phù hợp Mặc dù suy diễn Bayes dựa trên các tiên nghiệm phi thông tin, nhưng điều này tương đương với việc loại bỏ hàm log 𝜋(𝜃) và giá trị hằng số c trong phương trình (5), do vậy diễn giải Bayes lúc này chỉ dựa trên hàm khả năng và làm mất đi các lợi thế của phương pháp Bayes Điều này giải thích tại sao các nhà nghiên cứu thường hạn chế đến mức tối đa việc sử dụng tiên nghiệm phi thông tin Trong những năm gần đây, ngày càng có nhiều nhà nghiên cứu ủng hộ việc sử dụng thông tin tiên nghiệm mạnh (sound

informative priors), ví dụ, Thompson (2014) Ví dụ, lĩnh vực như di truyền học, việc sử dụng thông tin tiên nghiệm là bắt buộc, với phân phối tiên nghiệm có cơ sở vững chắc và phản ánh kiến thức khoa học

Một phương pháp lựa chọn thông tin tiên nghiệm thuận tiện được ưu thích đó là phân phối liên hợp (Nếu các xác suất phân phối hậu nghiệm p cùng họ phân phối xác suất với phân phối xác suất tiên nghiệm p(θ), thì phân phối trước và sau được gọi là phân phối liên hợp, và phân phối tiên nghiệm được gọi là liên hợp tiên nghiệm đối với hàm khả năng p) Sự lựa chọn này giúp thỏa mãn cả quan điểm kỹ thuật và tính toán mà không nhất thiết phải cung cấp một phân phối thực tế (realistic representation) của thông số mô hình Tuy nhiên, do xác suất phân phối hậu nghiệm phải cùng họ với hàm phân phối xác suất tiên nghiệm, do vậy phân phối liên hợp có những hạn chế nhất định, xu hướng sử dụng chúng quá mức đã hạn chế nghiêm trọng tính linh hoạt của mô hình Bayes

1.4.3 Ước lượng điểm và ước lượng khoảng

Trong thống kê Bayes, suy luận về các tham số dựa trên phân phối hậu nghiệm 𝑝(𝜃|𝑦) và nhiều cách khác nhau để tóm tắt phân bố này Các ước lượng điểm và khoảng có thể được sử dụng để tóm tắt sự phân bố này

Công cụ ước lượng điểm thường được sử dụng là giá trị trung bình hậu nghiệm

𝐸(𝜃|𝑦) = ∫ 𝜃𝑝(𝜃|𝑦)𝑑𝜃

và trung vị hậu nghiệm, 𝑞0.5(𝜃) là 0,5 quantile (quantile là các điểm cắt chia phạm vi phân bố xác suất thành các khoảng liên tục với xác suất bằng nhau) của phân phối hậu nghiệm

𝑃{𝜃 ≤ 𝑞0.5(𝜃|𝑦)} = 0.5

Một công cụ ước lượng điểm khác là yếu vị hậu nghiệm (posterior mode), là giá trị của 𝜃 dẫn đến tối đa hóa xác suất 𝑝(𝜃|𝑦)

Ước tính khoảng (Interval estimation) được thực hiện bằng cách xây dựng khoảng cái gọi là khoảng tin cậy (credible intervals-CRI) CRI là những trường hợp đặc biệt của vùng tin cậy (credible regions) Gọi 1 − 𝛼 ∈ (0,1) là một giá trị tin cậy được xác định trước Sau đó, một khoảng {(1 − 𝛼) × 100}% tập hợp đáng tin cậy R sao cho

equal-Khoảng HPD được định nghĩa là {(1 − 𝛼) × 100}% CRI của chiều rộng nhỏ nhất (shortest width) Tên của nó có hàm ý rằng khoảng này tương ứng với vùng mật độ hậu nghiệm có mức độ tập trung cao nhất Đối với phân phối hậu nghiệm đơn phương thức, HPD là duy nhất, nhưng đối với phân phối đa phương thức, HPD có thể không phải là duy nhất Các phương pháp tính toán để tính HPD được mô tả trong Chen và Shao (1999) và Eberly và Casella (2003)

1.4.4 So sánh các mô hình Bayesian

So sánh mô hình là một khía cạnh quan trọng khác của thống kê Bayes Chúng ta thường quan tâm đến việc so sánh hai hoặc nhiều mô hình phù hợp với dữ liệu của chúng ta

Giả sử rằng chúng ta có mô hình 𝑀𝑗 được tham số hóa bởi vectơ 𝜃𝑗 , j = 1 , … , r Chúng ta có thể có các niềm tin ở mức độ khác nhau đối với mỗi mô hình này được đưa ra bởi các xác suất tiên nghiệm khác nhau 𝑝(𝑀𝑗), sao cho ∑𝑟𝑗=1 𝑝(𝑀𝑗) = 1 Bằng cách áp dụng định lý Bayes, chúng ta có thể tính được các xác suất hậu nghiệm của mô hình như sau:

𝑝(𝑀𝑗|𝑦) =𝑝(𝑦|𝑀𝑗)𝑝(𝑀𝑗)𝑝(𝑦)

trong đó 𝑝(𝑦|𝑀𝑗) = 𝑚𝑗(𝑦) là khả năng cận biên (marginal likelihood) của 𝑀𝑗 đối với y Bởi vì sự phức tạp trong việc tính toán xác suất 𝑝(𝑦), do vậy một phương pháp so sánh phổ biến hai mô hình, chẳng hạn 𝑀𝑗 và 𝑀𝑘, đó là sử dụng tỷ lệ odds hậu nghiệm

𝑃𝑂𝑗𝑘 = 𝑝(𝑀𝑗|𝑦)𝑝(𝑀𝑘|𝑦)=

Nếu tất cả các mô hình đều khả năng như nhau, nghĩa là 𝑝(𝑀𝑗) = 1 = 1/𝑟, tỷ lệ odds hậu nghiệm giảm xuống còn gọi là hệ số Bayes (BF) (Jeffreys 1935),

𝐵𝐹𝑗𝑘 = 𝑝(𝑦|𝑀𝑗)𝑝(𝑦|𝑀𝑘) =

Tỷ số được đơn giản là tỷ lệ khả năng cận biên (marginal likelihood)

Jeffreys (1961) đề xuất diễn giải 𝐵𝐹𝑗𝑘 dựa trên nửa đơn vị của thang đo log Bảng sau cung cấp một số quy tắc ngón tay cái:

0 đến ½ ½ đến 1 1 đến 2 >2

1 đến 3.2 3.2 đến 10 10 đến 100

>100

Không đáng kể Đáng kể

Mạnh Quyết định

1 Tiêu chí Schwarz BIC (Schwarz 1978) là một ước tính của BF trong trường hợp các tiên nghiệm tùy ý nhưng thích hợp Kass và Raftery (1995) và Berger (2006) trình bày chi tiết phân tích nhân tố Bayes, cách tính toán và vai trò của chúng trong việc xây dựng và mô phỏng mô hình

1.4.5 Dự báo hậu nghiệm

Dự báo được xem là một phần cốt lõi nhất của phân tích thống kê Trong thống kê Bayes, dự báo được thực hiện thông qua phân phối dự dự báo hậu nghiệm Xác suất quan sát một số dữ liệu trong tương lai 𝑦∗ với điều kiện dữ liệu y quan sát được tính toán thông qua công thức xác suất có điều kiện:

Tích phân ban đầu của giá trị E{g(𝜃)} có thể được tính gần đúng bằng

𝑔̂ = 1

𝑇∑ 𝑔(𝜃𝑇)

𝑡=1

Hơn nữa, nếu g là một hàm vô hướng, trong một số điều kiện ít ràng buộc, định lý giới hạn trung tâm có thể được xấp xỉ:

𝑔̂ ≈ 𝑁[𝐸{𝑔(𝜃)}, 𝜎2/𝑇]

trong đó 𝜎2 = 𝐶𝑂𝑉{𝑔(𝜃𝑖)} ó thể được tính gần đúng bằng phương sai mẫu ∑𝑇𝑡=1{𝑔(𝜃𝑇) − 𝑔̂}2/𝑇 Nếu mẫu không độc lập thì 𝑔̂ vẫn có thể được xấp xỉ 𝐸{𝑔(𝜃)} nhưng phương sai được cho bởi

Phương pháp tích phân Monte Carlo có thể giải quyết vấn đề Bayes về tính toán xác suất phân phối hậu nghiệm bằng cách lấy mẫu từ chính phân phối hậu nghiệm đó Đây là một vấn đề quan trọng trong thống kê và là trọng tâm của các nghiên cứu chuyên sâu Kỹ thuật lấy mẫu Metropolis-Hastings (hay Rejection sampling) đóng vai trò là công cụ cơ bản để tạo mẫu từ phân phối xác suất tổng quát (von Neumann 1951) Một giải pháp thay thế là sử dụng chuỗi Markov để tạo chuỗi các điểm mẫu tương quan từ miền của phân phối đích (target) và giữ tỷ lệ chấp nhận hợp lý

1.4.7 Phương pháp chuỗi Markov Monte Carlo (MCMC)

Mọi phương phương MCMC được thiết kế để tạo ra các giá trị từ một hạt nhân chuyển tiếp sao cho các đồ thị từ hạt nhân đó hội tụ đến một phân phối xác định trước Nó mô phỏng một chuỗi Markov với mục tiêu phân phối của chuỗi sẽ đạt trạng thái dừng hoặc cân bằng Theo định nghĩa, chuỗi Markov là chuỗi giá trị hoặc trạng thái bất kỳ từ miền của phân phối mục tiêu, sao cho mỗi giá trị chỉ phụ thuộc vào giá trị trực tiếp trước đó của nó Đối với MCMC được thiết kế tốt, chuỗi càng dài thì các mẫu càng gần với phân phối ổn định Các phương pháp chuỗi MCMC khác nhau đáng kể về hiệu quả mô phỏng và độ phức tạp tính toán của chúng

Thuật toán Metropolis được đề xuất đề xuất bởi Metropolis và Ulam (1949); Metropolis và cộng sự (1953) được xem là phiên bản sớm nhất của MCMC Thuật toán tạo ra một chuỗi các trạng thái, mỗi trạng thái thu được từ trạng thái sự kiện trước đó, theo phân phối Gaussian với mật độ tập trung tại trạng thái đó Hastings (1970) đã đề xuất một phiên bản thuật toán tổng quát, hiện được gọi là thuật toán Metropolis – Hastings (MH), cho phép nhiều phân phối được sử dụng làm phân phối đề xuất Tiếp theo, chúng ta sẽ tìm hiểu thuật toán MH tổng quát và một số trường hợp đặc biệt của nó

1.4.8 Thuật toán Metropolis – Hastings

Ở đây chúng ta sẽ xem xét thuật toán MH để lấy mẫu từ phân phối hậu nghiệm trong một công thức tổng quát Nó yêu cầu chỉ định phân phối xác suất đề xuất 𝑞( ) và trạng thái bắt đầu 𝜃0 trong miền hậu nghiệm, nghĩa là, 𝑝(𝜃0|𝑦) > 0 Thuật toán tạo chuỗi Markov {𝜃𝑡}𝑡=0𝑇−1sao cho ở mỗi bước 𝑡 1) trạng thái đề xuất 𝜃∗ được tạo có điều kiện đối với trạng thái hiện tại, và 2) 𝜃∗ được chấp nhận hoặc bị từ chối theo tỷ lệ chấp nhận được xác định

Cho 𝑡 = 1, 2, … , 𝑇 − 1:

2 Tạo ra một trạng thái đề xuất: 𝜃∗~ 𝑞( |𝜃𝑡−1)

3 Tính xác suất chấp nhận 𝛼(𝜃∗|𝜃𝑡−1) = min {𝑟(𝜃∗|𝜃𝑡−1), 1)}, trong đó: 𝑟(𝜃∗|𝜃𝑡−1) = 𝑝(𝜃∗|𝑦)𝑞(𝜃𝑡−1|𝜃∗)

𝑝(𝜃𝑡−1|𝑦)𝑞(𝜃∗|𝜃𝑡−1)4 Cho 𝑢 ~ Uniform (0,1)

5 Đặt 𝜃𝑡 = 𝜃∗ nếu 𝑢 < 𝛼(𝜃∗|𝜃𝑡−1), và 𝜃𝑡 = 𝜃𝑡−1 trong trường hợp ngược lại Chúng ta tiếp tục lặp lại các bước từ 1 đến 4 dưới dạng cập nhật MH Theo thiết lập, bất kỳ chuỗi Markov nào được mô phỏng bằng thuật toán MH đều được đảm bảo sẽ có 𝑝(𝜃0|𝑦) là phân phối dừng của nó

Hai tiêu chí quan trọng đo lường hiệu quả của MCMC là tỷ lệ chấp nhận của chuỗi và mức độ tự tương quan trong mẫu được tạo ra Khi tỷ lệ chấp nhận gần bằng 0, thì hầu hết các đề xuất đều bị từ chối, điều đó có nghĩa là chuỗi đã thất bại trong việc khám phá các vùng xác suất hậu nghiệm được chấp nhận Trong một

trường hợp cực đoan khác là khi xác suất chấp nhận gần bằng 1, khi đó này chuỗi này nằm trong một vùng nhỏ và không thể khám phá toàn bộ miền hậu nghiệm Một MCMC hiệu quả có tỷ lệ chấp nhận không quá nhỏ cũng không quá lớn và cũng có mức độ tương quan thấp Gelman, Gilks và Roberts (1997) đã chỉ ra rằng trong trường hợp mô hình hậu nghiệm đa biến, tỷ lệ chấp nhận 0,234 là tiệm cận tối ưu và trong trường hợp hậu nghiệm đơn biến, tỷ lệ chấp nhận đạt 0,45 là mức tiệm cận tối ưu

Trong trường hợp đặc biệt của MH sử dụng cập nhật Metropolis với 𝑞( ) là phân phối đối xứng, tỷ lệ chấp nhận giảm xuống tỷ lệ xác suất hậu nghiệm

𝑟(𝜃∗|𝜃𝑡−1) = 𝑝(𝜃∗|𝑦)𝑝(𝜃𝑡−1|𝑦)

Phân phối Gaussian là lựa chọn phổ biến cho phân phối đề xuất 𝑞( ) và nguồn gốc thuật toán Metropolis cũng được đề xuất bởi phân phối này

Một phương pháp MCMC quan trọng khác có thể được xem là một trường hợp đặc biệt của MH là cách lấy mẫu Gibbs (Gelfand et al 1990), trong đó các bản cập nhật là bản phân phối xác suất có điều kiện của từng tham số đối với phần còn lại của các tham số khác Cập nhật Gibbs luôn được chấp nhận Nếu 𝑗 = 1 … , 𝑑, 𝑞𝑗 là phân phối xác suất có điều kiện của 𝜃𝑗 với phần còn lại 𝜃{−𝑗}, thuật toán lấy mẫu Gibbs được thực hiện như sau Với 𝑡 = 1, … , 𝑇 − 1 và 𝑗 = 1, … 𝑑: 𝜃𝑡𝑗 ~ 𝑞𝑗( |𝜃𝑡−1{−𝑗}) Bước này được gọi là cập nhật Gibbs

Tất cả các phương pháp MCMC đều có chung một số hạn chế và các vấn đề tiềm ẩn Đầu tiên, bất kỳ chuỗi mô phỏng nào đều bị ảnh hưởng bởi các giá trị ban đầu của nó, đặc biệt là đối với các lần chạy MCMC ngắn Nó yêu cầu điểm bắt đầu phải có xác suất hậu nghiệm dương, nhưng ngay cả khi điều kiện này được thỏa mãn, nếu chúng ta bắt đầu ở đâu đó ở phần đuôi xa của phân phối mục tiêu, thì có thể mất nhiều lần lặp để đạt được vùng xác suất đáng kể Thứ hai, vì không có tiêu chí dừng rõ ràng, do vậy không dễ quyết định thời gian chạy thuật toán MCMC để đạt được sự hội tụ tại phân phối mục tiêu Thứ ba, các quan sát trong các mẫu

MCMC có mức độ phụ thuộc rất lớn và điều này phải được tính đến trong bất kỳ suy luận thống kê nào sau đó Ví dụ, các sai số liên quan đến tích phân Monte Carlo nên được tính theo phương trình (7), điều này giải thích cho hiện tượng tự tương quan

1.4.9 Bước tự do Metropolis–Hastings

Việc lựa chọn phân phối đề xuất q (·) trong thuật toán MH là rất quan trọng đối với các thuộc tính hỗn hợp của chuỗi Markov Vấn đề xác định một đề xuất tối ưu cho một phân phối hậu nghiệm mục tiêu cụ thể là rất khó và vẫn đang nhận được rất nhiều sự quan tâm của các nhà nghiên cứu Tất cả các giải pháp được đề xuất đều dựa trên một số trạng thái điều chỉnh của phân phối đề xuất trong quá trình chuỗi Markov được tạo ra, nó được thiết kế để duy trì tính ổn định của chuỗi, tức là xu hướng của nó hội tụ với phân phối mục tiêu Các phương pháp này được gọi là phương pháp MCMC thích ứng (Haario và cộng sự [2001]; Giordani và Kohn [2010]; và Roberts và Rosenthal [2009])

Phần lớn các phương pháp MCMC thích ứng (adaptive) là các thuật toán bước ngẫu nhiên MH với các dạng cập nhật: 𝜃∗ = 𝜃𝑡−1 + 𝑍𝑡 trong đó 𝑍𝑡 theo các dạng phân phối cân xứng Cụ thể, chúng ta xem xét phân phối Gaussian với thuật toán bước ngẫu nhiên MH 𝑍𝑡 ~ 𝑁(0, ρ2Σ) Trong đó ρ là đại lượng vô hướng kiểm soát quy mô của các bước nhảy ngẫu nhiên để tạo ra các cập nhật và Σ là ma trận hiệp phương sai d-chiều Một trong những kết quả quan trọng đầu tiên về sự thích nghi (adaptation) là của Gelman, Gilks và Roberts (1997), trong đó các tác giả rút ra hệ số tỷ lệ tối ưu ρ = 2,38 = pd và lưu ý rằng Σ tối ưu là ma trận hiệp phương sai thực của phân phối mục tiêu

Haario, Saksman và Tamminen (2001) đề xuất Σ được ước lượng bởi ma trận hiệp phương sai thực nghiệm cộng với ma trận đường chéo nhỏ (small diagonal matrix) 𝜖 × 𝐼𝑑 để ngăn chặn ma trận hiệp phương sai bằng không Ngoài ra, Roberts và Rosenthal (2009) đã đề xuất một hỗn hợp của hai ma trận hiệp phương sai

Σ𝑡 = 𝛽Σ̂ + (1 − 𝛽)Σ0

cho một số ma trận hiệp phương sai cố định Σ0 và 𝛽 ∈ [0, 1]

Bởi vì phân phối đề xuất của một thuật toán MH thích ứng (adaptive) thay đổi ở mỗi bước, do vậy tính ổn định của chuỗi không nhất thiết phải được bảo toàn Tuy nhiên, dưới một số giả định nhất định về quá trình thích ứng, thuộc tính lý thuyết Ergodic vẫn giữ nguyên (xem Roberts và Rosenthal (2007), Andrieu và Moulines (2006), Atchade và Rosenthal (2005), và Giordani và Kohn (2010)) 1.4.10 Blocking tham số

Trong thuật toán MH, các bước cập nhật của việc tạo đề xuất và áp dụng quy tắc chấp nhận - từ chối được thực hiện đồng thời cho tất cả các tham số mô hình Đối với các mô hình đa chiều, điều này có thể dẫn đến sự pha trộn kém — chuỗi Markov có thể ở trong các đuôi của hậu nghiệm trong một thời gian dài và đạt mức hội tụ rất chậm Sự pha trộn dưới mức tối ưu được biểu hiện bằng tỷ lệ chấp nhận rất cao hoặc rất thấp Các thuật toán MH thích ứng cũng dễ gặp vấn đề này, đặc biệt là khi các thông số mô hình có thang đo khác nhau Một giải pháp hiệu quả cho vấn đề này được gọi là Blocking, nghĩa là các tham số mô hình được tách thành hai hoặc nhiều tập con hoặc khối và cập nhật MH được áp dụng cho từng khối riêng biệt theo thứ tự các khối được chỉ định

Xem xét tách một vectơ tham số thành các khối 𝐵: 𝜃 = {𝜃1, … , 𝜃𝐵}, Quá trình của thuật toán MH bước ngẫu nhiên Gaussian được blocking như sau

Gọi T0 là số lần lặp burn-in (burn-in loại bỏ số mẫu MCMC ban đầu), T là số mẫu chuỗi MCMC và ρ𝑏2Σ𝑏 𝑏 = 1, … , 𝐵, là ma trận hiệp phương sai đề xuất cụ thể theo khối Gọi là 𝜃0 điểm bắt đầu trong miền hậu nghiệm, 𝑝(𝜃0|𝑦) > 0

1 Tại lần lặp t, cho 𝜃𝑡 = 𝜃𝑡−1

2 Đối với một khối (block) tham số 𝜃𝑡𝑏:

2.1 Cho 𝜃∗ = 𝜃𝑡 Tạo một đề xuất cho khối thứ 𝑏: 𝜃∗𝑏 = 𝜃𝑡−1𝑏 + 𝜖, trong đó 𝜖 ~ 𝑁(0, ρ𝑏2Σ𝑏)

2.2 Tính tỷ lệ chấp nhận

𝑟(𝜃∗|𝜃𝑡) =𝑝(𝜃∗|𝑦)𝑝(𝜃𝑡|𝑦)Trong đó 𝜃∗ = (𝜃𝑡1, 𝜃𝑡2, … , 𝜃𝑡𝑏−1, 𝜃∗𝑏, 𝜃𝑡𝑏+1, 𝜃𝑡𝐵)

1.4.11 Metropolis–Hastings và cách lấy mẫu Gibbs

Trình lấy mẫu Gibbs gốc thực hiện với từng thông số mô hình theo phân phối có điều kiện của nó Như đã lưu ý, Gibbs là một trường hợp đặc biệt của thuật toán MH Thật không may, đối với hầu hết các phân phối hậu nghiệm trong thực tế, các điều kiện hoặc không có sẵn hoặc rất khó lấy từ mẫu Tuy nhiên, có thể xảy ra trường hợp đối với một số thông số mô hình hoặc nhóm thông số, các điều kiện là có sẵn và dễ dàng tạo từ mẫu Điều này được thực hiện trong một thuật toán MH

kết hợp, chỉ thực hiện lấy mẫu Gibbs cho một số khối tham số Một thuật toán MH kết hợp kết hợp các bước ngẫu nhiên Gaussian với cách lấy Gibbs để cải thiện sự kết hợp của chuỗi

Thuật toán MH với tính năng blocking cho phép các bộ lấy mẫu khác nhau được sử dụng để tiến hành cập nhật cho các khối khác nhau Nếu có một nhóm tham số mô hình với liên hợp tiên nghiệm (hoặc trước bán liên hợp), chúng ta có thể đặt nhóm tham số này trong một khối riêng biệt và sử dụng lấy mẫu Gibbs cho nó Điều này có thể cải thiện đáng kể hiệu quả lấy mẫu tổng thể của thuật toán

Ví dụ, giả sử rằng dữ liệu được phân phối chuẩn với giá trị trung bình µ đã biết và chúng ta chỉ định một gamma nghịch đảo tiên nghiệm cho 𝜎2 với hình dạng α và tỉ lệ β, là một số hằng số cố định

1.4.12 Chuẩn đoán hội tụ chuỗi MCMC

Kiểm tra sự hội tụ của MCMC là một bước cực kỳ quan trọng trong bất kỳ mô phỏng MCMC nào Suy luận Bayes dựa trên mẫu MCMC chỉ vững nếu chuỗi Markov đã hội tụ Điều quan trọng là chúng ta phải kiểm tra sự hội tụ cho tất cả các tham số mô hình chứ không chỉ cho một tập hợp con các tham số được quan tâm Một khó khăn khi đánh giá sự hội tụ của MCMC là không có một tiêu chí hội tụ thuyết phục duy nhất Việc chẩn đoán hội tụ thường bao gồm việc kiểm tra một số điều

kiện cần thiết (nhưng không nhất thiết phải đủ) Nói chung, bạn kiểm tra càng nhiều khía cạnh của mẫu MCMC, thì kết quả của bạn càng đáng tin cậy

Phương pháp chuẩn đoán hội tụ phổ biến nhất là phương pháp được đề xuất bởi Cowles và Carlin (1996) Các thảo luận khác về kiểm định sự hội tụ có thể được tìm thấy trong các nghiên cứu Gelman và cộng sự (2014) và Brooks và cộng sự (2011)

Có ít nhất hai cách tiếp cận tổng quát để phát hiện các vấn đề hội tụ Đầu tiên là kiểm tra xu hướng pha trộn và thời gian dừng của chuỗi các thông số riêng lẻ Phương pháp thứ hai là kiểm tra xu hướng pha trộn và thời gian dừng của nhiều chuỗi cho mỗi thông số Hội tụ giả xảy ra khi chuỗi dường như đã hội tụ nhưng nó thực sự chỉ khám phá một phần của miền của phân phối hậu nghiệm Để kiểm tra sự hội tụ giả, Gelman và Rubin (1992) đề xuất chạy nhiều chuỗi từ các trạng thái bắt đầu khác nhau và tiến hành so sánh chúng

Biểu đồ vết (Trace plots) là chẩn đoán hội tụ dễ tiếp cận nhất và dễ dàng kiểm tra trực quan Biểu đồ vết của một tham số biểu thị các giá trị được mô phỏng cho tham số này so với số lần lặp Biểu đồ vết của một tham số trộn tốt phải nhanh chóng đi qua miền hậu nghiệm và phải có giá trị trung bình và phương sai gần như không đổi

Trong hình tiếp theo, chúng ta sẽ xem xét các ví dụ về biểu đồ vết cho bốn tham số: var1, var2, var3 và var4 Hai tham số đầu tiên, var1 và var2, có chuỗi pha trộn tốt, và hai thông số còn lại có chuỗi pha trộn kém Chuỗi cho tham số var1 có tỷ lệ chấp nhận vừa phải, khoảng 35% và hiệu suất từ 10% đến 20% Đây là kết quả điển hình cho thuật toán MH với bước ngẫu nhiên Gaussian đã đạt được sự hội tụ Biểu đồ theo dõi của var2 ở bảng trên cùng bên phải cho thấy sự trộn gần như hoàn hảo — đây là ví dụ điển hình của việc lấy mẫu Gibbs với tỷ lệ chấp nhận gần bằng 1 và hiệu suất trên 95% Mặc dù cả hai chuỗi đều đi ngang qua các miền biên hậu nghiệm của chúng, nhưng chuỗi bên phải tiến nhanh hơn về miền này Mặt khác, các thuật toán MCMC hiệu quả hơn như lấy mẫu Gibbs thường đi kèm với chi phí tính toán cao hơn

Hai biểu đồ dấu vết dưới cùng minh họa các trường hợp pha trộn không tốt và thiếu sự hội tụ Ở bên trái, chuỗi cho var3 thể hiện tỷ lệ chấp nhận cao nhưng độ bao phủ kém của miền hậu nghiệm biểu hiện bằng sự trôi dạt ngẫu nhiên ở các vùng cô lập Chuỗi này được tạo ra bởi thuật toán MH bước ngẫu nhiên Gaussian với phân phối đề xuất có phương sai rất nhỏ Ở bên phải, chuỗi cho tham số var4 có tỷ lệ chấp nhận rất thấp, dưới 3%, vì phân phối đề xuất có phương sai rất lớn Trong cả hai trường hợp, các chuỗi không hội tụ; kết quả mô phỏng không đại diện cho phân phối hậu nghiệm và do đó nên bị loại bỏ

Như đã trình bày trước đó, các mẫu được mô phỏng bằng phương pháp MCMC có mối tương quan với nhau Mối tương quan càng nhỏ thì quá trình lấy mẫu càng hiệu quả Hầu hết các thuật toán MH thường có hệ số tương quan cao, trong khi thuật toán Gibbs thường ít tương quan hơn Dưới đây là các đồ thị tự tương quan cho bốn tham số giống nhau bằng cách sử dụng các mẫu MCMC giống nhau Sự tự tương quan của var1, đến từ một chuỗi MH trộn đều, trở nên không đáng kể khá nhanh, sau khoảng 10 độ trễ Mặt khác, tự tương quan của var2 được mô phỏng

bằng cách sử dụng lấy mẫu Gibbs về cơ bản là không đáng kể đối với tất cả các độ trễ dương Trong trường hợp pha trộn kém vì phương sai đề xuất nhỏ (tham số var3), có thể quan sát thấy mối tương quan thuận rất cao trong ít nhất 100 độ trễ Tính tự tương quan của var4 cao nhưng thấp hơn so với var3

Yu và Mykland (1998) đề xuất một phương pháp chuẩn đoán đồ họa để đánh giá sự hội tụ của các tham số riêng lẻ dựa trên tổng tích lũy, còn được gọi là biểu đồ cusum Theo định nghĩa, bất kỳ biểu đồ cusum nào đều bắt đầu từ 0 và kết thúc ở 0 Các ô Cusum rất hữu ích để phát hiện các điểm trôi dạt trong chuỗi Đối với một chuỗi không có xu hướng, biểu đồ cusum phải vượt qua trục x Ví dụ, sự trôi dạt sớm (drift: trôi dạt ngẫu nhiên, đây là sự thay đổi giá trị trung bình của một quá trình ngẫu nhiên) có thể cho thấy sự phụ thuộc vào các giá trị bắt đầu Nếu chúng ta phát hiện ra sự trôi dạt sớm, chúng ta nên loại bỏ một phần ban đầu của chuỗi và tăng kích cỡ chuỗi MCMC Dưới đây, chúng ta sẽ xem xét biểu đồ vết của một tham số pha trộn kém và biểu đồ cusum tương ứng của nó ở bên phải Có một sự trôi dạt dương rõ ràng trong khoảng nửa đầu của chuỗi, sau đó là sự trôi dạt

theo hướng âm Kết quả là, đồ thị cusum có hình dạng giống như một ngọn núi và không bao giờ vượt qua trục x

Đồ thị Cusum cũng có thể được sử dụng để đánh giá tốc độ trộn của chuỗi Quá trình trộn chuỗi càng chậm, các ô cusum càng mượt Ngược lại, việc trộn chuỗi càng nhanh, các ô cusum càng gồ ghề Dưới đây là các biểu đồ cusum cho bốn biến được xem xét trước đó Chúng ta có thể thấy rõ sự tương phản giữa đường răng cưa của thông số pha trộn nhanh var1 và var2 và đường cusum rất mịn của thông số trộn kém var3

Phân tích Bayes là một quy trình thống kê trả lời các câu hỏi nghiên cứu với giả định là các tham số chưa biết thông qua sử dụng các quy luật xác suất, điều này giúp Bayes phù hợp hơn trong thực tế Suy luận Bayes dựa trên sự phân bố hậu nghiệm của các tham số mô hình có điều kiện dựa trên dữ liệu quan sát Phân phối hậu nghiệm là sự kết hợp giữa phân phối hàm khả năng của dữ liệu và phân phối tiên nghiệm của các tham số trong mô hình Hàm khả năng được xác định dựa trên giống như với phương pháp tần suất Phân phối tiên nghiệm được xây dựng dựa trên kiến thức khoa học trước đó (trước khi quan sát dữ liệu) và kết quả từ các nghiên cứu trước Phân tích độ nhạy thường được thực hiện để đánh giá ảnh hưởng của các tiên nghiệm khác nhau đối với kết quả hậu nghiệm

Nhiều phân phối hậu nghiệm không có dạng đóng và phải được mô phỏng bằng các phương pháp MCMC như phương pháp MH hoặc phương pháp Gibbs hoặc đôi khi là sự kết hợp của chúng Sự hội tụ của MCMC phải được kiểm chứng trước khi có thể đưa ra bất kỳ suy luận hậu nghiệm nào

Các phân phối biên hậu nghiệm của các tham số được sử dụng để suy luận Chúng được tóm tắt bằng cách sử dụng các công cụ ước lượng điểm chẳng hạn như giá trị trung bình hậu nghiệm và ước tính trung vị và ước lượng khoảng như khoảng tin cậy và khoảng mật độ phân phối xác suất Các khoảng tin cậy là các phạm vi cố định mà tham số được biết là thuộc về với xác suất xác định trước Kiểm tra giả thuyết được thực hiện thông qua gán một xác suất thực tế tính toán được cho bất kỳ giả thuyết nào được quan tâm Một số tiêu chí có sẵn để so sánh các mô hình quan tâm Các dự báo và kiểm tra mô hình cũng có sẵn dựa trên phân phối dự báo hậu nghiệm

Phân tích Bayes cung cấp nhiều lợi thế so với phương pháp tần suất truyền thống, chẳng hạn như khả năng kết hợp thông tin tiên nghiệm trong phân tích, có khả năng xử lý vấn đề kích cỡ mẫu nhỏ, suy luận toàn diện hơn dựa trên kiến thức về toàn bộ phân phối hậu nghiệm và các giải thích trực quan và trực tiếp hơn về kết quả bằng cách sử dụng các câu lệnh xác suất về các tham số

Tóm tắt chương 1:

Trong chương 1, chúng tôi đã bàn những vấn đề cơ bản của phân tích Bayes, so sánh phương pháp này với phương pháp kinh tế lượng tần suất truyền thống Bên cạnh đó các thành phần cơ bản của phân tích Bayes bao gồm phân phối hậu nghiệm, thông tin tiên nghiệm và ước lượng điểm cũng đã được chúng tôi trình bày

Vấn đề với phân tích Bayes là phương pháp lấy mẫu Trong nội dung sách chuyên khảo này, chúng tôi trình bày thuật toán lấy mẫu Metropolis-Hastings Bên cạnh đó, cách thức đánh giá sự hội tụ của chuỗi MCMC cũng được chúng tôi trình bày chi tiết

CHƯƠNG 2: ỨNG DỤNG PHÂN TÍCH BAYES CƠ BẢN

Chương này sẽ mô tả các lệnh để thực hiện phân tích Bayes Phân tích Bayes là một quy trình thống kê trả lời các câu hỏi nghiên cứu bằng tính toán xác suất cho các sự kiện mà nghiên cứu quan tâm Nó dựa trên giả định cơ bản rằng tất cả các tham số chưa biết trong mô hình thống kê về cơ bản là ngẫu nhiên và phụ thuộc vào các niềm tin trước đó

Chúng ta sẽ xem xét một ví dụ với dữ liệu được lấy từ nghiên cứu của Nguyễn Ngọc Thạch và Lê Hoàng Anh (2016) Ví dụ này đánh giá tác động của quy mô ngân hàng đến tỷ lệ nợ xấu của các ngân hàng thương mại Việt Nam Nghiên cứu cũng xem xét tác động này giữa ngân hàng thương mại nhà nước và ngân hàng thương mại cổ phần

Bộ dữ liệu bank.xlsx sử dụng để minh họa các câu lệnh được trích từ nghiên cứu của Nguyễn Ngọc Thạch và Lê Hoàng Anh (2016) chỉ chứa 12 quan sát bao gồm:

- Biến npl: đại diện cho tỷ lệ nợ xấu của ngân hàng thương mại Việt Nam - Biến group: là biến nhị phân 1 đại diện “ngân hàng thương mại nhà nước”;

0 đại diện cho “ngân hàng thương mại cổ phần”

- Biến size: đại diện cho quy mô ngân hàng, được tính bằng cách lấy logarit tự nhiên của tổng tài sản

- Biến sizegroup: là biến tương tác giữa biến size và biến group Dữ liệu của ví dụ được tải tại:

Chúng ta sử dụng hồi quy tuyến tính cho ví dụ này Mô hình có dạng: nlp = 𝛽0 + 𝛽groupgroup + 𝛽sizesize + 𝜖

trong đó 𝜖 là sai số ngẫu nhiên có giá trị trung bình là 0 và phương sai là 𝜎2

2.1 Hồi quy tuyến tính Bayes với tiên nghiệm phi thông tin (noninformative prior)

Bây giờ chúng ta sẽ tiến hành hồi quy tuyến tính Bayes cho ví dụ trên Để tiến hành hồi quy Bayes, chúng ta cần chỉ định hàm khả năng (likelihood function) và các phân phối tiên nghiệm cho tất cả các tham số của mô hình Mô hình tuyến tính Bayes của chúng ta có bốn tham số: ba hệ số hồi quy và phương sai của dữ liệu Chúng ta giả định kết quả hậu nghiệm npl tuân theo quy luật phân phối chuẩn và bắt đầu với tiên nghiệm phi thông tin Jeffreys cho các tham số Theo tiên nghiệm Jeffreys, phân phối tiên nghiệm của các hệ số và phương sai tỷ lệ với nghịch đảo của phương sai

Change ~ 𝑁(𝑋β, 𝜎2) (β, 𝜎2)~ 1

Tất cả các tham số mô hình phải được chỉ định trong dấu ngoặc nhọn { }; bayesmh tự động tạo các tham số được liên kết với hàm hồi quy — hệ số hồi quy — nhưng bạn có trách nhiệm xác định các tham số mô hình còn lại Trong ví dụ của chúng ta, tham số duy nhất chúng ta cần xác định là tham số phương sai, {var} Ba hệ số hồi quy {npl: group}, {npl: size} và {npl: cons} được bayesmh tạo tự động

Bước cuối cùng là xác định hàm khả năng và các phân phối tiên nghiệm bayesmh cung cấp một số bản phân phối tích hợp sẵn khác nhau cho hàm khả năng

và thông tin tiên nghiệm Trong ví dụ của chúng ta, chúng ta chỉ định phân phối chuẩn ({var}) trong tùy chọn hàm likelihood ( ) với tham số phương sai {var} Chúng ta gán tiên nghiệm Flat cho tất cả các tiên nghiệm hệ số hồi quy, ({npl:}, flat) với npl: là một phím tắt để tham chiếu đến tất cả các tham số với biến phụ thuộc npl trong mô hình, tức các hệ số hồi quy Cuối cùng, chúng ta chỉ định tiên nghiệm jeffreys cho tham số phương sai {var} để yêu cầu mật độ 1/𝜎2

Lựa chọn thông tin là vấn đề khó khăn nhất trong phân tích Bayes, chúng ta sẽ bàn đến vấn đề này trong một cuốn sách khác

Bây giờ chúng ta hãy chạy lệnh bayesmh với phương pháp lấy mẫu bước ngẫu nhiên MH MCMC, để ước tính phân phối cận biên hậu nghiệm của các tham số Lệnh của chúng ta sẽ có dạng như sau:

bayesmh npl group size, likelihood(normal({var})) prior({npl:}, flat) prior({var}, jeffreys)

var .0000813 .0000426 2.5e-06 .0000715 .0000317 .0001939 _cons .1676633 .077854 .010021 .1731406 .0041934 .3124815 size -.0079764 .0042042 .000543 -.0082646 -.0157467 .000894 group .0089974 .0082306 .000916 .0094012 -.0090351 .0235733npl

Mean Std dev MCSE Median [95% cred interval] Equal-tailed Log marginal-likelihood = 29.399454 max = 02817 avg = 01207 Efficiency: min = .005992 Acceptance rate = 2925 Number of obs = 12 MCMC sample size = 10,000Random-walk Metropolis–Hastings sampling Burn-in = 2,500Bayesian normal regression MCMC iterations = 12,500(1) Parameters are elements of the linear form xb_npl.

{var} ~ jeffreys

{npl:group size _cons} ~ 1 (flat) (1)Priors:

npl ~ normal(xb_npl,{var})Likelihood:

Model summary

Simulation Burn-in

Do hồi quy Bayes được tiến hành thông qua quá trình chuỗi MCMC, do vậy các bạn có thể thu được các kết quả khác nhau sau mỗi lần chạy, tuy nhiên khác biệt này là không quá đáng kể

Đầu tiên, bayesmh cung cấp một bản tóm tắt cho mô hình được chỉ định Nó đặc biệt hữu ích cho các mô hình phức tạp với nhiều tham số và siêu tham số

Tiếp theo, bayesmh cung cấp một tiêu đề với các tóm tắt mô hình khác nhau ở phía bên tay phải Nó báo cáo tổng số lần lặp lại MCMC, 12.500, bao gồm 2.500 lần lặp mặc định được loại bỏ (burn-in) khỏi mẫu MCMC và số lần lặp được giữ lại trong mẫu MCMC hoặc kích thước mẫu MCMC, theo mặc định là 10.000

Tỷ lệ chấp nhận và tóm tắt về hiệu quả của thông số cụ thể là một phần khác của tiêu đề Tỷ lệ chấp nhận chỉ định tỷ lệ các giá trị tham số đề xuất đã được thuật toán chấp nhận Tỷ lệ chấp nhận là 0,2925 trong ví dụ của chúng ta có nghĩa là 29,25% trong số 10.000 giá trị thông số đề xuất đã được thuật toán chấp nhận Đối với thuật toán MH, con số này hiếm khi vượt quá 50% và thường dưới 30% Tỷ lệ chấp nhận thấp (ví dụ: dưới 10%) có thể cho thấy các vấn đề về hội tụ Như vậy, tỷ lệ chấp nhận của ví dụ chúng ta là tương đối cao Nhìn chung, MH có xu hướng có hiệu quả thấp hơn so với các phương pháp MCMC khác Ví dụ: hiệu quả từ 10% trở lên được coi là tốt Hiệu quả dưới 1% có thể là một nguồn đáng lo ngại Khi hiệu quả là thấp, chúng ta có thể cân nhắc điều chỉnh trình lấy mẫu MCMC của mình Chúng ta có thể thực hiện cải thiện vấn đề này thông qua blocking tham số, phương pháp này sẽ được đề cập tại phần sau cuốn sách

Cuối cùng, bayesmh xuất một bảng báo cáo tóm tắt kết quả Cột Mean (Trung bình) cho biết các ước tính của giá trị trung bình hậu nghiệm, tức trung bình của các phân phối hậu nghiệm biên của các tham số (phân phối biên của một tập hợp con của tập hợp các biến ngẫu nhiên là phân phối xác suất của các biến có trong tập hợp con Nó đưa ra xác suất của các giá trị khác nhau của các biến trong tập hợp con mà không cần tham chiếu đến các giá trị của các biến khác) Các ước tính trung bình hậu nghiệm khá gần với các ước tính thu được từ hồi quy OLS, điều này có thể giúp ta kỳ vọng chuỗi MCMC sẽ hội tụ khi chúng ta sử dụng tiên nghiệm phi thông tin để tiến hành hồi quy Bayes

Kết quả hồi quy OLS

Cột tiếp theo của hồi quy Bayes báo cáo ước tính về độ lệch chuẩn hậu nghiệm, là độ lệch chuẩn của phân phối hậu nghiệm biên Các giá trị này mô tả sai số trong phân phối hậu nghiệm của tham số và có thể so sánh với các sai số chuẩn trong hồi quy OLS

Độ chính xác của các ước lượng trung bình hậu nghiệm được đo lường bằng sai số chuẩn Monte Carlo của chúng Những con số này phải nhỏ so với quy mô của các tham số Chúng ta có thể cải thiện giá trị này thông qua gia tăng kích cỡ chuỗi MCMC

Cột Trung vị cung cấp các ước tính về trung vị của phân phối hậu nghiệm và có thể được sử dụng để đánh giá tính đối xứng của phân bố hậu nghiệm Qua đánh giá nhanh có thể thấy các ước lượng của giá trị trung bình và giá trị trung vị của các hệ số hồi quy khá gần nhau, vì vậy chúng ta kỳ vọng các phân phối hậu nghiệm của chúng có thể là đối xứng

Hai cột cuối cùng cung cấp khoảng tin cậy Bayes (credible intervals) của các tham số Khác với khoảng tin cậy phương pháp tần suất (confidence intervals), khoảng tin cậy của Bayes thể hiện mật độ xác suất hậu nghiệm của tham số, nó cung cấp một khoảng xác suất rõ ràng hơn so với phương pháp tần suất Ví dụ: xác suất để hệ số hồi quy của biến size nằm trong khoảng từ -0.0157 đến 0.0009 là khoảng 0,95 Giới hạn trên của khoảng tin cậy Bayes rất gần với 0, vì vậy chúng ta có thể kết luận rằng gia tăng quy mô ngân hàng có tác động làm giảm tỷ lệ nợ xấu

_cons 1667628 .0749401 2.23 0.053 -.0027634 336289 group 0088742 .0078116 1.14 0.285 -.0087968 .0265453 size -.0079247 .0040593 -1.95 0.083 -.0171074 .0012581 npl Coefficient Std err t P>|t| [95% conf interval] Total .000863094 11 000078463 Root MSE = .00816 Adj R-squared = 0.1509 Residual .000599579 9 .00006662 R-squared = 0.3053 Model .000263514 2 000131757 Prob > F = 0.1941 F(2, 9) = 1.98 Source SS df MS Number of obs = 12

2.2 Hồi quy Bayes với tiên nghiệm có thông tin

Hồi quy Bayes tại 2.1 được thực hiện với tiên nghiệm phi thông tin cho các tham số Điểm mạnh (và cũng là điểm yếu) của mô hình Bayes là có thể chỉ định phân phối tiên nghiệm đầy đủ thông tin, điều này có thể cải thiện kết quả Điểm mạnh là nếu chúng ta có kiến thức đáng tin cậy trước đó về phân phối của một tham số, việc kết hợp điều này vào mô hình của chúng ta sẽ cải thiện kết quả và có khả năng thực hiện các phân tích mà phương pháp tần suất không thực hiện được Điểm yếu của Bayes là nếu không có thông tin tiên nghiệm phù hợp thì có thể dẫn đến kết quả bị thiên lệch

Chúng ta sẽ tiến hành hồi quy với thông tin tiên nghiệm sau: (β|𝜎2)~ i i d 𝑁(0, 𝜎2)

𝜎2 ~ InvGamma (2,5; 2,5)

Để đơn giản, chúng ta giả định rằng tất cả các hệ số được là phân phối độc lập, tuân theo quy luật phân phối chuẩn với giá trị trung bình bằng 0 và phương sai 𝜎2, phân phối tham số phương sai tuân có dạng phân phối gamma nghịch đảo Trong thực tế, mỗi tham số khác nhau nên có thông tin tiên nghiệm về phương sai khác nhau, ít nhất là đối với các tham số có các thang đo khác nhau

Bây giờ chúng ta sẽ tiến hành hồi quy Bayes theo tiên nghiệm trên, theo đó chúng ta chỉ định phân phối chuẩn N(0, {var}) cho thông tin tiên nghiệm cho các hệ số và phân phối Gamma nghịch đảo igamma (2.5, 2.5) trước cho phương sai Câu lệnh sẽ có dạng

bayesmh npl group size, likelihood(normal({var})) prior({npl:}, normal(0, {var})) prior({var}, igamma(2.5, 2.5))

Kết quả này về cơ bản khác với kết quả mà chúng ta thu được tại phần 2.1 Tuy nhiên, đây chỉ là ví dụ để minh họa các tình huống hồi quy với tiên nghiệm khác nhau, do vậy, chúng ta sẽ miễn cưỡng tin tưởng kết quả từ mô hình này 2.3 Hồi quy tuyến tính Bayes đa thông tin

Tiếp tục với các thông tin tiên nghiệm, chúng ta sẽ xem xét tiên nghiệm Zellner’s g-prior (Zellner 1986), đây là một trong những tiên nghiệm được sử dụng phổ biến cho các hệ số hồi quy trong một hồi quy tuyến tính Quay trở lại ví dụ trên với biến bổ sung là biến tương tác giữa biến age và biến group

Công thức toán học của các tiên nghiệm như sau: (𝛽|𝜎2)~ MVN(0, 𝑔𝜎2(𝑋′𝑋)−1) 𝜎2 ~ InvGamma(ѵ0⁄2, ѵ0𝜎02⁄ 2)

trong đó g phản ánh kích thước mẫu tiên nghiệm, ѵ0 là bậc tự do tiên nghiệm cho phân phối gamma nghịch đảo, 𝜎02 là phương sai tiên nghiệm cho phân phối gamma

var .3342262 .1233504 .005443 .3081315 .1656805 .6376226 _cons -.0064287 .5893238 .022271 .0164655 -1.180739 1.149917 size .0006272 .0329006 .001236 .0004563 -.0648416 .0656482 group -.0006753 .3270251 0146 .0012034 -.6156227 .6364451npl

Mean Std dev MCSE Median [95% cred interval] Equal-tailed Log marginal-likelihood = -11.338328 max = 07085 avg = 0606 Efficiency: min = 05017 Acceptance rate = 2303 Number of obs = 12 MCMC sample size = 10,000Random-walk Metropolis–Hastings sampling Burn-in = 2,500Bayesian normal regression MCMC iterations = 12,500(1) Parameters are elements of the linear form xb_npl.

{var} ~ igamma(2.5,2.5)

{npl:group size _cons} ~ normal(0,{var}) (1)Priors:

npl ~ normal(xb_npl,{var})Likelihood:

Model summary

Simulation Burn-in

nghịch đảo Chúng ta sử dụng các giá trị của các tham số tương tự như trong Hoff (2009): 𝑔 = 12, ѵ0 = 1 và 𝜎02 = 8)

Đối số đầu tiên là số chiều của phân phối, trong ví dụ của chúng ta là 3, đối số thứ hai là bậc tự do trước, trong ví dụ này và đối số là 12 cuối cùng là tham số phương sai, là {var} trong thí dụ Giá trị trung bình được giả định là một vectơ không có thứ nguyên tương ứng

bayesmh npl group size, likelihood(normal({var})) prior({npl:}, zellnersg0(3,12,{var})) prior({var}, igamma(0.5, 4))

Những kết quả này phù hợp với kết quả hồi quy Bayes của 2.1 hơn của 2.2, nhưng tỷ lệ chấp nhận thấp và cần phải điều tra thêm

2.4 Chuẩn đoán hội tụ

Chúng ta có thể sử dụng lệnh bayesgraph để kiểm tra trực quan hội tụ chuỗi MCMC của các ước tính tham số Bayesgraph cung cấp nhiều loại đồ thị, ví dụ: chúng ta xem xét chẩn đoán đồ họa cho hệ số group Lệnh chuẩn đoán hội tụ bằng đồ thị thực hiện như sau:

bayesgraph diagnostics {npl:group}

var .7050131 .3046248 .021483 .6316182 .3314988 1.506648 _cons -.0458147 7.520125 .285452 -.2946082 -15.01496 15.1392 size 003937 .4081119 .015518 .015142 -.8165878 .8192337 group -.0196099 .7783046 .031371 -.0263679 -1.584186 1.559311npl

Mean Std dev MCSE Median [95% cred interval] Equal-tailed Log marginal-likelihood = -17.406536 max = 0694 avg = 05506 Efficiency: min = 02011 Acceptance rate = 2689 Number of obs = 12 MCMC sample size = 10,000Random-walk Metropolis–Hastings sampling Burn-in = 2,500Bayesian normal regression MCMC iterations = 12,500(1) Parameters are elements of the linear form xb_npl.

{var} ~ igamma(0.5,4)

{npl:group size _cons} ~ zellnersg(3,12,0,{var}) (1)Priors:

npl ~ normal(xb_npl,{var})Likelihood:

Model summary

Simulation Burn-in