3 Quyết định Bayes trong mô hình chuỗi thời gian
3.2.3 Mô hình ARMA
Mở rộng của hai mô hình trước đó là mô hình ARM A(p, q), trong đó xt(t∈ Z) được xác định bởi: xt = µ− p X %i(xt−i −µ) +εt − q X ϑjεt−j, εt ∼ N 0, σ2 (3.14)
Trong đó εt là độc lập. Cho phương trình quan sát:
xt = µ−(ϑr−1ϑr−2...ϑ1 −1)yt, yt+1 = 0 1 0 0 0 0 1... 0 ... ... 0 %r 0 %r−1 0... %r−2... 1 %1 yt +εt+1 0 0 ... 0 1 (3.15)
Với r = max(p, q + 1) và quy ước %m = 0 nếu m >p và ϑm = 0 nếu m>q.
Tương tự trường hợp MA(q), đại diện không gian trạng thái này là tiện dụng trong việc đưa ra các thuật toán MCMC hội tụ đến phân phối hậu nghiệm của các tham số của mô hình. Nếu chúng ta định nghĩa (t>p)
e xt = xt −µ+ p X i=1 %i(xt−i −µ),
Hàm hợp lý giống như hàm hợp lý tiêu chuẩn M A(q) trên xet, các khôi phục của hàm hợp lý AR(p) là nhiều hơn. Nếu định nghĩa số dư
e
εt = q
P
j=1
ϑjεt−j, log-hàm hợp lý điều kiện trên x0:(p−1) là: − T X t=p xt −µ− p X j=1 υj [xt−j −µ]−εte 2 /2σ2.
Rõ ràng là một log-hàm hợp lý AR(p) dạng đóng, ngoại trừ εet. Kết luận:
Trên đây, chúng ta đã thấy vai trò của thống kê Bayes trong việc xử lý các mô hình chuỗi thời gian AR, M A, ARM A. Các mô hình này có điểm chung là cùng sử dụng hàm tiên nghiệm thiếu thông tin và chỉ khác nhau ở hàm hợp lý. Các hàm hợp lý này liên kết với các giá trị quan sát. Ta xem
xét 2 phương pháp chọn hàm hợp lý của mô hình AR(p) dựa trên các giá trị quan sát:
Đầu tiên là xem xét hàm hợp lý liên kết với các giá trị quan sát x0:T, nó phụ thuộc vào các giá trị không quan sát được x−p, ..., x−1. Tuy nhiên việc tính toán hàm hợp lý này là khá tốn kém vì nó liên quan tới tích phân (khá lớn).
Thứ hai là xem xét hàm hợp lý liên kết với các giá trị quan sát được xp:T, nó phụ thuộc vào các giá trị quan sát ban đầu x0, ..., xp−1. Sau đó ta có thể áp dụng thuật toán nhảy ngược kết hợp với thuật toán Metropolis- Hastings xấp xỉ hàm hợp lý này để ước lượng các hệ số của các mô hình chuỗi thời gian.
Đối với các mô hình khác, việc chọn hàm hợp lý cũng giống như mô hìnhAR(p). Phương pháp xem xét hàm hợp lý liên kết với các giá trị quan sát được và phụ thuộc vào các giá trị quan sát ban đầu là đơn giản hơn, rõ ràng hơn và vẫn giải quyết được việc ước lượng các hệ số của các mô hình một cách hiệu quả. Đây chính là lời giải của bài toán Occam’s razor trong việc lựa chọn phương pháp xử lý mô hình chuỗi thời gian.
Kết luận
Luận văn đã trình bày tổng quan về thống kê Bayes, so sánh giữa thống kê tần suất và Bayes trong một số trường hợp. Thống kê tần suất xem tham số là một giá trị không biết nhưng không ngẫu nhiên trong khi thống kê Bayes coi tham số là biến ngẫu nhiên tuân theo một phân phối nào đó, tham số đó lại phụ thuộc vào các tham số khác gọi là các siêu tham số (hyperparameters).
Trong luận văn đã trình bày các suy luận Bayes như ước lượng, kiểm định, dự đoán với các trường hợp của tiên nghiệm chứa thông tin và tiên nghiệm thiếu thông tin dựa vào phân phối hậu nghiệm, đồng thời so sánh với tần suất. Luận văn cũng trình bày ứng dụng của Occam’s razor để giải quyết một số bài toán trong thực tế: chọn biến trong mô hình hồi quy tuyến tính, bài toán của Galileo, và phân tích mô hình chuỗi thời gian.
Từ mô hình hồi quy tuyến tính tới các mô hình chuỗi thời gian, nhờ thống kê Bayes, chúng ta đều có kết quả suy luận tốt cho mẫu dữ liệu thực tế, khi nó được cập nhật liên tục và chúng ta có được phân phối dừng. Tuy nhiên, cũng có một số hạn chế của suy luận Bayes trong việc tính toán: tính tích phân, kích thước mẫu lớn. . . Trong luận văn cũng đã trình bày phương pháp MCMC để giải quyết các hạn chế này.
Cuối cùng tác giả mong muốn tiếp tục đi sâu nghiên cứu về thống kê Bayes, để có được hiểu biết sâu sắc hơn, đầy đủ hơn về phương pháp này. Tác giả hy vọng trong tương lai có thể áp dụng được các suy luận Bayes vào trong thực tiễn cuộc sống.
Tài liệu tham khảo
[1] Đào Hữu Hồ,Thống kê toán học, NXB ĐH và THCN, NXB ĐHQG Hà Nội, (1984).
[2] Nguyễn Văn Hữu, Nguyễn Hữu Dư Phân tích thống kê và dự báo, NXB ĐHQG Hà Nội, (2003).
[3] Nguyễn Xuân Dực, Phương pháp mô phỏng Monte Carlo: Giải thuật Gibbs, Khóa luận tốt nghiệp, Trường Đại học Khoa học Tự nhiên.
[4] Andrew Gelman, John B. Carlin, Hal S. Stern and Donald, Bayesian Data analysis.
[5] Congdon, Bayesian Statistical Modelling, John Wiley, New York, (2001).
[7] Green, Reversible jump MCMC computation and Bayesian model determination, Biometrika, 82(4):711–732, (1995).
[8] William H. Jefferys and James O. Berger, Ockham’s Razor and Bayesian Analysis.
[9] William M. Bolstad, Introduction to Bayesian statistics.
[10] Jean- Michel Marin Christian P.Robert, Bayesian core: A practical approach to computational Bayesian statistics.