3 Quyết định Bayes trong mô hình chuỗi thời gian
3.2.1 Mô hình tự hồi quy AR
Một quá trình: (xt)t∈Z được xác định bởi công thức sau
Nếu |%| < 1, (xt)t∈
Z thể được viết lại như sau xt = µ+
∞
X
j=0
%jεt−j (3.5)
Dễ thấy đây là một quá trình dừng cấp hai hồi quy. Nếu |%| > 1, quá trình dừng cấp hai hồi quy của (3.4) là
xt = µ−
∞
X
j=1
%−jεt+j.
Phương pháp tính dừng này cho thấy xt là có tương quan với tiếng ồn trắng tương lai (εt)s>t, một tính chất không có trong (3.5) khi |%| > 1. Đây là hạn chế của quá trình AR(1) với |%| < 1, để xt có tính hồi quy trong giới hạn của các mối quan hệ quá khứ (εt)s≤t. Hạn chế này tương ứng với tính nhân quả hay quá trình tự hồi quy độc lập tương lai. Chú ý rằng, tính nhân quả hạn chế cho mô hình AR(1) có thể được kết hợp tự nhiên với một tiên nghiệm thống nhất trên [−1,1].
Tổng quát của mô hìnhAR(1)là mô hình AR(p) thu được bằng cách tăng sự phụ thuộc vào các giá trị trong quá khứ, được xác định như sau
xt = µ+ p X i=1 %i(xt+1−i−µ) + εt (3.6) Trong đó (εt)t∈(Z) là một tiếng ồn trắng.
Tương tự, tính dừng và tính nhân quả có thể được áp dụng đối với mô hình này, và quá trình AR(p) là bao gồm cả tính nhân quả và tính dừng cấp hai khi và chỉ khi tất cả nghiệm của đa thức
P(u) = 1− p
X
i=1
%iui (3.7)
Là bên ngoài hình tròn đơn vị trong mặt phẳng phức.
một quá trình x0:T nó phụ thuộc vào các giá trị không quan sát được x−p, ..., x−1 từ: l(µ, %1, ..., %p, σ|x0:T, x−p:−1) ∝σ−T−1 T Q t=0 exp ( − xt −µ− p P i=1 %i(xt−i −µ) 2 /2σ2 ) .
Những giá trị ban đầu không quan sát được có thể được xử lý theo những cách khác nhau. Đầu tiên, tất cả có thể được thiết lập bằng µ; thứ hai, dựa vào tính dừng và tính nhân quả, quá trình (xt)t∈Z có phân phối dừng và có thể giả sử rằng x−p:−1 là được phân phối từ phân phối dừng tương ứng, cụ thể là một phân phối Np(µ1p, A). Sau đó, chúng ta có thể tích hợp những giá trị ban đầu này để có được hàm hợp lý biên duyên:
Z σ−T−1 T Y t=0 exp −1 2σ2 xt −µ− p X i=1 %i(xt−i −µ) !2 (3.8) ×f (x−p:−1|µ, A)dx−p:−1
Dựa trên lập luận rằng chúng không được quan sát trực tiếp. Hàm hợp lý này có thể được xử lý phân tích nhưng vẫn gặp nhiều khó khăn thông qua một mẫu Gibbs mô phỏng các giá trị ban đầu.
Một phương pháp tiếp cận khác và rõ ràng hơn là thay thế hàm hợp lý có điều kiện trên giá trị quan sát ban đầu x0:p−1 nghĩa là
lc µ, %1, ..., %p, σ|xp:T, x0:(p−1) ∝ σ−T+p−1 T Q t=p exp ( − xt −µ− p P i=1 %i(xt−i−µ) 2 /2σ2 ) (3.9)
Trong trường hợp này, nếu chúng ta không hạn chế không gian tham số thông qua điều kiện dừng, một tiên nghiệm liên hợp tự nhiên có thể
thông tin truyền thống hơn như là g(θ) = 1 σ :
Nếu chúng ta áp đặt các hạn chế về tính dừng nhân quả trên % mà tất cả nghiệm của đa thức P trong (3.7) là bên ngoài hình tròn đơn vị. Một bộ số của % chấp nhận được trở nên khá phụ thuộc và chúng ta không thể sử dụng cho phân phối tiên nghiệm một phân phối giới hạn chuẩn, bởi vì ta thiếu một thuật toán đơn giản để mô tả đúng quy định. Một giải pháp khả thi được đưa ra dựa trên mối tương quan tự động của quá trình AR(p). Chúng ta có một cách tiếp cận khác và bằng cách nào đó, tham số trở lại đơn giản bằng cách sử dụng nghịch đảo của các nghiệm thực và phức của đa thức P, mà trong khoảng (−1,1) và hình cầu tương ứng.
Nếu ta đại diện cho đa thức (3.7) ở dạng nhân tử hóa của nó: Px =
p
Y
i=1
(1−λix),
trong đó các nghiệm nghịch đảo λi(i = 1,2, ..., p) có giá trị thực hoặc phức. Dưới sự hạn chế của tính dừng nhân quả, một tiên nghiệm tự nhiên sau đó là sử dụng tiên nghiệm thống nhất cho các nghiệm này, lấy một phân phối đều về số lượng rp của các nghiệm phức liên hợp và phân phối đều trên [−1,1] và trên hình cầu đơn vị ζ = {λ ∈ C;|λ| ≤1} cho nghiệm thực và phức không liên hợp tương ứng.
Nói cách khác g(λ) = 1 bp/2c+ 1 Y λi∈R 1 21|λi|<1 Y λi∈/R 1 π1|λi|<1,
Trong đó, bp/2c+ 1 là số các giá trị khác nhau của rp. Chú ý, yếu tố bp/2c+ 1, trong khi không quan trọng cho một thiết lập pcố định, nó cần thiết phải được bao gồm trong phân phối hậu nghiệm khi sử dụng một thuật toán nhảy ngược để ước lượng độ trễ bậc p vì nó không biến mất trong việc chấp nhận xác suất của một di chuyển giữa mô hình AR(p) và mô hình AR(q).
nghiệm nghịch đảoλi sử dụng các mối quan hệ lặp(i = 1, ..., p, j = 0, ..., p) ψ0i = 1, ψij = ψji−1 −λiψji−−11,
Trong đó ψ00 = 1 và ψji = 0, ∀j > i và cho: %i = −ψjp (j = 1, ..., p).
Một chương trình Metropolis-Hasting mà bây giờ chúng ta mô tả là sử dụng chính phân phối tiên nghiệm dựa trên nghiệm nghịch đảo của P. Đầu tiên, ta chọn một hoặc một số nghiệm của P và sau đó đề xuất giá trị mới cho các nghiệm đó mà được mô phỏng từ tiên nghiệm. Tỷ lệ chấp nhận đơn giản hóa trong tỷ lệ hàm hợp lý bởi sự rõ ràng của định lý Bayes. Khó khăn ở đây chính là phải chú ý để thay đổi nghiệm phức bằng các cặp liên hợp. Để giải quyết vấn đề này, chúng ta sử dụng một thuật toán nhảy ngược mà phân biệt giữa số lượng của nghiệm phức.
Nếu ta xem xét hàm hợp lý có điều kiện (3.9), một thuật toán nhảy ngược cho mô hình AR(p) và tiên nghiệm thiếu thông tin g(µ, σ) = 1
σ là như sau:
Thuật toán 3.2[10]: Khởi tạo AR(p)
Khởi tạo: Chọn λ0, µ(0) và σ(0) Lặp đi lặp lại t(t ≥ 1) :
1. Chọn ngẫu nhiên một nghiệm. Nếu nghiệm này là thực, tạo ra một nghiệm thực mới từ một phân phối tiên nghiệm. Nếu không, tạo ra một nghiệm phức mới từ phân phối tiên nghiệm và cập nhật nghiệm liên hợp.
Thay λ(t−1) bởi λ∗ sử dụng giá trị mới đó Tính toán tương ứng %∗ = %∗1, ..., %∗p Chọn ξ = λ∗ với xác suất:
lc µ(t−1), %∗, σ(t−1)|xp:T, x0:p−1
2. Chọn ngẫu nhiên 2 nghiệm thực hoặc 2 nghiệm phức liên hợp. Nếu các nghiệm là thực, tạo ra một nghiệm phức mới từ phân phối tiên nghiệm và tính nghiệm liên hợp. Nếu không, tạo ra 2 nghiệm thực mới từ phân phối tiên nghiệm.
Thay ξ bởi λ∗ sử dụng giá trị mới đó Chấp nhận λ(t) = λ∗ với xác suất
lc µ(t−1), %∗, σ(t−1)|xp:T, x0:p−1
lc µ(t−1), %(t−1), σ(t−1)|xp:T, x0:p−1 ∧ 1 Nếu không, đặt λ(t) = ξ
3. Tạo ra µ∗ bởi một đề nghị ngẫu nhiên Chấp nhận µ(t) = µ∗ với xác suất:
lc µ∗, %(t), σ(t−1)|xp:T, x0:p−1
lc µ(t−1), %(t), σ(t−1)|xp:T, x0:p−1 ∧1 Nếu không đặt µ(t) = µ(t−1)
4. Tạo ra σ∗ bởi một bộ đề nghị-log ngẫu nhiên Chấp nhận σ(t) = σ∗ với xác suất:
lc µ(t), %(t), σ∗|xp:T, x0:p−1 lc µ(t), %(t), σ(t−1)|xp:T, x0:p−1 ∧1 Nếu không, đặt σ(t) = σ(t−1)
Ví dụ 3.2[10](tiếp ): Trở lại với ví dụ ở trên, chúng ta xử lý chuỗi
Ahold Kon của Eurostoxx50. Chúng ta chạy thuật toán cho toàn bộ chuỗi với p = 5 với hành động nhảy phù hợp giữa các nghiệm phức khác nhau. Kết quả thu được như sau:
Biểu đồ phía trên cùng bên trái biểu thị việc nhảy giữa các nghiệm phức 2 và 0 xảy ra với tần số cao và do đó thuật toán nhảy ngược hỗn hợp là tốt giữa 2 mô hình. Hai đồ thị sau trên hàng đầu tiên liên quan đến các siêu tham số µ và σ, được cập nhật bên ngoài bước nhảy ngược. Tham số µ dường như được pha trộn tốt hơn so với σ. Các biểu đồ ở hàng giữa tương ứng với 3 hệ số đầu tiên của mô hình tự hồi quy, %1,%2, %3. Sự ổn định của chúng là một chỉ số tốt về sự hội tụ của thuật toán nhảy ngược. Cũng lưu ý rằng, ngoại trừ %1 các hệ số khác là gần 0. Hàng cuối cùng là đánh giá về sự phù hợp của mô hình và sự hội tụ của thuật toán MCMC. Biểu đồ đầu tiên là trình tự của các log-hàm hợp lý tương ứng, mà vẫn ổn định từ đầu, biểu đồ thứ hai là sự phân bố của các nghiệm phức và biểu đồ cuối cùng là liên kết giữa chuỗi thực tế và một bước đầu tiên của nó dự đoán E[xt+1|xt, xt−1, ...].