Không gian xác suất và martingle,
Kỳ vọng có điều kiện
Kỳ vọng có điều kiện E(X|ζ) của biến ngẫu nhiên khả tích X theo σ-trường ζ là biến ngẫu nhiên đo được theo ζ Kỳ vọng có điều kiện thỏa mãn tính chất tuyến tính: E(aX + bY|ζ) = aE(X|ζ) + bE(Y|ζ) với a, b là hằng số Do ζ là σ-trường con của σ-trường F, kỳ vọng có điều kiện của kỳ vọng có điều kiện là kỳ vọng: E(E(X|ζ)|F) = E(X|F) = E(X).
Ta định nghĩa E(X|Y ) là kỳ vọng có điều kiện của X theo σ−trường σ(Y ).
Ta có các tính chất sau của kỳ vọng có điều kiện.
Mệnh đề 1.1.1. a) Nếu c là hằng số thì E(c|ζ) = c. b) E (aX + bY |ζ) = aE(X|ζ) + bE(Y |ζ). c) Nếu ζ là σ−trường tầm thường {φ, Ω} thì E(X|ζ) = X. d) E (E(X|ζ)) = EX. e) Nếu X độc lập với ζ tức là σ(X) độc lập với ζ thì E(X|ζ) = EX. f) Nếu Y là ζ−đo được, E|Y | < ∞, E|XY | < ∞ thì E(XY |ζ) = Y E(X|ζ). g) Nếu ζ 1 ⊂ ζ 2 thì E(E(X|ζ 2 )|ζ 1 ) = E(E(X|ζ 1 )|ζ 2 ) = E(X|ζ 1 ). h) Nếu X ≤ Y (h.c.c) thì E(X|ζ) ≤ E(Y |ζ). i) |E(X|ζ)| ≤ E(|X||ζ). j) Bất đẳng thức Jensen: Giả sử φ : R → R lồi và khả tích Khi đó φ(E(X|ζ)) ≤
E (φ(X)|ζ). k) Hội tụ đơn điệu Beppo - Levy: Nếu X n ≥ 0, X n ↑ X và E|X| < ∞ thì E(X n |ζ) ↑
E (X|ζ). l) Bổ đề Fatou: Nếu X n ≥ 0 thì E(lim n→∞ X n |ζ) ≤ lim n→∞ E(X n |ζ). m) Định lý hội tụ bị chặn Lebesgue: Giả sử Y là biến ngẫu nhiên khả tích và
Martingale
Các khái niệm và định lý dưới đây được hiểu là martingale với thời gian rời rạc (xem [12]). Định nghĩa 1.1.2 ChoX = (X t ) t≥0 là một quá trình ngẫu nhiên thoả E|X t | < ∞ với mọi t Ta gọi a X t là supermartingale nếu E(X t |F s ) ≤ X s với mọi 0 ≤ s ≤ t b X t là submartingale E(X t |Fs ) ≥ X s với mọi 0 ≤ s ≤ t c X t là martingale nếuX t là supermartingale và submartingale; tức làE(X t |F s ) =
X s Thông thường, ta dùng bộ lọc tự nhiên Ft = σ(X s ) s≤t
Theo lý thuyết trò chơi, nếu xem X t là số vốn ở thời điểm t, Ft = σ(X s ) s≤t là thông tin tích lũy đến thời điểmt thì trò chơi gây thiệt hại nếu nó là supermartin- gale, trò chơi có lợi nếu nó là submartingale và công bằng nếu nó là martingale. Các kết quả chính của martingale là các bất đẳng thức và các định lý hội tụ, nhất là các định lý của Doob.
Hiệu martingale
Cho F t là một bộ lọc và (Y t ) được gọi là là hiệu martingale nếu E|Y t | < ∞ và E(Y t+1 |F t ) = 0
• Nếu X t là martingale thì Y t là hiệu martingale với Y 0 = X 0 và Y t = ∆X t =
• Ngược lại, nếu Y t là hiệu martingale thì ta có thể xây dựng martingale X t như sau: X 0 = Y 0 , X t =Pt k=1 Y k
Dễ thấy X t là Ft-đo được và E|X t | < ∞ Hơn nữa
Khai triển Doob
Định lý 1.1.1 Giả sử X t là submartingale Khi đó tồn tại martingale M t và dãy tăng dự bỏo được A t , nghĩa là 0 = A 0 ≤ A 1 ≤ ã ã ã ≤ A t ≤ , sao cho:
Khai triển này, còn được gọi là khai triển Doob, là duy nhất.
Trong định lý này, dãy (A t ), (M t ) được xác định bởi
Bây giờ, ta sẽ đề cập đến martingale bình phương khả tích Giả sử M t là mar- tingale bình phương khả tích tức làM t là một martingale và E|M t | 2 < ∞ Vì M t là martingale nên bất đẳng thức Jensen với hàm lồig(x) = x 2 suy ra quá trình M t 2 là submartingale Theo khai triển Doob ta có
M t 2 = m t + ˜ M t (1.4) trong đó, m t là martingale và M ˜ t là dãy tăng dự báo được Ta gọi M ˜ t là đặc trưng bình phương của martingaleM và
Nhận xét 1.1.2 Giả sử (Y t ) là các biến ngẫu nhiên độc lập sao cho E(Y t ) =
0, E(Y t 2 ) < ∞ Đặt M 0 = 0; M t =Pt k=1 Y k Khi đó M ˜ t = E(M t 2 ) =Pt
Luật mạnh số lớn martingale bình phương khả tích
Định lý 1.1.2 . a Giả sử M t là martingale bình phương khả tích và A t là dãy tăng dự báo được sao cho A 1 ≥ 1, A ∞ = ∞ Nếu P∞ i=1 E[(∆M i ) 2 |F i−1 ]
A t = ∞ (1.5) b Giả sử M t là martingale bình phương khả tích và M ˜ ∞ = ∞(h.c.c) Khi đó, t→∞ lim
Chuỗi thời gian
Quá trình dừng
Định nghĩa 1.2.1 Gọi {X t } là một quá trình ngẫu nhiên với V (X t ) < ∞ với mọi t ∈Z Khi đó, hàm tự hiệp phương sai γ X (t, s) của {X t } được định nghĩa bởi hiệp phương sai củaX t vàX s Ta có:γ X (t, s) = cov(X t , X s ) = E [(X t − EX t )(X s − EX s )] =
EX t X s − EX t EX s. Định nghĩa 1.2.2 Quá trình ngẫu nhiên {X t } được gọi là dừng khi và chỉ khi với mọi số nguyên r, s và t, ta có a E (X t ) = à là hằng số, b V (X t ) < ∞, c γ X (t, s) = γ X (t + r, s + r).
Nhận xét 1.2.1 Các quá trình thoả các tính chất này đôi khi còn được gọi là các quá trình dừng yếu, dừng theo nghĩa rộng, dừng hiệp phương sai hoặc dừng bậc hai.
Nhận xét 1.2.2 Nếu t = s thì γ X (t, s) = γ X (t, t) = V (X t ) Do đó, nếu {X t } là quá trình dừng thì γ X (t, t) = V (X t ) là hằng số.
Nhận xét 1.2.3 Nếu {X t } dừng thì, bằng cách đặt r = −s, hàm tự hiệp phương sai thoả:γ X (t, s) = γ X (t − s, 0); nghĩa là, γ X (t, s) chỉ phụ thuộc vào t − s Do đó, với quá trình dừng, ta có thể xem hàm tự hiệp phương sai là hàm một biến h = t − s.
Vì γ X (t, s) = γ X (s, t) nên γ X (h) = γ X (−h) với mọi h ∈Z Ngoài ra, ta cũng có định nghĩa của hàm tự tương quan như sau: ρ X (h) = γ γ X (h)
X (0) , với mọi ∈Z. Định nghĩa 1.2.3 Quá trình ngẫu nhiên {X t } được gọi là dừng ngặt nếu phân phối đồng thời của(X t 1 , , X t n ) và (X t 1 +h , , X t n +h ) là bằng nhau với mọi h ∈Z và (t 1 , , t n ) ∈ T n , n = 1, 2,
Ta cũng có một định nghĩa khác tương đương của quá trình dừng ngặt như sau. Định nghĩa 1.2.4 Quá trình ngẫu nhiên{X t }được gọi là dừng ngặt nếu với mọi số nguyênh và n ≥ 1, (X 1 , , X n ) và (X 1+h , , X n+h ) có cùng phân phối.
Nhận xét 1.2.4 Nếu {X t } là dừng ngặt thì X t có cùng phân phối với mọi t (chọn n = 1) Hơn nữa, X t+h và X t có phân phối đồng thời không phụ thuộc vào t; nghĩa là, hiệp phương sai (nếu tồn tại) chỉ phụ thuộc vào h Do đó, mọi quá trình dừng ngặt thoả V (X t ) < ∞ cũng là quá trình dừng Tuy nhiên, điều ngược lại không đúng Ta xét ví dụ sau:
N (1, 1), với t chẵn. Ở đây, Exp(1) là phân phối mũ với kỳ vọng bằng 1, N (1, 1) là phân phối chuẩn với kỳ vọng bằng 1, phương sai bằng 1, và (X t ) t là các biến ngẫu nhiên độc lập Ta có
Do đó, {X t } dừng, nhưng không dừng ngặt vì phân phối của X t thay đổi tùy theo t là chẵn hay lẻ.
Nhận xét 1.2.5 Quá trình ngẫu nhiên {X t } được gọi là quá trình Gauss nếu mọi phân phối hữu hạn chiều (X t 1 , , X t n ) với (t 1 , , t n ) ∈ T n , n = 1, 2, , đều là phân phối chuẩn nhiều chiều.
Nhận xét 1.2.6.Dễ thấy quá trình Gauss là dừng ngặt Hơn nữa, với mọin, h, t 1 , , t n ,(X t 1 , , X t n ) và (X t 1 +h , , X t n +h ) có cùng kỳ vọng và ma trận hiệp phương sai.
Quá trình trung bình trượt
Quá trình trung bình trượt bậc 1, ký hiệu là MA(1), được định nghĩa bởi
X t = Z t + θZ t−1 với Z t ∼ N (0, σ 2 ) Dễ thấy E(X t ) = E(Z t ) + θE(Z t−1 ) = 0 và γ X (t + h, t) = cov (X t+h , X t )
VìE(Z s 2 ) = σ 2 và E(Z t Z t+h ) = 0 với mọi h 6= 0 nên γ X (h) =
Do đó, {X t } là một quá trình dừng với hàm tự tương quan ρ X (h) =
Các tính chất của hàm tự hiệp phương sai
Định lý 1.2.1 Hàm tự hiệp phương sai của quá trình dừng {X t } được đặc trưng bởi các tính chất sau: a γ X (0) ≥ 0, b 0 ≤ |γ X (h)| ≤ γ X (0), c γ X (h) = γ X (−h), d Pn i,j=1 a i γ X (t i − t j )a j ≥ 0 với mọi n và với mọi véctơ(a 1 , , a n ) 0 và (t 1 , , t n ). Định lý 1.2.2 Hàm tự tương quan của một quá trình ngẫu nhiên dừng {X t } được đặc trưng bởi các tính chất sau: a ρ X (0) = 1, b 0 ≤ |ρ X (h)| ≤ 1, c ρ X (h) = ρ X (−h), d Pn i,j=1 a i ρ X (t i − t j )a j ≥ 0 với mọi n và các vectơ (a 1 , , a n ) 0 và (t 1 , , t n ).
Toán tử trễ
Cho {X t } là một chuỗi thời gian Ta định nghĩa toán tử trễ L bởi LX t = X t−1
Dễ thấy, toán tử trễ là một toán tử tuyến tính thoả các tính chất sau: a Với quá trình hằng {X t = c}, trong đó c là hằng số, ta có Lc = c. b L L
X t = L n X t = X t−n c Nghịch đảo của toán tử trễ, còn được gọi là toán tử lead hoặc toán tử forward được định nghĩa bởi:
L −1 X t = X t+1 d Với mọi số nguyên m và n:
L m L n X t = L m+n X t = X t−m−n e Vì L −1 LX t = X t nên L 0 = 1 f Với mọi số thực a và b, mọi số nguyên m và n, và mọi quá trình ngẫu nhiên {X t } và {Y t }
(aL m + bL n ) (X t + Y t ) = aX t−m + bX t−n + aY t−m + bY t−n
Từ đú, ta cú thể định nghĩa đa thức trễ: A (L) = a 0 + a 1 L + a 2 L 2 + ã ã ã + a p L p với a 0 , a 1 , , a p là các số thực.
Ví dụ: Giả sử A (L) = 1 − 0.5L, B (L) = 1 + 4L 2 Ta có
Phương trình sai phân,
Sai phân
Với quỹ đạo y = y(t) phụ thuộc liên tục vào t thì vi phân hàm số được xác định thông qua đạo hàm (xem [1]) Tuy nhiên, khi t biến thiên rời rạct = 1, 2, 3, , n, thì khái niệm đạo hàm và vi phân không có ý nghĩa Trong trường hợp này ta dùng khái niệm sai phân Sai phân cấp 1 được định nghĩa bởi∆y t = y t − y t−1 Tổng quát,sai phân cấp n được định nghĩa bởi ∆ n y t = ∆(∆ n−1 y t ).
Phương trình vi phân
Phương trình sai phân đề cập đến việc thiết lập hoặc phân tích định tính quỹ đạoy = y(t) thông qua các quan hệ sai phân Phương trình sai phân cấp n: Φ(t, y t , ∆y t , , ∆ n y t ) = 0
Vì∆ n y t được biểu diễn thông qua y t ; y t+1 ; y t+n nên phương trình trên có dạng
Nghiệm của phương trình này là hàm số y t = φ(t) có biến số rời rạc và thỏa mãn phương trình
Nghiệm tổng quát của phương trình sai phân cấpn là hàm sốy t = φ(t, C 1 , C 2 C n ) với C 1 , C 2 , , C n là các hằng số.
Phương trình sai phân tuyến tính cấp 1
Phương trình sai phân tuyến tính bậc một mô tả mối quan hệ tuyến tính của y t với biến trễ y t-1 và biến đầu vào w t là y t = ϕy t-1 + w t, trong đó w t là quá trình ngẫu nhiên và ϕ là hằng số Từ đó, ta có các giá trị sau: y 1 = ϕy 0 + w 1, y 2 = ϕy 1 + w 2 = ϕ²y 0 + ϕw 1 + w 2, , y t = ϕ t y 0 + ϕ t-1 w 0 + ϕ t-2 w 2 + + w t, và y t = ϕ t+1 y -1 + ϕ t w 0 + ϕ t-1 w 1 + + w t.
0 = ϕ t Tương tự y t+j = ϕ j+1 y −1 + ϕ j w t + ϕ j−1 w t+1 + ã ã ã + w t+j , và do đó, ∂y ∂w t+j t = ϕ j Đại lượng này được gọi là nhân tử động (dynamic multiplier) và chỉ phụ thuộc vào j là độ dài khoảng thời gian từ t đến t + j Hơn nữa, nếu
−1 < ϕ < 1 thì ∂y ∂w t+j t = ϕ j → j→∞ 0 Ngược lại, nếu |ϕ| > 1 thì ∂y ∂w t+j t = ϕ j → j→∞ ∞ Như vậy, nếu |ϕ| < 1 thì hệ thống sẽ ổn định.
Bây giờ, ta sẽ xét phương trình trên với toán tử trễ như sau
Nếu |ϕ| < 1 và y −1 < ∞ thì ϕ t+1 y −1 → t→+∞ 0 Suy ra
(1 − ϕL) −1 = lim t→+∞ (1 + ϕL + ϕ 2 L 2 + ã ã ã + ϕ t L t ) = 1 + ϕL + ϕ 2 L 2 + và ta có thể viết y t = (1 − ϕL) −1 w t = (1 + ϕL + ϕ 2 L 2 + )w t
Phương trình sai phân cấp p
Phương trình sai phân tuyến tính cấp p mô tả mối quan hệ tuyến tính y t theo p biến trễ của chính nó và biến đầu vào w t y t = ϕ 1 y t−1 + ϕ 2 y t−2 + ϕ p y t−p + w t , (1.7)
Ta có thể biểu diễn phương trình trên ở dạng vectơ ξ t = F ξ t−1 + V t , (1.8) trong đó, ξ t =
, hay thông qua toán tử trễ
Ta phân tích toán tử ở vế trái
Chia hai vế cho z p và đặt λ = z −1 , ta được
Vậy (λ 1 , λ 2 λ p ) là nghiệm của phương trình: λ p − ϕ 1 λ p−1 − ϕ 2 λ p−2 − ã ã ã − ϕ p = 0.
Việc phân tích đa thức toán tử
(1 − ϕL − ϕ 2 L 2 − ã ã ã − ϕ p L p )y t = (1 − λ 1 z)(1 − λ 2 z) ã ã ã (1 − λ p z) được đưa về việc tìm trị riêng của ma trận
Ta có mệnh đề sau
Mệnh đề 1.3.1 Các trị riêng của ma trận F thỏa mãn phương trình sau (phương trình đặc trưng) λ p − ϕ 1 λ p−1 − ϕ 2 λ p−2 − ã ã ã − ϕ p−1 λ − ϕ p = 0 (1.10)
Mệnh đề 1.3.2 Giả sử ma trận F có p trị riêng phân biệt nằm trong đường tròn đơn vị thì nhân tử động ∂y ∂w t+j t = Pp k=1 c k λ j k , trong đó c i = λ p−1 i
Ước lượng mô hình ARMA 15
Ước lượng Yule-Walker
Chúng ta giả thiết rằng quá trình ngẫu nhiên có kỳ vọng bằng 0 và tuân theo mô hình tự hồi quy bậcp (xem [20]). Φ(L)X t = Z t , với Z t ∼ N((0, σ 2 ), trong đú, Φ(L) = 1 − φ 1 L − φ 2 L 2 − ã ã ã − φ p L p Hơn nữa, tồn tại một chuỗi {ψ j } với
P∞ j=0 |ψ j | < ∞ sao cho X t = P∞ j=0 ψ j Z t−j = Ψ(L)Z t Nhân phương trình sai phân trên với X t−j , j = 0, 1 , p và lấy kỳ vọng, ta được hệ phương trình sau cho các tham số Φ = (φ 1 , , φ p ) 0 , σ 2 γ(0) − φ 1 γ(1) − ã ã ã − φ p γ (p) = σ 2 γ (1) − φ 1 γ(0) − ã ã ã − φ p γ(p − 1) = 0
Hệ phương trình này được gọi là phương trình Yule-Walker và có thể được viết gọn dưới dạng ma trận như sau γ(0) − Φ 0 γ p (1) = σ 2 ,
, hay γ (0) − Φ 0 γ p (1) = σ 2 , Γ p Φ = γ p (1). Ước lượng Yule-Walker thu được bằng cách thay thế các mômen lý thuyết bằng các mômen thực nghiệm và giải các hệ phương trình tương ứng Φ = ˆ ˆ Γ −1 p γ ˆ p (1) = ˆ R −1 p ρ ˆ p (1) ˆ σ 2 = ˆ γ(0) − Φ ˆ 0 γ ˆ p (1) = ˆ γ(0)(1 − ρ ˆ p (1) 0 R ˆ −1 p ρ ˆ p (1))
Lưu ý tính đệ quy (recursiveness) của hệ phương trình: ước lượng Φ ˆ được tính mà không cần dùng đến σ ˆ 2 vì ước lượng R ˆ −1 p ρ ˆ p (1) chỉ liên quan đến các tự tương quan Các ước lượngΓ ˆ p , R ˆ p , ˆ γ p , ρ ˆ p (1),vàˆ γ(0) có thể được ước lượng bằng các trung bình thực nghiệm. Định lý sau thiết lập phân phối tiệm cận của các ước lượng. Định lý 2.1.1 Cho {X t } là một quá trình AR(p) có quan hệ nhân quả với Z t ∼ IID(0, σ 2 ) Khi đó, ước lượng Yule-Walker là ước lượng vững và Φ ˆ có phân phối xấp xỉ phân phối chuẩn: √ T ( ˆ Φ − Φ) → d N(0, σ 2 Γ −1 p ) Hơn nữa, σ ˆ 2 → p σ 2
Lưu ý, ma trận hiệp phương sai tiệm cận của ước lượng Yule-Walker độc lập với σ 2 Trong thực tế, tham số chưa biết σ 2 Γ −1 p được thay thế bằng giá trị thực nghiệm tương ứng.
Ví dụ: Quá trình AR(1)
Trong trường hợp của quá trình AR(1), phương trình Yule-Walker là Γ ˆ 1 Φ = ˆ γ 1 (0), hay đơn giản hơn là ˆ γ 1 (0) φ = ˆ γ(1) Ước lượng Yule-Walker trở thành Φ = ˆ ˆ φ = ˆ γ(1) ˆ γ (2) = ˆ ρ(1).
Khi đó, phân phối tiệm cận là
Kết quả này cho thấy rằng giả thiết về quan hệ nhân quả, tức là |φ| < 1, là rất quan trọng Nếu thiếu giả thiết này, ta không thể đảm bảo phương sai có giá trị dương Trong trường hợp φ = 1, tương ứng với bước ngẫu nhiên, phân phối tiệm cận của √ T φ ˆ − 1 sẽ suy biến vì phương sai bằng không.
Trong thực tế, bậc của mô hình thường không xác định Tuy nhiên, khi ước lượng mô hìnhAR(m) với bậcp nhỏ hơn hẳnm, ta mong muốn các hệ số ước lượng φ ˆ p+1 , , φ ˆ m gần bằng không (xem [11]) Đặc biệt, nếu các giả thiết của Định lý
Từ đây, ta có cách sau để xác định bậc của mô hình AR Đầu tiên, ta ước lượng một mô hình với giá trịm đủ lớn và dùng kiểm định t để kiểm định giả thiết φ m = 0 Nếu không thể bác bỏ giả thiết này thì giảm bậc của mô hình từ m xuống m − 1, và cứ tiếp tục như vậy cho tới khi giả thiết bị bác bỏ.
Về nguyên tắc, ước lượng Yule-Walker cũng có thể được áp dụng cho các quá trình M A(q) hoặc ARM A(p, q ) với q > 0 Xét quá trình M A(1) với phương trình sai phân ngẫu nhiên: X t = Z t + θZ t−1 vớiZ t ∼ IID 0, σ 2
Ta có hệ phương trình Yule-Walker sau ˆ γ (0) = ˆ σ 2 1 + ˆ θ 2
Tính toán cho thấy nếu |ˆ ρ(1)| = |ˆ γ(1)/ˆ γ (0)| < 1/2thì hệ phương trình Yule-Walker có hai nghiệm Nếu |ˆ ρ(1)| = |ˆ γ(1)/ˆ γ (0)| = 1/2 thì hệ phương trình Yule-Walker có một nghiệm Cuối cùng, nếu | ρ(1)| ˆ = |ˆ γ(1)/ˆ γ (0)| > 1/2 thì hệ phương trìnhYule-Walker vô nghiệm.
Ước lượng bình phương cực tiểu cho mô hình AR(p)
Thay vì sử dụng ước lượng Yule-Walker, ta có thể xem mô hình AR là mô hình hồi quy cho X t với các biến X t−1 , , X t−p và sai số ngẫu nhiên Z t như sau (xem [20])
Với các quan sát X 1 , , X T , mô hình hồi quy có thể được viết gọn lại theo dạng ma trận như sau
Lưu ý rằng p quan sát đầu tiên bị mất và kích thước mẫu giảm xuống còn T − p. Ước lượng bình phương cực tiểu có được bằng cách cực tiểu hoá tổng bình phương
Nghiệm của bài toán cực tiểu này là Φ = (X ˆ 0 X) −1 (X 0 Y ).
Mặc dù (2.1) rất giống với một mô hình hồi quy thông thường, vẫn có một số khác biệt quan trọng Đầu tiên, giả thiết về tính trực giao giữa các biến hồi quy và sai số bị vi phạm Các biến hồi quy X t−j , j = 1, , p, có tương quan với sai số ngẫu nhiên Z t−j , j = 1, 2, Thứ hai, mô hình thực ra có phụ thuộc vào các quan sát
X p , , X 1 Tuy nhiên, giả thiết về quan hệ nhân quả đảm bảo rằng Tuy nhiên, có thể chứng minh rằng(X 0 X)/T hội tụ theo xác suất tới Γ ˆ p và (X 0 Y )/T hội tụ tớiˆ γ p
Hơn nữa, với một số điều kiện tương đối tổng quát, ta có thể giả sử T −1/2 X 0 Z có phân phối xấp xỉ phân phối chuẩn với kỳ vọng bằng 0 và phương sai σ 2 Γ p Theo
Bổ đề Slutzky, ta suy ra √ T Φ ˆ − Φ
√ T hội tụ theo phân phối tới N 0, σ 2 Γ −1 p
Do đó, ước lượng hồi quy tương đương tiệm cận với ước lượng Yule-Walker. Định lý 2.2.1 (Tính phân phối chuẩn tiệm cận của ước lượng hồi quy) Với các giả thiết tương tự như trong Định lý 2.1.1, ước lượng bình phương cực tiểu Φ = ˆ (X 0 X) −1 (X 0 Y ) có phân phối tiệm cận sau
, p lim s 2 T = σ 2 Ở đây s 2 T = ˆ Z 0 Z/T ˆ và Z ˆ t là phần dư của mô hình hồi quy.
Nhận xét 2.2.1 Trong thực tế σ 2 Γ −1 p được tính ước lượng bởi s 2 T (X 0 X/T ) −1 Do đó, đối với T lớn, Φ ˆ có thể được xem là có phân phối chuẩn N Φ, s 2 T (X 0 X) −1
Điều này cho phép áp dụng các phép kiểm định t và F.
Ta sẽ trình bày chứng minh của định lý trên cho mô hìnhAR(1) với |φ| < 1, Z t ∼ IIN (0, σ 2 )vàX 0 = 0 Gọi φ ˆ T là ước lượng hồi quy củaφ, ta có
Vì Z j , j = 1, , t, có phân phối chuẩn nên X t là tổng các biến ngẫu nhiên phân phối chuẩn, do đó cũng có phân phối chuẩn Vì các Z j là độc lập nên X t ∼ N
PT t=1 X t−1 Z t bằng 0 vì Z t ∼ IIN (0, σ 2 ) Phương sai của biểu thức này được cho bởi
Nhân kỳ vọng với σ 2 /T ta được σ 2 T
1 − φ 2 Cho T tiến ra vô cùng, ta thu được
Do đó, tử số của biểu thức trong (2.3) hội tụ về một biến ngẫu nhiên có phân phối chuẩn với kỳ vọng bằng 0 và phương sai σ
1 − φ 2 Ngoài ra, mẫu số của biểu thức trong (2.3) trở thành
Cả kỳ vọng và phương sai củaX T 2 /T đều hội tụ về không Bất đẳng thức Chebyschev suy ra số hạng đầu tiên của biểu thức trên hội tụ về 0 theo xác suất X 0 bằng 0 theo giả thiết Số hạng thứ hai của biểu thức trên có kỳ vọng bằng σ 2 / 1 − φ 2 và phương sai hội tụ về không Điều này dẫn đến số hạng này hội tụ về σ 2 / 1 − φ 2 theo xác suất Số hạng thứ ba có kỳ vọng bằng 0 và phương sai hội tụ về không, do đó cũng hội tụ về 0 theo xác suất Từ đó ta có
1 − φ 2 Áp dụng định lý ánh xạ liên tục, ta suy ra
Ngoài ra, phương sai có giá trị bằng σ 4
Ước lượng mô hình ARMA(p, q)
Trong khi việc ước lượng các mô hình AR bằng OLS khá đơn giản thì việc ước lượng các mô hình ARMA phức tạp hơn (xem [20]) Lý do là, khác với X t , các sai số ngẫu nhiên Z t , Z t−1 , , Z t−q không thể quan sát được Chúng phải được suy ra từ các quan sát của {X t } Phương pháp thông thường để ước lượng mô hình ARMA là phương pháp hợp lý cực đại.
Giả sử {X t } là một quá trình ARM A(p, q) có quan hệ nhân quả và khả nghịch với phương trình sai phân
X t − φ 1 X t−1 − ã ã ã − φ p X t−p = Z t + θ 1 Z t−1 + ã ã ã + θ q Z t−q , với Z t ∼ IID(0, σ 2 ) Chúng ta cũng giả thiết rằng Φ(z)vàΘ(z) không có nghiệm chung Ta xếp các tham số của mô hình thành vectơβ và đại lượng vô hướng σ 2 β = (φ 1 , , φ p , θ 1 , , θ q ) 0 vàσ 2 Với giả thiết trên, không gian tham số C của β có dạng
C = β ∈ R p+q : Φ(z)Θ(z) 6= 0 f or |z| ≤ 1, φ p θ q 6= 0,Φ(z) và Θ(z) không có nghiệm chung
Phương pháp hợp lý cực đại dựa trên một số giả thiết về phân phối đồng thời của
X T = (X 1 , , X T ) 0 với các tham số cho trước βvàσ 2 Hàm phân phối đồng thời này được gọi là hàm hợp lý Phương pháp hợp lý cực đại xác định các tham số sao cho xác suất quan sát một mẫu cho trướcx T = (x 1 , , x T )là lớn nhất Điều này có thể đạt được bằng cách cực đại hóa hàm hợp lý tương ứng Giả sử {X t }là một quá trình Gauss với kỳ vọng bằng 0 và hàm tự phương saiγ Suy ra X T = (X 1 , , X T ) 0 có phân phối chuẩn với kỳ vọng bằng 0 và phương sai Γ T Hàm hợp lý Gauss cho các quan sát x T , L T β, σ 2 |x T
, với G T = σ −2 Γ T Lưu ý rằng, khác Γ T , G T chỉ phụ thuộc vào β chứ không phụ thuộc vào σ 2 Ta sẽ cực đại hoá hàm hợp lý theo các biến β và σ 2 Ta có
Phương trình này có nghiệm σ 2 = T −1 x 0 T G −1 T x T Thay giá trị này vào hàm hợp lý ban đầu và lấy log, ta được ln L T (β |x T ) = − ln (2π) − T
2 Tiếp theo, ta cực đại hoá hàm này theo biến β ∈ C Điều này tương đương với cực tiểu hoá hàm sau
+ T −1 ln det G T (β) → min β∈C Giá trị β cực tiểu hóa hàm trên được gọi là ước lượng hợp lý cực đại của β và được ký hiệu là β ˆ M L Khi đó, ước lượng hợp lý cực đại σ ˆ 2 M L của σ 2 là ˆ σ M L 2 = T −1 x 0 T G T β ˆ M L −1 x T
Việc tính toánG T (β) vàG T (β) −1 có thể tránh được bằng cách viết lại hàm hợp lý như sau
!. Định lý 2.3.1 (Phân phối tiệm cận của ước lượng hợp lý cực đại) Nếu {X t } là một quá trình ARMA với các tham số β ∈ CvàZ t ∼ IID 0, σ 2 với σ 2 > 0 thì ước lượng hợp lý cực đại và ước lượng bình phương cực tiểu cùng có phân phối xấp xỉ phân phối chuẩn khi số quan sát đủ lớn.
Ma trận hiệp phương sai tiệm cận V (β) được cho bởi
V t = (υ t , υ t−1 , , υ t−q+1 ) 0 trong đó {u t }và{υ t } biểu thị các quá trình tự hồi quy thoả Φ(L)u t = w t và Θ(L)υ t = w t với w t ∼ N(0, 1).
Ví dụ: Quá trình AR(p)
Trong trường hợp này, β = (φ 1 , , φ p ) và (β) = (E U t U t 0 ) −1 = σ 2 Γ −1 p Dễ thấy, các ược lượng Yule-Walker, ước lượng bình phương cực tiểu và ước lượng hợp lý cực đại là tương đương tiệm cận cho quá trình AR(p) Đặc biệt, ta có
Ví dụ: Quá trình MA(q) Tương tự, ta cũng có thể xác định phân phối tiệm cận cho quá trình M A(q) Đặc biệt, ta có
Ví dụ: Quá trình ARMA(1,1) Đối với quá trình ARMA(1,1), ma trận hiệp phương sai tiệm cận được cho bởi
Ước lượng cấp p và q
Ta vẫn luôn giả thiết rằng bậc p và q của mô hình ARMA đã biết Tuy nhiên, điều này hiếm khi xảy ra trong thực tế Vì lý thuyết kinh tế không đưa ra chỉ dẫn nào, nên các bậc của mô hình ARMA thường được xác định từ dữ liệu Khi đó, ta có thể mắc hai loại sai số: p và q quá lớn (quá khớp), hay p và q quá nhỏ (chưa khớp).
Trong trường hợp quá khớp, ước lượng hợp lý cực đại không còn là ước lượng vững với các tham số của mô hình, nhưng vẫn vững với các hệ số của biểu diễn nhân quả ψ j , j = 0, 1, 2, với ψ(z) = φ(z) θ(z)
Ta xét ví dụ sau Giả sử {X t } là một quá trình nhiễu trắng, tức là X t = Z t ∼ N(0, σ 2 ),và ta xây dựng mô hìnhARM A(1, 1)vớiX t −φX t−1 = Z t +θZ t−1 Ước lượng hợp lý cực đại không hội tụ đếnφ = θ = 0 mà chỉ hội tụ đến đoạn thẳngφ = −θ với
|φ| < 1và|θ| < 1 Với mọi φ, θ thuộc vào đoạn thẳng này, ta cóψ(z) = θ(z)/φ(z) = 1. Ước lượng hợp lý cực đại hội tụ đến các giá trị chính xác củaψ j , tức là tới các giá trị ψ 0 = 1 và ψ j = 0, j > 0 (xem hình 2.4) Ta thấy ước lượng có xu hướng hội tụ đến các điểm (−1, 1) và (1, −1) tùy thuộc vào các giá trị bắt đầu Tính bất định này của ước lượng cho thấy một vấn đề phát sinh liên quan đến tính toán số khi tối ưu hóa hàm hợp lý Vì vậy, các mô hình với nghiệm tương tự cho các đa thức
AR và MA có giá trị tuyệt đối gần với đường tròn đơn vị có thể bị tham số hóa quá mức Vấn đề có thể được khắc phục bằng cách giảm bậc của đa thức AR và
MA Vấn đề này không xuất hiện trong các mô tự hồi quy vì, chẳng hạn trong mô
Hình 2.1: Không gian tham số của một quá trình ARMA(1,1) nhân quả và đảo ngược hình AR(1), các hệ số thừa hội tụ về 0 với phân phối tiệm cận N (0, 1/T ) Đây là một lý do mà các mô hình tự hồi quy thường được ưa thích hơn Hơn nữa, mọi quá trình dừng đều có thể được ước lượng tốt bằng quá trình AR Tuy nhiên, ước lượng này có thể yêu cầu các mô hình bậc cao nếu quá trình bao gồm thành phần MA.
Trong trường hợp chưa khớp, ước lượng hợp lý cực đại sẽ hội tụ đến những giá trị gần nhất trong không gian tham số so với các tham số chính xác Tuy nhiên, các ước lượng này là không vững.
Vì những lý do này, việc xác định các bậc của mô hình là một bước quan trọng. Một phương pháp xác định bậc của mô hình được [10] đề xuất, trong đó phân tích hàm tự tương quan (ACF) và hàm tự tương quan từng phần (PACF) Một phương pháp khác là sử dụng tiêu chí thông tin cho các giá trị khác nhau của p và q Ý tưởng chính là dựa vào nhận xét: nếu tăng các bậc p và q thì sẽ tăng mức độ phù hợp của mô hình và giảm giá trị của phần dư σ ˆ p,q 2 Để tránh tình huống quá khớp của mô hình, ta xây dựng hàm phạt phụ thuộc vào số tham số tự do và số quan sát.
Các tiêu chí thông tin thông dụng nhất là chỉ số AIC (Akaike), BIC (Bayes), và HQ (Hannan-Quinn)
Vì AIC p trong mô hình ARCH(p).Trong mô hình ARCH(p), ta có thể đặt s bằng p + 1 Trong trường hợp mô hìnhGARCH, σ 2 t có dạng là chuỗi có trọng số của Z t−1 2 , Z t−2 2 ,
Ta gom các tham số của mô hình thành các véctơ sau φ = (c, φ 1 , , φ r ) 0 , α = (α 0 , α 1 , , α p ) 0 vàβ = (β 1 , , β q ) 0 Cho trước x = (x 1 , x 2 , , x T ) Hàm hợp lý L (φ,α,β |X ) được định nghĩa bởi
Trong thực tế, ta không cực đại hoá hàm hợp lý mà là logarit của nó log L (φ, α, β |X ) =
Z t 2 σ 2 t , trong đú, z t = X t − c − φ 1 X t−1 − ã ã ã − φ r X t−r là giỏ trị quan sỏt của Z t
3.3.2 Phương pháp ước lượng mômen
Việc tối ưu hóa hàm số hợp lý là tối thiểu hóa của hàm mục tiêu bằng các phương pháp số Phương pháp số và giá trị ban đầu ảnh hưởng đến kết quả tối ưu hóa Khi hàm số hợp lý không tốt, có thể sử dụng phương pháp ước lượng Mômen thay thế Phương pháp này tương tự như phương pháp ước lượng Yule-Walker áp dụng cho hàm tự tương quan.
Z t 2 Phương trình (3.10) cho ta một hệ phương trình phi tuyến cho các tham sốβ và α 1 chưa biết Ta có thể đổi biến ϕ = α 1 + β để rút gọn hệ này thành một phương trình bậc hai duy nhất theo β β 2 − bβ − 1 = 0 với b = ϕ 2 + 1 − 2ρ z 2 (1)ϕ ϕ − ρ z 2 (1) Tham số b là hoàn toàn xác định vì ϕ = α 1 + β ≥ ρ z 2 (1) và dấu bằng chỉ xảy ra khi β = 0 Tiếp theo ta giả sử β > 0 Khi đó, b > 2 và nghiệm duy nhất sao cho
Ta có phương pháp ước lượng mômen như sau. a) Ước lượng các hệ số tương quan ρ Z 2 (1), ρ Z 2 (2), và σ 2 b) Ước lượng φ = α 1 + β ˆ ϕ =
= ρ ˆ z 2 (2) ˆ ρ z 2 (1) c) Sử dụng ước lượng ϕ ˆ để ước lượng b ˆ b = ϕ ˆ 2 + 1 − 2 ˆ ρ z 2 (1) ˆ ϕ ˆ ϕ − ρ ˆ z 2 (1) Ước lượng β ˆ củaβ là β ˆ = ˆ b −p ˆ b 2 − 4
2 d) Ước lượng của α 1 là α ˆ 1 = ˆ ϕ − β ˆ Vì α 0 = σ 2 (1 − (α 1 + β)) nên ước lượng của α 0 là α ˆ 0 = ˆ σ 2 (1 − ϕ) ˆ
Kristensen và Linton (xem [18]) đã chứng minh rằng nếu mômen bậc 4 của Z t tồn tại thì phương pháp mômen này cho các ước lượng vững và có phân phối chuẩn tiệm cận.
Ví dụ: Chỉ số thị trường Thụy Sĩ (SMI)
Trong phần này (xem [20]), ta sẽ minh họa lý thuyết với phân tích độ biến động của chỉ số thị trường Thụy Sĩ (SMI) SMI là chỉ số thị trường chứng khoán quan trọng nhất đối với các công ty lớn của Thụy Sĩ Nó được xây dựng chỉ dựa trên giá thị trường chứng khoán và không tính đến cổ tức Dữ liệu là giá trị hàng ngày của chỉ số tính từ ngày 3 tháng 1 năm 1989 đến ngày 13 tháng 2 năm 2004 Ta tính giá trị sai phân của logarit của lợi tức hằng ngày của SMI Chuỗi thời gian này được ký hiệu là X t và được mô tả trong Hình 3.3 Ta có thể phân biệt rõ ràng các pha của độ biến động cao (quan sát t = 2500 và t = 3500) và biến động thấp (t = 1000 và t = 2000) Đây là dấu hiệu đầu tiên cho thấy hiệp phương sai không đồng nhất và độ biến động có tương quan thuận.
Đồ thị phân vị chuẩn (Hình 3.4) cho thấy lợi tức quan sát được có xác suất lớn hơn nhiều so với phân phối chuẩn, chứng tỏ phân phối lợi tức có tính đuôi nặng trái So sánh biểu đồ tần số của lợi tức và hàm mật độ của phân phối chuẩn (Hình 3.5) cũng xác nhận đặc điểm này.
Hình 3.3: Lợi tức hằng ngày của SMI được tính bằng ∆ ln(SM I t )
Hình 3.4: Đồ thị phân vị chuẩn của lợi tức hằng ngày của SMI đồ thị trong Hình 3.5 không cho thấy dấu hiệu rõ ràng về một phân phối không đối xứng.
Tiếp theo, ta sẽ phân tích các hàm tự tương quan của {X t } và
X t 2 Hình 3.6 mô tả các ước lượng của ACF Ước lượng ACF của{X t }không cho thấy có tính tự tương quan có ý nghĩa nào nên ta có thể xem {X t } xấp xỉ nhiễu trắng Tuy nhiên,thống kê Ljung-Box với L = 100 cho giá trị thống kê 129.62 lớn hơn giá trị tới hạn5% là 124.34 Vì vậy, có dấu hiệu của tính tự tương quan yếu Ước lượng ACF của
X t 2 rõ ràng nằm ngoài khoảng tin cậy 95% cho ít nhất đến bậc 20 Do đó, ta có thể bác bỏ giả thuyết hiệp phương sai đồng nhất và chấp nhận giả thuyết hiệp phương sai không đồng nhất Điều này được xác nhận bởi giá trị thống kê Ljung-Box với
L = 100 là 2000.93, lớn hơn nhiều so với giá trị tới hạn 124.34.
Hình 3.5: Đồ thị tần số của lợi tức hằng ngày của SMI
Hình 3.6: ACF của lợi tức hằng ngày và bình phương lợi tức của SMI
Bảng 3.1: Chỉ số AIC cho phương trình phương sai trong mô hình GARCH (p, q) q p 0 1 2 3
Bảng 3.2: Chỉ số BIC cho phương trình phương sai trong mô hình GARCH(p, q) q p 0 1 2 3
3 2.9941 2.9592 2.9604 2.9607 Để tìm ra mô hình thích hợp cho phương trình kỳ vọng, ta có thể sử dụng phương pháp hồi quy Kết quả cho thấy mô hình M A(1) là phù hợp với dữ liệu nhất mặc dù mô hình AR(1) cho kết quả tương tự Ở bước tiếp theo, ta sẽ ước lượng mô hình GARCH(p, q) với phương pháp hợp lý cực đại với p thay đổi từ 1 đến 3 và q thay đổi từ 0 đến 3 Các giá trị của chỉ số AIC và BIC tương ứng với phương trình phương sai được trình bày trong Bảng 3.4 và 3.4.
Chỉ số AIC và BIC lần lượt đề xuất các mô hình GARCH(3, 3) và GARCH(1, 1) Tuy nhiên, mô hình GARCH(3, 3) có thể gặp vấn đề tối ưu khi có nhiều tham số (q > 0) Ngoài ra, nghiệm của đa thức AR và MA trong phương trình phương sai của mô hình GARCH(3, 3) rất gần nhau Do đó, mô hình GARCH(1, 1) được lựa chọn để ước lượng phương trình kỳ vọng.
Trong mô hình GARCH ước lượng, hệ số hồi quy tự hồi quy Zt có giá trị là 0,0484 cho thấy có mối tương quan có hệ thống giữa lợi tức của những ngày liên tiếp Hệ số của mô hình đều dương và tổng của chúng (0,9469) nhỏ hơn 1, đáp ứng điều kiện cho sự dừng của quá trình.
3 1−0.8081 0.1388 = 1.2528 > 1, điều kiện để tồn tại mômen bậc 4 của Z t bị vi phạm. Để so sánh, ta cũng ước lượng mô hìnhGARCH(1, 1)bằng cách sử dụng phương pháp mômen Đầu tiên, ta ước lượng mô hình M A(1) cho ∆ log SM I Ta có ước lượng θb= 0.034 Bình phương phần dư có hệ số tương quan bρ Z 2 (1) = 0.228 và b ρ Z 2 (2) = 0.181. Ước lượng của b làbb = 2.241 Suy ra ước lượng của β bằng βb= 0.615 Cuối cùng, các ước lượng của α 1 và α 0 bằng bα 1 = 0.179 và b α 0 = 0.287, và ước lượng của σ 2 bằng b σ
2 = 1.391 Những ước lượng này hoàn toàn khác với những ước lượng thu được bằng phương pháp hợp lý cực đại.
Trong thế giới phẳng ngày nay cùng với sự biến đổi nhanh chóng trên tất cả các lĩnh vực, cụ thể là lĩnh vực kinh tế, việc phân tích và dự báo kinh tế là công việc hết sức quan trọng Các mô hình toán học nói chung và các mô hình chuỗi thời gian nói riêngó giúp các nhà đầu tư, nhà quản lý, trong việc đưa ra các quyết định phù hợp hơn Việc xây dựng mô hình chuỗi thời gian bao gồm rất nhiều bước khác nhau: đầu tiên là lựa chọn mô hình chuỗi thời gian phù hợp (như AR, MA, ARMA, ARIMA, ARCH, GARCH, v.v.), sau đó ta cần ước lượng các tham số của mô hình, kiểm tra một số giả thiết của mô hình và đưa ra kết quả dự báo Việc kiểm chứng mô hình cũng rất quan trọng Tuy nhiên, luận văn này chỉ mới dừng lại ở việc kiểm chứng một số kết quả đơn giản chứ chưa tiến hành các bước kiểm chứng mô hình một cách đầy đủ và có hệ thống Đây sẽ là nội dung mà tôi sẽ chú tâm tìm hiểu thêm sau khi hoàn thành luận văn.
[1] N Q Dong, Phân Tích Chuỗi Thời Gian Trong Tài Chính, Hà Nội: NXB
[2] N.T Hoài, Mô Hình Hóa Và Dự Báo Chuỗi Thời Gian trong Kinh Doanh Và Kinh Tế, NXB Đại Học Quốc Gia TPHCM, 2001.
[3] Đ H.Hồ, N V Hữu,và H H Như, Thống Kê Toán Học, NXB Đại Học ,,,,,,QuốcGia Hà Nội, 2004.
[4] N C Long, Xác Xuất Thống Kê Và Quá Trình Ngẫu Nhiên, NXB Đại Học
[5] N V Ngọc, Tiền Tệ, Ngân Hàng Và Thị trường Tài Chính, NXB Đại Học
[6] N.V.Ngọc,Lý Thuyết ChungVề thịTrường Tài Chính, Ngân Hàng Và Chính Sách Tiền Tệ, NXB Đại Học kinh Tế Quốc Dân, 2010.
[7] T.T.Nguyên, CơSở Toán TàiChính,NXBKhoaHọcKỹThuậtHàNội, ,,,,,,2009.
[8] T H.Thao,Nhập Môn Toán HọcTài Chính,Nhà XuấtBảnKhoa HọcVà Kỹ
[9] N D Tiến, vàV.V Yên, Lý Thuyết Xác Suất, NXB Đại Giáo Dục, 2009.
[10] G E P Box,and G.M Jenkins, Time series analysis: forecasting and ,,,,,,,control, revised edn SanFrancisco:HoldenDay, 1976.
[11] P J Brockwell, R A Davis, Time series: theory and methods,2ndedn.,,,,,,,NewYork:Springer, 1991.
[12] R Durrett, Probability Theory and Examples, 4thedn Springerby Cambridge University Press, 2010.
[13] R Engle, "Autoregressive conditional heteroskedasticity with estimates of ,,,,,,,the variance of the United Kingdom inflation," Econometrica, vol 50, ,,,,,,,pp 987-1007, 1982.
[14] R.Engle,andT.Bollerslev, "Modelingthe persistenceof conditional ,,,,,,,variance," Econ.Rev.,vol 5, pp.1–50, 1986.
[15] R F Engle, L David,andR P Robins,"Estimating timevarying risk premiainthe termstructure: TheARCH-Mmodel," Econometrica, vol 55,
[16] L.R.Glosten,R.Jagannathan,andD.E Runkle, "On therelation between ,,,,,,,expected valueandthe volatilityof the nominalexcessreturns onstocks," J. ,,,,,,,Finance,vol.48, pp 1779–1801, 1993.
[17] F Jiang, andQ Yao, Nonlinear time series NewYork:Springer, 2003.
[18] D.Kristensen,andO.Linton, "A closed-formestimator fortheGARCH,, ,,,,,,,(1,1)-model," Econ.Theory, vol 22, pp 323–337, 2006.
[19] D.B.Nelson, "Conditional heteroskedasticity in asset returns: A new ,,,,,,,approach," Econometrica, vol 59, pp 347–370, 1991.
[20] K Neusser, Time Series Econometrics, Springer International Publishing,
[21] R S Tsay, Analysis of Financial Time Series, 3rd Edition Wiley Series in
[22] J M Zakoian, "Threshold heteroskedastic model," J Econ Dyn Control,vol 18, pp 931-955, 1994.