Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 4 potx

Chương Quá trình dừng Đặng Hùng Thắng Quá trình ngẫu nhiên tính tốn ngẫu nhiên NXB Đại học quốc gia Hà Nội 2007 Tr 64 -142 Từ khoá: Quá trình dừng, Hàm tự tương quan, Độ phổ, mật độ phổ, Biểu diễn phổ, Tiếng ồn trắng, Trung bình trượt tích phân Tài liệu Thư viện điện tử ĐH Khoa học Tự nhiên sử dụng cho mục đích học tập nghiên cứu cá nhân Nghiêm cấm hình thức chép, in ấn phục vụ mục đích khác khơng chấp thuận nhà xuất tác giả Chương Quá trình dừng 2.1 2.2 2.3 Quá trình dừng thời gian rời rạc 65 2.1.1 Hàm tự tương quan 65 2.1.2 Một số dãy dừng quan trọng 71 2.1.3 Độ đo phổ mật độ phổ 86 2.1.4 Biểu diễn phổ 95 2.1.5 Bài toán dự báo 107 2.1.6 Tính chất ergodich 111 Quá trình dừng thời gian liên tục 119 2.2.1 Hàm tự tương quan, độ đo phổ, biểu diễn phổ 119 2.2.2 Tiếng ồn trắng, trung bình trượt tích phân 124 2.2.3 Phương trình vi phân, dự báo tính ergodic 130 Bài tập 139 Trong chương ta nghiên cứu tiến triển theo thời gian hệ thống vật lý mà tương lai phụ thuộc vào độc lập với khứ 2.1 Quá trình dừng thời gian rời rạc 65 Tuy nhiên thực tế đặc biệt lĩnh vực kinh tế, thị trường chứng khốn, học thống kê, khí tượng thuỷ văn ta thường gặp hệ ngẫu nhiên mà q trình phát triển tương lai khơng phụ thuộc vào mà phụ thuộc vào khứ Khi dự báo cho tương lai q trình khơng quan tâm tới mà phải quan tâm tới khứ hệ Mơ hình xác suất để mơ ta trình gọi trình dừng Ngày trình dừng trở thành lĩnh vực quan trọng có nhiều ứng dụng cuả Lý thuyết xác suất Chương chia làm hai phần Phần thứ trình bày trình dừng với thời gian rời rạc Phần thứ hai trình bày kết tương ứng cho trường hợp trình dừng với thời gian liên tục Tuy nhiên khuôn khổ sách phần B tập trung vào việc giới thiệu khái niệm, định nghĩa Các định lý nêu giải thích ý nghĩa, nêu ví dụ minh hoạ khơng chứng minh chi tiết 2.1 2.1.1 Quá trình dừng thời gian rời rạc Hàm tự tương quan Cho dãy (Xn ) ĐLNN với tập số n ∈ Z={0, ±1, ±2, } Khi ta nói (Xn ) q trình ngẫu nhiên với thời gian rời rạc Ký hiệu m(k) = EXk , r(k, h) = cov(Xk , Xh ) = E(Xk − m(k))(Xh − m(h)) Ta gọi m(k) hàm trung bình cịn r(k, h) hàm tự tương quan dãy Định nghĩa 2.1 (Xn ) gọi q trình dừng (cịn gọi dãy dừng chuỗi thời gian) hàm trung bình số hàm tương quan r(k, h) phụ thuộc vào hiệu |k − h| Như (Xn ) trình dừng tồn hàm K(h) xác định tập số nguyên Z cho với n ∈ Z K(h) = cov(Xn+h , Xn ) 66 Chương Quá trình dừng Hàm K(n) gọi hàm tự tương quan (autocovariance function) dãy (Xn ) Ta có DXn = cov(Xn , Xn ) = K(0) Định lý 2.1 Hàm tự tương quan K(n) có tính chất sau K(n) hàm chẵn K(n) = K(−n) |K(n)| ≤ K(0), ∀n ∈ Z K(n) hàm xác định không âm Z tức với số nguyên dương n, với số thực hay phức a1, a2, , an ta có n X n X aiaj K(i − j) ≥ i=1 j=1 Chứng minh Hiển nhiên định nghĩa Ta có theo bất đẳng thức Cauchy-Schwartz |K(n)|2 = |E(Xn − m)(X0 − m)|2 ≤ (DXn )(DX0 ) = |K(0)|2 0≤ D n X Xi ! = Cov " i=1 = n X n X i=1 j=1 bibj Cov[Xi , Xj ] = n X aiXi , i=1 n X n X n X # aj Xj = i=1 aiaj K(i − j) i=1 j=1 Ngược lại ta có kết sau (cơng nhận không chứng minh): Định lý 2.2 Nếu K(n) hàm chẵn xác định khơng âm Z tồn trình dừng Gaussian (Xn ) nhận K(n) làm hàm tự tương quan 2.1 Quá trình dừng thời gian rời rạc 67 Ví dụ 2.1 Cho Wn dãy ĐLNN không tương quan với EWn = 0, EWn Wm = δmn DWn = σ Ta có r(k + n, k) = EWk+n Wk = n 6= Do Wn trình dừng với hàm tự tương quan  σ h = K(h) = 0 h 6= Ta gọi Wn dãy ồn trắng với tham số σ Ví dụ 2.2 Xét dãy (Xn ) xác định sau Xn = Wn + rWn−1 r số thực Ta có r(n + h, h) = cov(Xn+h , Xh ) = E[(Wn+h + rWn+h−1 )(Wn + rWn−1 )] = EWn+h Wn + rEWn+h Wn−1 + rEWn+h−1 Wn + + r2 EWn+h−1 Wn−1 Do h = r(n, n) = σ 2(1+r2 ) Với h = r(n+1, n) = rDXn = rσ với h = −1 r(n − 1, n) = rDXn = rσ r(n + h, n) = h 6= ±1 Thành thử (Xn ) trình dừng với hàm tự tương quan    σ 2(1 + r2 ) h =   K(h) = σ 2r h = ±1    0 |h| > Để chứng minh hàm xác định không âm ta thường chứng minh cách chứng tỏ hàm tự tương quan q trình dừng 68 Chương Q trình dừng Ví dụ 2.3 a Chứng minh hàm K(h) = σ cos λh hàm xác định khơng âm, λ số thực, σ số dương cho trước b Tổng quát cho trước số thực λ1 , , λn số dương σ1 , , σn Chứng tỏ hàm n X T (h) = σk2 cos λk h k=1 hàm xác định không âm Giải: a Thật giả sử U V hai ĐLNN không tương quan EU = EV = 0, EU = EV = σ Xét dãy (Xn ) xác định Xn = U cos λn + V sin λn Ta có mn = cos λnEU + sin λnEV = r(k, h) = EXk Xh = E [(U cos λk + V sin λk)(U cos λh + V sin λk)] = E[U cos λk cos λh + V sin λk sin λh + U V cos λk sin λh + U V sin λk cos λh] = σ (cos λk cos λh + sin λk sin λh) = σ cos λ(h − k) = K(h − k) Vậy (Xn ) trình dừng với hàm tự tưong quan K(h) = σ cos λh b Tiếp theo, giả sử U1 , U2 , , Um V1 , V2 , , Vm ĐLNN với EUk = EVk = , EUk2 = EVk2 = σk2 , EUi Uk = (i 6= k) EVi Vk = (i 6= k) EUi Vj = 0, λ1 , , λm ∈ R Xét dãy (Xn ) xác định Xn = m X (Uk cos λk n + Vk sin λk n) k=1 Tính tốn tương tự ta có (Xn ) q trình dừng với hàm tự tương quan m X σi2 cos λi h T (h) = i=1 2.1 Quá trình dừng thời gian rời rạc Ví dụ 2.4 Chúng ta chứng minh      K(h) = θ    0 69 hàm sau h = h = ±1 |h| > hàm xác định không âm |θ| ≤ 1/2 Thật giả sử |θ| ≤ 1/2 Theo ví dụ 2.2 ta cần chứng tỏ tồn số σ, r cho σ 2(1 + r2 ) = σ 2r = θ có nghiệm Quả vậy, từ hai phương trình suy r (1 + r2 ) = θ Từ r= 1± √ 1 − 4θ2 ,σ = 2θ + r2 Đảo lại θ > 1/2 xét số a1 = 1, a2 = −1, a3 = 1, , an = (−1)n−1 Khi n X n X aj K(i − j) = i=1 j=1 n X a2i + i=1 n−1 X aiai+1 i=1 = n − 2θ(n − 1) < chọn n > 2θ/(2θ−1) Vậy K(h) không hàm xác định không âm Tương tự θ < −1/2 ta xét số a1 = a2 = · · · = an = ta thu n X n X i=1 j=1 n > 2θ/(2θ − 1) aj K(i − j) = n + 2θ(n − 1) < 70 Chương Quá trình dừng Ví dụ 2.5 (Dãy tự hồi quy cấp hay dãy AR(1).) Giả sử (Xn ) trình dừng thoả mãn phương trình sai phân sau Xn = pXn−1 + Wn p số |p| < EWn Xm = m < n Dãy với tính chất gọi trình tự hồi quy cấp hay trình AR(1) (Sau ta chứng minh có tồn q trình dừng có tính chất nêu trên) Ta tìm biểu thức hàm tương quan dãy AR(1) Rõ ràng EXn = Thành thử với h > K(h) = EXn−h Xn = EXn−h (pXn−1 + Wn ) = pEXn−1 Xn−h + EXn−h Wn = pK(h − 1) Suy K(h) = ph K(0) Lại có K(0) = EXn Xn = EXn (pXn−1 + Wn ) = pK(1) + E(Wn Xn ) = pK(1) + pE(Wn Xn−1 ) + EWn2 = pK(1) + σ = p2 K(0) + σ Suy K(0) = σ2 − p2 K(h) = p|h| σ − p2 Tóm lại Ví dụ 2.6 (Du động ngẫu nhiên.) Cho (Xn ) dãy ĐLNN độc lập phân bố với kỳ vọng phương sai σ Xét dãy Sn cho Sn = n ≤ 0, Sn = X1 + X2 + · · · + Xn 2.1 Quá trình dừng thời gian rời rạc 71 Ta có với h > r(n + h, n) = ESn+h Sn = E(Sn + Xn+1 + · · · Xn+h )Sn = DSn = nσ phụ thuộc vào n Vậy Sn trình dừng Nếu (Xn ) trình dừng từ định nghĩa ta suy với số nguyên h, n véc tơ (X1 , , Xn) véc tơ (X1+h , ,Xn+h ) có giá trị trung bình có ma trận tương quan Tuy nhiên chưa chúng có phân bố Một trình dừng mạnh trình mà hai vector khơng có giá trị trung bình ma trận tương quan mà có luật phân bố Ta có định nghĩa sau: Định nghĩa 2.2 Dãy (Xn ) gọi trình dừng mạnh số nguyên h, n hai vector ngẫu nhiên (X1 , , Xn) vector (X1+h , , Xn+h ) có phân bố Rõ ràng q trình dừng mạnh với EXn2 < ∞ ∀n trình dừng Ngược lại, có ví dụ chứng tỏ dãy khơng thiết q trình dừng mạnh Tuy nhiên biết hai vector ngẫu nhiên có phân bố Gauss mà có vector trung bình ma trận tương quan có phân bố Thành thử dãy dừng Gauss dãy dừng mạnh Nếu (Xn ) dãy ĐLNN độc lập có phân bố hiển nhiên dãy dừng mạnh Như xem khái niệm dãy dừng mở rộng khái niệm dãy ĐLNN độc lập phân bố 2.1.2 Một số dãy dừng quan trọng Ta cần số kiến thức chuẩn bị Ký hiệu L2 (Ω, F , P ) không gian Hilbert ĐLNN X cho E|X|2 < ∞ Tích vơ hướng L2 (Ω, F , P ) Z X(ω)Y (ω)dP < X, Y >= E(XY ) = Ω 72 Chương Quá trình dừng Sự hội tụ L2 (Ω, F , P ) gọi hội tụ bình phương trung bình (bptb) Như dãy (Xn ) hội tụ bình phương trung bình tới X lim E(Xn − X)2 = n→∞ ta viết lim Xn = X n→∞ L2 hay L2 − lim Xn = X n→∞ Ta nói chuỗi S = ∞ P Xn hội tụ bptb tới S dãy tổng riêng Sn = n=1 n P Xk k=1 hội tụ bptb tới S Ta có tính chất sau hội tụ bptb Định lý 2.3 Điều kiện cần đủ để dãy (Xn ) hội tụ bptb lim E|Xn − Xm |2 = m,n→∞ tồn lim EXn Xm (2.1) m,n→∞ Nếu lim Xn = X n→∞ , lim Yn = Y n→∞ (i) lim EXn = EX n (ii) lim EXn2 = EX n→∞ (iii) lim limn EXn Yn = EXY n→∞ (iv) lim cov(Xn , Yn ) = cov(X, Y ) n Chứng minh L2 2.1 Quá trình dừng thời gian rời rạc 73 Do tiêu chuẩn Cauchy không gian Hilbert L2 (Ω, F , P ) Nếu tồn giới hạn (2.1) c lim E|Xn − Xm |2 m,n→∞ = lim EXn Xn − lim EXn Xm + lim EXm Xm n m,n→∞ m = c − 2c + c = Đảo lại Xn → X L2 tính liên tục tích vơ hướng suy lim EXn Xm = lim < Xn , Xm >=< X, X > m,n→∞ m,n→∞ Theo bất đẳng thức Cauchy-Schwartz p lim |EXn − EX| ≤ lim E|Xn − X|2 = n n Lại có cov(Xn , Yn ) =< Xn Yn > −(EXn )(EYn )nên lim cov(Xn , Yn ) =< X, Y > −(EX)(EY ) n = cov(X, Y ) Định lý 2.4 Giả sử Wn dãy ồn trắng với tham số σ (hi ), i ∈ Z dãy số thoả mãn X |hi |2 < ∞ i∈Z Khi chuỗi Xn = X hi Wn−i i∈Z hội tụ bptb dãy (Xn ) trình dừng với hàm tự tương quan X K(h) = σ hi hi+h i∈Z 74 Chương Quá trình dừng Chứng minh Đặt Sn = P hi Wn−i Khi X Sn − Sm = hi Wn−i |i|≤n m q Xh Xk khơng tương quan với gọi trình q-tương quan Một trình mà số hạng đơi khơng tương quan ( chẳng hạn dãy ồn trắng) trình 0-tương quan Như trình trung bình trượt cấp q trình q-tương quan Điều thú vị khẳng định ngược lại 76 Chương Quá trình dừng Định lý 2.5 Nếu (Xn ) trình q-tương quan với giá trị trung bình q trình trung bình trượt cấp q Một trình trung bình trượt xem tạo thành phép biến đổi tuyến tính dãy ồn trắng Wn Tổng quát ta có Định lý 2.6 Cho (Yn ) q trình dừng với trung bình khơng hàm tự tương quan KY (h) Cho dãy số thực (hi ) thoả mãn X |hi | < ∞ i∈Z Khi chuỗi Xn = X hi Yn−i i∈Z hội tụ hầu chắn hội tụ bptb Dãy (Xn ) trình dừng với hàm tự tương quan X K(h) = hi hj KY (h + i − j) i∈Z Chứng minh Ta có E|hi Yn−i | = |hi |E|Yn−i | p ≤ |hi | KY (0) Vậy X E|hi Yn−i | ≤ X p KY (0) |hi | < ∞ i∈Z Suy X i∈Z |hi Yn−i | < ∞ hầu chắn i∈Z Vậy chuỗi Xn = X i∈Z hội tụ hầu chắn hi Yn−i 2.1 Quá trình dừng thời gian rời rạc Tiếp theo, đặt Sn = P |i|≤n 77 hi Yn−i Khi X Sn − Sm = hi Yn−i m