Independent And Stationary Sequences Of Random Variables - Chapter 16 ppsx

~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~ ~~~ ~~ ~ ~~~ ~ ~ ~~ ~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~~~~~~~~~ ~~~~ ~~~~~~~~~ ~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~ ~ ~~ ~~~~~~~ ~~ ~~~~~~ ~~~ ~ ~ ~~~ ~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~ ~ ~ ~ ~~~~ ~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~ ~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~ ~ ~ ~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~ ~ ~ ~~~ ~~ ~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~ ~~~~~~~~~ ~~~~~~~ ~ ~ ~ ~ ~~~ ~~ ~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~ ~ ~ ~~~ ~~~~~~~~~~~~~~~~ ~ ~~ ~~~~~ ~ ~ ~~ ~~~~~ ~~~ ~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~ ~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~ ~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~ ~ ~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~ ~ ~ ~~ ~~~~~~~~~~~~ ~~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~ ~ ~ ~~~ ~ ~ ~~ ~~~~~~~~~ ~ ~ ~ ~ ~~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~ ~~~~~~ ~~ ~~~~ ~~ ~ ~~ ~ ~~~~~~~~~~~~~~~ ~ ~ ~~ ~~~~~~~~~ ~~~ ~~ ~ ~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~ ~ ~~ ~~ ~ ~~ ~~~~~~~~ ~ ~ ~~~~~~~~ ~~~~~ ~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~ ~ ~ ~~~ ~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~ ~~~~ ~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~ ~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~ ~~~~ ~~ ~~~~~~~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~ ~~ ~~~ ~ ~ ~ ~ ~~ ~~~~~~~ ~ ~~~ ~~ ~~~ ~~~ ~~~ ~ ~ ~~~ ~ ~ ~ ~ ~ ~~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~~~~~~~~~ ~ ~~ ~ ~~ ~~~~ ~ ~~ ~ ~ ~ ~ ~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~ ~ ~~~~ ~~ ~~~~ ~ ~ ~~~~~~~~~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~ ~~ ~ ~~ ~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~ ~ ~~~~~~~~~~~ ~~~ ~~ ~~~~ ~ ~ ~~~~ ~ ~~~ ~~ ~ ~ ~ ~~ ~~~~~~~~~~~~~~~~~~ ~ ~ ~~ ~~ ~ ~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~ ~~~ ~~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~ ~~~~ ~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~ ~ ~ ~~~ ~ ~ ~~~~ ~ ~ ~ ~~ ~~ ~~~ ~ ~ ~~~~ ~ ~ ~ ~ ~~~ ~ ~ ~ ~ ~ ~~~~~~ ~~~ ~ ~ ~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~ ~ ~~~~~~ ~ ~ ~~~~~ ~~ ~ ~~~~~~~~~~~ ~ ~~~~~~~~ ~ ~ ~~~~~~ ~ ~~~ ~ ~~~~~ ~~ ~~ ~~ ~ ~ ~~ ~ ~ ~ ~ ~~~ ~~~~ ~ ~ ~~ ~ ~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~~~~ ~~~~~~ ~ ~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~ ~ ~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~~ ~~~ ~~ ~ ~~ ~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~ ~~~~ ~~~~~~~~~~~ ~~ ~~ ~ ~~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~ ~~~~ ~~ ~~~ ~ ~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~~~~~ ~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~ ~ ~ ~ ~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~ ~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~ ~~ ~~~ ~ ~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~ ~ ~ ~ ~~~~~~ ~ ~~~ ~~~~~~ ~ ~~~ ~~ ~~~ ~~~ ~~~~~~~~~~~~~~ ~ ~ ~ ~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~ ~ ~~ ~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~ ~~ ~~ ~~~~ ~ ~ ~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~ ~~~~~~~~~~~~ ~~~ ~ ~~ ~~ ~ ~ ~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~ ~~~~ ~~~ ~~ ~~ ~~ ~ ~~~~~~~~ ~ ~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~ ~~~~~~~~ ~ ~~ ~ ~~~ ~ ~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~~~~~~~ ~~~~~~~~~~ ~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~ ~~~~ ~~ ~~ ~ ~ ~~~~~~~~~~~~~~ ~ ~ ~ ~~~~~~ ~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~ ~ ~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~ ~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~~ ~~ ~~~~ ~~ ~~~~ ~ ~~~ ~ ~ ~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~ ~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~ ~~~ ~~ ~~~~ ~~ ~ ~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~~~~ ~~~~ ~ ~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~~~ ~~~~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~ ~ ~~~~~~~ ~ ~~~~ ~ ~~~~~~~~~~~~ ~ ~~~~~~~ ~ ~~~~ ~ ~~~ ~~ ~~~ ~~~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~ ~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~ ~~~ ~~ ~~~ ~ ~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~ ~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~ ~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~ ~~~~~~~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~~ ~ ~~ ~~ ~ ~~~ ~ ~ ~~ ~ ~~~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~ ~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~ ~~~~~~~~~~~ ~~~ ~ ~ ~~~~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~~ ~ ~~~ ~ ~ ~~~ ~ ~ ~ ~ ~~~~~~~ ~ ~ ~~~~~~~~ ~ ~~~ ~ ~~~~ ~ ~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~~~~~~~ ~~ ~~ ~~ ~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~ ~~~~~~ ~~~ ~~~~~~~~~ ~ ~~~~ ~ ~~ ~ ~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~ ~~~~~~~ ~~~~~~~~~~~ ~~ ~ ~ ~~ ~~ ~ ~~~ ~ ~~~~~~~ ~~ ~~ ~~ ~~~~~~~ ~ ~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~~~~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~ ~~~ ~ ~~~~~~ ~ ~ ~~~ ~~ ~~~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~ ~~~~~~~~~~ ~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~~~~ ~ ~~ ~~ ~~ ~ ~ ~~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~~~ ~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~ ~~~~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~ ~ ~~ ~~~~~~~~~ ~~~~ ~ ~~~~~~~~~~~~ ~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~ ~ ~~~ ~ ~ ~~~~~~~~~~~~~~ ~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~ ~~~ ~~ ~~~~ ~~~ ~ ~~~ ~~~~~ ~ ~ ~ ~~~ ~ ~ ~ ~ ~ ~~~ ~ ~ ~ ~~~ ~ ~~ ~ ~ ~ ~~~~~ ~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~ ~~ ~ ~~ ~ ~ ~ ~ ~~~ ~ ~ ~~~~~~~ ~ ~~~ ~ ~~~~ ~ ~ ~~ ~ ~~~ ~~~ ~ ~~~ ~ ~~~ ~~~~~~~~~~~~~~~~ ~~~~ ~~~~~~~~~~~~~~ ~ ~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~~ ~~~ ~ ~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~ ~ ~ ~ ~~~ ~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~~~~ ~ ~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~ ~~ ~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~ ~ ~~~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~ ~~~~~~~ ~~~~~~~~~ ~ ~ ~ ~ ~~~~ ~~~ ~~ ~~~~ ~ ~ ~~~~~ ~ ~ ~~ ~ ~~~ ~ ~ ~ ~ ~~ ~~ ~ ~ ~ ~~~~~ ~ ~ ~~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~ ~~~~~~ ~~~ ~ ~ ~~~~~ ~ ~~~ ~ ~~~~~~~~~~~~~ ~ ~ ~~~~~ ~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~ ~~ ~ ~~~ ~ ~~ ~ ~ ~~ ~ ~~ ~ ~~ ~ ~~ ~ ~ ~ ~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~ ~~~~~ ~ ~~~~~~~~ ~ ~ ~~~ ~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~~ ~~~ ~ ~ ~ ~~~~~~~ ~ ~ ~ ~ ~~~~~ ~~~~ ~ ~ ~~~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ ~ ~ ~ ~~~~~~~ ~~ ~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~ ~~~ ~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~ ~~~ ~ ~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~ ~~ ~ ~ ~~ ~ ~~~~~~ ~ ~~~~~~ ~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~ ~~~~~ ~~~~~ ~~ ~~~~~~~ ~ ~ ~ ~ ~~~~ ~~~~~~~~~~~~~~~~~~ ~ ~ ~~~ ~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~ ~ ~ ~~~ ~~~ ~ ~~~~~~~~~~~ ~ ~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~ ~~~~~ ~~~~ ~~~~ ~~~~~~~~~~~~~~~ ~~~~ ~~~~~ ~ ~ ~~~ ~ ~ ~ ~~~ ~ ~~~ ~~~ ~~ ~ ~~ ~~~ ~ ~~ ~~~~~~~~ ~~ ~~ ~~~~~~~~~~~ ~ ~~~ ~~ ~~~ ~~ ~~ ~ ~ ~ ~~~ ~~~~~~~~~~~~~~ ~ ~~~~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~~~ ~~~~~ ~ ~~ ~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~ ~~~~~~~~ ~~ ~~~~ ~~~ ~ ~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~ ~ ~ ~~~~~~~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~ ~ ~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~ ~~~~~~~~~~~~~~~~~~~~~~ ~ ~ ~ ~~ ~~ ~~~ [...]... (dF) J By (16. 5.9) the existence of lim I (O n ) entails that of 0=limO n , and Y = j 0 (A.) dZ (A,) Conversely, a similar argument shows that every random variable of the form (16. 6.1) belongs to L, so that we have proved the following result 16 6 STRUCTURE OF L,p AND LINEAR TRANSFORMATIONS 297 Theorem 16 6.1 The space L,,,, consists exactly of the random variables of the form (16. 6.1) In... Since in L 2 (dF) , i2 = lim h -1 {e", -1 } , h-0 and since X(t+h)-X(t) - •• e`h' `-1 e" A dZ (2) , h ) _ 00 h we have, in L2 (Q), X (t + h) - X (t) Y (t) = lim h-0 h Consequently, Y (t) is the derivative in mean square of X (t), and exists if and only if 00 f- A 2 dF(A ) < cc 00 © 7 Existence theorems for the spectral density Theorem 16. 7.1 Let Xj be a sequence stationary in the wide sense with... 294 THEORY OF STATIONARY PROCESSES : SOME RESULTS Chap 16 (16 5 5) (2) 1aY1+p2(f )-( XIY,(f)+jIY2(f) ° (3) E{I(f)1(9)} _ (af(A)9(;,)dF (16 5.6) (4) If E{Y(;~2)-YO~1)} =0, then E {I (f) } = 0 (16. 5.7) It follows in particular that, for step functions f, g, EII(f) -1 (g)1 2= II 1 (f) - I(9)II 2 = =f b If('~ )-9 (~)12dF(~) = IIf-911F , (16. 5.8) a so that I is an isometric mapping of the step functions... z dZ(2), (16. 5.11) if time is discrete, where Z (A,) is a process with orthogonal increments, and E IdZ (A) 1 2 = dF (~) Conversely, it is easy to verify that (16 5.10) and (16 5.11) always define stationary processes (in the wide sense) 29b THEORY OF STATIONARY PROCESSES : SOME RESULTS Chap 16 © 6 The structure of L a; and linear transformations of stationary processes Let Xt be a stationary. .. limit of a sequence (fn) of step functions Because I is an isometry and L2 (Q) is complete, the elements I (fn) will converge to some element of L2 (Q) This element is independent of the choice of the sequence (fn ), for if (g n ) also converges to f, then IIlim I (fn ) - lim 1(gn)II = Jim III (fn - 9n) II = Jim IIfn - 9nIIF = 0 Thus I (f) is defined for all f c- L 2 (F), and I is an isometry of L2... if and only if Xj can be represented by the sum Xj = Ck~k+j (16. 7.1) k=-oo where Z Ick1 2 < 00 , and the random variables ~ j are orthogonal, with E gj 1 2 =1 Theorem 16. 7.2 The spectral function F()2) of a continuous time process X (t), stationary in the wide sense, is absolutely continuous if and only if X (t) has a representation 16 7 EXISTENCE THEOREMS FOR THE SPECTRAL DENSITY X (t) = f "0 -. .. (z) d (~ + t) , 299 (16 7.2) 00 where C e L 2 (- co, oo) and ~ (r) is a process with orthogonal increments, with E Ids (r) 12 = dT Suppose that XX is of the form (16. 7.1) Then the sequence (~k) is stationary, and thus has a representation Proof of Theorem 16 7.1 = rrz ~k eiAk dZ , ( A ) ~ -rz where E IZ~(A)12 = FF (A) = A/27r Then e`(k +')' dZ~ (A) = rz e 'j' c (A) dZ~ (A) , - rz where c (~,) = E... =(27r) L -n e` U dZ4 (A) consists of orthogonal variables with E lbk12 =1 Hence n X-J e`'" dZx (~.) n e`' 2 (2) dZ~ (2) _ =1 rz n = E Ck -n e`('+k)AdZ4(2) _ (27) 2 r = Ck bk+ j k= - oo The proof of Theorem 16 7.2 is exactly similar, using Fourier integrals in place of Fourier series The process ~ (r) is defined by •• e'AT, - e` AT2 dZx (2) (T2) - (zl) _ c(a) , - 00 i2 where l C(2)12 =fx (2), so... orthogonal increments In fact, if A,< 22 < 23 < 24, then (EA2 - EA ,) and (EA4 -E23) are projections onto orthogonal subspaces of L am Therefore ((E22 - EA1)X0 , (Ex, - E23)Xo) = =E{(Z(22)-Z(21))(Z(24)-Z(23))} = 0 16. 5 THE SPECTRAL REPRESENTATION 295 (b) The function FZ (A) in the equation E IdZ (x,)1 2 = dFZ (A) is just the spectral function of Xt In fact, it has been shown that the spectral function... is a limit of sums of the form E 1; Xt., so that every linear transformation of Xt is either given by a finite sum of the form Y = I o; Xt; + 1 or is a limit in mean square of such sums Example : differentiation Let X (t) be a continuous time process If 00 f A2dF(2) 00 oo < , THEORY OF STATIONARY PROCESSES : SOME RESULTS 298 Chap 16 the function i2 is in L 2 (dF), and is the kernel of a linear