Xác suất thống kê và quá trình ngẫu nhiên

http://www.ebook.edu.vn Ts t« v¨n ban Bµi gi¶ng X¸c suÊt thèng kª Vµ Qu¸ tr×nh ngÉu nhiªn (Dành cho các lớp cao học kỹ thuật - HVKTQS) PHIªn B¶N 09/05 - 12/05 - 08/06 - 11/06 - 20/03/07 - 15/05/07 - 10/7/2007 - 05/09/07 (Ch−a hoµn thiÖn) Hµ néi - 2005 - 2006 - 2007 http://www.ebook.edu.vn M C L C Phần Chơng Nội dung trang Mục lục 2 Lời nói đầu 5 Các ký hiệu hay sử dụng 7 Phần I Xác suất Thống kê 9 Chơng I Kiến thức bổ sung về xác suất 9 Đ1.1. Các biến ngẫu nhiên quan trọng 9 Đ1.1. Biến nhẫu nhiên chuẩn 8 Đ1.2. Véc tơ ngẫu nhiên chuẩn 11 Đ1.3. Mở rộng khái niệm mật độ đối với BNN rời rạc 17 Câu hỏi và bài tập Chơng I 20 Chơng II Chơng III Đ3.5.Sự hội tụ của dãy các BNN 3.5.1. Các dạng hội tụ 3.5.2. Các định lý giới hạn 23 23 25 Chơng IV Lý thuyết ớc lợng Phần II Quá trình ngẫu nhiên 32 Chơng V Những khái niệm tổng quát 32 Đ5.1. Mở đầu 5.1.1. Các định nghĩa 5.1.2. Phân loại sơ bộ 5.1.3. Ví dụ về QTNN 5.1.4. Họ các phân bố hữu hạn chiều 32 32 33 34 35 Đ5.2. Một số lớp các quá trình ngẫu nhiên 5.2.1. Quá trình cấp II 5.2.2. Quá trình số gia độc lập 5.2.3. Quá trình dừng (QT dừng theo nghĩa hẹp, dừng theo nghĩa rộng, dừng đồng thời) 5.2.4. Quá trình Gauss 36 36 38 39 45 Đ5.3.Tính chất ergodic và trung bình thời gian 46 2 http://www.ebook.edu.vn 5.3.1. Giới thiệu 5.3.2. Ergodic kỳ vọng 5.3.3. Ergodic phơng sai, tự hiệp phơngsai, PS chéo 5.3.4. Các loại ergodic khác 5.3.5. Đo hàm tơng quan 46 47 50 54 55 Đ5.4.Liên tục, đạo hàm, tích phân 5.4.1. Liên tục (theo xác suất, theo trung bình) 5.4.2. Đạo hàm (theo bình phơng trung bình) 5.4.3. Tích phân (theo bình phơng trung bình) 57 57 59 61 Đ5.5.Hai QTNN quan trọng 5.5.1. QT Poisson (định nghĩa, xác suất đồng thời n chiều, hàm tự tơng quan, dãy thời điểm đến, xác định cờng độ dòng đến, các biến thể, nhiễu bắn, sinh các quỹ đạo) 5.5.2. QT Wiener (đ. nghĩa, các tính chất, sinh quỹ đạo) 5.5.3. Giới thiệu về các QTNN khác 65 65 75 74 77 Đ5.6. Quá trình ngẫu nhiên phức Câu hỏi lý thuyết và bài tập chơng V 77 79 Chơng VI Xử lý các QTNN 86 Đ6.1.Mật độ phổ công suất 6.1.1. Vấn đề nghiên cứu QTNN trong miền tần số 6.1.2. Mật độ phổ công suất 6.1.3. Mật độ phổ công suất chéo 6.1.4. Mật độ phổ công suất cho QT thực không dừng 6.1.5. Mật độ phổ công suất cho dãy ngẫu nhiên 6.1.6. Một số mô hình nhiễu (nhiễu trắng, nhiễu nhiệt, nhiễu trắng thông dải, nhiễu màu, nhiễu bắn) 6.1.7. Phổ công suất của QTNN phức (Ví dụ: Phổ vạch, hiệu ứng Doppler) 86 86 89 93 95 97 99 103 Đ6.2.Căn bản về hệ tuyến tính 6.2.1. Hệ tuyến tính tổng quát 6.2.2. Hệ tuyến tính bất biến theo thời gian 6.2.3. Hệ nhân quả và hệ ổn định 107 107 109 112 3 http://www.ebook.edu.vn 6.2.4. Trờng hợp hệ rời rạc 113 Đ6.3. Hệ tuyến tính với đầu vào ngẫu nhiên 6.3.1. Vấn đề đầu ra 6.3.2. Các đặc trng xác suất của QT đầu ra 6.3.3. Đáp ứng hệ LTI rời rạc với đầu vào ngẫu nhiên 6.3.4. Các ví dụ (Hệ lý tởng, Lọc bậc nhất, Trung bình trợt, Phổ của QT đạo hàm) 115 115 117 120 122 Đ6.4. Quá trình tự hồi quy trung bình động 6.4.1. Quá trình tự hồi quy AR 4.4.2. Quá trình trung bình động MA 6.4.3. Quá trình ARMA 124 124 128 130 Đ6.5. Quá trình thông dải và điều chế 6.5.1. Quá trình thông dải 6.5.2. Nhiễu trong hệ thông tin điều biên AM 6.5.3. Nhiễu trong hệ thông tin điều tần FM 133 133 138 142 Đ6.6. Lọc phối hợp 6.6.1. Trờng hợp tổng quát 6.6.2. Lọc phối hợp cho nhiễu màu 6.6.3. Lọc phối hợp cho nhiễu trắng Đ6.7. Ước lợng tuyến tính tối u 6.7.1. Đặt bài toán 6.7.2. Bài toán là trơn Lọc Wiener bất khả thi 6.7.3. Lọc Wiener khả thi Câu hỏi lý thuyết và bài tập Chơng VI 147 147 148 149 151 151 153 155 159 Chơng VII (dự trữ) Quá trình Markov Xích Markov Quá trình Markov với thời gian liên tục Phần III Phụ lục A - Cỏc bng thng kờ Phụ lục B - Phép biến đổi Fourier Bảng B-1 Tính chất của phép biến đổi Fourier Bảng B-2. Cặp phép biến đổi Fourier 171 171 172 Tài liệu tham khảo 173 4 http://www.ebook.edu.vn Chơng 1. kiến thức bổ Sung về xác suất Đ1.1.Các biến ngẫu nhiên quan trọng 1.1.1.Biến ngẫu nhiên rời rạc Tên Kí hiệu Xác suất P { } Xk = Kì vọng Phơng sai Nhị thức B(n,p) kk nk n C p (1 p) ;k 0,1, ,n = np np(1-p) Poisson P( ) k e ;k 0,1, k! = Hình học G(p) p(1-p) k=0,1,2, k ; 1p p 2 1p p Siêu hình học H(N,n,p) knk Np N Np n N CC ;k 0,1, ,n C = Các luật phân bố rời rạc khác: đều rời rạc, nhị thức âm, 1.1.2Biến ngẫu nhiên liên tục Tên Kí hiệu Mật độ Kì vọng Phơng sai Đều U([a;b]) 1 ;axb b a ab 2 + 2 (b a) 12 Mũ E( ) x e ; ,x>0 1/ 2 1/ Cauchy C (,) 22 /[ ( (x ) )] + Không tồn tại Không tồn tại Chuẩn N(m, 2 ) 2 2 2 1(xm) exp ( 0) 2 2 > m 2 Gamma (r, ) r1 x (x) e ; ,r,x 0 (r) > r 2 r Khi bình phơng 2 (n) nxn 1 222 x e /(2 (n / 2); x 0,n 1,2, >= n 2n Student T(n) ((n 1) / 2)) n(n/2) + 2 (n 1)/2 x (1 ) n + + 0 n n2 Fisher- Snecdecor F(n,m) n2 nm 2 Bx (m nx) ; + + 2 m, n, x > 0 Weibul W( ,) 1x xe ;,,x0 > 1 (1 1 / ) + Lôga chuẩn 2 LN(m, ) 2 1 2 2 1 (ln x m) xexp ;,x0 2 2 > exp 2 m 2 + Rayleigh 2 (x a) /b 2 (x a)e , x a b b a 4 + 4 b 4 http://www.ebook.edu.vn Lu ý: với u>0 hàm Gamma. u1 t o (u) t e dt = Tính chất: ; (u 1) u (u)+= (n) (n 1)! ; (1/2) = = . Các luật phân bố liên tục khác: Bê ta, tam giác, Biến ngẫu nhiên chuẩn rất quan trọng ta dành ra 1 phần riêng. Đ.1.2. Biến ngẫu nhiên chuẩn 1.2.1.Tính chất hàm mật độ . f(x) = 2 2 2 1(xm) exp ( 0) 2 2 > +Hàm mật độ xác định trên Ă ; +f(x) > 0: Đồ thị nằm trên trục hoành; +Trục Ox là tiệm cận ngang; +Giá trị cực đại 2 1 2 , đạt đợc tại x = m; +Đồ thị đối xứng qua đờng thẳng x=m, có dạng hình chuông (Hình 1.1). Hình 1.1. Đồ thị hàm mật độ của phân bố chuẩn. 2 1 2 m x O 1.2.2.Các tham số đặc trng 2 E[X] m; D[X] . = = (1.1) Nh vậy nhận thấy rằng, chỉ cần biết kì vọng và phơng sai là có thể biết mật độ f(x) và do đó hoàn toàn biết về phân bố chuẩn. Còn có thể tính đợc +Độ chệch Skew(X) = 3 3 E[(X EX) ] = 0; +Độ nhọn Kurt(X) = 4 4 E[(X EX) ] - 3 = 0. (1.2) 1.2. 3.Bnn chuẩn hoá (chuẩn tắc). X đợc gọi là biến nn chuẩn tắc nếu X N(0,1).Hàm mật độ của nó cho bởi 8 http://www.ebook.edu.vn 2 x 2 1 (x) e 2 = . (1.3) Đặc điểm : -Giá trị của đợc lập bảng với x(x) {0;4]; -Đồ thị đối xứng qua trục tung; -Hàm phân bố tơng ứng 2 t x 2 1 F(x) e dt 2 = (1,4) cũng đợc lập bảng. Tuy nhiên, để tiết kiệm bảng, thay cho F(x), ngời ta lập bảng giá trị của hàm Laplace: 2 t x 2 0 1 (x) e dt, 2 = x [0; 3]. (1.5) Với x > 3, coi (x) 1 2 . Hình 1.2. Đồ thị hàm mật độ chuẩn hoá (a) và đồ thị hàm Laplace (b). Khi cần tính F(x) qua (x) hay ngợc lại, dùng công thức : F(x) = 1 2 + (x). (1,6) Công thức sau rất có ích để tính xác suất X nằm trên đoạn nào đó: [] { } PX a;b (b) (a).= (1,7) 1.2.4.Biến đổi tuyến tính bnn chuẩn. +Cho X N(m, ) Y= a X+b có phân bố chuẩn. 2 a,b ,Ă Từ đó dễ thấy aX+b N(am+b, 22 a ). +Hệ quả. X 2 Xm N(m, ) U = N(0,1). (1.8) 9 http://www.ebook.edu.vn Hệ quả này cho ta phơng pháp thuận lợi để tính { } PX [a;b] : [] { } PX a;b =P amXmbm b mam ()(). = (1.9) 1.2.5.Phân vị .Phân vị chuẩn mức , kí hiệu U , là giá trị xác định bởi { } PU U >=, với U N(0,1) 2 t 2 U 1 edt 2 + = . (1.10) Hình 1.3. Phân vị chuẩn mức . Tính chất: 1 UU = . (1.11) Một số giá trị đặc biệt: (1.12) 0,10 0,025 0,05 0,01 U 1,280; U 1,960; U 1,645; U 2,326. == == Lu ý: Nhiều tài liệu không lập bảng của U mà lập bảng của hoặc p u với { } PU p <=; { } PU u < =. 1.2. 6. Sai số trung gian, dạng mật độ chuẩn dùng trong pháo binh. Cho X , U ( 2 Nm, ) là phân vị chuẩn mức , đặt = = 6745,0UL 25,0 ; .4769,02/U 25,0 == (1.13) Chúng ta có thể viết lại hàm mật độ của X dới dạng () 22 (x m) /L fx e L 2 = . (1.14) Rõ ràng là , nếu m = 0 thì {} 5,0LXLP = < < . (1.15) 10 http://www.ebook.edu.vn Nh vậy nếu quan sát BNN chuẩn quy tâm nhiều lần thì có khoảng 50% số lần BNN đó rơi vào khoảng (-L;L). Chính vì thế, L đợc gọi là sai số trung gian, nó tỉ lệ với độ lệch chuẩn. Dạng mật độ (1.14) của phân bố chuẩn hay đợc dùng trong pháo binh. 1.2.7.Quy tắc 2, 3 . Cho X N(m, ), theo công thức (1.9) ta có 2 {} Xm PX m P <=< < =2 () . (1.16) Thay ta đợc 1,2,3= { } P X m 1 2 (1) 0,68268<== ; { } P X m 2 2 (1) 0,95450<== ; { } P X m 3 2 (1) 0,9973.<== (1.17) Các xác suất 0,9545; 0,9973 là các xác suất rất lớn. Theo nguyên lí xác suất lớn ta có quy tắc 2 sau đây: ,(3 ) Quy tắc.Nếu BNN có phân bố chuẩn thì hầu nh chắc chắn (độ tin cậy trên 95%(trên 99%)), BNN chỉ sai lệch với giá trị trung bình cuả nó một lợng không quá 2 ). (3 ) 1.2.8.Tính phổ cập của phân bố chuẩn. Thực tế chúng ta rất hay gặp phân bố chuẩn. Sở dĩ nh vậy vì xảy ra Định lí giới hạn trung tâm sau đây (xem mục 3.5.2d): Nếu bnn X là kết quả của rất nhiều nguyên nhân, mỗi nguyên nhân chỉ có vai trò không đáng kể đến kết quả cuối cùng thì X có phân bố rất gần phân bố chuẩn. Đ1.3.Véc tơ ngẫu nhiên chuẩn. 1.3.1.Véc tơ kì vọng, ma trận tơng quan, ma trận hệ số tơng quan a)Trờng hợp 2 biến. Xét 2 BNN X, Y bình phơng khả tích. Mô men tơng quan (gốc) của X và Y, kí hiệu , xác định theo công thức XY R XY RE[XY= ]. Hiệp phơng sai của X và Y, kí hiệu Cov(X,Y) xác định bởi . Cov(X,Y) E[(X EX)(Y EY)]= Hai BNN X và Y đợc gọi là không tơng quan nếu . Cov(X,Y) E[(X EX)(Y EY)] 0= = Điều này tơng đơng với . E[XY] E[X] E[Y]= Trái lại, nếu đẳng thức không xảy ra, X và Y đợc gọi là không tơng quan. 11 http://www.ebook.edu.vn Nếu X và Y độc lập thì chúng không tơng quan. Ngợc lại không đúng: Tồn tại những BNN X và Y không tơng quan, song chúng không độc lập. Đối với 2 BNN chuẩn X, Ythì X và Y độc lập X và Y không tơng quan. b) Trờng hợp tông quát. Cho là VTNN với các thành phần là những BNN bình phơng khả tích. Đặt 1 T 1n n X X (X , ,X ) X == 11 nn E[X ] m m E[X] E[X ] m == = - véc tơ kì vọng; Ma trận tơng quan của X cho bởi ( ) ij i j R(R) E[XX]== . Rõ ràng . 2 ii i RE[X = ] Ma trận hiệp phơng sai của X cho bởi ij () = = Cov(X) = E[(X-m) . (1.18) T (X m) ] Lu ý: 22 ii iiii D[X ] E[(X m ) ]= = = j - phơng sai của . i X ij = - hiệp phơng sai của . iijj i E[X m )(X m )] Cov(X ,X ) = ij X,X ij i i j j ij ij ij Cov(X ,X ) E[(X m )(X m )] D[X ]D[X ] D[X ]D[X ] = = - hệ số tơng quan của . ij X,X R -ma trận các hệ số tơng quan. ij () = c)Tính chất 1) ij 1, i, j. (1.19) 2) Nếu các thành phần X 1 độc lập thì không tơng quan và R= ma trận chéo, n j , ,X i X,X ij (R ) ij () -ma trận đơn vị . Ngợc lại không đúng. 3) và R đối xứng , xác định không âm. 1.3.2. VTNN chuẩn, các tính chất quan trọng. VTNN X= đợc gọi là VTNN chuẩn ( X gọi là có phân bố chuẩn trong T 1n (X , ,X ) n Ă ) nếu tổ hợp tuyến tính bất kì các thành phần của nó có phân bố chuẩn. 12 [...]... dx (1.44) Ngời ta cũng hay xét hàm khối lợng xác suất của BNN X p(x) = P {X = x} , x Ă Ví dụ Cho X là BNN với bảng xác suất X P 1 0,5 2 0,3 4 0,2 0,5 0,3 p(x) = 0, 2 0 khi x = 1 khi x = 2 khi x = 4 trai lai Hàm mật độ (suy rộng) và hàm khối lợng xác suất thể hiện ở Hình 1.8 y y 0,5 0,5 O 1 2 4 x O 1 2 4 x Hình 1.8 Hàm mật độ (a) và hàm khối lợng xác suất (b) của BNN rời rạc http://www.ebook.edu.vn... N(0, 4) , độ lệch tầm Y : N(0, 5) , X và Y độc lập Tính xác suất để đạn rơi vào vòng tròn bán kính 3 mét, tâm tại điểm ngắm bắn 1.16 ứơc lợng xác suất đạn trúng vào xe tăng, biết rằng ta ngắm bắn vào điểm giữa của phần dới của xích và sau khi vẽ xe lên hệ trục với elíp tản mát thì thu đợc hình vẽ sau đây y 2 7 16 25 LH 25 16 7 2 LD x Hình 1.9 Xe tăng trong hệ thống elip tản mát http://www.ebook.edu.vn... dạng aX+bY và cX+dY là 2 BNN độc lập 1.13 Cho X1 , , X10 là những BNN độc lập cùng phân bố chuẩn N(0,1).Đặt 2 2 X = X1 + + X5 ; 2 2 Y = X1 + + X10 Tìm a, b để P {X > a} = 0, 05; P {Y < b} = 0, 05 1.14 Giả sử điểm đạn rơi (X,Y) có phân bố chuẩn, trong đó độ lệch hớng X và độ lệch tầm Y không có sai số hệ thống (tức là kì vọng 0), độc lập, và cùng độ lệch chuẩn 4 mét Tính xác suất để đạn rơi vào vòng... (E) là elíp có các bán trục 4LD, 4LH (có tài liệu ghi là LD, LH) Xác suất để điểm đạn rơi (X,Y) nằm ngoài elip tản mát rất nhỏ, có thể bỏ qua: X 2 Y 2 2 P {( X, Y ) ( E )} = P + 4U 0,25 0,025 (1.34) X Y Ngời ta chia (E) thành các vùng với tỉ lệ % xấp xỉ đạn rơi vào (Hình 1.5); nhờ đó có thể tính dễ dàng xác suất đạn rơi vào miền G cho trớc nào đó ( ) y 2 7 16 25 LH 25 16 LD 7 2 http://www.ebook.edu.vn... bậc tự do, kí hiệu là t (n) , là giá trị xác định từ biểu thức: P {T > t (n)} = , 0 < < 1 trong đó T : T(n) Tính chất: * t1 (n) = t (n) ; * t (n) U với n > 30 2 Ngời ta lập bảng giá trị của (n) và t (n) với những giá trị khác nhau của và n 2 (n) t (n) Hình 1.5 Phân vị của phân bố Khi bình phơng(a) và của phân bố Student (b) 1.3.5.Véc tơ ngẫu nhiên chuẩn 2 chiều Cho Z = (X,Y) là VTNN... ra hàm mật độ của X và tính các sác suất b)P {1 X 4} a) P {0 < X 1} ; 1.5 Cho X : N(0,1) Tìm mật độ của Y = 2X 3 Tính E[Y], D[Y] 1.6 Cho X : N(0,1) Tính P {X > 1, 645} ; P {X > 1,960} ; P { X > 1,960} 1.7 Viết mật độ của phân bố chuẩn, biết rằng nó có kì vọng 0 và sai số trung P {0 X 2} gian 2 Tính P {2 X 2} ; 1.8 Đờng kính của viên bi có phân bố chuẩn với trung bình 20 và độ lệch chuẩn 0,5... kì vọng T 1 Theo công thức (1.21), m = m1, m 2 và ma trận hệ số tơng quan R = 1 mật độ đồng thời của Z cho bởi f(x,y) = ( ) 1 212 2 x m 2 1 x m1 x m 2 x m 2 1 exp + 2 (1.28) 2 1 2 2(1 2 ) 1 2 1 Dễ dàng tính đợc E[X1] = m; 2 D[X] = 1 ; D[X] = 2 ; XY = (1.29) E[X2 ]= m; 2 Đặc biệt, nếu X và Y độc lập = 0 ( X và Y không tơng quan), mật độ đồng thời cho bởi http://www.ebook.edu.vn... định nghĩa Giả sử X là VTNN chuẩn với ma trận tơng quan Nếu det( ) 0 thì X đợc gọi là VTNN chuẩn không suy biến và mật độ của nó cho bởi 1 1 exp (x m)T 1(x m) , x Ă n (1.20) f(x)= n/2 1/ 2 2 (2) (det ) Nh vậy, véc tơ giá trị trung bình m và ma trận hiệp phơng sai hoàn toàn xác định phân bố chuẩn; các thông tin về mô men cấp cao hơn là không cần thiết 1 G = Đặt n 1/ 1 G 1... F(x) và hàm mật độ f(x) thì: dF(x) (1.35) , xĂ ; * f (x) = dx * f (x) 0; f (x)dx = 1 ; (1.36) b * P {a X < b} = f (x)dx (1.37) a +Để mở rộng khái niệm hàm mật độ cho BNN rời rạc trớc hết ta đa ra hàm bớc nhảy đơn vị, đó là hàm: khi x 0; 1 (1.38) u(x) = khi x < 0 0 +Hàm delta Hàm delta (còn goị là hàm delta-Dirac) tại điểm x 0 , kí hiệu (x x 0 ) , là hàm suy rộng, bằng không với x x 0 và bằng... suy rộng, bằng không với x x 0 và bằng vô hạn tại x = x 0 : khi x x 0 ; 0 ( x x0 ) = + khi x = x 0 , và thoả mãn quan hệ : Với a < b, (1.39) b 1 khi a x 0 < b; a khi x 0 < a (x x 0 )dx = 0 y (a) 1 O y (b) y (1.40) (c) 1 1 x hay x o b O x O x0 Hình 1.7 Hàm bớc nhảy đơn vị(a), hàm delta (b) và hàm delta tại x 0 (c) Một định nghĩa khác cho hàm delta là http://www.ebook.edu.vn 18 x (x) = 1 jx . lớp các quá trình ngẫu nhiên 5.2.1. Quá trình cấp II 5.2.2. Quá trình số gia độc lập 5.2.3. Quá trình dừng (QT dừng theo nghĩa hẹp, dừng theo nghĩa rộng, dừng đồng thời) 5.2.4. Quá trình Gauss. dụng 7 Phần I Xác suất Thống kê 9 Chơng I Kiến thức bổ sung về xác suất 9 Đ1.1. Các biến ngẫu nhiên quan trọng 9 Đ1.1. Biến nhẫu nhiên chuẩn 8 Đ1.2. Véc tơ ngẫu nhiên chuẩn 11. 6.4.1. Quá trình tự hồi quy AR 4.4.2. Quá trình trung bình động MA 6.4.3. Quá trình ARMA 124 124 128 130 Đ6.5. Quá trình thông dải và điều chế 6.5.1. Quá trình thông dải 6.5.2. Nhiễu trong