CAO HỌC : Xác suất thống kê và Quá trình ngẫu nhiên

CAO HỌC : Xác suất thống kê và Quá trình ngẫu nhiên

Ts t« v¨n ban

Bµi gi¶ng

X¸c suÊt thèng kª

Vµ

Qu¸ tr×nh ngÉu nhiªn

( Dành cho các lớp cao học kỹ thuật - HVKTQS)

M ỤC L ỤC

Đ1.3 Mở rộng khái niệm mật độ đối với BNN rời rạc 17

Chương II

Chương III Đ3.5.Sự hội tụ của dãy các BNN

3.5.1 Các dạng hội tụ 3.5.2 Các định lý giới hạn

23

23

25

Đ5.1 Mở đầu 5.1.1 Các định nghĩa 5.1.2 Phân loại sơ bộ 5.1.3 Ví dụ về QTNN 5.1.4 Họ các phân bố hữu hạn chiều

5.3.1 Giới thiệu 5.3.2 Ergodic kỳ vọng 5.3.3 Ergodic phương sai, tự hiệp phươngsai, PS chéo 5.3.4 Các loại ergodic khác

5.5.2 QT Wiener (đ nghĩa, các tính chất, sinh quỹ đạo) 5.5.3 Giới thiệu về các QTNN khác

6.1.3 Mật độ phổ công suất chéo 6.1.4 Mật độ phổ công suất cho QT thực không dừng 6.1.5 Mật độ phổ công suất cho dãy ngẫu nhiên 6.1.6 Một số mô hình nhiễu (nhiễu trắng, nhiễu nhiệt, nhiễu trắng thông dải, nhiễu màu, nhiễu bắn) 6.1.7 Phổ công suất của QTNN phức

(Ví dụ: Phổ vạch, hiệu ứng Doppler)

107

107

109

112

Đ6.7 Ước lượng tuyến tính tối ưu 6.7.1 Đặt bài toán

6.7.2 Bài toán là trơn – Lọc Wiener bất khả thi 6.7.3 Lọc Wiener khả thi

Câu hỏi lý thuyết và bài tập Chương VI

• Quá trình Markov với thời gian liên tục

Phần III Phụ lục A - Cỏc bảng thống kờ

Phụ lục B - Phép biến đổi Fourier

Bảng B-1 Tính chất của phép biến đổi Fourier Bảng B-2 Cặp phép biến đổi Fourier

Chương 1 kiến thức bổ Sung về xác suất

Đ1.1.Các biến ngẫu nhiên quan trọng

1.1.1.Biến ngẫu nhiên rời rạc

Tên Kí hiệu Xác suất P{X k = } Kì vọng Phương sai

C C

; k 0,1, , n C

ư

Các luật phân bố rời rạc khác: đều rời rạc, nhị thức âm,

1.1.2Biến ngẫu nhiên liên tục

2 2

2 2

Lưu ý:Γ (u) = ∫o∞ tu 1ư ưe dtt với u>0 – hàm Gamma

Tính chất: Γ + = Γ(u 1) u (u); Γ(n) (n 1)! ;= ư Γ(1/ 2)= π

Các luật phân bố liên tục khác: Bê ta, tam giác,

Biến ngẫu nhiên chuẩn rất quan trọng ta dành ra 1 phần riêng

Đ.1.2 Biến ngẫu nhiên chuẩn

1.2.1.Tính chất hàm mật độ f(x) =

2 2 2

2 2

+Đồ thị đối xứng qua đường thẳng x=m, có dạng hình chuông (Hình 1.1)

Hình 1.1 Đồ thị hàm mật độ của phân bố chuẩn

2

1 2πσ

mật độ f(x) và do đó hoàn toàn biết về phân bố chuẩn Còn có thể tính được

+Độ chệch Skew(X) =

3 3

E[(X EX) ]ư

+Độ nhọn Kurt(X) =

4 4

E[(X EX) ]ư

σ - 3 = 0 (1.2)

1.2 3.Bnn chuẩn hoá (chuẩn tắc)

X được gọi là biến nn chuẩn tắc nếu X ∼ N(0,1).Hàm mật độ của nó cho bởi

2 2

Đặc điểm : -Giá trị của ϕ(x)được lập bảng với x∈{0;4];

-Đồ thị đối xứng qua trục tung;

-Hàm phân bố tương ứng

2 t x 2

2 t x 2 0

2

Hình 1.2 Đồ thị hàm mật độ chuẩn hoá (a) và đồ thị hàm Laplace (b)

Khi cần tính F(x) qua Φ (x) hay ngược lại, dùng công thức :

F(x) = 1

2+ Φ (x) (1,6) Công thức sau rất có ích để tính xác suất X nằm trên đoạn nào đó:

P X{ ∈[ ]a;b }= Φ(b)ư Φ(a) (1,7) 1.2.4.Biến đổi tuyến tính bnn chuẩn

+Cho X ∼ N(m,σ2) ⇒∀a,b∈ Ă , Y= a X+b có phân bố chuẩn

Từ đó dễ thấy aX+b ∼ N(am+b, a2 2σ )

N(m,σ ⇒ =) U ư

σ ∼ N(0,1) (1.8)

Hệ quả này cho ta phương pháp thuận lợi để tínhP X [a;b]{ ∈ }:

1

2

+∞ ư α

4769 , 0 2 /

Như vậy nếu quan sát BNN chuẩn quy tâm nhiều lần thì có khoảng 50% số lần BNN đó rơi vào khoảng (-L;L) Chính vì thế, L được gọi là sai số trung gian,

nó tỉ lệ với độ lệch chuẩn Dạng mật độ (1.14) của phân bố chuẩn hay được dùng trong pháo binh

σ (1.16) Thay ε = σ σ σ1 ,2 ,3 ta được

Quy tắc.Nếu BNN có phân bố chuẩn thì hầu như chắc chắn (độ tin cậy trên 95%(trên 99%)), BNN chỉ sai lệch với giá trị trung bình cuả nó một lượng không quá 2σ σ(3 ))

1.2.8.Tính phổ cập của phân bố chuẩn Thực tế chúng ta rất hay gặp phân bố chuẩn Sở dĩ như vậy vì xảy ra Định lí giới hạn trung tâm sau đây (xem mục 3.5.2d):

Nếu bnn X là kết quả của rất nhiều nguyên nhân, mỗi nguyên nhân chỉ có vai trò không đáng kể đến kết quả cuối cùng thì X có phân bố rất gần phân bố chuẩn

Đ1.3.Véc tơ ngẫu nhiên chuẩn

1.3.1.Véc tơ kì vọng, ma trận tương quan, ma trận hệ số tương quan

a)Trường hợp 2 biến Xét 2 BNN X, Y bình phương khả tích Mô men tương quan (gốc) của X và Y, kí hiệu RXY, xác định theo công thức

RXY = E[XY ].

Hiệp phương sai của X và Y, kí hiệu Cov(X,Y) xác định bởi

Cov(X,Y) E[(X EX)(Y EY)]= ư ư

Hai BNN X và Y được gọi là không tương quan nếu

Cov(X,Y) E[(X EX)(Y EY)] 0= ư ư =

Điều này tương đương với

E[XY] E[X] E[Y]=

Trái lại, nếu đẳng thức không xảy ra, X và Y được gọi là không tương quan

Nếu X và Y độc lập thì chúng không tương quan Ngược lại không đúng: Tồn tại những BNN X và Y không tương quan, song chúng không độc lập

Đối với 2 BNN chuẩn X, Ythì X và Y độc lập ⇔X và Y không tương quan b) Trường hợp tông quát

ij

(R ) ( )ρ -ma trận đơn vị Ngược lại không đúng ij3) và R đối xứng , xác định không âm Σ

1.3.2 VTNN chuẩn, các tính chất quan trọng

VTNN X= được gọi là VTNN chuẩn ( X gọi là có phân bố chuẩn trong

Nói cách khác, ∀ u1, ,un, BNN Y=u X1 1 + + u Xn n có phân bố chuẩn

Hệ quả Từng thành phần của VTNN chuẩn là BNN chuẩn

Lưu ý: Điều ngược lại nói chung không đúng: Từng thành phần của VTNN

Σ

X ∼ N(m, ) Σ

+ Nếu định thức của Σ bằng 0 thì VTNN chuẩn X được gọi là suy biến Đặt

(hạnh của ), tồn tại không gian con k chiều của

X trên không gian này là VTNN chuẩn không suy biến

Mệnh đề- định nghĩa Giả sử X là VTNN chuẩn với ma trận tương quan Σ Nếu det( Σ ) 0 thì X được gọi là VTNN chuẩn không suy biến và mật độ của nó cho bởi

≠

2(2 ) (det )

X , ,X( ⇔ Σ là ma trận chéo:

2 1

2 n

1.3.3.Biến đổi tuyến tính VTNN chuẩn

Mệnh đề Cho X ∼ N(m, Σ ), A- ma trận cấp kì n tuỳ ý còn b ∈Ă k bất kì Khi đó VTNN Y=AX+b có phân bố chuẩn trên Ă kvới E[Y] Am b;T

Đối với mỗi VTNN chuẩn, ta có thể dùng một phép quay thích hợp để biến

nó thành VTNN chuẩn với các thành phần độc lập

Hình 1.4.Đường đồng mức của mật độ chuần 2 chiều

U

T

V / n

= : T(n) (1.25) Mệnh đề (Fisher) Nếu X = là VTNN n chiều sao cho các thành phần là những BNN độc lập, cùng phân bố chuẩn N(m,

n i

i 1

X m

n1

a) Phân vị mức α của phân bố “Khi bình phương” với n bậc tự do, kí

hiệu là χ , là giá trị xác định từ biểu thức:

Hình 1.5 Phân vị của phân bố “Khi bình phương”(a) và của phân bố Student (b)

1.3.5.Véc tơ ngẫu nhiên chuẩn 2 chiều

Cho Z = (X,Y) là VTNN chuẩn 2 chiều (không suy biến) với véc tơ kì vọng

Đặc biệt, nếu X và Y độc lập ⇔ ρ = 0 (⇔ X và Y không tương quan), mật độ

đồng thời cho bởi

Đối với mô men bậc cao chúng ta có kết quả quan trọng sau đây:

Nếu (X, Y) là VTNN chuẩn quy tâm thì

E[X Y ] E[X ]E[Y ] 2E [XY]= + (1.31) Bây giờ chọn X = Y N(0,: σ2)thì E[X ] 34 = σ4 và chúng ta nhận được công thức tính độ nhọn (1.2)

1.3.6 Mật độ chuẩn 2 chiều dùng trong pháo binh - Elíp tản mát

Để nghiên cứu mức độ tản mát của đạn rơi trên mặt phẳng nằm ngang, người

ta lập hệ trục Oxy với gốc O trùng với mục tiêu (điểm ngắm bắn), trục Ox là hướng bắn Tương tự như (1.13) đặt

Đối với hầu hết các pháo thông dụng, LD lớn gấp 10 15ữ lần LH

Elip tản mát (E) là elíp có các bán trục 4LD, 4LH (có tài liệu ghi là LD, LH) Xác suất để điểm đạn rơi (X,Y) nằm ngoài elip tản mát rất nhỏ, có thể bỏ qua:

LD

7 16 25

LH25 16

7

x

Hình 1.6 Elip tản mát với thang chia độ

⇓1.4 Mở rộng khái niệm mật độ đối với BNN rời rạc

+Chúng ta biết rằng, nếu X là BNN liên tục với hàm phân bố F(x) và hàm mật độ f(x) thì:

0 0

O

1 1

y y

(c)(b)

Hình 1.7 Hàm bước nhảy đơn vị(a), hàm delta (b) và hàm delta tại x0(c)

Một định nghĩa khác cho hàm delta là

là đạo hàm của hàm bước nhảy đơn vị:

Mật độ này thoả mãn các tính chất (1.36) - (1.37) của hàm mật độ thông

thường Ngoài ra, có thể coi nó là đạo hàm của hàm phân bố: dF(x)

p(x) P X x , x = { = } ∈Ă

Ví dụ Cho X là BNN với bảng xác suất

Hàm mật độ (suy rộng) và hàm khối lượng xác suất thể hiện ở Hình 1.8

Hình 1.8 Hàm mật độ (a) và hàm khối lượng xác suất (b) của BNN rời rạc

y

0,5 khi x 10,3 khi x 2

⎪p(x)

Cõu hỏi Chương I

1.1 Nờu một số hiểu biết về biến ngẫu nhiờn rời rạc

1.2 Nờu một số hiểu biết về BNN liờn tục, 4 luật phõn bố liờn tục

1.3 BNN chuẩn: định nghĩa, tớnh chất hàm mật độ, cỏc tham số đặc trưng, BNN

chuẩn tắc, biến đổi tuyến tớnh, phõn vị Uα

1.4 BNN chuẩn: định nghĩa, sai số trung gian, dạng mật độ BNN chuẩn dựng

cho phỏo binh, qui tắc 2σ,3 σ

1.5 Vộc tơ kỳ vọng, ma trận tương quan, ma trận hiệp phương sai của vộc tơ

ngẫu nhiờn n chiều; vài tớnh chất

1.6 Vộc tơ ngẫu nhiờn chuẩn: định nghĩa, tớnh chất

1.7 Biến đổi tuyến tớnh VTNN chuẩn

1.8 Một số biến ngẫu nhiờn liờn quan đến VTNN chuẩn

1.9 Phõn vị χ2α(n); t (n)α , vộc tơ ngẫu nhiờn chuẩn 2 chiều

1.10 Mật độ chuẩn 2 chiều dựng trong phỏo binh, elip tản mỏt

1.11 Khỏi niệm mật độ với BNN rời rạc.

1.8 Đường kính của viên bi có phân bố chuẩn với trung bình 20 và độ lệch

chuẩn 0,5 Quy tắc 2 ; 3 σ σkhẳng định cho ta điều gì?

1.10 Ma trận nào sau đây là ma trận hiệp phương sai?

Tìm VTNN dạng sao cho 2 thành phần của V, tức là aX+bY và cX+dY là 2 BNN độc lập

aX bY V

1.15 Giả sử điểm đạn rơi (X,Y) có phân bố chuẩn, trong đó độ lệch hướng

X: , độ lệch tầm Y , X và Y độc lập Tính xác suất để đạn rơi vào vòng tròn bán kính 3 mét, tâm tại điểm ngắm bắn

1.16 ứơc lượng xác suất đạn trúng vào xe tăng, biết rằng ta ngắm bắn vào

điểm giữa của phần dưới của xích và sau khi vẽ xe lên hệ trục với elíp tản mát thì thu được hình vẽ sau đây

y

2 2

LD

7 16 25

LH25 16

7

x

Hình 1.9 Xe tăng trong hệ thống elip tản mát

1.17 Cho X U[a;b: ], tính P{ X EX− < σ2 }, P{ X EX− < σ3 } với DX

Chương 3

VÉC TƠ NGẪU NHIÊN

§3.5 SỰ HỘI TỤ CỦA DÃY CÁC BIẾN NGẪU NHIÊN

Mục này trình bày bốn dạng hội tụ thông dụng nhất của dãy các BNN cũng

như những định lý hạt nhân của lý thuyết xác suất về sự hội tụ của dãy các BNN

độc lập: luật số lớn, định lý giới hạn trung tâm Sự hội tụ của dãy các BNN dạng

khác như xích Markov, martilgal… được trình bày ở chuyên khảo khác

3.5.1 Các dạng hội tụ

a)Định nghĩa Giả sử X và , n = 1, 2, … là các BNN cùng xác định trên

không gian xác suất (Ω ℑ, , P) Xn

(i) Ta nói dãy các BNN { }Xn hội tụ chắc chắn tới BNN X và viết

(hay (hcc)) nếu tồn tại biến cố với P(A) = 1 sao cho

(iii) Ta nói dãy các BNN { }X hội tụ trung bình cấp p (0 < p < n ∞) tới BNN

X , và viết Xn⎯⎯→LP X (hay Xn → X theo trung bình cấp p), nếu

p n

Từ bất đẳng thức Liapunov (xem 5.2.1), hội tụ trung bình cấp p sẽ suy ra hội

tụ trung bình cấp q với 0 < q < p Tuy nhiên trong thực tế ứng dụng thì hội tụ trung

bình cấp hai là quan trọng nhất; hội tụ trung bình cấp hai còn gọi là hội tụ bình

phương trung bình hay MS - hội tụ (mean square convergence), ký hiệu

MS

X ⎯⎯→X, (n→ ∞) hay l.i.m X =X

(l.i.m là viết tắt của chữ limit in mean)

Riêng với hội tụ theo luật, các BNN và X có thể xác định trên những không gian xác suất khác nhau

nX

b Tiêu chuẩn Cauchy về sự hội tụ

Áp dụng tiêu chuẩn Cauchy về sự hội tụ của dãy số thông thường cũng như một vài kỹ thuật khác, chúng ta phát biểu các tiêu chuẩn Cauchy sau đây về sự hội

tụ của dãy các BNN ¦u điểm của các tiêu chuẩn Cauchy là không cần sự có mặt của BNN giới hạn X

Định nghĩa: Ta nói dãy các BNN { }X là dãy Cauchy (hay dãy cơ bản) hầu nchắc chắn, theo xác suất hay theo bình phương trung bình nếu lần lượt thoả mãn các tính chất sau:

+ Dãy {X ( ),n 1,2, n ζ = } là dãy Cauchy với hầu hết ζ ∈Ω ;

+∀ε >0, P X{ n−Xm ≥ ε →} 0 khi n,m→ ∞ ;

+E Xn −Xm 2 →0 khi n,m→ ∞

Định lý (tiêu chuẩn Cauchy) Dãy các BNN { }X hội tụ đến BNN X nào đó: n(i) hầu chắc chắn khi và chỉ khi nó là dãy Cauchy hầu chắc chắn

(ii) theo xác suất khi và chỉ khi nó là dãy Cauchy theo xác suất;

(iii) theo bình phương trung bình khi và chỉ khi nó là dãy Cauchy theo bình phương trung bình

Độc giả có thể tham khảo chứng minh trong các cuốn sách chuyên biệt về xác suất như [4], [11]

c Mối quan hệ giữa các dạng hội tụ

Chúng ta sẽ phát biểu định lý sau đây nêu lên mối quan hệ giữa các dạng hội

tụ vừa nêu

Định lý (i) Dãy { }X hội tụ hầu chắc chắn sẽ hội tụ theo xác suất: n

hcc n

Mối quan hệ giữa các dạng hội tụ thể hiện ở giản đồ sau

hầu chắc chắn Theo xác suất Theo trung bình

Theo luật Chắc chắn

Ngoài ra, quan hệ sau đây cũng hay được sử dụng:

Định lý Nếu dãy các BNN {X hội tụ theo xác suất đến X thì có thể tích ra n}

=

3.5.2 Các định lý giới hạn

Các định lý giới hạn ở mục nhỏ này khảo sát dáng điệu của tổng các BNN

độc lập cũng phân bố khi số các số hạng tăng lên vô hạn, bao gồm luật yếu số lớn,

luật mạnh số lớn và định lý giới hạn trung tâm Trước hết, chúng ta tìm hiểu bất

đẳng thức Chebyshev Ngoài việc dùng để chứng minh luật yếu số lớn, bất đẳng

thức này còn được ứng dụng vào nhiều mục đích khác

E[X]

D[X] (x E[X]) f (x)dx (x E[X]) f (x)dx

−ε +∞

{ } 12

n

− < σ ≥ − Nếu chọn n = 3 thì

9

− < σ ≥ (3.5.2) Bất đẳng thức (3.5.2) cũng được phát biểu dưới dạng quy tắc 3σ:

Mỗi BNN không lệch khỏi giá trị trung bình của nó một lượng 3 với xác

xuất khá lớn

σ

Chúng ta thấy xác suất “khá lớn” ở đây chỉ là 8/9, thấp hơn rất nhiều so với

0.9973 ở trường hợp X có phân bố chuẩn theo công thức (1.17) Như vậy, nếu biết

thêm thông tin về tính chuẩn của BNN X, chúng ta có những khẳng định mạnh

hơn về khả năng xuất hiện biến cố {X E[X] 3− < σ }

b Luật yếu số lớn

Cho dãy BNN { }X độc lập, cùng phân bố với kỳ vọng n E[X ] mi = và

phương sai D[X ]i = σ2 hữu hạn Khi đó, với mọi ε > cố định, 0

Như vậy, với điều kiện nêu ra, dãy trung bình cộng (X1+ + X / nn) hội

n

X XX

n

+ +

= bằng - tần suất xuất hiện biến cố

A trong n phép thử đầu tiên Với P = P(A) ta có

Ví dụ 5 Hình 3 (a) trình bày kết quả mô phỏng với BNN mũ X với kỳ

vọng E[X] = 1 Theo các giá trị Xi, chúng ta tính toán được trung bình cộng

Sau khoảng 200 phép thử chúng ta dường như nhận được sự ổn định

Hình 3 (b) chỉ ra hình ảnh của {(X) } với 50 giá trị đầu, sự biến động ndường như còn lớn

Hình 3 Trung bình cộng của dãy BNN mũ kỳ vọng 1

Nhận xét: Sự hội tụ của dãy {(X) } thường là chậm hơn rất nhiều so với sự n

hội tụ của dãy tất định hay gặp thông thường

Ví dụ, nếu chúng ta cần một ngưỡng xác suất (độ tin cậy) 95%, đối với

BNN có , theo bất đẳng thức Chebychev chúng ta có thể đưa ra bảng sau đây

Sai số tuyệt đối ε 0,1 0,01 0.001

Để nghiên cứu tỉ mỉ hơn về , hãy chuẩn hoá nó bằng cách đặt

n n

Rõ ràng E[T ] 0n = và D[ n = Như vậy, kỳ vọng và phương sai của

BNN giới hạn (nếu có) vẫn là 0 và 1 tương ứng Câu hỏi đặt ra là: Hàm phân bố

hay hàm mật độ (nếu có) của BNN giới hạn sẽ ra sao?

Định lý sau đây trả lời cho câu hỏi này

Định lý (Định lý giới hạn trung tâm) Cho dãy BNN { }X độc lập, cùng n

phân bố với kỳ vọng E[X ]i = µ và phương sai 2

iD[X ]= σ hữu hạn Khi đó đối với dãy { }T xác định theo (3.5.5) xảy ra đẳng thức: i

2

t x 2 n

Vế phải của (3.5.6) chính là hàm phân bố chuẩn tắc F(x) Như vậy, định lý

giới hạn trung tâm khẳng định rằng: Đối với dãy BNN độc lập cùng phân bố và

phương sai hữu hạn, dãy chuẩn hoá của trung bình cộng hội tụ theo luật đến phân

bố chuẩn tắc

Định lý được công bố đầu tiên bởi Laplace cho dãy {Xn} với X ~ B(1, p)n

trưng Độc giả cũng có thể tham khảo chứng minh tỉ mỉ khác ở [ ] Vì tầm quan trọng đặc biệt, người ta đã phát triển định lý này theo rất nhiều hướng khác nhau

Nhận xét Người ta nhận thấy tốc độ hội tụ ở định lý giới hạn trung tâm khá

1 C 0

Như vậy, tôc độ hội tụ là O( 1 )

n và phụ thuộc vào độ bất đối xứng Trong thực tế áp dụng, với các BNN có phân bố gần đối xứng, chỉ cần ; với các biến ngẫu nhiên khác, chỉ cần n đã có xấp xỉ tốt

2

t x 2 n

Chứng minh Đặt Xi như ở Ví dụ 5 và đặt Sn =X1+ + X n Khi đó có phân bố nhị thức B(n,p) và suy ra theo (3.5.7) là BNN chuẩn hoá của Theo định lý giới hạn trung tâm ta nhận được (3.5.8)

nSn

Như vậy, với n lớn chúng ta có xấp xỉ

{ n }

P T <x ≈F(x) (3.5.9) với F(x) là hàm phân bố chuẩn tắc

Bây giờ ta quay trở lại tính xấp xỉ P (kn 1÷k )2 như nêu ra ở Chúng ta có

t x 2 0

Người ta thấy rằng xấp xỉ là tốt nếu np > 5; nq > 5 hoặc npq > 20

Công thức hiệu chỉnh Với các điều kiện vừa nêu cho n, p, q người ta thấy

có thể làm tốt hơn xấp xỉ (3.5.9) bằng cách tăng lên nửa đơn vị, và giảm đi

nửa đơn vị Cụ thể, nên sử dụng xấp xỉ sau:

2

P (k ÷ k ) ≈ Φ(x )∗ − Φ(x ),∗ (3.5.11) trong đó

với điều kiện np 5; nq 5> hoặc npq > 20

Ví dụ: Xác suất trúng đích của một xạ thủ khi bắn một viên đạn vào bia là

0,75 Tính xác suất để xạ thủ đó bắn 100 viên có 81 phát trúng đích trở lên

Giải np, nq > 10, chúng ta có thể áp dụng các kết quả nêu trên

Xấp xỉ (3.5.9) và do đó (3.5.10) là tốt với các diều kiện đã đưa ra Các diều

kiện này thoả mãn, chẳng hạn khi n lớn hoặc khi p gần với 1/2 Khi n nhỏ

, người ta đã lập bảng giá trị cho các xác suất Khi n không lớn

lắm, hoặc khi

p 0 hay khi p 1,≈ ≈ các công thức trên không còn chính các nữa, người ta sử dụng định lý giới hạn Poisson sau đây

Định lý (Định lý giới hạn Poisson) Giả sử trong lược đồ Becnoulli

p P(A),= và khi n→ ∞ mà np= λ =const thì

k n

k n n

Người ta đã lập bảng các giá trị của

kek!

−λ λ

Có tài liệu lại lập bảng giá trị cho

k m

Ví dụ Xác suất để một loại máy bay trên một tuyền đường nhất định bị tai

nạn là p 10= −4 Tìm xác suất để trong 1000 lần bay có :

Mối quan hệ giữa các dạng hội tụ này

3.2 Phát biểu và chứng minh bất đẳng thức Chebyshev, luật yếu số lớn Phát

biểu luật mạnh số lớn

để nghiên cứu các lĩnh vực khác nhau như vật lý thống kê, thông tin liên lạc, phân tích chuỗi thời gian, phân tích hoạt động mạng máy tính và khoa học quản lý

5.1.1 Các định nghĩa

*Giả sử I là tập vô hạn nào đó còn (S, Pℑ, là không gian xác suất cơ bản )

Họ các biến ngẫu nhiên (BNN) {X , t It ∈ cùng xác định trên } (S,ℑ,P) được gọi là hàm ngẫu nhiên

Tập chỉ số I được gọi là tập xác định; tập giá trị E của các BNN được gọi là tập giá trị của hàm ngẫu nhiên

tX

Khi I ⊂ ¡ , tham biến t thường đóng vai trò thời gian (cũng có thể có ý nghĩa khác) và chúng ta gọi {X , t It ∈ } là QTNN Hơn nữa, nếu I là tập đếm được thì ta gọi {X , t It ∈ là QTNN với thời gian rời rạc hay dãy các BNN Đặc biệt, ta }

gọi {X , nn ∈N hoặc} {X , nn = n ,n0 0+1, } là dãy các BNN một phía Nếu I =Z

thì ta gọi {X , n∈Z là dãy các BNN hai phía n }

Khi I là một khoảng suy rộng của , chúng ta gọi R {X , t It ∈ } là QTNN thời gian liên tục, đơn giản là QTNN

Đối với các trường hợp khác, ví dụ I= R , k {X , t It ∈ } được gọi là trường ngẫu nhiên Chúng ta sẽ nghiên cứu chủ yếu QTNN thời gian rời rạc hoặc thời gian liên tục Trong quyển sách này nếu không nói gì thêm, QTNN xem xét là QTNN thực, ở đó tập giá trị là tập con của Khi tập giá trị là tập con của , chúng ta có QTNN phức, chúng ta sẽ nói rõ QT là phức

*Thực chất, chúng ta đang đề cập đến hàm 2 biến X {X(t, ), t I,= ς ∈ ς ∈ S}sao cho:

Khi t I∈ cố định, X(t, )ς là một BNN;

Khi cố định, là một hàm số thông thường trên I, được gọi là một quỹ đạo (tên khác: thể hiện, hàm chọn) của QT ứng với kết cục của thí nghiệm ngẫu nhiên

Như vậy, chúng ta lại có thể coi QTNN như là họ của các quỹ đạo hay là một tổng thể (ensemble) của các thể hiện (hay các hàm chọn) của nó

Sự khác biệt giữa các quan niệm nêu trên về QTNN nằm ở mục đích và phương pháp nghiên cứu

Để tiện lợi chúng ta hay viết X(t) thay cho Xt, cũng như hay viết X t,( )ζ thay cho Xt( )ζ là giá trị của quá trình (QT) tại thời điểm t khi kết quả của thí nghiệm ngẫu nhiên là ζ (khi xảy ra biến cố sơ cấp ζ∈ ) Chúng ta cũng hay ký Shiệu QT {X(t, ), t I,ς ∈ ς ∈S} bởi {X(t), t I}, {X(t)}∈ hay đơn giản là X

5.1.2 Phân loại sơ bộ

Tùy theo tập chỉ số I và không gian giá trị E (trong Vật lý, E được gọi là không gian trạng thái), người ta phân QTNN làm bốn loại sau đây:

i) I liên tục, E liên tục: QTNN với thời gian liên tục và trạng thái liên tục (tên khác: QTNN liên tục);

ii) I liên tục, E rời rạc: QTNN với thời gian liên tục và trạng thái rời rạc (tên khác: QTNN rời rạc);

iii) I rời rạc, E liên tục: QTNN với thời gian rời rạc và trạng thái liên tục (tên khác: dãy ngẫu nhiên liên tục )

iv) I rời rạc, E rời rạc: QTNN với thời gian rời rạc và trạng thái rời rạc (tên khác: dãy ngẫu nhiên rời rạc)

Theo các tính chất của quỹ đạo, người ta có thể phân loại QTNN một cách tỉ

mỉ hơn Chẳng hạn, khi I là khoảng suy rộng nào đó của R , ta nói {X , t It ∈ } là:

* QT liên tục theo quỹ đạo nếu hầu hết các quỹ đạo của nó là hàm liên tục;

* QT bước nhảy nếu hầu hết các quỹ đạo của nó là hàm bậc thang…

Lưu ý rằng trong cuốn sách này, thuật ngữ “hầu hết” hay “hầu chắc chắn” được sử dụng với ý nghĩa rằng, các tính chất kể đến xảy ra với xác suất 1

Hình 5.1(a) mô tả một quỹ đạo điển hình của QTNN liên tục {X(t)} Hình 5.1(b) mô tả dãy ngẫu nhiên có được bằng cách lấy mẫu QT {X(t)} theo chu kỳ T0

chọn trước: Xn=X n T , n 0,1,2, ( 0) = Hình 5.1(c) mô tả quỹ đạo của QT dấu của

QT ban đầu: Khi X(t) dương, Y(t) nhận giá trị 1; giá trị -1 được nhận tại những

thời điểm còn lại Dãy rời rạc ở Hình 5.1(d) mô tả dãy mẫu với chu kỳ lấy mẫu T0

Ví dụ 5.2 Đầu ra của kênh thông tin thường bị méo do nhiễu điện từ Lưu ý

rằng cả tín hiệu đầu vào cũng như tín hiệu điều chế đều có không gian trạng thái gián đoạn, tín hiệu đầu ra lại có không gian trạng thái liên tục Cả ba tín hiệu có thời gian liên tục

Ví dụ 5.3 Tín hiệu âm thanh Tín hiệu âm thanh có thể được xem là ngẫu

nhiên từ chỗ dãy các âm lượng tạo nên tín hiệu là bất định Cả không gian trạng thái và thời gian đều liên tục

Ví dụ 5.4 Tín hiệu FM với nhiễu Tín hiệu FM (tín hiệu điều chế tần số)

trong đó fc là tần số mang, thường nằm trong dải tần 88 108MHz÷ , kf là hệ số điều chế máy phát (transmitter`s modulation constant), còn a(s) là tín hiệu âm thanh cần truyền đi Thậm chí không có nhiễu, X(t) là tín hiệu ngẫu nhiên từ chỗ a(s) là ngẫu nhiên

Ví dụ 5.5 Sóng sin ngẫu nhiên Cho U U 0;1: [ ] là biến ngẫu nhiên có phân

bố đều trên [0;1] Xét quá trình

X t,ζ =U ζ sin 2 t , tπ ∈R

Mỗi hàm mẫu của nó là một hàm hình sin theo thời gian với biên độ ngẫu nhiên

Ví dụ 5.6 Dãy nhiễu trắng Dãy các BNN {X(n)} được gọi là dãy nhiễu

trắng nếu nó quy tâm (kỳ vọng không), cùng phương sai và không tương quan Một quỹ đạo điển hình của dãy nhiễu trắng với σ = thể hiện ở Hình 5.2 Dãy 2 1nhiễu trắng và QTNN nhiễu trắng có vai trò quan trọng trong nghiên cứu QTNN

Hình 5.2 Một thể hiện của dãy nhiễu trắng Gauss với phương sai 1

5.1.4 Họ các phân bố hữu hạn chiều

Giả sử {X t , t I( ) ∈ } là QTNN Đối với thời điểm t1∈ cố định, X(tI 1) là biến ngẫu nhiên với hàm phân bố FX(x1,t1) xác định bởi

F x , t =P X t <x (5.1.1) Bây giờ giả sử J={t , , t1 n} là một tập con hữu hạn của I Hàm phân bố đồng thời củaX t , ,X t : ( )1 ( )n

F x , , x ; t , , tX( 1 n 1 n)=P X t{ ( )1 < x , ,X t1 ( )n <xn} (5.1.2)

được gọi là hàm phân bố hữu hạn chiều (ở đây có n chiều) của quá trình

( )

{X t } ứng với tập chỉ số J Tập các hàm phân bố hữu hạn chiều được gọi là họ các hàm phân bố hữu hạn chiều

Rõ ràng, họ các hàm phân bố hữu hạn chiều có hai tính chất sau đây:

i) Tính chất đối xứng: Hàm phân bố hữu hạn chiều không thay đổi nếu ta hoán vị bộ chỉ số (1, 2,…,n) Ví dụ, khi hoán vị hai chỉ số đầu chúng ta có:

Đó chính là nội dung của định lý tồn tại của Kolmogorov (người Nga)

Rất nhiều tính chất quan trọng của QTNN được quy định bởi tính chất của các hàm phân bố hữu hạn chiều của nó, trong đó quan trọng nhất là hàm phân bố một chiều F(x; t) và hàm phân bố hai chiều F(x1, x2; t1, t2)

Thông thường, chúng ta phải nghiên cứu đồng thời một số QT Từ đó, mở rộng (5.1.2), chúng ta đưa vào khái niệm hàm phân bố đồng thời của hai quá trình

§5.2 MỘT SỐ LỚP QUÁ TRÌNH NGẪU NHIÊN

Trường hợp quan trọng nhất khi p = 2, lúc đó ta có QT cấp hai

Đối với QT cấp hai X={X t , t I( ) ∈ } đặt

( ) ( ) ( ( ) ( ) )

X X

C t, t C s,s

Hàm trung bình và hàm tự tương quan là hai thống kê quan trọng nhất của QT Tuy nhiên, để tính chúng phải thông qua trung bình tổng thể, tức là phải biết mật độ xác suất hai chiều của QT - điều rất khó thực hiện trong

thực tế Ở bài §3.5 tiếp theo chúng ta sẽ giới thiệu cách tính xấp xỉ các hàm này

trong tình huống khi việc lấy trung bình tổng thể không thể làm được

XY XY

C (t,s)(t,s)

( )

XY

C t,s =0, ∀ ∈ t,s I (5.2.12) Điều này tương đương với

( )

XY

R t,s =E[ X(t)].E[Y(t)], t ,s I∈ Hai quá trình X và Y được gọi là trực giao nếu:

X quy tâm: X,Y không tương quan ⇔ X, Y trực giao

Ví dụ 5.7 Ví dụ tầm thường về QTNN là tín hiệu tất định X(t) = f(t), trong

đó f(t) là hàm số cho trước Đối với trường hợp này,

Thêm vào đó, nếu luật phân bố của X(t) – X(s) chỉ phụ thuộc vào hiệu t – s thì ta gọi X là quá trình số gia độc lập thuần nhất

Ví dụ 5.9 Cho {ξn, n 0,1, = } là dãy BNN độc lập Dãy tổng riêng {Xn}

X = ξ ; X = ξ + ξ ; X = ξ + ξ + ξ ,

lập thành dãy số gia độc lập (hãy chứng minh !)

Định nghĩa Cho X={X , t It ∈ } là QT cấp hai: ( )2

E X t < ∞ ∀ ∈ Ta t I.nói X là QT số gia không tương quan nếu hai số gia của nó trên những khoảng thời gian rời nhau là những BNN không tương quan

Cụ thể là, với t0, t1, t2, t3 bất kỳ trên I sao cho t0 < t1 < t2 < t3 ta có:

a) Quá trình dừng theo nghĩa hẹp

Định nghĩa Ta nói QTNN X={X , t It ∈ } là QT dừng theo nghĩa hẹp (hay

QT dừng mạnh) nếu với số tự nhiên n bất kỳ, với J = {t1,…, tn} là tập con tùy ý của I và với số thực h bất kỳ sao cho K={t1+h, , tn+h}⊂ , các VTNN I

Thực tế, việc kiểm tra điều kiện dừng nói trên rất khó khăn Tuy nhiên, lại

có thể phát biểu một loạt điều kiện cần (nhưng không đủ) để một quá trình (QT) là dừng theo nghĩa hẹp Nếu vi phạm dù 1 trong các điều kiện này thì khẳng định rằng QT không là dừng theo nghĩa hẹp

* Nếu QT là cấp k (k nguyên không âm) thì

k

kE(X (t))= υ , ∀ ∈ t IĐặc biệt, nếu QT là cấp hai thì hàm trung bình và phương sai là hằng số:

( ) ( ) ( ) ( )

F x , x ; t , t =F x , x ;τ với τ = − t2 t1Nếu các hàm phân bố có mật độ thì điều kiện này tương đương với

chỉ phụ thuộc vào hiệu t - s Tương tự cho hàm CX( )t,s

Những trình bày về dừng theo nghĩa hẹp nêu trên có thể được mở rộng thành dừng theo nghĩa hẹp đồng thời của hai QT:

Hai QT {X t và ( ) } {Y t được gọi là dừng theo nghĩa hẹp đồng thời nếu ( ) }

các hàm phân bố đồng thời của chúng (xác định theo (5.1.5)) bất biến với phép dịch chuyển thời gian

b) Quá trình dừng theo nghĩa rộng

Định nghĩa Giả sử X={X , t It ∈ } là QT cấp hai Ta nói rằng X là QT dừng theo nghĩa rộng nếu:

Để tiện lợi, QT dừng theo nghĩa rộng được gọi tắt là QT dừng

Lưu ý rằng nếu xảy ra (i) thì điều kiện (ii) tương đương với

ii’) CX( )t,s =E[(X t( )− µX( ) ( )t )(X s − µX( )s ) C= X( )τ , τ= − t s

là hàm chỉ phụ thuộc vào hiệu t – s

Người ta cũng gọi hàm RX( )τ ,CX( )τ lần lượt là hàm tự tương quan và tự hiệp phương sai của quá trình dừng X

Các điều kiện (ii) và (ii’) được viết dưới dạng tiện lợi sau đây:

X

σ là phương sai chung của QT X

Rõ ràng, mỗi QT dừng theo nghĩa hẹp và là cấp hai sẽ là một QT dừng theo nghĩa rộng Ngược lại nói chung không đúng (có những ví dụ minh hoạ điều này) Sau đây chúng ta nêu ra một số tính chất của hàm tự tương quan

Định lý 5.1 Cho RX( )τ là hàm tự tương quan của QT dừng nhận giá trị thực {X t , t( ) ∈R Khi đó: }

iii) RX( )τ là hàm xác định không âm theo nghĩa:

Với mỗi bộ 2n số thực t1,…, tn, b1,…,bn bất kỳ luôn xảy ra bất đẳng thức:

n

i j X i j i,j 1

Câu hỏi tự nhiên đặt ra là, vấn đề “ngược lại” phải chăng cũng đúng? Định

lý không kèm chứng minh sau đây sẽ là câu trả lời cho vấn đề này

Định lý 5.2 Hàm số R( )τ τ∈R là hàm tự tương quan của một QTNN thực, ,dừng khi và chỉ khi R( )τ là hàm xác định không âm

Kiểm tra tính xác định không âm của một hàm số cho trước là điều khá khó khăn Định lý sau đây (xem [12], tr 404) nêu lên một điều kiện đủ để một hàm cho trước là hàm tự tương quan

Định lý 5.3.(Polya) Hàm chẵn R( )τ τ∈R là hàm tự tương quan của một ,QTNN thực, dừng nào đó nếu thoả mãn hai điều kiện sau đây:

2 0

AE[X(t)] sin t + d 0

Acos ,2

dụ 5.11 là QT dừng mạnh khi và chỉ khi Θ có phân bố đều trên [0;2π]

Ví dụ 5.11 Xét sóng sin ngẫu nhiên

Định nghĩa QTNN {X t , t∈R được gọi là tuần hoàn theo bình phương ( ) }

trung bình (hay MS - tuần hoàn) nếu tồn tại số thực t0 sao cho

E[X (t t ) X(t)]+ 0 − 2 =0, ∀ ∈Rt

Ta gọi t0 là MS - chu kỳ của quá trình

Từ định nghĩa suy ra ngay rằng, với xác suất 1,với mọi t∈ ¡

0

X (t t ) X(t)+ =

Lưu ý: Không suy ra P{ζ:X t t ,( + 0 ζ =) X t, , t( )ζ ∀ = } 1

Định lý 5.4 Nếu đối với dừng {X t xảy ra đẳng thức ( ) } RX( )0 =RX( )t0thì {X t là MS - tuần hoàn với MS - chu kỳ là t( ) } 0

Lưu ý rằng hàm tự tương quan của QT dừng có thể có thành phần hằng số khác không, có thể có thành phần tuần hoàn, có thể có thành phần tắt dần nhanh hoặc chậm Hình 5.3 đưa ra các dạng điển hình của hàm tự tương quan

Hình 5.3 Các dạnh điển hình của hàm tự tương quan của QT dừng

Đối với QT dừng {X t , hệ số tương quan (5.2.7) trở thành ( ) }