Lý thuyết xác suất căn bản

LÝ THUYẾT XÁC SUẤT CƠ BẢN Phần I Nhắc lại tổ hợp giải tích 1.1 Tập hợp Định nghĩa 1.1.1 Cho trước hai tập A, B ta có: A ∪ B = x : x ∈ A x ∈ B A ∩ B = x : x ∈ A x ∈ B A\B = {x : x ∈ A, x ∈ / B} Ai = {x : ∃i ∈ I, x ∈ Ai } i=I Ai = {x : ∀i ∈ I, x ∈ Ai } i=I Định nghĩa 1.1.2 Cho A1 ⊂ A2 ⊂ ⊂ An ⊂ lim An = n→∞ An n≥1 Tương tự với dãy (An )n ≥ thỏa A1 ⊃ A2 lim An = n→∞ An n≥1 Công thức De - Morgan Ai Ai = i∈I i∈I Ai Ai = i=I i∈I 1.2 Giải tích tổ hợp Định nghĩa 1.2.1 (Quy tắc cộng) Định nghĩa 1.2.2 (Quy tắc nhân) Ví dụ: Từ chữ số 0, 1, 2, 3, 4, Có số có chữ số a khác b số lẻ chữ số khác CuuDuongThanCong.com https://fb.com/tailieudientucntt Giải Gọi số có chữ số cần tìm là: abcd a Ta chia cơng việc thành lập số thỏa u cầu toán thành giai đoạn: Giai đoạn 1: a có cách chọn a = Giai đoạn 2: b có cách chọn b ∈ {0, 1, , 5} \ {a} Giai đoạn 3: c có cách chọn c ∈ {0, 1, , 5} \ {a, b} Giai đoạn 2: d có cách chọn b ∈ {0, 1, , 5} \ {a, b, c} Vậy có × × × = 300 số thỏa yêu cầu toán Định nghĩa 2.3 (Hoán vị) Cho tập A, có |A| = n, nhóm hốn vị phần tử thuộc tập A song ánh từ A vào A Số hoán vị phần tử thuộc A là: P (n) = n! = 1.2.3 n Chú ý: (0! = 1) Định nghĩa 2.4 (Chỉnh hợp) Chỉnh hợp chập k n phần tử thuộc A k (a1 , , ak ) thuộc Ak thỏa mãn = aj ; ∀i, j ∈ 1, k Số chỉnh hợp chập k n phần tử thuộc A Akn = n! (n − k)! (0 ≤ k ≤ n) Định nghĩa 2.5 Tổ hợp chập k n phần tử thuộc A tập gồm k phần tử A Số tổ hợp chập k n phần tử thuộc Cnk = n! = (n − k)!k! n k Ví dụ: Một hồm gồm bi đỏ, bị trắng, bi vàng Người ta chọn bi từ hộp Hỏi có cách chọn nếu: a Khơng u cầu thêm b Trong bi chọn có bi đỏ, bi trắng, bi vàng c Đúng vàng d Trong cách chọn có vàng CuuDuongThanCong.com https://fb.com/tailieudientucntt Phần II Biến cố xác suất 2.1 Phép thử 2.1.1 Phép thử – Một thí nghiệm, quan sát tượng Phép thử gọi phép thử ngẫu nhiên ta trước kết phép thử, xác định đươc tập hợp kết chứa – Tập hợp kết có phép thử gọi khơng gian mẫu (không gian kiện sơ cấp) Ký hiệu Ω – Mỗi phần tử Ω gọi kiện sơ cấp Ví dụ: – Gieo đồng xu hai mặt (S, N ): Ω = {S, N } – Gieo đồng xu n lần: Ω = {ω = (ω1 , , ωn ) : ωi ∈ {S, N }} – Gieo xúc sắc: Ω = {1, 2, , 6} 2.1.2 Biến cố Biến cố tập hợp không gian mẫu Biến cố bất khả biến cố xảy thực phép thử Biến cố chắn biến cố chắn xảy thực phép thử 2.1.3 Quan hệ biến cố – Quan hệ kéo theo – Quan hệ (tương đương) 2.1.4 Các phép toán biến cố – Biến cố tổng – Biến cố tích – Biến cố kí hiệu – Biến cố xung khắc – Biến cố đối lập CuuDuongThanCong.com https://fb.com/tailieudientucntt 2.2 Đại số xích ma đại số Định nghĩa 2.2.1 chất sau: Họ tập A Ω gọi đại số thỏa tính Ω ∈ A ∀A, B ∈ A : A ∪ B ∈ A ∀A ∈ A ⇒ A ∈ A Chú ý: Nếu A đại số – ∅ ∈ A : Ω ∈ A ⇒ Ω = ∅ = Ω – ∀A, B ∈ A : A ∩ B ∈ A : A ∩ B = A ∪ B  n     Ai ∈ A – A1 , , An ∈ A ⇒ i=1 n     Ai ∈A i=1 Ví dụ: A = {Ω, ∅} ; A = ∅, A, A, Ω Định nghĩa 2.2.2 Họ tập F Ω gọi σ đại số thỏa tính chất sau: Ω ∈ F ∀A ∈ F; A ∈ F n ∀A1 , , An ∈ F : Ai ∈ F i=1 2.3 Xác suất Định nghĩa 2.3.1 (Độ đo xác suất) Cho ánh xạ P : F −→ R gọi độ đo xác suất thỏa tính chất sau: P (A) ≥ 0, ∀A ∈ F P (Ω) = ∀A1 , , An ∈ F, Ai ∩ Aj = ∅, ∀i = j n P n Ai i=1 Định nghĩa 2.3.2 = P (Ai ) i=1 (Không gian xác suất) Bộ thứ tự (Ω, F, P ) Ω tập, F σ đại số Ω, P độ đo xác suất gọi không gian xác suất CuuDuongThanCong.com https://fb.com/tailieudientucntt Tính chất 2.3.3 P (∅) = Nếu A, B ∈ F, A ∩ B = ∅ ⇒ P (A ∪ B) = P (A) + P (B) ∀A, B ∈ F : P (A ∪ B) = P (A) + P (B) − P (A ∩ B) ∀A1 , A2 , , An ∈ A n P n Ai ≤ i=1 P (Ai ) i=1 Chứng minh: Ai = ∅, ∀i ≥ ∞ ∞ P Ai = P (Ai ) i=1 i=1 n P (∅) = P (∅) i=1 n = lim n→∞ P (∅) i=1 = lim nP (∅) n→∞ ⇒ lim [(n − 1) P (∅)] = n→∞ ⇒ P (∅) = Tự cm Tự cm Ta đặt B1 = A1 B2 = (A1 ∪ A2 ) \B1 n+1 Bn+1 =   Ak \Bn k=1 ∞ n=1 An B ∩ B i j = ∞ n−1 Bn = ∅, ∀i = j, Bn ⊆ An ∞ ⇒P ∞ An =P n=1 Bn n=1 ∞ = P (Bn ) n=1 ∞ ≤ P (An ) n=1 CuuDuongThanCong.com https://fb.com/tailieudientucntt Bn ⊂ An ⇒ P (Bn ) ≤ P (An ) 2.4 Không gian xác suất hữu hạn Định nghĩa 2.4.1 Trường hợp |Ω| < ∞, ta định nghĩa độ đo xác suất P F = P (Ω) P : F −→ R |A| ; N = |Ω| N P (ω) = (ω ∈ Ω) N A −→ Ta gọi độ đo xác xuất độ đo xác suất rời rạc Ví dụ: Rút ngẫu nhiên khơng hồn lại từ bài, tính xác suất từ bài, tính xác suất vừa rút khơng có chất Giải Gọi A : “Lấy cơ” Số phần tử không gian mẫu C52 Số phần tử biến cố A C39 C3 P (A) = 39 C52 Ví dụ: Nếu số có chữ số 000 → 999 chọn cách ngẫu nhiên Tính xác suất số có chữ số lớn Giải Gọi Ai = Chọn số có chữ số thứ i > chữ số lại ≤ ; i = 1, 2, Ta có A = A1 + A2 + A3 ; A1 ∩ A2 = ∅ P (A) = P (A1 + A2 + A3 ) = P (A1 ) + P (A2 ) + P (A3 ) 4.6.6 103 P (A1 ) = P (A2 ) = P (A3 ) P (A1 ) = P (A) = 3P (A1 ) = 0.432 Ví dụ: Trong hộp có 100 bóng đèn có 75 bóng đèn tốt 25 bóng đèn hư Lấy ngẫu nhiên khơng hồn lại 15 bóng đèn, tính xác suất số 15 bóng đèn lấy có bóng đèn bị hư Giải CuuDuongThanCong.com https://fb.com/tailieudientucntt A : “Trong 15 bóng đèn lấy có bóng bị hư” ⇒ A : “Trong 15 bóng đèn khơng có bóng bị hư” P (A) = − P A =1− 15 C75 15 C100 Ví dụ: Gọi E, F, G biến cố Hãy biểu diễn biến cố sau thông qua biến cố kể Chỉ E xảy Cả E&G xảy ra, F khơng xảy Có kiện xảy Có kiện xảy Có kiện xảy Có nhiều kiện xảy Giải E.F G E.G.F E + G + F E.F.G + E.F G + E.F.G + E.F.G E.F.G + E.F G + E.F.G E.F G + E.F G + E.F.G + E.F G + E.F.G + E.F.G + E.F G Ví dụ: xúc sắc gieo liên tục tổng điểm mặt phía chúng dừng lại Tính xác suất tổng điểm xúc sắc xảy trước Giải Ta đặt An = {Tổng xúc sắc lần gieo thứ n tổng xúc sắc = 5&7 n − lần gieo trước } ∞ A = A1 + A2 +, An n=1 An ∩ Am = ∅; ∀m = n ∞ P (A) = P (An ) n=1 CuuDuongThanCong.com https://fb.com/tailieudientucntt 2.5 Xác suất có điều kiện Định nghĩa 2.5.1 Xác suất kiện A tính với giả thiết kiện B xảy gọi xác suất có điều kiện A với điều kiện B, kí hiệu P (A|B) tính theo công thức P (AB) P (A|B) = P (B) Tính chất 2.5.2 ≤ P (A|B) ≤ P (B|B) = Nếu AC = ∅ P [(A + C) |B] = P (A|B) + P (C|B) P A|B = − P (A|B) Ví dụ: Gieo ngẫu nhiên xúc sắc cân đối & đồng chất Tính xác suất biết tổng điểm mặt xúc sắc biết xúc sắc thứ Tính xác suất tổng điểm biết xức sắc thứ I Giải Ta có Ω = {(ωi , ωj ) : ≤ ωi , ωj ≤ 6} = {(1, 1) , , , (6, 6)} Gọi A = Tổng mặt xúc sắc ; B = xúc sắc thứ mặt 1 ; P (B) = = ; P (A.B) = P (A) = 36 36 36 P (A|B) = P (A.B) |A.B| = P (B) |B| Ví dụ: Trong hộp gồm bi đỏ, bi trắng Lấy ngẫu nhiên khơng hồn lại bi từ hộp, tính xác suất để bi bi đỏ Giải Đặt Ai = Bi đỏ thứ i , i = 1, Ta có P (A1 A2 ) = P (A2 |A1 ) P (A1 ) = P (A2 |A1 ) P (A1 ) = 11 12 14 = 33 CuuDuongThanCong.com https://fb.com/tailieudientucntt Định nghĩa 2.5.3 Công thức nhân xác suất Cho A B hai biến cố, P (B) > P (AB) = P (A|B) P (B) = P (B|A) P (A) Cho A1 , A2 , , An n biến cố P (A1 , A2 , , An ) = P (A1 ) P (A2 |A1 ) P (A3 |A1 A2 ) P (An |A1 An−1 ) Ví dụ: Một gồm 52 chia ngẫu nhiên thành phần cho người chơi Tính xác suất người chơi nhận Át Giải A1 = Con Át nằm phần A2 = Con Át Át rô nằm phần khác A3 = Con Át cơ, rô, nhép nằm phần khác A4 = Át nằm phần khác P (A4 ) = P (A1 A2 A3 A4 ) = P (A1 ) P (A2 |A1 ) P (A3 |A1 A2 ) P (A4 |A1 A2 A3 ) 39 26 13 = 51 50 49 = 0.106 2.6 Công thức BAYES Định nghĩa 2.6.1 Hệ biến cố đầy đủ Hệ biến cố (Ai )i∈I gọi hệ đầy đủ   i∈I Ai A ∩ A i j Ví dụ: =Ω = ∅, ∀i = j Hệ A, A hệ đầy đủ Định lý 2.6.2 Cơng thức xác suất tồn phần Cho A1 , A2 , , An hệ đầy đủ B biến cố P (B) = P (B|A1 ) P (A1 ) + · · · + P (B|An ) P (An ) n = P (Ai ) P (B|Ai ) i=1 CuuDuongThanCong.com https://fb.com/tailieudientucntt Ví dụ: Một người có hai đồng xu, đồng xu thứ đồng xu cân đối, đồng xu thứ có xác suất mặt ngửa gấp lần mặt sấp Anh ta chọn ngẫu nhiên đồng xu gieo Tính xác suất mặt mặt ngửa Nếu gieo mặt ngửa xác suất chọn đồng xu cân đối bao nhiêu? Giải Ai = Lấy đồng xu thứ i để gieo , i = 1, N = Xuất mặt ngửa sau gieo Ta có  A A = Ω A A = ∅ Áp dụng cơng thức xác suất tồn phần: P (N ) = P (N |A1 ) P (A1 ) + P (N |A2 ) P (A2 ) 1 = + 2 = P (A1 N ) P (N ) P (N |A1 ) P (A1 ) = P (N ) 1 = 2 = P (A1 |N ) = Định lý 2.6.3 Công thức Bayes Cho A1 , A2 , , An hệ đầy đủ, B biến cố P (Ai |B) = P (B|Ai ) P (Ai ) P (B|Ai ) P (Ai ) n i=1 Tính chất 2.6.4 Tính chất xác suất có điều kiện Cho A, B, C biến cố P (C) > ≤ P (A|B) ≤ P (B|B) = 1, P (∅|C) = Nếu AC = ∅ P [(A + C) |B] = P (A|B) + P (C|B) P A|B = − P (A|B) 10 CuuDuongThanCong.com https://fb.com/tailieudientucntt P (Y ∈ B, X ∈ A) P (X ∈ A) P (Y ∈ B, X ∈ A) = P (X ∈ A) ˆ +∞ = P (Y ∈ B, X ∈ A|X = x) fX (x) dx P (X ∈ A) −∞ ˆ P (Y ∈ B, X) fX (x) dx = P (X ∈ A) A   ˆ ˆ  fY |X (y|x)dy  fX (x) dx = P (X ∈ A) A B ˆ ˆ fX,Y (x, y) dydx P (X ∈ A) P (Y ∈ B|X ∈ A) = A B 5.10 Kỳ vọng có điều kiện Định nghĩa 5.10.1 Cho hai biến ngẫu nhiên X, Y , kỳ vọng có điều kiện Y biết X nhận giá trị x, ký hiệu E(Y |X = x) định nghĩa là:   yf i Y |X (yi |x) E (Y |X = x) = ´ ∞  yfY |X (y|x) dy −∞ X, Y rời rạc X, Y liên tục Chú ý: Kỳ vọng có điều kiện Y X ký hiệu E (Y |X) biến ngẫu nhiên có giá trị E (Y |X = x) tập {X = x}   E (g (X, Y ) |X = x) = Ví dụ: g (x, yi ) fY |X (yi |x) ´ ∞  g (x, y) fY |X (y|x) dy −∞ X, Y rời rạc X, Y liên tục Cho X ∼ U (0, 1) , Y |X ∼ U (x, 1) Tính E (Y |X = x) , E (Y |X) Giải (0 < x < y < 1) 1−x ˆ 1 y2 E (Y |X = x) = y dy = 1−x (1 − x) x fY |X (y|x) = x 1+x − x2 = = (1 − x) Vậy E (Y |X) = 1+X Định lý 5.10.2 Cho X, Y biến ngẫu nhiên cho E (X) , E (Y ) tồn tại, đó: 52 CuuDuongThanCong.com https://fb.com/tailieudientucntt – E (X) = E (E (X|Y )) E (Y ) = E (E (Y |X)) – E (r (X, Y )) = E (E (g (X, Y ) |X)) = E (E (g (X, Y ) |Y )) Định nghĩa 5.10.3 Nếu E (Y |X) tồn phương sai có điều kiện biến ngẫu nhiên Y X định nghĩa là: V ar (Y |X) = E (Y − E (Y |X)) |X Ði.nh lý 5.10.4 V ar (X) = E (V ar (X|Y )) + V ar (E (X|Y )) 5.11 Hàm sinh Moment Định nghĩa 5.11.1 Hàm sinh moment biến ngẫu nhiên X định nghĩa sau: MX : R t MX (t) = E etx −→ R −→ E etx  txi  P (X = xi ) xi e ´ ∞  etx f (x) dx −∞ Chú ý: Hàm sinh moment biến ngẫu nhiên không tồn Từ khai triển: 2 (tX) (tX) etX = + tX + + ··· + n t2 tn E X + · · · + E (X n ) 2! n! t2 tn = + m1 t + m2 + · · · + mn 2! n!  M (0) = m = E (X) X ⇒ M n (0) = m = E (X n ) X ⇒ E etX = + tE (X) + – X ∼ B(1, p) : MX (t) = EetX = e0t P (X = 0) + e1t P (X = 1) = (1 − p) + et p – X ∼ B(n, p) : n n n−k etk P (X = k) = MX (t) = E etX = k=0 n k=0 Cnk et p = etk Cnk pk (1 − p) k n−k (1 − p) = et p + − p k=0 53 CuuDuongThanCong.com https://fb.com/tailieudientucntt n – X ∼ P (λ) Tính MX (t), từ tính E (X) , E X , E X +∞ etk P (X = k) MX (t) = k=0 +∞ etk = k=0 λk e−λ = k! +∞ = e−λ k=0 Ví dụ: k=0 t t (et λ) = e−λ ee λ = eλ(e −1) k! MX (t) = λe e MX (t) = λet eλ(e k (et λ) e−λ k! k t λ(et −1) t +∞ −1) ⇒ MX (0) = λ + λ2 e2t eλ(e t −1) ⇒ MX (0) = E X = λ2 + λ Cho X ∼ U (a, b) Tính MX Từ cơng thức MX tìm E (X n ) , n ∈ N Giải ˆ +∞ MX (t) = b e f (x) dx = −∞ = ˆ tx b−a a ˆ b etx dx = a +∞ b−a etx dx b−a etx t b = a etb − eta · b−a t +∞ = t (b − a) 1 n n (tb) − (ta) n! n! n=0 n=0 t (b − a) +∞ = = = +∞ n n n n t b − t a n! n! n=0 n=0 tb t2 b2 tn bn 1+ + + ··· + + ··· t (b − a) 1! 2! n! ta t2 a2 tn a n − 1+ + + ··· + + ··· 1! 2! n! t (b − a) t2 b2 − a2 tn (bn − an ) + + ··· + + ··· t (b − a) 1! 2! n! tn bn+1 − an+1 t b2 − a2 tn−1 (bn − an ) + ··· + + + ··· 2! (b − a) (n − 1)!n (b − a) (n)! (n + 1) (b − a) bn+1 − an+1 ⇒ E (X n ) = (n + 1) (b − a) =1+ 54 CuuDuongThanCong.com https://fb.com/tailieudientucntt Kiểm tra lại: E (X) = a+b 2 E X = V ar (X) + [E (X)] = (b − a) + 12 b+a 2 (b − a) + (b + a) b3 − a3 = 12 (b − a) 1 · · etb − eta − MX (t) − MX (0) = lim b − a t MX (0) = lim t→0 t→0 t t etb − eta − (tb − ta) etb − eta − t (b − a) = lim = lim t→0 t→0 (b − a) t2 (b − a) t2 2 t b t + tb + + t2 − + ta + − t 2! = lim t→0 t2 (b − a) t2 t (b − a) + b − a2 − t (b − a) 2! = lim = (b + a) = E (X) t→0 t (b − a) f (x) f (x) = t2 ⇔ lim = t→0 t = Ví dụ: Cho X ∼ N (0, 1) Tính MX (t) , E (X n ) , n ∈ N Giải ˆ MX (t) = E e tX ˆ +∞ −x2 1 −x2 dx = √ e +tx dx e √ e 2π 2π −∞ ˆ +∞ 2 t2 e− (x −2tx+t )+ dx +∞ = −∞ tx =√ 2π −∞ ˆ t2 +∞ −1(x−t)2 e dx = √ e2 2π −∞ ˆ +∞ t2 t2 √ e− (x−t) dx = e =e 2π −∞ MX (t) = e t2 2 t2 2 t2 n t + + ··· + + ··· 2! n! t4 t2n + + ··· + n + ··· 2! n! t4 4! t2n (2n)! · + · + ··· + · + ··· 4! 2! (2n)! 2n n! =1+ t2 t2 =1+  0 n lẻ  (2k)! n = 2k E (X n ) = + 2k k! Bổ đề 5.11.2 55 CuuDuongThanCong.com https://fb.com/tailieudientucntt Nếu Y = aX + b MY (t) = eb MX (at) Nếu X1 , , Xn biến ngẫu nhiên độc lập S = X1 + · · · + Xn n MS (t) = MX1 (t) MXn (t) = MXi (t) i=1 MY (t) = E ety = E e(ax+b)t = ebt E eatx = ebt MX (at) MS (t) = E et(X1 +···+Xn ) = E etX1 , , etXn = E etX1 E etXn = MX1 (t) MXn (t) Định nghĩa 5.11.3 Hàm sinh moment vector ngẫu nhiên X = (X1 , , Xn ) định nghĩa là: MX : Rn −→ R t = (t1 , , tn ) −→ E et1 X1 +···+tn Xn Định lý 5.11.4 Cho hai biến ngẫu nhiên X, Y với hàm sinh moment tương ứng MX , MY Nếu MX (t) = MY (t) với t lân cận mở chứa X, Y phân phối Ví dụ: Cho Xi ∼ P (λi ) , i = 1, n Xi biến ngẫu nhiên độc lập Đặt Y = X1 + · · · + Xn Hãy tìm phân phối Y Giải MY (t) = MX1 (t) MXn (t) = eλ1 (e = e(λ1 +···+λn )(e t −1) = eλ (e t t −1) −1) eλn (e t −1) ∀t Ví dụ: Cho X, N hai biến ngẫu nhiên thỏa X|N = n ∼ B (n, p) , N ∼ P (λ) Tìm phân phối X Giải Ta có: MX (t) = E etx = E etx |N = E etx |N = n Vì X|N = n ∼ B (n, p) : ⇒ E etx |N = n = pet + − n ⇒ E etx |N = pet + q n n = g(N ) 56 CuuDuongThanCong.com https://fb.com/tailieudientucntt Do đó: +∞ ⇒ E E etx |N pet + q = k k=0 =e −λ · e−λ λ = e−λ k! +∞ k=0 [(pet + q) λ] k! t t t e(pe +q−1) = eλ(pe −p) = eλp(e −1) 57 CuuDuongThanCong.com https://fb.com/tailieudientucntt k Phần VI Một số bất đẳng thức 6.1 Bất đẳng thức Markov: Định nghĩa 6.1.1 Giả sử X biến ngẫu nhiên không âm E (X) hữu hạn, đó: P (X ≥ t) ≤ E (X) t ∀t ∈ R∗ Chứng minh Trường hợp liên tục tuyệt đối: ˆ ˆ +∞ ˆ ˆ t xf (x) dx = E (X) = 0 ˆ +∞ ≥ +∞ xf (x) dx + +∞ xf (x) dx ≥ t t xf (x) dx t f (x) dx = tP (X ≥ t) t ⇒ P (X ≥ t) ≤ E (X) t 6.2 Bất đẳng thức Chebyshev Định nghĩa 6.2.1 Cho X biến ngẫu nhiên có kỳ vọng µ phương sai σ , đó: P ((|X − µ|) ≥ t) ≤ σ2 t2 hay P (|X − E(X)| ≥ t) ≤ V ar (X) t2 ∀t ∈ R∗+ Chứng minh ˆ +∞ V ar (X) = (x − E (X)) f (x)dx −∞ ˆ ˆ (x − E (X)) f (x) dx + = |x−E(X)|≤t (x − E (X)) f (x)dx |x−E(X)|>t ˆ (x − E (X)) f (x)dx ≥ |x−E(X)|>t ˆ t2 f (x) dx ≥ |x−E(X)|>t = t2 P (|X − E (X)| ≥ t) 58 CuuDuongThanCong.com https://fb.com/tailieudientucntt 6.3 Bất đẳng thức Hoeffding Định nghĩa 6.3.1 Cho Y1 , , Yn biến ngẫu nhiên độc lập thỏa E (Yi ) = 0, ≤ Yi ≤ bi ∀i thì: P Yi ≥ i ≤ εt exp b2 (bi − ) ∀ε > 0, ∀t > Ví dụ: Cho X1 , , X100 biến ngẫu nhiên độc lập với Xi ∼ B (1, p) , p = 0.01 Đặt 100 Xi Hãy ước lượng P (X ≥ 2) bất đẳng thức Markov, Chebyshev X= 100 i=1 Giải X =X1 + · · · + X100 Từ ta có:  E (X) = 100p ⇒ X ∼ B (100, p) ⇒ V ar (X) = 100p (1 − p) E (X) 100p = = (BĐT Markov) 2 P (X ≥ 2) = P (X − 100p ≥ − 100p) P (X ≥ 2) ≤ ≤ P (|X − 100p| ≥ − 100p) ≤ 100p (1 − p) = 0.99 (BĐT Chebyshev) (2 − 100p) Hệ 6.3.2 Cho X1 , , Xn biến ngẫu nhiên độc lập với Xi ∼ B (1, p) P X − p ≥ ε = 2e−2nε Ví dụ: Cho X1 , , X100 biến ngẫu nhiên độc lập với Xi ∼ B (1, 0) Hãy so sánh P X − 0.2 ≥ hai bất đẳng thức Chebyshev hệ bất đẳng thức Hoeffding P Giải E (X) = · 100 · 0.2 = 0.2 100 V ar (X) = · 100 · 0.8 · 0.2 = 0.0016 1002 0.0016 X − 0.2 ≥ ≤ = 0.0016 12 6.4 Bất đẳng thức Mill Định nghĩa 6.4.1 Cho Z ∼ N (0, 1) t > 0, đó: −t2 P (|Z| ≥ t) ≤ Ví dụ: e · π t Cho X1 , , X100 độc lập, phân phối Xi ∼ N (0, 1) Hãy chặn P bất đẳng thức Chebyshev, Mill Trong X = 100 100 Xi i=1 59 CuuDuongThanCong.com https://fb.com/tailieudientucntt X ≥t Giải Ta có: E X = X= 100 E (Xi ) = i=1 X1 + · · · + X100 ∼N 100 σ = V ar = 100 100 0, X1 + · · · + X100 100 = 1002 100 V ar (Xi ) i=1 · 100 · = 0.01 1002 Như vậy: – Theo BĐT Mill: P X ≥t =P ≤ |X| t ≥ 100 100 · π exp − – Theo BĐT Chebyshev: P (|X| ≥ t) ≤ X∼N ⇒P · σ2 0.01 = t2 t 0, X ≥t =P =P t 100 t 100 100 X t ≥ 1/10 1/10 |X| ≥ 10t 1/10 ≤ Ví dụ: (10t) exp − · π 10t Cho X ∼ P (λ) Dùng bất đẳng thức Chebyshev chứng minh P (X ≥ 2λ) ≤ Giải Ta có: E (X) = λ, V ar (X) = λ Vậy: P (X ≥ 2λ) = P (X − λ ≥ 2λ − λ) ≤ P (|X − λ| ≥ λ) ≤ λ = λ2 λ 60 CuuDuongThanCong.com https://fb.com/tailieudientucntt λ 6.5 Bất đẳng thức liên quan tới kỳ vọng Định lý 6.5.1 Cho X, Y hai biến ngẫu nhiên có phương sai hữu hạn, đó: E (XY ) ≤ E (X ) E (Y ) Định lý 6.5.2 Cho X biến ngẫu nhiên với kỳ vọng E(X) Khi đó:  E (g (X)) ≥ g (E (X)) g hàm lồi E (g (X)) ≤ g (E (X)) g hàm lõm Chú ý: – g hàm lồi [a, b] ⇔ ∀x, y ∈ [a, b] , ∀0 ≤ α ≤ : g [αx + (1 − α) y] ≤ αg (x) + (1 − α) g (y) – g hàm lõm −g hàm lồi 61 CuuDuongThanCong.com https://fb.com/tailieudientucntt Phần VII Định lý giới hạn trung tâm luật số lớn 7.1 Sự hội tụ biến ngẫu nhiên Trong phần X1 , , Xn biến ngẫu nhiên định nghĩa không gian xác suất F1 , , Fn hàm phân phối X1 , , Xn , F hàm phân phối X Định nghĩa 7.1.1 Hội tụ hầu khắp nơi Dãy biến ngẫu nhiên {Xn } hội tụ hầu khắp nơi (hầu chắn) biến ngẫu nhiên X nếu: P (ω ∈ Ω : Xn (ω) −→ X (ω)) = Ký hiệu: Xn a.s −−→ X Định nghĩa 7.1.2 Hội tụ theo xác suất Dãy biến ngẫu nhiên X1 , , Xn hội tụ theo xác suất biến ngẫu nhiên X nếu: n→∞ ∀ε > 0, P (|Xn − X| > ε) −−−−→ Ký hiệu: p Xn −−→ X Định nghĩa 7.1.3 Hội tụ theo phân phối Dãy biến ngẫu nhiên {Xn } hội tụ theo phân phối biến ngẫu nhiên X nếu: Fn (x) −→ F (x) , ∀x ∈ C (FX ) , C(FX ) = x : F liên tục x Ký hiệu: Xn d −−→ X Chú ý: Trong trường hợp {Xn } , X định nghĩa không gian xác suất khác Định nghĩa 7.1.4 Hội tụ theo r trung bình Dãy biến ngẫu nhiên X1 , , Xn hội tụ theo r trung bình biến ngẫu nhiên X nếu: E (|Xn − X|r ) n→∞ −−−−→ 62 CuuDuongThanCong.com https://fb.com/tailieudientucntt Ký hiệu: r Xn −−→ X Chú ý: Khi r = 2, ta gọi hội tụ theo bình phương trung bình Ký hiệu: Xn Ví dụ: q.m −−−→ X Cho {Xn }(n≥1) thỏa: P Xn = n =1− 1 , P (Xn = n) = n2 n p a Chứng minh Xn −−→ X, P (X = 0) = q.m b Chứng minh Xn −−−→ X Giải a Ta có: ∀ε > 0, P (|Xn − X| > ε) −→ P (|Xn − X| > ε) = P (ω ∈ Ω : |Xn (ω) − X (ω)| > ε) = P (ω ∈ Ω : |Xn (ω)| > ε) −→ Mặt khác ∃n0 (ε) > ε, ∀n > n0 (ε) cho Ta chọn: < ε n (Ω) n1 : n1 > ε, n2 : ε ∀n > n0 ⇒  < ε) = P (ω ∈ Ω : Xn (ω) = n) = n Vậy: −→ n2 ⇒ ∀ε > 0, P (|Xn − X| > ε) −→ ∀n > n0 , P (|Xn − X| > ε) = ⇒ Xn −→ X 63 CuuDuongThanCong.com https://fb.com/tailieudientucntt b Ta cần chứng minh: E |Xn − X| −→ Mà E |Xn − X| = E |X0 | = n2 =2+ Ví dụ: 1− n n2 1− + n2 · n2 n −→ d Cho Xn ∼ N 0, n1 Chứng minh Xn −−→ X Trong đó:  1 x ≥ FX (x) = 0 x < Giải Ta có: Fn (x) −→ FX (x) ∀x ∈ C (FX ) = R\ {0} √ √ √ Fn (x) = P (X0 ≤ x) = P X0 n ≤ x n = Φ x n Nếu x > thì: √ √ n→∞ x n −−−−→ +∞ ⇒ Fn (x) = Φ x n −→ = FX (x) Nếu x < thì: √ n→∞ √ x n −−−−→ −∞ ⇒ Fn (x) = Φ x n −→ = FX (x) Ví dụ: độ: Cho X1 , , Xn , dãy biến ngẫu nhiên độc lập phân phối có hàm mật  αx−α−1 f (x) = 0 x>1 ngược lại Đặt Yn = max {X1 , , Xn }, Yn có hội tụ theo phân phối khơng? Nếu có xác định phân phối giới hạn Giải Ta có FYn (x) = P (max {X1 , , Xn } ≤ X) = P (X1 ≤ x, , Xn ≤ x) n n = [P (X1 ≤ x)] = [FX1 (x)] 64 CuuDuongThanCong.com https://fb.com/tailieudientucntt Với: FX1 (x) =  1 − x−α x≥1 0 x0: < 1, ∀x > xα n ⇒ − x−α −→ 0, ∀x > ⇒x−α = ⇒FYn (x) −→ 0, ∀x > – x = ⇒ FYn (x) = 0, ∀n – x < ⇒ FYn (x) = 0, ∀n Vậy FYn (x) −→ 0, ∀x Định lý 7.1.5 Nếu dãy biến ngẫu nhiên X1 , X2 , hội tụ hầu khắp nơi (hội tụ theo xác suất, hội tụ theo r−trung bình, hội tụ theo phân phối) biến ngẫu nhiên giới hạn (theo nghĩa hầu khắp) Định lý 7.1.6 Cho {Xn } , {Yn } dãy biến ngẫu nhiên: a.s a.s a.s p p p r r r d d a.s a.s p p d d Xn −−→ X, Yn −−→ Y ⇒ Xn + Yn −−→ X + Y Xn −−→ X, Yn −−→ Y ⇒ Xn + Yn −−→ X + Y Xn −−→ X, Yn −−→ Y ⇒ Xn + Yn −−→ X + Y d Xn −−→ X, Yn −−→ c ⇒ Xn + Yn −−→ X + c a.s Xn −−→ X, Yn −−→ Y ⇒ Xn × Yn −−→ X × Y p Xn −−→ X, Yn −−→ Y ⇒ Xn × Yn −−→ X × Y d Xn −−→ X, Yn −−→ c ⇒ Xn × Yn −−→ cX Cho g hàm liên tục, nếu: a.s a.s p p d d Xn −−→ X ⇒ g (Xn ) −−→ g (X) Xn −−→ X ⇒ g (Xn ) −−→ g (X) Xn −−→ X ⇒ g (Xn ) −−→ g (X) 65 CuuDuongThanCong.com https://fb.com/tailieudientucntt 7.2 Luật số lớn Trong phần này, X1 , , Xn dãy biến ngẫu nhiên độc lập, phân phối có E (Xi ) = n µ, V ar (Xi ) = σ Ký hiệu: Xn = Xi Ta có: n i=1 E Xn = µ, V ar Xn = σ2 n Định nghĩa 7.2.1 Luật yếu số lớn (The weak law of large number) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập phân phối, đó: Xn p −−→ µ Định nghĩa 7.2.2 Luật mạnh số lớn (The strong law of large number) Cho X1 , X2 , dãy biến ngẫu nhiên độc lập phân phối có E (Xi ) < ∞ thì: Xn a.s −−→ µ 66 CuuDuongThanCong.com https://fb.com/tailieudientucntt ... Không gian xác suất hữu hạn Định nghĩa 2.4.1 Trường hợp |Ω| < ∞, ta định nghĩa độ đo xác suất P F = P (Ω) P : F −→ R |A| ; N = |Ω| N P (ω) = (ω ∈ Ω) N A −→ Ta gọi độ đo xác xuất độ đo xác suất rời... nhiên X với bảng phân phối xác suất: X x0 x1 P p0 p1 f hàm đo từ R vào R Y = f (X) biến ngẫu nhiên rời rạc có bảng phân phối xác suất Y x0 x1 P p0 p1 Với quy ước f (xi ) = f (xj ) bảng ta ghi... Ω ∈ F ∀A ∈ F; A ∈ F n ∀A1 , , An ∈ F : Ai ∈ F i=1 2.3 Xác suất Định nghĩa 2.3.1 (Độ đo xác suất) Cho ánh xạ P : F −→ R gọi độ đo xác suất thỏa tính chất sau: P (A) ≥ 0, ∀A ∈ F P (Ω) = ∀A1 ,