Bài giảng 2 nhắc lại kiến thức về xác suất thống kê

Bài giảng – Nhắc lại kiến thức xác suất thống kê Nguyễn Phương Thái BM Khoa học Máy tính http://coltech.vnu.edu.vn/~thainp/ Nội dung giảng - Không gian xác suất Xác suất có điều kiện độc lập xác suất Định luật Bayes Biến ngẫu nhiên Kỳ vọng phương sai Phân phối có điều kiện phân phối phụ thuộc Ước lượng xác suất Các phân phối chuẩn Không gian xác suất - Lý thuyết xác suất có nhiệm vụ dự đoán xảy với khả Ví dụ: gieo đồng xu, khả xuất ba mặt ngửa nào? - Phép thử: thí nghiệm hay quan sát - Biến cố sơ cấp: kết đơn giản thí nghiệm - Không gian mẫu: tập tất biến cố sơ cấp - Biến cố: tập không gian mẫu Một số ví dụ Gieo đồng tiền xu lần Không gian biến cố sơ cấp (không gian mẫu) Ω = {S, N} Gieo đồng tiền xu hai lần Không gian mẫu là: Ω = {SS, SN, NS, NN} Một đồng tiền gieo liên tiếp lần xuất mặt sấp dừng lại Không gian mẫu có dạng: Ω = {S, NS, , N…NS, …} Không gian xác suất (tiếp) Số biến cố 2n (giả sử số phần tử Ω n) Ω gọi biến cố chắn, ᴓ gọi biến cố không Biến cố ∪ = { : ∈ ∈ } gọi hợp A B Biến cố ∩ = { : ∈ ∈ } gọi giao A B Biến cố ký hiệu AB - Biến cố \ = { : ∈ ∉ } gọi hiệu A B - Biến cố ̅ = { : ∉ } gọi biến cố đối A - Không gian xác suất (tiếp) Theo ngôn ngữ xác suất, điều có nghĩa là: - ∪ xảy  A B xảy ∩ xảy  A B xảy \ xảy  A xảy B không xảy ̅ xảy  A không xảy Không gian xác suất (tiếp) Ví dụ: Gieo đồng tiền xu hai lần Không gian mẫu là: Ω = {SS, SN, NS, NN} Xét: A = {SS, SN, NS} (có lần xuất mặt sấp) B = {NS, SN, NN} (có lần xuất mặt ngửa) Ta có: ∪ =Ω AB = {SN, NS} (có lần xuất mặt sấp) ̅={ } A\B = {SS} Xác suất biến cố Giả sử A biến cố phép thử đó: - P(A), tồn khách quan, đo khả xuất A Số A biến cố chắn, A biến cố không, A, B hai biến cố xung khắc ( ∪ ) = ( ) + ( ) - Giả sử Ω = { , , … , , … }, biến cố sơ cấp gắn với “trọng số” = ( ) cho: ≥ với ≥ =1 - Khi đó: ( )= { : ∈ } Định nghĩa cổ điển xác suất Giả sử Ω = {w1, …, wN} không gian mẫu mà kết có khả xuất hiện, nghĩa là: P(wi) = 1/N với i Khi theo công thức slide trên, xác suất biến cố A là: | | ( )= = |Ω| Định nghĩa cho ta mô hình toán tốt với tượng ngẫu nhiên liên quan đến phép thử có tính đối xứng đo kết coi có khả xuất Một số tính chất xác suất (ᴓ) = 0, (Ω) = 1, ≤ ( ) ≤ ( ∪ )= ( )+ ( )− ( ) Nếu A B biến cố xung khắc ( ∪ ) = ( ) + ( ) ( ̅) = − ( ) 10 Ví dụ Một hộp N cầu đánh số số tập hợp số tự nhiên từ đến N Rút n lần, cho lần rút quả, hoàn trả lại hộp rút lần Hãy tính xác suất biến cố: A = {các rút đôi khác nhau} Không gian mẫu: Ω = {w = (a1,… , an): ≤ | |= ≤ } với |Ω| = ( − 1) … ( − = + 1) Do đó: ( )= | | | = | ( )…( ) 11 Xác suất có điều kiện Xác suất có điều kiện biến cố A với điều kiện B số xác định theo công thức: ( | )= ( ) P(B)>0 ( ) Công thức nhân xác suất: ( ) = ( ) ( | ) = ( ) ( | ) P(A)P(B)≠0 Bằng qui nạp, bạn dễ dàng suy công thức nhân tổng quát 12 Một số ví dụ Ví dụ 1: Gieo xúc xắc cân đối đồng chất hai lần A biến cố “lần đầu gieo xuất mặt chấm”, B biến cố “tổng số chấm hai lần gieo không vượt 3” Tính P(A|B) Ta thấy Ω = {( , ): ≤ , ≤ 6} A = {(1, 1),… ,(1, 6)}, B = {(1, 1), (1, 2), (2, 1)} P(A) = 6/36; P(B) = 3/36; P(AB) = 2/36 Nếu biết B xảy A xảy hai kết (1, 1) (1, 2) xảy Do đó: 2 36 ( | )= = 3 36 13 Một số ví dụ (tiếp) Ví dụ 2: Từ hộp chứa a cầu trắng b cầu đen, người ta rút ngẫu nhiên không hoàn lại hai lần Tính xác suất để lần thứ hai rút cầu trắng Ký hiệu Ak biến cố “lần thứ k rút trắng”, k = 1, 2, … Theo công thức nhân xác suất ta có xác suất cần tìm là: ( ̅ )= ( ̅ ) ( | ̅ )= + × + −1 14 Công thức Bayes ( | ) ( ) ( ) ( | )= = ( ) ( ) Giả sử ( ) > {B1, B2, …, Bn} hệ đầy đủ biến cố với ( ) > với i Khi ta có: ( | )= ( ) ( | ( ) ) = ( ∑ ) ( | ) ( ) ( | ) Ví dụ: Từ hộp chứa a cầu trắng b cầu đen, người ta rút ngẫu nhiên không hoàn lại hai lần Hãy tính xác suất để lần đầu rút trắng biết lần thứ hai rút trắng 15 Công thức Bayes (tiếp) Ký hiệu Ak biến cố “lần thứ k rút trắng”, k = 1, 2, … Theo đề ta cần tính P(A1|A2) Theo công thức Bayes ta có: ( | )= ( ) ( | ( ) ) = ( − 1) ( − 1) + 16 Sự độc lập hai biến cố Hai biến cố A B gọi độc lập ( )= ( ) ( ) Nếu ( ) > dễ thấy A B độc lập ( | )= ( ) 17 Biến ngẫu nhiên - Biến ngẫu nhiên hàm : Ω → (thường n=1) - Hàm mật độ xác suất (pmf): p(x) = p(X=x) = P(Ax) = { ∈ Ω: ( ) = } - Với biến ngẫu nhiên rời rạc ta có: ∑ ( ) = ∑ = ( Ω) = 18 Kỳ vọng phương sai Kỳ vọng giá trị trung bình biến ngẫu nhiên Giả sử X biến ngẫu nhiên với pmf p(x) mà ∑ | | ( ) < ∞ kỳ vọng là: ( )= ( ) Phương sai biến ngẫu nhiên số không âm dùng để đo mức độ phân tán (tản mát) giá trị biến ngẫu nhiên xung quanh giá trị trung bình ( )= − ( ) = ( − ( )) 19 Ví dụ Gieo xúc xắc giả sử Y giá trị thu được, đó: ( )= ( )= ( ( )= )− 21 = =3 91 49 35 ( )= − = 12 Chú ý: Khi tính E(Y2) cần dùng ∑ = ( )( ) 20 Phân phối có điều kiện phân phối phụ thuộc Hàm pmf phụ thuộc cho hai biến ngẫu nhiên rời rạc X, Y là: p(x, y) = P(X = x, Y = y) Hàm pmf điều kiện : | ( , ) ( | )= với y mà ( ) ( )>0 Công thức nhân xác suất : p(w, x, y, z) = p(w)p(x|w)p(y|w,x)p(z|w,x,y) 21 Phân phối nhị thức - Tạo dãy phép thử với hai biến cố sơ cấp, phép thử độc lập - Ví dụ : gieo đồng xu cân đối đồng chất - Họ phân phối nhị thức : ( ; , )= (1 − ) Trong r số lần thành công n lần thử - Phân phối nhị thức dùng nhiều nghiên cứu, ví dụ cho mô hình n-gram, kiểm định giả thuyết thống kê, v.v - Tổng quát hóa phân phối nhị thức phân phối đa thức 22 Phân phối nhị thức (tiếp) Hai đường cong b(r; 10, 0.7) b(r; 10, 0.1) 23 Phân phối chuẩn - Đây hàm phân phối liên tục có dạng : ( ; , )= Trong ( ) /( ) √2 giá trị trung bình độ lệch chuẩn - Các ứng dụng : mô hình hóa chiều cao hay số IQ người, mô hình học máy, thống kê, v.v - Tên khác: Gaussians 24 Phân phối chuẩn (tiếp) Hai đường cong n(x; 0, 1) n(x; 1.5, 2) Chú ý: thống kê, nhiều phân phối nhị thức (rời rạc) xấp xỉ phân phối chuẩn (liên tục) – bạn để ý tương tự đường cong hai hình ví dụ 25 [...]... (1, 2) xảy ra Do đó: 2 2 36 ( | )= = 3 3 36 13 Một số ví dụ (tiếp) Ví dụ 2: Từ một hộp chứa a quả cầu trắng và b quả cầu đen, người ta rút ngẫu nhiên không hoàn lại từng quả một hai lần Tính xác suất để lần thứ hai mới rút được quả cầu trắng Ký hiệu Ak là biến cố “lần thứ k rút được quả trắng”, k = 1, 2, … Theo công thức nhân xác suất ta có xác suất cần tìm là: ( ̅ )= ( ̅ ) ( | ̅ )= + × + −1 14 Công thức. .. được hoàn trả lại hộp rồi mới rút lần tiếp theo Hãy tính xác suất của biến cố: A = {các quả đã được rút là đôi một khác nhau} Không gian mẫu: Ω = {w = (a1,… , an): 1 ≤ | |= ≤ } với |Ω| = ( − 1) … ( − = + 1) Do đó: ( )= | | | = | ( )…( ) 11 Xác suất có điều kiện Xác suất có điều kiện của biến cố A với điều kiện B là một số xác định theo công thức: ( | )= ( ) nếu P(B)>0 ( ) Công thức nhân xác suất: ( ) =... )= ( )= ( 1 ( )= 6 )− 21 1 = =3 6 2 91 49 35 ( )= − = 6 4 12 Chú ý: Khi tính E(Y2) cần dùng ∑ = ( )( ) 20 Phân phối có điều kiện và phân phối phụ thuộc Hàm pmf phụ thuộc cho hai biến ngẫu nhiên rời rạc X, Y là: p(x, y) = P(X = x, Y = y) Hàm pmf điều kiện : | ( , ) ( | )= với y mà ( ) ( )>0 Công thức nhân xác suất : p(w, x, y, z) = p(w)p(x|w)p(y|w,x)p(z|w,x,y) 21 Phân phối nhị thức - Tạo bởi dãy phép... đối và đồng chất - Họ phân phối nhị thức là : ( ; , )= (1 − ) Trong đó r là số lần thành công trong n lần thử - Phân phối nhị thức được dùng nhiều trong nghiên cứu, ví dụ cho các mô hình n-gram, kiểm định giả thuyết thống kê, v.v - Tổng quát hóa của phân phối nhị thức là phân phối đa thức 22 Phân phối nhị thức (tiếp) Hai đường cong b(r; 10, 0.7) và b(r; 10, 0.1) 23 Phân phối chuẩn - Đây là một hàm... hàm phân phối liên tục có dạng : ( ; , )= Trong đó 1 ( ) /( ) 2 là giá trị trung bình và là độ lệch chuẩn - Các ứng dụng : mô hình hóa chiều cao hay chỉ số IQ của người, các mô hình học máy, thống kê, v.v - Tên khác: Gaussians 24 Phân phối chuẩn (tiếp) Hai đường cong n(x; 0, 1) và n(x; 1.5, 2) Chú ý: trong thống kê, nhiều khi phân phối nhị thức (rời rạc) được xấp xỉ bằng phân phối chuẩn (liên tục) –... thứ k rút được quả trắng”, k = 1, 2, … Theo đề bài ta cần tính P(A1|A2) Theo công thức Bayes ta có: ( | )= ( ) ( | ( ) ) = ( − 1) ( − 1) + 16 Sự độc lập của hai biến cố Hai biến cố A và B được gọi là độc lập nếu ( )= ( ) ( ) Nếu ( ) > 0 thì dễ thấy A và B độc lập khi và chỉ khi ( | )= ( ) 17 Biến ngẫu nhiên - Biến ngẫu nhiên là hàm : Ω → (thường n=1) - Hàm mật độ xác suất (pmf): p(x) = p(X=x) = P(Ax)... qui nạp, bạn dễ dàng suy ra công thức nhân tổng quát 12 Một số ví dụ Ví dụ 1: Gieo một con xúc xắc cân đối và đồng chất hai lần A là biến cố “lần đầu gieo xuất hiện mặt 1 chấm”, B là biến cố “tổng số chấm trong hai lần gieo không vượt quá 3” Tính P(A|B) Ta thấy Ω = {( , ): 1 ≤ , ≤ 6} A = {(1, 1),… ,(1, 6)}, B = {(1, 1), (1, 2) , (2, 1)} P(A) = 6/36; P(B) = 3/36; P(AB) = 2/ 36 Nếu biết rằng B đã xảy ra... = ( ) ( ) Giả sử ( ) > 0 và {B1, B2, …, Bn} là hệ đầy đủ các biến cố với ( ) > 0 với mọi i Khi đó ta có: ( | )= ( ) ( | ( ) ) = ( ∑ ) ( | ) ( ) ( | ) Ví dụ: Từ một hộp chứa a quả cầu trắng và b quả cầu đen, người ta rút ngẫu nhiên không hoàn lại từng quả một hai lần Hãy tính xác suất để lần đầu rút được quả trắng biết rằng lần thứ hai cũng rút được quả trắng 15 Công thức Bayes (tiếp) Ký hiệu Ak là biến... n(x; 0, 1) và n(x; 1.5, 2) Chú ý: trong thống kê, nhiều khi phân phối nhị thức (rời rạc) được xấp xỉ bằng phân phối chuẩn (liên tục) – bạn hãy để ý sự tương tự của các đường cong trong hai hình ví dụ 25