Tìm hiểu về lí thuyết xác suất có điều kiện

Tìm hiểu về lí thuyết xác suất có điều kiện

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI. BỘ MÔN: TRUYỀN THÔNG VÀ MẠNG MÁY TÍNH MÔN: QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG. ĐỀ TÀI 01: “Tìm hiểu về lí thuyết xác suất có điều kiện”. Giảng viên hướng dẫn : PGS.TS Nguyễn Thị Hoàng Lan Sinh viên thực hiện : 1) Lê Văn An – SHSV:20090042. 2) Nguyễn Thanh Bình - SHSV:20090237. 3) Nguyễn Quang Dương – SHSV:20090603. 4) Lã Thế Long – SHSV:20091644. 5) Nguyễn Thanh Sơn - SHSV:20092259. 6) Nguyễn Ngọc Việt – SHSV:20093256 Lớp: : Kỹ thuật máy tính và Truyền thông 2 – K54. Hà Nội , tháng 12 năm 2011 MỤC LỤC Trang LỜI NÓI ĐẦU………………………………………………………………… 2 PHÂN CÔNG CÔNG VIỆC TRONG NHÓM…………………………………3 NỘI DUNG I. PHÂN PHỐI, MẬT ĐỘ XÁC SUẤT CÓ ĐIỀU KIỆN VÀ ÁP DỤNG…… 4 I.1. Định nghĩa phân phối, mật độ xác suất có điều kiện……………………….4 I.2. Định lí Bayes với hàm mật độ xác suất…………………………………….7 I.3. Phân phối xác suất có điều kiện trong trường hợp rời rạc………………….7 I.4. Hệ thống tin cậy…………………………………………………………….9 II. KỲ VỌNG CÓ ĐIỀU KIỆN VÀ ÁP DỤNG………………………………10 II.1. Kỳ vọng có điềukiện………………………………………………………10 II.2. LuậtGalton……………………………………………………………… 11 III. BÀI TẬP MINHHỌA…………………………………………………… 15 IV. THỰC NGHIỆM VỚI MATLAB………………………………………….16 IV.1 Tìm hiểu hộp công cụ Statistics toolbox………………………………….16 IV.2 Đồ thị các hàm mật độ xác suất………………………………………… 20 LỜI MỞ ĐẦU Có thể nói, lí thuyết xác suất là một ngành khoa học đang giữ một vị trí quan trọng trong các lĩnh vực ứng dụng rộng rãi và phong phú của đời sống con người. Cùng với sự phát triển mạnh mẽ của khoa học và công nghệ, nhu cầu hiểu biết và sử dụng các công cụ ngẫu nhiên trong phân tích và xử lí thông tin ngày càng trở nên đặc biệt cần thiết. Các kiến thức và phương pháp của lí thuyết xác suất đã hỗ trợ hữu hiệu các nhà nghiên cứu trong nhiều lĩnh vực khoa học khác nhau như vật lí, hóa học, sinh học, nông học, kinh tế học, xã hội học… Nhằm mục đích mong muốn hiểu hơn về kiến thức và ứng dụng của lí thuyết xác suất nhóm đã chọn đề tài: “Tìm hiểu về lí thuyết xác suất có điều kiện” làm đề tài tìm hiểu của mình. Bài báo cáo bao gồm bốn phần chính: Phần 1: Phân phối, mật độ xác suất có điều kiện và áp dụng. Phần 2: Kỳ vọng có điều kiện và áp dụng. Phần 3: Bài tập minh họa. Phần 4: Thực nghiệm bằng Matlab. Nhìn chung bài báo cáo còn tồn tại những thiếu xót nhất đinh. Vì vậy, nhóm rất mong nhận được những ý kiến đóng góp chân thành để bài báo cáo có thể hoàn thiện hơn. CHÚNG EM XIN CHÂN THÀNH CÁM ƠN! PHÂN CÔNG CÔNG VIỆC TRONG NHÓM • Nguyễn Thanh Sơn: Phân phối, mật độ xác suất có điều kiện: định nghĩa, định lí Bayes, trường hợp rời rạc. • Nguyễn Quang Dương: Áp dụng của hàm phân phối, mật độ có điều kiện: Hệ thống tin cậy • Lê Văn An: Kì vọng có điều kiện • Nguyễn Thanh Bình: Áp dụng của kì vọng có điều kiện: Luật Galton- Đường hồi quy • Nguyễn Ngọc Việt: Trình bày các bài tập minh họa • Lã Thế Long: Trình bày thực nghiệm với Matlab NỘI DUNG I. PHÂN PHỐI, MẬT ĐỘ XÁC SUẤT CÓ ĐIỀU KIỆN VÀ ÁP DỤNG I.1. Định nghĩa phân phối, mật độ xác suất có điều kiện Như đã biết về công thức xác suất có điều kiện: P(A|B)= Phân phối có điều kiện có thể hiểu như là xác suất có điều kiện: F z (z|M)=P{Z<z|M}= F zw (z,w|M)=P{Z<z,W<w|M}= Hàm mật độ tương ứng thu được bằng việc đạo hàm hàm phân phối. Sau đây, ta sẽ xét các trường hợp cụ thể: I. y  y (y|M),  F y (y|X≤x)= f y (y|X≤x)= I.  1  2 } F(x,y|x 1 ≤X≤x 2 )= = Khi đó ta có: f(x,y|x 1 ≤X≤x 2 )=  Việc xác định hàm mật độ xác suất có điều kiện của y biết X=x: f(y|X=x) sẽ không thể áp dụng các công thức đã nêu trên nếu P(X=x)=0, tuy nhiên ta có thể tính toán nó thông qua tính giới hạn )( ),( MP MzZP  )( ),,( MP MwWzZP  )( ),( )( ),( xF yxF xXP yYxXP x    )( ),( xFx y yxF   )( ),,( 21 21 xXxP xXxyYxXP                   1 21 12 1 2 12 12 ,0 , )()( ),(),( , )()( ),(),( xx xxx xFxF yxFyxF xx xFxF yxFyxF xx xx           otherwise xxx xFxF yxf yx xXxyxF xx ,0 , )()( ),( )|,( 21 12 21 2 Đầu tiên, giả sử rằng : M={x 1 ≤X≤x 2 } Trong trường hợp này, theo kết quả ở trên ta có: F y {y|x 1 ≤X≤x 2 }= Tiến hành lấy đạo hàm theo y, thu được: f y (y|x 1 ≤X≤x 2 )= vì = Vậy để tính f y (y|X=x) ta chọn x 1 =x, x 2 =x+∆x, ∆x>0 bé tùy ý f y (y|x≤X≤x+∆x)= Do đó f y (y|X=x)= Nếu viết f y (y|X=x)=f(y|x), f x (x|Y=y)=f(x|y), f x (x)=f(x), f y (y)=f(y) Khi đó: f(y|x)= f(x|y)= Trong trường hợp X, Y là hai BNN độc lập thì: f(x,y)=f(x).f(y) f(y|x)=f(y) f(x|y)=f(x) CHÚ Ý:  Với mỗi giá trị x cụ thể, hàm f(x,y) là một trường hợp của f(x,y), nghĩa là nó bằng giao của các f(x,y) với x là hằng số. Hàm mật độ điều kiện f(y|x) là phương trình của đường cong chuẩn với hệ số góc Hàm f(x|y) cũng được giải thích tương tự.  Như ta đã biết, tích số f(y).dy bằng xác suất trong (y≤Y≤y+dy). Mở rộng ra cho xác suất có điều kiện, ta có: f y (y|x 1 ≤X≤x 2 )dy= kết quả được mô tả trong hình vẽ: )()( ),(),( )( ),( 12 12 21 21 xFxF yxFyxF xXxP xXxyYP xx      )()( ),( 12 2 1 xFxF dxyxf y F xx x x      xxf xyxf xFxxF dyf xxx xx x       ).( ).,( )()( ),(  )( ),( )|(lim 0 xf yxf xxXxyf x y x   )( ),( xf yxf )( ),( yf yxf  Các đặc trưng thống kê của X, Y được xác định bởi hàm mật độ chung f(x,y): f(x,y)=f(y|x).f(x). Từ đó, ta có thể nói các đặc trưng thống kê của X, Y còn được xác định bởi hàm mật độ biên f(x) và hàm mật độ có điều kiện f(y|x). I.2. Định lí Bayes với hàm mật độ xác suất Định lí Bayes là một kết quả của lí thuyết xác suất. Nó đề cập đến phân bố xác suất có điều kiện của biến ngẫu nhiên A, với giả thiết là biết được:  Thông tin về một biến khác B: phân bố xác suất có điều kiện của B khi biết A, và  Phân bố xác suất của một mình A. Cũng có một dạng của định lý Bayes cho các phân bố liên tục. Đối với chúng, thay cho các xác suất trong định lý Bayes ta dùng mật độ xác suất. Như vậy ta có các công thức tương tự định nghĩa xác suất điều kiện Thật vậy, theo công thức ở trên ta có: f(x|y)= = (*) Mà f(y) có thể biểu diễn qua f(y|x) và f(x): f(y)= và f(x,y)=f(y|x).f(x) f(y)= (**) Từ (*) và (**), ta thu được công thức Bayes cho hàm mật độ: f(x|y)=    dxxfxyf xfxyf )().|( )().|( I.3. Phân phối xác suất có điều kiện trong trường hợp rời rạc Giả sử rằng hai biến ngẫu nhiên (BNN) X và Y là rời rạc, ta có: P(X=x i )=p i P(Y=y k )=q k P(X=x i ,Y=y k )=p ik Với i=1÷M, k=1÷N Theo định nghĩa của hàm phân phối xác suất có điều kiện ta thu được: P(Y=y k |X=x i )= =  Ma trận Markoff Gọi là xác suất có điều kiện nêu ở trên ta có: P(Y=y k |X=x i )= Và gọi là ma trận kích thước MxN, có phần tử là Rõ ràng = Do đó ≥0 (vì xác suất luôn là một số dương) Và =1 Như vậy các phần tử của ma trận là số dương và tổng mỗi dòng của ma trận là bằng 1. Với các ma trận có đặc điểm như trên ta gọi ma trận đó là ma trận Markoff. Tương tự ta cũng có: P(X=x i |Y=y k )= = = là phần tử của ma trận Markoff kích thước NxM Nếu hai BNN X, Y là độc lập thì: p ik =p i .q k = =q k = =p i Từ đây ta có: = . Qk= Đây chính là phương trình của trường hợp rời rạc. I.4. Hệ thống tin cậy.  Chúng ta sẽ sử dụng thuật ngữ “hệ thống” để chỉ 1 thiết bị vật lý đơn giản như 1 bóng đèn hoặc 1 cấu trúc phức tạp hơn và qua đó biểu diễn thời gian hoạt động, thời gian xảy ra lỗi thông qua 1 số hàm. Khoảng thời gian xảy ra lỗi là ngẫu nhiên vậy nó xác định 1 biến ngẫu nhiên X>0. Hàm phân phối F(t)=P(X<t ) của BNN này là xác suất để hệ thống có lỗi trước thời gian t , giả định thời gian đưa vào hệ thống t=0. Ta có R(t)=1-F(t)=P(X>t) là hệ thống tin cậy, nó bằng xác suất để hệ thống hoạt động tại thời điểm t. Xác suất để hệ thống hoạt động tại thời điểm t, lỗi vào thời điểm x>t hay là phân phối có điều kiện bằng : )(1 )()( )( ),( )|( tF tFxF tXP tXxXP tXxF       Suy ra hàm mật độ có điều kiện: )(1 )( )|( tF xf tXxf    Tỉ lệ lỗi có điều kiện Hàm mật độ có điều kiện )|( tXxf  là 1 hàm của x và t. Giá trị của nó tại x=t là 1 hàm chỉ phụ thuộc vào t. Hàm này được biểu thị bởi )(t  và được gọi là tỉ lệ lỗi có điều kiện hoặc tỉ lệ rủi ro của hệ thống . )(1 )( )|()( tF tf tXxft     Một hệ thống được gọi là không nhớ nếu sự hoạt động của hệ thống tại thời điểm hiện tại không phụ thuộc vào những thời điểm trước đó.Giả thiết hệ thống hoạt động tại thời điểm t thì xác suất để nó bị lỗi trong khoảng (t,x) chỉ phụ thuộc vào khoảng này. VD: Nếu cx ecxf   .)( thì ct etF  1)( và )( . )|( txf e ec tXxf ct cx    Với x=t ta có CfttftXtft  )0()()|()(  Như vậy 1 hệ thống là không nhớ nếu và chỉ nếu X có hàm mật độ tuân theo cấp số nhân Hàm )(t  bằng giá trị hàm mật độ có điều kiện )|( tXxf  tại x=t, tuy nhiên )(t  không phải là 1 hàm mật độ bởi vì giá trị của nó không phải là hữu hạn. Trong thực tế giá trị của nó là vô hạn. I.4.3  Chúng ta có 2 hệ thống 1 S và 2 S với thời gian lỗi tương ứng là x và y và ta sẽ kết nối chúng theo kiểu song song, nối tiếp hoặc ở chế độ chờ +Song song: 2 hệ thống được kết nối song song nếu S lỗi khi cả 2 hệ thống đều lỗi +Nối tiếp: : 2 hệ thống được kết nối nối tiếp nếu S lỗi khi 1 trong 2 hệ thống bị lỗi +Chế độ chờ: Ta đưa 1 S vào hoạt động, giữ 2 S trong trạng thái chờ. Khi 1 S lỗi chúng ta đưa 2 S vào hoạt động. Hệ thống sẽ lỗi khi 2 S lỗi. II. KỲ VỌNG CÓ ĐIỀU KIỆN VÀ ÁP DỤNG II.1. Kỳ vọng có điều kiện  Kì vọng có điều kiện là giá trị kì vọng khi có điều kiện nào đó. Đường hồi quy: Thể hiện sự “hồi quy ” của giá trị kì vọng có điều kiện Các trường hợp cụ thể:  Biến rời rạc  Biến liên tục :  Biến vector: Kì vọng của biến vector cũng là 1 vector với mỗi thành phần là từng kì vọng có điều kiện của từng biến thành phần trong vector. Tính chất  Có tính dùng để tính moomen có điều kiện .  Trung bình có điều kiện của Y, giả thiết X=x là một hàm . Sử dụng hàm này chúng ta có thể xây dựng biến ngẫu nhiên . Từ đó trung bình của biến ngẫu nhiên này bằng Từ kết quả ta có: [...]... độ có điều kiện được xác định bởi công thức: Vì vậy trong công thức (1) nếu M={ thì có dạng: Nếu thì biểu thức tích phân bên trong sẽ tiến tới : Do vậy biểu thức trở thành: (2) ( Ta tiếp tục tính trung bình có điều kiện của hàm g(x,Y) với điều kiện x ) Với g(x,Y) là 1 hàm của biến ngẫu nhiên Y và tham số x Theo công thức tính kì vọng có điều kiện của của 1 hàm: (3) Ta xác định được kì vọng có điều kiện. .. thẳng với hệ số góc và đi qua điểm có tọa độ ( ) Khi đó trung bình có điều kiện sẽ trùng với giá trị cực đại của f(y|x) Chúng ta có thể kết luận rằng quỹ tích của tất cả các cực đại trong các trường hợp f(x,y) là 1 đường thẳng II.2.3 Trung bình có điều kiện của hàm các biến ngẫu nhiên Ta có công thức: (1) Công thức này có thể sử dụng để tính , tuy nhiên hàm mật độ có điều kiện f(x,y|x) bao gồm một loạt... ta có đường hồi qui của trung bình có điều kiện như hình vẽ : Đường hồi qui trung bình có điều kiện  Đường hồi quy nằm bên dưới đường y=x với x> và ở trên đường y=x nếu x<  Nếu X và Y tuân theo luật phân phối chuẩn thì đường hồi qui sẽ có dạng đường thẳng Với các biến ngẫu nhiên tùy ý, hàm sẽ không tuân theo luật Galton Tuy nhiên thuật ngữ hồi quy vẫn được sử dụng để xác định trung bình có điều kiện. .. cao trung bình của những đứa con của họ sẽ có thấp hơn (hoặc cao hơn) bố mẹ chúng Thống kê này có thể cho ta thấy về kỳ vọng có điều kiện Giả sử 2 biến ngẫu nhiên X và Y tương ứng mô tả chiều cao của bố mẹ và con cái của họ Hai biến ngẫu nhiên này có trung bình và phương sai như nhau Hệ số tương quan của chúng là 1 số dương Luật Galton: Trung bình có điều kiện E(Y|X) của chiều cao của những đứa con,... TẬP MINH HỌA Bài 1: Hai biến X,Y là phân phối đều trong (-1,1) và độc lập Hãy tìm hàm mật độ có điều kiện fr(r|M) của biến ngẫu nhiên r= với M={r f(x)=f(y)= v -> Ta chỉ xét trong r 1 (với điều kiện M) Vậy: f(r)= + )dx = dx = với x chạy từ -r tới r = = Bài 2: Chứng minh... >>p = anova1(X) p= 4.0889e-007 Ví dụ Có 2 yếu tố A và B A có 3 cấp và B có 2 cấp Dữ liệu A được xếp theo cột và B theo hàng >>pop =[ 5.5000 4.5000 3.5000 5.5000 4.5000 4.0000 6.0000 4.0000 3.0000 6.5000 5.0000 4.0000 7.0000 5.5000 5.0000 7.0000 5.0000 4.5000]; >> p = anova2(pop,3) p= 0.0000 0.0001 0.7462 IV.2 Đồ thị các hàm mật độ xác suất  Vẽ đồ thị hàm mật độ xác suất f(x|y) f(x|y) = >> [x,y]=meshgrid(-8:0.5:8);... Từ kết quả cơ bản này có thể được tổng quát hóa : Trung bình có điều kiện của hàm g(X,Y) h II.2 Luật Galton II.2.1 Luật Galton Thuật ngữ “hồi quy” được bắt nguồn từ lời nhận xét sau đây của nhà di truyền học Sir Francis Galton (1822 – 1911): “Cực điểm dân số sẽ tiến tới mức trung bình của nó” Nhận xét này được áp dụng cho bậc cha mẹ và những đứa con trưởng thành của họ Có nghĩa là các bậc cha mẹ... điều kiện của : (4) Vì vậy từ (2) và (4) ta có: Nhận xét: Chúng ta rất dễ bị thừa nhận rằng công thức trên được suy trực tiếp từ công thức (3) Tuy nhiên điều này không chính xác Hàm g(X,Y) và g(x, Y) có chung kỳ vọng chỉ khi giả thiết rằng X=x, còn chúng hoàn toàn khác nhau Đầu tiên là hàm g(X, Y) của 2 biến ngẫu nhiên X và Y, với mỗi giá trị cụ thể nó sẽ có giá trị g[X( ), Y( )] Tiếp theo là hàm g(x,... được: ; +f(y|x)= = f(y|x) = IV THỰC NGHIỆM VỚI MATLAB IV.1 Tìm hiểu hộp công cụ Statistics toolbox Bộ cộng cụ với hơn 200 hàm hỗ trợ tính toán trong đó:  Probability Distributions: hỗ trợ 20 phân bố xác suất khác nhau, cung cấp các hàm phân bố, mật độ, tích lũy, nghịch đảo, bộ tạo số ngẫu nhiên Ngòai ra nó còn cho phép xác định phân bố cho dữ liệu  Descriptive Statistics: cung cấp các hàm... Probability Distributions  normpdf(X,MU,SIGMA) tính giá trị của hàm mật độ tại X cho phân bố Normal có tham số MU và SIGMA  R = normrnd(MU,SIGMA,m,n) tạo một ma trận R(m,n) chứa các giá trị ngẫu nhiên có phân bố Normal với tham số MU và SIGMA  norminv(P,MU,SIGMA) tính giá trị nghịch đảo của xác suất p của hàm phân bố Normal tích lũy với tham số MU và SIGMA  [muhat,sigmahat,muci,sigmaci] = normfit(DATA, . MẬT ĐỘ XÁC SUẤT CÓ ĐIỀU KIỆN VÀ ÁP DỤNG I.1. Định nghĩa phân phối, mật độ xác suất có điều kiện Như đã biết về công thức xác suất có điều kiện: P(A|B)= Phân phối có điều kiện có thể hiểu như. XÁC SUẤT CÓ ĐIỀU KIỆN VÀ ÁP DỤNG…… 4 I.1. Định nghĩa phân phối, mật độ xác suất có điều kiện …………………….4 I.2. Định lí Bayes với hàm mật độ xác suất ………………………………….7 I.3. Phân phối xác suất có. lí, hóa học, sinh học, nông học, kinh tế học, xã hội học… Nhằm mục đích mong muốn hiểu hơn về kiến thức và ứng dụng của lí thuyết xác suất nhóm đã chọn đề tài: Tìm hiểu về lí thuyết xác suất