Tìm hiểu về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng
1 ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO BÀI TẬP LỚN MÔN QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG NHÓM 3 - Đ Ề TÀI: TÌM HI Ể U V Ề HÀM M Ậ T Đ Ộ CÓ ĐI Ề U KIỆN, HÀM ĐẶC TÍNH, CHUẨN HÓA VÀ ÁP DỤNG Giảng viên: PGS.TS.Nguyễn Thị Hoàng Lan HÀ NÔI 2011 Sinh viên thực hiện SHSV Đỗ Quang Minh 20091772 Trần Bảo Long 20091667 Hoàng Doãn Quân 20093579 Bùi Tuấn Sơn 20092230 Lê Tự Quân 20093793 Nguyến Văn An 20093792 2 MỤC LỤC Lời nói đầu………………………………………………………………………….3 Tổng quan về việc thực hiện đề tài…………………………………………….… 4 I.Hàm mật độ có điều kiện và kì vọng có điều kiên……………… …… ………5 I.1.Hàm mật độ có điều kiện……………………………….…….….…………5 I.2.Kì vọng có điều kiện……………………………….…………….…… 7 II.Hàm đặc tính và chuẩn hóa………………………………………………………8 II.1.Hàm đặc tính……………………………….………………………… 8 II.2.Vector chuẩn……………………………….………………………… …9 II.3.Vector chuẩn phức……………………………….……………… … 10 II.4.Dạng chuẩn bậc 2……………………………… …………………… 12 III.Ứng dụng……………………………….……………………………… ……15 III.1.Bài tập…………… ………….……………………………………… 15 III.2.Matlab………… …………….……………………………………… 16 Tài liệu tham khảo……………………………………………………………… 20 3 LỜI NÓI ĐẦU Chúng ta đang sống trong kỉ nguyên khoa học kĩ thuật hiện đại. Sự bùng nổ của ngành công nghệ thông tin đã mang lại những bước đột phá to lớn.Đóng góp quan trọng vào sự phát triển bùng nổ đó là vai trò vô cùng to lớn của toán học nói chung và xác suất nói riêng, đây chính là nền tảng của ngành công nghệ thông tin. Được giao đề tài “Tìm hiểu về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng”, chúng em cảm thấy đây là một đề tài rất thú vị. Trong quá trình làm bài chúng em đã thu được nhiều điều bổ ích như rèn luyện kĩ năng nghiên cứu, kĩ năng tìm kiếm thông tin, kĩ năng làm việc nhóm ,ôn luyện các phần kiến thức liên quan…. Chúng em xin trân trọng gửi lời cảm ơn cô, sự chỉ dẫn tận tình của cô đã giúp chúng em rất nhiều trong quá trình thực hiện đề tài này. 4 TỔNG QUAN VỀ VIỆC THỰC HIỆN ĐỀ TÀI Phân công nhiệm vụ các thành viên: Các thành viên được phân công từng phần riêng biệt để nghiên cứu và trao đổi với nhau. Tuy nhiên, do nhóm đông người nên việc phân chia gặp một số khó khăn và còn chưa được đều về khối lượng kiến thức. Phần I: Hàm mật độ có điều kiện và kì vọng có điều kiện-Hoàng Doãn Quân Phần II: Hàm đặc tính, chuẩn hóa II.1 Hàm đặc tính - Nguyễn Văn An II.2 Vector chuẩn- Lê Tự Quân. II.3 Vector chuẩn phức- Bùi Tuấn Sơn. II.4 Dạng chuẩn bậc 2- Trần Bảo Long Ứng dung: bài tập và matlab: Đỗ Quang Minh (trưởng nhóm) Vấn đề viết báo cáo: Mỗi thành viên viết báo cáo phần việc của mình, trưởng nhóm thu gom các báo cáo và tổng hợp thành 1 báo cáo hoàn chỉnh Báo cáo chủ yếu dựa theo cuốn Probability, Random Variables and Stochastic Processes -3 rd của Athanansios Papoulis, để ngắn gọn khi cần tham chiếu đến 1 vấn đề trong cuốn này thay vì ghi tên sách ta chỉ ghi là text book vd: xem (5-71-text book) Các công thức quan trọng sẽ được kí hiệu trong ngoặc vd: (II.1.2) để tiện nhắc đến ở các phần liên quan 5 I. Hàm mật độ có điều kiện và kì vọng có điều kiên I.1. HÀM MẬT ĐỘ CÓ ĐIỀU KIỆN Với hai biến ngẫu nhiên X và Y phân phối xác suất có điều kiện của Y cho X là phân bố xác suất của Y khi X được biết đến là giá trị cụ thể.Nếu phân phối xác suất của Y cho X là phân phối liên tục thì hàm mật độ chức năng được gọi là hàm mật độ có điều kiện.Chúng ta sẽ mở rộng công thức f(x|y)=f(x,y)/f(x) (hàm mật độ xác suất cho biến đơn). Cho n véc tơ ngẫu nhiên ( RVs) x n …x k ……x 1 ta có hàm mật độ xác suất cho biến nhiều chiều sau đây (I.1) Từ hàm mật độ xác suất trên ta có thể suy ra hàm phân phối xác suất (I.2) Ví dụ 1: Theo công thức hàm mật độ ta suy ra được quy tắc chuỗi (I.3) Các quy tắc loại bỏ biến ra khỏi hàm mật độ: ví dụ: 6 Qua hai ví dụ ta thấy có hai trường hợp xảy ra Trường hợp 1: biến cần loại bỏ nằm bên trái (trên) của biểu thức điều kiện Để loại bỏ một biến ta chỉ cần tích phân hàm mật độ với chính biến ấy. Trường hợp 2:biến cần loại nằm bên phải(dưới) cảu biểu thức điều kiện Để loại bỏ một hay nhiều biến ta nhân hàm mật độ ban đầu với một hàm mật độ mới của các biến ở bên phải hàm mật độ ban đầu mà hàm mật độ mới đó có các biến cần loại bỏ ở bên trái, các biến không cần loại bỏ ở bên phải. Sau đó cũng lấy tích phân với chính các biến cần loại đó. Giờ ta đi chứng minh hai ví dụ trên : ( | )= ∫ ( , | ) ∞ ∞ dx 2 ( | ) .( ) = ∫ f( , | ) +∞ -∞ .f( ) dx 2 (nhân cả 2 vế với ( ) ) Vt = ( , ) ( ) ( )=( , ) Vp= ∫ ( , , ) ( ) ∞ ∞ ( ) dx 2 = ∫ ( , , ) ∞ ∞ dx 2 =( , ) = vt (dpcm) ( | )= ∬ ( | , , ) ∞ ∞ ( , | )dx 2 dx 3 ( | ).( ) = ∬ ( | , , ) ∞ ∞ ( , | ) ( )dx 2 dx 3 (nhân cả hai vế với ( )) Vế trái = ( , ) ( ) ( )=( , ) Vế phải = ∬ ( , , , ) ( , , ) ∞ ∞ ( , , ) ( ) ( )dx 2 dx 3 = ∬ ( , , , ) ∞ ∞ dx 2 dx 3 = =( , ) =vt (dpcm) 7 Những công thức ở trên áp dụng cho trường hợp liên tục trong trường hợp rời rạc ta có công thức sau: Cho các biến ngẫu nhiên x 1 ,x 2 ,x 3 2.KÌ VỌNG CÓ ĐIỀU KIỆN ta đã có công thức(xem 7.57-text book): Mở rộng hơn ta có: { | , ……… } = ∫ ( | , ……… ) ∞ ∞ dx 1 (I.4) { | , ……… } có thể được coi như là 1 biến ngẫu nhiên. Do đó nhân công thức trên với ( , ,………, ) và lấy tích phân ta có kết luân sau đây { { | , ……… } }={ } Chứng minh: { { | , ……… } }= ∫ … ∫ { | , ……… } ∞ ∞ ∞ ∞ = ∫ … ∫ { | , ……… } ∞ ∞ ∞ ∞ ( , ,… )dx 2 … dx n = ={ } (dpcm) Với kì vọng có điều kiên, ta có quy tắc loại bỏ biến bên phải của biểu thức điều kiện: Để loại bỏ một hay nhiều biến ở bên phải ta nhân kì vọng ban đầu với một hàm mật độ của các biến ở bên phải biểu thức điều kiện của kì vọng ban đầu mà hàm mật độ mới đó có các biến cần loại bỏ ở bên trái, các biến không cần loại bỏ ở bên phải. Sau đó cũng lấy tích phân với chính các biến cần loại đó. Ví dụ: 8 { | , }={{ | ,, }}= ∫ { | , } ∞ ∞ ( | , )dx 4 Ở trên là trong trường hợp liên tục trong trường hợp rời rạc ta có công thức sau { | }= ∑ { | , } ( = | ) II.Hàm đặc tính và chuẩn hóa II.1.Hàm đặc tính Hàm đặc tính của một vector ngẫu nhiên được định nghĩa bởi hàm Ф(Ω): Ф(Ω) = E{ Ω } = E{ (ω ⋯ω ) } = Ф(jΩ) (II.1.1) Ф(jΩ) là hàm momen. Điều kiện: X = [x 1 ,. . . .x n ] Ω =[ω 1 ,. . . .ω n ] Ứng dụng : nếu các biến ngẫu nhiên x i độc lập với hàm mật độ tương ứng ƒ i (x i ), khi đó mật độ ƒ z (z) của biến ngẫu nhiên z =x 1 + … +x n là: ƒ z (z) = ƒ 1 (x 1 ) * … * ƒ n (x n ) (II.1.2) Chứng minh: Khi RVs x i độc lập và ω chỉ phụ thuộc vào x i ta kết luận : E{ (ω ⋯ω ) }=E{ ω } . . . E{ ω } Do đó: Ф(ω) = E{ ( ⋯ ) } = Ф 1 (ω) . . . Ф n (ω) (II.1.3) Ф i (ω) là hàm đặc tính của x i . Áp dụng cho phép biến đổi Fourier ngược ta thu được (II.1.2). Ta xét thêm 1 ví dụ nữa để minh họa cho ứng dụng của hàm đặc tính trong chứng minh. Ví dụ: (phép thử Bernoulli) 9 ta có các biến ngẫu nhiên x i , biến x i đại điên cho lần tung đồng xu thứ i ,x i =1 nếu mặt đồng xu ngửa và x i = 0 nếu mặt đồng xu sấp.ta có: P{x i = 1} =P{h} = p P{x i = 0} = P{t} = q , p=1-q Ta sẽ chứng minh lại công thức bernoulli bằng cách áp dụng (II.1.3) Dễ thấy: Ф i (ω) = p ω + q (II.1.4) Biến ngẫu nhiên z = x 1 + . . . +x n nhận các giá trị 0,1,…,n và {z = k} là sự kiện {k mặt ngửa trong n lần reo }.Hơn nữa ta có : Ф z (ω) = E{ ω } = ∑ { = } ω (II.1.5) Các biến ngẫu nhiên x i độc lập vì x i chỉ phụ thuộc vào lần thử thứ i và mỗi lần thử là độc lập với nhau.Từ (II.1.3) và (II.1.4) : Ф z (ω) = (p ω + q) n = ∑ p k ω q n-k (II.1.6) Đồng nhất thức (II.1.6) với (II.1.5) ta được điều phải chứng minh-công thức bernoulli: P{z = k} = p k q n-k (II.1.7) II.2. Vector chuẩn. Định nghĩa: các biến ngẫu nhiên x i là biến ngẫu nhiên chuẩn đồng thời nếu tổng : a 1 x 1 + a 2 x 2 + … +a n x n =AX t (II.2.1) Là 1biến ngẫu nhiên phân phối chuẩn với A bất kì A=[a 1 ,…,a n ] Từ định nghĩa chúng ta có những kết luận sau: Nếu các biến ngẫu nhiên x i có kì vọng bằng 0 và hiệp phương sai ma trận C, thì hàm đặc tính đồng thời của chúng là: Ф(Ω)=exp (− ΩC Ω t ) (II.2.2) Và hàm mật độ đồng thời bằng ( ) = (π) ∆ exp ( ) (II.2.3) Trong đó là định thức của ma trận C. 10 Chứng minh II.2.2: W= + + ⋯ + = Ω (II.2.4) Giả địnhE{x i }=0 ta thuđược E{w}=0 { } = ∑ ,, = Thay =0 và =1 vào công thức (5-65-text book) ta có: { } = exp [− 2 ] Dẫn đến Ф(Ω)= Ω =exp { ∑ ,, } (II.2.5) Từ (II.2.2) bằng phép biến đổi fourier ngược ta suy ra (II.2.3). II.3 Vector chuẩn phức Định nghĩa: Một vector ngẫu nhiên ở dạng chuẩn phức là vector Z=X+jY=[z 1 , z 2 , z n ] trong đó mỗi thành phần z i là một biến ngẫu nhiên phức : z i =x i +jy i (j là đơn vị ảo). Chúng ta giả định rằng E{z i }=0.Khi đó đặc trưng thống kê của vector Z được xác định thông qua hàm mật độ xác suất: F z (Z)=f(x 1 , x n ,y 1 , y n ). hàm f Z là hàm của 2n biến ngẫu nhiên x i và y i . Đây là mở rộng của (II.2.3) , được xác định thông qua một ma trận kích thước 2n X 2n : D= C XX C YY C XY C YX D bao gồm 2n 2 +n tham số( 4n 2 tham số của toàn ma trận nhưng bị trùng) E{x i ,x j }, E{y i , y j } và E{x i , y j }. Hàm đặc tính của vector Z được xác định như sau: Φ z (Ω)= E{exp( j( u 1 x 1 + + u n x n + v 1 y 1 + + v n y n ) )} Mở rộng (II.2.5) ta có : [...]... phải có 2n2 + n tham số Ví dụ với trường hơp n=1 khi đó Z=z=x+jy là một vector vô hướng và Czz=E{|z|2} do đó Czz xác đinh thông qua một tham số duy nhất δ2z = E{X2+Y2} Trong khi fZ(Z) là một hàm mật độ chuẩn chứa 3 tham số δx, δy và E{xy} Định lý Goodman ( Good man’s Theorem) Trong một số trường hợp đặc biệt ta vẫn có thể xác định được hàm mật độ xác suất fZ(Z) và hàm đặc tính Φz(Ω) của vector chuẩn. .. vô hướng(n=1) của đinhk lý Goodman Thêm nữa Czz=σz2=E(|z|2)=E(x2+y2)=2 σ2 Thay n=1,Czz=2 σ2 vào (II.3.1) và (II.3.2) ta được điều phải chứng minh III.2.Matlab: Sử dụng bản matlab 2008b Ta có bảng hàm matlab: ( lấy trên trang www.mathworks.com) Loại Phân phối Chuẩn Tạo số ngẫu nhiên Hàm phân phối Hàm mật độ mvnrnd(MU,SIGMA,cases) mvncdf(X,MU,SIGMA) mvnpdf(X,MU,SIGMA) Vector X Kì vọng MU, trong... (II.4.8) là 1 tổng của 2 biến ngẫu nhiên độc lập: 14 Ta có: Là 1 biến ngẫu nhiên độc lập theo phân phối χ2(1) vì σ/√ ) theo phân phối chuẩn N(N(η, Từ những kết quả trên kết hợp với (II.4.4) ta có: (II.4.7) đã được chứng minh Từ II.4.7 kết hợp với (5.71-text book) ta có 2 kết quả sau: Đây chính là kết quả II.4.6 trong trường hợp phân phối chuẩn và: III.Ứng Dụng III.1.Bài tập: 8-32: Cho 2 biến ngẫu... phối chuẩn N(0,1), x là tổng bình phương của n biến đó: Ta sẽ chứng minh rằng biến ngẫu nhiên x có phân phối chi bình phương với n bậc tự do, fx(x)= χ2(n)= (II.4.1) CM: Ta có biến ngẫu nhiên zi2 có phân phối chi bình phương bậc tự do bằng 1 χ2(1) ( xem trang 96-text book) Theo(5-71-text book) với m=1 ta chỉ ra được hàm momen của phân phối này : 12 Tương tự như hàm đặc tính trong (II.1.3), hàm momen có. .. U=[ u1, ,un], V=[v1, ,vn] và Ω=U+jV Ma trận hiệp phương sai của vector chuẩn phức Z là một ma trận vuông kích thước nXn: CZZ = E{ Zt Z*} = CXX + CYY - j(CXY - CYX) CZZ được xác định với n2 tham số.Không giống như trường hợp vector chuẩn thực, hàm mật độ xác suất fZ(Z) của vector Z không thể xác định thông qua ma trận hiệp phương sai CZZ do CZZ chỉ có n2 tham số trong khi D có 2n2 + n tham số mà như... biến ngẫu nhiên zi độc lập, suy ra: Theo (5-71-text book) đây chính là phân phối χ2(1) => ta có điều phải chứng mình Ta có: Từ (II.4.1) và (II.4.2) ta dẫn đến kết luận sau: với 2 biến ngẫu nhiên độc lập x,y với x theo phân phối χ2(m), y theo phân phối: χ2(n) thì: X= x+y tuân theo phân phối χ2(m+n)) (II.4.3) Ngược lai: nếu ta có biến ngẫu nhiên z = x+y theo phân phối χ2(m+n) x,y độc lập, x theo phân... [X1(:) X2(:)]; p = mvncdf(X,mu,SIGMA); surf(X1,X2,reshape(p,50,50)); Hình III.2: Hàm phân phối 18 Tạo và vẽ hàm mật độ: mu = [0 0]; SIGMA = [2 3; 3 6]; [X1,X2] = meshgrid(linspace(-3,3,50)',linspace(-3,3,50)'); X = [X1(:) X2(:)]; p = mvnpdf(X,mu,SIGMA); surf(X1,X2,reshape(p,50,50)); Hình III.3: hàm mật độ 19 Tài liệu tham khảo Probability, Random Variables and Stochastic Processes -3rd , Athanansios... (II.4.6) bằng các phép biến đổi đại số và xác suất cơ bản Tuy nhiên trong phạm vi đề tài này ta sẽ chỉ xét trường hợp giá trị của phép thử thứ i: xi là biến ngẫu nhiên theo phân phối chuẩn N(η, σ), trong trường hợp riêng này ta có thêm cách chứng minh khác cho (II.4.6) và một số kết quả mở rộng Xét phương sai mẫu đối với phân phối chuẩn: Chưng minh (II.4.7): Ta có: Dễ thấy vế trái của (II.4.8) là 1... đã cho ta có: Q = (U V ) t CXX CXY U t -CXY CXX V = UCXYUt + VCXYUt - UCXYVt +VCXXVt mặt khác : CXXt = CXX và CXYt = -CXY điều này dẫn chúng ta đến kết quả sau: VCXXUt = UCXXVt UCXYUt = VCXYVt =0 Từ đó: 1 Ω*CZZΩt = (U - jV)(CXX - jCXY )(Ut + jVt) = Q 2 Và ta nhận được kết quả là ( 2 ) => đ.p.c.m II.4 Dạng chuẩn bậc 2 : 1.phân phối chi bình phương: Cho n biến ngẫu nhiên độc lập... ta vẫn có thể xác định được hàm mật độ xác suất fZ(Z) và hàm đặc tính Φz(Ω) của vector chuẩn phức Z thông qua ma trận hiệp phương sai CZZ Và định lí Goodman chính là một trường hợp như thế: Đinh lý: Nếu 2 vector X và Y thỏa mãn điều kiện sau: Điều kiện 1: CXX = CYY Điều kiện 2 : CXY - CYX Với Z=X+jY khi đó: CZZ = 2( CXX - jCXY ) fZ(Z) = 1 exp{-Z*CZZ-1Zt} π |CZZ| ( II.3.1) n 11 Φz(Ω) = exp{ -1 Ω*CZZΩt} . đề tài Tìm hiểu về hàm mật độ có điều kiện, hàm đặc tính, chuẩn hóa và áp dụng , chúng em cảm thấy đây là một đề tài rất thú vị. Trong quá trình làm bài chúng em đã thu được nhiều điều bổ. một số khó khăn và còn chưa được đều về khối lượng kiến thức. Phần I: Hàm mật độ có điều kiện và kì vọng có điều kiện-Hoàng Doãn Quân Phần II: Hàm đặc tính, chuẩn hóa II.1 Hàm đặc tính - Nguyễn. Tổng quan về việc thực hiện đề tài…………………………………………….… 4 I .Hàm mật độ có điều kiện và kì vọng có điều kiên……………… …… ………5 I.1 .Hàm mật độ có điều kiện……………………………….…….….…………5 I.2.Kì vọng có điều kiện……………………………….…………….……