Định nghĩa: a Hai biến ngẫu nhiên X và Y được gọi là liên tục kết hợp jointly continuous nếu tồn tại một hàm không âm fXY: R2 → R, sao cho, với mọi tập A∈R2, ta có PX,Y∈A = fA XYx,ydxdy.
PHÂN PHỐI CHUẨN HAI BIẾN BIVARIATE NORMAL DISTRIBUTION TS CHU VĂN THỌ Bộ mơn Tốn - Đại Học Y Dược TP HCM Abstract The sum of two or more independent normal random variables is also normal However, if two or more normal random variables are not independent, then their sum is not necessarily normal There are two definitions of bivariate normal distribution Two random variables are said to be bivariate normal, in the first definition, when all their linear combination is normal random variable; and, in the second definition, when their joint probability density function satisfies the bivariate normal probability density function We prove that the above two definitions are equivalent in the sense that, if two random variables are bivariate normal based on one definition, they are bivariate normal based on the other definition The proof of their equivalence can be conducted by two ways We prove that, in the first way, the two definitions result in the same moment generating functions; and, in the second way, the joint probability density function of a normal random vector is the same of the bivariate normal probability density function A.HAI BIẾN NGẪU NHIÊN LIÊN TỤC Hàm mật độ xác suất kết hợp (Joint Probability Density Function, PDF) 1.1 Định nghĩa: a) Hai biến ngẫu nhiên X Y gọi liên tục kết hợp (jointly continuous) tồn hàm không âm fXY : R2 → R, cho, với tập A∈R2, ta có P((X,Y)∈A) = A fXY (x,y)dxdy b) Hàm fXY (x,y) gọi hàm mật độ xác suất kết hợp X and Y 1.2 Kết từ định nghĩa: R2 fXY (x,y)dxdy = ∞ ∞ f (x,y)dxdy −∞ −∞ XY = 1.3 Hàm mật độ xác suất lề (Marginal PDF) ∞ a) Hàm mật độ xác suất lề X fX (x) = −∞ fXY (x,y)dy với x ∞ b) Hàm mật độ xác suất lề Y fY (y) = −∞ fXY (x,y)dx với y Hàm phân phối tích lũy kết hợp (Joint Cumulative Distribution Function, CDF) 2.1 Định nghĩa: a) Hàm phân phối tích lũy kết hợp hai biến ngẫu nhiên X Y FXY (x,y) = P(X ≤ x,Y ≤ y) b) Hàm phân phối tích lũy kết hợp hai biến ngẫu nhiên X Y liên tục kết hợp (jointly continuous), y x FXY (x,y) = P(X ≤ x,Y ≤ y) = −∞ −∞ fXY(u,v)dudv Chú ý: ∂2 Trong trường hợp hai biến ngẫu nhiên X Y liên tục kết hợp, ta có fXY (x,y) = ∂y ∂x FXY(x,y) 2.2 Tính chất: a) FXY (∞,∞) = 1, FXY (−∞,y) = FXY (x,−∞) = b) P(x1 < X ≤ x2, y1 < Y ≤ y2) = FXY (x2,y2) − FXY (x1,y2) − FXY (x2,y1) + FXY (x1,y1) Hàm mật độ xác suất điều kiện (The Conditional PDF) - Hàm phân phối tích lũy điều kiện (The Conditional CDF) 3.1.Định nghĩa: Cho X biến ngẫu nhiên liên tục A biến cố a < X < b (có thể a = −∞ hay b = +∞) a)Hàm phân phối tích lũy điều kiện FX A (x) = {1 x ≥ b; b)Hàm mật độ xác suất điều kiện fX A (x) = { f X (x) P(A) F X x −F X (a) F X b −F X (a) a < x < b; x ≤ a} a < x < b; chỗ khác} 3.2 Định nghĩa: Cho X biến ngẫu nhiên liên tục, A biến cố a < X < b (có thể a = −∞ hay b = +∞) ∞ a) Kỳ vọng điều kiện E[X|A] = −∞x fX A (x)dx ∞ b) Kỳ vọng điều kiện E[g(X)|A] = −∞ g(x) fX A (x)dx c) Phương sai điều kiện Var(X|A) = E[X2|A] − (E[X|A])2 3.3 Định nghĩa: Cho hai biến ngẫu nhiên X Y liên tục kết hợp a) Hàm mật độ xác suất điều kiện X với Y = y fX Y (x|y) = b) Xác suất điều kiện X∈A với Y = y P(X∈A|Y = y) = A f XY x,y f Y (y) fX Y (x|y)dx c) Hàm phân phối tích lũy điều kiện X với Y = y FX Y (x|y) = P(X ≤ x|Y = y) = 3.4 Định nghĩa: Cho hai biến ngẫu nhiên X Y liên tục kết hợp a) Kỳ vọng điều kiện X với Y = y E[X|Y = y] = x f (x|y)dx −∞ X Y ∞ xf (x|y)dx −∞ X Y ∞ = −∞ g(x)fX Y (x|y)dx b) Kỳ vọng điều kiện g(X) với Y = y E[g(X)|Y = y] c) Phương sai điều kiện X với Y = y Var(X|Y = y) = E[X2|Y = y] − (E[X|Y = y])2 3.5 Định lý: a) Luật tổng xác suất (Law of Total Probability): P(A) = ∞ P(A|X = x)fX (x)dx −∞ ∞ E[Y|X = x]fX (x)dx −∞ b) Luật kỳ vọng lặp (Law of Iterated Expectation): E[Y] = = E[E[Y|X]] c) Luật tổng phương sai (Law of Total Variance): Var(Y) = E[Var(Y|X)] + Var(E[Y|X]) Hai biến ngẫu nhiên độc lập 4.1 Định nghĩa: Hai biến ngẫu nhiên X Y liên tục kết hợp gọi độc lập fX Y (x|y) = fX (x), với y Chú ý: Khi hai biến ngẫu nhiên X Y liên tục kết hợp độc lập, fXY (x,y) = fX (x)fY (y), fX Y (x|y) = f XY x,y f Y (y) 4.2 Định nghĩa: a) Hai biến ngẫu nhiên X Y liên tục gọi độc lập fXY (x,y) = fX (x)fY (y), với x,y b) Hai biến ngẫu nhiên X Y liên tục gọi độc lập FXY (x,y) = FX (x)FY (y) với x,y 4.3 Định lý: a) Nếu hai biến ngẫu nhiên X Y độc lập E[XY] = EXEY b) Nếu hai biến ngẫu nhiên X Y độc lập E[g(X)h(Y)] = E[g(X)]E[h(Y)] 4.4 Chú ý: Nếu hai biến ngẫu nhiên X Y có E[XY] = EXEY khơng X Y độc lập Phản thí dụ: Cho hai biến ngẫu nhiên X Y có hàm mật độ xác suất kết hợp fXY (x,y) = {π (x,y) ∈ D ; chỗ khác}, D = {(x,y)|x2 + y2 ≤ 1} Ta có X Y không độc lập, nhiên E[XY] = EXEY Hàm hai biến ngẫu nhiên liên tục 5.1 Kỳ vọng hàm hai biến g(X,Y): ∞ ∞ E[g(X,Y)]= −∞ −∞ g(x, y) fXY (x,y)dxdy 5.2 Phương pháp biến đổi (The Method of Transformations) Cho hai biến ngẫu nhiên X Y liên tục kết hợp Gọi (Z,W) = g(X,Y) = (g1 (X,Y), g (X,Y)), g: R2 ↦ R2 hàm liên tục 1-1 (khả nghịch), có đạo hàm riêng liên tục Gọi h = g-1, nghĩa là, (X,Y) = h(Z,W) = (h1 (Z,W), h2 (Z,W)) Khi đó, Z W hai biến ngẫu nhiên liên tục kết hợp hàm mật độ xác suất kết hợp fZW (z,w), với (z,w)∈R ZW , xác định fZW (z,w) = fXY (h1 (z,w), h2 (z,w)).|J|, với J định thức Jacobian h, J = det ∂h ∂h ∂z ∂h ∂w ∂h ∂z ∂w Một số kết nghiên cứu: 6.1 Định lý: Cho X Y hai biến ngẫu nhiên liên tục kết hợp độc lập, với hàm kết hợp fXY (x,y) Gọi Z = X + Y ∞ W = X Khi đó, fZ (z) = −∞ fX (w)fY (z − w)dw CM (Z,W) = g(X,Y) = (g1 (X,Y) = X+Y, g (X,Y) = X) Suy (X,Y) = h(Z,W) = (h1 (Z,W) = W, h2 (Z,W) = Z - W) Ta có fZW (z,w) = fXY (h1 (z,w), h2 (z,w)).|J|, J = det J = det ∂h ∂h ∂z ∂h ∂w ∂h ∂z ∂w = det ∂h ∂h ∂z ∂h ∂w ∂h ∂z ∂w = -1, fZW (z,w) = fXY (w, z−w) −1 Vì X Y độc lập nên fXY (w, z−w) = fX (w)fY (z - w) Suy fZW (z,w) = fX (w)fY (z - w) ∞ ∞ Hàm mật độ lề fZ (z) = −∞ fZW (z, w)dw = −∞ fX (w)fY (z − w)dw 1.3 Định lý: Nếu biến ngẫu nhiên X1, X2 , ⋯, Xn độc lập E[X1 X2 ⋯ Xn] = E[X1]E[X2]⋯E[Xn] 1.4 Định nghĩa: Các biến ngẫu nhiên X1, X2 , ⋯, Xn gọi độc lập có phân phối đồng (independent and identically distributed, i.i.d.), X1, X2 , ⋯, Xn độc lập FX (x) = FX (x) = = FX n (x) với x∈R Chú ý: Nếu biến ngẫu nhiên X1, X2 , ⋯, Xn độc lập có phân phối đồng nhất, X1, X2 , ⋯, Xn có trung bình phương sai, đó, E[X1 X2 ⋯ Xn] = E[X1]E[X2]⋯E[Xn] = (EX1)n 1.5 Kỳ vọng phương sai tổng biến ngẫu nhiên: Cho biến ngẫu nhiên X1, X2 , ⋯, Xn Gọi Y= X1 + X2 + ⋯ + Xn a) EY= EX1 + EX2 + ⋯ + EXn Var( ni=1 Xi ) = Cov( ni=1 Xi , nj=1 Xj ) = ni=1 nj=1 Cov(Xi , Xj ) = ni=1 Var(Xi ) + i 4.3 Định lý: a) Ma trận CX ma trận xác định dương (PD) giá trị riêng số dương b) Ma trận CX ma trận xác định dương (PD) det(CX ) > Hàm mật độ xác suất vectơ ngẫu nhiên Y = AX + b 5.2 Định lý: Cho X vectơ ngẫu nhiên n hàng, A ma trận cố định m hàng, n cột b vectơ cố định m hàng Ta có Y = AX + b vectơ ngẫu nhiên m hàng Khi đó, CY = ACX AT 5.3 Định lý: Cho vectơ ngẫu nhiên X có n phần tử, với PDF fX (x) Gọi A ma trận khả đảo cố định nxn, b vectơ cố định có n phần tử Gọi Y=AX + b Khi đó, PDF of Y, fY (y) = det (A) fX (A-1(y−b)) 6.Vectơ ngẫu nhiên chuẩn (normal random vector): 6.1 Các biến ngẫu nhiên chuẩn kết hợp: Các biến ngẫu nhiên X1 , … , Xn gọi chuẩn kết hợp, biến ngẫu nhiên a1 X1 + ⋯ + an Xn có phân phối chuẩn, với a1 , … , an ∈ R Chú ý: Ta thống số zero biến ngẫu nhiên có phân phối chuẩn, với trung bình phương sai 0, i.e., số zero có phân phối N(0,0) 6.2 Định nghĩa: X1 X2 Vectơ ngẫu nhiên X = gọi vectơ ngẫu nhiên chuẩn, biến ngẫu nhiên X1 , … , Xn Xn chuẩn kết hợp Chú ý: Nếu X vectơ ngẫu nhiên chuẩn, có ma trận trung bình m ma trận hiệp phương sai CX , ta viết X ∼ N(m,CX ) 6.3 Định lý: a) Nếu X vectơ ngẫu nhiên chuẩn, A ma trận cố định mxn, b vectơ cố định m hàng, Y = AX + b vectơ ngẫu nhiên chuẩn b) Nếu X vectơ ngẫu nhiên chuẩn, X ∼ N(m,CX ), A ma trận cố định mxn, b vectơ cố định m hàng, Y = AX + b vectơ ngẫu nhiên chuẩn, có ma trận trung bình AEX + b, ma trận hiệp phương sai CY = ACX AT Khi Y ∼ N(AEX+b, ACX AT ) 6.4 Vectơ ngẫu nhiên chuẩn tắc (standard normal random vector): Z1 Z2 Vectơ Z = gọi vectơ ngẫu nhiên chuẩn tắc Zi (i=1,2, ,n) biến ngẫu nhiên độc Zn lập, có phân phối Zi ∼ N(0,1) (i=1,2, ,n) 6.5 Xác định hàm mật độ xác suất PDF vectơ ngẫu nhiên chuẩn tắc: Vectơ ngẫu nhiên chuẩn tắc Z có hàm mật độ xác suất PDF cho 1 1 fZ (z) = fZ ,…,Z n (z1 , … , zn ) = ni=1 fZ i (zi ) = n exp{- ni=1 zi2 } = n exp {- zTz } (2π)2 (2π)2 6.6 Xác định hàm mật độ xác suất PDF vectơ ngẫu nhiên chuẩn: Cho vectơ ngẫu nhiên chuẩn X ∼ N(m, CX ), với det(CX ) > Hàm mật độ xác suất PDF vectơ ngẫu 1 nhiên chuẩn X cho fX (x) = n exp{- (x−m)TCX -1(x−m)} (2π)2 det (C X ) Một số kết nghiên cứu: 7.1 Xác định hàm mật độ xác suất kết hợp hai biến ngẫu nhiên có phân phối chuẩn kết hợp: Cho X Y hai biến ngẫu nhiên có phân phối chuẩn kết hợp, với EX = μX , Var(X) = σ2X , EY = μY , Var(Y) = σ2Y , ρ(X,Y) = ρ ∈ (-1,1) Hàm mật độ xác suất kết hợp X Y cho 1 x−μX y−μY x−μX y−μY fX,Y (x,y) = exp{[( ) +( ) 2ρ ]} 2(1−ρ ) σ σ σ σ 2πσ X σ Y 1−ρ X Y X Y CM X vectơ ngẫu nhiên chuẩn Y X Hàm mật độ xác suất kết hợp X Y hàm mật độ xác suất vectơ Y μ Var X Cov(X, Y) σ ρσX σY X Vectơ có vec tơ trung bình m = μX CX = = X Cov Y, X Var(Y) Y Y ρσX σY σ2Y Suy det(CX ) = σ2X σ2Y (1 − ρ2 ) > 0, CX ma trận xác định dương σ2Y − ρσX σY -1 Ta có CX = σ σ (1−ρ ) X Y −ρσX σY σ2X x − μX T σ2Y − ρσX σY x − μX T -1 Suy (x−m) CX (x−m) = σ σ (1−ρ ) y − μ Y X Y −ρσX σY σ2X y − μY x−μ y−μ x−μ y−μ = 2(1−ρ ) [( σ X )2 +( σ Y )2 - 2ρ σ X σ Y ] X Y X Y X Do đó, hàm mật độ xác suất vectơ Y 1 x−μX y−μY x−μX y−μY fX,Y (x,y) = exp{[( ) +( ) 2ρ ]} 2(1−ρ ) σ σ σ σ Vì X Y hai biến ngẫu nhiên có phân phối chuẩn kết hợp, nên vectơ 2πσ X σ Y 1−ρ X Y X Y 7.2 Định lý: Định nghĩa định nghĩa hai biến ngẫu nhiên có phân phối chuẩn hai biến tương đương CM Từ kết (7.1) trên, ta kết luận hai biến ngẫu nhiên X Y có phân phối chuẩn hai biến theo định nghĩa 1, có hàm mật độ xác suất PDF cho 1 x−μX y−μY x−μX y−μY fX,Y (x,y) = exp{[( ) +( ) 2ρ ]}, 2(1−ρ ) σ σ σ σ 2πσ X σ Y 1−ρ X 2 với EX = μX , Var(X) = σX , EY = μY , Var(Y) = σY , ρ(X,Y) = ρ Y X Y Kết luận định nghĩa định nghĩa hai biến ngẫu nhiên có phân phối chuẩn hai biến tương đương 7.3 Định lý: Nếu vectơ ngẫu nhiên chuẩn X = X1 có thành phần X1 X2 khơng tương quan X1 X2 độc lập X2 CM Nếu X vectơ ngẫu nhiên chuẩn, có thành phần X1 X2 khơng tương quan, Cov(X1 , X2 ) = 0, ma trận hiệp phương sai CX ma trận chéo σ2X Var X1 Ta có CX = = Var(X2 ) σ2X 1/σ2X -1 -1 Suy ma trận CX ma trận chéo, CX = 1/σ2X μX Ta có ma trận trung bình m = μ X2 Khi đó, X ∼ N(m, CX ) có PDF cho 1 fX (x) = exp{- (x−m)TCX -1(x−m)} n = (2π) det (C X ) 2πσ X σ X 1−ρ exp{2 Vậy X1 X2 độc lập 2(1−ρ ) [( x −μX σX1 )2 +( x −μX σX2 )2 ]} = fX (x1 ) fX (x2 ) 7.4 Định lý: X1 X2 Nếu vectơ ngẫu nhiên chuẩn X = có thành phần X1 , X2 , , Xn khơng tương quan, X1 , X2 , , Xn Xn độc lập CM Nếu X vectơ ngẫu nhiên chuẩn, có thành phần Xi (i =1,2, ,n) khơng tương quan, ma trận hiệp phương sai CX ma trận chéo Suy ma trận CX -1 ma trận chéo Khi đó, X ∼ N(m, CX ) có PDF cho 1 fX (x) = exp{- (x−m)TCX -1(x−m)} = ni=1 fX i (xi ) n (2π) det (C X ) Vậy Xi (i =1,2, ,n) độc lập Hết TÀI LIỆU THAM KHẢO 1) Bivarate Normal Distribution Colin Rundel Department of Statistical Science, Duke University, USA (2012) 2) Construction of Continuous Bivarate Density Functions Yuchung J Wang Academia Statistica Sinica (1993), 173-187 3) Introduction to Probability - The Bivarate Normal Distribution D P Bertsekas and J N Tsitsiklis Section 4.7 The 1st Edition (2002) 4) Introduction to Probability, Statistics, and Random Processes Hossein Pishro-Nik Department of Electrical and Computer Engineering, University of Massachusetts Amherst, USA (2014) 5) Moment Generating Functions and Multivariate Normal Distribution Tamás Linder, P.Eng Department of Mathematics and Statistics Queen's University Kingston, Ontario, Canada (2012) 6) Multivariate Normal Distribution Rebecca Jennings, Mary Wakeman-Linn, Xin Zhao November 11, 2010 7) Random vectors and multivariate normal distribution Marie Davidian Statistics Department, University of North Carolina Courses Taught, Chapter 3, st732 (2015) 8) The Bivariate and Multivariate Normal Distribution School of Mathematical Sciences, Queen Mary University, London, UK MTH5118, Probability 2, Notes11 (2009) 9) The Multivariate Gaussian Distribution Steffen Lauritzen University of Oxford BS2 Statistical Inference, Lecture 6, Hilary Term (2009) 10) The Multivariate Normal Distribution Robert B Ash Deparment of Mathematics, University of Illinois A standard first course in probability, Lecture 21 (1996) 11) Academo.org/demos/3d-surface-plotter Source code available at GitHub.com Academo.org (2016) PHÂN PHỐI CHUẨN HAI BIẾN BIVARIATE NORMAL DISTRIBUTION CHU VĂN THỌ Bộ mơn Tốn - Đại Học Y Dược Tp HCM ... số zero biến ngẫu nhiên có phân phối chuẩn, có trung bình phương sai Tính chất a) Nếu X Y có phân phối chuẩn hai biến, X có phân phối chuẩn Y có phân phối chuẩn b) Nếu X Y có phân phối chuẩn độc... ngẫu nhiên X Y gọi có phân phối chuẩn hai biến có phân phối chuẩn kết hợp (bivariate normal distribution or jointly normal distribution) , aX + bY có phân phối chuẩn, với a,b∈R Chú ý: Trong định... hai biến ngẫu nhiên X Y có phân phối chuẩn độc lập X + Y có phân phối chuẩn Nếu hai biến ngẫu nhiên X Y có phân phối chuẩn khơng độc lập, X + Y khơng có phân phối chuẩn Phản thí dụ: X if W =