PHÂN TÍCH BAYES THEO CHUẨN 1L. LUẬN VĂN THẠC SĨ TOÁN HỌC

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM Cao Thị Hồng Nhung PHÂN TÍCH BAYES THEO CHUẨN L1 LUẬN VĂN THẠC SĨ TOÁN HỌC Thành phố Hồ Chí Minh – 2012 BỘ GIÁO DỤC VÀ ÐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM Cao Thị Hồng Nhung PHÂN TÍCH BAYES THEO CHUẨN L Chuyên ngành: Tốn Giải Tích Mã số: 60 46 01 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS TS ĐẶNG ĐỨC TRỌNG Thành phố Hồ Chí Minh – 2012 LỜI CẢM ƠN Sau hai năm học tập đại học Sư phạm Tp.HCM chun ngành tốn Giải tích với quan tâm, giúp đỡ tận tình thầy cơ, gia đình bạn bè, hơm em hồn thành khóa học với luận văn tốt nghiệp Em xin bày tỏ lòng biết ơn chân thành, sâu sắc đến:  Cha mẹ quan tâm dạy bảo, lo lắng cho bước đường đời chỗ dựa vững để hoàn thành tốt luận văn  Thầy Đặng Đức Trọng – người tận tình hướng dẫn luận văn cho em Là học viên chuyên ngành giải tích nên kiến thức lĩnh vực Xác suất - Thống kê nhiều hạn chế, thầy dành nhiều thời gian dạy, hướng dẫn giúp đỡ em suốt trình thực luận văn, nguồn động lực vơ lớn để em hồn thành đề tài Em thật biết ơn thầy!  Thầy Chu Đức Khánh Thầy Đinh Ngọc Thanh Hai thầy tận tình quan tâm giúp đỡ dẫn chúng em nghiên cứu khoa học Qua em xin cảm ơn ThS Nguyễn Văn Phong anh chị “nhóm seminar”, trao đổi với em đề tài  Các thầy Khoa Toán – tin trường Đại học Sư phạm TPHCM, tận tình giảng dạy chúng em, thầy Phịng Sau đại học tạo điều kiện cho chúng em hai năm học Cao học vừa qua  Cuối xin cảm ơn tất bạn giúp đỡ, đóng góp ý kiến để luận văn hoàn chỉnh Xin chân thành cảm ơn tất cả! Tp Hồ Chí Minh, tháng năm 2012 Cao Thị Hồng Nhung MỤC LỤC LỜI CẢM ƠN DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH PHẦN MỞ ĐẦU CHƯƠNG I KIẾN THỨC CHUẨN BỊ .1 1.1 Lý thuyết xác suất 1.2 Định lý Bayes 1.3 Phép biến đổi biến ngẫu nhiên 1.4 Các số đặc trưng biến ngẫu nhiên 1.5 Một số phân phối biến ngẫu nhiên 10 1.6 Hàm Lauricella D 15 1.7 Lý thuyết phương pháp phân tích Bayes 17 CHƯƠNG II PHÂN TÍCH BAYES THEO CHUẨN L 30 2.1 Hệ số chồng lấp sai số Bayes hai hàm mật độ R .30 2.2 Phân tích Bayes cho tỷ lệ trộn phân loại nhận dạng hai tổng thể 42 2.3 Khoảng cách L1 hai hàm mật độ xác suất 54 2.4 Khoảng cách L1 hai tổng thể 57 2.5 Ví dụ cụ thể phân tích tỷ lệ trộn π 59 CHƯƠNG III CẬN CỦA SAI SỐ BAYES TRONG BÀI TOÁN PHÂN LOẠI 66 3.1 Cận cho sai số Bayes trung bình 67 3.2 Phân tích hậu nghiệm .74 3.3 Ví dụ cụ thể 76 KẾT LUẬN .80 TÀI LIỆU THAM KHẢO 82 DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH Population: tổng thể Observation: quan sát Observable: quan sát Unobservable: không quan sát Prior probability: xác suất tiên nghiệm Posterior probability: xác suất hậu nghiệm Marginal probability: xác suất lề Conjugate family prior: họ phân phối tiên nghiệm liên hợp Classification: phân loại Misclassification: phân loại sai Likelihood function: hàm hợp lý Cost of misclassification: giá phân loại sai Expected cost of misclassification (ECM): kỳ vọng giá phân loại sai Overlapping coefficient: hệ số chồng lấp Incomplete Beta function: hàm Beta khuyết Binomial distribution: phân phối nhị thức Predictive distribution: phân phối dự đoán Improper: tầm thường Credible interval: khoảng tin cậy Bayes inference: suy diễn Bayes Decision theory: lý thuyết định Decision rule: quy tắc định Actions: tác động Loss function: hàm tổn thất Mean squared error: sai số bình phương trung bình Normalizing constant: số chuẩn hóa Proportional: tỷ lệ Effectiveness: tính hiệu PHẦN MỞ ĐẦU Lý chọn đề tài Trong thực tế có nhiều vấn đề địi hỏi phải giải toán phân loại phân biệt tổng thể H1 H , vấn đề nhiều nhà toán học quan tâm lý thuyết ứng dụng Có nhiều phương pháp để giải toán phân loại đề cập chẳng hạn phương pháp phân loại dựa vào phương pháp phân tích phân biệt R.A Fisher (1936), tiêu chuẩn tỷ số hợp lý T.W Aderson (1984) [1], phương pháp sai số Bayes đề cập T.P Logan (1993) nhắc đến nhóm tác giả Pham-Gia, N Tukkan A Bekker (2006) [6],…Trong số phương pháp Bayes xem có hiệu hết tính xác suất sai lầm q trình phân loại Trong tốn phân loại phân biệt, nghiên cứu sai lầm vấn đề quan trọng đặt tiêu chuẩn để đánh giá việc giải toán tốt hay không Số đo phương pháp Bayes gọi sai số Bayes ( Pe ) phân loại tốt sai số Bayes nhỏ Hơn tiêu chuẩn phân loại tốn cịn dựa đánh giá khoảng cách phần tử hay hàm mật độ xác suất, việc chọn khoảng cách thích hợp thuận lợi xử lý tính tốn ln quan tâm đặc biệt Có nhiều khoảng cách đưa tối ưu khoảng cách L1 hàm mật độ đề cập Pham-Gia et al (2006) [6] Thông qua khoảng cách sai số Bayes (cũng mối quan hệ đại lượng toán phân loại phân biệt) đề cập Trong phương pháp phân loại người ta đặc biệt quan tâm đến tổng thể H chứa phần tử chung H1 H , kết hợp từ tổng thể với tỷ lệ Giả sử H1 H ta quan sát biến ngẫu nhiên X , ký hiệu f1 ( x ) , f ( x ) hàm mật độ xác suất tương ứng hai tổng thể gọi π tỷ lệ trộn phần tử H1 H ( ≤ π ≤ 1) , hàm mật độ xác suất biến ngẫu nhiên X tổng thể H có dạng: g = ( x ) π f1 ( x ) + (1 − π ) f ( x ) , − π tỷ lệ trộn phần tử H H Tham số π thường khơng biết cách xác, vấn đề cần quan tâm ước lượng π Ước lượng nghiên cứu McLachlan Basford (1988); Everitt (1985) dựa phương pháp cực đại tỷ số hợp lý phương pháp mômen Trước James (1978) dựa thực tế để ước lượng π đáng ý phải kể đến phương pháp Bayes nhóm tác giả Pham-Gia, N Tukkan A Bekker (2006) [6], phương pháp cho phép ước lượng π với giả thiết π có luật phân phối xác suất tiên nghiệm cụ thể chọn trước Với mong muốn tìm hiểu, nghiên cứu vấn đề nêu, dựa hai báo [6] [7], chúng tơi thực đề tài: “PHÂN TÍCH BAYES THEO CHUẨN L1 ” Mục đích nghiên cứu Đề tài nhằm trình bày phương pháp phân loại phần tử quan sát vào hai tổng thể R theo chuẩn L1 , từ thực phân tích Bayes tìm hàm mật độ hậu nghiệm cho tỷ lệ trộn π hỗn hợp Đồng thời tìm phân phối cho khoảng cách L1 hai hàm mật độ hai tổng thể khoảng cách hai tổng thể Xác định chặn chặn cho sai số Bayes phân loại, cận Lissack – Fu cận Bhattacharyya, qua đánh giá ảnh hưởng phân phối tiên nghiệm π hai loại cận Đối tượng phạm vi nghiên cứu Đề tài chủ yếu tập trung phân tích khái niệm, định lý R theo chuẩn L1 Dựa vào phương pháp Bayes để phân tích tỷ lệ trộn π hỗn hợp Các tổng thể với biến ngẫu nhiên có phân phối chuẩn, mũ, beta mơ hình liệu có phân phối nhị thức Phương pháp nghiên cứu Phương pháp phân tích: Phân tích đề tài để xác định đối tượng phạm vi nghiên cứu Dựa báo, tài liệu tham khảo để phân tích làm rõ vấn đề cần nghiên cứu Phương pháp tổng hợp, khái quát hóa: Tổng hợp, khái quát vấn đề phân tích Nội dung nghiên cứu Luận văn chia làm chương Chương I Kiến thức chuẩn bị Nội dung chương trình bày kiến thức xác suất, định lý Bayes, lý thuyết phương pháp phân tích Bayes làm sở nghiên cứu cho chương sau Chương II Phân tích Bayes theo chuẩn L1 Nội dung: Trình bày phương pháp phân loại phần tử quan sát vào hai tổng thể R theo khoảng cách L1 Phân tích tỷ lệ trộn π phần tử thuộc H1 hỗn hợp H theo phương pháp Bayes với giả thiết π có phân phối tiên nghiệm cho trước dựa vào liệu để phân tích hậu nghiệm cho π Đồng thời dựa khoảng cách L1 để tìm phân phối cho khoảng cách hai hàm mật độ hai tổng thể phân phối hai tổng thể Chương III Cận sai số Bayes toán phân loại Trong chương nêu hai dạng cận sai số Bayes cận Lissack – Fu cận Bhattacharyya phân loại quan sát phần tử vào hai tổng thể xác định Đồng thời đưa khái niệm phép đo tính hiệu để đánh giá thực phân phối so sánh hai phân phối tiên nghiệm 1 CHƯƠNG I KIẾN THỨC CHUẨN BỊ 1.1 Lý thuyết xác suất 1.1.1 Khái niệm xác suất Cho Ω không gian mẫu,  σ − đại số Ω , hàm P :  → R gọi phân phối xác suất độ đo xác suất thỏa mãn tiên đề sau: i) P ( A ) ≥ với A∈  ii) P ( Ω ) =1 iii) Nếu có Ai ∈  , i = 1, , n Ai ∩ Aj =∅, ∀i ≠ j , ∞  ∞ P   Ai  = ∑ P ( Ai )  i =1  i =1 , P ) gọi không gian xác suất, tập A∈  Khi ba ( Ω,  biến cố P ( A ) xác suất biến cố A 1.1.2 Biến ngẫu nhiên Một biến ngẫu nhiên (hay gọi đại lượng ngẫu nhiên) ánh xạ X : → R , với kiện A∈  , X ( A ) nhận tương ứng số thực a Cho B ⊂ R , ta định nghĩa ( ) P ( X ∈ B) = P X −1 ( B ) 1.1.3 Hàm phân phối hàm mật độ 1.1.3.1 Định nghĩa Giả sử X biến ngẫu nhiên ( Ω,  , P ) Hàm phân phối tích lũy hay gọi tắt hàm phân phối (viết tắt cdf) X hàm F : R → [ 0,1] xác định F= ( x) P ( X ≤ x) 1.1.3.2 Định nghĩa Biến ngẫu nhiên X gọi rời rạc X nhận hữu hạn đếm giá trị xi , i = 1, 2, Khi hàm mật độ X định nghĩa f= ( x ) P= ( X x) ∑ f (x ) Như vậy, ta có mối quan hệ F ( x = ) P ( X ≤ x =) xi ≤ x i 1.1.3.3 Định nghĩa Biến ngẫu nhiên X gọi liên tục tồn hàm f ( x ) cho i) f ( x ) ≥ với x +∞ ii) ∫ f ( x ) dx = −∞ iii) Với số a, b cho a ≤ b ta có b P (a < X < b) = ∫ f ( x ) dx a Khi hàm f ( x ) gọi hàm mật độ (pdf) biến ngẫu nhiên X Từ F ( x= ) P ( X ≤ x =) x ∫ f ( t ) dt −∞ f ( x) = F '( x) 1.1.3.4 Một số tính chất Giả sử F hàm biến ngẫu nhiên X Khi i) ≤ F ( x ) ≤ 1, ∀x ii) F ( x ) không giảm iii) lim F ( x ) = , lim F ( x ) = x →−∞ x →+∞ iv) P ( x < X ≤ y= ) F ( y) − F ( x) v) P ( X > x ) =− F ( x) vi) Nếu X liên tục, F ( b ) − F ( a )= P ( a < X < b )= P ( a ≤ X < b ) = P ( a < X ≤ b )= P ( a ≤ X ≤ b ) 1.1.4 Phân phối đồng thời cho hai biến ngẫu nhiên 1.1.4.1 Định nghĩa Cho X Y hai biến ngẫu nhiên độc lập rời rạc Định nghĩa hàm mật độ đồng thời f ( x= , y ) P= = Y y ) Ký hiệu ( X x X x= ,Y y ) = P ( X x= Y y ) viết lại P (= 1.1.4.2 Định nghĩa Giả sử X Y biến ngẫu nhiên liên tục, ta gọi hàm f ( x, y ) hàm mật độ đồng thời cho hai biến ngẫu nhiên liên tục X Y i) f ( x, y ) ≥ với ( x, y ) +∞ + ∞ ii) ∫ ∫ f ( x, y ) dxdy = −∞ −∞ iii) Với tập A ⊂ R x R , ta có P ( ( X , Y ) ∈ A) = ∫∫ f ( x, y ) dxdy A Nếu X , Y hai biến ngẫu nhiên độc lập ta có f ( x, y ) = f X ( x ) fY ( y ) với tất giá trị x y 1.1.5 Phân phối lề 1.1.5.1 Định nghĩa Nếu X , Y biến ngẫu nhiên rời rạc có phân phối đồng thời với hàm mật độ f ( x, y ) Khi hàm mật độ lề cho biến ngẫu nhiên X định nghĩa f X ( x= ) P ( X= x=) ∑ P ( X= y x, Y= y= ) ∑ f ( x, y ) y hàm mật độ lề cho biến ngẫu nhiên Y định nghĩa fY ( y= ) P (Y= y=) ∑ P ( X= x x, Y = y= ) ∑ f ( x, y ) x 1.1.5.2 Định nghĩa Đối với biến ngẫu nhiên X , Y liên tục, ta có hàm mật độ lề f X ( x ) = ∫ f ( x, y ) dy fY ( y ) = ∫ f ( x, y ) dx Chú ý Trong trường hợp X liên tục Y rời rạc Ta có hàm mật độ lề biến ngẫu nhiên liên tục X xác định f X ( x ) = ∑ y f ( x, y ) hàm mật độ lề biến ngẫu nhiên rời rạc Y xác định fY ( y ) = ∫ f ( x, y ) dx 1.1.6 Các biến ngẫu nhiên độc lập có điều kiện 1.1.6.1 Định nghĩa Hai biến ngẫu nhiên X Y gọi độc lập với tập A B R , ta có P ( X ∈ A, Y ∈ B )= P ( X ∈ A ) P (Y ∈ B ) Ngược lại ta nói X Y phụ thuộc Nếu X Y hai biến ngẫu nhiên liên tục có hàm mật độ f X ( x ) fY ( y ) , X Y độc lập f ( x, y ) = f X ( x ) fY ( y ) 1.1.6.2 Xác suất có điều kiện Định nghĩa Nếu biến ngẫu nhiên X Y rời rạc, xác suất có điều kiện biến ngẫu nhiên X cho quan sát Y = y xác định P ( X= x Y = y= ) P (= X x= ,Y y ) P (Y = y ) Từ dẫn đến định nghĩa mật độ có điều kiện f ( x y= ) P ( X= x Y= y=) ,Y y ) P (= X x= = P (Y = y ) f ( x, y ) fY ( y ) , với fY ( y ) > Định nghĩa Nếu biến ngẫu nhiên X Y liên tục hàm mật độ có điều kiện f ( x y) = f ( x, y ) fY ( y ) , fY ( y ) > P ( X ∈ A Y =y ) =∫ f ( x y ) dx A Khi X liên tục Y rời rạc ta có hàm mật độ có điều kiện X Y = y cho = f ( x y) f ( x, y ) f ( x, y ) = fY ( y ) ∫ f ( x, y ) dx Tương tự, phân phối có điều kiện Y = y x cho xác định = f ( y x) f ( x, y ) = fX ( x) f ( x, y ) ∑ f ( x, y ) y 1.1.6.3 Phân phối đa thức Lấy X = ( X , X , , X n ) X i , i = 1, , n biến ngẫu nhiên X gọi vectơ ngẫu nhiên Giả sử f ( x1 , x2 , , xn ) hàm mật độ đồng thời biến X i , i = 1, , n , ta định nghĩa phân phối lề, phân phối có điều kiện chúng giống trường hợp hai chiều Các biến ngẫu nhiên X , X , , X n độc lập n ∏ P(X P ( X ∈ A1 , , X n ∈ = An ) i =1 i ∈ Ai ) , n f ( x1 , x2 , , xn ) = ∏ f X i ( xi ) i =1 Định nghĩa Nếu X , X , , X n biến ngẫu nhiên độc lập X i , i = 1, , n có phân phối với hàm phân phối F ta nói X , X , , X n phân phối độc lập đồng (viết tắt iid) viết X , X , , X n  F Nếu F có hàm mật độ f viết X , X , , X n  f X , X , , X n cịn gọi mẫu ngẫu nhiên kích thước n từ F 1.2 Định lý Bayes 1.2.1 Quy tắc nhân Giả sử A B hai kiện phép thử Ký hiệu P ( A ∩ B ) xác suất kết hợp kiện A B , theo cơng thức xác suất có điều kiện ta có P ( B A) = P ( A ∩ B) P ( A) Bây ta xét kiện A kiện không quan sát xảy khơng xảy Còn B xét kiện quan sát Như kiện B xảy với xuất kiện A phần bù A Cơng thức viết lại quy tắc nhân: P ( A ∩ B) = P ( B A) P ( A) 1.2.2 Định lý Bayes kiện Giả sử A B hai kiện không gian xác suất ( Ω,  , P ) với ( P ( B ) > ) , cơng thức Bayes xác định P( A | B) = P ( B | A) P ( A) P( B) Trong vai trị A, B xét quy tắt nhân Ta có P ( A ) xác suất riêng kiện A không xét đến B , P ( B ) xác suất riêng kiện B chưa biết kiện A xảy ra, P ( A B ) xác suất kiện A biết kiện B xảy ra, P ( B A ) xác suất kiện B kiện A xảy không xảy Nếu { A1 , A2 , , An } hệ đầy đủ kiện B kiện phép thử, định lý Bayes phát biểu = P ( Ak B ) P ( Ak ) P ( B Ak ) = P ( B) P ( Ak ) P ( B Ak ) n ∑ P( A ) P(B A ) i =1 i , (1 ≤ k ≤ n ) , i n với P ( B ) = ∑ P ( Ai ) P ( B Ai ) cơng thức xác suất tồn phần i =1 1.2.3 Trường hợp biến ngẫu nhiên rời rạc Định lý Bayes phát biểu phân phối có điều kiện X x) ( X x ) P= P (= X x= , Y y ) P= (Y y= P ( X= x Y = y= = ) = P (Y y= P (Y y ) ) 1.2.4 Trường hợp biến ngẫu nhiên liên tục Định lý Bayes phát biểu hàm mật độ có điều kiện f ( x y) = fX ( x) f ( y x) fY ( y ) 1.3 Phép biến đổi biến ngẫu nhiên Giả sử X biến ngẫu nhiên với hàm mật độ f hàm phân phối F Giả sử Y = r ( X ) hàm biến ngẫu nhiên X Vấn đề : Xác định hàm mật độ hàm phân phối cho biến ngẫu nhiên Y 1.3.1 Đối với trường hợp biến ngẫu nhiên rời rạc Hàm mật độ Y xác định f ( y= ) P (Y= y=) P ( r ( X=) Y ) ({ }) ( ) = P w : r ( X ( w= ) ) y= P X ∈ r −1 ( y ) 1.3.2 Đối với trường hợp biến ngẫu nhiên liên tục Hàm mật độ f Y tìm theo bước sau {w : r ( X ( w)) ≤ y} i) Với y ,= tìm tập Ay ii) Tìm hàm phân phối xác suất F ( y )= P (Y ≤ y )= P ( r ( X ) ≤ y ) ({ }) ∫ = P w : r ( X= ( w)) ≤ y iii) Ay f ( x ) dx Hàm mật độ xác suất f ( y ) = F ' ( y ) Chú ý Khi r hàm tăng giảm nghiêm ngặt r có hàm ngược s = r −1 Khi hàm mật độ f Y xác định f ( y) = ds ( y ) dy f ( s ( y )) 1.3.3 Trường hợp nhiều biến ngẫu nhiên Giả sử Z = r ( X , Y ) hàm hai biến ngẫu nhiên X Y , chẳng hạn X , X + Y , max { X , Y } hay { X , Y } Khi Y hàm f ( z ) Z xác định sau i) = Với z , tìm tập Az {(u, v ) : r ( X (u ) , Y ( v )) ≤ z} ii) Tìm hàm phân phối xác suất F ( z )= P ( Z ≤ z )= P ( r ( X , Y ) ≤ z ) = P ({(u, v ) : r ( X (u ) , Y ( v )) ≤ z}) = ∫ ∫ f ( x, y ) dxdy Az iii) Hàm mật độ xác suất f ( z ) = F ' ( z ) Đặc biệt Giả sử X liên tục có hàm mật độ f ( t ) , Y có hàm mật độ g ( t ) X , Y độc lập Khi hàm mật độ f ( z ) Z= X + Y xác định sau = f (z) +∞ ∫ f ( z − t ) g ( t ) dt f (z) = −∞ +∞ ∫ f ( t ) g ( z − t ) dt −∞ 1.4 Các số đặc trưng biến ngẫu nhiên 1.4.1 Kỳ vọng biến ngẫu nhiên Kỳ vọng biến ngẫu nhiên X , ký hiệu E ( X ) định nghĩa sau i) E ( X ) = ∑ x xf ( x ) X rời rạc ii) E ( X ) = ∫ xf ( x ) dx X liên tục Chú ý i) Giá trị trung bình hay giá trị kỳ vọng X ký hiệu E(X= ) EX= µ= µ X ii) Nếu biến ngẫu nhiên Y hàm theo X : Y = r ( X ) Khi = E (Y ) E= ( r ( X )) = E (Y ) E= ( r ( X )) ∑ r ( x) f ( x) x ∫ r ( x ) f ( x ) dx X rời rạc X liên tục Tính chất kỳ vọng i) Nếu X , X , , X n biến ngẫu nhiên a1 , a2 , , an số Khi  n  n E  ∑ X i  = ∑ E ( X i ) =  i 1=  i1 ii) Nếu X , X , , X n biến ngẫu nhiên độc lập,  n  n E ∏ Xi  = ∏ E ( Xi ) =  i 1=  i1 iii) Nếu X = ( X , X , , X n ) vectơ ngẫu nhiên, trung bình X định nghĩa E ( X ) = ( E ( X ) , E ( X ) , , E ( X n ) ) Bất đẳng thức kỳ vọng i) Định lý (Bất đẳng thức Cauchy – Schwartz) Nếu biến ngẫu nhiên X Y có phương sai hữu hạn, ( ) ( ) E XY ≤ E X E Y ii) Định lý (Bất đẳng thức Jensen) Nếu f hàm lồi R, nghĩa với ∀x, y ∈ R α ∈ [ 0,1] : f α x + (1 − α ) y  ≤ α f ( x ) + (1 − α ) f ( y ) , E  f ( X )  ≥ f  E ( X )  Nếu f hàm lõm, E  f ( X )  ≤ f  E ( X )  iii) Định lý (Bất đẳng thức liên kết) Giả sử X biến ngẫu nhiên f , g hai hàm đơn điệu không giảm R, E  f ( X ) g ( X )  ≥ E  f ( X )  E  g ( X )  Nếu f hàm đơn điệu tăng g hàm đơn điệu giảm, E  f ( X ) g ( X )  ≤ E  f ( X )  E  g ( X )  Các bất đẳng thức áp dụng tất kỳ vọng tồn hữu hạn 1.4.2 Phương sai biến ngẫu nhiên Phương sai biến ngẫu nhiên X với trung bình µ , ký hiệu Var ( X ) σ định nghĩa = σ E(X − µ) Từ = σ2 ∑ x x f ( x ) − µ X rời rạc 10 = σ2 ∫ x f ( x) − µ 2 X liên tục Độ lệch chuẩn biến ngẫu nhiên X xác định σ X = Var ( X ) Nếu biến ngẫu nhiên Y hàm theo X : Y = r ( X ) Khi = Var (Y ) Var = ( r ( X )) = Var (Y ) Var = ( r ( X )) ∑ r ( x ) f ( x ) −  E (Y ) 2 x X rời rạc ∫ r ( x ) f ( x ) dx −  E (Y ) X liên tục 2 Tính chất a Var ( X ) i) Nếu a b số, Var ( aX + b ) = ii) Nếu X , X , , X n biến ngẫu nhiên độc lập a1 , a2 , , an số,  n  n Var  ∑ X i  = ∑ Var ( X i ) =  i 1=  i1 1.5 Một số phân phối biến ngẫu nhiên 1.5.1 Phân phối biến ngẫu nhiên rời rạc 1.5.1.1 Phân phối Với số nguyên k > , giả sử biến ngẫu nhiên X có hàm mật độ cho f= ( x) = , x 1, , k k f ( x ) = trường hợp ngược lại Khi ta nói X có phân phối {1, 2, , k } 1.5.1.2 Phân phối Bernoulli Trong phép thử biến ngẫu nhiên X nhận hai giá trị X nhận giá trị với xác suất thành công p ( ≤ p ≤ 1) nhận giá trị trường hợp ngược lại, ta có P ( X = 1) = p, P ( X = ) = − p Chẳng hạn thực phép thử tung đồng tiền kim loại đồng chất có hai mặt xấp ngửa, giả sử thành cơng phép thử xuất mặt ngửa X nhận 11 giá trị mặt ngửa xuất với xác suất p ( ≤ p ≤ 1) ngược lại đồng tiền xuất mặt xấp Khi ta nói X có phân phối Bernoulli, ký hiệu X ∼ Bernoulli ( p ) Với hàm mật độ X f ( x) = p x (1 − p ) , x ∈ {0,1} 1− x Kỳ vọng phương sai = E ( X ) = p Var ( X ) p(1 − p) 1, , n Giả sử X , X , , X n biến ngẫu nhiên độc lập, X i ∼ Bernoulli ( p ) , i = Khi hàm mật độ X = ( X , X , , X n ) = f ( x) n n f ( x ) ∏ p (1 − p ) ∏= 1− xi xi i =i =i 1, , n , với xi ∈ {0,1} , i = 1.5.1.3 Phân phối Nhị thức Giả sử X , X , , X n biến ngẫu nhiên độc 1, , n lập, X i ∼ Bernoulli ( p ) , i = n Đặt Y = ∑ X i Khi Y gọi có phân phối nhị thức, ký hiệu Y  B ( n, p ) i =1 với hàm mật độ ( ) p (1 − p ) f ( y= ) P (Y= y=) n y y n− y , với y ∈ {0,1, , n} , ( ) = y !( nn−! y )! n y  n  Y  B ∑ k  ∑ nk , p  = k 1= k  Chú ý Nếu Yk  B ( nk , p ) n Kỳ vọng phương sai Y E (Y ) = np Var (= Y ) np (1 − p ) Lưu ý công thức Y biến ngẫu nhiên, y giá trị riêng Y n p tham số Trong thực tế tham số p thường chưa biết phải ước lượng từ liệu 12 1.5.1.4 Phân phối Nhị thức âm Giả sử phép thử X biến ngẫu nhiên nhận hai kết quả, thành công với xác suất p không thành công với xác suất − p , ( ≤ p ≤ 1) Cho s giá trị cố định, thực phép thử với biến ngẫu nhiên X s lần thành cơng dừng Khi X gọi có phân phối nhị thức âm (hay phân phối Pascal), ký hiệu X  NB ( s, p ) với hàm mật độ f ( x= ) P ( X= x=) ( x + s −1 x ) p (1 − p ) s ( ) x −1 s f ( x) = P( X = x) = s −1 p (1 − p ) Hoặc x x−s , với x = 0,1, ,x = s, s + 1, Kỳ vọng phương sai E(X ) = s (1 − p ) p Var= (X) s (1 − p ) E ( X ) +  E ( X )  = p s  n  Y  NB ∑ k  ∑ nk , p  = k 1= k  Chú ý Nếu Yk  NB ( nk , p ) n 1.5.2 Phân phối biến ngẫu nhiên liên tục 1.5.2.1 Phân phối Biến ngẫu nhiên liên tục X có hàm mật độ  , x ∈ [ a, b ] ,  f ( x) = b − a 0, x ∉ [ a, b ]  gọi có phân phối [ a, b ] , ký hiệu X  Uniform [ a, b ] hay X  R [ a, b ] Khi hàm phân phối xác suất X xác định 0, x < a, x−a  = F ( x)  , x ∈ [ a, b ] , b − a 1, x > b Trung bình phương sai a+b = E(X ) = , Var ( X ) (a − b) 12