Ước lượng điểm cho tham số của mô hình

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KHOA TỐN - - KHĨA LUẬN TỐT NGHIỆP ĐỀ TÀI: ƯỚC LƯỢNG ĐIỂM CHO THAM SỐ CỦA MÔ HÌNH GVHD Sinh viên : TS Tơn Thất Tú : Võ Phạm Tú Băng Đà Nẵng, năm 2023 LỜI CẢM ƠN Lời đầu tiên, em xin bày tỏ lòng kính trọng biết ơn đến với thầy giáo TS Tơn Thất Tú – người dìu dắt em từ kiến thức giảng đường hướng dẫn khóa luận tốt nghiệp lần Trong q trình nghiên cứu, em gặp khơng khó khăn thiếu sót mặt kiến thức lẫn kỹ Nhưng khơng ngại điều đó, thầy Tơn Thất Tú hướng dẫn tận tình cặn kẽ để em hồn thành khóa luận Thầy gương học tập nghiên cứu, đồng thời chỗ dựa vững chắc, động lực để em thực tốt khơng phạm vi khóa luận mà cịn chặng đường học tập sau Cuối cùng, em xin gửi lời cảm ơn chân thành đến q thầy khoa Tốn trường ĐHSP Đà Nẵng Những kiến thức mà em học tích lũy nhờ vào tận tâm thầy cô giảng đường để em có tảng vững hồn thành khóa luận Em xin chân thành cảm ơn! Võ Phạm Tú Băng MỤC LỤC 1.1 Biến ngẫu nhiên 1.1.1 Kỳ vọng toán 1.1.2 Phương sai 1.2 Một số phân phối thường gặp 1.2.1 Phân phối nhị thức 1.2.2 Phân phối Poisson 1.2.3 Phân phối 1.2.4 Phân phối mũ 1.2.5 Phân phối chuẩn 1.3 Tổng thể mẫu 10 1.3.1 Khái niệm tổng thể mẫu 10 1.3.1.1 Chọn mẫu từ tổng thể hữu hạn 11 1.3.1.2 Chọn mẫu từ tổng thể vô hạn 12 1.3.2 Các số đặc trưng mẫu số liệu 12 1.3.2.1 Trung bình, phương sai độ lệch chuẩn mẫu 13 1.3.2.2 Trung vị mẫu 14 2.1 Khái niệm 15 2.2 Một số loại ước lượng 16 2.3 Phương pháp tìm ước lượng 19 2.3.1 Phương pháp hợp lý cực đại 19 2.3.2 Phương pháp mô-men 25 2.4 Bất đẳng thức Cramer-Rao 26 MỞ ĐẦU Lý chọn đề tài : Thống kê khoa học điều tra thu thập liệu, tổ chức xếp liệu, trình bày, diễn giải phân tích liệu nhằm rút thơng tin hữu ích từ liệu thu Xác suất thống kê đóng vai trị quan trọng q trình nghiên cứu để đưa số có ý nghĩa giúp cho nhà phân tích thống kê có kết xác thực để cải thiện vấn đề liên quan đến đời sống xã hội Đặc biệt, thời đại bùng nổ công nghệ - thông tin nay, thống kê công cụ quan trọng công việc nhà chun mơn thuộc nhiều lính vực khác nhau, hoạt động thường ngày xã hội y tế, tâm lý, giáo dục, xã hội học, vật lý, luật học, kinh doanh, công nghiệp,… Khi học Lý thuyết xác suất làm quen với số dạng phân phối thường gặp sống, chẳng hạn: phân phối nhị thức, Poisson, chuẩn, mũ, … Nói chung phân phối định nghĩa dựa tham số Về mặt thực tế, tham số thường có ý nghĩa định việc thay đổi giá trị tham số dẫn đến thay đổi quy luật vận động mơ hình Chẳng hạn, tham số p phân phối nhị thức 𝐵(𝑛, 𝑝) cho ta biết xác suất “thành công” hay tham số µ phân phối chuẩn N(µ,𝜎 ) cung cấp hình ảnh vị trí trung tâm tập liệu, … Trong nhiều mơ hình tốn, biết có sở phán đốn liệu thu ta đưa đánh giá giá trị tham số chưa biết hay khơng? Có hai hướng tiếp cận phổ biến với vấn đề trên: (i) xây dựng giá trị xấp xỉ cho tham số chưa biết (ii) xây dựng khoảng giá trị cho tham số chưa biết Từ đó, ta tốn ước lượng điểm ước lượng khoảng tin cậy Với mong muốn tìm hiểu kỹ ước lượng điểm với tham số mơ tính chất nó, hướng dẫn thầy giáo TS Tôn Thất Tú định chọn đề tài : “Ước lượng điểm cho tham số mơ hình” làm đề tài cho khóa luận Mục đích nghiên cứu : Trong đề tài này, tơi trình bày số phương pháp tìm ước lượng điểm cho tham số mơ hình nghiên cứu số tính chất ước lượng điểm Đối tượng nghiên cứu : Một số tính chất ước lượng điểm, ước lượng không chệch tiệm cận, ước lượng không chệch tỉ lệ, phương pháp hợp lí cực đại, phương pháp mơmen Phạm vi nghiên cứu : Nghiên cứu khái niệm phân loại ước lượng, tính chất ước lượng điểm cho tham số mơ hình, mối quan hệ ước lượng khơng chệch ước lượng không chệch tỉ lệ, phương pháp hợp lí cực đại, phương pháp mơmen Phương pháp nghiên cứu :  Tham khảo tài liệu, hệ thống lại số kiến thức xác suất thống kê  Thu nhập sách, báo khoa học tác giả trước liên quan đến tính chất ước lượng điểm cho tham số mơ hình, phương pháp hợp lí cực đại phương pháp Mơmen  Đọc kỹ chứng minh chi tiết kết tìm kiếm  Phân tích, đánh giá, tổng hợp trao đổi với thầy hướng dẫn kết nghiên cứu để hồn chỉnh đề tài Cấu trúc đề tài : Nội dung đề tài trình bày hai chương Ngồi ra, đề tài có Lời cảm ơn, Mục lục, phần Mở đầu, phần Kết luận tài liệu tham khảo Chương trình bày số kiến thức biến ngẫu nhiên, số đặc trưng, phân phối thường gặp thống kê mô tả nhằm phục vụ cho mục đích nghiên cứu chương Chương trình bày tốn ước lượng điểm cho tham số mơ hình bao gồm khái niệm, phân loại, phương pháp tìm ước lượng điểm số chất chúng Chương CƠ SỞ LÝ THUYẾT Chương trình bày số kiến thức Xác suất Thống kê Toán nhằm mục đích phục vụ cho việc chứng minh số kết chương sau 1.1 Biến ngẫu nhiên Định nghĩa 1.1 [1] Cho không gian xác suất (Ω, F, P) Ánh xạ 𝑋 ∶ Ω → 𝑅 gọi biến ngẫu nhiên với 𝐴 ∈ B(𝑅): 𝑋 −1 (𝐴) = {𝜔 ∈ Ω ∶ 𝑋(𝜔) ∈ 𝐴} ∈ F Tập tất giá trị 𝑋 gọi miền giá trị 𝑋 kí hiệu 𝑋(Ω) Ví dụ 1.1 Tung đồng xu xuất mặt sấp dừng lại Gọi 𝑋 số lần tung Kí hiệu hai mặt sấp ngửa đồng xu 𝑆 𝑁 Ta có khơng gian mẫu: Ω = {𝑆, 𝑁𝑆, 𝑁𝑁𝑆, } 𝜎 −đại số F tập tất tập Ω Xét ánh xạ 𝑋 ∶ Ω → 𝑅 xác định sau: 𝑋 ({ 𝑁 ⏟ 𝑁 𝑆}) = 𝑘, 𝑘 ≥ 𝑘−1 𝑙ầ𝑛 −1 Với 𝐴 ∈ B(𝑅), 𝑋 (𝐴) tập Ω nên 𝑋 −1 (𝐴) ∈ F Vậy, 𝑋 biến ngẫu nhiên Ví dụ 1.2 Chọn ngẫu nhiên sinh viên trường đại học A, gọi 𝑋 chiều cao sinh viên Ta có khơng gian mẫu Ω = { tồn sinh viên đại học 𝐴}, 𝜎 −đại số F tập tất tập Ω Khi với sinh viên ∈ Ω, X(sv) = chiều cao sinh viên Tương tự Ví dụ 1.1 ta có 𝑋 biến ngẫu nhiên Các số đặc trưng 1.1.1 Kỳ vọng toán Định nghĩa 1.2 Cho biến ngẫu nhiên X xác định không gian xác suất (Ω, F, P) có hàm phân phối xác suất FX (x) Khi đó, : ∫ |x|dFX (x) < +∞ 𝐑 (trong tích phân vế phải tích phân Lebesgue - Stieltjes) giá trị ∫ |x|dFX (x) 𝐑 gọi kỳ vọng biến ngẫu nhiên X, kí hiệu E(X), tức là: E(X) ∫ |x|dFX (x) 𝐑 Tính chất 1) Nếu 𝑋 = 𝐶 số 𝐸(𝐶) = 𝐶 2) Nếu 𝑎, 𝑏 ∈ R 𝑋, 𝑌 hai biến ngẫu nhiên xác định khơng gian xác suất (Ω, F, P) thì: 𝐸(𝑎𝑋 + 𝑏) = 𝑎𝐸(𝑋) + 𝑏 𝑣à 𝐸(𝑋 ± 𝑌 ) = 𝐸(𝑋) ± 𝐸(𝑌 ) Định lí 1.1 [2] i) Nếu biến ngẫu nhiên rời rạc 𝑋 có hàm xác suất 𝑝(𝑥) thì: 𝐸(𝑋) ∑ 𝑥𝑘 𝑝(𝑥𝑘 ) 𝑥𝑘 ∈𝑋(𝛺) ii) Nếu biến ngẫu nhiên liên tục 𝑋 có hàm mật độ xác suất 𝑓(𝑥) thì: +∞ 𝐸(𝑋) = ∫ 𝑥𝑓(𝑥)𝑑𝑥 −∞ Định lí 1.2 Cho X biến ngẫu nhiên g(x) hàm Borel R cho ∫ |g(x)|dFX (x) < ∞ 𝐑 Khi đó, i) Nếu biến ngẫu nhiên rời rạc 𝑋 có hàm xác suất 𝑝(𝑥) thì: 𝐸(𝑔(𝑋)) = ∑ 𝑔(𝑥𝑘 )𝑝(𝑥𝑘 ) 𝑥𝑘 ∈𝑋(𝛺) ii) Nếu biến ngẫu nhiên liên tục 𝑋 có hàm mật độ xác suất 𝑓(𝑥) thì: +∞ 𝐸(𝑔(𝑋)) = ∫ 𝑔(𝑥)𝑓(𝑥)𝑑𝑥 −∞ 1.1.2 Phương sai Định nghĩa 1.3 Cho biến ngẫu nhiên X xác định không gian xác suất (Ω, F, P) Khi đó, tồn kỳ vọng E(X − E(X))2 giá trị gọi phương sai biến ngẫu nhiên X, kí hiệu V (X) (V ar(X), D(X)), tức là: V (X) = E(X − E(X)) Giá trị 𝑆𝐷(𝑋) = √𝑉 (𝑋) gọi độ lệch chuẩn 𝑋 Tính chất 1.1 1) V (X) ≥ 0, V (X) = 𝑃(𝑋 = 𝐶) = (𝐶 − số) 2) 𝑉 (𝑋) = 𝐸(𝑋 ) − (𝐸(𝑋))2 3) 𝑉 (𝑎𝑋 + 𝑏) = 𝑎2 𝑉 (𝑋) với 𝑎, 𝑏 ∈ 𝑅 Định lí 1.3 1) Nếu biến ngẫu nhiên rời rạc X có hàm xác suất p(x) thì: 𝑉(𝑋) = ∑ 𝑥𝑘2 𝑝(𝑥𝑘 ) − ( ∑ 𝑥𝑘 𝑝(𝑥𝑘 )) 𝑥𝑘 ∈𝑋(𝛺) 𝑥𝑘 ∈𝑋(𝛺) 2) Nếu biến ngẫu nhiên liên tục 𝑋 có hàm mật độ xác suất 𝑓(𝑥) thì: +∞ 𝑉(𝑋) = ∫ +∞ 𝑥 𝑓(𝑥)𝑑𝑥 − (∫ −∞ 𝑥𝑓(𝑥)𝑑𝑥) −∞ 1.2 Một số phân phối thường gặp 1.2.1.Phân phối nhị thức [1] Định nghĩa 1.4 Biến ngẫu nhiên rời rạc X gọi có phân phối nhị thức với tham số n p (n ∈ 𝑁 ∗ 𝑣à < p < 1) X có miền giá trị X(Ω) = {0, 1, , n} hàm xác suất: C k pk (1 − p)n−k , k ∈ X(Ω) p(k) = { n 0, k ∉ X(Ω) Kí hiệu: X ∼ B(n, p) Tính chất 1.2 1) Nếu X ∼ B(n, p) E(X) = np V (X) = np(1 − p) 2) Nếu X1 , X2 , , Xn n biến ngẫu nhiên độc lập, phân phối xác suất với X ∼ Ber(p) biến ngẫu nhiên T = X1 + X2 + +Xn có phân phối nhị thức B(n, p) Nhận xét 1.1 a) B(1, p) phân phối Ber(p) b) Xét dãy n phép thử Bernoulli với xác suất thành công p Lúc đó, gọi X biến ngẫu nhiên số lần thành cơng dãy 𝑛 phép thử 𝑋 ∼ 𝐵(𝑛, 𝑝) 1.2.2.Phân phối Poisson Định nghĩa 1.5 Biến ngẫu nhiên rời rạc X gọi có phân phối Poisson với tham số λ (λ > 0) X có miền giá trị 𝑁 = {0, 1, 2, } hàm xác suất: 𝑒 −𝜆 𝜆𝑘 𝑝(𝑘) = { 𝑘! , 𝑘 ∈ 𝑁 0, 𝑘 ∉ 𝑁 Kí hiệu: 𝑋 ∼ 𝑃𝑜𝑖(𝜆) Tính chất 1.3 1) Nếu X ∼ Poi(λ) E(X) = λ, V (X) = λ 2) Nếu X1 , X2 , , Xn n biến ngẫu nhiên độc lập, phân phối với X ∼ Poi(λ) biến ngẫu nhiên T = X1 + X2 + + Xn có phân phối Poisson Poi(nλ) 1.2.3 Phân phối Định nghĩa 1.6 Biến ngẫu nhiên liên tục X gọi có phân phối đoạn [a; b] (a < b) có hàm mật độ xác suất: , 𝑛ế𝑢 𝑥 ∈ [𝑎; 𝑏] 𝑓(𝑥) = {𝑏 − 𝑎 0, 𝑛ế𝑢 𝑥 ∉ [𝑎; 𝑏] Kí hiệu: 𝑋 ∼ 𝑈([𝑎; 𝑏]) Tính chất 1.4 Nếu X ∼ U([a; b])thì E(X) = 𝑎+𝑏 , 𝑉(𝑋) = (𝑏−𝑎)2 12 1.2.4 Phân phối mũ Định nghĩa 1.7 Biến ngẫu nhiên liên tục X gọi có phân phối mũ với tham số λ (λ > 0) có hàm mật độ 𝜆𝑒 −𝜆𝑥 , 𝑛ế𝑢 𝑥 ≥ 𝑓(𝑥) = { 0, 𝑛ế𝑢 𝑥 < Kí hiệu: 𝑋 ∼ 𝐸𝑥𝑝(𝜆) 1 𝜆 𝜆2 Tính chất 1.5 Nếu 𝑋 ∼ 𝐸𝑥𝑝(𝜆) 𝐸(𝑋) = , 𝑉 (𝑋) = 1.2.5 Phân phối chuẩn Định nghĩa 1.8 Biến ngẫu nhiên liên tục X gọi có phân phối chuẩn với tham số µ σ (−∞ < µ < +∞, σ > 0) có hàm mật độ xác suất: (𝑥−𝜇)2 − 𝑓(𝑥) = 𝑒 2𝜎2 , 𝑥 ∈ ℝ 𝜎√2𝜋 Kí hiệu 𝑋 ∼ 𝑁(µ, 𝜎 ) Phân phối chuẩn tắc Biến ngẫu nhiên có phân phối chuẩn với tham số µ = σ = gọi biến ngẫu nhiên có phân phối chuẩn tắc kí hiệu Z Khi đó, hàm mật độ xác suất kí hiệu φ(x), −𝑥 φ(x) = 𝑒 , 𝑥 ∈ ℝ 2𝜋 √ Hàm phân phối xác suất kí hiệu 𝛷(x), tức 𝛷(x) = P(Z < x) hay 𝑥 𝛷(x) = ∫ φ(t)𝑑𝑡 = −∞ √2𝜋 𝑥 ∫ 𝑡2 − 𝑒 𝑑𝑡, 𝑥 ∈ ℝ −∞ Tính chất 1.6 Cho biến ngẫu nhiên 𝑋 ∼ 𝑁(µ, 𝜎 ) Khi đó: 1) E(X) = µ, V (X) = σ2 2) Nếu 𝑋 ∼ 𝑁(µ, 𝜎 ) 𝑌 = 𝑎𝑋 + 𝑏 ∼ 𝑁(𝑎µ + 𝑏, 𝑎2 𝜎 ), 𝑎 ≠ Đặc biệt, 𝑋−𝜇 𝑍= ~𝑁(0; 1) 𝜎 3) Nếu 𝑋1 , , 𝑋𝑛 biến ngẫu nhiên độc lập có phân phối chuẩn 𝑋𝑖 ~𝑁(𝜇𝑖 , 𝜎𝑖2 ), 𝑖 = ̅̅̅̅̅ 1, 𝑛 ∼thì biến ngẫu nhiên 𝑋 = 𝜆1 𝑋1 + + 𝜆𝑛 𝑋𝑛 + 𝐶 (𝜆𝑖 , 𝐶 số, ∑𝑛𝑖=1 𝜆2𝑖 ≠ có phân phối chuẩn với: 𝑛 𝑛 𝜇𝑋 = 𝐸(𝑋) = 𝐸 (∑ 𝜆𝑖 𝑋𝑖 + 𝐶 ) = ∑ 𝜆𝑖 𝜇𝑖 + 𝐶 𝑖=1 𝑛 𝑖=1 𝑛 𝜎𝑋2 = 𝑉(𝑋) = 𝑉 (∑ 𝜆𝑖 𝑋𝑖 + 𝐶 ) = ∑ 𝜆2𝑖 𝜎𝑖2 { 𝑖=1 𝑖=1 Đặc biệt, 𝑋1 , , 𝑋𝑛 độc lập có phân phối chuẩn 𝑁(µ, 𝜎 ) 𝑋 + + 𝑋𝑛 𝜎 𝑋 = 𝑋1 , , 𝑋𝑛 ~𝑁(𝑛µ, 𝑛 𝜎 ); ̅𝑋 = ~𝑁(µ, ) 𝑛 𝑛 1.3 Tổng thể mẫu 1.3.1.Khái niệm tổng thể mẫu Định nghĩa 1.9 Tổng thể tập hợp tất phần tử Ω mà ta cần nghiên cứu tính chất 𝑋 Tổng thể hữu hạn vơ hạn - Việc chọn tập tổng thể gọi phép lấy mẫu Tập gọi mẫu Số lượng phần tử mẫu gọi kích thước mẫu hay cỡ mẫu Mẫu ngẫu nhiên Để áp dụng lý thuyết xác suất vào thống kê toán ta đưa định nghĩa mẫu ngẫu nhiên sau Định nghĩa 1.10 Cho biến ngẫu nhiên 𝑋 Bộ 𝑛 biến ngẫu nhiên {𝑋1 , 𝑋2 … , 𝑋𝑛 } gọi mẫu ngẫu nhiên 𝑋 thỏa mãn điều kiện sau: (i) 𝑋1 , 𝑋2 … , 𝑋𝑛 biến ngẫu nhiên độc lập (ii) 𝑋1 , 𝑋2 … , 𝑋𝑛 có phân phối xác suất với 𝑋 Như vậy, mẫu giá trị cụ thể {x1 , x2 , … , xn } xem giá trị mẫu ngẫu nhiên {𝑋1 , 𝑋2 … , 𝑋𝑛 } 10 = 𝑉(𝜃̂) + 𝑏 (𝜃) Như vậy, để làm nhỏ mức độ biến động 𝐸(𝜃̂ − 𝜃 ) ta phải xây dựng ước lượng 𝜃̂ cho 𝑉(𝜃̂) + 𝑏 (𝜃) nhỏ Đối với lớp ước lượng không chệch, điều đồng nghĩa ước lượng 𝜃̂ có 𝑉(𝜃̂) nhỏ tốt Định nghĩa 2.4 Cho 𝜃̂1 , 𝜃̂2 hai ước lượng không chệch tham số 𝜃 Ta nói ước lượng 𝜃̂1 hiệu ước lượng 𝜃̂2 𝑉(𝜃̂1 ) < 𝑉(𝜃̂2 ) Ước lượng 𝜃̂ 𝜃 ước lượng khơng chệch có phương sai 𝑉(𝜃̂) bé gọi ước lượng tốt Ví dụ 2.3 Cho 𝑋1 , 𝑋2 , 𝑋3 mẫu ngẫu nhiên từ phân phối chuẩn N(µ,𝜎 ) hai ước lượng tham số µ: 𝑋1 + 𝑋2 + 𝑋3 𝑋1 + 2𝑋2 + 3𝑋3 µ̂1 = , µ̂2 = Chứng minh µ̂1 , µ̂2 ước lượng không chệch µ Trong hai ước lượng này, ước lượng hiệu hơn? Giải: Thật vậy, hai ước lượng µ̂1 𝑣à µ̂2 ước lượng khơng chệch µ : 𝐸𝑋1 + 𝐸𝑋2 + 𝐸𝑋3 µ + µ + µ 𝐸(µ̂1 ) = = = µ, 3 𝐸𝑋1 + 2𝐸𝑋2 + 3𝐸𝑋3 µ + 2µ + 3µ 𝐸(µ̂2 ) = = = µ Ngồi ra, 𝑉(𝑋1 ) + 𝑉(𝑋2 ) + 𝑉(𝑋3 ) 𝜎 = , 𝑉(𝑋1 ) + 4𝑉(𝑋2 ) + 9𝑉(𝑋3 ) 7𝜎 𝑉(µ̂2 ) = = 36 18 Vì 𝑉(µ̂1 ) < 𝑉(µ̂2 ) nên ước lượng µ̂1 hiệu 𝑉(µ̂1 ) = Giả sử p tỉ lệ phần tử có tính chất A tổng thể (chẳng hạn tỉ lệ phế phẩm dây chuyền sản xuất, tỉ lệ nam giới địa phương,… ) Ta sử dụng phân phối Bernoulli để mô tả cách phần tử gán với tổng thể đó, ta đặt : 𝑛ế𝑢 𝑝ℎầ𝑛 𝑡ử 𝑐ó 𝑡í𝑛ℎ 𝑐ℎấ𝑡 𝐴 𝑋={ 𝑛ế𝑢 𝑝ℎầ𝑛 𝑡ử 𝑘ℎơ𝑛𝑔 𝑐ó 𝑡í𝑛ℎ 𝑐ℎấ𝑡 𝐴 Khi X có phân phối Bernoulli với tham số p Định lý 2.3 Cho biến ngẫu nhiên X có phân phối Bernoulli với tham số p Gọi (𝑋1 , 𝑋2 … , 𝑋𝑛 ) mẫu ngẫu nhiên X Khi : 18 𝑋1 + 𝑋2 + ⋯ + 𝑋𝑛 𝑛 ước lượng không chệch tham số p 𝑃̂ = 2.3 Phương pháp tìm ước lượng 2.3.1 Phương pháp hợp lý cực đại Định nghĩa 2.5 Cho {𝑘1 , 𝑘2 , … , 𝑘𝑛 } mẫu ngẫu nhiên với kích thước n phân phối rời rạc X có hàm xác suất p(k, 𝜃) với 𝜃 tham số chưa biết Hàm hợp lí L(𝜃) hàm định nghĩa sau : 𝑛 𝐿(𝜃) = ∏ 𝑝(𝑘𝑖 , 𝜃 ) 𝑖=1 Hàm hợp lí 𝐿(𝜃) hàm xác suất (mật độ xác suất) đồng thời mẫu ngẫu nhiên Định nghĩa 2.6 Cho hàm hợp lí 𝐿(𝜃) với tham số θ chưa biết Nếu 𝜃𝑀𝐿 giá trị tham số thỏa mãn 𝐿(𝜃𝑀𝐿 ) ≥ 𝐿(𝜃) với θ 𝜃𝑀𝐿 gọi ước lượng hợp lí cực đại θ Có thể thấy 𝜃𝑀𝐿 điểm mà hàm hợp lí 𝐿(𝜃) đạt giá trị lớn Theo tính chất hàm số khả vi, hàm 𝐿(𝜃) có đạo hàm θ = 𝜃𝑀𝐿 𝐿′ (𝜃𝑀𝐿 ) = Do đó, thực hành để tìm ước lượng hợp lý cực đại ta giải phương trình: 𝐿′ (𝜃) = Vì hàm 𝐿(𝜃) hàm ln(𝐿(𝜃)) chung điểm đạt cực trị nên số trường hợp thay tìm cực trị hàm 𝐿(𝜃) ta đưa tìm cực trị hàm ln(𝐿(𝜃)) thuận lợi thực tính tốn Lưu ý trường hợp 𝜃 vecto tham số, tức 𝜃 = (𝜃1 , … , 𝜃𝑚 ), để tìm ước lượng hợp lý cực đại ta giải hệ phương trình sau đây: 𝜕𝐿(𝜃) 𝜕𝑙𝑛𝐿(𝜃) = 0, =0 𝜕𝜃1 𝜕𝜃1 … … ℎ𝑜ặ𝑐 𝜕𝐿(𝜃) 𝜕𝑙𝑛𝐿(𝜃) =0 = { 𝜕𝜃𝑚 { 𝜕𝜃𝑚 19 Ví dụ 2.4 Tìm ước lượng tham số phân phối Poisson phương pháp ước lượng hợp lí cực đại Giải: Phân phối Poisson với tham số 𝜆 có hàm xác suất: 𝜆𝑥 −𝜆 𝑓(𝑥) = 𝑒 , 𝑥 = 0,1, … 𝑥! Giả sử {𝑥1 , … , 𝑥𝑛 } mẫu ngẫu nhiên từ phân phối Khi đó, hàm hợp lý 𝐿(𝜆) xác định : 𝑛 𝑛 𝜆∑𝑖=1 𝑥𝑖 −𝑛𝜆 𝐿(𝜆) = ∏ 𝑓(𝑥𝑖 ) = 𝑛 𝑒 ∏𝑖=1 𝑥𝑖 ! 𝑖=1 Suy : 𝑛 𝑛 𝑙𝑛 𝐿(𝜆) = ∑ 𝑥𝑖 𝑙𝑛(𝜆) − ln ((∏ 𝑥𝑖 !) − 𝑛𝜆 𝑖=1 𝑖=1 Do đó: 𝑛 𝑛 𝑖=1 𝑖=1 𝑑𝑙𝑛𝐿(𝜆) 1 = ∑ 𝑥𝑖 − 𝑛 = ⇔ 𝜆 = ∑ 𝑥𝑖 𝑑𝜆 𝜆 𝑛 Vậy ước lượng hợp lí cực đại 𝜆𝑀𝐿 𝜆 𝜆𝑀𝐿 = ∑𝑛𝑖=1 𝑥𝑖 𝑛 Ví dụ 2.5 Tìm ước lượng tham số phân phối mũ phương pháp ước lượng hợp lí cực đại Giải: Phân phối mũ với tham số λ có hàm mật độ xác suất: 𝑓(𝑥) = λ 𝑒 −λ x , 𝑥 > Giả sử {𝑥1 , … , 𝑥𝑛 } mẫu ngẫu nhiên từ phân phối Khi đó, hàm hợp lý 𝐿(𝜆) xác định : 𝑛 𝑛 𝐿(𝜆) = ∏ 𝑓(𝑥𝑖 ) = 𝜆𝑛 𝑒 −𝜆 ∑𝑖=1 𝑥𝑖 𝑖=1 20 Suy ra: 𝑛 𝑙𝑛𝐿(𝜆) = 𝑛𝑙𝑛(𝜆) − 𝜆 ∑ 𝑥𝑖 𝑖=1 Do đó: 𝑛 𝑑𝑙𝑛𝐿(𝜆) 𝑛 𝑛 = − ∑ 𝑥𝑖 = ⇔ 𝜆 = 𝑛 ∑𝑖=1 𝑥𝑖 𝑑𝜆 𝜆 𝑖=1 𝑛 Vậy, ước lượng hợp lí cực đại 𝜆𝑀𝐿 𝜆 là: 𝜆𝑀𝐿 = ∑𝑛 𝑖=1 𝑥𝑖 Ví dụ 2.6 Tìm ước lượng tham số 𝜃 > phân phối đoạn [0, 𝜃] phương pháp hợp lí cực đại Giải: Phân phối đoạn [0, 𝜃] có hàm mật độ xác suất: 𝑓(𝑥) = { 1/0, 𝑥 ∈ [0, 𝜃] 0, 𝑥 ∉ [0, 𝜃] Giả sử {𝑥1 , … , 𝑥𝑛 } mẫu ngẫu nhiên từ phân phối Khi đó, hàm hợp lý 𝐿(𝜃) : 𝐿(𝜃) = 𝜃𝑛 Vì 𝑥𝑖 ∈ [0, 𝜃], 𝑖 = ̅̅̅̅̅ 1, 𝑛 nên hàm hợp lý 𝐿(𝜃) đạt giá trị lớn 𝜃 = 𝑥𝑚𝑎𝑥 với 𝑥𝑚𝑎𝑥 = 𝑚𝑎𝑥{𝑥1 , … , 𝑥𝑛 } Vậy ước lượng hợp lý cực đại 𝜃 𝜃𝑀𝐿 = 𝑥𝑚𝑎𝑥 Ví dụ 2.7 Tìm ước lượng tham số phân phối chuẩn N(µ,𝜎 ) phương pháp ước lượng hợp lí cực đại Giải: Phân phối chuẩn N(µ,𝜎 ) có hàm mật độ xác suất : −(𝑥 − µ)2 𝑓(𝑥) = 𝑒𝑥𝑝 ( ) 2𝜎 𝜎√2𝜋 Giả sử {𝑥1 , … , 𝑥𝑛 } mẫu ngẫu nhiên từ phân phối Khi đó, hàm hợp lý 𝐿(µ, 𝜎 ) xác định : 21 𝑛 𝐿(µ, 𝜎 2) ∑𝑛𝑖=1(𝑥𝑖 − µ)2 = ∏ 𝑓(𝑥𝑖 ) = 𝑒𝑥𝑝 (− ) 2𝜎 𝜎 𝑛 (√2𝜋)𝑛 𝑖=1 Suy ra: 𝑙𝑛𝐿(µ, 𝜎 2) ∑𝑛𝑖=1(𝑥𝑖 − µ)2 𝑛 𝑛 2) = − ln(𝜎 − ln(2𝜋) − 2 2𝜎 Do đó: 𝜕𝑙𝑛𝐿(µ, 𝜎 ) ∑𝑛𝑖=1(𝑥𝑖 − µ) = 𝜕µ 𝜎2 ∑𝑛𝑖=1(𝑥𝑖 − µ)2 𝜕𝑙𝑛𝐿(µ, 𝜎 ) 𝑛 =− 2+ 𝜕𝜎 2𝜎 2𝜎 Giải hệ : 𝜕𝑙𝑛𝐿(µ, 𝜎 ) =0 𝜕µ 𝜕𝑙𝑛𝐿(µ, 𝜎 ) =0 𝜕𝜎 { theo µ, 𝜎 ta được: 𝑛 𝑛 𝑖=1 𝑖=1 1 µ = ∑ 𝑥𝑖 = 𝑥̅ 𝑣à 𝜎 = ∑(𝑥𝑖 − 𝑥̅ )2 𝑛 𝑛 Vậy ước lượng hợp lý cực đại (µ𝑀𝐿 , 𝜎 𝑀𝐿 ) (µ, 𝜎 ) là: µ𝑀𝐿 = 𝑥̅ 𝜎 𝑀𝐿 = ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2 𝑛 Ví dụ 2.8 Tìm ước lượng hợp lý cực đại tham số ∆ phân phối Poisson với tham số 𝜆 > Giải: Hàm xác suất phân phối Poisson: 𝑝(𝑘, 𝜆) = 𝑒 − 𝜆 22 𝜆𝑘 𝑘! , 𝑘 = 0,1,… Gọi {𝑘1 , 𝑘2 , … , 𝑘𝑛 } mẫu ngẫu nhiên từ phân phối Hàm hợp lý : 𝑛 𝑛 𝐿( 𝜆) = ∏ 𝑝(𝑘𝑖, 𝜆) = ∏ [𝑒 𝑖=1 −𝜆 𝑖=1 𝜆𝑘𝑖 𝜆∑ 𝑘𝑖 −𝑛𝜆 ]=𝑒 ∏𝑛𝑖=1(𝑘𝑖 ) ! (𝑘𝑖 )! Lấy logarit: 𝑛 𝑙(𝜆) = 𝑙𝑛𝐿(𝜆) = −𝑛𝜆 + ∑ 𝑘𝑖 𝑙𝑛𝜆 − ln (∏(𝑘𝑖 )!) 𝑖=1 Ta có: 𝑙 ′ (𝜆) = −𝑛 + ∑ 𝑘𝑖 𝜆 Xét phương trình: 𝑙 ′ (𝜆) = ⇔ 𝜆 = ∑ 𝑘𝑖 𝑛 Vậy 𝜆̂ 𝑀𝐿 = ∑ 𝑘𝑖 ước lượng hợp lý cực đại 𝜆 𝑛 Ví dụ 2.9 Cho (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) mẫu ngẫu nhiên độc lập đặc tính 𝑋 với phân phối Poisson 𝑋𝑖 = 𝑌𝑖 = { 𝑋𝑖 > Ước tính tham số 𝜆 sở 𝑌1 , 𝑌2 , … , 𝑌𝑛 Từ đó: Ta có hàm hợp lý: 𝑛 ∑𝑛 𝑖=1 𝑦𝑖 𝐿(𝜆; y) = (1 − exp(−𝜆)) exp (−𝜆 (𝑛 − ∑ 𝑦𝑖 )) 𝑖=1 Logarit hàm hợp lý: 𝑛 𝑛 𝑙(𝜆; y) = ∑ 𝑦𝑖 𝑙𝑛(1 − exp(−𝜆) − 𝜆 (𝑛 − ∑ 𝑦𝑖 ) 𝑖=1 Giả sử ∑𝑛𝑖=1 𝑦𝑖 ≠ 𝑛 , hàm 𝑙(𝜆; 𝑦) đạt cực đại 𝑙 𝑖=1 ′ (𝜆; 𝑛 y) = 0, nghĩa là: ∑𝑛𝑖=1 𝑦𝑖 exp(−𝜆) = (𝑛 − ∑ 𝑦𝑖 ) − exp(−𝜆) 𝑖=1 Từ đó, ta ước lượng hợp lý cực đại: 23 𝜆̂ 𝑀𝐿 = − ln(1 − 𝑦̅) Nếu ∑𝑛𝑖=1 𝑦𝑖 = 𝑛 hàm 𝑙(𝜆; 𝑦) trở thành 𝑛𝑙𝑛(1 − exp(−𝜆) Đây hàm đơn điệu theo 𝜆 ∈ (0, +∞), nên không tồn cực đại Xác suất để trường hợp xảy là: 𝑛 𝑃𝜆 (∑ 𝑦𝑖 = 𝑛) = 𝑃𝜆 (𝑌1 = 1, … , 𝑌𝑛 = 1) = (1 − exp(−𝜆))𝑛 → 1, 𝑖=1 kho 𝜆 → ∞ Điều có nghĩa có giá trị tham số λ mà xác suất mà ước lượng hợp lý cực đại tham số 𝜆 không tồn gần Mặt khác, λ cố định n → ∞ ta có : 𝑛 𝑃𝜆 (∑ 𝑦𝑖 = 𝑛) = 𝑃𝜆 (𝑌1 = 1, … , 𝑌𝑛 = 1) = (1 − exp(−𝜆))𝑛 → 𝑖=1 Ví dụ 2.10 (Phân phối logistic) Cho (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) mẫu ngẫu nhiên độc lập từ phân phối với hàm mật độ xác suất: exp{−(𝑥 − 𝜃)} 𝑓(𝑋, 𝜃) = , − ∞ < 𝑥 < ∞, −∞ < 𝜃 < ∞ (1 + exp{−(𝑥 − 𝜃)})2 Lúc đó, logarit hàm hợp lý viết lại: 𝑛 𝑛 𝑙(𝜃) = ∑ 𝑙𝑜𝑔𝑓(𝑥𝑖 ; 𝜃) = 𝑛𝜃 − 𝑛𝑥̅ − ∑ 𝑙𝑜𝑔(1 + exp{−(𝑥 − 𝜃)}) 𝑖=1 𝑖=1 Sử dụng kết này, ta đạo hàm theo tham số 𝜃: 𝑛 𝑙 ′ (𝜃) = 𝑛 − ∑ 𝑖=1 𝑛 ⇔∑ 𝑖=1 exp{−(𝑥 − 𝜃)} =0 + exp{−(𝑥 − 𝜃)} exp{−(𝑥 − 𝜃)} 𝑛 = + exp{−(𝑥 − 𝜃)} (1) Mặc dù phương trình (1) khơng đơn giản để giải nghiệm xác phương trình có nghiệm Thật vậy, đạo hàm vế trái (1) rút gọn thành: 𝑛 𝑛 𝑖=1 𝑖=1 𝜕 exp{−(𝑥 − 𝜃)} exp{−(𝑥 − 𝜃)} =∑ > ∑ (1 + exp{−(𝑥 − 𝜃)})2 𝜕𝜃 + exp{−(𝑥 − 𝜃)} 24 Như vế trái phương trình (1) hàm tăng nghiêm ngặt θ Cuối cùng, vế trái (1) tiến dần đến 𝜃 → −∞ tiến dần đến n 𝜃 → ∞ Vậy phương trình (1) có nghiệm Lúc đó, để giải phương trình ta sử dụng phương pháp giải gần 2.3.2 Phương pháp mô-men Mơ men bậc 𝑘 biến ngẫu nhiên X, kí hiệu 𝐸(𝑋 𝑘 ), xác định sau : i) Nếu X biến ngẫu nhiên rời rạc có hàm xác suất 𝑝(𝑥) thì: 𝐸(𝑋 𝑘 ) = ∑ 𝑥𝑖𝑘 𝑝(𝑥𝑖 ) 𝑥𝑖 ∈𝑋(Ω) ii) Nếu X biến ngẫu nhiên liên tục có hàm mật độ xác suất 𝑝(𝑥) thì: +∞ 𝐸(𝑋 𝑘) =∫ 𝑥 𝑘 𝑓(𝑥)𝑑𝑥 −∞ Định nghĩa 2.7 Giả sử {𝑥1 , … , 𝑥𝑛 } mẫu ngẫu nhiên từ phân phối biến ngẫu nhiên 𝑋 Lúc mơmen bậc 𝑘 𝑋 định nghĩa là: 𝑛 𝑀𝑘 = ∑ 𝑥𝑖𝑘 , 𝑘 = 1,2, … 𝑛 𝑖=1 Giả sử phân phối biến ngẫu nhiên 𝑋 phụ thuộc vào 𝑠 tham số 𝜃1 , … , 𝜃𝑠 Khi đó, ước lượng tham số 𝜃1 , … , 𝜃𝑠 phương pháp mômen nghiệm hệ phương trình sau : 𝐸(𝑋) = 𝑀1 … { 𝑠) 𝐸(𝑋 = 𝑀𝑠 Ví dụ 2.11 Tìm ước lượng tham số phân phối Poisson phương pháp mơmen Giải: Cho X có phân phối Poisson với tham số λ > Khi đó, ta có 𝐸(𝑋) = 𝜆 Do đó, ước lượng 𝜆 phương pháp mômen là: 𝑛 𝜆̂ = ∑ 𝑥𝑖 𝑛 𝑖=1 25 Ví dụ 2.12 Tìm ước lượng tham số phân phối Poisson phương pháp mômen Cho biết 𝑋~𝑁(µ, 𝜎 ) có 𝐸(𝑋) = 𝜇 𝐸(𝑋 ) = 𝜇2 + 𝜎 Giải: Xét hệ phương trình : 𝑛 𝑛 1 𝜇 = ∑ 𝑥𝑖 ∑ 𝑥𝑖 𝑛 𝐸(𝑋) = 𝑀1 𝑛 𝑖=1 𝑖=1 { ⇔ ⇔ 𝑛 𝑛 𝑛 𝐸(𝑋) = 𝑀2 1 2 2 𝜇 + 𝜎 = ∑ 𝑥𝑖 𝜎 = ∑ 𝑥𝑖 − ( ∑ 𝑥𝑖 ) 𝑛 𝑛 𝑛 𝑖=1 𝑖=1 𝑖=1 { { 𝜇= Do đó, ước lượng (µ, 𝜎 ) phương pháp mơmen là: 𝜇̂ = 𝑥̅ 𝑛 { ̂2 ̅ )2 𝜎 = ∑( 𝑥 𝑖 − 𝑥 𝑛 𝑖=1 2.4 Bất đẳng thức Cramer-Rao Định nghĩa 2.8 [4] [5] Họ {𝑓(𝑥, 𝜃) ∈ 𝛩} gọi phân phối 𝐶 − 𝑅 quy hay quy Cramer-Rao điều kiện sau thỏa mãn : (i) Không gian tham số 𝛩 khoảng 𝑅 {𝑥: 𝑓(𝑥, 𝜃) > 0} ∀ 𝜃 ∈ 𝛩 (ii) ∀ 𝜃 ∈ 𝛩 (iii) ∫ | 𝜕𝑓(𝑥,𝜃) 𝜕𝜃 tồn hữu hạn 𝜕𝑖 𝑓(𝑥,𝜃) (iv) 𝐸𝜃 { 𝜕𝜃𝑖 | 𝑑𝑥 < ∞ 𝑣ớ𝑖 ∀ 𝜃 ∈ 𝛩 , 𝑖 = 1,2 𝜕𝑙𝑛𝑓(𝑥,𝜃) 𝜕𝜃 } = 𝐽(𝜃) < ∞∀ 𝜃 ∈ 𝛩 Các phân phối thường gặp chuẩn, mũ, poisson,… phân phối 𝐶 − 𝑅 quy : Đại lượng 𝐽(𝜃) = 𝐸𝜃 { 𝜕𝑙𝑛𝑓(𝑥,𝜃) 𝜕𝜃 } gọi lượng thông tin Fisher 𝜃 Mệnh đề 2.1 (Bất đẳng thức Cramer-Rao) Giả sử {𝑓(𝑥, 𝜃), 𝜃 ∈ 𝛩} phân phối 𝐶 − 𝑅 quy, τ(θ) hàm khả vi 𝜃, 𝑇(𝑋1 , 𝑋2 , … , 𝑋𝑛 ) ước lượng khơng chệch τ(θ) Khi đó, với ∀ 𝜃 ∈ 𝛩, ta có: 𝑉𝑇 (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) ≥ Trong đó, τ′ (θ) = 26 𝜕τ 𝜕𝜃 (2) (τ′ (θ)) 𝑉( 𝜕𝑙𝑛𝑓(𝑋1 ,𝑋2 ,…,𝑋𝑛 ,𝜃) ) 𝜕𝜃 Chứng minh : (Trường hợp rời rạc ta cần thay dấu tích phân dấu tổng ) Để viết gọn ta viết 𝑇(𝑋) thay cho 𝑇(𝑋1 , 𝑋2 , … , 𝑋𝑛 ), 𝑓(𝑥, 𝜃) thay cho 𝑓(𝑋1 , 𝑋2 , … , 𝑋𝑛 , 𝜃) ( phân phối đồng thời mẫu (𝑋1 , 𝑋2 , … , 𝑋𝑛 )) Hệ thức cần chứng minh : (τ′ (θ)) 𝑉𝑇 (𝑋) ≥ 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑉( ) 𝜕𝜃 𝜕𝑙𝑛𝑓(𝑋,𝜃) Hay 𝑉𝑇 (𝑋) 𝑉 ( 𝜕𝜃 ) ≥ (τ′ (θ))2 Từ tính chất |𝜌(𝑋, 𝑌)|2 ≤ 1, ta có : 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑉𝑇 (𝑋) 𝑉 ( ) ≥ 𝐶𝑜𝑣 (𝑇(𝑋), ) 𝜕𝜃 𝜕𝜃 Vậy ta cần chứng minh 𝐶𝑜𝑣 (𝑇(𝑋), 𝜕𝑙𝑛𝑓(𝑋, 𝜃) ) = τ′ (θ) (2) 𝜕𝜃 Ta có : 𝐶𝑜𝑣 (𝑇(𝑋), 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) −𝐸 ) = 𝐸[𝑇(𝑋) − 𝐸𝑇(𝑋)] ( ) 𝜕𝜃 𝜕𝜃 𝜕𝜃 Theo giả thiết 𝐸𝑇(𝑋) = τ(θ) Còn 𝐸 𝜕𝑙𝑛𝑓(𝑋,𝜃) 𝜕𝜃 = = ∬ … ∫ 𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 , 𝜃)𝑑𝑥1 𝑑𝑥2 … 𝑑𝑥𝑛 𝜕 𝜕𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) ∫ 𝑓(𝑋, 𝜃)𝑑𝑋 = ⇒ ∫ 𝑑𝑋 = ⇒ ∫ 𝑓(𝑋, 𝜃) = 𝜕𝜃 𝜕𝜃 𝜕𝜃 𝜕𝑙𝑛𝑓(𝑋, 𝜃) ⇒ 𝐸( )=0 𝜕𝜃 ⇒ Vậy 𝐶𝑜𝑣 (𝑇(𝑋), = ∫ 𝑇(𝑋) 𝜕𝑙𝑛𝑓(𝑋,𝜃) 𝜕𝜃 ) = 𝐸 (𝑇(𝑋) 𝜕𝑙𝑛𝑓(𝑋,𝜃) 𝜕𝜃 ) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑇(𝑋) 𝜕𝑓(𝑋, 𝜃) 𝑓(𝑋, 𝜃)𝑑𝑋 = ∫ [ ] 𝑓(𝑋, 𝜃)𝑑𝑋 𝜕𝜃 𝑓(𝑋, 𝜃) 𝜕𝜃 𝜕𝑓(𝑋, 𝜃) 𝜕 𝜕 𝜕τ(θ) 𝑑𝑋 = ∫ 𝑇(𝑋)𝑓(𝑋, 𝜃)𝑑𝑋 = 𝐸𝑇(𝑋) = 𝜕𝜃 𝜕𝜃 𝜕𝜃 𝜕𝜃 ′ (θ) =τ = (2) Vì theo giả thiết ∃τ′ (θ) họ phân phối 𝐶 − 𝑅 quy nên đổi thứ tự lấy đạo hàm tích phân = ∫ 𝑇(𝑋) 27  Chú ý : 1) Ta có 𝐸 ( 𝜕𝑙𝑛𝑓(𝑋,𝜃) 𝜕𝜃 𝜕𝑙𝑛𝑓(𝑋,𝜃) ) = nên 𝑉 ( 𝜕𝜃 𝜕𝑙𝑛𝑓(𝑋,𝜃) ) = 𝐸( ) 𝜕𝜃 2) Với mẫu độc lập 𝑋1 , 𝑋2 , … , 𝑋𝑛 , 𝑓(𝑋, 𝜃) phân phối 𝑋 bất đẳng thức Cramer-Rao có dạng: τ′2 (θ) τ′2 (θ) 𝑉𝑇 (𝑋) ≥ = 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑛𝐽(θ) 𝑛𝐸 ( ) 𝜕𝜃 3) Nếu sử dụng biểu thức chứa đạo hàm bậc 2, ta có: 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 𝐽(θ) = −E ( ) 𝜕𝜃 Thật vậy, ′ ′ 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑓 ′(𝑋,𝜃) =( ) =( ) 𝜕𝜃 𝜕𝜃 𝑓(𝑋, 𝜃) 𝑓′(𝑋, 𝜃)𝑓(𝑋, 𝜃) − 𝑓′(𝑋, 𝜃)2 = 𝑓(𝑋, 𝜃)2 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 𝑓′(𝑋, 𝜃)𝑓(𝑋, 𝜃) − 𝑓′(𝑋, 𝜃)2 ⇒ 𝐸( 𝑓(𝑋, 𝜃)𝑑𝑋 )=∫ 𝜕𝜃 𝑓(𝑋, 𝜃)2 𝑓 ′(𝑋,𝜃) ′(𝑋,𝜃) = 𝑓 𝑑𝑋 − ∫ 𝑓(𝑋, 𝜃)𝑑𝑋 𝑓(𝑋, 𝜃)2 2 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) =0−( ) 𝑓(𝑋, 𝜃)𝑑𝑋 = −𝐸 ( ) 𝜕𝜃 𝜕𝜃 Như lượng thơng tin Fisher có dạng : 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 𝐽(θ) = D ( ) = E( ) = −𝐸 ( ) 𝜕𝜃 𝜕𝜃 𝜕𝜃 Định nghĩa 2.9 Ước lượng 𝑇(𝑋) không chệch τ(θ) gọi hiệu nếu: 𝑉[𝑇(𝑋)] = τ′2 (θ) 𝑛𝐽(θ) , nghĩa 𝑉[𝑇(𝑋)] đạt cận Cramer-Rao với họ phân phối 𝐶 − 𝑅 quy ước lượng hiệu ước lượng khơng chệch tốt 28 Ví dụ 2.13: Cho (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) mẫu ngẫu nhiên độc lập đặc tính 𝑋 với phân phối mũ: −𝑥 𝑓(𝑋, 𝜃) = 𝑒 𝜃 𝑥 ≥ 0, 𝜃 > 𝜃 Chứng minh: 𝑋̅ = ∑𝑛𝑖=1 𝑋𝑖 ước lượng hiệu 𝜃 𝑛 Giải: 𝑛 1 𝐸𝑋̅ = ∑ 𝐸𝑋𝑖 = 𝑛 𝜃 = 𝜃 𝑛 𝑛 (𝑑𝑜 𝐸𝑋 = 𝜃) 𝑖=1 Nên 𝑋̅ đại lượng không chệch 𝜃(= τ(θ)) 𝑛 1 𝜃2 ̅ ( 𝑑𝑜 𝑉(𝑋) = 𝜃 ) 𝑉𝑋 = ∑ 𝐷𝑋𝑖 = 𝑛 = 𝑛 𝑛 𝑛 𝑖=1 Tính 𝐽(𝜃): 𝑐ó 𝑙𝑛𝑓(𝑋, 𝜃) = −𝑙𝑛𝜃 − 𝑥 𝜃 𝜕𝑙𝑛𝑓(𝑋, 𝜃) 𝑥 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 2𝑥 =− + ⇒ = − 𝜕𝜃 𝜃 𝜃 𝜕𝜃 𝜃2 𝜃3 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 2𝐸𝑋 𝐸( = − = − = − ) 𝜕𝜃 𝜃2 𝜃3 𝜃2 𝜃2 𝜃2 Vậy 𝜕 𝑙𝑛𝑓(𝑋, 𝜃) 𝐽(θ) = −𝐸 ( = ) 𝜕𝜃 𝜃2 Từ 𝜃 𝐷𝑋̅ = = 𝑛 1 𝑛 𝜃 = 𝜃2 𝑛 , đạt cận Crammer-Rao ⇒ 𝑋̅ ước lượng hiệu 𝜃 Ví dụ 2.14: Cho (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) mẫu ngẫu nhiên độc lập đặc tính 𝑋 với phân phối Poisson , 𝑓(𝑥, 𝜆) = 𝑛 𝑒 −𝜆 𝜆𝑥 𝑥! (𝑥 = 0,1,2, … ), 𝜆 > Chứng minh 𝑋̅ = ∑𝑛𝑘=1 𝑋𝑘 ước lượng hiệu 𝜆 Giải: Vì (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) độc lập phân phối 𝑋 nên 𝑛 1 𝐸𝑋̅ = ∑ 𝐸𝑋𝑘 = 𝑛 𝐸𝑋 = 𝑛 𝜆 = 𝜆 𝑛 𝑛 𝑛 𝑘=1 Vậy 𝑋̅ ước lượng không chệch 𝜆 29 𝑛 1 𝜆 𝑉𝑋̅ = ∑ 𝑉𝑋𝑘 = 𝑛 𝑉𝑋 = 𝑛 𝑛 𝑛 𝑖=1 𝜕 𝑙𝑛𝑓(𝑋, 𝜆) 𝐼(𝜆) = −𝐸 ( = ) 𝜕𝜆2 𝜆 Vì 𝑙𝑛𝑓(𝑥, 𝜆) = −𝜆 + 𝑥𝑙𝑛𝜆 − ln(𝑥!) nên : 𝜕 𝑙𝑛𝑓(𝑋, 𝜆) 𝑥 𝜕 𝑙𝑛𝑓(𝑋, 𝜆) 𝐸𝑋 −1 = − ⇒ 𝐸( )=− = 𝜕𝜆 𝜆 𝜕𝜆 𝜆 𝜆 ⇒ 𝐼(𝜆) = 𝜆 Vậy 𝜆 𝐷𝑋̅ = = 𝑛 1 𝑛 𝜆 𝜆 = , đạt cận Crammer-Rao 𝑛 ⇒ 𝑋̅ ước lượng hiệu 𝜆 30 KẾT LUẬN Qua thời gian tìm hiểu, tiếp cận nghiên cứu “Ước lượng điểm cho tham số mơ hình”, khóa luận hồn thành đạt mục tiêu nghiên cứu đề tài với kết cụ thể sau : - Tổng quan hệ thống cách đầy đủ khái niệm biến ngẫu nhiên, số đặc trưng, kỳ vọng toán, phương sai; khái niệm số tính chất phân phối nhị thức, phân phối đều, phân phối mũ, phân phối Poisson, phân phối chuẩn; khái niệm, mẫu ngẫu nhiên, số đặc trưng tổng thể mẫu mẫu - Trình bày rõ ràng chi tiết khái niệm, phân loại, phương pháp tìm ước lượng điểm; khái niệm chứng minh bất đẳng thức Cramer-Rao Với khảo sát được, khóa luận tài liệu tham khảo hữu ích cho thân tiếp tục sâu nghiên cứu sau hy vọng nguồn tư liệu tốt cho quan tâm nghiên cứu kết Ước lượng điểm cho tham số mơ hình 31 TÀI LIỆU THAM KHẢO [1] Nguyễn Duy Tiến, Nguyễn Viết Phú (2004), Cơ sở lý thuyết xác suất, NXB Đại học quốc gia Hà Nội [2] Đinh Văn Gắng (2009), Lý thuyết xác suất thống kê, Nhà xuất giáo dục Việt Nam [3] Zhengyan Lin and Zhidong Bai (2010), Probability Inequalities, Science Press Beijing [4] GS Nguyễn Tiến Dũng & GS Đỗ Đức Thái (2015), Nhập môn đại xác suất & thống kê, Tủ sách Sputnik [5] Lê Văn Dũng, Nguyễn Thị Hải Yến, Tơn Thất Tú (2019), Giáo trình Thống kê Tốn, Đà Nẵng: Nhà xuất thơng tin truyền thông 32