Bài giảng Xác suất thống kê: Ước lượng gồm có những nội dung chính sau: Ước lượng điểm, các tiêu chuẩn ước lượng, các phương pháp ước lượng điểm. Mời các bạn cùng tham khảo để biết thêm nội dung chi tiết.
Outline ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn ƯỚC LƯỢNG ĐIỂM Ước lượng điểm Các tiêu chuẩn Ước lượng Nguyễn Văn Thìn Các phương pháp ước lượng điểm Ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm BỘ MƠN THỐNG KÊ TỐN HỌC KHOA TỐN - TIN HỌC Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM Tháng năm 2016 Outline ƯỚC LƯỢNG Giới thiệu ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Các phương pháp ước lượng điểm Giả sử cần khảo sát đặc tính X thuộc tổng thể xác định Biến ngẫu nhiên X có phân phối F (x; θ), tham số θ chưa biết Bài tốn: tìm tham số θ Chọn mẫu ngẫu nhiên cỡ n từ X : X1 , X2 , , Xn ˆ = h(X1 , , Xn ) gọi ước lượng điểm Thống kê Θ (point estimator) cho θ Với mẫu thực nghiệm x1 , , xn , ta gọi θˆ = h(x1 , , xn ) giá trị ước lượng điểm (point estimate) cho θ Outline Ví dụ ƯỚC LƯỢNG ĐIỂM Nguyễn Văn Thìn ƯỚC LƯỢNG X = Chiều cao dân số khu vực, X ∼ N(µ, σ ) Phân phối X phụ thuộc vào kỳ vọng µ phương sai σ Thống kê trung bình mẫu phương sai mẫu Ước lượng điểm ¯ = X n Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Nguyễn Văn Thìn Ước lượng điểm n i=1 Các phương pháp ước lượng điểm n ¯ )2 (Xi − X Ước lượng điểm Các tiêu chuẩn Ước lượng Xi S = n−1 ĐIỂM Các tiêu chuẩn Ước lượng i=1 Các phương pháp ước lượng điểm ước lượng điểm cho µ σ Với mẫu thực nghiệm x1 = 150, x2 = 155, x3 = 167, giá trị ước lượng điểm µ σ x¯ = 157.333, s = 76.333 Ước lượng không chệch Ước lượng khơng chệch - Ví dụ ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Định nghĩa ˆ gọi ước lượng không chệch Ước lượng điểm Θ (Unbiased estimator) cho tham số θ ˆ =θ E(Θ) ˆ gọi độ chệch ước lượng, ký hiệu Bias(Θ) ¯ ước lượng khơng chệch µ X Ước lượng điểm (1) ˆ ước lượng chệch θ, độ sai khác Nếu Θ ˆ −θ E(Θ) (2) ¯) = E E(X Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm n n Xi n i=1 = nµ =µ n S ước lượng không chệch σ , E(S ) = σ = n i=1 EXi Sˆ = n n i=1 (Xi (Tại sao?) ¯ )2 ước lượng chệch σ −X E(Sˆ ) = σ Ước lượng hiệu ƯỚC LƯỢNG ĐIỂM Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Trung bình bình phương sai số Định nghĩa ˆ Θ ˜ hai ước lượng không chệch θ, Θ ˆ gọi ước Xét Θ ˜ với cỡ lượng hiệu (Efficiency estimator) Θ mẫu n cho trước ˆ < Var(Θ) ˜ Var(Θ) (3) Định nghĩa Xét tất ước lượng khơng chệch θ Ước lượng có phương sai bé gọi ước lượng không chệch phương sai bé (MVUE) ƯỚC LƯỢNG ĐIỂM Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm ˆ ƯLKC: MSE(Θ) ˆ = Var(Θ) ˆ Nếu Θ Trung bình bình phương sai số Sai số chuẩn ƯỚC LƯỢNG Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm (4) ˆ = Var(Θ) ˆ + (Bias(Θ)) ˆ MSE(Θ) Trong mẫu ngẫu nhiên cỡ n: X1 , , Xn chọn từ ¯ ước lượng hiệu cho µ X ∼ N(µ, σ ) X Nguyễn Văn Thìn Một độ đo kết hợp độ chệch (Bias) phương sai mẫu ước lượng trung bình bình phương sai số (Mean Squared Error - MSE) ˆ = E(Θ ˆ − θ)2 MSE(Θ) Định lí ĐIỂM ˜ ước lượng chệch Trong số trường hợp, ước lượng Θ (với độ chệch nhỏ), lại có phương sai nhỏ ˆ khác Khi đó, ta muốn ước lượng không chệch Θ ˜ chọn Θ, ước lượng chệch có độ phân ˆ khác tán nhỏ nhiều so với ước lượng Θ ƯỚC LƯỢNG ˆ Θ, ˜ tiêu chuẩn MSE cho phép • Cho trước hai ước lượng, Θ ˜ ta chọn Θ nếu, với cỡ mẫu n ˜ < MSE(Θ) ˆ MSE(Θ) Ước lượng điểm Các tiêu chuẩn Ước lượng ˆ − Var(Θ) ˜ > (Bias(Θ)) ˜ − (Bias(Θ)) ˆ • Var(Θ) ˆ Θ ˜ ƯLKC, tiêu chuẩn MSE trở thành tiêu • Nếu Θ chuẩn so sánh dựa phương sai mẫu Các phương pháp ước lượng điểm • Tiêu chuẩn MSE tương đương với việc so sánh tỷ số ˆ Θ) ˜ = Eff(Θ, ˜ Eff(Θ, ˆ Θ) ˜ < chọn Θ ˜ MSE(Θ) ˆ MSE(Θ) ĐIỂM Nguyễn Văn Thìn (5) Định nghĩa ˆ độ Sai số chuẩn (standard error) ước lượng Θ lệch tiêu chuẩn nó, cho σΘˆ = ˆ Var(Θ) (6) Nếu sai số chuẩn chứa tham số chưa biết ước lượng, thay giá trị vào σΘˆ ta sai số chuẩn ước lượng, kí hiệu σ ˆΘˆ ˆ Đôi sai số chuẩn ước lượng kí hiệu sΘˆ se(Θ) Sai số chuẩn Ước lượng vững Một số ví dụ ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Tham số Ước lượng T µ ¯ X Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm p pˆ σ2 S2 Var(T ) σ2 n p(1 − p) n 2σ n−1 se(T ) S √ n pˆ(1 − pˆ n 2 S n−1 Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Định nghĩa ˆ n = h(X1 , , Xn ) ước lượng điểm tham số θ Gọi Θ P ˆ n gọi bền vững (consistency) Θ ˆ n −→ Ước lượng Θ θ, tức ˆ n − θ| > lim P |Θ = 0, ∀ > n→∞ Ví dụ Phương sai S trường hợp tổng thể có phân phối chuẩn N(µ, σ ) S ước lượng vững σ Thật vậy, theo BĐT Chebyshev, P(|S − σ | > ) ≤ Outline 2σ n→∞ −→ (n − 1) ước lượng vững cho p (Tại Var (S ) Với X ∼ B(n, p), pˆ = sao?) ¯ X n = Phương pháp Moment ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn • Ý tưởng: đồng moment tổng thể với moment mẫu Định nghĩa Ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Các phương pháp ước lượng điểm Giả sử tham số θ = (θ1 , , θk ) có k thành phần Với ≤ j ≤ k, moment thứ j tổng thể µj = E(X j ) = x j f (x)dx (7) Xij (8) moment mẫu thứ j mj = n n i=1 Phương pháp Moment Phương pháp Moment - Ví dụ ƯỚC LƯỢNG ĐIỂM Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm ƯỚC LƯỢNG Định nghĩa ĐIỂM Xét X1 , X2 , , Xn mẫu ngẫu nhiên chọn từ phân phối xác suất với k tham số θ = (θ1 , , θk ) chưa biết ˆ = (Θ ˆ 1, , Θ ˆ k ) thu đồng Ước lượng điểm moment Θ k moment tổng thể với k moment mẫu giải hệ phương trình thu với tham số chưa biết Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm m1 = µ1 (θ1 , , θk ) m2 = µ2 (θ1 , , θk ) Giả sử X1 , , Xn mẫu ngẫu nhiên chọn từ X ∼ N(µ, σ ) Tìm ước lượng moment cho µ σ Moment tổng thể: µ1 = µ, µ2 = E(X ) = µ2 + σ Moment mẫu: m1 = n i=1 Xi , n µ= n n Xi , i=1 µ +σ = n Phương pháp Moment - Ví dụ n Xi2 i=1 σ ˆ2 = n i=1 (Xi ¯ )2 −X n Phương pháp hợp lý cực đại (Maximum Likelihood) ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Các phương pháp ước lượng điểm Ta thu ước lượng moment cho µ σ ¯, µ ˆ=X Các tiêu chuẩn Ước lượng n i=1 Xi n Giải hệ: mk = µk (θ1 , , θk ) Ước lượng điểm m2 = Với X ∼ B(k, p), tìm ước lượng moment cho tham số k p Với X ∼ Gamma(r , λ), tìm ước lượng moment cho tham số r λ biết E(X ) = r , λ Var(X ) = r λ2 Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Định nghĩa 10 (Hàm hợp lý) Xét X1 , , Xn mẫu ngẫu nhiên chọn từ tổng thể có hàm mật độ xác suất (hay hàm xác suất) f (x|θ), với θ = (θ1 , , θk ) ∈ Θ chưa biết Hàm hợp lý L(θ) định nghĩa n L(θ|x) = L(θ1 , , θk |x1 , , xn ) = f (xi |θ1 , , θk ) i=1 Hàm hợp lý L(θ) phụ thuộc vào tham số θ (9) Phương pháp hợp lý cực đại (Maximum Likelihood) Phương pháp hợp lý cực đại - Ví dụ ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Xét X ∼ B(1, p) Hàm xác suất X f (x; p) = Định nghĩa 11 Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Ước lượng hợp lý cực đại (Maximum Likelihood Estimation MLE) θˆ = (θˆ1 , , θˆk ) giá trị θ = (θ1 , , θk ) ∈ Θ làm cực đại hàm hợp lý Ước lượng điểm Các tiêu chuẩn Ước lượng , , x = 0, nơi khác Tìm ước lượng hợp lý cực đại cho tham số p Hàm hợp lý cho mẫu ngẫu nhiên cỡ n Các phương pháp ước lượng điểm Nhận xét 12 p x (1 − p)1−x n n L(p) = Bởi hàm log hàm tăng nên MLE giá trị θ = (θ1 , , θk ) ∈ Θ làm cực đại hàm log L(θ1 , , θk ) i=1 với S = p Xi (1 − p)1−Xi = p S (1 − p)n−S f (Xi ; p) = i=1 n i=1 Xi Lấy logarit hàm hợp lý MLE khơng thay đổi, ln L(p) = S ln p + (n − S) ln(1 − p) Phương pháp hợp lý cực đại - Ví dụ ƯỚC LƯỢNG ĐIỂM Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Tính chất Ước lượng hợp lý cực đại (MLE) ƯỚC LƯỢNG Ta có ĐIỂM d ln L(p) S (n − S) = − dp p 1−p Giải phương trình ta thu MLE p pˆ = n n Xi i=1 Nguyễn Văn Thìn ˆ n ước lượng hợp lý cực đại (MLE) tham số θ, ta • Gọi Θ có tính chất sau P ˆ n −→ MLE ước lượng bền vững: Θ θ Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm MLE hội tụ chuẩn: ˆn − θ Θ ˆ n) SE (Θ Cho X ∼ Exp(λ), tìm ước lượng hợp lý cực đại cho tham số λ Cho X ∼ N(µ, σ ), tìm ước lượng hợp lý cực đại cho kỳ vọng µ phương sai σ ˆ n MLE θ MLE ước lượng bất biến: Nếu Θ ˆ g (Θn ) MLE g (θ) N(0, 1) MLE ước lượng hội tụ tối ưu: nghĩa là, số tất ước lượng tốt, MLE ước lượng có phương sai bé nhất, trường hợp mẫu lớn Phương pháp Bayes Phương pháp Bayes ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Dựa thông tin phân phối tham số θ Nguyễn Văn Thìn Giả sử tham số θ chưa biết biến ngẫu nhiên có phân phối xác định với hàm mật độ xác suất f (θ) Ước lượng điểm Các tiêu chuẩn Ước lượng f (x1 , , xn ) = Ước lượng điểm Hàm mật độ xác suất có điều kiện θ cho trước (x1 , , xn ) f (θ|x1 , , xn ) = (10) Đây phần đọc thêm Phương pháp Bayes (11) với RΘ không gian tham số (các giá trị nhận θ) Các phương pháp ước lượng điểm Hàm mật độ xác suất đồng thời mẫu ngẫu nhiên (X1 , , Xn ) θ biểu diễn sau f (x1 , , xn , θ) = f (x1 , , xn |θ)f (θ) f (x1 , , xn , θ)d θ RΘ Các tiêu chuẩn Ước lượng f (θ) gọi hàm mật độ xác suất tiên nghiệm (prior probability distribution function) Các phương pháp ước lượng điểm Hàm mật độ lề mẫu cho Nguyễn Văn Thìn ƯỚC LƯỢNG f (x1 , , xn |θ)f (θ) f (x1 , , xn ) (12) Đây phần đọc thêm Phương pháp Bayes ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn f (θ|x1 , , xn ) gọi hàm mật độ xác suất hậu nghiệm θ (posterior pdf) Ước lượng điểm Các tiêu chuẩn Ước lượng Hàm mật độ xác suất tiên nghiệm f (θ) cho biết thông tin θ thực quan trắc để lấy mẫu ngẫu nhiên (X1 , , Xn ) Các phương pháp ước lượng điểm Kỳ vọng có điều kiện θ, định nghĩa Ước lượng điểm θˆ = E(θ|x1 , , xn ) = Các tiêu chuẩn Ước lượng θf (θ|x1 , , xn )d θ Các phương pháp ước lượng điểm giá trị ước lượng Bayes θ, ˆ = E(θ|X1 , , Xn ) Θ Hàm mật độ xác suất hậu nghiệm f (θ|x1 , , xn ) cho biết thơng tin θ sau có mẫu cụ thể Đây phần đọc thêm (13) RΘ gọi ước lượng Bayes cho θ Đây phần đọc thêm (14) Phương pháp Bayes - Ví dụ Phương pháp Bayes ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Xét (X1 , , Xn ) mẫu ngẫu nhiên chọn từ biến ngẫu nhiên X có phân phối Bernoulli, X ∼ B(1, p) Hàm mật độ xác suất X cho f (x; p) = p x (1 − p)1−x , Các phương pháp ước lượng điểm x = 0, Hàm mật độ xác suất tiện nghiệm tham số p có phân phối f (p) = 1, < p < Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Hàm mật độ xác suất hậu nghiệm p cho f (p|x1 , , xn ) = Đây phần đọc thêm Phương pháp Bayes - Ví dụ f (x1 , , xn , p) f (x1 , , xn ) Đây phần đọc thêm Phương pháp Bayes ƯỚC LƯỢNG - Ví dụ Ta có với ≤ p ≤ chưa biết Giả sử tham số p có phân phối khoảng (0, 1) Tìm ước lượng Bayes cho p 1 - Ví dụ ƯỚC LƯỢNG ĐIỂM ĐIỂM Hàm mật độ xác suất đồng thời (X1 , , Xn ) p Nguyễn Văn Thìn f (x1 , , xn , p) = f (x1 , , xn |p)f (p) Ước lượng điểm p xi (1 − p)1−xi = Các tiêu chuẩn Ước lượng f (p) i=1 Các phương pháp ước lượng điểm =p với m = n i=1 xi (1 − p)n− n i=1 xi = p m (1 − p)n−m n i=1 xi 1 f (x1 , , xn , p)dp = Đây phần đọc thêm p m (1 − p)k dp = m!k! (m + k + 1)! Suy Các phương pháp ước lượng điểm f (x1 , , xn ) p m (1 − p)n−m dp = m!(n − m)! (n + 1)! Hàm mật độ xác suất hậu nghiệm p f (x1 , , xn ) = Ước lượng điểm n Các tiêu chuẩn Ước lượng Sử dụng kết quả: với số nguyên m k, ta có Nguyễn Văn Thìn p m (1−p)n−m dp f (p|x1 , , xn ) = f (x1 , , xn , p) p m (1 − p)n−m (n + 1)! = f (x1 , , xn ) m!(n − m)! Đây phần đọc thêm Phương pháp Bayes ƯỚC LƯỢNG ĐIỂM - Ví dụ Phương pháp Bayes Giá trị ước lượng Bayes p thu kỳ vọng có điều kiện Nguyễn Văn Thìn E(p|x1 , , xn ) = pf (p|x1 , , xn )dp (n + 1)! = p m+1 (1 − p)n−m dp m!(n − m)! (n + 1)! (m + 1)!(n − m)! = m!(n − m)! (n + 2)! Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm m+1 = = n+2 n+2 ƯỚC LƯỢNG ĐIỂM Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Xét (X1 , , Xn ) mẫu ngẫu nhiên chọn từ biến ngẫu nhiên X ∼ Exp(λ), λ chưa biết Biết tham số λ biến ngẫu nhiên có phân phối mũ với tham số α Tìm ước lượng Bayes cho λ n xi + i=1 Ước lượng Bayes ˆ = E(p|X1 , , Xn ) = P Đây phần đọc thêm n+2 n Xi + i=1 - Ví dụ Nguyễn Văn Thìn Ước lượng điểm 1 Đây phần đọc thêm ... chệch Ước lượng khơng chệch - Ví dụ ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng điểm Định nghĩa ˆ gọi ước lượng. .. đại - Ví dụ ƯỚC LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn Xét X ∼ B(1, p) Hàm xác suất X f (x; p) = Định nghĩa 11 Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng. .. LƯỢNG ƯỚC LƯỢNG ĐIỂM ĐIỂM Nguyễn Văn Thìn Nguyễn Văn Thìn • Ý tưởng: đồng moment tổng thể với moment mẫu Định nghĩa Ước lượng điểm Ước lượng điểm Các tiêu chuẩn Ước lượng Các phương pháp ước lượng