Giáo trình: Chương 7: Ước lượng các tham số thống kê
Cao Hào Thi 74 Chương 7 ƯỚC LƯỢNG CÁC THAM SỐ THỐNG KÊ (Estimation) 7.1 KHÁI NIỆM CHUNG Xét một tập hợp chính gồm N biến ngẫu nhiên X có hàm mật độ xác suất là f (x,θ); trong đó θ là các tham số thống kê của tập hợp chính. Thí dụ: Trong phân phối nhị thức: fx Cnxx nx(, ) ( )θρρ=−−1 ⇒ θ = ρ, θ ∈ [0 , 1] Trong phân phối poisson fxexx(, )!θλλ= ⇒ θ = λ λ > 0 Trong phân phối chuẩn fx ex(, )()θπσµσ=−−122222 ⇒ θ = (µ, σ2) ; -∞ < µ < +∞ ; 0 < σ2 < +∞ Gọi {x1, x2, , xn} là mẫu ngẫu nhiên, cỡ mẫu n được dùng lấy ra từ tập hợp chính tuân theo hàm mật độ xác suất f (x,θ). Ở đây dạng của hàm f xem như đã biết còn các tham số thống kê θ của tập hợp chính xem như chưa biết. Vấn đề đặt ra ở chương trình này là dựa vào các mẫu quan sát {x1,x2, .,xn} ta ước lượng xem giá trị cụ thể của θ bằng bao nhiêu (bài toán đó gọi là ước lượng điểm ) hoặc ước lượng xem θ nằm trong khoảng nào (bài toán ước lượng khoảng). 7.2 ƯỚC LƯỢNG ĐIỂM (Point Estimation) 7.2.1 Ước lượng và giá trị ước lượng (Estimator And Estimate) a) Ước lượng (Estimator) và hàm ước lượng - Là biến ngẫu nhiên hay các tham số thống kê của mẫu được dùng để ước lượng các tham số thống kê chưa biết của tập hợp chính. - Ước lượng của tham số thống kê θ của tập hợp chính được ký hiệu là θˆ - Dựa vào mẫu {x1,x2 .,xn} người ta lập ra Hàm θˆ = θˆ (x1,x2, ,xn) để ước lượng cho θ. θˆ được gọi là hàm ước lượng của θ hay gọi tắt là ước lượng của θ. Cao Hào Thi 75 θˆ chỉ phụ thuộc vào giá trị quan sát x1, x2, . ,xn chứ không phụ thuộc vào các tham số chưa biết θ của tập hợp chính. b) Giá trị ước lượng (Estimate) hay còn gọi là giá trị ước lượng điểm (Point Estimate) Là giá trị cụ thể của ước lượng θˆ và được xem như giá trị ước lượng của tham số thống kê θ của tập hợp chính. Tham số thống kê và tập hợp chính (Population Parameter) Ước lượng (Estimation) Giá trị ước lượng Estimate (Point estimate) Số trung bình µ X Phương sai 2xσ Sx2 Độ lệch chuẩn σx Sx Tỷ lệ p fˆ 7.2.2 Ước lượng không chệch: (Unbiased Estimators) a) Ước lượng không chệch: Ước lượng θ được gọi là ước lượng không chệch của tham số thống kê θ nếu kỳ vọng của θˆ là θ. E (θˆ) = θ Thí dụ E(X) = µ => X là ước lượng không chệch của µ E(Sx2) = 2xσ => Sx2 là ước lượng không chệch cuả 2xσ E (fˆ) = p => fˆ là ước lượng không chệch của p b) Độ chệch (The Bias) Gọi θˆ là ước lượng của θ: Bias(θˆ) = E (θˆ) - θ Đối với ước lượng không chệch ⇒ Bias = độ chệch = 0 c) Ước lượng hiệu quả tốt nhất: Gọi θˆ1 và θˆ2 là 2 ước lượng không chệch của θ dựa trên số lượng của mẫu quan sát giống nhau. o θˆ1 được gọi là hiệu quả hơn θˆ2 nếu: Var (θˆ1) < Var (θˆ2) o Hiệu quả tương đối giữa hai ước lượng là tỉ số giữa 2 phương sai của chúng. Hiệu quả tương đối (Relative Efficency) =)ˆ(Var)ˆ(Var12θθ Cao Hào Thi 76 o Nếu θˆ là ước lượng không chệch của θ và nếu không có một ước lượng không chệch nào có phương sai nhỏ hơn phương sai của θˆ thì θˆ đuợc gọi là ước lượng tốt nhất (Best Estimator) hay θˆ còn gọi là ước lượng không chệch có phương sai nhỏ nhất của θ (Minimum Variance Unbiased Estimator of θ) θ2θ1 θ2θ1 θˆ1 : ước lượng không chệch của θ θˆ1θˆ2: ước lượng không chệch của θ θˆ2 : ước lượng chệch của θ θˆ1 ước lượng hiệu quả hơn θˆ2: d) Sai số bình phương trung bình (Mean Squared Error - MSE) Sai số bình phương trung bình của ước lượng θˆ được định nghĩa như sau: MSE(θˆ) = E [(θˆ - θ)2] Người ta chứng minh được rằng: MSE (θˆ) = Var(θˆ) + [θ - E (θˆ)]2 MSE (θˆ) = Var (θˆ) + [ Bias(θˆ)]2 Nếu θˆ là ước lượng không chệch ta có: Bias(θˆ) = 0 ⇒ MSE (θˆ) = Var (θˆ) e) Ước lượng nhất quán vững (Consistent Estimators) θˆn = θˆ (x1, x2, . xn) gọi là ước lượng vững của θ nếu với mọi ε > 0 ta có: ∞→ilim P( |θˆn - θ | ≤ ε) = 1 tức là dãy θˆn hội tụ theo xác suất tới θ khi n → ∞ Cao Hào Thi 77 7.3 ƯỚC LƯỢNG KHOẢNG (Interval Estimation) 7.3.1 Khoảng tin cậy (Confidence Interval) a) Ước lượng khoảng và giá trị ước lượng khoảng (Interval Estimator And Interval Estimate). Ước lượng khoảng: Ước lượng khoảng đối với tham số thống kê của tập hợp chính θ là một quy tắc dựa trên thông tin của mẫu để xác định miền (Range) hay khoảng (Interval) mà tham số θ hầu như nằm trong đó. Gía trị ước lượng khoảng: là giá trị cụ thể của miền hay khoảng mà tham số θ nằm trong đó. b) Khoảng tin cậy và độ tin cậy (Confidence Interval and Level of Confidence) Gọi θ là tham số thống kê chưa biết. Giả sử dựa trên thông tin của mẫu ta có thể xác định được 2 biến ngẫu nhiên A và B sao cho P (A < θ < B) = 1 - α với 0 < α < 1 Nếu giá trị cụ thể của biến ngẫu nhiên A và B là a và b thì khoảng (a,b) từ a đến b được gọi là khoảng tin cậy của θ với xác suất là (1 - α) Xác suất (1 - α) được gọi là độ tin cậy của khoảng. Ghi chú: o Trong thực tế, độ tin cậy (1-α) do nhà thống kê chọn theo yêu cầu của mình, thông thường độ tin cậy được chọn là 0,90; 0,95; 0,99 . o α là xác suất sai lầm khi chọn khoảng tin cậy (a, b) 7.3.2 Khoảng tin cậy đối với số trung bình của phân phối chuẩn trong trường hợp đã biết phương sai của tập hợp chính: Nghĩa là đi tìm ước lượng của µ trong N (µ, σx2) khi đã biến σx2 a) Điểm phần trăm giới hạn trên Z (Upper Percentage Cut Off Point) Gọi Z là biến ngẫu nhiên chuẩn hóa và α là số bất kỳ sao cho 0 < α < 1 Zα là điểm phần trăm giới hạn trên nếu. P (Z > Zα ) = α Ghi chú: P (Z > Zα) = FZ (Zα) = 1 - α Cao Hào Thi 78 ZαΖα P (-Zα/2 < Z < Zα/2) = 1 - α Chứng minh: Do tính đối xứng: P(Z > Zα/2 ) = 2α P (Z < -Zα/2) = 2α ⇒ P (-Zα/2 < Z < Zα/2) = 1 - 2α - 2α = 1 - α Zα/2Ζαα/2−Ζα0fZ(z) b) Khoảng tin cậy của µ trong N(µ, σx2) khi đã biến σx2 Giả sử ta có mẫu ngẫu nhiên vơí cỡ mẫu n từ phân phối chuẩn N(µ, σx2 ). Nếu σx2 và số trung bình mẫu đã biết, giá trị trung bình tập hợp chính được tính bởi. xZnxZnxx−−−<<+αασµσ//22 Trong đó Zα/2 là số có P (Z > Zα/2) = α/2 với Z là biến ngẫu nhiên chuẩn chuẩn hóa. Chứng minh: Ta có: P ( - Zα/2 < Z < Zα/2) = 1 - α P ( - Zα/2 < n/XXσµ− < Zα/2) = 1 - α P (-nZx/σα 2 < µ−X < nZx/σα 2) = 1 - α P ( X- nZx/σα 2 < µ < X + nZx/σα 2)= 1 - α Cao Hào Thi 79 Thí dụ: Giả sử trọng lượng của các học sinh lớp 2 tuân theo phân phối chuẩn với độ lệch chuẩn 1,2kg. Mẫu ngẫu nhiên gồm 25 học sinh có trung bình là 19,8kg. Tìm khoảng tin cậy 95% đối với trọng lượng trung bình của tất cả học sinh lớp 2 trong 1 trường. Giải: Ta có: 100 (1 - α) = 95 ⇒ α = 0,05 ⇒ Zα/2 =Z0,025 ⇒ P(Z > Z0,025) = 0,025 P(Z < Z0,025) = FZ (Z0,025) = 1 - 0,025 = 0,975 Tra bảng ta có: Z0,025 = 1,96 Khoảng tin cậy 95% đối với số trung bình tập chính µ sẽ là xZnxZnxX−<<+αασµσ//22 Với X = 19,8 kg σx = 1,2 kg n = 25 Zα/2 = 1,96 Vậy : 19,33 < µ < 20,27 Ghi chú: ε = nZx/σα 2 : gọi là độ chính xác của ước lượng hay dung sai X là trung tâm của khoảng tin cậy với bề rộng của khoảng tin cậy của µ là WZnx==222ασε/ o W càng nhỏ thì ước lượng càng chính xác ( ≡ ε càng nhỏ) o Với xác suất α và cỡ mẫu nhỏ, σx càng lớn thì W càng lớn. o Với α và σx cho trước, n càng lớn thì W càng nhỏ. o Với σx và n cho trước, (1 - α) càng lớn thì W càng nhỏ n = 25σx = 1.2 1-α = 0.99n = 25n = 64n = 25σx = 1.2σx = 1.2σx = 1.21-α = 0.951-α = 0.951-α = 0.95 c) Khoảng tin cậy của số trung bình µ trong tập hợp chính trường hợp cỡ mẫu lớn. Giả sử ta có mẫu với cỡ mẫu là n được lấy từ tập hợp chính có số trung bình là µ. Gọi X là số trung bình của mẫu và Sx là phương sai của mẫu. Cao Hào Thi 80 Nếu n lớn thì khoảng tin cậy với xác suất 100(1-α) % đối với µ được xem đúng là: xZ SnxZ SnXx−<<+ααµ//22 Ghi Chú: o Sự ước lượng này gần đúng ngay cả khi tập hợp chính không theo phân phối chuẩn. o Khi n lớn ta có thể xem gần đúng Sx = σx 7.3.3 Phân phối Stutent t: Trong phần trước, ta đi tìm khoảng tin cậy của µ trong N (µ, σx2) khi đã biết σx2 hoặc tìm khoảng tin cậy của µ khi có mẫu lớn. Trong trường hợp không biết phương sai σx2 và cỡ mẫu không lớn, để tìm khoảng tin cậy của µ ta cần phải có một phân phối thích hợp hơn, đó là phân phối Student t. a) Phân phối Student t Cho mẫu ngẫu nhiên với cỡ n với số trung bình của mẫu X và độ lệch chuẩn mẫu Sx; mẫu được lấy ra từ tập hợp chính với số trung bình là µ. Biến ngẫu nhiên : txSnx=−µ/ t tuân theo phân phối Student t với độ tự do là n - 1 t0f(t)Phân phối chuẩnPhân phối S tudent tvới độ tự do là 3 Biến ngẫu nhiên X được gọi là tuân theo phân phối Studen t với độ tự do ν nếu hàm mật độ xác định có dạng. fxxBx()()(, )()=+−+1122212ϑϑϑϑ Cao Hào Thi 81 b) Điểm phần trăm giới hạn trên tν,α: Biến ngẫu nhiên tuân theo phân phối Student t với độ tự do ν, được ký hiệu là tν. tν,α là điểm phần trăm giới hạn trên nếu: P(tν > tν,α) = α Người ta lập bảng tính sẳn cho các giá trị diện tích ở dưới đường cong từ tν,α đến +∞ tαtυ,α0f(tυ) Tương tự phần trăm trên ta có: P(-tν,α/2 < tν < tν,α/2) = 1 - α tα/2α/2tυ,α/20f(tυ)−tυ,α/2 7.3.4 Khoảng tin cậy đối với số trung bình µ trong phân phối chuẩn khi chưa biết phương sai: (Khoảng tin cậy của µ trong N(µ, σx2) khi chưa biết σx2 Giả sử ta có mẫu ngẫu nhiên với cỡ mẫu n từ phân phối chuẩn với số trung bình là µ và phương sai σx2 chưa biết. Nếu số trung bình mẫu là X và độ lệch chuẩn mẫu là Sx thì khoảng tin cậy của số trung bình tập hợp chính µ sẽ được tính bởi . nStxnStxx/,nx/,n 2121 α−α−+<µ<− Trong đó tn-1,α/2 là số có P(tn-1 > tn-1,α/2) = 2α và tn-1 là biến ngẫu nhiên tuân theo phân phối Student với độ tự do là n - 1 Chứng minh: Cao Hào Thi 82 P(-tn-1,α/2 < tn-1 < tn-1,α/2) = 1 - α α−=⎟⎟⎠⎞⎜⎜⎝⎛<µ−<−α−α−12121 /,nx/,ntn/SXtP α−=⎟⎟⎠⎞⎜⎜⎝⎛<µ−<−α−α−12121nStXnStPx/,nx/,n α−=⎟⎟⎠⎞⎜⎜⎝⎛+<µ<−α−α−12121nStXnStXPx/,nx/,n Thí dụ: Mẫu ngẫu nhiên của trọng lượng 6 học sinh lớp 2 có giá trị như sau: 18,6kg 18,4kg 19,2kg 20,8kg 19,4kg 20,5kg Tìm khoảng tin cậy 90% đối với số trung bình của tất cả học sinh lớp 2. Gỉa sử rằng phân phối trọng lượng của tất cả học sinh lớp 2 là phân phối chuẩn. Giải: Trước hết ta phải tìm số trung bình mẫu X và phương sai mẫu Sx Số trung bình mẫu: xnxi=∑= =116116 9 19 4833(.) . Phương sai mẫu: Snxnxxi22211=−∑−() = 152 282 41 6 19 4833 0 962(. , , ) ,−× = Độ lệch chuẩn:Sx==096 098,. Khoảng tin cậy 90% đối với trọng lượng trung bình của tất cả học sinh lớp 2 là: xlSnxt Snnx nx−<<+−−12 12,,//ααµ X = 19,4833 , Sx = 0,98 , n = 6 ixixi21 18,6 345,96218,4 338,56319,2 368,644 20,8 432,64519,4 376,36620,5 420,25Tổng116,9 2282,4 Cao Hào Thi 83 100 (1-α) = 90 => α = 0,10 => α/2 = 0,05 Tra bảng ta có: tn-1,α/2 = t5,0.05 = 2.015 19 482015 0098619 482015 098618 67 20 29 −×<< +×<<µµ Các khoảng tin cậy: (18.89,4) (20.07,4)(18.67,2) (20.29,2)(18.45,0) (20.51,0)(17.87,-2) (21.09,-2Khoảng tin cậy 99%Khoảng tin cậy 95%Khoảng tin cậy 90%Khoảng tin cậy 80% 7.3.5 Khoảng tin cậy đối với phương sai của phân phối chuẩn σ2 Nhắc lại, giả sử ta có mẫu ngẫu nhiên với cỡ mẫu n được lấy ra từ tập hợp chính có phân phối chuẩn N(µx,sx2) và gọi Sx2 là phương sai của mẫu. Biến ngẫu nhiên 222,)1(xxSnσχαγ−= sẽ tuân theo phân phối 2χ với độ tự do n - 1 a) Điểm phần trăm giới hạn trên 2,αγχ Biến ngẫu nhiên tuân theo phân phối 2χ với độ tự do γ được ký hiệu 2,αγχ 2,αγχ là điểm phần trăm giới hạn trên nếu P(2γχ > 2,αγχ) = α ( )αχ2υ,α Thí dụ: Tìm 2%5;6χ [...]... phụ thuộc vào các tham số chưa biết θ của tập hợp chính. b) Giá trị ước lượng (Estimate) hay cịn gọi là giá trị ước lượng điểm (Point Estimate) Là giá trị cụ thể của ước lượng θ ˆ và được xem như giá trị ước lượng của tham số thống kê θ của tập hợp chính. Tham số thống kê và tập hợp chính (Population Parameter) Ước lượng (Estimation) Giá trị ước lượng Estimate (Point estimate) Số trung bình... lệ p f ˆ 7.2.2 Ước lượng không chệch: (Unbiased Estimators) a) Ước lượng không chệch: Ước lượng θ được gọi là ước lượng không chệch của tham số thống kê θ nếu kỳ vọng của θ ˆ là θ . E ( θ ˆ ) = θ Thí dụ E( X ) = µ => X là ước lượng khơng chệch của µ E(S x 2 ) = 2 x σ => S x 2 là ước lượng không chệch cuả 2 x σ E ( f ˆ ) = p => f ˆ là ước lượng không chệch... Cao Hào Thi 77 7.3 ƯỚC LƯỢNG KHOẢNG (Interval Estimation) 7.3.1 Khoảng tin cậy (Confidence Interval) a) Ước lượng khoảng và giá trị ước lượng khoảng (Interval Estimator And Interval Estimate). Ước lượng khoảng: Ước lượng khoảng đối với tham số thống kê của tập hợp chính θ là một quy tắc dựa trên thông tin của mẫu để xác định miền (Range) hay khoảng (Interval) mà tham số θ hầu như nằm trong... Gọi θ ˆ là ước lượng của θ : Bias( θ ˆ ) = E ( θ ˆ ) - θ Đối với ước lượng không chệch ⇒ Bias = độ chệch = 0 c) Ước lượng hiệu quả tốt nhất: Gọi θ ˆ 1 và θ ˆ 2 là 2 ước lượng không chệch của θ dựa trên số lượng của mẫu quan sát giống nhau. o θ ˆ 1 được gọi là hiệu quả hơn θ ˆ 2 nếu: Var ( θ ˆ 1 ) < Var ( θ ˆ 2 ) o Hiệu quả tương đối giữa hai ước lượng là tỉ số giữa 2 phương... (Minimum Variance Unbiased Estimator of θ ) θ 2 θ 1 θ 2 θ 1 θ ˆ 1 : ước lượng không chệch của θ θ ˆ 1 θ ˆ 2 : ước lượng không chệch của θ θ ˆ 2 : ước lượng chệch của θ θ ˆ 1 ước lượng hiệu quả hơn θ ˆ 2 : d) Sai số bình phương trung bình (Mean Squared Error - MSE) Sai số bình phương trung bình của ước lượng θ ˆ được định nghĩa như sau: MSE( θ ˆ ) = E [( θ ˆ - θ ) 2 ]... là số bất kỳ sao cho 0 < α < 1 Z α là điểm phần trăm giới hạn trên nếu. P (Z > Z α ) = α Ghi chú: P (Z > Z α ) = F Z (Z α ) = 1 - α Cao Hào Thi 76 o Nếu θ ˆ là ước lượng khơng chệch của θ và nếu khơng có một ước lượng khơng chệch nào có phương sai nhỏ hơn phương sai của θ ˆ thì θ ˆ đuợc gọi là ước lượng tốt nhất (Best Estimator) hay θ ˆ còn gọi là ước lượng. .. tin của mẫu để xác định miền (Range) hay khoảng (Interval) mà tham số θ hầu như nằm trong đó. Gía trị ước lượng khoảng: là giá trị cụ thể của miền hay khoảng mà tham số θ nằm trong đó. b) Khoảng tin cậy và độ tin cậy (Confidence Interval and Level of Confidence) Gọi θ là tham số thống kê chưa biết. Giả sử dựa trên thông tin của mẫu ta có thể xác định được 2 biến ngẫu nhiên A và B sao cho... trong N( µ ; σ 2 ) với σ 2 biết trước: -+ w = 2 ε x x n Z σ α 2/ x n Z σ α 2/ x x Z n x Z n xx −− −<<+ αα σ µ σ //22 hay : µ = X ± 2ε v ới ε = n Z x/ σ α 2 Với sai số cho phép ε cho trước, cỡ mẫu n đối với ước lượng µ trong N( µ ; σ 2 ) với σ 2 biết trước được xác định bởi cơng thức: 2 22 2/ ε σ α x Z n = Thí dụ: Giả sử độ lệch chuẩn của các đường ống thép được sản xuất... MSE ( θ ˆ ) = Var( θ ˆ ) + [ θ - E ( θ ˆ )] 2 MSE ( θ ˆ ) = Var ( θ ˆ ) + [ Bias( θ ˆ )] 2 Nếu θ ˆ là ước lượng khơng chệch ta có: Bias( θ ˆ ) = 0 ⇒ MSE ( θ ˆ ) = Var ( θ ˆ ) e) Ước lượng nhất quán vững (Consistent Estimators) θ ˆ n = θ ˆ (x 1 , x 2 , x n ) gọi là ước lượng vững của θ nếu với mọi ε > 0 ta có: ∞→i lim P( | θ ˆ n - θ | ≤ ε ) = 1 tức là dãy θ ˆ n ... độ lệch chuẩn của các đường ống thép được sản xuất ra trong ngày ở một phân xưởng là 10 kg. Chúng ta muốn ước lượng trong lượng trung bình µ của các đường ống thép được sản xuất ra trong ngày ở phân xưởng đó với độ chính xác ± 2,5kg và với độ tin cậy 95%. Tìm cỡ mẫu cần thiết cho sự ước lượng nói trên. Giải: Ta có: ε = 2,5kg, σ = 10 kg, α = 5% ⇒ Z α /2 = Z 0,025 = 1,96 Vậy: n . ước lượng θˆ và được xem như giá trị ước lượng của tham số thống kê θ của tập hợp chính. Tham số thống kê và tập hợp chính (Population Parameter) Ước lượng. ước lượng (Estimator And Estimate) a) Ước lượng (Estimator) và hàm ước lượng - Là biến ngẫu nhiên hay các tham số thống kê của mẫu được dùng để ước lượng