Bài giảng lý thuyết xác suất và thống kê toán học chương 6 phan văn tân

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Phan Văn Tân Bộ mơ Khí tượng CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết • Bài tốn: Cho X đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc f(x,θ)), dạng F(x,θ) biết chưa biết θ Hãy xác định θ • Thực tế, khó khơng thể xác định xác giá trị θ nên người ta ước lượng thơng qua tập mẫu X • Giả sử có mẫu (X1, X2,…, Xn) X, để thay cho θ ta lập đại lượng thống kê θˆ( X , X , , X n ) • Định nghĩa: Đại lượng thống kê θˆ( X , X , , X n ) chọn dùng để thay cho tham số θ gọi hàm ước lượng θ (hay ngắn gọn ước lượng θ) • Chú ý:θˆ( X , X , , X n ) hm ca (X1, ,Xn) ẻ bin ngu nhiờn ã Vi (x1,…,xn) θˆ( X , X , , X n ) điểm trục số ⇒ θˆ( X , X , , X n ) gọi ước lượng điểm θ CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết • Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,…, Xn) • Khi đó: mx = M [ X ], Dx ≡ σ x2 = D[ X ] = M [( X − mx ) ] đặc trưng xác (các tham số xác) X n X = ∑ X i ước lượng mx n i =1 n ~ Dx ≡ s x = ∑ ( X i − X ) ước lượng Dx n i =1 • Nói chung, ứng với tham số θ có nhiều cách ước lượng khác Ỵ Cần chọn ước lượng tốt CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết • Định nghĩa: Hàm ước lượng θˆ( X , , X n ) tham số θ gọi ước lượng không chệch nếu: M [θˆ( X , , X n )] = θ • Ví dụ: Kỳ vọng mẫu ước lượng khơng chệch kỳ vọng mx n n 1 n M [ X ] = M [ ∑ X i ] = M [∑ X i ] = ∑ M [ X i ] = M [ X ] = mx n i =1 n n i =1 i =1 • Phương sai mẫu ước lượng chệch phương sai Dx n n ~ 2 M [ Dx ] ≡ M [ s x ] = M [ ∑ ( X i − X ) ] = M [ ∑ ( X i − X ) ] n i =1 n i =1 Vì Xi nhận giá trị X có phân bố với X nên M[Xi ] = M[X ] = M[X ] CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết ( ) 2⎤ ⎡n ~ ⇒ M [ Dx ] = M ⎢∑ ( X i − M [ X i ]) − ( X − M [ X ]) ⎥ = n ⎣ i =1 ⎦ n ⎡ ⎤ 2 = M ⎢∑ ( X i − M [ X ]) + ( X − M [ X ]) − 2( X i − M [ X ])( X − M [ X ]) ⎥ = n ⎣ i =1 ⎦ n n ( [ n = ∑ M ( X i − M [ X ]) n i =1 ) ] = 1 D = Dx = Dx ∑ ∑ xi n i =1 n i =1 n 1 + M [∑ ( X − M [ X ]) ] = M [n ( X − M [ X ]) ] = M [( X − M [ X ]) ] = D[ X ] n n i =1 n n 2 − M [∑ ( X i − M [ X ])( X − M [ X ])] = − M [( X − M [ X ]) ∑ ( X i − M [ X i ])] = n n i =1 i =1 = − M [( X − M [ X ])n( X − M [ X ])] = ~ ⇒ M [ Dx ] = Dx − D[ X ] n = −2 M [( X − M [ X ]) ] = −2 D[ X ] CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết ( ) 2⎤ ⎡n ~ ⇒ M [ Dx ] = M ⎢∑ ( X i − M [ X i ]) − ( X − M [ X ]) ⎥ = n ⎣ i =1 ⎦ ~ M [ Dx ] = Dx − D[ X ] ⎡1 n ⎤ ⎡n ⎤ D[ X ] = D ⎢ ∑ X i ⎥ = D ⎢∑ X i ⎥ ⎣ n i =1 ⎦ n ⎣ i =1 ⎦ Vì Xi độc lập, có phân bố với X nên n ⎡n ⎤ n D ⎢∑ X i ⎥ = ∑ D[ X i ] = ∑ D[ X ] = nD[ X ] = nDx i =1 ⎣ i =1 ⎦ i =1 n −1 ~ M [ Dx ] = Dx − Dx = Dx ≠ Dx ≡ σ n n ⇒ D[ X ] = Dx n CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết n −1 n −1 ~ Dx = M [ Dx ] = σ n n n n ~* *2 ~ 2 • Nếu dùng Dx = sx = ( X − X ) thay cho D = ( X − X ) ∑ i ∑ x i n − i =1 n i =1 n n ~ ~* ~ ~ Khi đó: (n − 1) Dx = nDx = ∑ ( X i − X )2 ⇒ Dx* = Dx n −1 i =1 n n n −1 ~* ~ M [ Dx ] = Dx = Dx = σ ⇒ M [ Dx ] = n −1 n −1 n n ~* *2 Tức Dx = sx = ( X i − X )2 ước lượng không chệch Dx ∑ n − i =1 ~ Đó lý người ta thường dùng Dx* Tuy nhiên, n đủ lớn tỷ số (n–1)/n≈1 chúng khơng sai khác CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng tham số chưa biết • Độ xác ước lượng khơng chệch • Giả sử θˆ( X , , X n ) ước lượng không chệch θ, D[θˆ( X , , X )] = σ n θ Từ bất đẳng thức Tchebychev ta có: σ θ ˆ P (| θ ( X , , X n ) − θ |< εσ θ ) ≥ − 2 = − ε σθ ε • Nếu chọn ε=3 ta có: P (| θˆ( X , , X n ) − θ |< 3σ θ ) ≥ − ≈ 0.8889 Ỵ Với xác suất lớn, chênh lệch θ ước lượng khơng vượt q lần độ lệch chuNn CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng tham số chưa biết • Định nghĩa: Hàm ước lượng θˆ( X , , X n ) tham số θ gọi ước lượng vững với ∀ε>0 cho trước ta có lim P (| θˆ( X , , X n ) − θ |< ε ) = n→ +∞ • Định lý: N ếu θˆ( X , , X n ) hàm ước lượng θ cho: a) θˆ( X , , X ) ước lượng không chệch θ n lim {M [θˆ( X , , X n )] − θ } = (độ chệch tiến tới 0–không chệch) n→ +∞ D[θˆ( X , , X n )] = b) nlim → +∞ θˆ( X , , X n ) ước lượng vững θ CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng tham số chưa biết • Chứng minh: • Áp dụng bất đẳng thức Tchebychev: D[θˆ( X , , X n )] ˆ ˆ lim P(| θ ( X , , X n ) − M [θ ( X , , X n )] | < ε ) ≥ − n→ +∞ ε2 Viết lại: ˆ( X , , X )] θ D [ n lim P(| θˆ( X , , X n ) − θ − ( M [θˆ( X , , X n )] − θ ) | < ε ) ≥ − n→+∞ ε2 lim {M [θˆ( X , , X n )] − θ } = n→ +∞ lim D[θˆ( X , , X n )] = n→ +∞ ⇒ lim P(| θˆ( X , , X n ) − θ | < ε ) ≥ n→+∞ • Ví dụ: Kỳ vọng mẫu ước lượng vững, M [ X ] = M [ X ] = mx D D[ X ] = D[ X ] = x → n → ∞ n n CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng tham số chưa biết • Định nghĩa: N ếu θˆ( X , , X n ) ước lượng không chệch θ D[θˆ( X , , X n )] không lớn hàm ước lượng khơng chệch khác θˆ( X , , X n ) gọi ước lượng hiệu θ • Định lý: Cho mẫu (X1,…,Xn) X có phân bố f(x,θ) thỏa mãn số điều kiện định θˆ( X , , X n ) ước lượng không chệch θ thì: ˆ D[θ ( X , , X n )] ≥ ⎡⎛ ∂ ln f ( x, θ ) ⎞ ⎤ n × M ⎢⎜ ⎟ ⎥ ∂θ ⎠ ⎥⎦ ⎢⎣⎝ Người ta gọi bất đẳng thức thông tin hay bất đẳng thức Crame–Rao CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng tham số chưa biết • Ví dụ: Cho X có phân bố chuNn N (μ,σ) Chứng minh kỳ vọng mẫu X ước lượng hiệu μ=M[X] x−μ − ( ) σ • Giải: Ta có: f ( x, μ ) = e 2π σ x−μ ∂ ln f ( x, μ ) x − μ ⇒ ln f ( x, μ ) = − ln 2π σ − ( ) ⇒ = σ ∂μ σ2 ⎡⎛ ∂ ln f ( x, μ ) ⎞ ⎤ ⎡⎛ X − μ ⎞ ⎤ 1 ⇒ M ⎢⎜⎜ ⎟⎟ ⎥ = M ⎢⎜ ⎟ ⎥ = M [( X − μ ) ] = 2 ∂μ σ ⎠ ⎥⎦ ⎢⎣⎝ σ ⎠ ⎥⎦ σ ⎢⎣⎝ σ2 1 = = = D[ X ] 2 n ⎡⎛ ∂ ln f ( x, θ ) ⎞ ⎤ n / σ n × M ⎢⎜ ⎟ ⎥ ∂ θ ⎠ ⎥⎦ ⎢⎣⎝ ⇒ X ước lượng hiệu μ CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng f(x,θ) biết, θ chưa biết cần phải ước lượng Giả sử (X1,…,Xn) mẫu X Khi đó, hàm L(θ ) = f ( X , θ ) × f ( X , θ ) × × f ( X n , θ ) gọi hàm hợp lý mẫu Gọi θˆ( X , , X n ) ước lượng θ Cần xác định θˆ( X , , X n ) cho: L(θˆ( X , , X n )) ≥ L(θ ) víi ∀θ ∈ Θ Trong Θ miền giá trị θ • Vì hàm logarit hàm đơn điệu nên thay cho L(θ) người ta dùng hàm H(θ)=lnL(θ), θˆ( X , , X n ) xác định từ H (θˆ( X , , X )) ≥ H (θ ) víi ∀θ ∈ Θ n CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Khi đó, tồn đạo hàm θˆ( X , , X n ) nghiệm phương trình dH (θ ) =0 dθ Phương trình gọi phương trình hợp lý cực đại N ghiệm θˆ( X , , X n ) phương trình gọi ước lượng hợp lý cực đại θ • N hư vậy, bước để tìm ước lượng hợp lý cực đại θ: – Lập hàm hợp lý L(θ) mẫu – Tìm hàm H(θ)=ln L(θ) dH (θ ) – Tìm nghiệm phương trình =0 dθ CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 1: Giả sử X∈N (μ,σ) với σ biết Xác định ước lượng hợp lý cực đại μ, biết (X1,…,Xn) mẫu X • Giải: Lập hàm hợp lý n ⎡ n 2⎤ − − L( μ ) = ∏ f ( X i , μ ) = exp ( X μ ) n ⎢ 2σ ∑ i ⎥ i =1 i =1 ⎣ ⎦ 2π σ n ⇒ H ( μ ) = ln L( μ ) = − ∑ ( X i − μ ) − n ln 2π σ 2σ i =1 n dH ( μ ) n ⇒ = ∑( Xi − μ) = ⇒ ∑( Xi − μ) = dμ σ i =1 i =1 n n n n ⇒ ∑ X i − ∑ μ = ⇒ nμ = ∑ X i ⇒ μˆ ( X , , X n ) = ∑ X i = X n i =1 i =1 i =1 i =1 d 2H (μ ) n = − < ⇒ μˆ hàm hợp lý đạt giá trị cực đại 2 dμ σ ( ) ( ) CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 2: Giả sử X∈N (μ,σ), μ σ chưa biết Tìm ước lượng hợp lý cực đại μ, σ biết (X1,…,Xn) mẫu X • Giải: Coi θ=(μ,σ) Từ ví dụ trước: n H (θ ) = ln L(θ ) = − ∑ ( X i − μ ) − n ln 2π σ 2σ i =1 n ∂H (θ ) = ⇒ ∑ X i − nμ = ∂μ n i =1 n 2 X μ 4σ ∑ ( X i − μ ) ( − ) ∑ i ∂H (θ ) n π i =1 i =1 = −n = − =0 ∂σ σ σ 4σ 2π σ Giải ta được: n n μˆ ( X , , X n ) = ∑ X i = X σˆ ( X , , X n ) = ∑ ( X i − X ) n i =1 n i =1 ( ) CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Nhận xét: – Hàm hợp lý lập sở tập mẫu (X1,…,Xn) Xi độc lập có phân bố với X – Mỗi nghiệm phương trình hợp lý cực đại giá trị cụ thể tính từ tập mẫu nên ước lượng tham số gọi ước lượng điểm (xác định điểm trục số) – N ếu có nhiều tham số cần ước lượng (như ví dụ 2), sau lập hàm hợp lý cực đại, lấy đạo hàm bậc ứng với tham số cho để nhận hệ phương trình – Giải hệ ta ước lượng tương ứng CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số khoảng tin cậy • Định nghĩa: Khoảng tin cậy (θˆ1 , θˆ2 ) tham số θ với độ tin cậy γ khoảng với hai đầu mút θˆ1 = θˆ1 ( X , , X n ), θˆ2 = θˆ2 ( X , , X n ) P(θˆ1 ( X , , X n ) ≤ θ ≤ θˆ2 ( X , , X n )) = γ • Bài tốn: Cho biến ngẫu nhiên X mẫu (X1,…,Xn) X Hãy xác định θˆ1 = θˆ1 ( X , , X n ), θˆ2 = θˆ2 ( X , , X n ) cho: P(θˆ ( X , , X ) ≤ θ ≤ θˆ ( X , , X )) = γ với γ số cho trước 1 n n • Nhận xét: Từ định nghĩa ta thấy, γ lớn khoảng (θˆ1 , θˆ2 ) nhỏ ước lượng θ xác • Giải: Xét số ví dụ CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số khoảng tin cậy • Ví dụ 1: Cho X∈N (μ,σ) với σ biết (X1,…,Xn) mẫu X Hãy xác định ước lượng khoảng μ với độ tin cậy γ • Giải: Xét biến ngẫu nhiên U = X − μ Khi U∈N (0,1) σ/ n Với γ cho uγ − x trước, giải ⇒ P(| U |≤ uγ ) = P( −uγ ≤ U ≤ uγ ) = e dx = γ 2π −∫uγ tìm uγ ⇒ P( −uγ ≤ X −μ σ σ ⎞ ⎛ ≤ uγ ) = P⎜ X − uγ ≤ μ ≤ X + uγ ⎟=γ σ/ n n n⎠ ⎝ σ σ ⎤ ⎡ với độ tin cậy γ , X + uγ ⇒ μ ∈ ⎢ X − uγ ⎥ n n⎦ ⎣ γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58;… CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số khoảng tin cậy • Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết (X1,…,Xn) mẫu X Hãy xác định ước lượng khoảng μ với độ tin cậy γ X −μ • Giải: Ở ta xét biến ngẫu nhiên t = * sx / n n *2 ( X − X ) với sx = Khi t∈St(n–1) ∑ i Với γ cho n − i =1 tγ trước, giải ⇒ P(| t |≤ tγ ) = P( −tγ ≤ t ≤ tγ ) = ∫ f ( x, n − 1)dx = γ tìm uγ −tγ ⎛ s*x s*x ⎞ X −μ ⎟⎟ = γ ⇒ P( −tγ ≤ * ≤ tγ ) = P⎜⎜ X − tγ ≤ μ ≤ X + tγ n⎠ sx / n n ⎝ ⎡ s*x s*x ⎤ ⇒ μ ∈ ⎢ X − tγ , X + tγ ⎥ với độ tin cậy γ n n⎦ ⎣ CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu • Bài tốn: Cho mẫu (Y1,…,Yn) biến ngẫu nhiên Y Giả sử biết: M [Yi ] = xi1 β + xi β + + xim β m M [Y ] = X β Hay D [Y ] = I σ D [Yi ] = σ , ( i = 1,2, , n ) Trong đó: xij (i=1 n, j=1 m) số biết β1, β2, , βm σ tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n) Yêu cầu xác định ước lượng βˆ1 , βˆ2 , , βˆm (là hàm (Y1,…,Yn)) cho: n R = ∑ (Yi − ( xi1 β + xi β + + xim β m )) đạt giá trị nhỏ i =1 Tức cần tìm βˆ1 , βˆ2 , , βˆm thỏa mãn • Giải: ⎞ ⎛ ⎞ ⎛ ˆ ⎜ ⎟ ⎜ Yi − ∑ xij β j ⎟⎟ ∑ ∑ ⎜ ⎜ Yi − ∑ xij β j ⎟ = βmin , , β m i =1 ⎝ j =1 i =1 ⎝ j =1 ⎠ ⎠ n m n m CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu n m m ⎞ ⎛ ⎞ ⎛ ˆ Điều kiện cần để thỏa mãn ∑ ⎜⎜ Yi − ∑ xij β j ⎟⎟ = ∑ ⎜⎜ Yi − ∑ xij β j ⎟⎟ β , , β m i =1 ⎝ j =1 i =1 ⎝ j =1 ⎠ ⎠ n đạo hàm R2 theo βk phải 0: n m ⎛ ⎞ ∂R = − ∑ ⎜⎜ Yi − ∑ xij β j ⎟⎟ xik = 0, k = 1,2, , m ∂β k i =1 ⎝ j =1 ⎠ ⎛ Y1 ⎞ ⎛ x11 x1m ⎞ ⎛ β1 ⎞ Dưới dạng ma trận: ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Y = ⎜ ⎟, X = ⎜ ⎟, β = ⎜ ⎟ ⎜Y ⎟ ⎜x ⎟ ⎜β ⎟ ⎝ n⎠ ⎝ n1 x nm ⎠ ⎝ m⎠ R ∂ ⇒ R = (Y − X β ) T (Y − X β ) = − X T (Y − X β ) = ⇒ ∂β ⇒ X T Xβ = X T Y Phương trình tắc ⇒ βˆ = ( X T X ) −1 ( X T Y ) CHƯƠN G LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu Kỳ vọng phương sai ước lượng βˆ βˆ = ( X T X ) −1 ( X T Y ) M [ βˆ ] = M [( X T X ) −1 ( X T Y )] = ( X T X ) −1 X T M [Y ] Vì M [Y ] = X β ⇒ M [ βˆ ] = ( X T X ) −1 ( X T X ) β = β ⇒ βˆ ước lượng không chệch β Tương tự, tính được: D [ βˆ ] = σ ( X T X ) −1 HẾT CHƯƠNG ...CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6. 1 Hàm ước lượng tham số chưa biết • Bài tốn: Cho X đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc f(x,θ)), dạng F(x,θ) biết chưa biết θ Hãy xác định θ •... xác định xác giá trị θ nên người ta ước lượng thơng qua tập mẫu X • Giả sử có mẫu (X1, X2,…, Xn) X, để thay cho θ ta lập đại lượng thống kê θˆ( X , X , , X n ) • Định nghĩa: Đại lượng thống kê. .. Dx ∑ n − i =1 ~ Đó lý người ta thường dùng Dx* Tuy nhiên, n đủ lớn tỷ số (n–1)/n≈1 chúng không sai khác CHƯƠNG LÝ THUYẾT ƯỚC LƯỢNG 6. 1 Hàm ước lượng tham số chưa biết • Độ xác ước lượng khơng