4 ƯỚC LƯỢNG LIÊN TIẾP
4.4 Quy trình hai bước
4.4.3. Quy trình cho ước lượng trung bình chung
Ghuyre và Robbins đã thu được một biểu thức rõ ràng cho V(A) và một xấp xỉ của nó làV∗(A) khi [.] là số nguyên lớn nhất chứa trong (.). Họ xếp thành bảng tỉ số V∗/V0 với sự lựa chọn giá trị của tham số, ρ=σ2/σ1, ma/A và A/a trong đó a =a1 =a2 và m=m1 =m2 dựa trên các tính tốn đó, họ suy ra rằng quy trình hai bước cung cấp những cải tiến đáng kể hơn cả quy trình một bước với giá trị ρ cách xa 1; Và dường như biểu diễn tốt nhất cho ma/A trong vùng lân cận của σ1/(σ1+σ2) nếu σ1 < σ2.
4.4.3. Quy trình cho ước lượng trung bình chung
Cho Π1,Π2 là hai tập có trung bình chung θ và phương sai σ12, σ22. Chúng ta muốn ước lượngθ sử dụng số lượng quan sát cố định. Nếu tập các phương sai là
khơng có sẵn hoặc q mơ hồ để xác định số lượng, đương nhiên ta sẽ xét một quy trình mà bao gồm lấy một mẫu ban đầu cỡ m từ mỗi tập, tính tốn ước lượng của các phương sai, và sau đó lấy n−2m quan sát cịn lại từ tập có ước lượng của phương sai nhỏ hơn.
Nếu m là quá lớn hoặc quá nhỏ, thuận lợi của kế hoạch lấy mẫu hai bước trong quy trình chỉ đơn giản lấy n/2quan sát, từ mỗi tập sẽ bị mất. Do đó việc xác định một vài ước lượng tốt một lựa chọn tối ưu của mnhư một hàm của n,
không phụ thuộc vào phương sai chưa biết khá là quan trọng. Chẳng hạn, giả sử rằng có 2 thiết bị để đo một hằng số vật lý, mà mỗi sự đo lường đó là đắt đỏ hoặc tốn nhiều thời gian để tổng số của chúng là bị giới hạn, và ta muốn ước lượng hằng số đúng đắn nhất có thể. Richter (1960) đã nghiên cứu bài toán này và kết quả của ông sẽ được cho dưới đây.
ChoXi1, Xi2, ...Xi,mlà một mẫu ngẫu nhiên từΠi(i = 1,2)và choη = σ22/σ12. Cho R = s 2 1 s2 2 = Pm i=1X1i2 −(Pmi=1X1i)2/m Pm
i=1X2i2 −(Pmi=1X2i)2/m
(4.49) để 1/R là ước lượng thông thường của η dựa trên 2m quan sát. Khi đó thực hiện các quan sát X1,m+1, X1,m+2, ...., X1,n−m nếu R < 1 hoặc thực hiện các quan sát X2,m+1, X2,m+2, ...X2,n−m trong trường hợp ngược lại. Viết Xi,Ni =
P
j=1NiXij/Ni, i = 1,2. Ta sẽ xét ước lượng θˆvà θ có dạng ˆ
θ =A1X1,N1+A2X2,N2 (4.50) Trong đó N1, N2, A1, A2 là các biến ngẫu nhiên sao cho N1 =n−m nếu R <1,
N1 = m nếu R ≥1, N1+N2 =n,0≤ Ai ≤ 1,(i = 1,2) và A1 +A2 = 1 với xác suất 1; Bên canh đó A1 và A2 thỏa mãn
EHXik =EXik, (i = 1,2)
EHX1kX2l =EHX1kEHX2l
EHhX2iki =EhX2iki,(i = 1,2)với mọi l và k (4.51) Trong đó EH[.] = E[.|H] và H = (N1, N2, A1, A2). Nếu Xij được giả sử là phân phối chuẩn, khi đó, trung bình mẫu và phương sai mẫu là độc lập. Do đó, sự giả định trên có thể thay thế cho giả định rằng A1 và A2 chỉ là hàm của phương sai mẫu. Ước lượng có dạng θˆdường như là hợp lí, nếu các quan sát là có sẵn trên các biến ngẫu nhiên chuẩn Xij, j = 1,2, ...ni, i = 1,2 và η đã biết,
a1X1,n1+a2X2,n2 là ước lượng không chệch phương sai cực tiểu đều củaθ, trong
đó a1 = n1η/(n1η+n2) và a2 = 1−a1.
Tiếp tục, cho V0 = (1/n) min(σ12, σ22), là phương sai của ước lượng tiêu chuẩn của θ trong trường hợp khi sgn(σ22 − σ12) là đã biết trước đó, và định nghĩa Rn(m;η) = V0−1Eθˆ−θ
2
liên kết với ước lượng θ. Phần đầu tiên củaˆ
định lý dưới đây nghĩa là Rn(m;η) =V0−1var(ˆθ).
Định lí 4.4.1. (Richter, 1960). Với ước lượng bất kì có dạng θˆ, (i) E(ˆθ) =θ
(ii) Rn(m;η) =nmax(1,1/η)EA21/N1+ηA22/N2
(iii)Rn(m;η) ≥nmax(1, η)E[1/(N2+N1η)]≥ 1.
Chứng minh. Vì EH(ˆθ) =A1EH(X1,N1) +A2EH(X2,N2) =θ, E(ˆθ) =θ. Tiếp theo EHθˆ−θ 2 = EH A1X1,N1+A2,N2−θ2 = A 2 1σ12 N1 + A22σ22 N2
Điều này chứng minh (ii) vì Rn(m;η) = V0−1E
EHθˆ−θ
2
. Cuối cùng,
A21/N1+ηA22/N2có một cực tiểu duy nhất theoA1 = 1−A2tại A1 =N1η/(N2+
N1η) để EA21/N1+ηA22/N2 ≥ ηE(N2+N1η)−1 điều này chứng minh bất đẳng thức bên trái của (iii); VìN2+N1η ≤ nmax(1, η). Vậy định lý được chứng minh.
Chúng ta kiểm tra kĩ hàm rủi ro của thí nghiệm một bước thơng thường cho ước lượng θ, mà nó sẽ quan sát n/2 của X1j và n/2 của X2j. Nếu ta chỉ muốn ước lượng không chệch θ0, và giả sử các biến là phân phối chuẩn, khi đó
var(θ0) >2σ22/n(1+η), vì ηX1+X2/(1+η) là ước lượng không chệch phương sai cực tiểu với phương sai 2σ22/n(1 +η) khi phương sai đã biết. Khi đó
R(η) = var(θ 0) V0 ≥ 2 max(1, η) 1 +η Vì max(1, η) = 1/min(1,2/η), và 1 max(1, η) 1 +η ≥ 1
dấu "=" xảy ra nếu và chỉ nếu η = 1. Do đó, với mỗi η 6= 1 cố định, hàm rủi ro là bị chặn cách xa đơn vị không phụ thuộc vào cỡ mẫu. Người ta hi vọng rằng hàm rủi ro của phương pháp hai bước sẽ nhỏ hơn, và chúng ta phải chỉ ra rằng nếu m được chọn hợp lý thì những mẫu lớn sẽ là ít nhất.
Với thí nghiệm hai bước, rõ ràng rằng một ước lượng là được chỉ rõ một lần, chỉ biến trái theo sự sử dụng của nhà thống kê là bằng m. Khi đó cho một ước
lượng có dạng θ, chúng ta có thể nói rằng hàm giá trị thực bất kìˆ m(n) sao cho 4≤2m(n) < nvới mọin ≥5là một lời giải cho bài toán. Đối với một ước lượng có dạng θ,ˆ m(n) sẽ được gọi là một lời giải thích hợp đều(uniformly consistent
solution-UCS) nếu supηRn[m(n);η] → 1 khi n → ∞. Ta phải hạn chế lời giải
như vậy nếu chúng tồn tại. Hơn nữa, nếu supηRn(m;η) < ∞, một lời giải mà
làm cực tiểu supηRn(m;η) sẽ được gọi là một lời giải minimax (MMS). Nếu tồn tại một UCS thì lúc đó một MMS cũng là một UCS. Do đó nguyên lý minimax cung cấp một phương tiện để chọn một lời giải từ lớp các lời giải UC.
Một ước lượng đơn giản
Sau đây, ta sẽ bắt đầu từ một lời giải minimax tiệm cận cho một ước lượng không chệch cụ thể. Cho các nghiên cứu về sau, ta sẽ giả sử rằng Xij là phân phối chuẩn. Do đó ηR= s21σ22/s22σ21 có phân phối F với m−1, m−1 bậc tự do, và ta viết K(m;η) =P(R ≥ 1) =B m−1 2 , m−1 2 −1Z ∞ η x(m−3)/2(1 +x)1−mdx.
Định nghĩa θˆ1 = A1X1,N1 +A2X2,N2, trong đó A1 = 1 hoặc 0 tuy theo R < 1 hay R ≥1. Ước lượng này có dạng θˆvà theo 4.4.1, θˆlà khơng chệch
R1n(m, η) =nmax(1,1/η)E A21 N1 + ηA22 N2 =nmax(1,1/η) 1−K(m;η) n−m +η K(m;η) n−m (4.52) = max(1,1/η)1− m n −1 [1 + (η−1)K(m;η)]. Dễ dàng chỉ ra rằng R1n(m;η) = R1n(m; 1/η) bằng cách sử dụng K(m;η) =
Vậy ta có kết quả sau về MMS của θ.
Định lí 4.4.2. (Richter, 1960). Lời giải minimax cho θˆlà m(n) = (cn/2)2/3+
O(n1/3) và minmmaxηR1n(m;η) = 1 + 3(c/2)2/3n−1/3+O(n−2/3) trong đó c = 2τ0Φ(−τ0) và τ0 là nghiệm của phương trình
Φ(−τ)−τ φ(τ) = 0
Một lớp các ước lượng
Người ta có thể yêu cầu nếu ước lượng tốt hơn tồn tại (nghĩa là độ rủi ro nhỏ hơn) và nếu kết quả như định lý 4.4.2 có thể tìm được một ước lượng như vậy. Richter (1960) đưa ra một câu trả lời khẳng định cho cả hai câu hỏi trên. Cho
ˆ
θ2 = N1ηX1,N1 +N2X2,N2/(N1η+N2)
rủi ro của nó làR2n(m;η) =nmax(1;η).E[1/N1η+N2] khi đóR2n(m;η)là một cận dưới cho rủi ro của tất cả các ước lượng có dạng θˆtheo định lý 4.4.1(iii). Tuy nhiên, khi η chưa biết, người ta có thể thay thế nó bởi ηˆ trong đó ηˆ → η
hội tụ xác suất. Việc sử dụng một ηˆ chỉ dựa vào bậc đầu tiên là thuận lợi về mặt toán học; Ta đặt ηˆ= 1/R và định nghĩa
ˆ
θ3 = N1X1,N1+N2RX2,N2/(N1+N2R)
Một động cơ thúc đẩy khác của θˆ3 là như sau. Khi η đã biết, cho một thí nghiệm một bước, ước lượng không chệch phương sai cực tiểu đều (UMVU) là
n1ηX1,N1 +n2X2,N2/(n1η +n2). Tuy nhiên, khi n1, n2 và η chưa biết lấy ηˆlà ước lượng thông thường củaη dựa trên2 min(n1, n2) quan sát, và thay thến1, n2
bởi các biến ngẫu nhiên N1, N2 ta thu được θˆ3. Ước lượng khác mà có thể xem xét là θˆ4, trung bình lớn của tất cả các quan sát: θˆ4 = N1X1,N1 +N2X2,N2/n.
Với θ4ˆ tồn tại nghiệm không UC và nghiệm không tầm thường MM. Với θ2,ˆ