Ước lượng phi tham số cho hàm mật độ ngẫu nhiên

Nếu ta biết trước rằng p phụ thuộcvào một họ tham số{gx, θ : θ ∈ Θ}, ở đó g, là một hàm cho trước và θ là một tập con của Rk với k cố định và không phụ thuộc vào số quan sát n, thì bài

KHOA TOÁN-TIN

KHÓA LUẬN TỐT NGHIỆP

ƯỚC LƯỢNG PHI THAM SỐ CHO HÀM MẬT ĐỘ CỦA MẪU NGẪU NHIÊN

Giảng viên hướng dẫn: TS Ngô Hoàng Long

Sinh viên: Đỗ Thị Phượng

HÀ NỘI

1 Cơ sở lí thuyết 2

1.1 Một số bài toán và ví dụ về mô hình phi tham số 2

1.2 Ước lượng hạch của mật độ 3

1.2.1 Sai số bình phương trung bình 5

1.2.2 Sự xây dựng của hạch cấp l 12

1.2.3 Sai số tích phân bình phương của ước lượng hạch 15

1.2.4 Sự thiếu tính tối ưu tiệm cận cho mật độ cố định 22

1.3 Giải tích Fourier của ước lượng hạch của mật độ 30

1.4 Sai số của ước lượng không chệch Sự thừa nhận chéo ước lượng mật độ 40

1

Cơ sở lí thuyết

tham số

Ước lượng mật độ xác suất

Cho X1, · · · , Xn là dãy biến ngẫu nhiên giá trị thực có cùng phân phối

mà phân phối chung là liên tục tuyệt đối theo độ đo Lebesgue trên R Mật

độ của phân phối này là một hàm số chưa biết p : R → [0, +∞] Vấn đề taquan tâm ở đây là tìm ước lượng của p dựa trên các quan sát X1, X2, · · · , Xn.Mỗi ước lượng của p là một hàm số x 7→ pn(x) = pn(x, X1, · · · , Xn) đo đượcđối với quan sát X = (X1, X2, · · · , Xn) Nếu ta biết trước rằng p phụ thuộcvào một họ tham số{g(x, θ) : θ ∈ Θ}, ở đó g(, ) là một hàm cho trước và

θ là một tập con của Rk với k cố định và không phụ thuộc vào số quan sát

n, thì bài toán ước lượng p là tương đương với bài toán ước lượng tham sốhữu hạn chiều θ Khi đó bài toán được gọi là bài toán ước lượng tham số.Ngược lại, ta xét bài toán phi tham số khi ta chưa biết trước thông tin gì về

p Trong bài toán ước lượng phi tham số ta thường giả sử rằng p thuộc vàomột lớp hàm mật độ P nào đó Ví dụ, P có thể là tập tất cả các hàm mật

độ xác suất liên tục trên R hoặc tập tất cả mật độ xác suất Lipschitz liêntục trên R Các lớp hàm như trên được gọi là lớp hàm phi tham số

2

1.2 Ước lượng hạch của mật độ

Cho X1, X2, · · · , Xn là dãy các biến ngẫu nhiên độc lập cùng phân phối(i.i.d) với mật độ xác suất p theo độ đo Lebesgue trên R

Hàm phân phối tương ứng là:

Một dạng khái quát đơn giản của ước lượng Rosenblatt là:

ˆn = 1nh

trong đó K : R → R là một hàm khả tích thỏa mãn R K(u)du = 1.

Hàm K trên được gọi là hạch và tham số h được gọi là dải thông của ướclượng (1.1) Hàm x 7→ ˆpn(x) được gọi là ước lượng hạch của mật độ hoặc ướclượng Parzen-Rosenblatt

Khi xét đến tính tiệm cận của ước lượng, tức là khi n → ∞, ta chú ýdải thông h phụ thuộc vào n, kí hiệu bởi hn, và chúng ta sẽ giả sử rằng dãy(hn)n≥1 tiến tới 0 khi n → ∞ Để đơn giản kí hiệu, ta thường chỉ viết h thay

cho hn nếu không có gì gây nhầm lẫn.

Một số ví dụ điển hình của hạch

K(u) = 12I(|u| ≤ 1) (Hạch chữ nhật),

K(u) = (1 − |u|)I(|u| ≤ 1) (Hạch tam giác),

K(u) = 34(1 − u2)I(|u| ≤ 1) (Hạch parabol hoặc hạch Epanechnikov),

K(u) = 1516(1 − u2)2I(|u| ≤ 1) (Hạch song trọng),

độ hai chiều như sau:

Giả sử rằng chúng ta quan sát n cặp biến ngẫu nhiên (X1, Y1), · · · , (Xn, Yn)trong đó (Xi, Yi) là i.i.d với một mật độ p(x, y) trên R2 Ước lượng hạch củap(x, y) được xác định bởi công thức:

ở đó K : R → R là một hạch được định nghĩa như trên và h > 0 là dải thông

1.2.1 Sai số bình phương trung bình

Một độ đo cơ bản cho độ chính xác của ước lượng ˆpnlà sai số bình phươngtrung bình (MSE) MSE tại một điểm cố định x0 ∈ R được xác định bởi côngthức:

M SE = M SE(x0)= E4 p(ˆpn(x0) − p(x0))2trong đó Ep được xác định như sau:

Ep(ˆpn(x0) − p(x0))2 =4

Z

· · ·

Z(ˆpn(x0, x1, · · · , xn) − p(x0))2

n

Y

i=1

[p(xi)dxi]

Ta có

trong đó b(x0) = Ep[ˆpn(x0)] − p(x0) và σ2(x0) = Ep(ˆpn(x0) − Ep[ˆpn(x0)])2Định nghĩa 1.2.1 Đại lượng b(x0) và σ2(x0) tương ứng được gọi là độ chệch

và phương sai của ước lượng ˆpn tại điểm x0

Để đánh giá sai số trung bình bình phương của ˆpn ta sẽ phân tích lầnlượt phương sai và độ chệch của ˆpn

Phương sai của ước lượng ˆpn

Mệnh đề 1.2.1 Giả sử rằng mật độ p thỏa mãn p(x) ≤ pmax < ∞, ∀x ∈ R.Cho K : R → R là một hàm số sao cho

Z

K2(u)du

σ2(x0) = Ep



1nh

Độ chệch của ước lượng ˆpn

Độ chệch của ước lượng hạch của mật độ có dạng:

Bây giờ chúng ta mô tả dáng điệu của b(x0) như là một hàm số của h dướimột số điều kiện chính quy của mật độ p và hạch K Sau đây, ta kí hiệu bβc

là số tự nhiên lớn nhất nhỏ hơn số thực β lim

Định nghĩa 1.2.2 Cho T là một khoảng trên R và β, L là hai số dương.Lớp H ¨older P(β, L) trên T được định nghĩa là tập của các hàm f : T → Lkhả vi cấp l = bβc và thỏa mãn

f(l)(x) − f(l)(x0) ≤ L |x − x0|β−l, ∀x, x0 ∈ T

Định nghĩa 1.2.3 Giả sử l là số tự nhiên lơn hơn 1 Ta nói rằng K : R → R

là một hạch cấp l nếu hàm u 7→ ujK(u), j = 1, · · · , l là khả tích và thỏa mãn

ZK(u)du = 1,

Z

ujK(u)du = 0, j = 1, · · · , l

Một vài ví dụ của hạch cấp l ta sẽ được viết trong Mục 1.2.2

Bây giờ, ta giả sử rằng p thuộc vào lớp các mật độ P = P(β, L) đượcđịnh nghĩa như sau:

P(β, L) =



p | p ≥ 0,

Zp(x)dx = 1 và p ∈X(β, L) trên R



và giả sử rằng K là một hạch cấp l Ta có kết quả sau

l! p

(l)

(x0+ τ uh) − p(l)(x0)
du,và

Cận trên của sai số bình phương trung bình

Từ Mệnh đề 1.2.1 và 1.2.2, ta thấy rằng cận trên của độ chệch và phươngsai có dáng điệu ngược nhau Khi h nhỏ thì độ chệch nhỏ, phương sai cao.Ngược lại, khi h lớn thì phương sai nhỏ, độ chệch cao (hình ??)

Khi chọn h đủ nhỏ tương ứng với phương sai đủ lớn được gọi là quá thô.Khi chọn h đủ lớn thì độ chệch không thể điều chỉnh hợp lí, và được gọi làquá trơn Giá trị h tối ưu là cân bằng giữa độ chệch và phương sai và nằmgiữa hai cực trị của chúng Hình 1.2.1 là đồ thị tiêu biểu của tương ứng ướclượng mật độ Để chọn được giá trị tối ưu h, ta cực tiểu hóa h trên cận trêncủa MSE thì thu được kết quả

Nếu p và K thỏa mãn giả thiết của Mệnh đề 1.2.1 và 1.2.2, ta được

đều theo x0 Chúng ta có kết quả sau

Định lí 1.2.1 Giả sử điều kiện (1.4) đúng và giả thiết của Mệnh đề 1.2.2được thỏa mãn Cố định α > 0 và lấy h = αn−2β+11 Khi đó ước lượng hạch

Chứng minh Bất đẳng thức (1.7)

M SE ≤ C22h2β + C1

nh,

|u|β|K(u)| du.

Mà theo giả thiết điều kiện (1.4) đúng và giả thiết của Mệnh đề 1.2.2 đượcthỏa mãn nên ta chỉ cần chứng minh tồn tại hằng số pmax < ∞ thỏa mãn

≤ C2∗ =4 L

l!

Z

|u|β|K∗(u)| du

Do đó, với mọi x ∈ R và mọi p ∈ P(β, L)

p(x) ≤ C2∗+

Z

|K∗(z − x)| p(z)dz ≤ C2∗ + Kmax∗ ,

trong đó Kmax∗ = supu∈R|K∗(u)|

Suy ra tồn tại pmax = C2∗+ Kmax∗ thỏa mãn (1.8)

Với giả thiết của Định lí 1.2.1, tốc độ hội tụ của ước lượng ˆpn(x0) là

ψn= n−2β+1β , tức là tồn tại hằng số C hữu hạn sao cho

Bây giờ ta có hai câu hỏi như sau: Liệu chúng ta có thể cải thiện tốc độ

ψnbởi ước lượng mật độ khác không? Tốc độ hội tụ tốt nhất có thể đạt được

là bao nhiêu? Để trả lời hai câu hỏi trên người ta sử dụng sai số minimax R∗n

Dễ thấy rằng từ Định nghĩa 1.2.3, hạch cấp l ≥ 2 nhận giá trị âm trêntập các độ đo Lebesgue dương Do đó ước lượng của mật độ dựa trên cáchạch này có thể nhận giá trị âm Tính chất này là nhược điểm của các ướclượng với hạch cấp cao Tuy nhiên, nhược điểm này không quá nghiêm trọng

Ta có thể sử dụng phần dương của ước lượng như sau:

ˆ+n(x)= max {0, ˆ4 pn(x)} ,

trong đó, sai số của ˆp+

n là nhỏ hơn hoặc bằng sai số của ˆpn

Ep

h

ˆ+n(x0) − p(x0)
2i ≤ Ep(ˆpn(x0) − p(x0))2 , ∀x0 ∈ R (1.9)

Thật vậy

E [ ˆpn(x0) − p(x0)]2 = E [(ˆpn(x0) − p(x0)) I(ˆpn(x0 ≥ 0))]2

+E(ˆpn(x0) − p(x0))2I(ˆpn(x0 < 0))

≤ Eh ˆ+n(x0) − p(x0)
2I(ˆpn(x0 ≥ 0))i+E

p(x0)2
I(ˆpn(x0 < 0))

= E ˆp+n(x0) − p(x0)2Đặc biệt, Định lí 1.2.1 vẫn còn đúng khi ta thay thế ˆpn bởi ˆp+n Thật vậy, từ(1.9) suy ra

1

2mm!

dm

dxm (x2− 1)m , m = 1, 2, · · · ,với mọi x ∈ [−1, 1] Khi đó (ϕm) là một cơ sở trực chuẩn của L2([−1, 1] , dx)với

Z 1

−1

trong đó δmk là kí hiệu delta Kronecker,

Hạch K được gọi là đối xứng nếu K(u) = K(−u) với mọi u ∈ R Ví

dụ hạch K được xác định bởi biểu thức (1.11) là đối xứng Thật vậy, ta có

ϕm(0) = 0 với mọi m lẻ và đa thức Legendre ϕm là hàm chẵn với mọi mchẵn Do tính đối xứng, hạch trong biểu thức (1.11) là hạch cấp l + 1 với lchẵn Hơn nữa, hạch trong biểu thức (1.11) chỉ chứa các đa thức Legendrebậc chẵn

Ví dụ 1.2.1 Hai đa thức Legendre bậc chẵn đầu tiên là

ϕ0(x) ≡

r1

r52

3x2− 12Theo Mệnh đề 1.2.3 ta có hạch K sau đây là cấp 2:

Hơn nữa do tính đối xứng K cũng là hạch cấp 3 do tính đối xứng

Phương pháp xây dựng hạch trong Mệnh đề 1.2.3 cho cả dãy đa thức{ϕm}∞m=0 là cơ sở trực chuẩn với trọng Thật vậy, ta có Mệnh đề sau

Mệnh đề 1.2.4 Giả sử µ là một hàm không âm trên R và (ψm) là dãy các

Mệnh đề trên cho phép ta có thể xây dựng nhiều hạch cấp l khác.

Ví dụ 1.2.2 a, Hai đa thức Hermite bậc chẵn đầu tiên là

ϕ0(x) = 1, ϕ2(x) = x2− 1

Với h(u) = e−u2, ϕm là đa thức Hermite, theo Mệnh đề 1.2.4 ta có hạch Ksau đây là hạch cấp 2

K(u) = e−u2(2 − x2)

b, (µ(u) = (1 − u2)α+ với α > 0, ϕ là hệ Gegenbauer, giá của K là [−1, 1])

1.2.3 Sai số tích phân bình phương của ước lượng hạch

Trong Mục 1.2.1 ta đã phân tích số của ước lượng hạch ˆpn một cách địaphương của mật độ tại mỗi điểm cố định tùy ý x0 Việc đánh giá sai số toàncục của ước lượng cũng rất cần thiết Một tiêu chuẩn để đánh giá sai số toàncục là kỳ vọng của tích phân của bình phương sai số (MISE):

Như vậy, MISE có thể biểu diển dưới dạng một tổng của tích phân độ chệch

R b2(x)dx và tích phân phương saiR σ2(x)dx Để đánh giá MISE chúng ta cóthể tiến hành các bước tương tự như trong phần đánh giá MSE (trong Mục1.2.1) Đầu tiên chúng ta phân tích tích phân phương sai

có thêm giả thiết về tính trơn của p Tức là chúng ta chỉ có thể kiểm soátđược độ chệch trên một tập con nào đó của tập các hàm mật độ p Vì MISE

là một sai số ứng với chuẩn trong L2(R), một cách tự nhiên ta giả sử rằng

p là trơn ứng với chuẩn này Ví dụ, ta có thể giả sử rằng p thuộc lớp hàmNikol’ski được định nghĩa như sau

Định nghĩa 1.2.4 Cho β > 0 và L > 0 Lớp Nikol’ski H(β, L) được địnhnghĩa là tập của các hàm f : R → R có đạo hàm cấp l = bβc, kí hiệu f(l),thỏa mãn

Z

f(l)(x + t) − f(l)(x)
2

12

≤ L |t|β−l, ∀t ∈ R (1.17)

Lớp Sobolev là một lớp hàm phổ biến khác được dùng để mô tả tính trơn

trên L2(R)

Định nghĩa 1.2.5 Cho β là số nguyên, β ≥ 1 và L > 0 Lớp Sobolev

S(β, L) được định nghĩa là tập của các hàm f : R → R khả vi cấp β − 1 và

có đạo hàm liên tục tuyệt đối, kí hiệu là f(β−1), thỏa mãn

Z

|f (x)| |g(u, x)| dx (T onelli − F ubini)

≤

Zdu

Z

f (x)g(u, x)dx

(p00(x + τ uh) − p00(x)) (1 − τ )dτ

du,

(p00(x + τ uh) + p00(x)) (1 − τ )dτ

du

Áp dụng bất đẳng thức Minkowski tổng quát, bất đẳng thức Cauchy-Schwarz

và định lí Tonelli-Fubini, ta được

Z Z

u2|K(u)|

Z 1 0

|p00(x + τ uh)| (1 − τ )dτ

du

(p00(x + τ uh))2(1 − τ )dτ dx

Z 1 0

Từ đây suy ra tích phân R−∞+∞A2

2(x)dx bị chặn bởi một hằng số không phụthuộc vào h Để ước lượng R A2

1(x)dx ta chia miền lấy tích phân thành haiphần ứng với |u| ≤ h−1/2 và |u| < h−1/2 Khi đó

Z(p00(x + τ uh) − p00(x))2dτ dx

1/2Z

u2|K(u)|

+2

Z(p00(x))2dx

Áp dụng Bổ đề 1.2.2 ta có

sup

|u|≤h −1/2

Z 1 0

Z(p00(x + τ uh) − p00(x))2dxdτ (1.30)

|t|≤h −1/2

Z(p00(x + τ uh) − p00(x))2dx = o(1),

Z(p00(x))2dx

(1 + o(1)),

từ đó suy ra điều phải chứng minh

Số hạng chính trong biểu thức (1.24) là

1nh

Z(p00(x))2dx (1.31)

Chú ý rằng nếu K là một hạch không âm, biểu thức (1.31) chính là kết quả

khi ta thay β = 2 vào biểu thức (1.22) (trong Định lí 1.2.3)

Phương pháp tối ưu hóa phổ biến mà ta nói tới ở đầu mục này chính là

tìm h và hạch không âm K sao cho biểu thức (1.31) đạt giá trị nhỏ nhất

Giá trị tối ưu của h và K là

(Hạch Epanechnikov) Cụ thể hơn

hM ISE(K) =

15

1/5

Điều này thường được đưa ra như một tiêu chuẩn cho cách chọn hạch K

và dải thông h tối ưu, và (1.35) là ước lượng tốt nhất có thể đạt được củaMISE Ước lượng giả Epanechnikov được cho là ước lượng tối ưu khi ta thay

R (p”(x))2dx bằng một ước lượng dựa trên các quan sát (Xi) Bây giờ chúng

ta sẽ giải thích tại sao phương pháp tiếp cận tới tối ưu như thế là sai lầm

Mệnh đề 1.2.8 Giả sử rằng điều kiện (ii) của Mệnh đề 1.2.7 được thỏamãn và K là một hạch cấp 2 (do đó, SK = 0), sao cho

Khẳng định trên vẫn đúng khi ta thay ˆpnbởi ước lượng dương ˆp+

n = max(0, ˆpn):

lim

n→∞sup n4/5Ep

Z(ˆp+n(x) − p(x))2dx ≤ ε (1.37)

Chứng minh Vì K là một hạch cấp 2 nên R u2K(u)du = 0 Khi đó dựavào cách đặt b∗ trong chứng minh Mệnh đề 1.2.7 thì b∗ = o(h4), vì vậy

R b2(x)dx = o(h4) Lại có tích phân phương sai thỏa mãn (1.25) trong chứngminh Mệnh đề 1.2.7, nên ta có

K2(u)du(1 + o(1)) + o(h4)

Với h = n−1/5ε−1R K2(u)du, ta được

lim

n→∞sup n4/5Ep

Z(ˆpn(x) − p(x))2dx ≤ ε

Vậy nên (1.36) được chứng minh xong

Vì Ep[(ˆp+

n(x) − p(x))2] ≤ Ep[(ˆpn(x) − p(x))2] , ∀x0 ∈ R nên

Ep

Z(ˆp+n(x) − p(x))2dx ≤ Ep

Z(ˆpn(x) − p(x))2dx

Suy ra

lim

n→∞sup n4/5Ep

Z(ˆp+n(x)−p(x))2dx ≤ lim

n→∞sup n4/5Ep

Z(ˆpn(x)−p(x))2dx ≤ ε,

tức là (1.37) được chứng minh

Ta thấy với mọi ε > 0 đủ nhỏ và giả thiết của p là như nhau thì giátrị tiệm cận của MISE của ước lượng ˆpn và ˆp+

n trong Mệnh đề 1.2.8 là nhỏhơn của giả ước lượng Epanechnikov Chú ý rằng ˆpn và ˆp+

n là các ước lượngđúng, không phải các ước lượng giả Do đó, nếu việc đánh giá sai số của ướclượng dựa vào giá trị tiệm cận của MISE của ước lượng ứng với mỗi hàm

... chuẩn cho cách chọn hạch K

và dải thông h tối ưu, (1.35) ước lượng tốt đạt củaMISE Ước lượng giả Epanechnikov cho ước lượng tối ưu ta thay

R (p”(x))2dx ước lượng. .. Sai số tích phân bình phương ước lượng hạch

Trong Mục 1.2.1 ta phân tích số ước lượng hạch ˆpn cách địaphương mật độ điểm cố định tùy ý x0 Việc đánh giá sai số. .. Sự thiếu tính tối ưu tiệm cận cho mật độ cố định

Làm để chọn hạch K dải thông h để ước lượng hạch củamật độ đạt tối ưu? Một cách cũ phổ biến cố định mật độ p vàcực tiểu hóa theo K h