(Luận văn thạc sĩ) xấp xỉ ngẫu nhiên và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGƠ THỊ TỐN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGÔ THỊ TOÁN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN HỮU TIẾN Hà Nội – Năm 2011 Mục lục Lời nói đầu Lời cảm ơn Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins-Monro 1.2.2 Thuật toán Kiefer-Wolfowitz 14 1.2.3 Thuật toán Dvozetky 15 Chương Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều 21 2.1 Thuật tốn Robbins-Monro khơng gian n-chiều 21 2.1.1 Nội dung thuật toán 21 2.1.2 Đánh giá cận sai số trung bình bình phương 22 2.2 Thuật tốn Dvozetky khơng gian n-chiều 28 Chương Một số ứng dụng xấp xỉ ngẫu nhiên 30 3.1 Ứng dụng xấp xỉ ngẫu nhiên ước lượng có định hướng định 30 3.2 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng tham số 34 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt 37 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm 41 3.5 Ứng dụng xấp xỉ ngẫu nhiên ước lượng hàm mật độ xác suất 43 3.5.1 Xấp xỉ tuyến tính 43 3.5.2 Ước lượng xấp xỉ cho hàm mật độ trộn chuẩn 45 Kết luận 49 Tài liệu tham khảo 50 Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu Giả sử µ(x) hàm số có nghiệm x = θ dạng giải tích hàm số chưa biết Tuy nhiên với giá trị x, giả sử tồn biến ngẫu nhiên ξ (x) có hàm mật độ xác suất f (ξ |x) cho: µ(x) = Eξ [ξ (x)] = ξ (x) f (ξ |x)dξ (1.1) Ωξ hay µ(x) biểu diễn dạng kì vọng có điều kiện biến ngẫu nhiên ξ giả thiết x cho trước Hàm µ(x) gọi hàm hồi quy Việc tìm nghiệm tìm giá trị lớn nhất, nhỏ hàm hồi quy dạng giải tích hàm chưa biết đối tượng nghiên cứu phương pháp xấp xỉ ngẫu nhiên Trong luận văn ta sử dụng kí hiệu x; x1 ; x2 ; cho tham biến, ω;t cho yếu tố ngẫu nhiên quan sát ξ cho ước lượng khơng chệch µ(x) hay Eξ = µ(x) Để đơn giản ta quy ước sử dụng ξ thay cho ξ (x, ω) ξn thay cho ξ (xn , ω) Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins - Monro Trong mục giải tốn tìm nghiệm phương trình hàm hồi quy cho trường hợp chiều Khơng tính tổng quát ta giả thiết cần tìm thuật tốn xác định nghiệm phương trình sau: µ(x) = (1.2) Thật vậy, phải tìm nghiệm phương trình dạng µ(x) = α (1.3) α số thực cho trước Khi đó, ta đặt µ(x) := µ(x) − α lời giải cho tốn (1.3) xác định từ thuật toán giải toán (1.2) Bây ta xét việc giải phương trình hồi quy (1.2) có nhận xét hàm hồi quy µ(x) cho trước nghiệm phương trình (1.2) xác định thuật tốn xét giải tích số chẳng hạn phương pháp lặp Newton Vấn đề đặt hàm hồi quy µ(x) chưa biết nên để tìm nghiệm phương trình hồi quy (1.2), ta cần giả thiết thêm ứng với giá trị xác định x = xn ta thu quan sát khơng chệch cho µ(xn ) ξn với ∀n ∈ N Khi đó, thuật tốn tìm nghiệm xấp xỉ cho phương trình hồi quy (1.2) Robbins - Monro đề xuất có dạng sau: xn+1 = xn − an ξn (1.4) {an } dãy số thực chọn trước thích hợp dãy gọi dãy số hiệu chỉnh Kết sau xác định điều kiện đủ để thuật toán Robbins - Monro xác định (1.4) hội tụ Định lý 1.2.1 Giả sử điều kiện sau thỏa mãn: • x1 biến ngẫu nhiên tùy ý cho E[x12 ] < ∞ dãy biến ngẫu nhiên x1 ; x2 ; ; xn ; biến ngẫu nhiên độc lập phân phối xác định từ thuật toán Robbins - Monro (1.4) ξn quan sát khơng chệch hàm hồi quy µ(x) x = xn hay E(n ) = à(xn ) ã {an } dãy số hiệu chỉnh chọn trước cho ∞ ∞ ∑ an = ∞; ∑ a2n < ∞ n=1 n=1 (1.5) Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều • Tồn số dương < M1 ≤ M2 < ∞ cho hàm hồi quy µ(x) thỏa mãn M1 (x − θ )2 ≤ µ(x)(x − θ ) ≤ M2 (x − θ )2 (1.6) [ξ − µ(x)]2 f (ξ |x)dξ ≤ α < ∞ Var[ξ ] = (1.7) Ωξ Khi thuật tốn Robbins - Monro (1.4) hội tụ theo trung bình bình phương nghiệm θ phương trình hồi quy (1.2) hay lim E|xn − θ |2 = n→∞ Trước chứng minh định lý, ta có số nhận xét sau giả thiết hội tụ định lý: Nhận xét Ta cần ý sau: • Giả thiết (1.6) cho ta biết hàm µ(x) phải nằm hai đường thẳng có hệ số góc dương M1 M2 tương ứng Hai đường thẳng cắt x = θ điều đảm bảo cho tồn nghiệm θ phương trình (1.2) • Giả thiết (1.7) có nghĩa quan sát khơng chệch hàm hồi quy có phương sai hữu hạn • Giả thiết (1.5) dãy hiệu chỉnh {an } hiểu sau: tính ngẫu nhiên quan sát ξn nên hệ số hiệu chỉnh an phải tiến đến n tiến vô khơng thuật tốn giao động quanh θ không hội tụ giá trị θ Mặt khác hội tụ an cần trì mức khơng q nhanh nhằm loại trừ khả giá trị xấp xỉ xn quẩn quanh nghiệm θ không tiến dần nghiệm Thật vậy, thuật tốn (1.4) sử dụng ước lượng khơng chệch hàm hồi quy ξn thay cho giá trị µ(xn ) nên thuật tốn (1.4) cần đảm bảo quan sát ξn sử dụng nhiều lần để ảnh hưởng loại trừ khả điều bảo đảm dãy hiệu chỉnh {an } hội tụ không nhanh Giả thiết (1.5) nhằm bảo đảm cho hai điều kiện thỏa mãn • Việc định nghĩa hàm hồi quy (1.1) nói lên hàm mật độ f (ξn |xn ) có cấu trúc hàm giống cho tất n vậy, giả thiết tính độc lập phân phối x1 ; x2 ; ; xn ; bảo đảm cho điều kiện nêu thỏa mãn • Cuối cùng, ta lưu ý giả thiết độc lập phân phối nêu giảm nhẹ ta thay giả thiết giả thiết phụ thuộc yếu quan sát ξn vào x1 ; ; xn hay giả thiết ξn có phân phối xác Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều suất có điều kiện phụ thuộc vào kết xấp xỉ thứ n xn không phụ thuộc trực tiếp vào kết xấp xỉ x1 ; ; xn−1 trước Tuy nhiên, để chứng minh dễ hiểu hơn, dùng giả thiết độc lập phân phối biến ngẫu nhiên x1 ; ; xn ; Bây ta bắt đầu chứng minh định lý 1.2.1 Chứng minh Từ (1.4) ta có: [xn+1 − θ ]2 = [xn − θ ]2 − 2an ξn (xn − θ ) + a2n ξn2 (1.8) Đặt Vn := E xn − θ Vn gọi sai số trung bình bình phương xấp xỉ xn cho θ Lấy kỳ vọng hai vế (1.8) ta Vn+1 = Vn − 2an E ξn (xn − θ ) + a2n E ξn2 (1.9) Theo tính chất kỳ vọng có điều kiện giả thiết độc lập, giả thiết (1.6); (1.7) ta có: E ξn (xn − θ ) = E µ(xn ).(xn − θ ) ≥ E M1 (xn − θ )2 = M1Vn E ξn2 = E µ (xn ) +Varξn ≤ E M22 (xn − θ )2 + α = M22Vn + α Khi đó, (1.9) trở thành: Vn+1 ≤ (1 − 2M1 an + M22 a2n )Vn + a2n α (1.10) Theo nhận xét an −→ n −→ ∞ nên với ε bất kỳ, ≤ ε < tồn số m = m(ε) cho với n ≥ m ta có: − 2M1 an + M22 a2n ≤ − (2 − ε)M1 an < − (2 − ε)M1 an ≤ (1.11) Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Khi bất đẳng thức (1.10) trở thành: Vn+1 ≤ Vn − (2 − ε)M1 an + a2n α , ∀n ≥ m (1.12) Ta biểu diễn (1.12) cách truy hồi sau: Vm+1 ≤ Vm − (2 − ε)M1 am + a2m α Vm+2 ≤ Vm+1 − (2 − ε)M1 am+1 + a2m+1 α ≤ Vm − (2 − ε)M1 am − (2 − ε)M1 am+1 + α a2m − (2 − ε)M1 am+1 + a2m+1 Vn+1 ≤ Vm βm−1,n + α n ∑ a2i βin; n≥m (1.13) i=m βin định nghĩa sau:     ∏nj=i+1 [1 − (2 − ε)M1 a j ] ≤ i < n    βin = i = n      0 i > n Áp dụng bất đẳng thức logarit ln u ≤ u − 1, u≥0 ta có: ln[1 − (2 − ε)M1 ] ≤ −(2 − ε)M1 , i≥m Do ∑∞ i=1 phân kỳ nên lim βm−1,n = n→∞ lim Vm βm−1,n = n→∞ Lại có, βin = i > m nên α2 n ∑ a2i βin = α i=m 10 ∞ ∑ a2i βin i=m (1.14) Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Do ≤ βin ≤ 1; ∀n; i ∑∞ i=1 hội tụ tuyệt đối nên ta chuyển qua giới hạn vào tổng Kết hợp với (1.14) ta thu được: lim α n→∞ n ∑ a2i βin = lim α n→∞ i=m = α2 ∞ ∑ a2i βin i=m ∞ lim βin ∑ a2i n→∞ (1.15) i=m =0 Từ (1.13); (1.14); (1.15) ta có lim Vn+1 = lim E xn+1 − θ n→∞ n→∞ =0 Vậy thuật tốn (1.4) hội tụ theo nghĩa trung bình bình phương Định lý 1.2.1 chứng minh xong Chú ý: Với tốn có hàm hồi quy khơng thỏa mãn điều kiện (1.6) với giá trị x ta lại biết giá trị chân thực θ nằm khoảng [u1 ; u2 ] (1.5) thỏa mãn với x ∈ [u1 ; u2 ] ta sử dụng thuật tốn Robbins - Monro chặt cụt có dạng sau: xn+1 = truncu1 ;u2 [xn − an ξn ]     u1    truncu1 ;u2 (u) = u      u2 u < u1 u1 ≤ u ≤ u2 u > u2 hàm gọi hàm chặt cụt Thuật toán Robbins - Monro chặt cụt hội tụ điều kiện lại định lý 1.2.1 thỏa mãn Ta lưu ý sai số trung bình bình phương Vn = E[xn − θ ]2 bước thuật tốn khó thu thuật tốn q trình truy hồi, chẳng hạn x2 phụ thuộc vào phân phối x1 ; x3 lại phụ thuộc vào phân phối x2 Cũng nên sai số trung bình bình phương phù hợp cho cách chọn dãy hiệu chỉnh an cụ thể Dưới cận sai số trung bình bình phương Dvoretzky đưa Định lý 1.2.2 Giả sử tồn số dương M1 ; M2 ; α V1 cho điều kiện (1.6); (1.7) định lý 1.2.1 điều kiện sau thỏa mãn: E ξn − µ(xn )|x1 , , xn = 11 (1.16) Chương Một số ứng dụng xấp xỉ ngẫu nhiên thực θ toán Thật vậy, với việc chọn dãy hệ số hiệu chỉnh thuật toán (3.9) dạng an = nM M xác định là: M= −∂ ∂ ∂ µ(x)|x=θ = E ln f (t|x) ∂x ∂x ∂x x=θ Thực đổi thứ tự lấy đạo hàm lấy tích phân công thức ta suy ra: M = −E ∂2 ln f (t|x) |x=θ = σ (θ ) ∂x (3.10) M xác định (3.10) lượng thơng tin Fisher Khi với giả thiết định lý 1.2.2, ta có: −∂ α ≥ Var ln f (t|x) ∂x bất đẳng thức x = θ Vì µ(θ ) = nên α2 ≥ E ( ∂ ln f (t|x))2 ∂x x=θ = σ (θ ) (3.11) Dấu ” = ” xảy α = σ (θ ), α2 lim nVn = = n→∞ M σ (θ ) Vậy ước lượng hợp lý cực đại tiệm cận hiệu tiệm cận chuẩn Nhận xét Thuật toán với n nhỏ cách lấy dãy hiệu chỉnh có dạng (1.18) định lý 1.2.2 Vì M1 ≤ M = σ (θ ) ≤ α nên cận sai số trung bình bình phương Vn+1 ≤ (V1−1 + nM12 α −2 )−1 ≤ V1 (1 + nρ σ 2V1 )−1 ρ = M1 /α Đồ thị biểu diễn liên hệ tỉ số 36 (3.12) Vn+1 nσ 2V1 cho bất Vn Chương Một số ứng dụng xấp xỉ ngẫu nhiên đẳng thức (3.12) Các đường cong tương ứng với cận Vn+1 Đường nét đứt biểu thị cho (nσ 2V1 )−1 tương ứng với ước lượng tiệm cận hiệu 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt Xét tốn nhận dạng điển hình toán phân loại hai lớp Ta biết tốn phân loại hai lớp tìm hàm d(t) t véc tơ đặc trưng dạng (hay cá thể) cần phân lớp d(t) có tính chất sau:   1 t ∈ C1 d(t) = (3.13)  0 t ∈ C2 đó, C1 ;C2 ký hiệu cho lớp dạng thứ thứ hai, hàm d(t) gọi hàm định cho lời giải toán phân loại hai lớp Tuy nhiên, hàm d(t) chưa biết ta muốn tìm hàm xấp xỉ cho theo tiêu chuẩn tối ưu Khi lời giải tốn tiếp cận theo cách sử dụng kết quan sát thực nghiệm véc tơ dạng t để ước lượng véc tơ tham số x=θ hàm xấp xỉ cho d(t) dạng D(t) := φ T (t)θ với giả thiết φ (t)T = (ϕ1 (t), , ϕK (t)) ϕ1 (t), , ϕK (t) hàm số độc lập tuyến tính biết, nghĩa D(t) có dạng tổ hợp tuyến tính hàm sở sau: K D(t) = ∑ θi ϕi (t) = φ T (t)θ i=1 37 (3.14) Chương Một số ứng dụng xấp xỉ ngẫu nhiên Hàm D(t) xác định (3.14) gọi hàm phân biệt tuyến tính véc tơ tham số xác định cho với véc tơ x = θ chọn hàm mục tiêu J(x) = E[d(t) − φ T (t)x ]2 (3.15) đạt cực tiểu Nói cách khác, muốn tìm ước lượng cho véc tơ tham số x = θ hàm phân biệt D(t) cho với véc tơ tham số x = θ hàm phân biệt D(t) = φ T (t)θ chọn có sai số trung bình bình phương nhỏ Nếu giả thiết tìm hàm phân biệt tuyến tính D(t) = φ T (t)θ d(t) ≈ D(t) theo ý nghĩa nên ta sử dụng hàm phân biệt tuyến tính D(t) để phân loại dạng cần phân lớp có véc tơ đặc trưng quan sát t theo quy tắc sau: • Nếu D(t) ≥ xếp dạng có véc tơ đặc trưng t vào lớp C1 • Nếu D(t) < xếp dạng có véc tơ đặc trưng t vào lớp C2 Bây ta xét tốn tìm véc tơ tham số θ làm cực tiểu hàm J(x) xác định cơng thức (3.15) Khi ta thu nghiệm θ dạng: θ = M −1 E[φ (t) d(t)] (3.16) M = E[φ (t) φ T (t) ] (3.17) giả thiết tồn ma trận nghịch đảo M −1 Ta có nhận xét xác định nghiệm θ theo cơng thức (3.16); (3.17) hàm phân phối xác suất lớp dạng chưa biết Tuy nhiên, giả thiết cho trước tập luyện có hướng dẫn quan sát cá thể không gian dạng dạng sau (t1 ; s1 ); ; (tn ; sn ) sk số lớp véc tơ đặc trưng tk hay d(tk ) = sk với k = 1; n sk ∈ {0; 1} với xấp xỉ cho véc tơ θ véc tơ xn , ta thu quan sát không chệch cho hàm hồi quy J(x) dạng d(tk ) − φ T (tk )xk T tương ứng φ (tn ) d(tn ) − φ (tn )xn cho đạo hàm hàm hồi quy Vì vậy, nghiệm x = θ toán cực trị hàm J(x) xác định sử dụng thuật tốn xấp xỉ ngẫu nhiên Robbins - Monro có dạng sau: xn+1 = xn + an φ (tn ) [d(tn ) − φ T (tn )xn ] (3.18) x1 véc tơ chọn trước thích hợp an hệ số hiệu chỉnh chọn tối ưu theo cách xét thuật toán Robbins - Monro nhiều chiều 38 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Chú ý d(t) hàm ngẫu nhiên t nên xác định phân lớp t với giá trị cho trước t có xác suất P(C1 |t) để d(t) = xác suất P(C2 |t) để d(t) = Lấy kỳ vọng hàm ngẫu nhiên d(t) ta được: Ed [d(t)] = 1.P(C1 |t) + 0.P(C2 |t) = P(C1 |t) (3.19) số d thể việc lấy kỳ vọng qua phân phối d với t cho trước Do d(t) xem tổng hợp thành phần tất định P(C1 |t) cộng với thành phần ngẫu nhiên ζ (t) có vọng số hay d(t) = P(C1 |t) + ζ (t) (3.20) Từ công thức (3.13) nên d(t) = d (t) Vì ta có: Eζ [ζ (t)] = Ed [d(t)] − P(C1 |t) = Eζ [ζ (t)] = Ed [d (t) − 2d(t)P(C1 |t) + P2 (C1 |t)] (3.21) = P(C1 |t) − P2 (C1 |t) Do đó, tiêu chuẩn trung bình bình phương trở thành: J(x) = E[d(t) − φ T (t) x]2 = Et Ed [(d(t) − φ T (t) x)2 ] = Et Eζ [P(C1 |t) − φ T (t)x + ζ (t)]2 = Et [P(C1 |t) − φ T (t)x ]2 + Et [P(C1 |t) − P2 (C1 |t)] Số hạng thứ hai Et [P(C1 |t) − P2 (C1 |t)] độc lập với x thực tế hàm phân biệt D(t) = φ T (t)θ làm cực tiểu J(x) xấp xỉ trung bình bình phương xác suất có điều kiện P(C1 |t) Vì P(C1 |t) không quan sát nên ta sử dụng hàm phân biệt D(t) để thay hàm biết d(t) thuật toán xấp xỉ ngẫu nhiên Bây ta nói đến điều kiện hội tụ thuật toán ( 3.18) vừa Định lý 3.3.1 Thuật tốn (3.18) hội tụ theo nghĩa trung bình bình phương hội tụ với xác suất nghiệm θ điều kiện sau thỏa mãn: Các véc tơ tập luyện t1 ; t2 ; độc lập phân phối với số lớp tương ứng chúng cho trước 39 Chương Một số ứng dụng xấp xỉ ngẫu nhiên ∞ 2 ∑∞ n=1 an = ∞ ∑n=1 an < ∞ Các ma trận E[φ (t)φ T (t) ] E[φ (t)φ T (t) φ (t)φ T (t) ] tồn xác định dương Tồn véc tơ hàng E[φ (t)P(C1 |t)] E[φ (t)φ T (t) φ (t) P(C1 |t)] Chứng minh Ta sử dụng định lý 2.2.1 hội tụ thuật toán Dvoretzky xét cho trường hợp nhiều chiều để chứng minh định lý Thuật toán (3.18) viết lại sau: xn+1 = Tn (x1 ; ; xn ) + ηn (3.22) Tn (x1 ; ; xn ) = xn − an φ (tn ) φ T (tn ) [xn − θ ] ηn = an φ (tn ) [d(tn ) − φ T (t n) (3.23) θ] từ giả thiết cho, dễ dàng kiểm tra ln có: E[ηn |x1 ; ; xn ] = ∞ ∑ E[ ηn ]