(LUẬN văn THẠC sĩ) xấp xỉ ngẫu nhiên và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGƠ THỊ TỐN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2011 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGƠ THỊ TỐN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN HỮU TIẾN Hà Nội – Năm 2011 TIEU LUAN MOI download : skknchat@gmail.com Mục lục Lời nói đầu Lời cảm ơn Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins-Monro 1.2.2 Thuật toán Kiefer-Wolfowitz 14 1.2.3 Thuật toán Dvozetky 15 Chương Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều 21 2.1 Thuật toán Robbins-Monro không gian n-chiều 21 2.1.1 Nội dung thuật toán 21 2.1.2 Đánh giá cận sai số trung bình bình phương 22 2.2 Thuật tốn Dvozetky khơng gian n-chiều 28 Chương Một số ứng dụng xấp xỉ ngẫu nhiên 30 3.1 Ứng dụng xấp xỉ ngẫu nhiên ước lượng có định hướng định 30 3.2 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng tham số 34 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt 37 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm 41 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 3.5 Ứng dụng xấp xỉ ngẫu nhiên ước lượng hàm mật độ xác suất 43 3.5.1 Xấp xỉ tuyến tính 43 3.5.2 Ước lượng xấp xỉ cho hàm mật độ trộn chuẩn 45 Kết luận 49 Tài liệu tham khảo 50 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu Giả sử µ(x) hàm số có nghiệm x = θ dạng giải tích hàm số chưa biết Tuy nhiên với giá trị x, giả sử tồn biến ngẫu nhiên ξ (x) có hàm mật độ xác suất f (ξ |x) cho: Z µ(x) = Eξ [ξ (x)] = ξ (x) f (ξ |x)dξ (1.1) Ωξ hay µ(x) biểu diễn dạng kì vọng có điều kiện biến ngẫu nhiên ξ giả thiết x cho trước Hàm µ(x) gọi hàm hồi quy Việc tìm nghiệm tìm giá trị lớn nhất, nhỏ hàm hồi quy dạng giải tích hàm chưa biết đối tượng nghiên cứu phương pháp xấp xỉ ngẫu nhiên Trong luận văn ta sử dụng kí hiệu x; x1 ; x2 ; cho tham biến, ω;t cho yếu tố ngẫu nhiên quan sát ξ cho ước lượng khơng chệch µ(x) hay Eξ = µ(x) Để đơn giản ta quy ước sử dụng ξ thay cho ξ (x, ω) ξn thay cho ξ (xn , ω) (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins - Monro Trong mục giải tốn tìm nghiệm phương trình hàm hồi quy cho trường hợp chiều Khơng tính tổng qt ta giả thiết cần tìm thuật tốn xác định nghiệm phương trình sau: µ(x) = (1.2) Thật vậy, phải tìm nghiệm phương trình dạng b (x) = α µ (1.3) α số thực cho trước b (x) − α lời giải cho tốn (1.3) xác định Khi đó, ta đặt µ(x) := µ từ thuật toán giải toán (1.2) Bây ta xét việc giải phương trình hồi quy (1.2) có nhận xét hàm hồi quy µ(x) cho trước nghiệm phương trình (1.2) xác định thuật tốn xét giải tích số chẳng hạn phương pháp lặp Newton Vấn đề đặt hàm hồi quy µ(x) chưa biết nên để tìm nghiệm phương trình hồi quy (1.2), ta cần giả thiết thêm ứng với giá trị xác định x = xn ta thu quan sát khơng chệch cho µ(xn ) ξn với ∀n ∈ N Khi đó, thuật tốn tìm nghiệm xấp xỉ cho phương trình hồi quy (1.2) Robbins - Monro đề xuất có dạng sau: xn+1 = xn − an ξn (1.4) {an } dãy số thực chọn trước thích hợp dãy gọi dãy số hiệu chỉnh Kết sau xác định điều kiện đủ để thuật toán Robbins - Monro xác định (1.4) hội tụ Định lý 1.2.1 Giả sử điều kiện sau thỏa mãn: • x1 biến ngẫu nhiên tùy ý cho E[x12 ] < ∞ dãy biến ngẫu nhiên x1 ; x2 ; ; xn ; biến ngẫu nhiên độc lập phân phối xác định từ thuật toán Robbins - Monro (1.4) ξn quan sát khơng chệch hàm hồi quy µ(x) x = xn hay E(n ) = à(xn ) ã {an } dãy số hiệu chỉnh chọn trước cho ∞ ∞ ∑ an = ∞; n=1 ∑ a2n < ∞ (1.5) n=1 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều • Tồn số dương < M1 ≤ M2 < ∞ cho hàm hồi quy µ(x) thỏa mãn M1 (x − θ )2 ≤ µ(x)(x − θ ) ≤ M2 (x − θ )2 (1.6) Z Var[ξ ] = [ξ − µ(x)]2 f (ξ |x)dξ ≤ α < ∞ (1.7) Ωξ Khi thuật tốn Robbins - Monro (1.4) hội tụ theo trung bình bình phương nghiệm θ phương trình hồi quy (1.2) hay lim E|xn − θ |2 = n→∞ Trước chứng minh định lý, ta có số nhận xét sau giả thiết hội tụ định lý: Nhận xét Ta cần ý sau: • Giả thiết (1.6) cho ta biết hàm µ(x) phải nằm hai đường thẳng có hệ số góc dương M1 M2 tương ứng Hai đường thẳng cắt x = θ điều đảm bảo cho tồn nghiệm θ phương trình (1.2) • Giả thiết (1.7) có nghĩa quan sát khơng chệch hàm hồi quy có phương sai hữu hạn • Giả thiết (1.5) dãy hiệu chỉnh {an } hiểu sau: tính ngẫu nhiên quan sát ξn nên hệ số hiệu chỉnh an phải tiến đến n tiến vô không thuật tốn giao động quanh θ khơng hội tụ giá trị θ Mặt khác hội tụ an cần trì mức khơng q nhanh nhằm loại trừ khả giá trị xấp xỉ xn quẩn quanh nghiệm θ không tiến dần nghiệm Thật vậy, thuật tốn (1.4) sử dụng ước lượng khơng chệch hàm hồi quy ξn thay cho giá trị µ(xn ) nên thuật tốn (1.4) cần đảm bảo quan sát ξn sử dụng nhiều lần để ảnh hưởng loại trừ khả điều bảo đảm dãy hiệu chỉnh {an } hội tụ không nhanh Giả thiết (1.5) nhằm bảo đảm cho hai điều kiện thỏa mãn • Việc định nghĩa hàm hồi quy (1.1) nói lên hàm mật độ f (ξn |xn ) có cấu trúc hàm giống cho tất n vậy, giả thiết tính độc lập phân phối x1 ; x2 ; ; xn ; bảo đảm cho điều kiện nêu thỏa mãn • Cuối cùng, ta lưu ý giả thiết độc lập phân phối nêu giảm nhẹ ta thay giả thiết giả thiết phụ thuộc yếu quan sát ξn vào x1 ; ; xn hay giả thiết ξn có phân phối xác (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều suất có điều kiện phụ thuộc vào kết xấp xỉ thứ n xn không phụ thuộc trực tiếp vào kết xấp xỉ x1 ; ; xn−1 trước Tuy nhiên, để chứng minh dễ hiểu hơn, dùng giả thiết độc lập phân phối biến ngẫu nhiên x1 ; ; xn ; Bây ta bắt đầu chứng minh định lý 1.2.1 Chứng minh Từ (1.4) ta có: [xn+1 − θ ]2 = [xn − θ ]2 − 2an ξn (xn − θ ) + a2n ξn2 (1.8)  2 Đặt Vn := E xn − θ Vn gọi sai số trung bình bình phương xấp xỉ xn cho θ Lấy kỳ vọng hai vế (1.8) ta     Vn+1 = Vn − 2an E ξn (xn − θ ) + a2n E ξn2 (1.9) Theo tính chất kỳ vọng có điều kiện giả thiết độc lập, giả thiết (1.6); (1.7) ta có:     E ξn (xn − θ ) = E µ(xn ).(xn − θ )   ≥ E M1 (xn − θ )2 = M1Vn     E ξn2 = E µ (xn ) +Varξn   ≤ E M22 (xn − θ )2 + α = M22Vn + α Khi đó, (1.9) trở thành: Vn+1 ≤ (1 − 2M1 an + M22 a2n )Vn + a2n α (1.10) Theo nhận xét an −→ n −→ ∞ nên với ε bất kỳ, ≤ ε < tồn số m = m(ε) cho với n ≥ m ta có:
  − 2M1 an + M22 a2n ≤ − (2 − ε)M1 an   < − (2 − ε)M1 an ≤ (1.11) (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Khi bất đẳng thức (1.10) trở thành:   Vn+1 ≤ Vn − (2 − ε)M1 an + a2n α , ∀n ≥ m (1.12) Ta biểu diễn (1.12) cách truy hồi sau:   Vm+1 ≤ Vm − (2 − ε)M1 am + a2m α   Vm+2 ≤ Vm+1 − (2 − ε)M1 am+1 + a2m+1 α    ≤ Vm − (2 − ε)M1 am − (2 − ε)M1 am+1 
 + α a2m − (2 − ε)M1 am+1 + a2m+1 Vn+1 ≤ Vm βm−1,n + α n ∑ a2i βin; n≥m (1.13) i=m βin định nghĩa sau:     ∏nj=i+1 [1 − (2 − ε)M1 a j ] ≤ i < n    βin = i = n      0 i > n Áp dụng bất đẳng thức logarit ln u ≤ u − 1, u≥0 ta có: ln[1 − (2 − ε)M1 ] ≤ −(2 − ε)M1 , i≥m Do ∑∞ i=1 phân kỳ nên lim βm−1,n = n→∞ lim Vm βm−1,n = n→∞ (1.14) Lại có, βin = i > m nên α n ∑ a2i βin =α i=m ∞ ∑ a2i βin i=m (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Do ≤ βin ≤ 1; ∀n; i ∑∞ i=1 hội tụ tuyệt đối nên ta chuyển qua giới hạn vào tổng Kết hợp với (1.14) ta thu được: lim α n→∞ n ∑ a2i βin = lim α n→∞ i=m = α2 ∞ ∑ a2i βin i=m ∞ lim βin ∑ a2i n→∞ (1.15) i=m =0 Từ (1.13); (1.14); (1.15) ta có  2 lim Vn+1 = lim E xn+1 − θ = n→∞ n→∞ Vậy thuật tốn (1.4) hội tụ theo nghĩa trung bình bình phương Định lý 1.2.1 chứng minh xong Chú ý: Với tốn có hàm hồi quy khơng thỏa mãn điều kiện (1.6) với giá trị x ta lại biết giá trị chân thực θ nằm khoảng [u1 ; u2 ] (1.5) thỏa mãn với x ∈ [u1 ; u2 ] ta sử dụng thuật tốn Robbins - Monro chặt cụt có dạng sau: xn+1 = truncu1 ;u2 [xn − an ξn ]     u1    truncu1 ;u2 (u) = u      u2 u < u1 u1 ≤ u ≤ u2 u > u2 hàm gọi hàm chặt cụt Thuật toán Robbins - Monro chặt cụt hội tụ điều kiện lại định lý 1.2.1 thỏa mãn Ta lưu ý sai số trung bình bình phương Vn = E[xn − θ ]2 bước thuật tốn khó thu thuật tốn q trình truy hồi, chẳng hạn x2 phụ thuộc vào phân phối x1 ; x3 lại phụ thuộc vào phân phối x2 Cũng nên sai số trung bình bình phương phù hợp cho cách chọn dãy hiệu chỉnh an cụ thể Dưới cận sai số trung bình bình phương Dvoretzky đưa Định lý 1.2.2 Giả sử tồn số dương M1 ; M2 ; α V1 cho điều kiện (1.6); (1.7) định lý 1.2.1 điều kiện sau thỏa mãn:   E ξn − µ(xn )|x1 , , xn = (1.16) (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 11 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên thực θ toán Thật vậy, với việc chọn dãy hệ số hiệu chỉnh thuật toán (3.9) dạng an = nM M xác định là: M=  ∂  −∂ ∂ µ(x)|x=θ = E ln f (t|x) x=θ ∂x ∂x ∂x Thực đổi thứ tự lấy đạo hàm lấy tích phân công thức ta suy ra:  ∂2  M = −E ln f (t|x) |x=θ = σ (θ ) ∂ x2 (3.10) M xác định (3.10) lượng thơng tin Fisher Khi với giả thiết định lý 1.2.2, ta có:  −∂  α ≥ Var ln f (t|x) ∂x bất đẳng thức x = θ Vì µ(θ ) = nên  ∂  α ≥ E ( ln f (t|x))2 x=θ = σ (θ ) ∂x (3.11) Dấu ” = ” xảy α = σ (θ ), α2 lim nVn = = n→∞ M σ (θ ) Vậy ước lượng hợp lý cực đại tiệm cận hiệu tiệm cận chuẩn Nhận xét Thuật toán với n nhỏ cách lấy dãy hiệu chỉnh có dạng (1.18) định lý 1.2.2 Vì M1 ≤ M = σ (θ ) ≤ α nên cận sai số trung bình bình phương Vn+1 ≤ (V1−1 + nM12 α −2 )−1 ≤ V1 (1 + nρ σ 2V1 )−1 ρ = M1 /α Đồ thị biểu diễn liên hệ tỉ số (3.12) Vn+1 nσ 2V1 cho bất Vn (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 36 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên đẳng thức (3.12) Các đường cong tương ứng với cận Vn+1 Đường nét đứt biểu thị cho (nσ 2V1 )−1 tương ứng với ước lượng tiệm cận hiệu 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt Xét tốn nhận dạng điển hình tốn phân loại hai lớp Ta biết toán phân loại hai lớp tìm hàm d(t) t véc tơ đặc trưng dạng (hay cá thể) cần phân lớp d(t) có tính chất sau:   1 t ∈ C1 d(t) = (3.13)  0 t ∈ C2 đó, C1 ;C2 ký hiệu cho lớp dạng thứ thứ hai, hàm d(t) gọi hàm định cho lời giải toán phân loại hai lớp Tuy nhiên, hàm d(t) chưa biết ta muốn tìm hàm xấp xỉ cho theo tiêu chuẩn tối ưu Khi lời giải toán tiếp cận theo cách sử dụng kết quan sát thực nghiệm véc tơ dạng t để ước lượng véc tơ tham số x=θ hàm xấp xỉ cho d(t) dạng D(t) := φ T (t)θ với giả thiết φ (t)T = (ϕ1 (t), , ϕK (t)) ϕ1 (t), , ϕK (t) hàm số độc lập tuyến tính biết, nghĩa D(t) có dạng tổ hợp tuyến tính hàm sở sau: K D(t) = ∑ θi ϕi (t) = φ T (t)θ (3.14) i=1 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 37 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Hàm D(t) xác định (3.14) gọi hàm phân biệt tuyến tính véc tơ tham số xác định cho với véc tơ x = θ chọn hàm mục tiêu J(x) = E[d(t) − φ T (t)x ]2 (3.15) đạt cực tiểu Nói cách khác, muốn tìm ước lượng cho véc tơ tham số x = θ hàm phân biệt D(t) cho với véc tơ tham số x = θ hàm phân biệt D(t) = φ T (t)θ chọn có sai số trung bình bình phương nhỏ Nếu giả thiết tìm hàm phân biệt tuyến tính D(t) = φ T (t)θ d(t) ≈ D(t) theo ý nghĩa nên ta sử dụng hàm phân biệt tuyến tính D(t) để phân loại dạng cần phân lớp có véc tơ đặc trưng quan sát t theo quy tắc sau: • Nếu D(t) ≥ xếp dạng có véc tơ đặc trưng t vào lớp C1 • Nếu D(t) < xếp dạng có véc tơ đặc trưng t vào lớp C2 Bây ta xét tốn tìm véc tơ tham số θ làm cực tiểu hàm J(x) xác định cơng thức (3.15) Khi ta thu nghiệm θ dạng: θ = M −1 E[φ (t) d(t)] (3.16) M = E[φ (t) φ T (t) ] (3.17) giả thiết tồn ma trận nghịch đảo M −1 Ta có nhận xét khơng thể xác định nghiệm θ theo công thức (3.16); (3.17) hàm phân phối xác suất lớp dạng chưa biết Tuy nhiên, giả thiết cho trước tập luyện có hướng dẫn quan sát cá thể không gian dạng dạng sau (t1 ; s1 ); ; (tn ; sn ) sk số lớp véc tơ đặc trưng tk hay d(tk ) = sk với k = 1; n sk ∈ {0; 1} với xấp xỉ cho véc tơ θ véc tơ xn , ta thu   T (t )x quan sát không chệch cho hàm hồi quy J(x) dạng d(t ) − φ k k k   tương ứng φ (tn ) d(tn ) − φ T (tn )xn cho đạo hàm hàm hồi quy Vì vậy, nghiệm x = θ toán cực trị hàm J(x) xác định sử dụng thuật tốn xấp xỉ ngẫu nhiên Robbins - Monro có dạng sau: xn+1 = xn + an φ (tn ) [d(tn ) − φ T (tn )xn ] (3.18) x1 véc tơ chọn trước thích hợp an hệ số hiệu chỉnh chọn tối ưu theo cách xét thuật toán Robbins - Monro nhiều chiều (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 38 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Chú ý d(t) hàm ngẫu nhiên t nên xác định phân lớp t với giá trị cho trước t có xác suất P(C1 |t) để d(t) = xác suất P(C2 |t) để d(t) = Lấy kỳ vọng hàm ngẫu nhiên d(t) ta được: Ed [d(t)] = 1.P(C1 |t) + 0.P(C2 |t) = P(C1 |t) (3.19) số d thể việc lấy kỳ vọng qua phân phối d với t cho trước Do d(t) xem tổng hợp thành phần tất định P(C1 |t) cộng với thành phần ngẫu nhiên ζ (t) có vọng số hay d(t) = P(C1 |t) + ζ (t) (3.20) Từ công thức (3.13) nên d(t) = d (t) Vì ta có: Eζ [ζ (t)] = Ed [d(t)] − P(C1 |t) = Eζ [ζ (t)] = Ed [d (t) − 2d(t)P(C1 |t) + P2 (C1 |t)] (3.21) = P(C1 |t) − P2 (C1 |t) Do đó, tiêu chuẩn trung bình bình phương trở thành: J(x) = E[d(t) − φ T (t) x]2 = Et Ed [(d(t) − φ T (t) x)2 ] = Et Eζ [P(C1 |t) − φ T (t)x + ζ (t)]2 = Et [P(C1 |t) − φ T (t)x ]2 + Et [P(C1 |t) − P2 (C1 |t)] Số hạng thứ hai Et [P(C1 |t) − P2 (C1 |t)] độc lập với x thực tế hàm phân biệt D(t) = φ T (t)θ làm cực tiểu J(x) xấp xỉ trung bình bình phương xác suất có điều kiện P(C1 |t) Vì P(C1 |t) khơng biết không quan sát nên ta sử dụng hàm phân biệt D(t) để thay hàm biết d(t) thuật toán xấp xỉ ngẫu nhiên Bây ta nói đến điều kiện hội tụ thuật tốn ( 3.18) vừa Định lý 3.3.1 Thuật tốn (3.18) hội tụ theo nghĩa trung bình bình phương hội tụ với xác suất nghiệm θ điều kiện sau thỏa mãn: Các véc tơ tập luyện t1 ; t2 ; độc lập phân phối với số lớp tương ứng chúng cho trước (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 39 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên ∞ 2 ∑∞ n=1 an = ∞ ∑n=1 an < ∞ Các ma trận E[φ (t)φ T (t) ] E[φ (t)φ T (t) φ (t)φ T (t) ] tồn xác định dương Tồn véc tơ hàng E[φ (t)P(C1 |t)] E[φ (t)φ T (t) φ (t) P(C1 |t)] Chứng minh Ta sử dụng định lý 2.2.1 hội tụ thuật toán Dvoretzky xét cho trường hợp nhiều chiều để chứng minh định lý Thuật toán (3.18) viết lại sau: xn+1 = Tn (x1 ; ; xn ) + ηn (3.22) Tn (x1 ; ; xn ) = xn − an φ (tn ) φ T (tn ) [xn − θ ] ηn = an φ (tn ) [d(tn ) − φ T (t n) (3.23) θ] từ giả thiết cho, dễ dàng kiểm tra ln có: E[ηn |x1 ; ; xn ] = ∞ ∑ E[kηn k2] < ∞ n=1 Ta thay điều kiện kTn (x1 ; ; xn ) − θ k ≤ Fn kxn − θ k (3.24) thuật toán Dvoretzky điều kiện yếu EkTn (x1 ; ; xn ) − θ k2 ≤ Fn Ekxn − θ k2 (3.25) để với điều kiện khác thuật toán (3.22) hội tụ Thật vậy, từ (3.23) ta có: EkTn (x1 ; ; xn ) − θ k2 = Ek(I − an φ (tn ) φ T (xn ) )(xn − θ )k2 Vì tn xn độc lập nên ta lấy kỳ vọng theo tn trước thu     E kTn (x1 ; ; xn ) − θ k2 = E k(I − an M )(xn − θ )k2 (3.26)     M = E φ (tn ) φ T (tn ) = E φ (t)φ T (t) (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 40 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Gọi λ0 giá trị riêng nhỏ ma trận M lưu ý < λ0 < ∞ tương ứng với điều kiện (3) định lý Do tồn số nguyên dương k cho với ∀n ≥ k, an λ0 < EkT n (x ; ; x n ) − θ k2 ≤ (1 − an λ0 )2 Ekx n − θ k2 (3.27) Đặt Fn = (1 − an λ0 )2 Khi đó, điều kiện ∑∞ n=1 an = ∞ tương ứng với điều kiện ∞ ∏n=1 Fn = Do hai điều kiện (3.24) (3.25) tương đương Do định lý chứng minh Nhận xét Thuật tốn (3.18) cịn viết dạng thuật toán cấp hai sau:   xn+1 = xn + M −1 (n)φ (tn ) d(tn ) − φ T (tn )xn n  −1 n M (n) M −1 (n + 1) = n−1 M −1 (n)φ (tn )φ T (tn )M −1 (n)  − (n − 1) + φ T (tn )M −1 (n)φ (tn ) 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm Giả sử t1 ; t2 ; dãy véc tơ dạng mẫu tập luyện với số lớp biết (chính giả thiết cho trước tập luyện có hướng dẫn) Với véc tơ dạng mẫu tn , hàm K(t; tn ) định nghĩa không gian Ωt với tn xem vec tơ tham số Khi từ dãy véc tơ tập luyện t1 ; t2 ; dãy hàm K(t; t1 ); K(t; t2 ); , ta xây dựng hàm phân biệt theo công thức truy hồi sau: Dn+1 (t) = Dn (t) + bn K(t; tn ) (3.28) Dn (t) ước lượng thứ n hàm phân biệt Có hai cách để lựa chọn hàm sau: • Cách thứ D(t) biểu diễn tổ hợp tuyến tính K hàm sở biết ϕ1 (t); ϕ2 (t); ; ϕK (t) sử dụng hàm có dạng sau: K K(t; tn ) = ∑ φk (t)φk (tn) = φ T (t)φ (tn) k=1 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 41 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Còn dãy hiệu chỉnh bn chọn cho thuật toán hiệu chỉnh hàm phân biệt với hàm phân biệt véc tơ đặc trưng mẫu ti tập luyện bị phân lớp sai với việc chọn ngưỡng phân lớp ta sử dụng dãy hiệu chỉnh sau:    Dn (t) ≥ 21 tn ∈ C1       an Dn (t) < 12 xn ∈ C1 bn = (3.29)   −an Dn (t) ≥ tn ∈ C2       0 Dn (t) < 12 tn ∈ C2 ∞ Trong trường hợp ta cần điều kiện ∑∞ n=1 an = ∞ ∑n=1 an < ∞ thuật tốn hội tụ theo trung bình bình phương đến D(t) = φ T (tn )θ • Cách thứ hai, ta chọn giá trị ngưỡng xác định bn sau: bn = an [d(tn ) − D(tn )] (3.30) với hàm d(tn ) xác định (3.14) Ta xét trường hợp đặc biệt hàm K(t; t0 ) cho dạng sau: K(t; t0 ) = K(t − t0 ) = exp[− kt − t0 k2 ] α (3.31) hàm cho dạng (3.31) mở rộng thành dạng sau: ∞ K(t; t ) = ∑ λk φk (t)φk (t0) k=1 φk (t) nghiệm phương trình Z K(t; t0 )φ (t0 )dt0 = λ φ (t) Ωt {ϕk (t)} họ đầy đủ hàm riêng nghĩa họ thỏa mãn điều kiện sau: Z ϕk (t)ϕi (t)dt = δki (3.32) Ωt với δki =   1 k = i  0 k 6= i (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 42 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Khi đó, thuật tốn (3.28) trở thành Dn+1 (t) = Dn (t) + bn exp[− n = ∑ bnexp[− j=1 kt − tn k2 ] α kt − tj k2 ] α (3.33) bn chọn theo (3.29) (3.30) 3.5 Ứng dụng xấp xỉ ngẫu nhiên ước lượng hàm mật độ xác suất Trong phần nghiên cứu vài thuật toán xấp xỉ ngẫu nhiên để ước lượng xấp xỉ hàm mật độ xác suất chưa biết để đơn giản, xét hàm mật độ xác suất chiều 3.5.1 Xấp xỉ tuyến tính Ta giả thiết tìm xấp xỉ cho hàm mật độ chưa biết f (t) tổ hợp tuyến tính hàm sở độc lập tuyến tính ϕ1 (t); ϕ2 (t); ; ϕK (t), nghĩa tìm xấp xỉ fb(t) cho hàm mật độ f (t) chưa biết dạng fˆ(t) = xT φ (t)
xT = (x1 ; ; xn ) cần xác định φ T (t) = ϕ1 (t); ; ϕ2 (t) Chúng ta tìm xấp xỉ tuyến tính tối ưu cho f (t) theo tiêu chuẩn cực tiểu hóa sai số trung bình bình phương hay tìm xấp xỉ cho f (t) dạng: fˆ(t) = θ T φ (t) (3.34) véc tơ tham số x = θ chọn cho véc tơ x = θ làm cực tiểu hàm mục tiêu sau: Z I(x) = [ f (t) − xT φ (t)]2 dt (3.35) Khi véc tơ x = θ nghiệm phương trình: Z   ∇x I(x) = −2 φ (t) f (t) − φ T (t)x dt   = −2 E(φ (t)) − Mx (3.36) =0 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 43 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên M định nghĩa sau: Z M= φ (t)φ T (t)dt (3.37) Do đó, nghiệm phương trình là: x = θ = M−1 E[φ (t)] (3.38) Tuy nhiên, hàm mật độ f (t) chưa biết nên E[φ (t)] khơng thể tính trực tiếp tìm cách ước lượng θ thực nghiệm dựa tập luyện gồm quan sát đại lượng ngẫu nhiên t có hàm mật độ f (t) Khi với véc tơ x1 chọn trước ta định nghĩa véc tơ xn theo thuật toán xấp xỉ ngẫu nhiên dạng Robbins - Monro sau: xn+1 = xn − an ξn (3.39) ξn := ξ (x;t)|x=xn với ξ (x;t) quan sát không chệch cho giá trị đạo hàm hàm mục tiêu xác định (3.35) có dạng sau: ξ (x;t) = −[φ (t) − Mx] (3.40) Từ điều kiện từ biểu diễn đạo hàm hàm mục tiêu xác định (3.35) ta suy sai số quan sát không chệch ξ (x;t) cho 21 ∇x I(x) có dạng sau: ζ (t) = φ (t) − E(φ (t)) (3.41) Vì thuật tốn xấp xỉ ngẫu nhiên (3.39) có dạng sau: xn+1 = xn + an [φ (tn ) − Mxn ] (3.42) đó: • tn quan sát biến ngẫu nhiên có mật độ f (t) • M ma trận xác định (3.37) • {an } dãy số hiệu chỉnh chọn cho thỏa mãn điều kiện xác định định lý 1.2.1 Robbins - Monro Chúng ta kiểm tra với giả thiết với điều kiện sau: Ma trận M hữu hạn xác định dương Ek ζ (t)k2 = Varkφ (t) − E[φ (t)]k hữu hạn (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 44 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên ∞ ∑∞ n=1 = ∞ ∑n=1 an < ∞ hệ định lý 1.2.4 thuật toán (3.42) hội tụ tới véc tơ tham số θ theo nghĩa trung bình bình phương ta thu ước lượng cho θ θ ≈ θb = xn n đủ lớn, từ ta có xấp xỉ fb(t) = θbT φ (t) cho hàm mật độ f (t) chưa biết 3.5.2 Ước lượng xấp xỉ cho hàm mật độ trộn chuẩn Giả sử hàm mật độ xác suất chiều f (t) xấp xỉ K hàm mật độ chuẩn dạng sau: K fˆ(t) = ∑ ck g(t; mk ; rk ) (3.43) k=1 g(t; mk ; rk ) hàm mật độ chuẩn với kỳ vọng mk ; phương sai rk ; trọng số {ck } thỏa mãn điều kiện: K ck ≥ 0; ∑ ck = (3.44) k=1 Khi rõ ràng fˆ(t) hàm mật độ xác xuất, nghĩa fˆ(t) có tính chất sau: Z ˆf (t) ≥ 0; fˆ(t)dt = (3.45) Bài toán ước lượng hàm mật độ trộn chuẩn fˆ(t) đặt việc ước lượng tham số ck ; mk ; rk hàm mật độ trộn chuẩn thành phần dựa quan sát độc lập t1 ;t2 ; hàm mật độ f (t) Để ước lượng tham số ck ; mk rk , chọn phương pháp ước lượng hợp lý cực đại với hàm mục tiêu sau: J0 := E[ln fˆ(t)] = Z f (t) ln fˆ(t)dt (3.46) Tuy nhiên, hàm mật độ f (t) chưa biết nên cần chọn tiêu chuẩn đánh giá sai số xấp xỉ f (t) fˆ(t) Chúng ta chọn tiêu chuẩn dạng sau:  f (t)  Z f (t) J1 = E ln = f (t) ln dt (3.47) fˆ(t) fˆ(t) chứng minh J1 ≥ dấu đạt f (t) = fˆ(t) với hầu hết t Từ (3.46) (3.47) toán cực đại hàm mục tiêu J0 tương đương với toán cực tiểu tiêu chuẩn sai số J1 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 45 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung Chương Một số ứng dụng xấp xỉ ngẫu nhiên Bây giờ, với dãy quan sát độc lập t1 ;t2 ; ;tn , ta xét hàm mật độ thực nghiệm sau: n fˆn (t) = ∑ g(t;tk ; αn2 ) (3.48) n k=1 phương sai αn2 phụ thuộc vào số quan sát n Rõ ràng, ước lượng fˆ(t) công thức (3.48) trường hợp đặc biệt ước lượng fˆ(t) xác định (3.43) với ck = n1 ; mk = tk ; rk = αn2 Khi giả thiết hàm mật độ liên ˆ tục ta có:  αn −→ nαn −→ ∞), ước lượng fn (t)  Khi n −→ ∞ (sao cho có E fˆn (t) = f (t) Var fˆn (t) = điểm liên tục hàm mật độ f (t) có: Z f (t) lim f (t) ln dt = (3.49) n→∞ fˆn (t) Kết có nghĩa tồn hàm fˆn (t) cho J1 tiến tới n −→ ∞ −1/2 Ta ký hiệu rk = qk ; g(t; mk ; rk ) = gk ước lượng thứ n f (x) fˆ(n) Thuật toán Robbins - Monro để ước lượng tham số cho hàm mật độ trộn chuẩn ∂ ln fˆ(n)|t=tn ; k = 1; K ∂ mk ∂ qk (n + 1) = qk (n) + an ln fˆ(n)|t=tn ; k = 1; K ∂ qk ∂ ck (n + 1) = ck (n) + an ln fˆ(n)|t=tn ; k = 1; K − ∂ ck (3.50) ∂ ln fˆ = ck q2k (t − mk )gk ∂ mk fˆ 1 ∂ ln fˆ = ck [ − qk (t − mk )2 ]gk ∂ qk fˆ qk ∂ ln fˆ = [gk − gK ] ∂ ck fˆ (3.51) mk (n + 1) = mk (n) + an với Trong thuật toán (3.50), fˆ(n) ước lượng t = tn ∑K k=1 ck = Chú ý rằng, ta đặt k−1 dk = ∑ ci ; d1 = i=1 (LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung(LUAN.van.THAC.si).xap.xi.ngau.nhien.va.mot.so.ung.dung 46 TIEU LUAN MOI download : skknchat@gmail.com