Xấp xỉ ngẫu nhiên và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGƠ THỊ TỐN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - NGÔ THỊ TOÁN XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN HỮU TIẾN Hà Nội – Năm 2011 Mục lục Lời nói đầu Lời cảm ơn Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins-Monro 1.2.2 Thuật toán Kiefer-Wolfowitz 14 1.2.3 Thuật toán Dvozetky 15 Chương Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều 2.1 Thuật tốn Robbins-Monro khơng gian n-chiều 21 2.1.1 Nội dung thuật toán 21 2.1.2 Đánh giá cận sai số trung bình bình phương 22 2.2 Thuật toán Dvozetky không gian n-chiều 28 Chương Một số ứng dụng xấp xỉ ngẫu nhiên 3.1 Ứng dụng xấp xỉ ngẫu nhiên ước lượng có định hướng định 30 3.2 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng tham số 34 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt 37 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm 41 3.5 Ứng dụng xấp xỉ ngẫu nhiên ước lượng hàm mật độ xác suất 43 3.5.1 Xấp xỉ tuyến tính 43 3.5.2 Ước lượng xấp xỉ cho hàm mật độ trộn chuẩn 45 Kết luận 49 Tài liệu tham khảo 50 Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.1 Khái niệm mở đầu Giả sử m(x) hàm số có nghiệm x = q dạng giải tích hàm số chưa biết Tuy nhiên với giá trị x, giả sử tồn biến ngẫu nhiên x (x) có hàm mật độ xác suất f (x jx) cho: Z m(x) = Ex [x (x)] = x (x) f (x jx)dx (1.1) Wx hay m(x) biểu diễn dạng kì vọng có điều kiện biến ngẫu nhiên x giả thiết x cho trước Hàm m(x) gọi hàm hồi quy Việc tìm nghiệm tìm giá trị lớn nhất, nhỏ hàm hồi quy dạng giải tích hàm chưa biết đối tượng nghiên cứu phương pháp xấp xỉ ngẫu nhiên Trong luận văn ta sử dụng kí hiệu x; x 1; x2; : : : cho tham biến, w;t cho yếu tố ngẫu nhiên quan sát x cho ước lượng không chệch m(x) hay Ex = m(x) Để đơn giản ta quy ước sử dụng x thay cho x (x; w) xn thay cho x (xn; w) Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2 Xấp xỉ ngẫu nhiên cho trường hợp chiều 1.2.1 Thuật toán Robbins - Monro Trong mục giải tốn tìm nghiệm phương trình hàm hồi quy cho trường hợp chiều Khơng tính tổng qt ta giả thiết cần tìm thuật tốn xác định nghiệm phương trình sau: m(x) = Thật vậy, phải tìm nghiệm phương trình dạng (x) = a số thực cho mb trước a Khi đó, ta đặt m(x) := m(x) a lời giải cho tốn (1.3) xác định từ thuật toán giải toán (1.2) b Bây ta xét việc giải phương trình hồi quy (1.2) có nhận xét hàm hồi quy m(x) cho trước nghiệm phương trình (1.2) xác định thuật toán xét giải tích số chẳng hạn phương pháp lặp Newton Vấn đề đặt hàm hồi quy m(x) chưa biết nên để tìm nghiệm phương trình hồi quy (1.2), ta cần giả thiết thêm ứng với giá trị xác định x = x n ta thu quan sát không chệch cho m(xn) xn với 8n N Khi đó, thuật tốn tìm nghiệm xấp xỉ cho phương trình hồi quy (1.2) Robbins - Monro đề xuất có dạng sau: x n+1 =x a x n n n fang dãy số thực chọn trước thích hợp dãy gọi dãy số hiệu chỉnh Kết sau xác định điều kiện đủ để thuật toán Robbins Monro xác định (1.4) hội tụ Định lý 1.2.1 Giả sử điều kiện sau thỏa mãn: x1 biến ngẫu nhiên tùy ý cho E[x1 ] < ¥ dãy biến ngẫu nhiên x1; x2; : : : ; xn; : : : biến ngẫu nhiên độc lập phân phối xác định từ thuật toán Robbins - Monro (1.4) xn quan sát khơng chệch hàm hồi quy m(x) x = xn hay E(xn) = m(xn) fang dãy số hiệu chỉnh chọn trước cho ¥ å an = ¥; n=1 ¥ Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Tồn số dương < M1 M2 < ¥ cho hàm hồi quy m(x) thỏa mãn M1(x q ) m(x)(x q ) M2(x q ) Z 2 Var[x ] = Wx [x m(x)] f (x jx)dx a < ¥ Khi thuật tốn Robbins - Monro (1.4) hội tụ theo trung bình bình phương nghiệm q phương trình hồi quy (1.2) hay lim Ejxn q j = n!¥ Trước chứng minh định lý, ta có số nhận xét sau giả thiết hội tụ định lý: Nhận xét Ta cần ý sau: Giả thiết (1.6) cho ta biết hàm m(x) phải nằm hai đường thẳng có hệ số góc dương M1 M2 tương ứng Hai đường thẳng cắt x = q điều đảm bảo cho tồn nghiệm q phương trình (1.2) Giả thiết (1.7) có nghĩa quan sát khơng chệch hàm hồi quy có phương sai hữu hạn Giả thiết (1.5) dãy hiệu chỉnh fang hiểu sau: tính ngẫu nhiên quan sát xn nên hệ số hiệu chỉnh an phải tiến đến n tiến vơ khơng thuật tốn giao động quanh q không hội tụ giá trị q Mặt khác hội tụ an cần trì mức không nhanh nhằm loại trừ khả giá trị xấp xỉ x n quẩn quanh nghiệm q không tiến dần nghiệm Thật vậy, thuật toán (1.4) sử dụng ước lượng không chệch hàm hồi quy xn thay cho giá trị m(xn) nên thuật toán (1.4) cần đảm bảo quan sát xn sử dụng nhiều lần để ảnh hưởng loại trừ khả điều bảo đảm dãy hiệu chỉnh fang hội tụ không nhanh Giả thiết (1.5) nhằm bảo đảm cho hai điều kiện thỏa mãn Việc định nghĩa hàm hồi quy (1.1) nói lên hàm mật độ f (xnjxn) có cấu trúc hàm giống cho tất n vậy, giả thiết tính độc lập phân phối x1; x2; : : : ; xn; : : : bảo đảm cho điều kiện nêu thỏa mãn Cuối cùng, ta lưu ý giả thiết độc lập phân phối nêu giảm nhẹ ta thay giả thiết giả thiết phụ thuộc yếu quan sát xn vào x1; : : : ; xn hay giả thiết xn có phân phối xác Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều suất có điều kiện phụ thuộc vào kết xấp xỉ thứ n x n không phụ thuộc trực tiếp vào kết xấp xỉ x1; : : : ; xn trước Tuy nhiên, để chứng minh dễ hiểu hơn, dùng giả thiết độc lập phân phối biến ngẫu nhiên x1; : : : ; xn; : : : Bây ta bắt đầu chứng minh định lý 1.2.1 Chứng minh Từ (1.4) ta có: Đặt V := E x n cho q Lấy kỳ vọng hai vế (1.8) ta Theo tính chất kỳ vọng có điều kiện giả thiết độc lập, giả thiết (1.6); (1.7) ta có: E xn:(xn q ) = E m(xn):(xn E = M2 Vn + a Khi đó, (1.9) trở thành: 2 2 Vn+1 (1 2M1an + M2 an )Vn + an a Theo nhận xét an ! n! ¥ nên với e bất kỳ, e < tồn số m = m(e) cho với n m ta có: 2 2M1an + M2 an (2 e)M1an < (2 e)M1an Chương Xấp xỉ ngẫu nhiên cho trường hợp chiều Khi bất đẳng thức (1.10) trở thành: 2 Vn+1 Vn (2 e)M1an + an a ; 8n m Ta biểu diễn (1.12) cách truy hồi sau: Vm+1 Vm (2 e)M1am + a ma 2 Vm+2 Vm+1 (2 e)M1am+1 + am +1a + a am (2 i=m bin định nghĩa sau: n Õ j=i+1 b => >1 in > > > > < > > > > : Áp dụng bất đẳng thức logarit ln u u 1; u ta có: ln[1 (2 e)M a ] (2 e)M1ai; i m Do kỳ nên lim bm 1;n = 1đói i=1 n!¥ lim V b n!¥ Lại có, bin = i > m nên m å¥ phân M T T = E f(tn) f (tn) = E f(t)f (t) 40 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Gọi l0 giá trị riêng nhỏ ma trận M lưu ý < l < ¥ tương ứng với điều kiện (3) định lý Do tồn số nguyên dương k cho với 8n k; anl0 < EkT n(x 1; : : : ; x n) q k 2 (1 anl0) Ekx n q k 2 ¥ Đặt Fn = (1 anl0) Khi đó, điều kiện å n=1 an = ¥ tương ứng với điều ¥ kiện Õ n=1 Fn = Do hai điều kiện (3.24) (3.25) tương đương Do định lý chứng minh Nhận xét Thuật tốn (3.18) cịn viết dạng thuật toán cấp hai sau: M (n + 1) = n M 1 T (n)f(tn)f (tn)M (n) T (n 1) + f (tn)M (n)f(tn) 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm Giả sử t1; t2; : : : dãy véc tơ dạng mẫu tập luyện với số lớp biết (chính giả thiết cho trước tập luyện có hướng dẫn) Với véc tơ dạng mẫu tn, hàm K(t; tn) định nghĩa không gian W t với tn xem vec tơ tham số Khi từ dãy véc tơ tập luyện t 1; t2; : : : dãy hàm K(t; t1); K(t; t2); : : : , ta xây dựng hàm phân biệt theo công thức truy hồi sau: Dn+1(t) = Dn(t) + bnK(t; tn) Dn(t) ước lượng thứ n hàm phân biệt Có hai cách để lựa chọn hàm sau: Cách thứ D(t) biểu diễn tổ hợp tuyến tính K hàm sở biết j1(t); j2(t); : : : ; jK(t) sử dụng hàm có dạng sau: K T K(t; tn) = å fk(t)fk(tn) = f (t)f(tn) k=1 41 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Còn dãy hiệu chỉnh bn chọn cho thuật toán hiệu chỉnh hàm phân biệt với hàm phân biệt véc tơ đặc trưng mẫu t i tập luyện bị phân lớp sai với việc chọn ngưỡng phân lớp ta sử dụng dãy hiệu chỉnh sau: b n Trong trường hợp > T thuật toán hội tụ theo trung bình bình phương đến D(t) = f (tn)q Cách thứ hai, ta chọn giá trị ngưỡng xác định bn sau: bn = an[d(tn) D(tn)] với hàm d(tn) xác định (3.14) Ta xét trường hợp đặc biệt hàm K(t; t ) cho dạng sau: 0 K(t; t ) = K(t t ) = exp[ hàm cho dạng (3.31) mở rộng thành dạng sau: ¥ 0 K(t; t ) = å lkfk(t)fk(t ) k=1 fk(t) nghiệm phương trình Z 0 K(t; t )f(t )dt = l f(t) W t fjk(t)g họ đầy đủ hàm riêng nghĩa họ thỏa mãn điều kiện sau: Z jk(t)ji(t)dt = dki với 42 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Khi đó, thuật toán (3.28) trở thành Dn+1(t) = Dn(t) + bnexp[ n = å bnexp[ bn chọn theo (3.29) (3.30) 3.5 Ứng dụng xấp xỉ ngẫu nhiên ước lượng hàm mật độ xác suất Trong phần nghiên cứu vài thuật toán xấp xỉ ngẫu nhiên để ước lượng xấp xỉ hàm mật độ xác suất chưa biết để đơn giản, xét hàm mật độ xác suất chiều 3.5.1 Xấp xỉ tuyến tính Ta giả thiết tìm xấp xỉ cho hàm mật độ chưa biết f (t) tổ hợp tuyến tính hàm sở độc lập tuyến tính j 1(t); j2(t); : : : ; jK(t), nghĩa ˆ T tìm xấp xỉ fb(t) cho hàm mật độ f (t) chưa biết dạng f (t) = x f(t) T T x = (x1; : : : ; xn) cần xác định f (t) = j1(t); : : : ; j2(t) Chúng ta tìm xấp xỉ tuyến tính tối ưu cho f (t) theo tiêu chuẩn cực tiểu hóa sai số trung bình bình phương hay tìm xấp xỉ cho f (t) dạng: ˆ T f (t) = q f(t) véc tơ tham số x = q chọn cho véc tơ x = q làm cực tiểu hàm mục tiêu sau: Z I(x) = T [ f (t) x f(t)] dt Khi véc tơ x = q nghiệm phương trình: = 43 (3.35) Chương Một số ứng dụng xấp xỉ ngẫu nhiên M định nghĩa sau: Z M= T f(t)f (t)dt (3.37) Do đó, nghiệm phương trình là: x = q = M E[f(t)] Tuy nhiên, hàm mật độ f (t) chưa biết nên E[f(t)] tính trực tiếp tìm cách ước lượng q thực nghiệm dựa tập luyện gồm quan sát đại lượng ngẫu nhiên t có hàm mật độ f (t) Khi với véc tơ x1 chọn trước ta định nghĩa véc tơ xn theo thuật toán xấp xỉ ngẫu nhiên dạng Robbins - Monro sau: x n+1 =x a x n n n xn := x (x;t)jx=xn với x (x;t) quan sát không chệch cho giá trị đạo hàm hàm mục tiêu xác định (3.35) có dạng sau: x (x;t) = [f(t) Mx] Từ điều kiện từ biểu diễn đạo hàm hàm mục tiêu xác định (3.35) ta suy sai số quan sát không chệch x (x;t) cho ĐxI(x) có dạng sau: z (t) = f(t) E(f(t)) Vì thuật tốn xấp xỉ ngẫu nhiên (3.39) có dạng sau: xn+1 = xn + an[f(tn) Mxn] đó: tn quan sát biến ngẫu nhiên có mật độ f (t) M ma trận xác định (3.37) fang dãy số hiệu chỉnh chọn cho thỏa mãn điều kiện xác định định lý 1.2.1 Robbins - Monro Chúng ta kiểm tra với giả thiết với điều kiện sau: Ma trận M hữu hạn xác định dương 2 Ek z (t)k = Varkf(t) E[f(t)]k hữu hạn 44 Chương Một số ứng dụng xấp xỉ ngẫu nhiên ¥ ¥ å n=1 = ¥ å n=1 a n < ¥ hệ định lý 1.2.4 thuật toán (3.42) hội tụ tới véc tơ tham số q theo nghĩa trung bình bình phương ta thu ước lượng cho q q qb = xn n đủ lớn, từ ta có xấp xỉ fb(t) T = qb f(t) cho hàm mật độ f (t) chưa biết 3.5.2 Ước lượng xấp xỉ cho hàm mật độ trộn chuẩn Giả sử hàm mật độ xác suất chiều f (t) xấp xỉ K hàm mật độ chuẩn dạng sau: K ˆ f (t) = å ckg(t; mk; rk) k=1 g(t; mk; rk) hàm mật độ chuẩn với kỳ vọng m k; phương sai rk; trọng số fckg thỏa mãn điều kiện: K ck 0; å ck = k=1 ˆ ˆ Khi rõ ràng f (t) hàm mật độ xác xuất, nghĩa f (t) có tính chất sau: Z ˆ f (t) 0; ˆ f (t)dt = (3.45) ˆ Bài toán ước lượng hàm mật độ trộn chuẩn f (t) đặt việc ước lượng tham số ck; mk; rk hàm mật độ trộn chuẩn thành phần dựa quan sát độc lập t1;t2; : : : hàm mật độ f (t) Để ước lượng tham số c k; mk rk, chọn phương pháp ước lượng hợp lý cực đại với hàm mục tiêu sau: Z ˆ J0 := E[ln f (t)] = ˆ f (t)ln f (t)dt (3.46) Tuy nhiên, hàm mật f (t) chưa biết nên cần chọn tiêu chuẩn f ˆ độ đánh giá sai số (t) f (t) Chúng ta chọn tiêu chuẩn xấp xỉ dạng sau: J1 = E ln ˆ chứng minh J dấu đạt f (t) = f (t) với hầu hết t Từ (3.46) (3.47) toán cực đại hàm mục tiêu J tương đương với toán cực tiểu tiêu chuẩn sai số J 45 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Bây giờ, với dãy quan sát độc lập t 1;t2; : : : ;tn, ta xét hàm mật độ thực nghiệm sau: ˆ f n(t) = phương sai an phụ thuộc vào số quan sát n Rõ ràng, ước lượng ˆ ˆ f (t) công thức (3.48)1là trường hợp đặc biệt ước lượng f (t) xác định (3.43) với ck = n ; mk = tk; rk = an Khi giả thiết hàm mật độ liên tục ta có: Khi n! ¥ (sao cho a n ! nan ! ¥), ước lượng ˆ ˆ ˆ f n(t) có E f n(t) = f (t) Var f n(t) = điểm liên tục hàm mật độ f (t) có: ˆ Kết có nghĩa tồn hàm f n(t) cho J1 tiến tới n! ¥ Ta ký hiệu rk Thuật tốn Robbins - Monro để ước lượng tham số cho hàm mật độ trộn chuẩn ¶ mk(n + 1) = mk(n) + an qk(n + 1) = qk(n) + an với k ˆ K Trong thuật toán (3.50), f (n) ước lượng t = tn å k=1 ck = Chú ý rằng, ta đặt k dk = å ci; d1 = i=1 46 Chương Một số ứng dụng xấp xỉ ngẫu nhiên điều kiện ck trở thành k ck cK = 1 å ci; dk = dK = 1 k = 1; K i=1 K å ci i=1 Vấn đề điều kiện (3.50) không thỏa mãn vài điểm không gian tham số Chẳng hạn, đến ¶ ˆ ln f tiến vơ hạn qk tiến đến Tương tự có ck gần ¶ qk K ¶ ˆ ln f (n)jt=tn = [å cigi(tn)] [gk(tn) ¶c k i=1 lại trở nên lớn t = t n có tương ứng gk(tn) gi(tn); i 6= k Điều xảy ck nhỏ mk lại cách xa so với giá trị trung bình Để tránh vấn đề mà thỏa mãn điều kiện thuật toán, ta đưa hai biến sau: pk = q k qk = 2ck (1 gk = ck(1 dk ck = 2gk Các biến pk gk hàm tăng theo qk ck tương ứng Hàm pk (3.51) ánh xạ từ khoảng mở (0; +¥) vào khoảng ( ¥; +¥) cịn hàm gk (3.52) lại ánh xạ từ khoảng đóng [0; d k] vào [ ¥; +¥] với ck Do đó, thuật tốn biểu diễn biến sau: mk(n + 1) = mk(n) + an ¶ qk(n) pk(n + 1) = pk(n) + an[ K gk(n + 1) = gk(n) + an[ å i=1 47 Chương Một số ứng dụng xấp xỉ ngẫu nhiên Để tránh cho việc thuật toán hội tụ tới cực đại địa phương J 0, ta giả sử giá trị cực đại toàn cục giới hạn miền lồi biết không gian tham số điểm dừng miền Khi thuật tốn hội tụ tới giá trị cực đại toàn cục Khi biết số ước lượng ban đầu khác ta phải lựa chọn cách so sánh giá trị J0 với ước lượng ban đầu Cuối ta lưu ý hàm mục tiêu J0 đánh giá thuật tốn hồi quy sau: ˆ J0(n + 1) = J0(n) + an[ln f (n) J0(n)]jt=tn 48 Kết luận Luận văn trình bày cách đầy đủ hệ thống thuật toán xấp xỉ ngẫu nhiên xét trường hợp chiều nhiều chiều; đồng thời giới thiệu số ứng dụng quan trọng thuật toán xấp xỉ ngẫu nhiên vào toán thực tế Qua ta thấy phần vai trò quan trọng xấp xỉ ngẫu nhiên việc giải toán Tuy nhiên, hiểu biết thời gian nghiên cứu bị hạn chế, tìm hiểu ứng dụng xấp xỉ ngẫu nhiên mặt lý thuyết mà chưa lập trình máy tính để khảo sát tính đắn thuật toán xấp xỉ ngẫu nhiên Vì vây, sau luận văn này, tơi tiếp tục nghiên cứu xấp xỉ ngẫu nhiên tập trung vào nghiên cứu ứng dụng lý thuyết nhận dạng cố gắng lập trình kiểm nghiệm thuật tốn Tơi mong nhận ý kiến quý báu thầy, cô bạn đề tài Tôi xin chân thành cảm ơn! 49 Tài liệu tham khảo [1] Aryeh Dvoretzky, On stochastic approximation, Proc Third Berkeley Symp Math Statist Prob 39 - 55 (1956) [2] David J Sakrion Stochatis Approximation: A recursive method for solving regression problem, Ann Math Statist 35, 590 (1964) [3] David J Sakrion Application of stochastic Approximation methods to sys-tem optimization, Mass Inst Technol Res Lad of Electron Tech Rept No 391 (1962) [4] J H Venter On Dvoretzky stochastic approximation theorems, Research Grant No NSF - G21058 from the Division of Mathematical, Physical and Engineering Sciences of the National Science Foundation, February 1966 [5] Fu,K.S.1968, Sequential Methods in pattern recognition and machine learning Academic Press, New York [6] Medel, J.M and Fu,K.S.,eds.1970.Adaptive,learning and Pattern Recog-nition System Academic Press, New York [7] Sebestyen, G S 1962.Decision-Making Processes in Pattern Recognition Macmillan, New York [8] Tzay Y Young and Thomas W Calvert Classification estimation and pat-tern recognition, Chapter 5, p 166 - 219 [9] Watanabe, S., ed 1969 Methodologies of Pattern recognnition Academic Press, New York 50 ... 30 3.2 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng tham số 34 3.3 Ứng dụng xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt 37 3.4 Ứng dụng xấp xỉ ngẫu nhiên hàm ... giá cận sai số trung bình bình phương 22 2.2 Thuật tốn Dvozetky khơng gian n-chiều 28 Chương Một số ứng dụng xấp xỉ ngẫu nhiên 3.1 Ứng dụng xấp xỉ ngẫu nhiên ước... quy m(x) = Chứng minh định lý 2.2.1 trình bày cơng trình tác giả Aryeh Dvoretzky dẫn tài liệu tham khảo [1] 29 Chương Một số ứng dụng xấp xỉ ngẫu nhiên 3.1 Ứng dụng xấp xỉ ngẫu nhiên ước lượng