Bài toán giải chập trong thống kê phi tham số

Header Page of 16 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ LUẬN VĂN THẠC SĨ TOÁN HỌC Thành phố Hồ Chí Minh - 2013 Footer Page of 16 Header Page of 16 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ Chuyên ngành: Toán Giải tích Mã số: 60460102 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS ĐẶNG ĐỨC TRỌNG Thành phố Hồ Chí Minh - 2013 Footer Page of 16 Header Page of 16 LỜI CẢM ƠN Để thực tốt luận văn này, cố gắng nổ lực thân, nhận quan tâm, giúp đỡ từ thầy cô, bạn bè gia đình Nhân đây, xin gởi lời cảm ơn Trước hết, xin chân thành cảm ơn Quý thầy cô Khoa Toán – Tin trường Đại học Sư phạm Thành Phố Hồ Chí Minh truyền thụ kiến thức bổ ích, làm tảng cho trình nghiên cứu luận văn Và hết, xin gởi lời tri ân sâu sắc đến GS TS Đặng Đức Trọng, người tận tình hướng dẫn, dạy bảo phương pháp nghiên cứu khoa học, tạo điều kiện để hoàn thành luận văn Tôi xin gởi lời cảm ơn chân thành đến Quý thầy cô hội đồng chấm luận văn dành thời gian xem xét, chỉnh sửa đưa nhận xét quý báu để luận văn hoàn thiện Bên cạnh dạy thầy cô, nhận quan tâm gia đình bạn bè Xin chân thành cảm ơn người Thành phố Hồ Chí Minh, tháng năm 2013 Nguyễn Thị Diệu Huyền Footer Page of 16 Header Page of 16 MỤC LỤC LỜI CẢM ƠN MỤC LỤC CÁC KÝ HIỆU LỜI MỞ ĐẦU CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ 1.1 Một số kiến thức giải tích điều hòa  ,   ( 3) 1.1.1 Các phép toán  1.1.2 Một số kiến thức độ đo 1.1.3 Tích vô hướng Hermit không gian vectơ 1.1.4 Một số chuẩn đặc biệt 1.1.5 Các biến đổi Fourier  10 1.1.6 Các yếu tố giải tích điều hòa  ( 3)  15 1.2 Một số kiến thức xác suất thống kê 18 1.2.1 Khái niệm hàm phân phối, hàm mật độ 18 1.2.2 Các giá trị đặc trưng biến ngẫu nhiên X 19 CHƯƠNG 2: GIẢI CHẬP TRÊN  BẰNG PHƯƠNG PHÁP DỰA TRÊN CÁC HÀM WAVELET 23 2.1 Giới thiệu toán nhân chập 2.2 Giải toán nhân chập   23 phương pháp dựa hàm wavelet 24 2.2.1 Cơ sở lý thuyết 24 2.2.2 Thuật toán giải chập dựa wavelet 34 CHƯƠNG 3: GIẢI CHẬP CẦU BẰNG PHƯƠNG PHÁP TIẾP CẬN BỘ HÀM 35 3.1 Giới thiệu toán nhân chập cầu 35 3.2 Giải toán chập cầu phương pháp tiếp cận hàm 36 3.2.1 Cơ sở lý thuyết 36 3.2.2 Thuật toán cực tiểu hóa ước lượng Lasso 58 KẾT LUẬN VÀ KIẾN NGHỊ 59 TÀI LIỆU THAM KHẢO 60 Footer Page of 16 Header Page of 16 CÁC KÝ HIỆU = [ −∞; +∞ ]  = ( −∞; +∞ ) ,  { }  n = x =( x j ) | x j ∈ ,i =1,n j = −1} {a + bi | a,b ∈ , i2 = { {( x ) ∈  | x }  n = x =( x j ) | x j ∈ , j =1,n j = j j {  m×n = X =( x jk )  ( 3= ) {X ∈  m×n 3×3 } + x 22 + x= : mặt cầu đơn vị  } | x jk ∈ , j =1,m, k =1,n : không gian ma trận thực cấp m × n : X ma trận trực giao } : nhóm quay    p  p ( Ω= )  f : Ω →  : ∫ f dµ < ∞    Ω χ A : hàm đặc trưng tập A thỏa 1 , x ∈ A 0 , x ∉ A χA ( x ) =  Footer Page of 16 Header Page of 16 LỜI MỞ ĐẦU Bài toán tích chập xảy nhiều lĩnh vực thống kê phi tham số Bài toán thường gặp ước lượng hàm mật độ biến ngẫu nhiên X dựa liệu bị nhiễu Y= X + ε ε biến ngẫu nhiên chưa biết hàm mật độ xem biết Trong hai thập kỷ gần đây, toán quan tâm ngày nhiều hơn, việc mở rộng toán tích chập  thành toán tích chập cầu  đồng nghĩa với việc mở rộng ứng dụng nhiều lĩnh vực, kinh tế, y học, kỹ thuật,… Đặc trưng toán tích chập tìm kết cách xác mà dạng “gần đúng” Do đó, có không nhà toán học đưa phương pháp giải toán kết không dừng lại đó, có phương pháp khác cho kết “tốt hơn” Vì vậy, chọn đề tài làm nội dung nghiên cứu luận văn nhằm học tập phương pháp nghiên cứu phát triển đề tài theo hướng nhà khoa học nước Nội dung luận văn gồm ba chương Cụ thể sau: Chương 1: Trong phần này, đưa kiến thức bản, đặc biệt lý thuyết giải tích Fourier  ,   ( 3) , nhằm cung cấp cho việc giải toán chương Chương 2: Trong phần này, dựa chủ yếu vào sách [1], trình bày lại phương pháp xây dựng ước lượng hàm mật độ f toán giải chập  dựa hàm wavelet đánh giá ước lượng thông qua đánh giá MISE (được định nghĩa (2.10)) Chương 3: Dựa chủ yếu vào báo [11], trình bày lại cách xây dựng ước lượng Lasso hàm mật độ f toán giải chập cầu, cực tiểu hóa ước lượng cách thiết lập bất đẳng thức oracle với giả thiết cổ điển dựa hàm tổng quát Footer Page of 16 Header Page of 16 CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ 1.1 Một số kiến thức giải tích điều hòa  ,   ( 3) 1.1.1 Các phép toán  Giả sử z ∈  , z =ℜ ( z ) + iℑ ( z ) =( ℜ ( z ) , ℑ ( z ) ) ∈  , với ℜ ( z ) , ℑ ( z ) phần thực, phần ảo z, nên xem  =  Ta kí hiệu z =ℜ ( z ) − iℑ ( z ) số phức liên hợp z, z= ℜ2 ( z ) + ℑ2 ( z ) môđun z Các phép toán  : z = z , z.z = ℜ2 ( z ) + ℑ2 ( z ) = z , z + z =2ℜ ( z ) , z − z = 2iℑ ( z ) , z + w =z + w , z.w = z.w 1.1.2 Một số kiến thức độ đo Độ đo Lebesgue Cho tập X ≠ ∅ , họ F tập X gọi σ -đại số X thỏa mãn điều kiện sau: i X ∈F , A ∈ F X \ A ∈F ii Hợp đếm tập thuộc F tập thuộc F Khi đó, (X , F) gọi không gian đo được, tập A∈ F gọi tập đo F F – đo Và xét hàm f : A →  Với a ∈  , ta kí hiệu A [f < a ] = {x ∈ A : f ( x ) < a} Hàm f gọi đo A (đối với F hay F – đo được) A [f < a ] ∈ F , ∀a ∈  Một ánh xạ µ : F → [ 0, ∞ ] gọi độ đo xác định F i) µ ( ∅ ) = ii) µ có tính chất σ − cộng, nghĩa Footer Page of 16 Header Page of 16 ∀ {A n } n ∞  ∞ ⊂ F, ( A n ∩ A m ≠ ∅,n ≠ m ) ⇒ µ   A n  =∑ µ ( A n )  n =1  n =1 Khi đó, ( X, F, µ ) gọi không gian độ đo Độ đo µ gọi độ đo tầm thường (độ đo 0) µ ( A ) = , ∀A ∈ F Nếu X =  , tức σ -đại số F tập  , tập A ∈ F gọi tập đo theo Lebesgue hay tập (L) – đo được, hàm f gọi hàm đo theo Lebesgue hay hàm (L) – đo được, độ đo µ xác định F gọi độ đo Lebesgue Nếu ( X,τ ) không gian tôpô, σ -đại số F sinh họ τ F gọi σ -đại số Borel, tập A ∈ F gọi tập Borel, độ đo µ xác định tập Borel gọi độ đo Borel Độ đo Haar (hay gọi độ đo Radon) Trong giải tích toán học, độ đo Haar độ đo gán “tập bất biến” vào tập nhóm tôpô compact địa phương sau định nghĩa tích phân hàm nhóm tôpô Cho (G,.) nhóm tôpô compact địa phương Hausdorff, F σ -đại số Borel tập tất tập compact G Với g ∈ G , S∈ F , ta định nghĩa tịnh tiến trái tịnh tiến phải tập Borel S sau: • Tịnh tiến trái tập S tập = gS • Tịnh tiến phải tập S tập = Sg {g.s : s ∈ S} {s.g : s ∈ S} Các tập gS , Sg tập Borel Một độ đo µ xác định σ -đại số Borel F gọi bất biến tịnh tiến trái với g ∈ G , S∈ F , ta có µ ( gS) = µ ( S) Bất biến tịnh tiến phải định nghĩa tương tự • Một độ đo µ xác định σ -đại số Borel F gọi quy nếu: i) Độ đo µ hữu hạn tập compact: µ ( K ) < ∞ với K compact ii) Độ đo µ quy tập Borel E: = µ (E) inf {µ ( U ) : E ⊆ U, U mở Borel} iii) Độ đo µ quy tập Borel E: Footer Page of 16 Header Page of 16 = µ (E) sup {µ ( K ) : K ⊆ E, K compact} Lưu ý: Nếu G =  n ii), iii) hệ i)  Định nghĩa độ đo Haar Cho µ độ đo Borel dương, không tầm thường, µ gọi độ đo Haar trái (phải) nếu: i µ quy ii µ bất biến tịnh tiến trái (phải) Độ đo Haar trái thường gọi độ đo Haar Từ định nghĩa, ta có độ đo Haar µ tồn nhất, µ ( U ) > , với U mở Borel Đặc biệt, G compact < µ ( G ) < ∞ Độ đo xác suất Haar không gian đo Borel ( G, F ) , thường kí hiệu  , độ đo Haar thỏa ≤  ( E ) ≤ , ∀E ⊆ G ,  ( G ) = Cho không gian độ đo Borel ( X, F, µ ) với µ độ đo Haar Xét hàm f : G →  liên tục, có giá compact Tích phân f G theo độ đo Haar µ , gọn ∫ g∈G f ( g ) dµ ( g ) hay viết ∫ f ( g ) dg , định nghĩa tổng Riemann G ∫ f ( g ) dg = G N ∑ f ( g )µ ( A ) i i =1 g i ∈ A i , A i ∩ A j = ∅ , i ≠ j i N A i =G i =1 Ta có tính chất: Với c1 ,c ∈  , f1 ,f : G →  + c 2f )( g ) dg = • ∫ (c f • ∫ f ( hg ) dg G 1 G = c1 ∫ f1 ( g ) dg + c ∫ f ( g ) dg ∫ f ( g ) dg G G G với h ∈ G , f : G →  Hàm bình phương khả tích Hàm f : Ω →  bình phương khả tích f hàm đo Lebesgue với độ đo µ thỏa mãn ∫ Ω f dµ < ∞ Footer Page of 16 Header Page 10 of 16 1.1.3 Tích vô hướng Hermit không gian vectơ Giả sử V không gian vectơ trường  Tích , : V × V →  tích vô hướng Hermit không gian vectơ V , thỏa mãn điều kiện sau : i) u1 + u , v = u1 , v + u , v ii) cu, v = c u, v với u, v ∈ V , c ∈  ; với u, v ∈ V ; iii) u, v = v,u iv) với u1 ,u , v ∈ V ; u,u ≥ với u ∈ V ; u,u = ⇔ u = θ (với θ phần tử không V) Từ điều kiện suy v) u, v1 + v = u, v1 + u, v vi) u,cv = c u, v vii) θ ,u = 0= Khi u := với u, v1 , v ∈ V ; với u, v ∈ V , c ∈  ; u,θ với u ∈ V u,u gọi chuẩn liên hợp u Chú ý cu = c u với u ∈ V , c ∈  Mệnh đề sau cần thiết sở lý thuyết Mệnh đề 1.1 u + v= 2 u 2 + v với u, v ∈ V + 2ℜ u, v 2 Thật u+v 2 = u + v,u + v = u,u + u, v + + v, v = u,u + u, v + u, v + v, v = u 2 + v 2 v,u + 2ℜ u, v Hệ 1.1 (qui tắc hình bình hành) u+v 2 ( + u−v = 2 u 2+ v Footer Page 10 of 16 2 ) với u, v ∈ V Header Page 48 of 16 Yi = Yi ≤ Ta có Chọn c = σ 1,k − ( ℜ (φk ( Zi ) − β k ) ) N σ 1,k =b N b , (  E  σ 1,k − ℜ (φk ( Zi ) − β k ) ∑ N =i =i  ( vk = E ( Yi2 ) ∑= =  E σ 1,k − ℜ (φk ( Zi ) − β k ) N  N K ( ( N )) ∑ ( Y − E ( Y= = S i =1 i i ) )  2  ) )  , 2  σ 1,k − sN Một lần nữa, áp dụng bất đẳng thức Bernstein , ∀u > , ta có ( − s N ≥ 2v k u + cu  σ 1,k ) ≤ e− u Mặt khác, (  E ℜ (φ ( Z ) − β )  − σ ) (  N  4 σ 1,k + E ℜ (φk ( Zi ) − β k )  − 2σ 1,k E ℜ (φk ( Zi ) − β k )      N vk = = ≤ k σ 1,k ( ℜ (φ ) N k i 1,k k + ℜ ( βk ) ∞ ) 2 4σ 1,k ≤ ℜ (φk ) ∞ N Với u > , đặt S ( u ) = 2σ 1,k ℜ (φk ) u σ 1,k u , ta có + N 3N ∞ S( u ) ≥ 2v k u + cu Và ta ( 2  (σ 1,k − s N ≥ S ( u ) ) ≤  σ 1,k − s N ≥ 2v k u + cu hay 46 Footer Page 48 of 16 ) ≤ −u e, ) Header Page 49 of 16  (σ 1,k ≥ s N + S ( u ) ) ≤ e− u (3.15) Số hạng u N thống kê suy thoái U thỏa mãn với u >  ( u N ≥ U ( u ) ) ≤ 6e − u , (3.16) với 2  32    Au +  +  Bu +  2D + F  u + 2Cu 3    U(u) = A, B, C, D F số không phụ thuộc vào u thỏa mãn A ≤ ℜ (φk ) ∞ , B ≤ N − ℜ (φk ) ∞ , C ≤ N ( N − 1) σ 1,k , D ≤ N ( N − 1) σ 1,k F ≤ 2 ℜ (φk ) ∞ ( N − 1) log ( 2N ) Do đó, ta có U(u) 2 16 4  2 ≤ ℜ (φk ) ∞ u +  +  N − ℜ (φk ) ∞ u 3   2 +  N ( N − 1)σ 1,k + ℜ (φk )  ∞  ( N − 1) log ( 2N )  u  + N ( N − 1)σ u , 1,k nên 32 ℜ (φk ) ∞ 2U ( u )  ℜ (φk ) ∞ 32  u + 16 +  u ≤ N ( N − 1) 3N ( N − 1)  N N −1  2  2σ ℜ (φk ) ∞ log ( 2N )  1,k u + +  +  N ( N − 1)  N N −1   47 Footer Page 49 of 16 4σ 1,k N ( N − 1) u Header Page 50 of 16 Lấy u > cho u = o( N) , log ( 2N ) ≤ (3.17) 2u (3.18) Từ ta có ℜ (φk ) ∞ 32 ℜ (φk ) ∞ 2U ( u ) 2u + u σ 1,k ≤ u + 16 + u2 + N ( N − 1) 3N ( N − 1) N N −1 N ( N − 1) Với ε1 = 2u + u N ( N − 1) ( ) , ta có ℜ (φk ) ∞ 32 ℜ (φk ) ∞ 2U ( u ) ≤ u + 16 + u + ε1σ 1,k N ( N − 1) 3N ( N − 1) N N −1 Chọn N đủ lớn cho ( ) 32 u ≤ N − , ta có ℜ (φk ) ∞ ℜ (φk ) ∞ 2U ( u ) 2 ≤ u + 16 + u + ε1σ 1,k N ( N − 1) N N −1 N N −1 ( ≤ 16 + ℜ (φk ) )N ∞ N −1 u ≤ C1 ℜ (φk ) ∞   N ) ( u 2 + ε1σ 1,k + ε1σ 1,k (3.19) với = C1 16 + Sử dụng bất đẳng thức (3.15), (3.16), ta  2U ( u )    σ 1,k ≥ σˆ1,k + S( u ) +  N ( N − 1)   =  2U ( u )  2u N   σ 1,k ≥ sN − + S( u ) +  N ( N − 1) N ( N − 1)   =   2U ( u ) 2u N ,u N < U ( u )    σ 1,k ≥ sN − + S( u ) + N ( N − 1) N ( N − 1)   48 Footer Page 50 of 16 Header Page 51 of 16   2U ( u ) 2u N +   σ 1,k ≥ sN − + S( u ) + ,u N ≥ U ( u )  N ( N − 1) N ( N − 1)   ≤  (σ 1,k ≥ s N + S( u )) +  ( u N ≥ U ( u )) ≤ 7e − u (3.20) Sử dụng (3.19), với < ε < , chọn N đủ lớn thỏa (3.19), ta có + σˆ1,k ( Su ) =σˆ 1,k + 2U ( u ) N ( N − 1) + 2σ 1,k ℜ (φk ) ≤ σˆ1,k + 2σ 1,k ℜ (φk ) ∞ ∞ σ 1,k u 2U ( u ) u + + N 3N N ( N − 1) σ 1,k u u + + ε1σ 1,k + N 3N Cℜ (φk )  u 2  ∞ N ≤ σˆ1,k + 2σ 1,k ℜ (φk ) với ε = ε1 + ∞ u + ε 2σ 1,k + N Cℜ (φk )  u 2  ∞ N u 3N Do đó,  2   (1 − ε )σ 1,k ≥ σˆ1,k + 2σ 1,k ℜ (φk )   ∞   u 2 u + C1 ℜ (φk ) ∞    ≤ 7e − u N N   Đặt a = − ε ( < a < 1) ,= b ℜ (φk ) ∞  u 2 u + C1 ℜ (φk ) ∞   , c = σˆ1,k N N  ( aσ 1,k − 2bσ 1,k − c ≥ ) ≤ 7e − u Xét đa thức P ( x ) = ax − 2bx − c với nghiệm x1,2 b ± b + ac , ta có = a 49 Footer Page 51 of 16 Header Page 52 of 16 P (σ 1,k ) ≥ ⇔ σ 1,k ≥ ⇔ σ 1,k b + b + ac a c 2b 2b b + ac ≥ + + a a a2 Suy  c 2b 2b b + ac    σ 1,k ≥ + +  ≤ 7e − u ,   a a a    c 4b 2b c  −u   σ 1,k ≥ + +  ≤ 7e a a a a   nên ( (  σ 1,k ≥ (1 + ε ) c + 4b + 2b c hay )) ≤ 7e − u với < ε < Do đó, với < ε < , N đủ lớn, ta có 3     u 2 u  u 2   u   σˆ1,k + C1 ℜ (φk ) ∞     ≤ 7e− u   σ 1,k ≥ (1 + ε )  σˆ1,k + C1 ℜ (φk ) ∞   + ℜ (φk ) ∞ + 2 ℜ (φk ) ∞ N N N  N        Cuối ta chọn < ε < , N đủ lớn để   2 ≥ (1 + ε )  σˆ1,k + ℜ (φk )   σ 1,k     ∞ u + ℜ (φk ) N ∞ 2σˆ1,k u    ≤ 7e − u N   Chọn u = γ log K , với giả thiết Định lý 1, điều kiện (3.17), (3.18) thỏa mãn, từ bất đẳng thức ta 2 ≥ (1 + ε )σ1,k  (σ 1,k ) ≤ 7K −γ Bây ta sử dụng (3.13), chọn N đủ lớn, ta có ( ( )  ℜ β k − βˆk ≥ η1,k = )   2σ1,k γ log K ℜ (φk ) ∞ γ log K 2 ˆ  +   ℜ βk − βk ≥ ,σ 1,k < (1 + ε )σ1,k   N 3N   ( )   2σ1,k γ log K ℜ (φk ) ∞ γ log K 2 ˆ  +  ℜ βk − βk ≥ + ,σ 1,k ≥ (1 + ε )σ1,k    N 3N   ( ) 50 Footer Page 52 of 16 Header Page 53 of 16 −1 −1  log K  φ γ ε ℜ + ( ) ( ) log K σ γ ε + ( ) k 1,k ∞ ˆ  ≤   ℜ βk − βk ≥ +   N 3N   ( ) 2 +  (σ 1,k ≥ (1 + ε )σ1,k ) ≤ 2K − γ (1+ε ) −1 + 7K −γ ≤ C1 ( ε , δ , γ ) K − γ (1+ε ) −1 Vậy với ε > , ta có ( ( ) ) ) ) ≤ C (ε ,δ , γ ) K  ℜ β k − βˆk ≥ η1,k ≤ C1 ( ε , δ , γ ) K − γ (1+ε ) −1 Lập luận tương tự, ta ( (  ℑ β − βˆ ≥ η2,k  ( ΩC ) ≤ C1 ( ε , δ , γ ) K Hay − γ (1+ε ) −1 với C1 ( ε , δ , γ ) số phụ thuộc vào ε , δ γ 1−γ (1+ε ) −1  Giới hạn xác suất Định lý 3.1 thiết lập với điều kiện γ > Điều cho thấy điều kiện chỉnh hóa tham số lý thuyết chứng minh trước không phù hợp thực tế Ví dụ, phương pháp ngưỡng, người ta thường hướng đến tham số nhỏ Trong phần lấy γ = 1.01 , giá trị nhỏ mà lý thuyết, phương pháp Lasso định chuẩn đầy đủ, cho phép 3.2.1.2 Các tính chất minimax oracle thỏa mãn ước lượng Lasso Trong phần này, thiết lập bất đẳng thức oracle dựa giả thiết cổ điển phù hợp với hàm tổng quát Trước hết, ta định nghĩa giá trị riêng ma trận Gram hạn chế tối thiểu Cho ≤  ≤ K , đặt ξ (  ) = min J ≤ λ∈ λJ ≠ K Vì ϕ k f λJ λJ 2 (3.21) 2 1,K nên ta có ξ (  ) ∈ [ 0,1] , ∀ = 1,K Nếu hệ {ϕk }k =1,K hệ = , ∀k = trực chuẩn ξ (  ) = , ∀ = 1,K Ngược lại, có hai hàm tỉ lệ với (tức hệ 51 Footer Page 53 of 16 Header Page 54 of 16 {ϕk } phụ thuộc) ξ (  ) = , ∀ =2,K Do đó, giả sử ξ (  ) gần 1, nghĩa tập cột ma trận Gram G với số phần tử nhỏ  xem hệ trực chuẩn Ta xem xét phép thu hẹp sau Với ≤ ,  ' ≤ K , ta đặt θ  , ' = m ax m ax J ≤ λ ,λ '∈ K J ' ≤ ' λJ ≠ ∅ λJ′′ ≠ J ∩ J '= f λJ ,f λJ′′ λJ 2 (3.22) λJ′′ 2 Giá trị θ  , ' nhỏ có nghĩa hai tập hợp cột ma trận G rời với số phần tử bé ,  ' mở rộng hai không gian trực giao Giả thiết Cho s ∈ , ≤ s ≤ K c0 ∈  + , ta có ξ ( 2s ) > c0 θs,2s (3.23) Bất đẳng thức oracle chọn Dantzig thiết lập dựa Giả thiết ứng với c0 = mô hình tuyến tính tham số tác giả Candès Tao [3] Ngoài ta xem xét hồi quy phi tham số ước lượng Lasso giá trị c0 lớn tác giả Bickel, Ritov Tsybakov [2] Định lý 3.2 Giả sử giả thuyết 3.1 với s ∈  + , c0 = Trên Ω , tập tùy ý nói Định lý 3.1, với α > , λ thỏa ràng buộc Lasso (3.4), ta có   ˆf L − f ≤ inf inf  fλ − f λ∈CK J ⊂{1, ,K} λˆ ≤ λ  J =s  1   µs  λJ α + 1 +  κs  s  C 1 1  + 16s  +  η  α κs    ∞    (3.24) với η = η1,k + iη2,k k µs = θs,2s ξ ( 2s ) , η ∞ = max ηk k∈{1, ,K} ξ ( 2s ) − , = κs θs,2s ξ ( 2s ) Chúng ta đưa diễn giải vế phải bất đẳng thức (3.24) Giá trị cận phụ thuộc vào ba số hạng Hai số hạng đầu dễ dàng lấy xấp xỉ phương pháp 52 Footer Page 54 of 16 Header Page 55 of 16 dựa việc cực tiểu hóa chuẩn 1  , số hạng thứ xem ẩn số Liên quan đến ẩn số η ∞ , kết liên kết chặt chẽ với số tính chất gần thu Dalalyan Salmon [4] (xem báo cáo kỹ thuật họ, định lý 1, ghi 4, phần dành cho toán ngược không chỉnh trọng nhóm) Cụ thể, báo nói mô hình hồi quy phi tham số với nhiễu âm Gauxơ có phương sai độ lệch thay đổi, mô tả toán ngược không chỉnh tính chất tương tự cho số hạng η ∞ Chứng minh: Để chứng minh định lý này, ta cần quan tâm đến hai bổ đề sau Bổ đề 3.1 Cho J ⊂ {1, ,K} , với J = s , ∆ ∈  K Khi đó, f∆ ξ ( 2s ) ∆ J ≥ 2 µs − ∆ Jc s (3.25) 1 với ξ ( 2 ) , θs,2s định nghĩa (3.21), (3.22) µs = θs,2s ξ ( 2s ) Chứng minh: Gọi J1 ⊂ {1, ,K} tập số ứng với tọa độ ∆ tập J J1 = s Đặt J 01= J ∪ J1 , ta có J 01 = 2s ; PJ01 phép chiếu lên không gian tuyến tính sinh (ϕk )k∈J , tức 01 2s ∑ ∆ (f ) PJ01 ( f= ) k =1 k ϕk Ngoài ra, với k > , ta ký hiệu J k tập số tương ứng với tọa độ ∆ tập J , ( k − 1) × s + < J k < k × s Điều với trường hợp k = Ta có PJ01 ( f ∆ ) ( ) ≥ PJ01 f ∆J 01 53 Footer Page 55 of 16 − ∑P k ≥2 J 01 (f ) ∆ Jk Header Page 56 of 16 ≥ f ∆J ∑P − 01 J 01 k ≥2 (f ) ∆ Jk (3.26) Từ định nghĩa ξ J 01 = 2s , ta có f ∆J ( )=f Chú ý PJ01 f ∆J k ≥ 01 ξ ( 2s ) ∆ J 01 2 (3.27) , với ∆ ' ∈  K Do đó, ∆ 'J01 ( )−f PJ01 f ∆J k ( ) ,PJ01 f ∆J ∆ Jk = 0, k nên ( ) = PJ01 f ∆J k ( ) = f ∆J ,PJ01 f ∆J k f ∆J ,f ∆ 'J k k 01 Từ định nghĩa θs,2s J k = s , J 01 = 2s , ta có f ∆J ,f ∆ 'J k 01 ≤ θs,2s ∆ J k 2 ∆ 'J01 2 ≤ θs,2s ∆ J k 2 ∆ 'J01 2 , nên ( ) PJ01 f ∆J k 2 ≤ θs,2s ∆ J k ≤ f ∆ 'J 01 ξ ( 2s ) 2 θs,2s ∆ Jk ξ ( 2s ) 2 ( (3.27) ) ( ) PJ01 f ∆J k Vì thế, ( ) PJ01 f ∆J Hơn nữa, ta có ∆ J k +1 2 ∆ Jk ≤ k 1 s ( ) PJ01 f ∆J hay ∑P k ≥2 J 01 k (f ) ∆ Jk ≤ θs,2s 2 nên ≤ µs ≤ µs 2 s s ∆ J k −1 ∆ Jc 54 Footer Page 56 of 16 ∆ J k = µs ∆ J k ξ ( 2s ) 1 1 , 2 Header Page 57 of 16 Thay vào (3.26) ta PJ01 ( f ∆ ) f∆ hay 2 ξ ( 2s ) ∆ J ≥ ≥ ξ ( 2s ) ∆ J 01 01 2 2 µs − s µs − s ∆ Jc ∆ Jc 1 1 ,  Bổ đề 3.2 Cho λ ∈  K , J ⊂ {1, ,K} cho J = s Đặt ∆= λ − λˆ với λˆ := λˆ L Khi ∆ J ≤ 1 f∆ κs  µs  1 +  1 κs   + λJc (3.28) ξ ( 2s ) − µs 3.1 κ s µs Bổ đề= Chứng minh: Ta có λˆ ∆−λ hay ∆ J − λJ ⇒ ⇒ λJ 1 − ∆J 1 1 1 − λJc 1 − ∆J 1 ∆ Jc 1 + ∆ Jc 1 ∆ Jc 1 ⇒ ⇒ ≤ λ ≤ λ 1 + ∆ Jc − λJc 1 1 1 ≤ λJ 1 + λJc 1 ≤ λJ 1 + λJc 1 ≤ λJc 1 ≤ ∆J + λJc 1 1 (3.29) Áp dụng Bổ đề 3.1 với J = J , ta f∆ ≥ ≥ Hơn nữa, ta có ∆ J 1 ≤ ξ ( 2s ) ∆ J 2 ξ ( 2s ) ∆ J 2 J ∆J 2 − J − nên 55 Footer Page 57 of 16 µs µs J ∆ Jc (∆ 1 J 1 + λJc 1 ) Header Page 58 of 16 f∆ ξ ( 2s ) ∆ J ≥ ≥ ( ) ∆J Cộng ∆ J 1 J ξ ( 2s ) − µs ∆ J ≥ κs ∆J Từ đó, 2 µs − 2 ≤ 2 µs − λJ J κs f∆ c + ( 2 J ∆J − µs 2 λJ J + λJc c 1 ) 1 1 µs κs J λJ c 1 vào hai vế (3.29) ta có ∆ 1 ≤ ∆J 1 + λJc 1 ≤ J ∆J 2 + λJc 1 ≤ J ∆J 2 + λJc 1 1 µs ≤ J f∆ + λJc  κs κs J  ≤ J κs f∆ + λJc   + λJc 1   1  µs  1 +   1 κs   Bây ta chứng minh định lý Ta có fλ − f 2 ( = ∫ (f ( x ) − f ( x ))(f ) ( x ) − f ( x ) ) dx = ∫ ( fλ ( x ) − f ( x ) ) fλ ( x ) − f ( x ) dx λ = f λ − f λˆ = 2 + f − f λˆ 2 ( hay 56 Footer Page 58 of 16 ) + 2ℜ  ∫ ( f λ ( x ) − f λˆ ( x ) ) f λ ( x ) − f ( x ) dx     K  K   + 2ℜ  ∫ ∑ ∆ kϕk ( x ) ×  ∑ λˆk 'ϕk ' ( x ) − f ( x )  dx  , =  k'    k 1= f ∆ + f − f λˆ λ Header Page 59 of 16  K  K ˆ   f λ − f − f ∆ − 2ℜ  ∫ ∑ ∆ kϕk ( x ) ×  ∑ λk 'ϕk ' ( x ) − f ( x )  dx  =  k'    k 1= f − f λˆ = 2 Do đó, áp dụng Mệnh đề 3.2, Ω , ta có f − f λˆ Vì η k = 2 fλ − f = ≤ fλ − f − f∆ 2 2 k∈{1, ,K} f − f λˆ 2 − fλ − f ∞ ∆J 2 ) ( − f∆ 2 + η1,k ≤ max ηk = η η1,k f − f λˆ hay K  − 2ℜ  ∑ ∆ k (G λˆ ) k − βˆk + βˆk − β k   k =1  K + 2∑ ∆ k ( η k ) k =1 K ∞ ∑∆ k =1 ≤ fλ − f ≤ 4η ∆ ∞ k =∆ − f∆ + 4η 2 − f∆ 1 nên 1 2 ∆, ∞ (3.30) Từ (3.28), ta có 4η 4η ∞ ∆J 1 1 − f∆ 2 ≤ J ≤ 16 J ≤ 16 J ≤ 16 J ≤ 16 J κs κ s2 κ s η η η ∞ ∞ ∞ f∆ + λJc + f∆ ∞  µs  1 + η 1 κs   + λJc + λJc  µs  1 + η 1 κ s    µs  1 + η 1 κ s   ∞ ∞ Với α > bất kì, ta có 4η ∞ ∆J 1 − f∆ 2 κ s κ s2 η η ∞ ∞ + + 16 α J Từ (3.30) (3.31) suy 57 J η α  1 ≤ 16 J  +  η  κs α  Footer Page 59 of 16 α J ∞ ∞ λJ c  µs  1 + η 1 κ s   ∞  2µ  + λJc  1 + s  κs  J  + α α λJ 2 2 µs  1  1 +  (3.31) J  κs  c Header Page 60 of 16 f − f λˆ − fλ − f  1 ≤ 16 J  +  η  κs α  2 ∞ + α λJ c 1 J  µs  1 +  κs   hay f − f λˆ Vì fˆ L − f 2 2  1 ≤ f λ − f + 16 J  +  η  κs α  ≤ f λˆ − f 2 2 ∞ + α λJ c J 1  µs  1 +  κ s   nên ta (3.24)  Các lý thuyết tạo sở cho thuật toán cực tiểu hóa ước lượng Lasso sau 3.2.2 Thuật toán cực tiểu hóa ước lượng Lasso Quy trình phương pháp Lasso tóm tắt qua bước sau: Tính βˆk , ∀k = 1, ,K (ước lượng không chệch β k ) 2 2 , σˆ 2,k , σ1,k σ 2,k (đã định nghĩa (3.6), (3.7), (3.8) (3.9)) Tính σˆ1,k Tính η1,k η 2,k (đã định nghĩa (3.10) (3.11)) với γ = 1.01 Tính hệ số λˆ L phương pháp cực tiểu hóa Lasso (được định nghĩa (3.3)) Chọn giá Jˆ L ước lượng λˆ L , với Jˆ L tập hàm ϒ mà hàm mật độ f bị thu hẹp ( λˆ ) L' Jˆ L ( ) = G −Jˆ L1 βˆk Jˆ L G Jˆ L ma trận ma trận Gram G tương ứng với tập Jˆ L Các giá trị λˆ L ' bên tập Jˆ L ( ) ′ Tính ước lượng cuối fˆ L = ℜ f λˆ L′  K ˆ L′  = ℜ  ∑ λk ϕk   k =1  Ma trận Gram tính toán trước, tích vô hướng hàm hàm tính nhờ công thức phép cầu phương hình cầu xem [8] Bước bước làm bình phương sai số bé đề cập Candès Tao [3], làm giảm độ chênh lệch giới thiệu phương pháp Lasso 58 Footer Page 60 of 16 Header Page 61 of 16 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn giới thiệu mô hình tổng quát toán nhân chập  toán nhân chập cầu  thống kê phi tham số, đồng thời đưa phương pháp ước lượng cụ thể để giải toán Luận văn trình bày sở lý thuyết cho phương pháp Tuy nhiên, hạn chế nhiều mặt nên luận văn tập trung vào phương pháp lý thuyết, chưa trình bày kĩ thuật tính toán để thấy tính ưu phương pháp Nếu tiếp tục tạo điều kiện nghiên cứu, phát triển đề tài mặt thực hành nhiều hơn, lập trình (trên máy vi tính) phương pháp giải chập, nghiên cứu ứng dụng (lọc ảnh, xử lý tín hiệu,….) 59 Footer Page 61 of 16 Header Page 62 of 16 TÀI LIỆU THAM KHẢO Alexander Meister (2009), Deconvolution Problems in Nonparametric Statistics, Springer, Berlin Bickel P., Ritov Y., Tsybakov A (2009), “Simultaneous analysis of Lasso and Dantzig”, Annal of Statistics 37(4), pp.1705-1732 Candès E J., Tao T (2007), “The Dantzig selector : statistical estimation when p is much larger than n”, Annal of Statistics 35(6), pp.2313-2351 Dalayan A., Salmon J (2011), “Sharp Oracle Inequalities for Aggregation of Afine Estimators”, Preprint Healy D M., Hendriks H., Kim P T (1998), “Spherical Deconvolution”, Journal of Multivariate Analysis 67, pp.1-22 Kerkyacharian G., Pham Ngoc T M., Picard D (2011), “Localized spherical deconvolution”, Annal of Statistics 39(2), pp.1042-1068 Massart P (2007), Concentration inequalities and model selection, Springer, Berlin, pp.24-26 Narcowich F J., Petrushev P., Ward J (2006), “Localized tight frames on spheres”, SIAM J Math Anal 38(2), pp.574-594 Pensky M., Vidakovic (1999), “Adaptive wavelet estimator for nonparametric density deconvolution”, Annals of Statistics 27, pp.2033-2053 10 Peter T Kim, Ja-Yong Koo (2002), “Optimal Spherical Deconvolution”, Journal of Multivariate Analysis 80, pp.21-42 11 Phạm Ngọc Thanh Mai, Vincent Rivoirard (2013), “The dictionary approach for spherical deconvolution”, Journal of Multivariate Analysis 115, pp.138-156 60 Footer Page 62 of 16 ... PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ Chuyên ngành: Toán Giải tích Mã số: 60460102 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS ĐẶNG... pháp giải toán Ở đây, ta đưa phương pháp phổ biến để giải toán thống kê phi tham số Đó phương pháp dựa hàm wavelet (được định nghĩa phần tiếp theo), cụ thể sử dụng tính trực giao chúng 2.2 Giải toán. .. ∉ A χA ( x ) =  Footer Page of 16 Header Page of 16 LỜI MỞ ĐẦU Bài toán tích chập xảy nhiều lĩnh vực thống kê phi tham số Bài toán thường gặp ước lượng hàm mật độ biến ngẫu nhiên X dựa liệu