bài toán giải chập trong thống kê phi tham số

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ LUẬN VĂN THẠC SĨ TOÁN HỌC Thành phố Hồ Chí Minh - 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ Chuyên ngành: Toán Giải tích Mã số: 60460102 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS ĐẶNG ĐỨC TRỌNG Thành phố Hồ Chí Minh - 2013 LỜI CẢM ƠN Để thực tốt luận văn này, cố gắng nổ lực thân, nhận quan tâm, giúp đỡ từ thầy cô, bạn bè gia đình Nhân đây, xin gởi lời cảm ơn Trước hết, xin chân thành cảm ơn Quý thầy cô Khoa Toán – Tin trường Đại học Sư phạm Thành Phố Hồ Chí Minh truyền thụ kiến thức bổ ích, làm tảng cho trình nghiên cứu luận văn Và hết, xin gởi lời tri ân sâu sắc đến GS TS Đặng Đức Trọng, người tận tình hướng dẫn, dạy bảo phương pháp nghiên cứu khoa học, tạo điều kiện để hoàn thành luận văn Tôi xin gởi lời cảm ơn chân thành đến Quý thầy cô hội đồng chấm luận văn dành thời gian xem xét, chỉnh sửa đưa nhận xét quý báu để luận văn hoàn thiện Bên cạnh dạy thầy cô, nhận quan tâm gia đình bạn bè Xin chân thành cảm ơn người Thành phố Hồ Chí Minh, tháng năm 2013 Nguyễn Thị Diệu Huyền MỤC LỤC LỜI CẢM ƠN MỤC LỤC CÁC KÝ HIỆU LỜI MỞ ĐẦU CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ 1.1 Một số kiến thức giải tích điều hòa  ,   ( 3) 1.1.1 Các phép toán  1.1.2 Một số kiến thức độ đo 1.1.3 Tích vô hướng Hermit không gian vectơ 1.1.4 Một số chuẩn đặc biệt 1.1.5 Các biến đổi Fourier  10 1.1.6 Các yếu tố giải tích điều hòa  ( 3)  15 1.2 Một số kiến thức xác suất thống kê 18 1.2.1 Khái niệm hàm phân phối, hàm mật độ 18 1.2.2 Các giá trị đặc trưng biến ngẫu nhiên X 19 CHƯƠNG 2: GIẢI CHẬP TRÊN  BẰNG PHƯƠNG PHÁP DỰA TRÊN CÁC HÀM WAVELET 23 2.1 Giới thiệu toán nhân chập 2.2 Giải toán nhân chập   23 phương pháp dựa hàm wavelet 24 2.2.1 Cơ sở lý thuyết 24 2.2.2 Thuật toán giải chập dựa wavelet 34 CHƯƠNG 3: GIẢI CHẬP CẦU BẰNG PHƯƠNG PHÁP TIẾP CẬN BỘ HÀM 35 3.1 Giới thiệu toán nhân chập cầu 35 3.2 Giải toán chập cầu phương pháp tiếp cận hàm 36 3.2.1 Cơ sở lý thuyết 36 3.2.2 Thuật toán cực tiểu hóa ước lượng Lasso 58 KẾT LUẬN VÀ KIẾN NGHỊ 59 TÀI LIỆU THAM KHẢO 60 CÁC KÝ HIỆU = [ −∞; +∞ ]  = ( −∞; +∞ ) ,  { }  n = x =( x j ) | x j ∈ ,i =1,n j = −1} {a + bi | a,b ∈ , i2 = { {( x ) ∈  | x }  n = x =( x j ) | x j ∈ , j =1,n j = j j {  m×n = X =( x jk )  ( 3= ) {X ∈  m×n 3×3 } + x 22 + x= : mặt cầu đơn vị  } | x jk ∈ , j =1,m, k =1,n : không gian ma trận thực cấp m × n : X ma trận trực giao } : nhóm quay    p  p ( Ω= )  f : Ω →  : ∫ f dµ < ∞    Ω χ A : hàm đặc trưng tập A thỏa 1 , x ∈ A 0 , x ∉ A χA ( x ) =  LỜI MỞ ĐẦU Bài toán tích chập xảy nhiều lĩnh vực thống kê phi tham số Bài toán thường gặp ước lượng hàm mật độ biến ngẫu nhiên X dựa liệu bị nhiễu Y= X + ε ε biến ngẫu nhiên chưa biết hàm mật độ xem biết Trong hai thập kỷ gần đây, toán quan tâm ngày nhiều hơn, việc mở rộng toán tích chập  thành toán tích chập cầu  đồng nghĩa với việc mở rộng ứng dụng nhiều lĩnh vực, kinh tế, y học, kỹ thuật,… Đặc trưng toán tích chập tìm kết cách xác mà dạng “gần đúng” Do đó, có không nhà toán học đưa phương pháp giải toán kết không dừng lại đó, có phương pháp khác cho kết “tốt hơn” Vì vậy, chọn đề tài làm nội dung nghiên cứu luận văn nhằm học tập phương pháp nghiên cứu phát triển đề tài theo hướng nhà khoa học nước Nội dung luận văn gồm ba chương Cụ thể sau: Chương 1: Trong phần này, đưa kiến thức bản, đặc biệt lý thuyết giải tích Fourier  ,   ( 3) , nhằm cung cấp cho việc giải toán chương Chương 2: Trong phần này, dựa chủ yếu vào sách [1], trình bày lại phương pháp xây dựng ước lượng hàm mật độ f toán giải chập  dựa hàm wavelet đánh giá ước lượng thông qua đánh giá MISE (được định nghĩa (2.10)) Chương 3: Dựa chủ yếu vào báo [11], trình bày lại cách xây dựng ước lượng Lasso hàm mật độ f toán giải chập cầu, cực tiểu hóa ước lượng cách thiết lập bất đẳng thức oracle với giả thiết cổ điển dựa hàm tổng quát CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ 1.1 Một số kiến thức giải tích điều hòa  ,   ( 3) 1.1.1 Các phép toán  Giả sử z ∈  , z =ℜ ( z ) + iℑ ( z ) =( ℜ ( z ) , ℑ ( z ) ) ∈  , với ℜ ( z ) , ℑ ( z ) phần thực, phần ảo z, nên xem  =  Ta kí hiệu z =ℜ ( z ) − iℑ ( z ) số phức liên hợp z, z= ℜ2 ( z ) + ℑ2 ( z ) môđun z Các phép toán  : z = z , z.z = ℜ2 ( z ) + ℑ2 ( z ) = z , z + z =2ℜ ( z ) , z − z = 2iℑ ( z ) , z + w =z + w , z.w = z.w 1.1.2 Một số kiến thức độ đo Độ đo Lebesgue Cho tập X ≠ ∅ , họ F tập X gọi σ -đại số X thỏa mãn điều kiện sau: i X ∈F , A ∈ F X \ A ∈F ii Hợp đếm tập thuộc F tập thuộc F Khi đó, (X , F) gọi không gian đo được, tập A∈ F gọi tập đo F F – đo Và xét hàm f : A →  Với a ∈  , ta kí hiệu A [f < a ] = {x ∈ A : f ( x ) < a} Hàm f gọi đo A (đối với F hay F – đo được) A [f < a ] ∈ F , ∀a ∈  Một ánh xạ µ : F → [ 0, ∞ ] gọi độ đo xác định F i) µ ( ∅ ) = ii) µ có tính chất σ − cộng, nghĩa ∀ {A n } n ∞  ∞ ⊂ F, ( A n ∩ A m ≠ ∅,n ≠ m ) ⇒ µ   A n  =∑ µ ( A n )  n =1  n =1 Khi đó, ( X, F, µ ) gọi không gian độ đo Độ đo µ gọi độ đo tầm thường (độ đo 0) µ ( A ) = , ∀A ∈ F Nếu X =  , tức σ -đại số F tập  , tập A ∈ F gọi tập đo theo Lebesgue hay tập (L) – đo được, hàm f gọi hàm đo theo Lebesgue hay hàm (L) – đo được, độ đo µ xác định F gọi độ đo Lebesgue Nếu ( X,τ ) không gian tôpô, σ -đại số F sinh họ τ F gọi σ -đại số Borel, tập A ∈ F gọi tập Borel, độ đo µ xác định tập Borel gọi độ đo Borel Độ đo Haar (hay gọi độ đo Radon) Trong giải tích toán học, độ đo Haar độ đo gán “tập bất biến” vào tập nhóm tôpô compact địa phương sau định nghĩa tích phân hàm nhóm tôpô Cho (G,.) nhóm tôpô compact địa phương Hausdorff, F σ -đại số Borel tập tất tập compact G Với g ∈ G , S∈ F , ta định nghĩa tịnh tiến trái tịnh tiến phải tập Borel S sau: • Tịnh tiến trái tập S tập = gS • Tịnh tiến phải tập S tập = Sg {g.s : s ∈ S} {s.g : s ∈ S} Các tập gS , Sg tập Borel Một độ đo µ xác định σ -đại số Borel F gọi bất biến tịnh tiến trái với g ∈ G , S∈ F , ta có µ ( gS) = µ ( S) Bất biến tịnh tiến phải định nghĩa tương tự • Một độ đo µ xác định σ -đại số Borel F gọi quy nếu: i) Độ đo µ hữu hạn tập compact: µ ( K ) < ∞ với K compact ii) Độ đo µ quy tập Borel E: = µ (E) inf {µ ( U ) : E ⊆ U, U mở Borel} iii) Độ đo µ quy tập Borel E: = µ (E) sup {µ ( K ) : K ⊆ E, K compact} Lưu ý: Nếu G =  n ii), iii) hệ i)  Định nghĩa độ đo Haar Cho µ độ đo Borel dương, không tầm thường, µ gọi độ đo Haar trái (phải) nếu: i µ quy ii µ bất biến tịnh tiến trái (phải) Độ đo Haar trái thường gọi độ đo Haar Từ định nghĩa, ta có độ đo Haar µ tồn nhất, µ ( U ) > , với U mở Borel Đặc biệt, G compact < µ ( G ) < ∞ Độ đo xác suất Haar không gian đo Borel ( G, F ) , thường kí hiệu  , độ đo Haar thỏa ≤  ( E ) ≤ , ∀E ⊆ G ,  ( G ) = Cho không gian độ đo Borel ( X, F, µ ) với µ độ đo Haar Xét hàm f : G →  liên tục, có giá compact Tích phân f G theo độ đo Haar µ , gọn ∫ g∈G f ( g ) dµ ( g ) hay viết ∫ f ( g ) dg , định nghĩa tổng Riemann G ∫ f ( g ) dg = G N ∑ f ( g )µ ( A ) i i =1 g i ∈ A i , A i ∩ A j = ∅ , i ≠ j i N A i =G i =1 Ta có tính chất: Với c1 ,c ∈  , f1 ,f : G →  + c 2f )( g ) dg = • ∫ (c f • ∫ f ( hg ) dg G G 1 = c1 ∫ f1 ( g ) dg + c ∫ f ( g ) dg ∫ f ( g ) dg G G G với h ∈ G , f : G →  Hàm bình phương khả tích Hàm f : Ω →  bình phương khả tích f hàm đo Lebesgue với độ đo µ thỏa mãn ∫ Ω f dµ < ∞ 1.1.3 Tích vô hướng Hermit không gian vectơ Giả sử V không gian vectơ trường  Tích , : V × V →  tích vô hướng Hermit không gian vectơ V , thỏa mãn điều kiện sau : i) u1 + u , v = u1 , v + u , v ii) cu, v = c u, v với u, v ∈ V , c ∈  ; với u, v ∈ V ; iii) u, v = v,u iv) với u1 ,u , v ∈ V ; u,u ≥ với u ∈ V ; u,u = ⇔ u = θ (với θ phần tử không V) Từ điều kiện suy v) u, v1 + v = u, v1 + u, v vi) u,cv = c u, v vii) θ ,u = 0= Khi u := với u, v1 , v ∈ V ; với u, v ∈ V , c ∈  ; u,θ với u ∈ V u,u gọi chuẩn liên hợp u Chú ý cu = c u với u ∈ V , c ∈  Mệnh đề sau cần thiết sở lý thuyết Mệnh đề 1.1 u + v= 2 u 2 + v với u, v ∈ V + 2ℜ u, v 2 Thật u+v 2 = u + v,u + v = u,u + u, v + + v, v = u,u + u, v + u, v + v, v = u 2 + v 2 v,u + 2ℜ u, v Hệ 1.1 (qui tắc hình bình hành) u+v 2 ( + u−v = 2 u 2+ v 2 ) với u, v ∈ V Yi = Yi ≤ Ta có Chọn c = σ 1,k − ( ℜ (φk ( Zi ) − β k ) ) N σ 1,k =b N b , (  E  σ 1,k − ℜ (φk ( Zi ) − β k ) ∑ N =i =i  ( vk = E ( Yi2 ) ∑= =  E σ 1,k − ℜ (φk ( Zi ) − β k ) N  N K ( ( N )) ∑ ( Y − E ( Y= = S i =1 i i ) )  2  ) )  , 2  σ 1,k − sN Một lần nữa, áp dụng bất đẳng thức Bernstein , ∀u > , ta có ( − s N ≥ 2v k u + cu  σ 1,k ) ≤ e− u Mặt khác, (  E ℜ (φ ( Z ) − β )  − σ ) (  N  4 σ 1,k + E ℜ (φk ( Zi ) − β k )  − 2σ 1,k E ℜ (φk ( Zi ) − β k )      N vk = = ≤ k σ 1,k ( ℜ (φ ) N k i 1,k k + ℜ ( βk ) ∞ ) 2 4σ 1,k ≤ ℜ (φk ) ∞ N Với u > , đặt S ( u ) = 2σ 1,k ℜ (φk ) u σ 1,k u , ta có + N 3N ∞ S( u ) ≥ 2v k u + cu Và ta ( 2  (σ 1,k − s N ≥ S ( u ) ) ≤  σ 1,k − s N ≥ 2v k u + cu hay 46 ) ≤ −u e, )  (σ 1,k ≥ s N + S ( u ) ) ≤ e− u (3.15) Số hạng u N thống kê suy thoái U thỏa mãn với u >  ( u N ≥ U ( u ) ) ≤ 6e − u , (3.16) với 2  32    Au +  +  Bu +  2D + F  u + 2Cu 3    U(u) = A, B, C, D F số không phụ thuộc vào u thỏa mãn A ≤ ℜ (φk ) ∞ , B ≤ N − ℜ (φk ) ∞ , C ≤ N ( N − 1) σ 1,k , D ≤ N ( N − 1) σ 1,k F ≤ 2 ℜ (φk ) ∞ ( N − 1) log ( 2N ) Do đó, ta có U(u) 2 16 4  2 ≤ ℜ (φk ) ∞ u +  +  N − ℜ (φk ) ∞ u 3   2 +  N ( N − 1)σ 1,k + ℜ (φk )  ∞  ( N − 1) log ( 2N )  u  + N ( N − 1)σ u , 1,k nên 32 ℜ (φk ) ∞ 2U ( u )  ℜ (φk ) ∞ 32  u + 16 +  u ≤ N ( N − 1) 3N ( N − 1)  N N −1  2  2σ ℜ (φk ) ∞ log ( 2N )  1,k u + +  +  N ( N − 1)  N N −1   47 4σ 1,k N ( N − 1) u Lấy u > cho u = o( N) , log ( 2N ) ≤ (3.17) 2u (3.18) Từ ta có ℜ (φk ) ∞ 32 ℜ (φk ) ∞ 2U ( u ) 2u + u σ 1,k ≤ u + 16 + u2 + N ( N − 1) 3N ( N − 1) N N −1 N ( N − 1) Với ε1 = 2u + u N ( N − 1) ( ) , ta có ℜ (φk ) ∞ 32 ℜ (φk ) ∞ 2U ( u ) ≤ u + 16 + u + ε1σ 1,k N ( N − 1) 3N ( N − 1) N N −1 Chọn N đủ lớn cho ( ) 32 u ≤ N − , ta có ℜ (φk ) ∞ ℜ (φk ) ∞ 2U ( u ) 2 ≤ u + 16 + u + ε1σ 1,k N ( N − 1) N N −1 N N −1 ( ≤ 16 + ℜ (φk ) )N ∞ N −1 u ≤ C1 ℜ (φk ) ∞   N ) ( u 2 + ε1σ 1,k + ε1σ 1,k (3.19) với = C1 16 + Sử dụng bất đẳng thức (3.15), (3.16), ta  2U ( u )    σ 1,k ≥ σˆ1,k + S( u ) +  N ( N − 1)   =  2U ( u )  2u N   σ 1,k ≥ sN − + S( u ) +  N ( N − 1) N ( N − 1)   =   2U ( u ) 2u N ,u N < U ( u )    σ 1,k ≥ sN − + S( u ) + N ( N − 1) N ( N − 1)   48   2U ( u ) 2u N +   σ 1,k ≥ sN − + S( u ) + ,u N ≥ U ( u )  N ( N − 1) N ( N − 1)   ≤  (σ 1,k ≥ s N + S( u )) +  ( u N ≥ U ( u )) ≤ 7e − u (3.20) Sử dụng (3.19), với < ε < , chọn N đủ lớn thỏa (3.19), ta có + σˆ1,k ( Su ) =σˆ 1,k + 2U ( u ) N ( N − 1) + 2σ 1,k ℜ (φk ) ≤ σˆ1,k + 2σ 1,k ℜ (φk ) ∞ ∞ σ 1,k u 2U ( u ) u + + N 3N N ( N − 1) σ 1,k u u + + ε1σ 1,k + N 3N Cℜ (φk )  u 2  ∞ N ≤ σˆ1,k + 2σ 1,k ℜ (φk ) với ε = ε1 + ∞ u + ε 2σ 1,k + N Cℜ (φk )  u 2  ∞ N u 3N Do đó,  2   (1 − ε )σ 1,k ≥ σˆ1,k + 2σ 1,k ℜ (φk )   ∞   u 2 u + C1 ℜ (φk ) ∞    ≤ 7e − u N N   Đặt a = − ε ( < a < 1) ,= b ℜ (φk ) ∞  u 2 u + C1 ℜ (φk ) ∞   , c = σˆ1,k N N  ( aσ 1,k − 2bσ 1,k − c ≥ ) ≤ 7e − u Xét đa thức P ( x ) = ax − 2bx − c với nghiệm x1,2 b ± b + ac , ta có = a 49 P (σ 1,k ) ≥ ⇔ σ 1,k ≥ ⇔ σ 1,k b + b + ac a c 2b 2b b + ac ≥ + + a a a2 Suy  c 2b 2b b + ac    σ 1,k ≥ + +  ≤ 7e − u ,   a a a    c 4b 2b c  −u   σ 1,k ≥ + +  ≤ 7e a a a a   nên ( (  σ 1,k ≥ (1 + ε ) c + 4b + 2b c hay )) ≤ 7e − u với < ε < Do đó, với < ε < , N đủ lớn, ta có 3     u 2 u  u 2   u   σˆ1,k + C1 ℜ (φk ) ∞     ≤ 7e− u   σ 1,k ≥ (1 + ε )  σˆ1,k + C1 ℜ (φk ) ∞   + ℜ (φk ) ∞ + 2 ℜ (φk ) ∞ N N N  N        Cuối ta chọn < ε < , N đủ lớn để   2 ≥ (1 + ε )  σˆ1,k + ℜ (φk )   σ 1,k     ∞ u + ℜ (φk ) N ∞ 2σˆ1,k u    ≤ 7e − u N   Chọn u = γ log K , với giả thiết Định lý 1, điều kiện (3.17), (3.18) thỏa mãn, từ bất đẳng thức ta 2 ≥ (1 + ε )σ1,k  (σ 1,k ) ≤ 7K −γ Bây ta sử dụng (3.13), chọn N đủ lớn, ta có ( ( )  ℜ β k − βˆk ≥ η1,k = )   2σ1,k γ log K ℜ (φk ) ∞ γ log K 2 ˆ  +   ℜ βk − βk ≥ ,σ 1,k < (1 + ε )σ1,k   N 3N   ( )   2σ1,k γ log K ℜ (φk ) ∞ γ log K 2 ˆ  +  ℜ βk − βk ≥ + ,σ 1,k ≥ (1 + ε )σ1,k    N 3N   ( ) 50 −1 −1  log K  φ γ ε ℜ + ( ) ( ) log K σ γ ε + ( ) k 1,k ∞ ˆ  ≤   ℜ βk − βk ≥ +   N 3N   ( ) 2 +  (σ 1,k ≥ (1 + ε )σ1,k ) ≤ 2K − γ (1+ε ) −1 + 7K −γ ≤ C1 ( ε , δ , γ ) K − γ (1+ε ) −1 Vậy với ε > , ta có ( ( ) ) ) ) ≤ C (ε ,δ , γ ) K  ℜ β k − βˆk ≥ η1,k ≤ C1 ( ε , δ , γ ) K − γ (1+ε ) −1 Lập luận tương tự, ta ( (  ℑ β − βˆ ≥ η2,k  ( ΩC ) ≤ C1 ( ε , δ , γ ) K Hay − γ (1+ε ) −1 với C1 ( ε , δ , γ ) số phụ thuộc vào ε , δ γ 1−γ (1+ε ) −1  Giới hạn xác suất Định lý 3.1 thiết lập với điều kiện γ > Điều cho thấy điều kiện chỉnh hóa tham số lý thuyết chứng minh trước không phù hợp thực tế Ví dụ, phương pháp ngưỡng, người ta thường hướng đến tham số nhỏ Trong phần lấy γ = 1.01 , giá trị nhỏ mà lý thuyết, phương pháp Lasso định chuẩn đầy đủ, cho phép 3.2.1.2 Các tính chất minimax oracle thỏa mãn ước lượng Lasso Trong phần này, thiết lập bất đẳng thức oracle dựa giả thiết cổ điển phù hợp với hàm tổng quát Trước hết, ta định nghĩa giá trị riêng ma trận Gram hạn chế tối thiểu Cho ≤  ≤ K , đặt ξ (  ) = min J ≤ λ∈ λJ ≠ K Vì ϕ k f λJ λJ 2 (3.21) 2 1,K nên ta có ξ (  ) ∈ [ 0,1] , ∀ = 1,K Nếu hệ {ϕk }k =1,K hệ = , ∀k = trực chuẩn ξ (  ) = , ∀ = 1,K Ngược lại, có hai hàm tỉ lệ với (tức hệ 51 {ϕk } phụ thuộc) ξ (  ) = , ∀ =2,K Do đó, giả sử ξ (  ) gần 1, nghĩa tập cột ma trận Gram G với số phần tử nhỏ  xem hệ trực chuẩn Ta xem xét phép thu hẹp sau Với ≤ ,  ' ≤ K , ta đặt θ  , ' = m ax m ax J ≤ λ ,λ '∈ K J ' ≤ ' λJ ≠ ∅ λJ′′ ≠ J ∩ J '= f λJ ,f λJ′′ λJ 2 (3.22) λJ′′ 2 Giá trị θ  , ' nhỏ có nghĩa hai tập hợp cột ma trận G rời với số phần tử bé ,  ' mở rộng hai không gian trực giao Giả thiết Cho s ∈ , ≤ s ≤ K c0 ∈  + , ta có ξ ( 2s ) > c0 θs,2s (3.23) Bất đẳng thức oracle chọn Dantzig thiết lập dựa Giả thiết ứng với c0 = mô hình tuyến tính tham số tác giả Candès Tao [3] Ngoài ta xem xét hồi quy phi tham số ước lượng Lasso giá trị c0 lớn tác giả Bickel, Ritov Tsybakov [2] Định lý 3.2 Giả sử giả thuyết 3.1 với s ∈  + , c0 = Trên Ω , tập tùy ý nói Định lý 3.1, với α > , λ thỏa ràng buộc Lasso (3.4), ta có   ˆf L − f ≤ inf inf  fλ − f λ∈CK J ⊂{1, ,K} λˆ ≤ λ  J =s  1   µs  λJ α + 1 +  κs  s  C 1 1  + 16s  +  η  α κs    ∞    (3.24) với η = η1,k + iη2,k k µs = θs,2s ξ ( 2s ) , η ∞ = max ηk k∈{1, ,K} ξ ( 2s ) − , = κs θs,2s ξ ( 2s ) Chúng ta đưa diễn giải vế phải bất đẳng thức (3.24) Giá trị cận phụ thuộc vào ba số hạng Hai số hạng đầu dễ dàng lấy xấp xỉ phương pháp 52 dựa việc cực tiểu hóa chuẩn 1  , số hạng thứ xem ẩn số Liên quan đến ẩn số η ∞ , kết liên kết chặt chẽ với số tính chất gần thu Dalalyan Salmon [4] (xem báo cáo kỹ thuật họ, định lý 1, ghi 4, phần dành cho toán ngược không chỉnh trọng nhóm) Cụ thể, báo nói mô hình hồi quy phi tham số với nhiễu âm Gauxơ có phương sai độ lệch thay đổi, mô tả toán ngược không chỉnh tính chất tương tự cho số hạng η ∞ Chứng minh: Để chứng minh định lý này, ta cần quan tâm đến hai bổ đề sau Bổ đề 3.1 Cho J ⊂ {1, ,K} , với J = s , ∆ ∈  K Khi đó, f∆ ξ ( 2s ) ∆ J ≥ 2 µs − ∆ Jc s (3.25) 1 với ξ ( 2 ) , θs,2s định nghĩa (3.21), (3.22) µs = θs,2s ξ ( 2s ) Chứng minh: Gọi J1 ⊂ {1, ,K} tập số ứng với tọa độ ∆ tập J J1 = s Đặt J 01= J ∪ J1 , ta có J 01 = 2s ; PJ01 phép chiếu lên không gian tuyến tính sinh (ϕk )k∈J , tức 01 2s ∑ ∆ (f ) PJ01 ( f= ) k =1 k ϕk Ngoài ra, với k > , ta ký hiệu J k tập số tương ứng với tọa độ ∆ tập J , ( k − 1) × s + < J k < k × s Điều với trường hợp k = Ta có PJ01 ( f ∆ ) ( ) ≥ PJ01 f ∆J 01 53 − ∑P k ≥2 J 01 (f ) ∆ Jk ≥ f ∆J ∑P − 01 J 01 k ≥2 (f ) ∆ Jk (3.26) Từ định nghĩa ξ J 01 = 2s , ta có f ∆J ( )=f Chú ý PJ01 f ∆J k ≥ 01 ξ ( 2s ) ∆ J 01 2 (3.27) , với ∆ ' ∈  K Do đó, ∆ 'J01 ( )−f PJ01 f ∆J k ( ) ,PJ01 f ∆J ∆ Jk = 0, k nên ( ) = PJ01 f ∆J k ( ) = f ∆J ,PJ01 f ∆J k f ∆J ,f ∆ 'J k k 01 Từ định nghĩa θs,2s J k = s , J 01 = 2s , ta có f ∆J ,f ∆ 'J k 01 ≤ θs,2s ∆ J k 2 ∆ 'J01 2 ≤ θs,2s ∆ J k 2 ∆ 'J01 2 , nên ( ) PJ01 f ∆J k 2 ≤ θs,2s ∆ J k ≤ f ∆ 'J 01 ξ ( 2s ) 2 θs,2s ∆ Jk ξ ( 2s ) 2 ( (3.27) ) ( ) PJ01 f ∆J k Vì thế, ( ) PJ01 f ∆J Hơn nữa, ta có ∆ J k +1 2 ∆ Jk ≤ k 1 s ( ) PJ01 f ∆J hay ∑P k ≥2 J 01 k (f ) ∆ Jk ≤ θs,2s ∆ J k = µs ∆ J k ξ ( 2s ) 2 nên ≤ µs ≤ µs 2 s s ∆ J k −1 ∆ Jc 54 1 1 , 2 Thay vào (3.26) ta PJ01 ( f ∆ ) f∆ hay 2 ξ ( 2s ) ∆ J ≥ ≥ ξ ( 2s ) ∆ J 01 01 2 2 µs − s µs − s ∆ Jc ∆ Jc 1 1 ,  Bổ đề 3.2 Cho λ ∈  K , J ⊂ {1, ,K} cho J = s Đặt ∆= λ − λˆ với λˆ := λˆ L Khi ∆ J ≤ 1 f∆ κs  µs  1 +  1 κs   + λJc (3.28) ξ ( 2s ) − µs 3.1 κ s µs Bổ đề= Chứng minh: Ta có λˆ ∆−λ hay ∆ J − λJ ⇒ ⇒ λJ 1 − ∆J 1 1 1 − λJc 1 − ∆J 1 ∆ Jc 1 + ∆ Jc 1 ∆ Jc 1 ⇒ ⇒ ≤ λ ≤ λ 1 + ∆ Jc − λJc 1 1 1 ≤ λJ 1 + λJc 1 ≤ λJ 1 + λJc 1 ≤ λJc 1 ≤ ∆J + λJc 1 1 (3.29) Áp dụng Bổ đề 3.1 với J = J , ta f∆ ≥ ≥ Hơn nữa, ta có ∆ J 1 ≤ ξ ( 2s ) ∆ J 2 ξ ( 2s ) ∆ J 2 J ∆J 2 − µs J − nên 55 µs J ∆ Jc (∆ 1 J 1 + λJc 1 ) f∆ ξ ( 2s ) ∆ J ≥ ≥ ( ) ∆J Cộng ∆ J 1 J ξ ( 2s ) − µs ∆ J ≥ κs ∆J Từ đó, 2 µs − 2 ≤ 2 µs − λJ J κs f∆ c + ( 2 J ∆J − µs 2 λJ J + λJc c 1 ) 1 1 µs κs J λJ c 1 vào hai vế (3.29) ta có ∆ 1 ≤ ∆J 1 + λJc 1 ≤ J ∆J 2 + λJc 1 ≤ J ∆J 2 + λJc 1 1 µs ≤ J f∆ + λJc  κs κs J  ≤ J κs f∆ + λJc   + λJc 1   1  µs  1 +   1 κs   Bây ta chứng minh định lý Ta có fλ − f 2 ( = ∫ (f ( x ) − f ( x ))(f ) ( x ) − f ( x ) ) dx = ∫ ( fλ ( x ) − f ( x ) ) fλ ( x ) − f ( x ) dx λ = f λ − f λˆ = 2 + f − f λˆ 2 ( ) + 2ℜ  ∫ ( f λ ( x ) − f λˆ ( x ) ) f λ ( x ) − f ( x ) dx     K  K   + 2ℜ  ∫ ∑ ∆ kϕk ( x ) ×  ∑ λˆk 'ϕk ' ( x ) − f ( x )  dx  , =  k'    k 1= f ∆ + f − f λˆ λ hay 56  K  K ˆ   f λ − f − f ∆ − 2ℜ  ∫ ∑ ∆ kϕk ( x ) ×  ∑ λk 'ϕk ' ( x ) − f ( x )  dx  =  k'    k 1= f − f λˆ = 2 Do đó, áp dụng Mệnh đề 3.2, Ω , ta có f − f λˆ Vì η k = 2 fλ − f = ≤ fλ − f − f∆ 2 2 k∈{1, ,K} f − f λˆ 2 − fλ − f ∞ ∆J 2 ) ( − f∆ 2 + η1,k ≤ max ηk = η η1,k f − f λˆ hay K  − 2ℜ  ∑ ∆ k (G λˆ ) k − βˆk + βˆk − β k   k =1  K + 2∑ ∆ k ( η k ) k =1 K ∞ ∑∆ k =1 ≤ fλ − f ≤ 4η ∆ ∞ k =∆ − f∆ + 4η 2 − f∆ 1 nên 1 2 ∆, ∞ (3.30) Từ (3.28), ta có 4η 4η ∞ ∆J 1 1 − f∆ 2 ≤ J ≤ 16 J ≤ 16 J ≤ 16 J ≤ 16 J κs κ s2 κ s η η η ∞ ∞ ∞ f∆ + λJc + f∆ ∞  µs  1 + η 1 κs   + λJc + λJc  µs  1 + η 1 κ s    µs  1 + η 1 κ s   ∞ ∞ Với α > bất kì, ta có 4η ∞ ∆J 1 − f∆ 2 κ s κ s2 η η ∞ ∞ + + 16 α J α J η α  1 ≤ 16 J  +  η  κs α  Từ (3.30) (3.31) suy 57 J ∞ ∞ λJ c  µs  1 + η 1 κ s   ∞  2µ  + λJc  1 + s  κs  J  + α α λJ 2 2 µs  1  1 +  (3.31) J  κs  c f − f λˆ − fλ − f  1 ≤ 16 J  +  η  κs α  2 ∞ + α λJ c 1 J  µs  1 +  κs   hay f − f λˆ Vì fˆ L − f 2 2  1 ≤ f λ − f + 16 J  +  η  κs α  ≤ f λˆ − f 2 2 ∞ + α λJ c J 1  µs  1 +  κ s   nên ta (3.24)  Các lý thuyết tạo sở cho thuật toán cực tiểu hóa ước lượng Lasso sau 3.2.2 Thuật toán cực tiểu hóa ước lượng Lasso Quy trình phương pháp Lasso tóm tắt qua bước sau: Tính βˆk , ∀k = 1, ,K (ước lượng không chệch β k ) 2 2 , σˆ 2,k , σ1,k σ 2,k (đã định nghĩa (3.6), (3.7), (3.8) (3.9)) Tính σˆ1,k Tính η1,k η 2,k (đã định nghĩa (3.10) (3.11)) với γ = 1.01 Tính hệ số λˆ L phương pháp cực tiểu hóa Lasso (được định nghĩa (3.3)) Chọn giá Jˆ L ước lượng λˆ L , với Jˆ L tập hàm ϒ mà hàm mật độ f bị thu hẹp ( λˆ ) L' Jˆ L ( ) = G −Jˆ L1 βˆk Jˆ L G Jˆ L ma trận ma trận Gram G tương ứng với tập Jˆ L Các giá trị λˆ L ' bên tập Jˆ L ( ) ′ Tính ước lượng cuối fˆ L = ℜ f λˆ L′  K ˆ L′  = ℜ  ∑ λk ϕk   k =1  Ma trận Gram tính toán trước, tích vô hướng hàm hàm tính nhờ công thức phép cầu phương hình cầu xem [8] Bước bước làm bình phương sai số bé đề cập Candès Tao [3], làm giảm độ chênh lệch giới thiệu phương pháp Lasso 58 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn giới thiệu mô hình tổng quát toán nhân chập  toán nhân chập cầu  thống kê phi tham số, đồng thời đưa phương pháp ước lượng cụ thể để giải toán Luận văn trình bày sở lý thuyết cho phương pháp Tuy nhiên, hạn chế nhiều mặt nên luận văn tập trung vào phương pháp lý thuyết, chưa trình bày kĩ thuật tính toán để thấy tính ưu phương pháp Nếu tiếp tục tạo điều kiện nghiên cứu, phát triển đề tài mặt thực hành nhiều hơn, lập trình (trên máy vi tính) phương pháp giải chập, nghiên cứu ứng dụng (lọc ảnh, xử lý tín hiệu,….) 59 TÀI LIỆU THAM KHẢO Alexander Meister (2009), Deconvolution Problems in Nonparametric Statistics, Springer, Berlin Bickel P., Ritov Y., Tsybakov A (2009), “Simultaneous analysis of Lasso and Dantzig”, Annal of Statistics 37(4), pp.1705-1732 Candès E J., Tao T (2007), “The Dantzig selector : statistical estimation when p is much larger than n”, Annal of Statistics 35(6), pp.2313-2351 Dalayan A., Salmon J (2011), “Sharp Oracle Inequalities for Aggregation of Afine Estimators”, Preprint Healy D M., Hendriks H., Kim P T (1998), “Spherical Deconvolution”, Journal of Multivariate Analysis 67, pp.1-22 Kerkyacharian G., Pham Ngoc T M., Picard D (2011), “Localized spherical deconvolution”, Annal of Statistics 39(2), pp.1042-1068 Massart P (2007), Concentration inequalities and model selection, Springer, Berlin, pp.24-26 Narcowich F J., Petrushev P., Ward J (2006), “Localized tight frames on spheres”, SIAM J Math Anal 38(2), pp.574-594 Pensky M., Vidakovic (1999), “Adaptive wavelet estimator for nonparametric density deconvolution”, Annals of Statistics 27, pp.2033-2053 10 Peter T Kim, Ja-Yong Koo (2002), “Optimal Spherical Deconvolution”, Journal of Multivariate Analysis 80, pp.21-42 11 Phạm Ngọc Thanh Mai, Vincent Rivoirard (2013), “The dictionary approach for spherical deconvolution”, Journal of Multivariate Analysis 115, pp.138-156 60 [...]... Hay   S ≥ x  ≤ 2e 22 − x2 2( v + cx ) CHƯƠNG 2: GIẢI CHẬP TRÊN  BẰNG PHƯƠNG PHÁP DỰA TRÊN CÁC HÀM WAVELET 2.1 Giới thiệu bài toán nhân chập trên  Trong thống kê, bài toán giải chập được mô tả một cách tổng quát như sau: Tìm ước lượng của f từ các quan sát thực nghiệm được cho bởi = h f= *G ∫ f (x − y)dG ( y ) (2.1) trong đó ∗ là tích chập hàm mật độ f với hàm phân phối xác suất tương ứng G,... lặp đi lặp lại,… Có nhiều phương pháp giải bài toán này Ở đây, ta đưa ra một phương pháp khá phổ biến để giải bài toán trong thống kê phi tham số Đó là phương pháp dựa trên các hàm wavelet (được định nghĩa trong phần tiếp theo), cụ thể là sử dụng tính trực giao của chúng 2.2 Giải bài toán nhân chập trên  bằng phương pháp dựa trên các hàm wavelet 2.2.1 Cơ sở lý thuyết Với p ∈ {1,2} , ta xét các không... hợp với các phép thử của thống kê cụ thể, đồng thời phải đảm bảo tính “đủ tốt” Để giải được bài toán này, trước hết ta phải giả sử rằng hàm phân phối g đã biết Tuy nhiên, trong thực tế việc xác định g có thể chỉ tương đối vì nó phụ thuộc nhiều yếu tố, như các điều kiện bị hạn chế trên f hoặc bổ sung thêm dự liệu, hoặc các phép thử lặp đi lặp lại,… Có nhiều phương pháp giải bài toán này Ở đây, ta đưa... thấy tham số K n không cần xác định đặc biệt Chúng ta có thể chọn một số lớn hơn K n và nhỏ hơn cận trên của MISE Nếu chọn K n = ∞ thì ta không thể tính được Mặt khác, khi tham số m n tăng lên thì một số lượng hàm của cận trên bị giảm xuống Do đó, việc chọn m n phải được tối ưu hóa Trong thực tế, sự lựa chọn tối ưu của m n phụ thuộc vào độ trơn của f , thúc đẩy người ta xem xét ước lượng giải chập. .. có thể xem như một phương tiện kiểm tra việc lựa chọn tham số m n , thường dùng cho ước lượng tuyến tính Ước lượng wavelet được thiết lập chủ yếu để xem xét ứng với MISE của nó, vì nó được xây dựng dựa trên cơ sở trực chuẩn 33 2.2.2 Thuật toán giải chập dựa trên các wavelet Việc nghiên cứu các lí thuyết trên tạo cơ sở cho phương pháp giải bài toán chập (2.1) qua các bước như sau: 1 Ước lượng h ft dựa... chuẩn hóa: ψ 2 = 1 iii Có tâm trong vùng lân cận của t = 0 Khi co giãn hàm wavelet ψ bởi hệ số s và tịnh tiến nó bởi hệ số u thì ta tạo ra một họ các hàm wavelet (con) ψ s,u ( t ) = 1 t−u ψ  s  s  Và các hàm này cũng được chuẩn hóa: ψ s,u 2 với s ∈  + , u ∈  = 1 Các hàm wavelet nhận được sự quan tâm đáng kể trong giải tích số, lý thuyết xấp xỉ cũng như khoa học thống kê suốt thời gian cuối thập... xác định như sau ( ) E ∫ fˆ ( x ) − f ( x ) dx 2 MISE = fˆ ,f (2.10) MISE (như định nghĩa trong (2.10)) của ước lượng wavelet tuyến tính được nghiên cứu trong mệnh đề sau Mệnh đề 2.2 Xét ước lượng wavelet tuyến tính của bài toán giải chập fˆ ( x ) = ∑ µˆ ϕ ( x ) k ≤K n k m n ,k trong đó ta thay f j bằng ϕ mn ,k trong (2.4) để xác định ước lượng µˆ k Giả sử f ∈  2 (  ) và g ft ( t ) ≠ 0 , ∀t ∈  ... hằng số o V ( CX ) = C2 V ( X ) 20 o = V(X) o E ( X2 ) − ( E ( X )) 2 Nếu X, Y độc lập thì V ( X ± Y )= V(X) + V(Y) , V ( X + C) = V(X)  Ước lượng không chệch: Thống kê θˆ được gọi là ước lượng không chệch của θ nếu () E θˆ = θ ( ) Ý nghĩa: Từ định nghĩa ta có: E θˆ − θ = 0 , tức là, trung bình của độ lệch (sai số) giữa ước lượng với giá trị thật bằng 0 Sai số trung bình bằng 0 được gọi là sai số. .. ( t ) n ∑ exp ( itY ) g ( t ) dt 2π n l =1 l ft và các tham số dương K n , L n , δ j,n , m n , r vẫn được chọn Tuy nhiên, sự lựa chọn chúng 2   , ước lượng của hệ số bˆ , ˆ b j,k ( j,n ,∞ )  ∑ k ≤Ln j,k  không cần biết độ trơn của f, do số hạng χ δ 2 =j m n ,m n + r , bị ngắt bỏ một cách tự động khi j quá lớn Trong trường hợp này, các hệ số ước lượng đều bằng 0 Do đó, phần không tuyến tính của... đó trên  2 (  ) Mặt khác, biến đổi Fourier của một hàm trong  2 (  ) nói chung không cần liên tục hay bị chặn Tuy nhiên, trong Bổ đề 1.1 các tính chất 1, 5, 6 và 7 cũng đúng đối với biến đổi Fourier trong  2 (  ) , riêng tính chất 7, từ “với mọi” sẽ thay bằng “hầu khắp nơi” theo nghĩa Lebesgue Tương tự, kết quả giải chập cũng được đưa ra trong bổ đề sau Bổ đề 1.3 Với mọi f ∈  2 (  ) , g ∈ L1 ... PHẠM TP HỒ CHÍ MINH Nguyễn Thị Diệu Huyền BÀI TOÁN GIẢI CHẬP TRONG THỐNG KÊ PHI THAM SỐ Chuyên ngành: Toán Giải tích Mã số: 60460102 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS ĐẶNG... pháp giải toán Ở đây, ta đưa phương pháp phổ biến để giải toán thống kê phi tham số Đó phương pháp dựa hàm wavelet (được định nghĩa phần tiếp theo), cụ thể sử dụng tính trực giao chúng 2.2 Giải toán. .. đặc trưng tập A thỏa 1 , x ∈ A 0 , x ∉ A χA ( x ) =  LỜI MỞ ĐẦU Bài toán tích chập xảy nhiều lĩnh vực thống kê phi tham số Bài toán thường gặp ước lượng hàm mật độ biến ngẫu nhiên X dựa liệu