Phương pháp newton nửa trơn trong chỉnh hóa thưa và ứng dụng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ——————————– ĐỖ VIẾT LÂN PHƯƠNG PHÁP NEWTON NỬA TRƠN TRONG CHỈNH HĨA THƯA VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ TỐN HỌC Đà Nẵng - 2018 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM ——————————– ĐỖ VIẾT LÂN PHƯƠNG PHÁP NEWTON NỬA TRƠN TRONG CHỈNH HÓA THƯA VÀ ỨNG DỤNG Chuyên ngành: Giải tích Mã số: 8460102 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: TS PHẠM QUÝ MƯỜI Đà Nẵng - 2018 MỤC LỤC MỞ ĐẦU CHƯƠNG KIẾN THỨC CƠ SỞ 1.1 Không gian Banach 1.2 Không gian Hilbert 1.3 Cơ sở trực chuẩn 1.4 Hàm số đạo hàm Fréchet 11 1.5 Đạo hàm Newton tính chất 13 CHƯƠNG PHƯƠNG PHÁP NEWTON NỬA TRƠN VÀ CHỈNH HÓA THƯA 16 2.1 Phương pháp newton nửa trơn suy rộng cho phương trình khơng liên tục biến 16 2.1.1 Đặt vấn đề 16 2.1.2 Xấp xỉ nửa trơn cho hàm không trơn 17 2.1.3 Phương pháp Newton nửa trơn suy rộng 23 2.2 Phương pháp newton nửa trơn chỉnh hóa thưa 24 2.2.1 Bài tốn tối ưu khơng trơn chỉnh hóa thưa 25 2.2.2 Điều kiện tối ưu 26 2.2.3 Một số bổ đề bổ trợ 30 2.2.4 Phương pháp Newton nửa trơn 34 CHƯƠNG LẬP TRÌNH VÀ VÍ DỤ SỐ 39 3.1 GIẢI THUẬT NEWTON NỬA TRƠN SUY RỘNG CHO PHƯƠNG TRÌNH KHƠNG LIÊN TỤC MỘT BIẾN 39 3.2 GIẢI THUẬT NEWTON NỬA TRƠN CHO BÀI TỐN TỐI ƯU TRONG CHỈNH HĨA THƯA 44 KẾT LUẬN VÀ KIẾN NGHỊ 53 TÀI LIỆU THAM KHẢO 55 MỞ ĐẦU Lý chọn đề tài: Trong khoa học kĩ thuật, nghiên cứu mô hình tốn người ta dẫn đến việc tìm nghiệm phương trình (0.1) Kx = y với K tốn tử từ không gian Hilbert H vào không gian Hilbert H′ vế phải y ta xác mà biết xấp xỉ y δ y với (0.2) y − yδ ≤ δ Thông thường để giải Bài toán (0.1) − (0.2), người ta thường tìm nghiệm xδ phương trình (0.3) Kxδ = y δ xem xδ nghiệm xấp xỉ x Tuy nhiên cách tiếp cận nhiều trường hợp không hoạt động Chẳng hạn Phương trình (0.3) khơng có nghiệm tổng qt Bài tốn (0.1)−(0.2) tốn đặt khơng chỉnh [8], đặc biệt nghiệm không phụ thuộc liên tục vào liệu Khi đó, nghiệm Phương trình (0.3) khơng phải xấp xỉ nghiệm xác x cần tìm Khi Bài tốn (0.1)−(0.2) tốn đặt không chỉnh, ta cần dùng phương pháp chỉnh hóa để giải Có nhiều phương pháp chỉnh hóa chỉnh hóa thưa, chỉnh hóa Tikhonov [8], chỉnh hóa biến phân [5], Cơ sở để lựa chọn phương pháp chỉnh hóa phù hợp dựa vào thơng tin biết nghiệm tốn Chẳng hạn tốn có nghiệm thưa ta sử phương pháp chỉnh hóa thưa ℓ1 Sử dụng phương pháp chỉnh hóa thưa dẫn đến việc tìm nghiệm toán f (x) + λ x n∈Λ |xn | khơng gian Hilbert H có sở trực chuẩn {en }n∈Λ , xn = x, en f (x) thường Kx − y δ Hiện có giải thuật cho chỉnh hóa thưa ℓ1 trình bày nhiều sách báo, tạp chí tốn học phương pháp loại Gradient [9], phương pháp Newton nửa trơn [11], phương pháp cải tiến Nesterov [9], phương pháp Stochastic [12], Trong số phương pháp kể trên, phương pháp Newton nửa trơn có tốc độ hội tụ bậc hai nhanh [11] Với tìm hiểu phương pháp Newton nửa trơn, chọn đề tài "PHƯƠNG PHÁP NEWTON NỬA TRƠN TRONG CHỈNH HÓA THƯA VÀ ỨNG DỤNG" để làm luận văn Mục tiêu nghiên cứu: Luận văn nhắm vào việc hệ thống lại kiến thức sở liên quan, trình bày lại chỉnh hóa thưa phương pháp Newton nửa trơn Trong phần cuối luận văn trình bày lập trình cho giải thuật Matlab vài ví dụ số Ý nghĩa khoa học thực tiễn đề tài Đề tài có giá trị mặt lý thuyết thực tiễn Có thể sử dụng luận văn tài liệu tham khảo dành cho sinh viên ngành toán đối tượng quan tâm Cấu trúc luận văn Luận văn phần mở đầu, tài liệu tham khảo, nội dung luận văn dự kiến sau CHƯƠNG KIẾN THỨC CƠ SỞ 1.1 Không gian banach 1.2 Không gian hilbert 1.3 Cơ sở trực chuẩn 1.4 Hàm số đạo hàm fréchet 1.5 Đạo hàm newton tính chất CHƯƠNG PHƯƠNG PHÁP NEWTON NỬA TRƠN VÀ CHỈNH HÓA THƯA 2.1 Phương pháp newton nửa trơn suy rộng cho phương trình không liên tục biến 2.1.1 Đặt vấn đề 2.1.2 Xấp xỉ nửa trơn cho hàm không trơn 2.1.3 Phương pháp Newton nửa trơn suy rộng 2.2 Phương pháp newton nửa trơn chỉnh hóa thưa 2.2.1 Bài tốn tối ưu khơng trơn chỉnh hóa thưa 2.2.2 Điều kiện tối ưu 2.2.3 Một số bổ đề bổ trợ 2.2.4 Phương pháp Newton nửa trơn CHƯƠNG LẬP TRÌNH VÀ VÍ DỤ SỐ 3.1 Giải thuật newton nửa trơn suy rộng cho phương trình khơng liên tục biến 3.2 Giải thuật newton nửa trơn cho toán tối ưu chỉnh hóa thưa CHƯƠNG KIẾN THỨC CƠ SỞ Trong chương này, luận văn trình bày số định nghĩa định lý giải tích hàm có liên quan đến luận văn Trình bày kiến thức chuẩn bị, gồm khái niệm không gian Banach, không gian Hilbert, sở trực giao, hàm khả vi Fréchet, đạo hàm Fréchet, hàm liên tục Lipschitz đạo hàm Newton 1.1 Không gian Banach Định nghĩa 1.1.1 (Không gian định chuẩn) Cho X không gian vectơ K · : X → R hàm số thỏa mãn: ∀x ∈ X : x ≥ 0; x = x = λx = |λ| x với λ ∈ K, x ∈ X x + y ≤ x + y với x, y ∈ X Khi cặp (X; · ) gọi không gian tuyến tính định chuẩn hay gọn khơng gian định chuẩn hàm số · gọi chuẩn X Định nghĩa 1.1.2 (Sự hội tụ theo chuẩn) Cho (X, · ) không gian định chuẩn Dãy (xn )n ⊂ X hội tụ đến x không gian X lim xn − x = n→∞ Định nghĩa 1.1.3 (Dãy Cauchy) Cho (xn )n dãy không gian định chuẩn (X, · ) (xn )n dãy Cauchy xm − xn → m, n → ∞ Định nghĩa 1.1.4 (Không gian Banach) Cho (X, · ) không gian định chuẩn Nếu mêtric sinh từ chuẩn d(x, y) = x − y X với X tạo thành không gian mêtric đầy đủ X gọi khơng gian Banach Nói cách khác, khơng gian định chuẩn (X, · ) gọi Banach dãy Cauchy X hội tụ điểm thuộc X 1.2 Khơng gian Hilbert Định nghĩa 1.2.1 (Tích vơ hướng) Cho H không gian vectơ trường số thực R Tích vơ hướng H ánh xạ ·, · : H × H → R, xác định sau: (x, y) ∈ H × H → x, y ∈ R, 49 a2 = a2 + 1; else I(k) = k; i = i + 1; end end A = A1 + A2; a = a1 + a2; %rn condition rn = xn - SS(p); R(n) = double(norm(rn)); if norm(rn) < ep done = true; else %rewrite hessian f at xn hessbody = formula(hessf(xn(1),xn(2))); ma = []; mi = []; Maa = []; Mii = []; Mai = []; Mia = []; for k = 1:dim if A(k) == k for j = 1:dim if I(j) == j mi = [mi,hessbody(k,j)]; else ma = [ma,hessbody(k,j)]; end end Maa = [Maa;ma]; ma = []; Mai = [Mai;mi]; mi = []; else for j = 1:dim if I(j) == j mi = [mi,hessbody(k,j)]; else 50 ma = [ma,hessbody(k,j)]; end end Mia = [Mia;ma]; ma = []; Mii = [Mii;mi]; mi = []; end end %split xn in part xna = []; xni = []; for k = a+1:dim xni = [xni;xn(k)]; end for k = 1:a xna = [xna;xn(k)]; end %find x^(n+1) ng_a = []; ng_i = []; M = []; for k=a+1:dim ng_i = [ng_i;0]; end gradbody = formula(gradf(xn(1),xn(2))); for j = 1:dim if A1(j) == j M = [M;gradbody(j)+l]; elseif A2(j) == j M = [M;gradbody(j)-l]; else M = [M;[]]; end end if isempty(Mai) ng_a = xna - Maa^(-1)*M; else 51 ng_a = xna - Maa^(-1)*M - Maa^(-1)*Mai*xni; end ng = [ng_a;ng_i]; xn = ng; end %reset all and start new step a1 = 0; a2 = 0; i = 0; n = n + 1; end %show solution double(xn) %plot rn k=1:n; plot(k,R(k)) Chạy m-file ta nhận nghiệm xấp xỉ Bài toán 3.1 x∗ = (0,7075; 0,7075) đồ thị biểu diễn giá trị rn Hình 3.3 Hình 3.3: Giá trị rn với n = 1, 2, , 52 KẾT LUẬN VÀ KIẾN NGHỊ Trong luận văn này, luận văn trình bày phương pháp Newton nửa trơn ứng dụng Cụ thể luận văn trình bày vấn đề sau: Thứ nhất, trình bày só kiến thức có liên quan q trình nghiên cứu phương pháp Newton nửa trơn Thứ hai, sử dụng phương pháp Newton nửa trơn suy rộng để tìm nghiệm phương trình khơng liên tục biến x − f ′ (x) s F (x) := x − H 2α s = Ta xấp xỉ F Fε chứng minh Fε khả vi Newton đưa số giả thiết làm điều kiện cho hội tụ địa phương phương pháp Newton nửa trơn suy rộng Phương pháp Newton suy rộng cho vòng lặp: 1) Chọn x0 ∈ R εn cho < ε0 ≤ m1 |x0 − x∗ | 4c 2) Thực bước lặp (a) Tính xn+1 = xn − Fε′n (xn ) Fεn (xn ) (b) Chọn εn+1 cho < εn+1 ≤ m |xn+1 − x∗ | 4c Sự hội tụ địa phương {xn } chứng minh luận văn Thứ ba, trình bày tốn tối ưu chỉnh hóa thưa argmin f (x) + λ x x∈H với H không gian Hilbert f : H → R khả vi Fréchet Thay giải toán cực trị ta đưa giải phương trình khơng trơn F (x) := x − S λ s x − f ′ (x) s = 53 Ta chứng minh F khả vi Newton đưa số giả thiết làm điều kiện cho hội tụ địa phương phương pháp Newton nửa trơn Ngoài luận văn đưa giải thuật cho toán xn+1 = xn − F ′ (xn )−1 F (xn ) xn+1 = ′ n n xnAn − M−1 An An ([f (x ) ± λ]|An − MAn In xIn ) An := A(xn ) = In := I(xn ) = f ′′ (xn ) = λ k ∈ Λ : xnk − f ′ (xn )k > s s λ k ∈ Λ : xnk − f ′ (xn )k ≤ s s M An An M An I n M I n An M I n I n , , Trong luận văn, ta chứng minh hội tụ địa phương {xn } Thứ ba, chương cuối luận văn ứng dụng phương pháp Newton nửa trơn phương pháp Newton nửa trơn suy rộng cho số ví dụ cụ thể Ngoài giải thuật cụ thể hóa mơi trường MATLAB cho hàm số Tuy nhiên, giá trị ban đầu x0 khơng gần giá trị nghiệm x∗ giải thuật, chương trình MATLAB khơng thể cho dãy {xn } hội tụ x0 (do tính hội tụ địa phương) Hướng nghiên cứu đề tài mở rộng phương pháp Newton để thu vòng lặp có dãy {xn } hội tụ tồn cục 54 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Quý Mười, Đỗ Viết Lân, Dương Xuân Hiệp, Phan Đức Tuấn Phan Quang Như Anh (2017), “Phương pháp Newton suy rộng cho phương trình khơng liên tục biến”, Tạp chí Khoa học Giáo dục - Trường Đại học Sư phạm - Đại học Đà Nẵng, 24 (03), tr 19-25 [2] Phạm Quý Mười, Phan Đức Tuấn Dương Xuân Hiệp (2017), “Một số tính chất đạo hàm Newton hàm biến”, Tạp chí Khoa học Công nghệ - Đại học Đà Nẵng, (118), tr 94-98 Tiếng Anh [3] Thomas Blumensath and Mike E Davies (2008), “Iterative thresholding for sparse approximations”, Journal of Fourier Analysis and Applications, 14 (5-6), pp 629–654 [4] S J Chapman (2004), MATLAB Programming for Engineers, Thomson, Australia [5] Jin Cheng and Bernd Hofmann (2011), “Regularization methods for ill-posed problems”, Handbook of Mathematical Methods in Imaging Springer, New York [6] Xiaojun Chen, Zuhair Nashed, and Liqun Qi (2000) “Smoothing methods and Semismooth methods for nondifferentiable operator equations” ’, SIAM Journal Numerical Analysis, 38 (5), pp 1200-1216 [7] M Hintermuller, K Ito, and K Kunish (2003), “The primal-dual active set strategy as a semismooth Newton method” SIAM Journal on Optimization, 13 (3), pp 865888 [8] Andreas Kirsch (2011), Optimization and Nonsmooth Analysis, Springer, New York [9] D A Lorenz, P Maass and P Q Muoi (2012), “Gradient descent for Tikhonov functionalswith sparsity constraints: Theory and numerical comparison of step size rules”, Elec-tron Trans Numer Anal, 39 (2012), pp 437-463 55 [10] C B Moler (2004), Numerical Computing with MATLAB, Society for Industrial and Applied Mathematics, United States of America [11] Pham Quy Muoi, Dinh Nho Hao, Peter Maass, and Michael Pidcock (2013), “Semismooth newton and quasinewton methods in weighted l1 -regularization”, Journal of Inverse and Ill-Posed Problems, 21(5), pp 665–693 [12] Shai Shalev-Shwartz and Ambuj Tewari (2011), “Stochastic Methods for ℓ1 Regularized Loss Minimization”, Journal of Machine Learning Research, 12 (2011), pp 1865-1892 ... →0 h đề chứng minh Tức 16 CHƯƠNG PHƯƠNG PHÁP NEWTON NỬA TRƠN VÀ CHỈNH HÓA THƯA Trong chương này, luận văn nghiên cứu phương pháp Newton nửa trơn cho hai toán sau Phương pháp Newton nửa trơn suy... Trong số phương pháp kể trên, phương pháp Newton nửa trơn có tốc độ hội tụ bậc hai nhanh [11] Với tìm hiểu phương pháp Newton nửa trơn, tơi chọn đề tài "PHƯƠNG PHÁP NEWTON NỬA TRƠN TRONG CHỈNH... khơng chỉnh, ta cần dùng phương pháp chỉnh hóa để giải Có nhiều phương pháp chỉnh hóa chỉnh hóa thưa, chỉnh hóa Tikhonov [8], chỉnh hóa biến phân [5], Cơ sở để lựa chọn phương pháp chỉnh hóa