Bài toán tối ưu không trơn lý thuyết, một số giải thuật và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG −−− −−− BÁO CÁO TÓM TẮT ĐỀ TÀI KHOA HỌC VÀ CƠNG NGHỆ CẤP BỘ BÀI TỐN TỐI ƯU KHƠNG TRƠN: LÝ THUYẾT, MỘT SỐ GIẢI THUẬT VÀ ỨNG DỤNG Mã số: B2016-DNA-44-TT Chủ nhiệm đề tài: TS Phạm Quý Mười Đà Nẵng, 8/2019 i DANH SÁCH THÀNH VIÊN THAM GIA ĐỀ TÀI Phạm Quý Mười (Chủ nhiệm đề tài) Phan Đức Tuấn (Thư ký đề tài) Nguyễn Thị Liêu Noa (Thành viên) ii Mục lục Bảng kí hiệu iii Lời mở đầu 1 Một số tính chất đạo hàm Newton cho hàm biến 1.1 Đặt vấn đề 4 1.2 Đạo hàm Newton 1.3 1.4 Đạo hàm Newton hàm số thường gặp Một số tính chất đạo hàm Newton Phương pháp Newton nửa trơn tìm điểm bất động hàm không trơn F (x) = max{f1 (x), , fn (x)} 10 2.1 2.2 Đặt vấn đề 11 Đạo hàm Newton F 12 2.3 2.4 Đạo hàm Newton hàm F cho (2.1) với n = 12 Đạo hàm Newton hàm F cho (2.1) với n ≥ 12 2.5 Phương pháp Newton nửa trơn tìm điểm bất động hàm F (x) cho (2.1) 13 Bài toán ngược với nghiệm thưa không âm 15 3.1 Đặt vấn đề 15 3.2 3.3 Tính thưa khơng âm cực tiểu 18 Các giải thuật số 19 3.3.1 3.3.2 Phương pháp kiểu gradient 20 Phương pháp Newton nửa trơn 21 iii BẢNG KÍ HIỆU : Trường số thực Q : Trường số hữu tỷ C : Trường số phức K : Chuẩn toán tử K ∗ K : Toán tử liên hợp K N (K) = {x ∈ X | Kx = 0} R(K) = {Kx | x ∈ X} = {y ∈ Y | ∃x : Kx = y} L(X, Y ) : Không gian gồm tất ánh xạ tuyến tính bị chặn từ X vào Y R iv THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: Bài tốn tối ưu khơng trơn: lý thuyết, số giải thuật ứng dụng - Mã số: B2016-DNA-44-TT - Chủ nhiệm: TS Phạm Quý Mười - Thành viên tham gia: TS Phan Đức Tuấn, HVCH Nguyễn Thị Liêu Noa - Cơ quan chủ trì: Đại học Đà Nẵng - Thời gian thực hiện: 24 tháng, Từ tháng 12 năm 2016 đến tháng 12 năm 2018 Mục tiêu: Mục tiêu đề tài nghiên cứu toán tối ưu không trơn xuất ứng dụng khác tốn ngược, tốn xử lí ảnh, xử lí tín hiệu, Đề tài tập trung vào ba khía cạnh: - Nghiên cứu sở lí thuyết cho tốn tối ưu khơng trơn - Phát triển giải thuật cho toán tối ưu không trơn - Ứng dụng giải thuật đề xuất vào giải tốn tối ứu khơng trơn xuất ứng dụng khác tốn ngược, xử lý ảnh, xử lý tín hiệu, Tính sáng tạo: Các kết đạt ứng dụng để giải số tối ưu không trơn lí thuyết chỉnh hóa tốn ngược Kết nghiên cứu: - Nghiên cứu tốn tối ưu khơng trơn xuất lí thuyết chỉnh hóa tốn ngược - Nghiên cứu số tính chất đạo hàm Newton nửa trơn - Đưa giải thuật cho phương trình điều kiện cần tốn tối ưu khơng trơn chứng minh hội tụ - Nghiên cứu giải thuật giảm gradient, giải thuật Newton nửa trơn cho toán tối ưu chỉnh hóa thưa khơng âm chứng minh hội tụ - Áp dụng giải thuật phương pháp quy hóa thưa khơng âm cho số toán cụ thể Sản phẩm: - Sản phẩm khoa học: 02 báo khoa học, 01 đăng tạp chí nước 01 báo ISI Cụ thể: Pham Quy Muoi, Phan Quan Nhu Anh, Duong Xuan Hiep Phan Duc Tuan Applying semismooth Newton method to find fixed points of nonsmooth functions of one variable Journal of Science and Technology - The University of Danang, 6(127), 2018 Pham Quy Muoi, Dinh Nho Hao, Sujit Kumar Sahoo, Dongliang Tang, Huu Cong Nguyen and Cuong Dang Inverse Problems with Nonnegative and Sparse Solutions: Algorithms and Application to the Phase Retrieval Problem Inverse Problems, 34(05), 055007, 2018 - Sản phẩm đào tạo: 01 học viên cao (Nguyễn Thị Liêu Noa) học bảo vệ thành công luận văn thạc sĩ với tên đề tài “Giải thuật cho tốn tối ưu khơng trơn chỉnh hóa thưa ứng dụng” - Sản phẩm khác: Chương trình Matlab cho giải thuật đề xuất, công bố báo ISI vii INFORMATION ON RESEARCH RESULTS General information: - Project title: Nonsmooth optimazation problems: theory, algorithms and applications - Code number: B2016-DNA-44-TT - Project leader: Dr Pham Quy Muoi - Participants: Phan Duc Tuan, Nguyen Thi Lieu Noa - Implementing institution: University of Danang - Duration: 24 months, from 12/2016 to 12/2018 Objectives: The objective of the research is to study the nonsmooth optimization problem that occurs in different applications of inverse problems, image processing problems, signal processing problems, The subject focuses on three aspects: - Studying the theoretical basis for the nonsmooth optimization problem - Developing algorithms for nonsmooth nonlinear optimization - Application of new algorithms proposed for solving nonsmooth optimization problems in different applications of inverse problems, image processing problems, signal processing problems, Creativeness and innovativeness: The obtained results are new and can apply to solve the nonsmooth optimization problems in regularizing inverse problems viii Research results: - Investigate nonsmooth optimization problems in regularizing inverse problems - Investigate some properties of Newton derivatives - Give algorithms to solve the equation of the first order optimal condition - Develop gradient-type method, semismooth Newton method for nonnegative sparsity regularization - Apply the algorithms to some applications Products: - Scientific products: 02 scientific papers published, 01 paper in a national journal and 01 ISI paper, which are Pham Quy Muoi, Phan Quan Nhu Anh, Duong Xuan Hiep Phan Duc Tuan Applying semismooth Newton method to find fixed points of nonsmooth functions of one variable Journal of Science and Technology - The University of Danang, 6(127), 2018 Pham Quy Muoi, Dinh Nho Hao, Sujit Kumar Sahoo, Dongliang Tang, Huu Cong Nguyen and Cuong Dang Inverse Problems with Nonnegative and Sparse Solutions: Algorithms and Application to the Phase Retrieval Problem Inverse Problems, 34(05), 055007, 2018 - Training products: 01 master student had defensed succesfully (Nguyen Thi Lieu Noa) - Other products: a Matlab program for new algorithms published in the second paper (ISI paper above) Effects, transfer alternatives of research results and applicability: - Enhance the research activities at The University of Danang and strengthen international cooperation in research between The University of Danang and international universities 16 độ ui khác không Từ định nghĩa trên, tính khơng âm u khơng đồng với khái niệm (hàm) u không âm theo nghĩa thường dùng Nó tùy thuộc vào sở chọn Cho ví dụ, Rn với sở cổ điển, tính khơng âm u ∈ Rn khái niệm vector u không âm Trong L2 (0, 1), chọn sở hàm tuyến tính khúc (các hàm mũ) lí thuyết phần tử hữu hạn, tính không âm u ∈ L2 (0, 1) tương đương với khái niệm hàm u không âm Tuy nhiên, chọn sở Fourier cho L2 (0, 1), tính khơng âm ui lúc khơng có nghĩa hàm u không âm theo nghĩa thông thường Bài tốn tìm nghiệm khơng âm u theo nghĩa thơng thường (tức u ≥ 0) trường hợp Bài toán (3.1) xuất nhiều lĩnh vực xử lí ảnh [2, 3, 33], phân tích ma trận khơng âm [13, 21, 31], định nghĩa tính khơng âm tổng quát hóa Chúng ta giả sử thêm Bài tốn (3.1) đặt khơng chỉnh liệu xác khơng biết Trong thực tế, có liệu bị nhiễu y δ y thỏa mãn y − yδ Y ≤ δ (3.2) Do đó, tốn cốt lõi tìm xấp xỉ cho nghiệm thưa khơng âm biết tốn tử K liệu bị nhiễu y δ Tính đặt khơng chỉnh Bài tốn (3.1) bắt buộc phải sử dụng phương pháp chỉnh hóa Các phương pháp chỉnh hóa kiểu Tikhonov chỉnh hóa Tikhonov regularization [10], chỉnh hóa thưa [5, 9, 12, 22, 23, 25], chỉnh hóa biến phân tồn phần [2, 33] thường sử dụng dẫn đến toán cực tiểu dạng: F (u; y δ ) + αΦ(u), (3.3) u∈X,u≥0 F (u; y δ ) phiếm hàm theo biến u đo khác biệt K(u) − y δ , Φ : X → R phiếm hàm phạt chọn dựa thông tin biết trước nghiệm xác giữu K(u) liệu bị nhiễu y δ , ví dụ, F (u; y δ ) = 17 Tính hữu hiệu phương pháp chỉnh hóa kiểu Tikhonov phụ thuộc vào lựa chọn phiếm hàm F Φ, ví dụ, F Φ hàm chọn thỏa mãn: • Các cực tiểu Bài toán (3.3) hội tụ nhanh đến nghiệm xác u δ → ( tương ứng với lựa chọn tham số chỉnh hóa α = α(δ)) • Bài tốn (3.3) dễ giải, ví dụ, tốn lồi, có giải thuật đơn giản hiệu để giải toán Nhiều lựa chọn khác F Φ nghiên cứu F thường chọn hàm chuẩn bình phương không gian X [10], lựa chọn khác xem xét [12] Nếu F hàm lồi Bài tốn (3.3) lồi có nhiều cơng cụ giải thuật để giải tốn Điều thường xảy K toán tử tuyến tính Với tốn tử phi tuyến, lựa chọn cho F thật không dễ chút chỉnh có cho vài tốn tử đặc biệt Ví dụ, phiếm hàm F gần sử dụng [15, 16, 17] phiếm hàm lượng hàm lồi cho tốn tử phi tuyến K Nhìn chung, lựa chọn tốt cho F phụ thuộc vào Bài toán (3.1), không quan tâm đến điều chương Mục tiêu đưa hàm Φ đơn giản hiệu dựa thơng tin tiền nghiệm nghiệm xác (thưa không âm) (3.1) Ở đây, nghiệm xấp xỉ chỉnh hóa Bài tốn (3.1)–(3.2) cực tiểu toán tối ưu tự sau: Θ(u) := F (u; y δ ) + αΦ(u), u∈X (3.4) F (·; y δ ) : X → R hàm trơn đo khác K(u) liệu bị nhiễu y δ , Φ : X → R phiếm hàm định nghĩa Φ(u) :=   i∈Λ ui , +∞, if ui ≥ với i, ngược lại (3.5) 18 Ở đây, u = i∈Λ ui ϕi {ϕi }i∈Λ sở trực chuẩn X Phương pháp chỉnh hóa đề xuất gọi chỉnh hóa thưa khơng âm (NSR) để phân biệt với phương pháp chỉnh hóa thưa Chú ý ưu điểm NSR không chỉnh phù hợp thơng tin tiền nghiệm tính thưa khơng âm nghiệm xác mà cịn thể việc có nhiều giải thuật hiệu để giải tốn tối ưu trên, chí trường hợp phiếm hàm F (·; y δ ) khơng lồi Chúng ta trình bày hai giải thuật phần Hơn nữa, dễ dàng hiệu chỉnh hàm phạt để áp dụng cho toán ngược với nghiệm thưa khơng dương 3.2 Tính thưa khơng âm cực tiểu Từ giả sử X Y hai không gian Hilbert, {ϕk }k∈Λ sở trực chuẩn X Bổ đề sau làm rõ số tính chất phiếm hàm Φ định nghĩa (3.5) Bổ đề 3.1 Phiếm hàm Φ định nghĩa (3.5) có tính chất sau: 1) Φ phiếm hàm không âm, lồi nửa liên tục 2) Với u ∈ X, Φ (u) ≥ u Điều suy Φ có tính yếu, tức Φ (u) → ∞ u → ∞ 3) If {un }n∈N ⊂ X hội tụ yếu đến u ∈ X Φ (un ) hội tụ đến Φ (u) < ∞, Φ (un − u) hội tụ khơng Điều suy un hội tụ mạnh đến u X Trong phần tiếp theo, Bài tốn (3.4) có điểm cực tiểu điểm cực tiểu địa phương thưa không âm Chúng đưa điều kiện tối ưu bậc Để 19 nhận kết thế, số điều kiện cho hàm F cần thiết đưa giả thiết sau: Giả thiết 3.1 (1) Dom F (·; y δ ) = X với y δ ∈ Y , với y δ ∈ Y F (·; y δ ) bị chặn nửa liên tục Khơng tính tổng qt giả sử F (u; y δ ) ≥ 0, ∀u ∈ X với y δ ∈ Y (2) F (·; y δ ) khả vi Fréchet Định lý 3.1 Cho Giả thiết 3.1 Khi đó, (a) Bài tốn (3.4) có nghiệm khơng âm, tức phiếm hàm Θ (3.4) có cực tiểu tồn cục khơng âm (b) Bất kỳ cực tiểu địa phương u hàm Θ (3.4) thỏa mãn điều kiện sau: u = Psα u − sF (u; y δ ) , (3.6) với s > số tùy ý (c) Nếu u cực tiểu địa phương Θ (3.4), u không âm thưa (d) Nếu F lồi u cực tiểu địa phương Θ (3.4), u nghiệm (3.4) Hơn nữa, nghiệm Bài toán (3.4) F lồi chặt Ở đây, toán tử gần kề (proximal operator) Pλ định nghĩa bởi: max(ui − λ, 0)ϕi , Pλ (u) = (3.7) i∈Λ với ui = u, ϕi 3.3 Các giải thuật số Phần dành để trình bày phương pháp kiểu gradient phương pháp Newton nửa trơn cho Bài toán (3.4), tức giải thuật cho toán tối ưu tự do: Θ(u) := F (u) + αΦ(u) u∈X (3.8) 20 Ở đây, gọn ta ký hiệu lại F (u) := F (u, y δ ) 3.3.1 Phương pháp kiểu gradient Điểm bắt đầu phương pháp kiểu gradient dựa phương pháp xấp xỉ bậc hai Ý tưởng xấp xỉ Bài toán (3.8) dãy toán {minv∈X Θsn (v, un )} với Θsn (·, un ) hàm lồi chặt dễ giải Hơn nữa, Giả thiết (3.1) cho phép chứng minh hội tụ dãy cực tiểu {un+1 = argminv∈X Θsn (v, un )} cực tiểu Bài tốn (3.8) Với ý tưởng trình bày trên, với s > cố định, định nghĩa xấp xỉ bậc hai Θ(v) điểm cho trước u sau: Θs (v, u) := F (u) + F (u), v − u + s v−u 2 + αΦ(v) (3.9) Từ Định lí 3.1, dãy cực tiểu {un+1 = argminv∈X Θsn (v, un )} miêu tả vòng lặp un+1 = argminv∈X Θsn (v, un ) = P sαn un − F (un ) n s (3.10) Tiếp theo chứng minh hội tụ dãy (3.10) Để làm điều đó, cần kết sau: Bổ đề 3.2 Cho Giả thiết 3.1 Giải sử dãy {un } cho (3.10), dãy {sn } thỏa mãn sn ∈ [s, s] (0 < s ≤ s), Θ(un+1 ) Θsn (un+1 , un ) Khi đó, dãy {Θ(un )} đơn điệu giảm, limn→∞ un+1 − un = dãy {un } bị chặn Định lý 3.2 (Sự hội tụ mạnh) Cho Giả thiết 3.1 Thêm nữa, giả sử F khả vi Frechét với số Lipschitz L Cho dãy {un } xác định (3.10) dãy {sn } thỏa mãn sn ∈ [s, s] (0 < s ≤ L ≤ s) Θ(un+1 ) Θsn (un+1 , un ) 21 Khi đó, tồn dãy {unj } {un } hội tụ mạnh đến phần tử u∗ ∈ X j → ∞ Hơn nữa, u∗ điểm dừng Θ Từ định lí này, vịng lặp (3.10) hội tụ đến điểm dừng Bài toán (3.8) kich thước bước (stepsizes) sn thỏa mãn điều kiện: với n, • {sn } bị chặn, ví dụ sn ∈ [s, s] (0 < s ≤ L ≤ s), • Θ(un+1 ) Θsn (un+1 , un ) Thêm hai điều kiện vào vòng lặp (3.10), phương pháp kiểu gradient trình bày Giải thuật 3.3.1 Algorithm 3.3.1 Phương pháp kiểu gradient Input: Khởi tạo u0 : Φ(u0 ) < ∞, µ ∈ (1, ∞) s0 ∈ [s, s] (0 < s ≤ L/µ ≤ s) 1: 2: for n = 0, 1, 2, repeat sn F 3: un+1 ← P sαn (un − (un )) 4: if Θ(un+1 ) > Θsn (un+1 , un ) then sn ← sn µ 5: end if 6: 7: until Θ(un+1 ) 8: Tính giá trị dự đốn cho sn+1 9: Θsn (un+1 , un ) or sn ∈ / [s, s] end for Output: u = lim un 3.3.2 Phương pháp Newton nửa trơn Điều kiện tối ưu bậc cho Bài toán (3.8) cho D(u) := u − Pβα (u − βF (u)) = 0, (3.11) với số β > cố định Chú ý D(·) không khả vi Gâteaux Tuy nhiên, bên dưới, D(·) khả vi Newton, phương pháp Newton nửa trơn áp dụng Trong phần này, chứng minh tính khả vi Newton tốn tử Pλ (·) trình bày phương pháp Newton nửa trơn để giải 22 số Phương trình (3.11) Để kết thúc việc này, nhắc lại định nghĩa khả vi Newton đưa công thức cho đạo hàm Newton Pλ (·) Cho hiểu biết đầy đủ chi tiết tính khả vi Newton, chúng tơi giới thiệu cơng trình nghiên cứu [7, 18, 32] tài liệu tham khảo cơng trình Định nghĩa 3.1 Cho H1 H2 không gian Banach U ⊂ H1 tập mở Một ánh xạ ψ : U → H2 gọi khả vi Newton u ∈ U tồn hàm χ : U → L(H1 , H2 ) thỏa mãn: ψ(u + h) − ψ(u) − χ(u + h)h H2 = (3.12) lim h→0 h H1 Hàm χ gọi đạo hàm Newton ψ u Hơn nửa, hàm χ gọi đạo hàm Newton ψ U đạo hàm Newton ψ u ∈ U Đạo hàm Newton tổng quát hóa đạo hàm Frétchet Người ta [7, 18, 32] hàm có đạo hàm Frétchet đạo hàm đạo hàm Newton Hơn nữa, đạo hàm Newton có tính chất tương tự đạo hàm Frétchet, chẳng hạn tổng hai hàm khả vi Newton khả vi Newton hợp hàm khả vi Newton hàm khả vi Frétchet hàm khả vi Newton [27] Bổ đề 3.3 Cho Pλ (·) xác định (3.7) với λ > Chúng ta định nghĩa họ toán tử G(u) : X → X xác định  v , với u > λ k k , (3.13) G(u)v k = 0, với u λ k uk = u, ϕk vk = v, ϕk (a) G(u)(·) tốn tử tuyến tính liên tục với G(u) với u ∈ X (b) Pλ hàm khả vi Newton G(u) đạo hàm Newton Pλ u 23 Nhận xét 3.1 G(u) toán tử chiếu lên tập hệ số hoạt động (active) Pλ (u) Trong ký hiệu ma trận, biểu diễn đạo hàm G(u) sau: G(u) = IA , 0 A = {k ∈ Λ : uk > λ} Sử dụng ký hiệu trên, tính đạo hàm Newton D Định lý 3.3 Cho phiếm hàm F khả vi Fréchet đến cấp hai tập mở U giả sử F liên tục Lipschitz lân cận u ∈ U Khi đó, D xác định (3.11) khả vi Newton u đạo hàm Newton D u cho D (u) = I − G(u − βF (u))(I − βF (u)) Hơn nữa, tập hoạt động không hoạt động (active and inactive sets) u tương ứng A(u) = {k ∈ Λ : [u − βF (u)]k > βα}, I(u) = {k ∈ Λ : [u − βF (u)]k βα} toán tử F (u) biểu diễn F (u) = MAA MAI MIA MII Thì đạo hàm Newton D u cho công thức sau: D (u) = 0 II + IA (βF (u)) = 0 βMAA βMAI II (3.14) Bây phân tích phương pháp Newton nửa trơn cho phương trình (3.11) đưa điều kiện đủ cho hội tụ địa phương phương pháp Phương pháp sử dụng lĩnh vực toán ngược số tác giả, xem [7, 18, 32] Gần 24 đây, cách tiếp xận áp dụng cho tốn chỉnh hóa thưa [14, 27] Như thảo luận phần trước, thay cho việc xấp xỉ trực tiếp cho cực tiểu Bài toán (3.8) nhắm vào việc giải phương trình (3.11) Phương pháp Newton nửa trơn cho phương trình có dạng: un+1 = un − D (un )−1 D(un ) (3.15) Để nhận giải thuật tiện lợi hơn, giới thiệu tập hoạt động không hoạt động sau: An = {k ∈ Λ : [un − βF (un )]k > βα}, In = {k ∈ Λ : [un − βF (un )]k βα} Khi đó, Định lí 3.3, có: n+1 u n =u − n =u − = −1 β MAn An −M−1 An An MAn In IIn −1 β MAn An −M−1 An An MAn In IIn n unAn − M−1 An An [F (u )] An un − Pβα (un − βF (un )) β[F (un )] unIn − MAn In unIn An (3.16) Ở đây, ngầm giả định M−1 An An tồn tại.Từ cơng thức trên, ta thấy rẳng để tính un+1 , đặt un+1 In = 0, sau giải phương trình (có kích thước bé hơn) MAn An δuAn = n [F (un )] An − MAn In unIn tính un+1 An = uAn − δuAn Chúng ta cần vài điều kiện cho F để chứng minh hội tụ địa phương phương pháp Newton nửa trơn cho vòng lặp (3.15) (3.16) Giả thiết 3.2 Giả sử 1) Phương trình (3.11) có nghiệm u∗ ∈ U, U tập mở 2) F khả vi Fréchet đến cấp hai, F F liên tục Lipschitz U 25 3) Với tập số hữu hạn A ⊂ Λ, toán tử F (u) thu hẹp A có nghịch đảo bị chặn, tức F biểu diễn F (u) = MAA MAI , MIA MII tồn ρ > cho M−1 AA tồn bị chặn hình cầu Bρ (u∗ ) ⊂ U Với Giả thiết 3.2, dựa kỷ thuật chứng minh [14] phương pháp Newton nửa trơn hội tụ địa phương siêu tuyến tính Để làm điều đó, cần kết bổ trợ sau: Bổ đề 3.4 Giả sử F liên tục Lipschitz với số Lipschitz L rong lân cận u∗ Khi đóm tồn k0 ∈ Λ ρ > cho điều kiện u − u∗ < ρ suy ta tập hoạt động A(u) thỏa mãn quan hệ sau: A(u) ⊂ [1, k ] Hơn nữa, k ρ phụ thuộc vào β, u∗ , L α MAA MAI MIA MII D (u) : X → X khả nghịch Bổ đề 3.5 Nếu F (u) = D (u)−1 M−1 AA MAA đơn ánh, + MAI β + 1, A I tương ứng tập hoạt động không hoạt động u Định lý 3.4 Nếu Giả thiết 3.2 thỏa mãn, tồn r > cho điều kiện u0 − u∗ < r suy dãy un , xác định (3.15), thỏa mãn un − u∗ < r với n, un → u∗ siêu tuyến tính 26 Tài liệu tham khảo [1] Ravi P Agarwal, Maria Meehan, and Donal O’Regan Fixed point theory and applications, volume 141 Cambridge university press, 2001 [2] Gilles Aubert and Pierre Kornprobst Mathematical Problems in Image Processing: Partial Differential Equations and the Calculus of Variations Springer Publishing Company, Incorporated, 2010 [3] Jean-Fran¸cois Aujol Some first-order algorithms for total variation based image restoration J Math Imaging Vision, 34(3):307–327, 2009 [4] Vasile Berinde Iterative approximation of fixed points, volume 1912 Springer, 2007 [5] Thomas Bonesky, Kristian Bredies, Dirk A Lorenz, and Peter Maass A generalized conditional gradient method for nonlinear operator equations with sparsity constraints Inverse Problems, 23(5):2041–2058, 2007 [6] Kim C Border Fixed point theorems with applications to economics and game theory Cambridge university press, 1989 [7] Xiaojun Chen Superlinear convergence of smoothing quasiNewton methods for nonsmooth equations J Comput Appl Math., 80(1):105–126, 1997 [8] Xiaojun Chen, Zuhair Nashed, and Liqun Qi Smoothing methods and semismooth methods for nondifferentiable operator 27 equations SIAM Journal on Numerical Analysis, 38(4):1200– 1216, 2000 [9] Ingrid Daubechies, Michel Defrise, and Christine De Mol An iterative thresholding algorithm for linear inverse problems with a sparsity constraint Comm Pure Appl Math., 57(11):1413–1457, 2004 [10] Heinz Werner Engl, Martin Hanke, and Andreas Neubauer Regularization of inverse problems, volume 375 Springer Science & Business Media, 1996 [11] Andrzej Granas and James Dugundji Fixed point theory Springer Science & Business Media, 2013 [12] Markus Grasmair, Markus Haltmeier, and Otmar Scherzer Sparse regularization with lq penalty term Inverse Problems, 24(5):055020, 2008 [13] Derek Greene, Gerard Cagney, Nevan Krogan, and Pádraig Cunningham Ensemble non-negative matrix factorization methods for clustering protein–protein interactions Bioinformatics, 24(15):1722–1728, 2008 [14] R Griesse and D A Lorenz A semismooth Newton method for Tikhonov functionals with sparsity constraints Inverse Problems, 24(3):035007, 19, 2008 [15] Dinh Nho Hào and Tran Nhan Tam Quyen Convergence rates for total variation regularization of coefficient identification problems in elliptic equations i Inverse Problems, 27(7):075008, 2011 [16] Dinh Nho Hào and Tran Nhan Tam Quyen Convergence rates for tikhonov regularization of a two-coefficient identification problem in an elliptic boundary value problem Numerische Mathematik, 120(1):45–77, 2012 28 [17] Dinh Nho Hào and Tran Nhan Tam Quyen Convergence rates for total variation regularization of coefficient identification problems in elliptic equations ii Journal of Mathematical Analysis and Applications, 388(1):593–616, 2012 [18] M Hintermă uller, K Ito, and K Kunisch The primal-dual active set strategy as a semismooth Newton method SIAM J Optim., 13(3):865888 (2003), 2002 [19] Michael Hintermă uller Semismooth newton methods and applications Department of Mathematics, Humboldt-University of Berlin, 2010 [20] Mohamed A Khamsi and William A Kirk An introduction to metric spaces and fixed point theory, volume 53 John Wiley & Sons, 2011 [21] Daniel D Lee and H Sebastian Seung Learning the parts of objects by non-negative matrix factorization Nature, 401(6755):788–791, 1999 [22] D A Lorenz Convergence rates and source conditions for Tikhonov regularization with sparsity constraints J Inverse Ill-Posed Probl., 16(5):463–478, 2008 [23] Dirk A Lorenz, Peter Maass, and Pham Q Muoi Gradient descent for Tikhonov functionals with sparsity constraints: theory and numerical comparison of step size rules Electron Trans Numer Anal., 39:437–463, 2012 [24] Pham Quy Muoi, Dinh Nho Hào, Peter Maass, and Michael Pidcock Semismooth newton and quasi-newton methods in weighted l1 -regularization Journal of Inverse and Ill-Posed Problems, 21(5):665–693, 2013 [25] Pham Quy Muoi, Dinh Nho Hào, Peter Maass, and Michael Pidcock Semismooth newton and quasi-newton methods in weighted l1 -regularization Journal of Inverse and Ill-Posed Problems, 21(5):665–693, 2013 29 [26] Pham Quy Muoi, Dinh Nho Hào, Peter Maass, and Michael Pidcock Descent gradient methods for nonsmooth minimization problems in ill-posed problems Journal of Computational and Applied Mathematics, 298:105–122, 2016 [27] Pham Quy Muoi, Dinh Nho Hào, Peter Maass, and Michael Pidcock Descent gradient methods for nonsmooth minimization problems in ill-posed problems J Comput Appl Math., 298:105–122, 2016 [28] Pham Quy Muoi, Dinh Nho Hao, Sujit Kumar Sahoo, Dongliang Tang, Nguyen Huu Cong, and Cuong Dang Inverse problems with nonnegative and sparse solutions: algorithms and application to the phase retrieval problem Inverse Problems, 34(5):055007, 2018 [29] Liqun Qi and Defeng Sun A survey of some nonsmooth equations and smoothing newton methods In Progress in optimization, pages 121–146 Springer, 1999 [30] Phạm Quý Mười, Phan Quang Như Anh, Dương Xuân Hiệp, and Phan Đức Tuấn Applying semismooth Newton method to find fixed points of nonsmooth functions of one variable Tạp chí Khoa học Công nghệ - Đại học Đà Nẵng, 6(127):37–40, 2018 [31] Paris Smaragdis and Judith C Brown Non-negative matrix factorization for polyphonic music transcription In Applications of Signal Processing to Audio and Acoustics, 2003 IEEE Workshop on., pages 177–180 IEEE, 2003 [32] Michael Ulbrich Semismooth Newton methods for operator equations in function spaces SIAM J Optim., 13(3):805–842 (2003), 2002 [33] Pierre Weiss, Laure Blanc-Féraud, and Gilles Aubert Efficient schemes for total variation minimization under constraints in 30 image processing SIAM journal on Scientific Computing, 31(3):2047–2080, 2009 [34] Dương Xuân Hiệp, Phạm Quý Mười, and Phan Đức Tuấn Một số tính chất đạo hàm Newton hàm biến Tạp chí Khoa học Cơng nghệ - Đại học Đà Nẵng, 9(118):94–98, 2017 ... tốn tối ưu khơng trơn - Ứng dụng giải thuật đề xuất vào giải tốn tối ứu khơng trơn xuất ứng dụng khác toán ngược, xử lý ảnh, xử lý tín hiệu, 3 Tính sáng tạo: Các kết đạt ứng dụng để giải số tối. .. ĐẦU Bài toán tối ưu không trơn quan tâm nghiên cứu nhiều nhà toán học giới Cơ sở lý thuyết, giải thuật ứng dụng toán nghiên cứu phát triển mạnh mẽ khoảng 30 năm trở lại Bài toán tối ưu không trơn, ... thuyết tốn tối ưu khơng trơn, giải thuật cho toán tối ưu cịn ít, đặc biệt giải thuật nhanh, hiệu Các giải thuật áp dụng cho số dạng toán cụ thể nhiều tốn tối ưu khơng trơn chưa thể có giải thuật hữu