3TẠP CHÍ KHOA HỌC, Số 46, tháng 5 năm 2021 I Giới thiệu Trong vài thập kỷ gần đây, nhiều thuật toán tối ưu đã được phát triển để giải quyết các vấn đề trong xử lý tín hiệu và hình ảnh, xem [1, 3], tro[.]
THUẬT TỐN MỚI XẤP XỈ LIÊN KẾT QN TÍNH ĐỂ GIẢI BÀI TOÁN CỰC TIỂU LỒI Nguyễn Đức Trường Khoa Toán KHTN Email: truongnd@dhhp.edu.vn Ngày nhận bài: 27/4/2021 Ngày PB đánh giá: 05/5/2021 Ngày duyệt đăng: 10/5/2021 TÓM TẮT: Trong báo này, đề xuất chứng minh hội tụ thuật toán xấp xỉ liên kết qn tính đề giải tốn cực tiểu lồi, toán thường áp dụng xử lý phục chế ảnh Đây phương pháp để giải toán So với thuật toán khác, thuật tốn khơng cần thực phép chiếu, mà sử dụng bước lặp tính tốn Tơi chứng minh hội tụ mạnh dãy lặp điểm bất động chung giao họ ánh xạ không giãn ánh xạ co Các bước chứng minh tiến hành không gian Hilbert thực H Từ khóa: Cực tiểu lồi, điểm bất động, liên tục Lipchitz, nửa liên tục dưới, quán tính, xấp xỉ liên kết quán tính A NEW INERTIAL VISCOSITY APPROXIMATION ALGORITHM FOR CONVEX MINIMIZATION PROBLEMS ABSTRACT: In this paper, I have proposed and demonstrated the convergence of the inertial viscosity approximation algorithm for solving convex minimization problems, application in image processing This is a new way to solve this problem Compared to other methods, this method does not need to use any projection, but uses iterative steps of the calculation I have proved the strong convergence of the repetitive sequence to the common solution of intersecting a family of nonexpansive mappings and the unique fixed point of the contraction mapping Demonstration steps were performed on real Hilbert spaces Key words: convex minimization problems, fixed point, Lipchitz continuous, Lower semicontinuous, inertial, inertial viscosity approximation I Giới thiệu Trong vài thập kỷ gần đây, nhiều thuật toán tối ưu phát triển để giải vấn đề xử lý tín hiệu hình ảnh, xem [1, 3], vấn đề phục chế ảnh mơ hình hóa sau: = y Bx + ε (1.1) Trong x ∈ n ảnh gốc, chưa biết, y ∈ m ảnh mờ thu được, ma trận B ∈ m×n tốn tử làm mờ, cịn ε nhiễu thêm vào Để tìm gần ảnh gốc x , ta cần phải làm cực tiểu giá trị ε cách áp dụng cơng nghệ LASSO [9] thơng qua việc tìm: 1 minn y − Bx + λ x x∈ (1.2) Ở λ số thực không âm, chuẩn l1 , chuẩn chuẩn Euclid TẠP CHÍ KHOA HỌC, Số 46, tháng năm 2021 xuất thuật toán ngưỡng co lặp (FISTA: fast iterative shrinkage-thresholding n algorithm): Cho ánh xạ: f1 : → hàm lồi, khả vi với đạo hàm hàm liên = yn prox f2 I − L ∇f1 ( xn ) tục Lipchitz với hệ số L : ∇f1 hàm L n f : → ∪ {∞} hàm lồi, nửa liên + + 4tn2 t −1 = , θn n tn +1 = tục Bài toán (1.2) trở thành tìm: tn + minn { f1 ( x ) + f ( x )} (1.3) x =+ yn θ n ( yn − yn −1 ) ; n ≥ x∈ n +1 Ta biết, điều kiện [3]: Nếu f1 ( x ) + f ( x ) → ∞ x → ∞ Với x1 = y0 ∈ n , t1 = Hệ số θ n tốn (1.3) có nghiệm Hơn nữa, gọi số quán tính bước lặp nghiệm x* toán (1.3) xác Các tác giả chứng minh hội tụ định thông qua điểm bất động ánh xạ mạnh dãy { xn } áp dụng chúng vào Proximity [3] sau: vấn đề phục chế ảnh = x* proxcf2 ( I − c∇f1 ) ( x* ) (1.4) Như vấn đề cực tiểu lồi Trong c số khơng âm tốn phục chế ảnh thực chất tìm (xem tài liệu [3], trang 11), I điểm bất động chung họ ánh xạ ma trận đơn vị cấp n , proxcf2 ánh xạ không giãn Tn : n → n proximity từ không gian Hilbert H vào Như ta biết, phương pháp lặp H : proxcf2 : H → H cho: Mann đề xuất vào năm 2 1953 [6] phương pháp tiếng để arg cf ( y ) + y − x = prox cf ( x ) y∈H tìm nghiệm xấp xỉ cho điểm bất động Để tìm nghiệm x* ánh xạ không giãn T : n → n Nhưng toán (1.3), thuật toán FBSA (Forwardphương pháp Mann cho kết Backward Splitting Algorithm) [4] hội tụ yếu, để thu kết hội tụ đề xuất: mạnh, ta cần kết hợp với phương pháp xấp = xn +1 proxcn f2 ( I − cn∇f1 )( xn ) ; n ≥ (1.5) xỉ liên kết sau [5, 11] : Tổng quát, vấn đề (1.2) giải toán cực tiểu lồi sau đây: Với điểm khởi đầu x1 nằm dãy số {cn } thỏa mãn < cn < L , dãy { xn } hội tụ nghiệm x* toán (1.3) n Thực chất, ánh xạ Tn : n → n , = Tn ( x) proxc n f2 ( I − cn∇f1 ) ( x) ánh xạ khơng giãn ánh xạ proximity khơng giãn, khơng giãn với trường hợp < cn < L Sau đó, Beck Teboulle [1] đề TRƯỜNG ĐẠI HỌC HẢI PHÒNG = xn +1 γ n g ( xn ) + (1 − γ n ) T ( xn ) , (1.6) n ≥1 Với x1 ∈ H , g : H → H ánh xạ co {γ n } dãy số điều chỉnh thích hợp Cách xây dựng dãy lặp tổ hợp lồi ánh xạ không giãn T ánh xạ co g cho ta kết hội tụ mạnh điểm bất động chung hai ánh xạ nói Trong báo này, tơi đề xuất thuật toán (thuật toán 2.1) kết hợp phương xấp xỉ liên kết kỹ thuật quán Thuật tốn xây dựng giả tính để tìm điểm bất động chung giao thuyết sau: họ ánh xạ khơng giãn • H không gian Hilbert thực ánh xạ co Tôi chứng minh hội tụ mạnh {T : H → H } họ ánh xạ khơng • n dãy lặp nghiệm toán, kết giãn ∞ chứng minh khơng gian Hilbert = • Γ Fix (Tn ) ≠ ∅ n =1 thực Cuối cùng, tơi áp dụng thuật tốn Tn } thỏa mãn điều kiện ( Z ) { • 2.1 vào tốn cực tiểu lồi thơng qua cách xây dựng thuật tốn 3.1 • g : H → H : ánh xạ co với hệ số k Thuật toán 2.1: Giới thiệu số định nghĩa: Cho H không gian Hilber thực với chuẩn tích vơ hướng , •Ánh xạ T : H → H gọi là: i, Liên tục Lipchitz với hệ số L > T ( x ) − T ( y ) ≤ L x − y , ∀x, y ∈ H , ii, Ánh xạ co T liên tục Lipchitz với hệ số L L < , iii, Ánh xạ không giãn T liên tục Lipchitz với L = •Tập điểm bất động ánh xạ T : H → H ký hiệu Fix (T ) =∈ T ( x )} {x H : x = •Dãy ánh xạ {Tn : H → H } , n ≥ , ∞ với Fix (Tn ) ≠ ∅ gọi thỏa mãn n =1 điều kiện ( Z ) [1,2] như: dãy { xn } bị chặn H thỏa mãn: lim xn − T ( xn ) = n →∞ kéo theo tất ∞các điểm tụ yếu = tập Γ Fix (Tn ) ≠ ∅ { xn } thuộc n =1 •Cho C tập lồi, đóng, khác rỗng khơng gian Hilbert thực H Phép chiếu Metric PC định nghĩa sau: PC : H → C ; x PC ( x ) cho x − PC ( x ) , y − PC ( x ) ≤ ∀y ∈ C II Thuật toán hội tụ Chọn dãy {γ n } , {β n } , {τ n } dãy số thực dương, dãy {µn } dãy thực bị chặn, khơng âm Chọn điểm khởi đầu x0 , x1 thuộc khơng gian Hilbert H Vịng lặp: Với n ≥ ta tính tốn xn +1 sau: Bước 1: Ta tính tốn số qn tính: τn min µn , xn − xn −1 θ n = µn xn − xn −1 , xn − xn −1 ≠ 0, (2.1) = Bước 2: Tính xn +1 : xn + θ n ( xn − xn −1 ) wn = (1 − γ n ) Tn ( wn ) + γ n g ( wn ) (2.2) zn = (1 − β n ) Tn ( wn ) + β nTn ( zn ) xn +1 = Đặt n= n + quay lại bước Định lý 2.1 (về hội tụ dãy lặp { xn } ): Dãy lặp { xn } thuật toán 2.1 hội tụ mạnh nghiệm x* , với x* ∈ Γ đồng thời x* = PΓ g ( x* ) tham số thuật toán thỏa mãn điều kiện sau: ( ) •(C1): < ε1 ≤ β n < ε ≤ ∞ < γ n < 1, lim ( β nγ n ) = 0, ∑ β nγ n = ∞ n →∞ •(C2): n =1 τn =0 •(C3): n→∞ β nγ n lim TẠP CHÍ KHOA HỌC, Số 46, tháng năm 2021 Để chứng minh hội tụ dãy { xn } nghiệm x* ta sử dụng hai bổ đề sau: Bổ đề 2.1 [10]: Cho x, y ∈ H t ∈ [ 0,1] , ta có tính chất sau: i, tx + (1 − t ) y = t x + (1 − t ) y − t (1 − t ) x − y 2 2 ii, x ± y = x ± x, y + y 2 2 iii, x + y ≤ x + y, x + y Bổ đề 2.2 [8]: Cho {an } dãy số thực không âm, {bn } dãy thực Cho {tn } ∞ dãy thực nằm khoảng ( 0,1) thỏa mãn ∑ tn = ∞ , giả sử rằng: an +1 ≤ (1 − tn ) an + tnbn , n ∈ n =1 { } Nếu dãy ani dãy {an } thỏa mãn : lim inf ( ani +1 − ani ) ≥ suy i →∞ lim sup ( bni ) ≤ , ta có: lim an = i →∞ n →∞ Kết chứng minh hội tụ: Bước 1: Trước hết, ta thấy {Tn } họ ánh xạ khơng giãn, theo tính chất ánh xạ khơng giãn Fix (Tn ) tập lồi, Γ tập lồi Ta thấy: PΓ g (.) phép chiếu Metric lên tập lồi Γ nên PΓ g (.) ánh xạ co, theo nguyên lý ánh xạ co Banach, tồn điểm x* ∈ Γ để x* = PΓ g ( x* ) , x* = Tn ( x* ) ∀n Ta chứng minh { xn } bị chặn: Từ (2.2) ta có: zn − x* ≤ γ n g ( wn ) − x* + (1 − γ n ) Tn ( wn ) − x* ≤ γ n g ( wn ) − g ( x* ) + γ n g ( x* ) − x* + (1 − γ n ) Tn ( wn ) − x* (2.3) ≤ γ n k wn − x* + γ n g ( x* ) − x* + (1 − γ n ) wn − x* =(1 − γ n (1 − k ) ) wn − x* + γ n g ( x* ) − x* , Khi ta có: xn +1 − x* ≤ (1 − β n ) Tn ( wn ) − x* + β n Tn ( zn ) − x* ≤ (1 − β n ) wn − x* + β n zn − x* ≤ (1 − β nγ n (1 − k ) ) wn − x* + β nγ n g ( x* ) − x* ( ) ≤ (1 − β nγ n (1 − k ) ) xn − x + θ n xn − xn −1 + β nγ n g ( x ) − x * * * (2.4) θ ≤ (1 − β nγ n (1 − k ) ) xn − x* + β nγ n + n xn − xn −1 + g ( x* ) − x* β nγ n θn x − x → n → ∞ , tồn số M đủ lớn Từ (2.1) (C3) ta có: β nγ n n n −1 để θn x − x < M với n ≥ Do đó: β nγ n n n −1 TRƯỜNG ĐẠI HỌC HẢI PHÒNG M + g ( x* ) − x* xn +1 − x ≤ (1 − β nγ n (1 − k ) ) xn − x + β nγ n (1 − k ) 1− k M + g ( x* ) − x* * ≤ max xn − x , 1− k * * (2.5) Theo quy nạp ta có: xn +1 − x * M + g ( x* ) − x* * ≤ max x1 − x , 1− k , ∀n ≥ (2.6) Như { xn } , dãy { g ( wn )} , {Tn ( wn )} , { zn } bị chặn Bước 2: Ta đánh giá xn +1 − x* theo biểu thức xn − x* Trước hết, từ bổ đề 2.1: z n − x* ( ) ( g ( w ) − g ( x )) ( = (1 − γ n ) (Tn ( wn ) − x* ) + γ n g ( wn ) − g ( x* ) + γ n g ( x* ) − x* ≤ (1 − γ n ) (Tn ( wn ) − x* ) + γ n * n ) + 2γ n g ( x* ) − x* , zn − x* ≤ (1 − γ n ) Tn ( wn ) − x* + γ n g ( wn ) − g ( x* ) + 2γ n g ( x* ) − x* , zn − x* 2 ≤ (1 − γ n (1 − k ) ) wn − x* + 2γ n g ( x* ) − x* , zn − x* (2.7) Và: wn − x* 2 2 = xn − x* + θ n2 xn − xn −1 + 2θ n xn − x* , xn − xn −1 ≤ xn − x* + θ n2 xn − xn −1 + 2θ n xn − x* xn − xn −1 (2.8) Từ bổ đề 2.1(i) (2.7), (2.8) ta có : 2 xn +1 − x* = (1 − β n ) Tn ( wn ) − x* + β n Tn ( zn ) − x* − β n (1 − β n ) Tn ( wn ) − Tn ( zn ) 2 ≤ (1 − β n ) wn − x* + β n zn − x* − β n (1 − β n ) Tn ( wn ) − Tn ( zn ) 2 ≤ (1 − β nγ n (1 − k ) ) wn − x* + β nγ n g ( x* ) − x* , zn − x* − β n (1 − β n ) Tn ( wn ) − Tn ( zn ) ≤ (1 − β nγ n (1 − k ) ) xn − x* + θ n2 xn − xn −1 + 2θ n xn − x* xn − xn −1 2 + β nγ n g ( x* ) − x* , zn − x* − β n (1 − β n ) Tn ( wn ) − Tn ( zn ) = (1 − β nγ n (1 − k ) ) xn − x* − β n (1 − β n ) Tn ( wn ) − Tn ( zn ) + β nγ n (1 − k ) bn , 2 TẠP CHÍ KHOA HỌC, Số 46, tháng năm 2021 (2.9) Với θn * * * xn − xn −1 g ( x ) − x , zn − x + − k β γ n n = bn θ +2 xn − x* n xn − xn −1 β nγ n 2 θ n xn − xn −1 * Suy ra: β n (1 − β n ) Tn ( wn ) − Tn ( zn ) ≤ xn − x − xn − xn −1 + β nγ n (1 − k ) M ' (2.10) với M ' = Sup {bn } * {x } Bước 3 : Ta hội tụ dãy * 2n nghiệm x : a= xn − x = t β nγ n (1 − k ) Ta áp dụng bổ đề 2.2 với n n n∈ Từ (2.9) ta có bất đẳng thức sau : an +1 ≤ (1 − tn ) an + tnbn Giả sử có dãy ani dãy {an } thỏa mãn lim inf ( ani +1 − ani ) ≥ , theo (C2) i →∞ (2.10) ta có : lim sup β ni − β ni Tni wni − Tni zni ≤ lim sup ani − ani +1 + β ni γ ni (1 − k ) M ' { } ( i →∞ ) ( ) ( ) ( ) ≤ lim sup ( a − a ) + (1 − k ) M '.lim β γ = − lim inf ( a − a ) i →∞ ni i →∞ ni +1 ni +1 i →∞ ni i →∞ ni ni ≤0 (2.11) ( ) ( ) = Từ β z − T ( w = ) β γ g (w ) −T (w ) Kết hợp (C1) (C2) ta có : lim z − T ( w ) = (2.12) Như từ (2.11) (2.12) ta có : z − T ( z ) ≤ z − T ( w ) + T ( w ) − T ( z ) → Kết hợp điều với (C1) ta có : lim Tni wni − Tni zni i →∞ ni ni ni ni ni ni ni ni ni i →∞ ni ni i → ∞ ni ni ni ni ni ni ni ni ni ni ni Tiếp theo ta lim sup bni ≤ , tức ta phải lim sup g ( x* ) − x* , zni − x* ≤ i →∞ { } dãy {z } cho : Ta chọn dãy zni i →∞ ni j lim g ( x* ) − x* ,= zni − x* lim sup g ( x* ) − x* , zni − x* j →∞ j { } Khi tồn dãy zni j p i →∞ { } thỏa mãn {z dãy zni j ni j p } hội tụ yếu y ∈ H , theo điều kiện ( Z ) họ ánh xạ {Tn } , y ∈ Γ Nhắc lại : x* ∈ Γ, x* = PΓ g ( x* ) nên ta có : g x* − x* , y − x* ≤ ∀y ∈ Γ ( ) Do lim sup g ( x* ) − x* , zni − x*= lim g ( x* ) − x* , zni − x*= i →∞ TRƯỜNG ĐẠI HỌC HẢI PHÒNG p →∞ jp g ( x* ) − x* , y − x* ≤ Điều cho ta kết lim sup bni ≤ i →∞ Như vậy, áp dụng bổ đề 2.2, dãy {an } hội tụ mạnh , hay xn → x* n → ∞ Định lý chứng minh III Áp dụng thuật toán vào toán cực tiểu lồi : Bây giờ, ta áp dụng thuật toán 2.1 vào toán cực tiểu tổng hai hàm lồi f1 ( x ) + f ( x ) , cụ thể sau : Giả sử : • f1 : n → hàm lồi, khả vi với đạo hàm liên tục Lipchitz ∇f1 f : n → {∞} hàm lồi, nửa liên tục • = Ω arg ( f1 ( x ) + f ( x ) ) ≠ ∅ • n n • g : → ánh xạ co Thuật toán 3.1 : Chọn dãy {γ n } , {β n } , {τ n } , {cn } dãy số thực dương, dãy {µn } dãy thực bị chặn, không âm Chọn điểm khởi đầu x0 , x1 thuộc không gian Hilbert H Vịng lặp: Với n ≥ ta tính tốn xn +1 sau: Bước 1: Ta tính tốn số quán tính: τn min µn , , xn − xn −1 ≠ 0, xn − xn −1 θn = µn xn − xn −1 = (3.1) Bước 2: Tính xn +1 : wn = xn + θ n ( xn − xn −1 ) zn = (1 − γ n ) proxcn f2 ( I − cn∇f1 )( wn ) + γ n g ( wn ) xn +1 = (1 − β n ) proxcn f2 ( I − cn∇f1 )( wn ) + β n proxcn f2 ( I − cn∇f1 )( zn ) Đặt n= n + quay lại bước (3.2) Định lý 3.1 : Dãy lặp { xn } thuật toán 3.1 hội tụ mạnh nghiệm ( ) x* : = x* ∈ Ω arg ( f1 ( x ) + f ( x ) ) đồng thời x* = PΩ g ( x* ) tham số n x∈ thuật toán thỏa mãn điều kiện sau: •(C1): < ε1 ≤ β n < ε ≤ ∞ 0, ∑ β nγ n = ∞ •(C2): < γ n < 1, lim ( β nγ n ) = n →∞ τn =0 n →∞ β γ n n •(C3): lim •(C4): < cn , c < n =1 ; lim cn = c L n→∞ TẠP CHÍ KHOA HỌC, Số 46, tháng năm 2021 ... hợp lồi ánh xạ không giãn T ánh xạ co g cho ta kết hội tụ mạnh điểm bất động chung hai ánh xạ nói Trong báo này, tơi đề xuất thuật toán (thuật toán 2.1) kết hợp phương xấp xỉ liên kết kỹ thuật quán. .. ta kết lim sup bni ≤ i →∞ Như vậy, áp dụng bổ đề 2.2, dãy {an } hội tụ mạnh , hay xn → x* n → ∞ Định lý chứng minh III Áp dụng thuật toán vào toán cực tiểu lồi? ?: Bây giờ, ta áp dụng thuật toán. .. Mann cho kết Backward Splitting Algorithm) [4] hội tụ yếu, để thu kết hội tụ đề xuất: mạnh, ta cần kết hợp với phương pháp xấp = xn +1 proxcn f2 ( I − cn∇f1 )( xn ) ; n ≥ (1.5) xỉ liên kết sau