Phương pháp điểm gần kề quán tính của tseng cho bài toán tối ưu không lồi và không trơn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG THỊ TUYẾT MAI PHƯƠNG PHÁP ĐIỂM GẦN KỀ QUÁN TÍNH CỦA TSENG CHO BÀI TỐN TỐI ƯU KHƠNG LỒI VÀ KHƠNG TRƠN LUẬN VĂN THẠC SĨ TỐN HỌC THÁI NGUYÊN - 2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG THỊ TUYẾT MAI PHƯƠNG PHÁP ĐIỂM GẦN KỀ QN TÍNH CỦA TSENG CHO BÀI TỐN TỐI ƯU KHƠNG LỒI VÀ KHƠNG TRƠN Chun ngành: Tốn ứng dụng Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TS NGUYỄN BƯỜNG THÁI NGUYÊN - 2016 i Mục lục Lời cảm ơn ii Danh sách ký hiệu iii Mở đầu 1 Một số vấn đề 1.1 Hàm nhiều biến 1.2 Các khái niệm vi phân mở rộng 11 1.3 Một số khoảng cách cần dùng 12 1.4 Thuật toán điểm gần kề quán tính cho hàm lồi 12 Phương pháp điểm gần kề quán tính cho tốn tối ưu khơng lồi khơng trơn 15 2.1 Thuật toán tiến-lùi 15 2.2 Thuật toán tiến-lùi-tiến loại Tseng 19 Tài liệu tham khảo 35 ii Lời cảm ơn Luận văn hoàn thành trường Đại học Khoa học, Đại học Thái Nguyên giúp đỡ hướng dẫn tận tình GS.TS Nguyễn Bường Qua đây, tác giả xin bày tỏ lịng kính trọng biết ơn sâu sắc tới Thầy, người dành nhiều thời gian tâm huyết để hướng dẫn tạo điều kiện cho tác giả suốt thời gian làm luận văn Trong trình học tập làm luận văn, từ giảng giáo sư, phó giáo sư cơng tác Viện Tốn học, Viện Cơng nghệ Thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam, thầy cô trường Đại học Khoa học - Đại học Thái Nguyên, tác giả trau dồi thêm nhiều kiến thức phục vụ cho việc nghiên cứu công tác thân Tác giả xin gửi lời cảm ơn chân thành đến thầy cô Tác giả xin chân thành cảm ơn Ban giám hiệu, Phịng đào tạo, khoa Tốn - Tin trường Đại học Khoa học - Đại học Thái Nguyên quan tâm giúp đỡ tác giả suốt thời gian học tập trường Cuối tác giả xin gửi lời cảm ơn tới gia đình, bạn bè động viên, giúp đỡ tạo điều kiện tốt cho tác giả trình học tập, nghiên cứu làm luận văn Thái Nguyên, tháng 11 năm 2015 Học viên Đặng Thị Tuyết Mai iii Danh sách ký hiệu H không gian Hilbert thực N tập hợp số nguyên không âm R+ tập hợp số thực không âm R++ tập hợp số thực dương E ma trận thực n × n KL Kurdyka-Lojasiewicz x, y tích vơ hướng hai vectơ x y · chuẩn sinh tích vơ hướng dom f miền hữu dụng hàm f Fix T tập điểm bất động toán tử T proxf toán tử gần kề hàm f Γ0 (H) họ tất hàm lồi f nửa liên tục từ H đến (−∞, +∞] ∂f (x) vi phân f x crit f tập tất (giới hạn) điểm kì dị f dist (x, E) khoảng cách điểm x đến tập E Du khoảng cách Bregman hàm u : Rm → R Mở đầu Bài toán tối ưu tốn tìm phương án chấp nhận để làm cực trị hàm số hàm véc tơ Đây tốn có nhiều ứng dụng thực tế Khó khăn việc nghiên cứu giải toán phải tìm phương án tối ưu miền chấp nhận Để giải khó khăn này, phương pháp điểm gần kề quán tính cách tiếp cận để giải tốn tối ưu khơng lồi không trơn Trong luận văn xét toán tối ưu dạng sau (P ) inf [f (x) + h(x)] x∈Rm Khi xét tính lồi, cụ thể f h hàm lồi, có nhiều lược đồ tính số phân tách loại gần kề sử dụng để giải tốn Lưu ý loại thuật toán tiến-lùi [3] thuật toán tiến-lùi-tiến [4] cải tiến thuật toán tiến-lùi với điều kiện sử dụng độ lớn bước loại Nesterov Các thuật toán tách áp dụng cho hàm f h áp dụng cho lược đồ lặp riêng biệt Chính xác hơn, bước tiến áp dụng cho hàm trơn qua gradient cịn bước lùi áp dụng cho hàm khơng trơn qua việc sử dụng toán tử gần kề Thuật tốn nói ứng dụng giải toán thực tế xuất lĩnh vực xử lí hình ảnh số vấn đề khác kĩ thuật Các sơ đồ lặp có nguồn gốc việc rời rạc hóa theo thời gian bao hàm thức vi phân bậc hai nhìn chung bước lặp xác định việc dùng hai bước lặp trước Thuật tốn vịng mười lăm năm gần ngày xét nhiều báo [4] Việc mở rộng hội tụ thuật toán loại gần kề đến tập hợp không lồi vấn đề đầy thách thức Bằng cách giả thiết hàm mục tiêu có số tính chất giải tích sử dụng kết khơng trơn xét tính chất Kurdyka-Lojasiewicz cho hàm trơn, lược đồ tiến-lùi cho giải toán chứng minh có tính chất hội tụ tốt trường hợp khơng lồi [4] Mục đích đề tài luận văn nghiên cứu kết [4] phương pháp điểm gần kề quán tính cho tốn tối ưu khơng lồi khơng trơn khơng gian hữu hạn chiều Nội dung luận văn gồm hai chương: Chương 1: Một số vấn đề Trong chương trình bày số khái niệm, định lí, tính chất số hàm nhiều biến như: Hàm lồi, hàm nửa liên tục, KL hàm Khái niệm vi phân hàm lồi, vi phân Fréchet Các khái niệm đạo hàm khả vi, hàm khoảng cách đến điểm, khoảng cách Bregman Giới thiệu thuật toán điểm gần kề quán tính cho hàm lồi Chương 2: Phương pháp điểm gần kề qn tính cho tốn tối ưu khơng lồi khơng trơn Chương trình bày hai loại thuật toán: thuật toán tiến-lùi thuật tốn tiến-lùi-tiến loại Tseng Thơng qua việc hồn thành luận văn, tác giả nhận thấy vấn đề đề cập luận văn rộng lớn mà khuôn khổ luận văn thể phần Tuy nhiên vấn đề trình bày luận văn kiến thức khởi đầu định hướng cho tác giả tiếp cận vấn đề sau Mặc dù tác giả cố gắng thực luận văn, với trình độ hạn chế nhiều lý khác, luận văn chắn khơng tránh khỏi thiếu sót Kính mong góp ý thầy cơ, bạn anh chị đồng nghiệp để luận văn hoàn chỉnh Chương Một số vấn đề Trong chương tác giả trình bày số khái niệm, định lí, tính chất số hàm như: Hàm lồi, hàm nửa liên tục, KL hàm Dưới vi phân mở rộng, vi phân Fréchet Các khái niệm đạo hàm khả vi hàm lồi, hàm khoảng cách đến điểm, khoảng cách Bregman Giới thiệu thuật tốn điểm gần kề qn tính cho hàm lồi Các kiến thức chương tổng hợp từ tài liệu [1], [2], [3] [4] 1.1 Hàm nhiều biến Trước hết tác giả trình bày số khái niệm, tính chất quan trọng hàm lồi Đây kiến thức chuẩn bị cần thiết xuyên suốt toàn luận văn Định nghĩa 1.1 Hàm f : S → [−∞, +∞] xác định tập hợp lồi S ⊆ Rn gọi hàm lồi S với x1 , x2 ∈ S số thực λ ∈ [0, 1] ta có: f ((1 − λ)x1 + λx2 ) ≤ (1 − λ)f (x1 ) + λf (x2 ) Khi vế phải xác định, nghĩa hệ thức cần thỏa mãn trừ f (x1 ) = −f (x2 ) = ±∞ (vì biểu thức +∞, −∞ khơng có nghĩa) Hàm f gọi lồi chặt S với x1 , x2 ∈ S, x1 = x2 số thực λ ∈ (0, 1) ta có: f ((1 − λ)x1 + λx2 ) < (1 − λ)f (x1 ) + λf (x2 ) Hiển nhiên, hàm lồi chặt hàm lồi, điều ngược lại không Định nghĩa 1.2 Cho hàm f : S → [−∞, +∞] với S ⊆ Rn Các tập: dom f = {x ∈ S : f (x) < +∞}, epi f = {(x, α) ∈ S×R : f (x) ≤ α} gọi miền hữu dụng, tập đồ thị hàm f Nếu dom f = ∅ (f không đồng +∞) f (x) > −∞ với x ∈ S ta nói hàm f thường (proper) Nói cách khác, f thường dom f = ∅ f hữu hạn dom f Có thể chứng minh hàm f lồi S a) tập đồ thị epi f tập lồi, b) f ( m k=1 k m λk x ) ≤ λk f (x ) với x ∈ S, k k k=1 m λk = λk ≥ với k=1 k m số nguyên m ≥ (bất đẳng thức Jensen) Hàm lồi f : S → [−∞, +∞] mở rộng thành hàm lồi xác định tồn khơng gian Rn cách đặt f (x) = +∞ với x = S Vì vậy, để đơn giản ta thường xét hàm lồi tồn Rn Ví dụ 1.1 Các hàm sau hàm lồi: a) f : R → R, f (x) = ax + b với a, b số thực Thật vậy, với a, b ∈ R; x, y ∈ R, λ ∈ (0, 1) ta có: f (λx + (1 − λ)y) = a(λx + (1 − λ)y) + b = λ(ax + b) + (1 − λ)(ay + b), thỏa mãn định nghĩa hàm lồi b) Ánh xạ chuẩn · : X n → R X không gian tuyến tính định chuẩn thực 21 n ≥ 1, hàm Nếu lấy u(x) = x ∀x ∈ Rm Trong trường hợp này, Du (x, y) = x−y 2 ∀(x, y) ∈ Rm × Rm σ = L∇u = Thuật toán trở thành    pn ∈ argminx∈Rm f(x) + b2 2λ n (∀n ≥ 1)   xn+1 = pn + λn [∇h(xn ) − ∇h(pn )] , (2.14) với b2 = x − xn + λn ∇h(xn ) − αn (xn − xn−1 ) Sự hội tụ thuật toán loại Tseng quán tính nghiên cứu [4] với điều kiện hàm lồi pn xác định đưa vào toán tử gần kề f Ngoài ra, α = 0, mà ràng buộc αn = (2.14) trở thành (∀n ≥ 1)    pn ∈ argminx∈Rm f(x) + x − xn + λn ∇h(xn ) 2λn (2.15)   x = p + λ [∇h(x ) − ∇h(p )] , n+1 n n n n Đây phần mở rộng tới trường hợp khơng lồi loại thuật tốn Tseng cổ điển [4] Sự hội tụ (2.15) xét trường hợp lồi [4] Mặt khác, ta lấy h(x) = ∀x ∈ Rm , lược đồ (2.14) trở thành (∀n ≥ 1) xn+1 ∈ argminx∈Rm f(x) + x − xn − αn (xn − xn−1 ) 2λn (2.16) Là thuật toán điểm gần kề qn tính phát biểu trường hợp khơng lồi tìm điểm kì dị f khơng có thành phần qn tính, lúc α = αn = ∀n ≥ 1, xét KL hàm 22 Bây tiếp tục với hội tụ thuật toán Bổ đề sau hữu ích phần Bổ đề 2.1 Giả sử h : Rm → R hàm vi phân Frécchet, với L∇h -liên tục Lipschitz Khi đó: h(y) ≤ h(x) + ∇h(x), y − x + L∇h y−x 2 ∀(x, y) ∈ Rm × Rm Bổ đề 2.2 Đối với toán 2.1, xét dãy tạo nên thuật tốn 2.1 Thì với ν, µ > ta ln có bất đẳng thức: (f + h)(pn ) + M1 xn − pn ≤(f + h)(pn−1 ) + M2 xn−1 − pn−1 (2.17) ∀n ≥ 2, σ α − L∇h − ν − µ, λ 2λ (2.18) L2∇h L∇u + ν + L∇h + 2ν 2λ α (1 + λL∇h )2 + µλ L2∇h + λ 2µ (2.19) M1 : = M2 : = λ L2∇h Chứng minh Ta chọn ν, µ > tùy ý cố định n ≥ Theo quy tắc cho (2.12) cho bất đẳng thức f (pn ) + ≤ f (pn−1 ) + αn Du (pn , xn ) + pn , ∇h(xn ) + pn , xn−1 − xn λn λn αn Du (pn−1 , xn ) + pn−1 , ∇h(xn ) + pn−1 , xn−1 − xn λn λn Kết hợp với (2.13) h(pn ) ≤ h(pn−1 ) + ∇h(pn−1 ), pn − pn−1 + L∇h pn − pn−1 2 23 Ta (f + h)(pn ) + σ pn − x n 2λn ≤ (f + h)(pn−1 ) + + L∇u xn − pn−1 2λn L∇h pn − pn−1 2 + ∇h(pn−1 ) − ∇h(xn ), pn − pn−1 αn + pn − pn−1 , xn − xn−1 λn (2.20) Theo (2.12) ta có: xn − pn−1 = λn−1 h(xn−1 ) − h(pn−1 ) (2.21) ≤ λn−1 L∇h xn−1 − pn−1 Và từ xn − xn−1 ≤ (1 + λn−1 L∇h ) xn−1 − pn−1 (2.22) Và pn − pn−1 ≤ 2( xn − pn ) + λ2n−1 L2∇h xn−1 − pn−1 (2.23) Hơn nữa, ta có ∇h(pn−1 ) − ∇h(xn ), pn − pn−1 ≤ ν pn − pn−1 2 L2 + ∇h xn − pn−1 2ν (2.24) Và pn − pn−1 , xn − xn−1 ≤ µ pn − pn−1 2 + xn − xn−1 2µ (2.25) Từ (2.20)-(2.25) đạt sau xếp lại số hạng (f + h)(pn ) + M1,n xn − pn ≤(f + h)(pn−1 ) + M2,n xn−1 − pn−1 (2.26) 24 Trong M1,n = Và σ αn − L∇h − ν − µ 2λn λn L∇u L2∇h + ν + L∇h + 2ν 2λn (1 + λn−1 L∇h )2 2 µλn−1 L∇h + 2µ M2,n =λ2n−1 L2∇h + αn λn Cuối cùng, cách sử dụng giới hạn dãy số thực nâng lên lũy thừa dễ dàng suy M1,n ≥ M1 M2,n ≤ M2 Bổ đề 2.3 Trong trường hợp tốn 2.1, xét tùy ý ν, µ chọn λ > α ≥ cho L2∇h 2λ(L∇h + ν) + λ λ + L∇u + 2λ(L∇h + ν) ν (1 + λL∇h )2 2 + 2α µ + µλ L∇h + 2µ L2∇h (2.27) < σ Khi λ > λ cho số đưa vào Bổ đề 2.2 thực M1 > M2 Chứng minh Đặt L2∇h L∇u a1 = + + ν + L∇h , 2ν 2λ a2 = µλ L2∇h (1 + λL∇h )2 + , 2µ a3 = µ(λ + ρ)2 L2∇h + (1 + (λ + ρ)L∇h )2 2µ Ràng buộc (2.27) viết tương đương sau: 2λ L∇h + ν + α α µ + λ2 L2∇h a1 + a2 λ λ < σ 25 Tồn ρ > cho: 2(λ + ρ) L∇h + ν + α α µ + (λ + ρ)2 L2∇h a1 + a3 < σ λ λ (2.28) Ta định nghĩa λ : = λ + ρ từ bất đẳng thức ràng buộc ta M1 > M2 Bổ đề 2.4 Đối với toán 2.1, giả thiết f + h giới nội xét dãy tạo thuật tốn 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì kết luận sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞; (ii) dãy ((f + h)(pn ) + M2 xn − pn )n≥1 đơn điệu giảm hội tụ; (iii) dãy ((f + h)(pn ))n≥1 hội tụ Chứng minh Từ Bổ đề 2.2 suy với n ≥ (f + h)(pn ) + M2 xn − pn + (M1 − M2 ) xn − pn ≤ (f + h)(pn−1 ) + M2 xn−1 − pn−1 2 (2.29) Kết luận từ Bổ đề 2.3, Bổ đề 1.2 ràng buộc (2.22) Bổ đề sau cho ta đánh giá cho số thành phần xuất vi phân giới hạn Bổ đề 2.5 Đối với toán 2.1, xét dãy tạo nên thuật tốn 2.1 Thì ta có với n ≥ 2: sn ∈ ∂(f + h)(pn ) (2.30) Trong sn = αn (∇u(xn ) − ∇u(pn ) + ∇h(pn ) − ∇h(xn ) + (pn−1 − xn−1 ) λn λn αn λn−1 + (∇h(xn−1 ) − ∇h(pn−1 )) λn 26 Hơn (∀n ≥ 2) sn ≤ L∇u + L∇h xn − pn λn αn + (1 + λn−1 L∇h ) xn−1 − pn−1 λn (2.31) Chứng minh Lấy n ≥ Bằng cách sử dụng công thức vi phân tổng, từ (2.12) ta có: ∈ ∂f (pn ) + Do αn (∇u(pn ) − ∇u(xn )) + ∇h(xn ) + (xn−1 − xn ) λn λn (∇u(pn ) − ∇u(xn )) λn αn + ∇h(xn ) − ∇h(pn ) + (xn−1 − xn ) λn ∈ ∂(f + h)(pn ) + Từ ràng buộc (2.30) từ đồng thức trên, ta có xn−1 − xn = xn−1 − pn−1 − (xn − pn−1 ) = xn−1 − pn−1 − λn−1 (∇h(xn−1 ) − ∇h(pn−1 )) Bất đẳng thức (2.31) từ định nghĩa dãy (sn )n≥2 Kí hiệu ω((pn )n≥1 ) cho tập hợp điểm hội tụ dãy (pn )n≥1 Tiếp theo chúng tơi cho vài tính chất tập hợp [4] Bổ đề 2.6 Trong trường hợp toán 2.1, giả sử hàm f + h (đó lim x →+∞ (f + h)(x) = +∞) xét dãy tạo nên thuật toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì mệnh đề sau đúng: (i) ∅ = ω((pn )n≥1 ) ⊆ crit(f + h); (ii) limn→+∞ dist(pn , ω((pn )n≥1 )) = ; 27 (iii) ω((pn )n≥1 ) khác rỗng, tập compac liên thông; (iv) f + h hữu hạn số ω((pn )n≥1 ) Chứng minh Vì f + h hàm nửa liên tục thường bức, inf x∈Rm [f (x) + h(x)] hữu hạn cận đạt Do f + h giới nội (i) Theo Bổ đề 2.4(i), ta có (∀n ≥ 1) (f +h)(pn ) ≤ (f +h)(pn )+M2 xn − pn ≤ (f +h)(p1 )+M2 x1 − p1 Vì hàm f + h bức, tập hợp mức giới nội, ta kết luận (pn )n≥1 giới nội, ω((pn )n≥1 ) = ∅ Lấy tùy ý p∗ ∈ ω((pn )n≥1 ) Tồn dãy (pnk )k∈N cho (pnk ) → p∗ k → +∞ Chứng tỏ limk→+∞ f (pnk ) = f (p∗ ) Hãy ý hàm nửa liên tục hàm f đảm bảo lim inf k→+∞ f (pnk ) ≥ f (p∗ ) Hơn nữa, từ (2.12) ta có (∀n ≥ 1) f (pn ) + αn Du (pn , xn ) + pn , ∇h(xn ) + pn , xn−1 − xn λn λn ≤ f (p∗ ) + αn Du (p∗ , xn ) + p∗ , ∇h(xn ) + pn , xn−1 − xn λn λn Bằng cách sử dụng Bổ đề 2.4(i), (2.13) cách lấy biên dãy nâng lên lũy thừa, ta có lim supk→+∞ f (pnk ) ≤ f (p∗ ), lim f (pnk ) = f (p∗ ) k→+∞ Ngoài ra, sử dụng Bổ đề 2.5, ta có snk ∈ ∂(f + h)(pnk ) ∀k ≥ Xa hơn, cách sử dụng (3.21) Bổ đề 2.4(i), từ pnk → p∗ snk → 28 k → +∞ Từ ta có limk→+∞ (f + h)(pnk ) = (f + h)(p∗ ), biểu đồ đóng tốn tử lấy vi phân bảo đảm rằng: ∈ ∂(f + h)(p∗ ) p∗ ∈ crit(f + h) Chứng minh (ii) (iii), trình bày [4], ý tính chất (ii) (iii )cũng xem xét có đặc điểm chung cho dãy hội tụ pn+1 − pn → n → +∞ (iv) Từ 2.4(iii), ((f + h)(pn ))n≥1 dãy hội tụ Ta kí hiệu l ∈ R giới hạn Lấy tùy ý p∗ ∈ ω((pn )n≥1 ) Tồn dãy (pnk )k∈N cho pnk → p∗ k → +∞ Như chứng tỏ phần (i), có limk→+∞ (f + h)(pnk ) = (f + h)(p∗ ) Mặt khác, limk→+∞ (f + h)(pnk ) = l Do hạn chế f + h để ω((pn )n≥1 ) = l Kết sau nêu lên tập điểm kì dị dãy (pn , xn )n≥1 Bổ đề 2.7 Đối với toán 2.1, giả sử hàm f + h bức, xét dãy sinh thuật tốn 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3, số M1 M2 Bổ đề 2.2 Chúng ta đưa vào hàm G : Rm × Rm → R xác định G(x, y) = (f + h)(x) + M2 x − y ∀(x, y) ∈ Rm × Rm Thì kết luận sau đúng: (i) ∅ = ω((pn , xn )n≥1 ) ⊆ crit(G) = {(x , x ) ∈ Rm × Rm : x ∈ crit(f + h)}; (ii) limn→+∞ dist ((pn , xn ), ω((pn , xn )n≥1 )) = ; (iii) ω((pn , xn )n≥1 ) khác rỗng, compact tập liên thông; (iv) G hữu hạn số ω((pn , xn )n≥1 ) (2.32) 29 Chứng minh Chứng minh tương tự Bổ đề 2.6 với n ≥ (xem (2.29)) G(pn , xn ) + (M1 , M2 ) xn − pn ≤ G(pn−1 , xn−1 ) (2.33) (sn + 2M2 (pn − xn ), 2M2 (xn − pn )) ∈ ∂G(pn , xn ) (2.34) Và Ở (sn )n≥2 dãy đưa vào Bổ đề 2.5 Ràng buộc (2.34) ∂G(x, y) = (∂(f +h)(x)+2M2 (x−y))×{2M2 (y−x)} ∀(x, y) ∈ Rm ×Rm Bây chứng minh hội tụ thuật toán Tseng với điều kiện G KL hàm Định lí 2.2 Đối với toán 2.1, giả thiết hàm f + h bức, xét dãy tạo thuật tốn 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3, số M1 M2 Bổ đề 2.2 Chúng ta cho G : Rm × Rm → R, G(x, y) = (f + h)(x) + M2 x − y ∀(x, y) ∈ Rm × Rm Là hàm KL Thì mệnh đề sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞; (ii) có x ∈ crit(f + h) cho limn→+∞ xn = limn→+∞ pn = x Chứng minh (i) Theo Bổ đề 2.7(i) ta xét thành phần p∗ ∈ crit(f + h) cho (p∗ , p∗ ) ∈ ω((pn , xn )n≥1 ) Chứng minh tương tự Bổ đề 2.6 ta dễ dàng limn→+∞ G(pn , xn ) = G(p∗ , p∗ ) ta xét hai trường hợp: 30 (I) Có n ∈ N cho G(pn , xn ) = G(p∗ , p∗ ) Tính chất giảm (2.22) bao hàm G(pn , xn ) = G(p∗ , p∗ ) với n ≥ n Bằng quy nạp thấy dãy (pn , xn )n≥n số kết luận (II) Với n ≥ ta có G(pn , xn ) > G(p∗ , p∗ ) Lấy Ω := ω((pn , xn )n≥1 ) Do G KL hàm, từ Bổ đề 2.7(iii)-(iv) Bổ đề 1.1, có ε, η > ϕ ∈ θη cho với (x, y) giao {(x, y) ∈ Rm × Rm : dist((x, y), Ω) < ε} ∩{(x, y) ∈ Rm × Rm : G(p∗ , p∗ ) < G(x, y) (2.35) < G(p∗ , p∗ ) + η} Ta ln có bất đẳng thức sau ϕ (G(x, y) − G(p∗ , p∗ )) dist ((0, 0), ∂G(x, y)) ≥ (2.36) Giả sử n1 ≥ cho G(pn , xn ) < G(p∗ , p∗ ) + η ∀n ≥ n1 Hơn nữa, từ Bổ đề 2.7(ii), có n2 ∈ N cho dist ((pn , xn ), Ω) < ε với n ≥ n2 Do dãy (pn , xn )n≥N thuộc giao (2.35), N = max{n1 , n2 } Từ (2.36), có ϕ (G(pn , xn ) − G(p∗ , p∗ )) dist ((0, 0), ∂G(pn , xn )) ≥ ∀n ≥ N (2.37) Xa hơn, ϕ hàm lõm, ∀n ≥ ta bất đẳng thức sau: ϕ (G(pn , xn ) − G(p∗ , p∗ )) − ϕ (G(pn+1 , xn+1 ) − G(p∗ , p∗ )) ≥ ∗ ∗ (2.38) ϕ (G(pn , xn ) − G(p , p )) (G(pn , xn ) − G(pn+1 , xn+1 )) Hơn nữa, từ (2.37) (2.34) ta có:(∀n ≥ N ) ϕ (G(pn , xn ) − G(p∗ , p∗ )) ≥ (sn + 2M2 (pn − xn ), 2M2 (xn − pn )) (2.39) 31 Bằng cách sử dụng n ≥ kí hiệu n,n+1 : =ϕ(G(pn , xn ) − G(p∗ , p∗ )) − ϕ(G(pn+1 , xn+1 ) − G(P ∗ , p∗ )) Từ (2.38),(2.39) (2.33) suy xn+1 − pn+1 ≥ (M1 − M2 ) c1 ∀n ≥ N (2.40) δ n,n+1 xn+1 − pn+1 ≤ c1 + ∀n ≥ N, 2δ(M1 − M2 ) (2.41) n,n+1 Từ ta Với c1 = sn + 2M2 (pn − xn ) + 4M22 xn − pn Trong δ > chọn thỏa mãn bất đẳng thức sau:   √ δ 2 L∇u α + L∇h + 2M2 + 4M22 + (1 + λL∇h ) < (2.42) λ λ Hơn nữa, ta có ∀n ≥ (xem (2.31)) sn + 2M2 (pn − xn ) ≤ ≤ ≤ c2 xn − pn √ √ c2 xn − pn c3 xn − pn + 4M22 xn − pn αn2 (1 + λn−1 L∇h )2 xn−1 − pn−1 λn √ αn + (1 + λn−1 L∇h ) xn−1 − pn−1 λn √ α + (1 + λL∇h ) xn−1 − pn−1 λ +2 Với L∇u c2 = + L∇h + 2M2 λn L∇u c3 = + L∇h + 2M2 λ + 4M22 , + 4M22 32 Chúng ta suy từ (2.41) (∀n ≥ N ) xn+1 − pn+1 ≤a xn − pn + b xn−1 − pn−1 + (2.43) n,n+1 2δ(M1 − M2 ) Trong √ a :=  δ 2 L∇u + L∇h + 2M2 λ  + 4M22  , √ δ 2α b := (1 + λL∇h ) λ Hãy để ý (2.42) có a + b < Bây giờ, ta cố định k ≥ ϕ nhận giá trị khơng âm nên k n,n+1 = ϕ(G(p1 , x1 ) − G(p∗ , p∗ )) n=1 − ϕ(G(pk+1 , xk+1 ) − G(p∗ , p∗ )) ≤ ϕ(G(p1 , x1 ) − G(p∗ , p∗ )) Do n,n+1 n≥1 2δ(M1 − M2 ) Từ (2.43) bổ đề 1.3 ta kết luận (2.22) ta n∈N < +∞ n≥1 xn − pn < +∞ Xa hơn, từ xn+1 − xn < +∞ (ii) Từ (i) có (xn )n∈N dãy Cauchy, hội tụ Từ xn − xp → n → +∞, kết luận sau từ Bổ đề 2.7(i) Chú ý 2.1 Điều kiện tương tự với điều kiện đặt định lí trước hàm G dùng [4] với việc chọn tương ứng tham số M2 để hội tụ thuật tốn tiến-lùi qn tính cho giải toán trường hợp f hàm lồi 33 Hệ sau hệ trực tiếp Bổ đề 2.8 Hệ 2.1 Đối với toán 2.1, giả thiết hàm f + h nửa đại số, xét dãy sinh toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì kết luận sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞ ; (ii) ∃ x ∈ crit(f + h) cho limn→+∞ xn = limn→+∞ pn = x Chứng minh Hàm (x, y) → M2 x − y hàm nửa đại số, M2 xét Bổ đề 2.2 Vì lớp hàm nửa đại số ổn định việc lấy tổng [4], G : Rm × Rm → R, G(x, y) = (f + h)(x) + M2 x − y nửa đại số kết luận suy từ Bổ đề 2.8 34 Kết luận Đề tài giới thiệu phương pháp điểm gần kề quán tính cho tốn tối ưu khơng lồi khơng trơn không gian hữu hạn chiều Đề tài trình bày hai thuật tốn: Thuật tốn tiến-lùi [3] thuật tốn tiến-lùi-tiến loại Tseng [4] Đóng góp tác giả tìm hiểu, nghiên cứu tài liệu, tổng hợp kiến thức làm chi tiết số chứng minh [4] Tác giả cố gắng xếp trình bày vấn đề theo cách hiểu rõ ràng trực quan có thể, đưa ví dụ để minh họa cho số khái niệm kiện đề cập tới luận văn Hy vọng tác giả luận văn có dịp làm quen với lớp toán tối ưu khác nhiều ứng dụng phong phú chúng lý thuyết thực tế 35 Tài liệu tham khảo Tiếng Việt [1] Đỗ Văn Lưu, Phan Huy Khải (2000), Giải tích lồi, NXB Khoa học Kĩ thuật [2] Hồng Tụy (2003), Hàm thực Giải tích hàm, NXB Đại học Quốc gia, Hà Nội Tiếng Anh [3] Bauschke H H and Combettes P L (2011), Convex Analysis and Monotone Operator Theory in Hilbert Spaces, Springer [4] Bot R I., Csetnek E R (2014), "An inertial Tseng’s type proximal algorithm for nonsmooth and nonconvex optimization problems", Journal of Optimization Theory and Application, DOI 10.1007/s10957015-0730-z ... Thuật tốn điểm gần kề qn tính cho hàm lồi 12 Phương pháp điểm gần kề quán tính cho tốn tối ưu khơng lồi khơng trơn 15 2.1 Thuật toán tiến-lùi 15 2.2 Thuật toán tiến-lùi-tiến... HỌC ĐẶNG THỊ TUYẾT MAI PHƯƠNG PHÁP ĐIỂM GẦN KỀ QUÁN TÍNH CỦA TSENG CHO BÀI TỐN TỐI ƯU KHƠNG LỒI VÀ KHƠNG TRƠN Chun ngành: Tốn ứng dụng Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN... quán tính cho hàm lồi Chương 2: Phương pháp điểm gần kề qn tính cho tốn tối ưu khơng lồi khơng trơn Chương trình bày hai loại thuật toán: thuật toán tiến-lùi thuật toán tiến-lùi-tiến loại Tseng Thơng