Phương pháp điểm gần kề quán tính của tseng cho bài toán tối ưu không lồi và không trơn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG THỊ TUYẾT MAI PHƯƠNG PHÁP ĐIỂM GẦN KỀ QUÁN TÍNH CỦA TSENG CHO BÀI TOÁN TỐI ƯU KHÔNG LỒI VÀ KHÔNG TRƠN LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC ĐẶNG THỊ TUYẾT MAI PHƯƠNG PHÁP ĐIỂM GẦN KỀ QUÁN TÍNH CỦA TSENG CHO BÀI TOÁN TỐI ƯU KHÔNG LỒI VÀ KHÔNG TRƠN Chuyên ngành: Toán ứng dụng Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TS NGUYỄN BƯỜNG THÁI NGUYÊN - 2016 i Mục lục Lời cảm ơn ii Danh sách ký hiệu iii Mở đầu 1 Một số vấn đề 1.1 Hàm nhiều biến 1.2 Các khái niệm vi phân mở rộng 11 1.3 Một số khoảng cách cần dùng 12 1.4 Thuật toán điểm gần kề quán tính cho hàm lồi 12 Phương pháp điểm gần kề quán tính cho toán tối ưu không lồi không trơn 15 2.1 Thuật toán tiến-lùi 15 2.2 Thuật toán tiến-lùi-tiến loại Tseng 19 Tài liệu tham khảo 35 ii Lời cảm ơn Luận văn hoàn thành trường Đại học Khoa học, Đại học Thái Nguyên giúp đỡ hướng dẫn tận tình GS.TS Nguyễn Bường Qua đây, tác giả xin bày tỏ lòng kính trọng biết ơn sâu sắc tới Thầy, người dành nhiều thời gian tâm huyết để hướng dẫn tạo điều kiện cho tác giả suốt thời gian làm luận văn Trong trình học tập làm luận văn, từ giảng giáo sư, phó giáo sư công tác Viện Toán học, Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam, thầy cô trường Đại học Khoa học - Đại học Thái Nguyên, tác giả trau dồi thêm nhiều kiến thức phục vụ cho việc nghiên cứu công tác thân Tác giả xin gửi lời cảm ơn chân thành đến thầy cô Tác giả xin chân thành cảm ơn Ban giám hiệu, Phòng đào tạo, khoa Toán - Tin trường Đại học Khoa học - Đại học Thái Nguyên quan tâm giúp đỡ tác giả suốt thời gian học tập trường Cuối tác giả xin gửi lời cảm ơn tới gia đình, bạn bè động viên, giúp đỡ tạo điều kiện tốt cho tác giả trình học tập, nghiên cứu làm luận văn Thái Nguyên, tháng 11 năm 2015 Học viên Đặng Thị Tuyết Mai iii Danh sách ký hiệu H không gian Hilbert thực N tập hợp số nguyên không âm R+ tập hợp số thực không âm R++ tập hợp số thực dương E ma trận thực n × n KL Kurdyka-Lojasiewicz x, y tích vô hướng hai vectơ x y · chuẩn sinh tích vô hướng dom f miền hữu dụng hàm f Fix T tập điểm bất động toán tử T proxf toán tử gần kề hàm f Γ0 (H) họ tất hàm lồi f nửa liên tục từ H đến (−∞, +∞] ∂f (x) vi phân f x crit f tập tất (giới hạn) điểm kì dị f dist (x, E) khoảng cách điểm x đến tập E Du khoảng cách Bregman hàm u : Rm → R Mở đầu Bài toán tối ưu toán tìm phương án chấp nhận để làm cực trị hàm số hàm véc tơ Đây toán có nhiều ứng dụng thực tế Khó khăn việc nghiên cứu giải toán phải tìm phương án tối ưu miền chấp nhận Để giải khó khăn này, phương pháp điểm gần kề quán tính cách tiếp cận để giải toán tối ưu không lồi không trơn Trong luận văn xét toán tối ưu dạng sau (P ) inf [f (x) + h(x)] x∈Rm Khi xét tính lồi, cụ thể f h hàm lồi, có nhiều lược đồ tính số phân tách loại gần kề sử dụng để giải toán Lưu ý loại thuật toán tiến-lùi [3] thuật toán tiến-lùi-tiến [4] cải tiến thuật toán tiến-lùi với điều kiện sử dụng độ lớn bước loại Nesterov Các thuật toán tách áp dụng cho hàm f h áp dụng cho lược đồ lặp riêng biệt Chính xác hơn, bước tiến áp dụng cho hàm trơn qua gradient bước lùi áp dụng cho hàm không trơn qua việc sử dụng toán tử gần kề Thuật toán nói ứng dụng giải toán thực tế xuất lĩnh vực xử lí hình ảnh số vấn đề khác kĩ thuật Các sơ đồ lặp có nguồn gốc việc rời rạc hóa theo thời gian bao hàm thức vi phân bậc hai nhìn chung bước lặp xác định việc dùng hai bước lặp trước Thuật toán vòng mười lăm năm gần ngày xét nhiều báo [4] Việc mở rộng hội tụ thuật toán loại gần kề đến tập hợp không lồi vấn đề đầy thách thức Bằng cách giả thiết hàm mục tiêu có số tính chất giải tích sử dụng kết không trơn xét tính chất Kurdyka-Lojasiewicz cho hàm trơn, lược đồ tiến-lùi cho giải toán chứng minh có tính chất hội tụ tốt trường hợp không lồi [4] Mục đích đề tài luận văn nghiên cứu kết [4] phương pháp điểm gần kề quán tính cho toán tối ưu không lồi không trơn không gian hữu hạn chiều Nội dung luận văn gồm hai chương: Chương 1: Một số vấn đề Trong chương trình bày số khái niệm, định lí, tính chất số hàm nhiều biến như: Hàm lồi, hàm nửa liên tục, KL hàm Khái niệm vi phân hàm lồi, vi phân Fréchet Các khái niệm đạo hàm khả vi, hàm khoảng cách đến điểm, khoảng cách Bregman Giới thiệu thuật toán điểm gần kề quán tính cho hàm lồi Chương 2: Phương pháp điểm gần kề quán tính cho toán tối ưu không lồi không trơn Chương trình bày hai loại thuật toán: thuật toán tiến-lùi thuật toán tiến-lùi-tiến loại Tseng Thông qua việc hoàn thành luận văn, tác giả nhận thấy vấn đề đề cập luận văn rộng lớn mà khuôn khổ luận văn thể phần Tuy nhiên vấn đề trình bày luận văn kiến thức khởi đầu định hướng cho tác giả tiếp cận vấn đề sau Mặc dù tác giả cố gắng thực luận văn, với trình độ hạn chế nhiều lý khác, luận văn chắn không tránh khỏi thiếu sót Kính mong góp ý thầy cô, bạn anh chị đồng nghiệp để luận văn hoàn chỉnh Chương Một số vấn đề Trong chương tác giả trình bày số khái niệm, định lí, tính chất số hàm như: Hàm lồi, hàm nửa liên tục, KL hàm Dưới vi phân mở rộng, vi phân Fréchet Các khái niệm đạo hàm khả vi hàm lồi, hàm khoảng cách đến điểm, khoảng cách Bregman Giới thiệu thuật toán điểm gần kề quán tính cho hàm lồi Các kiến thức chương tổng hợp từ tài liệu [1], [2], [3] [4] 1.1 Hàm nhiều biến Trước hết tác giả trình bày số khái niệm, tính chất quan trọng hàm lồi Đây kiến thức chuẩn bị cần thiết xuyên suốt toàn luận văn Định nghĩa 1.1 Hàm f : S → [−∞, +∞] xác định tập hợp lồi S ⊆ Rn gọi hàm lồi S với x1 , x2 ∈ S số thực λ ∈ [0, 1] ta có: f ((1 − λ)x1 + λx2 ) ≤ (1 − λ)f (x1 ) + λf (x2 ) Khi vế phải xác định, nghĩa hệ thức cần thỏa mãn trừ f (x1 ) = −f (x2 ) = ±∞ (vì biểu thức +∞, −∞ nghĩa) Hàm f gọi lồi chặt S với x1 , x2 ∈ S, x1 = x2 số thực λ ∈ (0, 1) ta có: f ((1 − λ)x1 + λx2 ) < (1 − λ)f (x1 ) + λf (x2 ) Hiển nhiên, hàm lồi chặt hàm lồi, điều ngược lại không Định nghĩa 1.2 Cho hàm f : S → [−∞, +∞] với S ⊆ Rn Các tập: dom f = {x ∈ S : f (x) < +∞}, epi f = {(x, α) ∈ S×R : f (x) ≤ α} gọi miền hữu dụng, tập đồ thị hàm f Nếu dom f = ∅ (f không đồng +∞) f (x) > −∞ với x ∈ S ta nói hàm f thường (proper) Nói cách khác, f thường dom f = ∅ f hữu hạn dom f Có thể chứng minh hàm f lồi S a) tập đồ thị epi f tập lồi, b) f ( m k=1 k m λk x ) ≤ λk f (x ) với x ∈ S, k k k=1 m λk = λk ≥ với k=1 k m số nguyên m ≥ (bất đẳng thức Jensen) Hàm lồi f : S → [−∞, +∞] mở rộng thành hàm lồi xác định toàn không gian Rn cách đặt f (x) = +∞ với x = S Vì vậy, để đơn giản ta thường xét hàm lồi toàn Rn Ví dụ 1.1 Các hàm sau hàm lồi: a) f : R → R, f (x) = ax + b với a, b số thực Thật vậy, với a, b ∈ R; x, y ∈ R, λ ∈ (0, 1) ta có: f (λx + (1 − λ)y) = a(λx + (1 − λ)y) + b = λ(ax + b) + (1 − λ)(ay + b), thỏa mãn định nghĩa hàm lồi b) Ánh xạ chuẩn · : X n → R X không gian tuyến tính định chuẩn thực 21 n ≥ 1, hàm Nếu lấy u(x) = x ∀x ∈ Rm Trong trường hợp này, Du (x, y) = x−y 2 ∀(x, y) ∈ Rm × Rm σ = L∇u = Thuật toán trở thành    pn ∈ argminx∈Rm f(x) + b2 2λ n (∀n ≥ 1)   xn+1 = pn + λn [∇h(xn ) − ∇h(pn )] , (2.14) với b2 = x − xn + λn ∇h(xn ) − αn (xn − xn−1 ) Sự hội tụ thuật toán loại Tseng quán tính nghiên cứu [4] với điều kiện hàm lồi pn xác định đưa vào toán tử gần kề f Ngoài ra, α = 0, mà ràng buộc αn = (2.14) trở thành (∀n ≥ 1)    pn ∈ argminx∈Rm f(x) + x − xn + λn ∇h(xn ) 2λn (2.15)   x = p + λ [∇h(x ) − ∇h(p )] , n+1 n n n n Đây phần mở rộng tới trường hợp không lồi loại thuật toán Tseng cổ điển [4] Sự hội tụ (2.15) xét trường hợp lồi [4] Mặt khác, ta lấy h(x) = ∀x ∈ Rm , lược đồ (2.14) trở thành (∀n ≥ 1) xn+1 ∈ argminx∈Rm f(x) + x − xn − αn (xn − xn−1 ) 2λn (2.16) Là thuật toán điểm gần kề quán tính phát biểu trường hợp không lồi tìm điểm kì dị f thành phần quán tính, lúc α = αn = ∀n ≥ 1, xét KL hàm 22 Bây tiếp tục với hội tụ thuật toán Bổ đề sau hữu ích phần Bổ đề 2.1 Giả sử h : Rm → R hàm vi phân Frécchet, với L∇h -liên tục Lipschitz Khi đó: h(y) ≤ h(x) + ∇h(x), y − x + L∇h y−x 2 ∀(x, y) ∈ Rm × Rm Bổ đề 2.2 Đối với toán 2.1, xét dãy tạo nên thuật toán 2.1 Thì với ν, µ > ta có bất đẳng thức: (f + h)(pn ) + M1 xn − pn ≤(f + h)(pn−1 ) + M2 xn−1 − pn−1 (2.17) ∀n ≥ 2, σ α − L∇h − ν − µ, λ 2λ (2.18) L2∇h L∇u + ν + L∇h + 2ν 2λ α (1 + λL∇h )2 + µλ L2∇h + λ 2µ (2.19) M1 : = M2 : = λ L2∇h Chứng minh Ta chọn ν, µ > tùy ý cố định n ≥ Theo quy tắc cho (2.12) cho bất đẳng thức f (pn ) + ≤ f (pn−1 ) + αn Du (pn , xn ) + pn , ∇h(xn ) + pn , xn−1 − xn λn λn αn Du (pn−1 , xn ) + pn−1 , ∇h(xn ) + pn−1 , xn−1 − xn λn λn Kết hợp với (2.13) h(pn ) ≤ h(pn−1 ) + ∇h(pn−1 ), pn − pn−1 + L∇h pn − pn−1 2 23 Ta (f + h)(pn ) + σ pn − x n 2λn ≤ (f + h)(pn−1 ) + + L∇u xn − pn−1 2λn L∇h pn − pn−1 2 + ∇h(pn−1 ) − ∇h(xn ), pn − pn−1 αn + pn − pn−1 , xn − xn−1 λn (2.20) Theo (2.12) ta có: xn − pn−1 = λn−1 h(xn−1 ) − h(pn−1 ) (2.21) ≤ λn−1 L∇h xn−1 − pn−1 Và từ xn − xn−1 ≤ (1 + λn−1 L∇h ) xn−1 − pn−1 (2.22) Và pn − pn−1 ≤ 2( xn − pn ) + λ2n−1 L2∇h xn−1 − pn−1 (2.23) Hơn nữa, ta có ∇h(pn−1 ) − ∇h(xn ), pn − pn−1 ≤ ν pn − pn−1 2 L2 + ∇h xn − pn−1 2ν (2.24) Và pn − pn−1 , xn − xn−1 ≤ µ pn − pn−1 2 + xn − xn−1 2µ (2.25) Từ (2.20)-(2.25) đạt sau xếp lại số hạng (f + h)(pn ) + M1,n xn − pn ≤(f + h)(pn−1 ) + M2,n xn−1 − pn−1 (2.26) 24 Trong M1,n = Và σ αn − L∇h − ν − µ 2λn λn L∇u L2∇h + ν + L∇h + 2ν 2λn (1 + λn−1 L∇h )2 2 µλn−1 L∇h + 2µ M2,n =λ2n−1 L2∇h + αn λn Cuối cùng, cách sử dụng giới hạn dãy số thực nâng lên lũy thừa dễ dàng suy M1,n ≥ M1 M2,n ≤ M2 Bổ đề 2.3 Trong trường hợp toán 2.1, xét tùy ý ν, µ chọn λ > α ≥ cho L2∇h 2λ(L∇h + ν) + λ λ + L∇u + 2λ(L∇h + ν) ν (1 + λL∇h )2 2 + 2α µ + µλ L∇h + 2µ L2∇h (2.27) < σ Khi λ > λ cho số đưa vào Bổ đề 2.2 thực M1 > M2 Chứng minh Đặt L2∇h L∇u a1 = + + ν + L∇h , 2ν 2λ a2 = µλ L2∇h (1 + λL∇h )2 + , 2µ a3 = µ(λ + ρ)2 L2∇h + (1 + (λ + ρ)L∇h )2 2µ Ràng buộc (2.27) viết tương đương sau: 2λ L∇h + ν + α α µ + λ2 L2∇h a1 + a2 λ λ < σ 25 Tồn ρ > cho: 2(λ + ρ) L∇h + ν + α α µ + (λ + ρ)2 L2∇h a1 + a3 < σ λ λ (2.28) Ta định nghĩa λ : = λ + ρ từ bất đẳng thức ràng buộc ta M1 > M2 Bổ đề 2.4 Đối với toán 2.1, giả thiết f + h giới nội xét dãy tạo thuật toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì kết luận sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞; (ii) dãy ((f + h)(pn ) + M2 xn − pn )n≥1 đơn điệu giảm hội tụ; (iii) dãy ((f + h)(pn ))n≥1 hội tụ Chứng minh Từ Bổ đề 2.2 suy với n ≥ (f + h)(pn ) + M2 xn − pn + (M1 − M2 ) xn − pn ≤ (f + h)(pn−1 ) + M2 xn−1 − pn−1 2 (2.29) Kết luận từ Bổ đề 2.3, Bổ đề 1.2 ràng buộc (2.22) Bổ đề sau cho ta đánh giá cho số thành phần xuất vi phân giới hạn Bổ đề 2.5 Đối với toán 2.1, xét dãy tạo nên thuật toán 2.1 Thì ta có với n ≥ 2: sn ∈ ∂(f + h)(pn ) (2.30) Trong sn = αn (∇u(xn ) − ∇u(pn ) + ∇h(pn ) − ∇h(xn ) + (pn−1 − xn−1 ) λn λn αn λn−1 + (∇h(xn−1 ) − ∇h(pn−1 )) λn 26 Hơn (∀n ≥ 2) sn ≤ L∇u + L∇h xn − pn λn αn + (1 + λn−1 L∇h ) xn−1 − pn−1 λn (2.31) Chứng minh Lấy n ≥ Bằng cách sử dụng công thức vi phân tổng, từ (2.12) ta có: ∈ ∂f (pn ) + Do αn (∇u(pn ) − ∇u(xn )) + ∇h(xn ) + (xn−1 − xn ) λn λn (∇u(pn ) − ∇u(xn )) λn αn + ∇h(xn ) − ∇h(pn ) + (xn−1 − xn ) λn ∈ ∂(f + h)(pn ) + Từ ràng buộc (2.30) từ đồng thức trên, ta có xn−1 − xn = xn−1 − pn−1 − (xn − pn−1 ) = xn−1 − pn−1 − λn−1 (∇h(xn−1 ) − ∇h(pn−1 )) Bất đẳng thức (2.31) từ định nghĩa dãy (sn )n≥2 Kí hiệu ω((pn )n≥1 ) cho tập hợp điểm hội tụ dãy (pn )n≥1 Tiếp theo cho vài tính chất tập hợp [4] Bổ đề 2.6 Trong trường hợp toán 2.1, giả sử hàm f + h (đó lim x →+∞ (f + h)(x) = +∞) xét dãy tạo nên thuật toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì mệnh đề sau đúng: (i) ∅ = ω((pn )n≥1 ) ⊆ crit(f + h); (ii) limn→+∞ dist(pn , ω((pn )n≥1 )) = ; 27 (iii) ω((pn )n≥1 ) khác rỗng, tập compac liên thông; (iv) f + h hữu hạn số ω((pn )n≥1 ) Chứng minh Vì f + h hàm nửa liên tục thường bức, inf x∈Rm [f (x) + h(x)] hữu hạn cận đạt Do f + h giới nội (i) Theo Bổ đề 2.4(i), ta có (∀n ≥ 1) (f +h)(pn ) ≤ (f +h)(pn )+M2 xn − pn ≤ (f +h)(p1 )+M2 x1 − p1 Vì hàm f + h bức, tập hợp mức giới nội, ta kết luận (pn )n≥1 giới nội, ω((pn )n≥1 ) = ∅ Lấy tùy ý p∗ ∈ ω((pn )n≥1 ) Tồn dãy (pnk )k∈N cho (pnk ) → p∗ k → +∞ Chứng tỏ limk→+∞ f (pnk ) = f (p∗ ) Hãy ý hàm nửa liên tục hàm f đảm bảo lim inf k→+∞ f (pnk ) ≥ f (p∗ ) Hơn nữa, từ (2.12) ta có (∀n ≥ 1) f (pn ) + αn Du (pn , xn ) + pn , ∇h(xn ) + pn , xn−1 − xn λn λn ≤ f (p∗ ) + αn Du (p∗ , xn ) + p∗ , ∇h(xn ) + pn , xn−1 − xn λn λn Bằng cách sử dụng Bổ đề 2.4(i), (2.13) cách lấy biên dãy nâng lên lũy thừa, ta có lim supk→+∞ f (pnk ) ≤ f (p∗ ), lim f (pnk ) = f (p∗ ) k→+∞ Ngoài ra, sử dụng Bổ đề 2.5, ta có snk ∈ ∂(f + h)(pnk ) ∀k ≥ Xa hơn, cách sử dụng (3.21) Bổ đề 2.4(i), từ pnk → p∗ snk → 28 k → +∞ Từ ta có limk→+∞ (f + h)(pnk ) = (f + h)(p∗ ), biểu đồ đóng toán tử lấy vi phân bảo đảm rằng: ∈ ∂(f + h)(p∗ ) p∗ ∈ crit(f + h) Chứng minh (ii) (iii), trình bày [4], ý tính chất (ii) (iii )cũng xem xét có đặc điểm chung cho dãy hội tụ pn+1 − pn → n → +∞ (iv) Từ 2.4(iii), ((f + h)(pn ))n≥1 dãy hội tụ Ta kí hiệu l ∈ R giới hạn Lấy tùy ý p∗ ∈ ω((pn )n≥1 ) Tồn dãy (pnk )k∈N cho pnk → p∗ k → +∞ Như chứng tỏ phần (i), có limk→+∞ (f + h)(pnk ) = (f + h)(p∗ ) Mặt khác, limk→+∞ (f + h)(pnk ) = l Do hạn chế f + h để ω((pn )n≥1 ) = l Kết sau nêu lên tập điểm kì dị dãy (pn , xn )n≥1 Bổ đề 2.7 Đối với toán 2.1, giả sử hàm f + h bức, xét dãy sinh thuật toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3, số M1 M2 Bổ đề 2.2 Chúng ta đưa vào hàm G : Rm × Rm → R xác định G(x, y) = (f + h)(x) + M2 x − y ∀(x, y) ∈ Rm × Rm Thì kết luận sau đúng: (i) ∅ = ω((pn , xn )n≥1 ) ⊆ crit(G) = {(x , x ) ∈ Rm × Rm : x ∈ crit(f + h)}; (ii) limn→+∞ dist ((pn , xn ), ω((pn , xn )n≥1 )) = ; (iii) ω((pn , xn )n≥1 ) khác rỗng, compact tập liên thông; (iv) G hữu hạn số ω((pn , xn )n≥1 ) (2.32) 29 Chứng minh Chứng minh tương tự Bổ đề 2.6 với n ≥ (xem (2.29)) G(pn , xn ) + (M1 , M2 ) xn − pn ≤ G(pn−1 , xn−1 ) (2.33) (sn + 2M2 (pn − xn ), 2M2 (xn − pn )) ∈ ∂G(pn , xn ) (2.34) Và Ở (sn )n≥2 dãy đưa vào Bổ đề 2.5 Ràng buộc (2.34) ∂G(x, y) = (∂(f +h)(x)+2M2 (x−y))×{2M2 (y−x)} ∀(x, y) ∈ Rm ×Rm Bây chứng minh hội tụ thuật toán Tseng với điều kiện G KL hàm Định lí 2.2 Đối với toán 2.1, giả thiết hàm f + h bức, xét dãy tạo thuật toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3, số M1 M2 Bổ đề 2.2 Chúng ta cho G : Rm × Rm → R, G(x, y) = (f + h)(x) + M2 x − y ∀(x, y) ∈ Rm × Rm Là hàm KL Thì mệnh đề sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞; (ii) có x ∈ crit(f + h) cho limn→+∞ xn = limn→+∞ pn = x Chứng minh (i) Theo Bổ đề 2.7(i) ta xét thành phần p∗ ∈ crit(f + h) cho (p∗ , p∗ ) ∈ ω((pn , xn )n≥1 ) Chứng minh tương tự Bổ đề 2.6 ta dễ dàng limn→+∞ G(pn , xn ) = G(p∗ , p∗ ) ta xét hai trường hợp: 30 (I) Có n ∈ N cho G(pn , xn ) = G(p∗ , p∗ ) Tính chất giảm (2.22) bao hàm G(pn , xn ) = G(p∗ , p∗ ) với n ≥ n Bằng quy nạp thấy dãy (pn , xn )n≥n số kết luận (II) Với n ≥ ta có G(pn , xn ) > G(p∗ , p∗ ) Lấy Ω := ω((pn , xn )n≥1 ) Do G KL hàm, từ Bổ đề 2.7(iii)-(iv) Bổ đề 1.1, có ε, η > ϕ ∈ θη cho với (x, y) giao {(x, y) ∈ Rm × Rm : dist((x, y), Ω) < ε} ∩{(x, y) ∈ Rm × Rm : G(p∗ , p∗ ) < G(x, y) (2.35) < G(p∗ , p∗ ) + η} Ta có bất đẳng thức sau ϕ (G(x, y) − G(p∗ , p∗ )) dist ((0, 0), ∂G(x, y)) ≥ (2.36) Giả sử n1 ≥ cho G(pn , xn ) < G(p∗ , p∗ ) + η ∀n ≥ n1 Hơn nữa, từ Bổ đề 2.7(ii), có n2 ∈ N cho dist ((pn , xn ), Ω) < ε với n ≥ n2 Do dãy (pn , xn )n≥N thuộc giao (2.35), N = max{n1 , n2 } Từ (2.36), có ϕ (G(pn , xn ) − G(p∗ , p∗ )) dist ((0, 0), ∂G(pn , xn )) ≥ ∀n ≥ N (2.37) Xa hơn, ϕ hàm lõm, ∀n ≥ ta bất đẳng thức sau: ϕ (G(pn , xn ) − G(p∗ , p∗ )) − ϕ (G(pn+1 , xn+1 ) − G(p∗ , p∗ )) ≥ ∗ ∗ (2.38) ϕ (G(pn , xn ) − G(p , p )) (G(pn , xn ) − G(pn+1 , xn+1 )) Hơn nữa, từ (2.37) (2.34) ta có:(∀n ≥ N ) ϕ (G(pn , xn ) − G(p∗ , p∗ )) ≥ (sn + 2M2 (pn − xn ), 2M2 (xn − pn )) (2.39) 31 Bằng cách sử dụng n ≥ kí hiệu n,n+1 : =ϕ(G(pn , xn ) − G(p∗ , p∗ )) − ϕ(G(pn+1 , xn+1 ) − G(P ∗ , p∗ )) Từ (2.38),(2.39) (2.33) suy xn+1 − pn+1 ≥ (M1 − M2 ) c1 ∀n ≥ N (2.40) δ n,n+1 xn+1 − pn+1 ≤ c1 + ∀n ≥ N, 2δ(M1 − M2 ) (2.41) n,n+1 Từ ta Với c1 = sn + 2M2 (pn − xn ) + 4M22 xn − pn Trong δ > chọn thỏa mãn bất đẳng thức sau:   √ δ 2 L∇u α + L∇h + 2M2 + 4M22 + (1 + λL∇h ) < (2.42) λ λ Hơn nữa, ta có ∀n ≥ (xem (2.31)) sn + 2M2 (pn − xn ) ≤ ≤ ≤ c2 xn − pn √ √ c2 xn − pn c3 xn − pn + 4M22 xn − pn αn2 (1 + λn−1 L∇h )2 xn−1 − pn−1 λn √ αn + (1 + λn−1 L∇h ) xn−1 − pn−1 λn √ α + (1 + λL∇h ) xn−1 − pn−1 λ +2 Với L∇u c2 = + L∇h + 2M2 λn L∇u c3 = + L∇h + 2M2 λ + 4M22 , + 4M22 32 Chúng ta suy từ (2.41) (∀n ≥ N ) xn+1 − pn+1 ≤a xn − pn + b xn−1 − pn−1 + (2.43) n,n+1 2δ(M1 − M2 ) Trong √ a :=  δ 2 L∇u + L∇h + 2M2 λ  + 4M22  , √ δ 2α b := (1 + λL∇h ) λ Hãy để ý (2.42) có a + b < Bây giờ, ta cố định k ≥ ϕ nhận giá trị không âm nên k n,n+1 = ϕ(G(p1 , x1 ) − G(p∗ , p∗ )) n=1 − ϕ(G(pk+1 , xk+1 ) − G(p∗ , p∗ )) ≤ ϕ(G(p1 , x1 ) − G(p∗ , p∗ )) Do n,n+1 n≥1 2δ(M1 − M2 ) Từ (2.43) bổ đề 1.3 ta kết luận (2.22) ta n∈N < +∞ n≥1 xn − pn < +∞ Xa hơn, từ xn+1 − xn < +∞ (ii) Từ (i) có (xn )n∈N dãy Cauchy, hội tụ Từ xn − xp → n → +∞, kết luận sau từ Bổ đề 2.7(i) Chú ý 2.1 Điều kiện tương tự với điều kiện đặt định lí trước hàm G dùng [4] với việc chọn tương ứng tham số M2 để hội tụ thuật toán tiến-lùi quán tính cho giải toán trường hợp f hàm lồi 33 Hệ sau hệ trực tiếp Bổ đề 2.8 Hệ 2.1 Đối với toán 2.1, giả thiết hàm f + h nửa đại số, xét dãy sinh toán 2.1, ν, µ, λ, λ α chọn Bổ đề 2.3 Thì kết luận sau đúng: (i) n≥1 xn − pn < +∞ n∈N xn+1 − xn < +∞ ; (ii) ∃ x ∈ crit(f + h) cho limn→+∞ xn = limn→+∞ pn = x Chứng minh Hàm (x, y) → M2 x − y hàm nửa đại số, M2 xét Bổ đề 2.2 Vì lớp hàm nửa đại số ổn định việc lấy tổng [4], G : Rm × Rm → R, G(x, y) = (f + h)(x) + M2 x − y nửa đại số kết luận suy từ Bổ đề 2.8 34 Kết luận Đề tài giới thiệu phương pháp điểm gần kề quán tính cho toán tối ưu không lồi không trơn không gian hữu hạn chiều Đề tài trình bày hai thuật toán: Thuật toán tiến-lùi [3] thuật toán tiến-lùi-tiến loại Tseng [4] Đóng góp tác giả tìm hiểu, nghiên cứu tài liệu, tổng hợp kiến thức làm chi tiết số chứng minh [4] Tác giả cố gắng xếp trình bày vấn đề theo cách hiểu rõ ràng trực quan có thể, đưa ví dụ để minh họa cho số khái niệm kiện đề cập tới luận văn Hy vọng tác giả luận văn có dịp làm quen với lớp toán tối ưu khác nhiều ứng dụng phong phú chúng lý thuyết thực tế 35 Tài liệu tham khảo Tiếng Việt [1] Đỗ Văn Lưu, Phan Huy Khải (2000), Giải tích lồi, NXB Khoa học Kĩ thuật [2] Hoàng Tụy (2003), Hàm thực Giải tích hàm, NXB Đại học Quốc gia, Hà Nội Tiếng Anh [3] Bauschke H H and Combettes P L (2011), Convex Analysis and Monotone Operator Theory in Hilbert Spaces, Springer [4] Bot R I., Csetnek E R (2014), "An inertial Tseng’s type proximal algorithm for nonsmooth and nonconvex optimization problems", Journal of Optimization Theory and Application, DOI 10.1007/s10957015-0730-z [...]... của thuật toán quán tính loại Tseng cho bài toán tối ưu không lồi và không trơn Ta xét bài toán sau: Bài toán 2.1 Giả sử m ≥ 1 là số nguyên dương f : Rm → (−∞, +∞] là hàm nửa liên tục dưới chính thường và giới nội dưới, cho h : Rm → R là hàm khả vi Fréchet sao cho ∇h là L∇h -liên tục Lipschitz với L∇h ≥ 0 Ta xét bài toán cực trị sau: (P ) infm [f (x) + h(x)] x∈R (2.11) Lấy gần đúng các điểm kì dị của. .. tục dưới yếu và từ (xn + x)/2 → x, ta có f (x) ≤ limf ((xn + x)/2) ≤ limf ((xn + x)/2) ≤ lim(f (xn ) + f (x))/2 = f (x) Suy ra, φ( xn − x ) → 0 khi đó xn → x 15 Chương 2 Phương pháp điểm gần kề quán tính cho bài toán tối ưu không lồi và không trơn Chương này tác giả trình bày hai loại thuật toán: Thuật toán tiến-lùi và thuật toán tiến-lùi-tiến loại Tseng Thuật toán tiến-lùi-tiến loại Tseng chính là... tựa lồi Ví dụ f (x) = x3 là hàm tựa lồi nhưng không lồi Định lý sau đây nêu lên một tính chất đặc trưng cơ bản của các hàm lồi Định lí 1.2 Cho C là một tập lồi, khác rỗng trong Rn và f : Rn → R là một hàm lồi Mọi điểm cực tiểu địa phương của f trên C đều là điểm cực tiểu toàn cục Tập argminx ∈C f (x ) là tập con lồi của C Hệ quả 1.1 Bất cứ điểm cực đại địa phương nào của một hàm lõm trên một tập lồi. .. y dựa vào hàm u : Rm → R giả thiết là σ 2 là một hàm lồi) khả vi sao σ -lồi mạnh với tham số σ > 0 (đó là u − 2 cho ∇u là L∇u -liên tục Lipschitz với L∇u > 0 Lưu ý tính chất này thỏa mãn bất đẳng thức sau σ x−y 2 1.4 2 ≤ Du (x, y) ≤ L∇u x−y 2 2 ∀(x, y) ∈ Rm × Rm Thuật toán điểm gần kề quán tính cho hàm lồi Như đã thấy [3, Mệnh đề 26.1] cực tiểu hóa hàm f ∈ Γ0 (H) rút cuộc là tìm 0 điểm của toán tử... vi phân ∂f , là toán tử đơn điệu cực đại với giải 13 thức J∂f = Proxf Do đó, cực tiểu hóa của f có thể đạt được qua thuật toán điểm gần kề [3, (23.31)] Định lí 1.11 (Thuật toán điểm gần kề) Cho f ∈ Γ0 (H) với argminf = ∅, cho (γn )n∈N là dãy trong R++ sao cho Σn∈N γn = +∞, và cho x0 ∈ H Đặt (∀n ∈ N) xn+1 = Proxγn f xn (1.3) thỏa mãn các điều kiện sau: (i) (xn )n∈N là dãy cực tiểu hóa của f ; chính... kiện hàm lồi và pn được xác định là duy nhất và đưa vào toán tử gần kề của f Ngoài ra, nếu α = 0, mà ràng buộc αn = 0 thì (2.14) trở thành (∀n ≥ 1)   1  pn ∈ argminx∈Rm f(x) + x − xn + λn ∇h(xn ) 2 2λn (2.15)   x = p + λ [∇h(x ) − ∇h(p )] , n+1 n n n n Đây là phần mở rộng tới trường hợp không lồi của loại thuật toán Tseng cổ điển [4] Sự hội tụ của (2.15) được xét trong trường hợp lồi [4] Mặt... ≥ 1) xn+1 ∈ argminx∈Rm f(x) + 1 x − xn − αn (xn − xn−1 ) 2λn 2 (2.16) Là thuật toán điểm gần kề quán tính được phát biểu trong trường hợp không lồi khi tìm điểm kì dị của f không có thành phần quán tính, lúc đó α = 0 bởi vậy αn = 0 ∀n ≥ 1, đã được xét trong KL hàm 22 Bây giờ chúng ta tiếp tục với sự hội tụ của thuật toán Bổ đề sau sẽ hữu ích trong phần tiếp theo Bổ đề 2.1 Giả sử h : Rm → R là hàm... là điểm cực đại toàn cục Tập tất cả các điểm cực đại của một hàm lõm trên một tập lồi là lồi Định lí 1.3 Một hàm lồi chặt f trên một tập lồi C có nhiều nhất một điểm cực tiểu trên C, nghĩa là tập argminx ∈C f (x ) gồm nhiều nhất một phần tử Hàm lồi n biến có mối quan hệ chặt chẽ với hàm lồi một biến Định lí 1.4 Hàm f (x), x ∈ Rn , là hàm lồi khi và chỉ khi hàm một biến số ϕ(λ) ≡ f (x + λd) là hàm lồi. .. đẳng thức (2.31) từ định nghĩa dãy (sn )n≥2 Kí hiệu ω((pn )n≥1 ) cho tập hợp các điểm hội tụ của dãy (pn )n≥1 Tiếp theo chúng tôi sẽ cho một vài tính chất của tập hợp này [4] Bổ đề 2.6 Trong trường hợp của bài toán 2.1, giả sử hàm f + h là bức (đó là lim x →+∞ (f + h)(x) = +∞) và xét dãy tạo nên trong thuật toán 2.1, khi đó ν, µ, λ, λ và α được chọn trong Bổ đề 2.3 Thì các mệnh đề sau đây là đúng:... cho hàm lấy khả vi xác định trên một cấu trúc 0-cực tiểu Và các mở rộng tiếp theo cho hàm không trơn có thể xem trong [4] Bổ đề 1.1 Giả sử Ω ⊆ Rm là tập compact và giả sử f : Rm → (−∞, +∞] là hàm nửa liên tục dưới chính thường Giả thiết f là hàm hằng trên Ω và f thỏa mãn tính chất KL tại mọi điểm của Ω Thì ta có ε, η > 0 và ϕ ∈ θη , sao cho ∀x ∈ Ω và mỗi x trong giao {x ∈ Rm : dist (x , Ω ) < ε} ∩ {x