Một phương pháp tách giải một lớp bài toán tối ưu lồi mạnh

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - NGUYỄN VĂN MẠNH MỘT PHƯƠNG PHÁP TÁCH GIẢI MỘT LỚP BÀI TOÁN TỐI ƯU LỒI MẠNH LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2016 Tai ngay!!! Ban co the xoa dong chu nay!!! ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - NGUYỄN VĂN MẠNH MỘT PHƯƠNG PHÁP TÁCH GIẢI MỘT LỚP BÀI TOÁN TỐI ƯU LỒI MẠNH Chuyên ngành : Toán ứng dụng Mã số : 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: GS.TSKH Lê Dũng Mưu THÁI NGUYÊN - 2016 Mục lục Mở đầu 1 Bài toán tối ưu lồi 1.1 Kiến thức chuẩn bị 1.2 Hàm lồi 1.3 Bài toán tối ưu lồi 12 1.3.1 Các khái niệm 12 1.3.2 Sự tồn nghiệm tối ưu 13 1.3.3 Điều kiện tối ưu 15 1.4 Tối ưu có ràng buộc 16 1.4.1 Đối ngẫu 16 1.4.2 Điều kiện tối ưu có ràng buộc 20 Một thuật toán tách giải toán tối ưu lồi mạnh 26 2.1 Tốn tử chiếu lên tập lồi đóng 26 2.2 Một thuật toán chiếu giải toán tối ưu lồi 30 30 2.2.1 Thuật toán chiếu đạo hàm 2.2.2 Một thuật toán tách giải toán tối ưu lồi mạnh 35 Kết luận 42 Tài liệu tham khảo 43 DANH MỤC CÁC KÍ HIỆU Kí hiệu Ý nghĩa Rn Không gian Euclide n - chiều trường số thực; N Tập số tự nhiên; xi Tọa độ thứ i x; xT Véctơ hàng (chuyển vị x); < x; y >= xT y Tích vơ hướng vectơ x y ; ||x|| Chuẩn Euclide x; ∇f (x) Đạo hàm f theo x; ∂f (x) Dưới vi phân f theo x; ∂ε f (x) ε - vi phân f theo x Mở đầu Bài toán tối ưu hàm lồi mạnh với ràng buộc lồi lớp toán quan trọng toán quy hoạch lồi Bài toán có nhiều ứng dụng vấn đề thực tế Ngồi tốn xuất toán phụ phương pháp giải toán tối ưu lồi tổng quát, toán khác tốn cân bằng, mơ hình kinh tế, kĩ thuật Chính tốn cực tiểu hàm lồi mạnh vấn đề quan trọng nhiều nhà toán học ngồi nước nghiên cứu, nhằm mục đích đưa thuật toán hiệu để giải lớp toán Trong phương pháp giải, phương pháp tách có nhiều ưu điểm, đặc biệt phương pháp cho phép tách ràng buộc phức tạp thành ràng buộc đơn giản dễ tính tốn Vì tơi thực đề tài Một phương pháp tách giải lớp toán tối ưu lồi mạnh Luận văn chia làm chương: Chương 1: Bài toán tối ưu lồi Chương trình bày số kiến thức giải tích lồi, phát biểu tốn tối ưu, tồn nghiệm điều kiện tối ưu Chương 2: Một thuật toán tách giải toán tối ưu lồi mạnh Chương trình bày chi tiết tốn tử chiếu lên tập lồi đóng tính chất toán tử chiếu; thuật toán chiếu đạo hàm Cuối chương thuật toán chiếu tách để giải số tốn tối ưu lồi mạnh qua m T cho phép tránh phải tính hình chiếu PD tập D = Dj j=1 nhiều trường hợp tính hình chiếu PD khó, chí khơng thực được, thay vào ta tách, chiếu lên tập Dj tính hình chiếu PDj dễ dàng Nhân dịp tơi xin bày tỏ lịng biết ơn sâu sắc tới GS TSKH Lê Dũng Mưu, người thầy tận tâm, nhiệt tình hướng dẫn, cung cấp tài liệu, truyền đạt cho kiến thức trình học tập ln giúp đỡ, động viên tơi hồn thành luận văn Tơi xin trân trọng cảm ơn Ban giám hiệu, Phịng Đào tạo, Khoa Tốn – Tin trường Đại học Khoa học, Đại học Thái Nguyên thầy, cô giáo tham gia giảng dạy cao học khóa 2014 – 2016 quan tâm giúp đỡ tơi suốt q trình học tập trường Tơi xin cảm ơn trường Đại học Hạ Long – Quảng Ninh gia đình tạo điều kiện tốt cho việc học tập Cảm ơn bạn bè đồng nghiệp hỗ trợ tơi việc hồn thành luận văn Thái Nguyên, tháng 10 năm 2016 Học viên Nguyễn Văn Mạnh Chương Bài toán tối ưu lồi Chương trình bày số kiến thức giải tích lồi, giới thiệu toán tối ưu, tồn nghiệm tối ưu, điều kiện tối ưu tối ưu không ràng buộc, tối ưu có ràng buộc điều kiện tối ưu Kuhn - Tucker Nội dung chương trích dẫn chủ yếu từ tài liệu tham khảo [1]; [2]; [3] [5] 1.1 Kiến thức chuẩn bị Để thuận tiện cho người đọc, phần ta xét số khái niệm kết sử dụng phần Định nghĩa 1.1 Cho hai điểm a, b ∈ Rn Tập tất điểm x ∈ Rn có dạng x = (1 − λ)a + λb , ≤ λ ≤ gọi đoạn thẳng nối a b kí hiệu [a, b] Định nghĩa 1.2 Một tập D ⊆ Rn gọi tập affine D chứa trọn đường thẳng qua hai điểm x, y ∈ D, tức ∀x, y ∈ D, ∀λ ∈ R ⇒ λx + (1 − λ)y ∈ D Mệnh đề 1.1 Tập D 6= ∅ tập affine có dạng D = M + a, M ⊆ Rn , a ∈ Rn Không gian M xác định gọi không gian song song D Định nghĩa 1.3 Thứ nguyên (chiều) tập affine D thứ nguyên không gian song song với D kí hiệu dim D Định nghĩa 1.4 Siêu phẳng không gian Rn tập hợp điểm có dạng {x ∈ Rn : aT x = α} a ∈ Rn véc tơ khác α ∈ R Định nghĩa 1.5 Cho a ∈ Rn véc tơ khác α ∈ R Tập {x ∈ Rn : aT x ≥ α} gọi nửa khơng gian đóng tập {x ∈ Rn : aT x > α} gọi nửa không gian mở Định nghĩa 1.6 Một tập D ⊆ Rn gọi tập lồi, D chứa đoạn thẳng qua hai điểm Tức D tập lồi ∀x, y ∈ D, ∀λ ∈ [0, 1] ⇒ λx + (1 − λ)y ∈ D Định lý 1.1 Tập lồi đóng với phép giao, phép cộng, phép nhân với số thực Tức là, C D hai tập lồi Rn C ∩ D, λC + βD tập lồi Định nghĩa 1.7 Ta nói x tổ hợp lồi điểm (vectơ) x1 , x2 , , xk x= k X λj xj , λj ≥ (j = 1, , k), j=1 k X λj = j=1 Mệnh đề 1.2 Tập hợp D lồi chứa tổ hợp lồi điểm Tức là, D lồi ∀k ∈ N, ∀λ1 , , λk ≥ : k X j=1 λj = 1, ∀x1 , , xk ∈ D ⇒ k X j=1 λj xj ∈ D Định nghĩa 1.8 Một tập gọi tập lồi đa diện, giao số hữu hạn nửa khơng gian đóng Định nghĩa 1.9 Bao lồi tập D giao tất tập lồi chứa D Bao lồi tập D ký hiệu coD Bao lồi tập D tập lồi nhỏ chứa D Định nghĩa 1.10 Thứ nguyên tập lồi D cho thứ nguyên đa tạp affine nhỏ chứa D Đa tạp affine gọi bao affine D ký hiệu af f D Thứ nguyên tập lồi D kí hiệu dim D Định nghĩa 1.11 Một điểm a tập lồi D gọi điểm tương đối với x ∈ D có số λ > a + λ(x − a) ∈ D Tập điểm tương đối D kí hiệu riD Định nghĩa 1.12 Một tập D gọi nón ∀λ > 0, ∀x ∈ D ⇒ λx ∈ D Một nón gọi nón nhọn khơng chứa đường thẳng Một nón gọi nón lồi đồng thời tập lồi Nếu nón lồi lại tập lồi đa diện ta nói tập lồi đa diện Định nghĩa 1.13 Cho D ⊆ Rn tập lồi x0 ∈ D (i) Tập ND (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ 0, ∀x ∈ D} gọi nón pháp tuyến D x0 tập −ND (x0 ) gọi nón pháp tuyến D x0 (ii) Tập NDε (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ ε, ∀x ∈ D} gọi nón pháp tuyến ε D x0 Ta có ∈ ND (x0 ) (hoặc thực phép dời từ x0 → 0) dùng định nghĩa ta có ND (x0 ) nón lồi đóng Định nghĩa 1.14 Cho hai tập C D, ta nói siêu phẳng H := {x : hv, xi = λ} (i) Tách hai tập C D hv, ≤ λ ≤ hv, bi , ∀a ∈ C, ∀b ∈ D; (ii) Tách chặt C D nếu: hv, < λ < hv, bi , ∀a ∈ C, ∀b ∈ D; (iii) Tách mạnh C D nếu: sup hv, xi < λ < inf hv, yi y∈B x∈A Bổ đề 1.1 Trong Rn cho tập lồi đóng C 6= ∅ điểm a ∈ / C Bao tồn x0 ∈ C cho: a − x0 , x − x0 ≤ 0, ∀x ∈ C Định lý 1.2 (Định lí tách 1) Cho C D hai tập lồi khác rỗng Rn cho C ∩ D = ∅ Khi có siêu phẳng tách C D Chứng minh Xét C − D := {x − y |x ∈ C, y ∈ D } Ta có C − D lồi ∈ / C − D Thật vậy, giả sử ∈ C − D Khi ta có x − y = 0, suy x = y ∈ C ∩ D (vô lý) Đặt E := cl (C − D) Với a ∈ ri(C − D), ∈ / C − D, nên điểm không thuộc ri(C − D) đoạn [a, 0] điểm biên C − D, suy ∈ / E ∈ E\riE + Nếu ∈ / E Theo Bổ đề 1.1, ta có x0 ∈ E : t = − x0 6= cho t, x − x0 ≤ 0, ⇒ ht, zi ≤ 0, ∀z ∈ E ⇒ sup ht, zi ≤ ⇒ ht, x − yi ≤ 0, ∀x ∈ C, ∀y ∈ D ∀x ∈ E 27 Theo định nghĩa, ta thấy hình chiếu PD (y) y D nghiệm toán tối ưu   ||x − y||2 |x ∈ D Nói cách khác việc tìm hình chiếu y D đưa việc tìm cực tiểu hàm toàn phương ||x − y||2 D Chú ý rằng, D 6= ∅, dD (y) hữu hạn ≤ dD (y) ≤ ||y − x|| với x ∈ D Định lý sau cho thấy D tập lồi đóng hình chiếu PD (y) tồn (∀y ∈ Rn ) Định lý 2.1 Cho C ⊂ Rn tập lồi đóng khác rỗng y ∈ Rn điểm Khi tồn điểm π ∈ C hình chiếu y C Chứng minh Nếu y ∈ C rõ ràng: P (y) = y, dC (y) = Giả sử y ∈ / C Do dC (y) = inf x∈C ||x − y|| nên theo định nghĩa  inf imum tìm dãy xk ⊂ C cho lim ||xk − y|| = dC (y) k→∞  Vì xk bị chặn nên tồn dãy xkq hội tụ đến phần tử π  Do C đóng nên π ∈ C Vì ta có: ||π − y|| = lim ||xkq − y|| = lim ||xk − y|| = dC (y) q→∞ k→∞ Điều cho thấy π hình chiếu y C , tức π = P (y) Để chứng minh tính ta giả sử có hai điểm x1 ∈ C, x2 ∈ C, x1 6= x2 cho: ||x1 − y|| = ||x2 − y|| = dC (y) 28 Vì tập C lồi nên điểm z =
x1 + x2 ∈ C Theo định lý Pitago ta có 1 ||z − y||2 < ||x1 − y||2 + ||x2 − y||2 = [dC (y)]2 2 Suy ||z − y||2 < dC (y), (trái với định nghĩa dC (y)) Tính chất 2.1 Cho C tập lồi đóng khác rỗng Khi (i) Với y ∈ Rn , π ∈ C hai tính chất sau tương đương: a) π = PC (y) b) y − π ∈ NC (π) (ii) Nếu y ∈ / C , hPC (y) − y, x − PC (y)i = siêu phẳng tựa C PC (y) tách hẳn y khỏi C , tức hPC (y) − y, x − PC (y)i ≥ 0, ∀x ∈ C hPC (y) − y, x − PC (y)i < (iii) Ánh xạ y → PC (y) có tính chất sau: a) ||PC (x) − PC (y)|| ≤ ||x − y||, ∀x, ∀y (tính khơng giãn); b) hPC (x) − PC (y), x − yi ≥ ||PC (x) − PC (y)||2 (tính đồng bức) Chứng minh (i) Giả sử có a) Lấy x ∈ C λ ∈ (0; 1) Đặt xλ = λx + (1 − λ)π Do x, π ∈ C C lồi, nên xλ ∈ C Hơn π hình chiếu y , nên ||π − y|| ≤ ||y − xλ || Hay ||π − y||2 ≤ ||λ(x − π) + (π − y)||2 Khai triển vế phải, ước lược chia hai vế cho λ > 0, ta có ||λ(x − π)||2 + 2hx − π, π − yi ≥ 29 Điều với xλ ∈ C λ ∈ (0; 1) Do cho λ tiến tới 0, ta hπ − y, x − πi ≥ 0, ∀x ∈ C Vậy y − π ∈ NC (π) Bây giả sử có b) Với x ∈ C , có: ||y − π||2 ≤ (y − π)T (y − x) ≤ ||y − π||||y − x|| Suy ||y − π|| ≤ ||y − x||, ∀x ∈ C π = P (y) (ii) Do y − π ∈ NC (π), nên hπ − y, x − πi ≥ 0, ∀x ∈ C Vậy hπ − y, xi = hπ − y, πi siêu phẳng tựa C π Siêu phẳng tách y khỏi C y khác π , nên hπ − y, y − πi = −||π − y||2 < (iii) Do z − P (x) ∈ NC (P (z)) với z , nên áp dụng với z = x z = y , ta có: hx − P (x), P (y) − P (x)i ≤ hy − P (y), P (x) − P (y)i ≤ Cộng hai bất đẳng thức lại hP (y) − P (x), P (y) − P (x) + x − yi ≤ Từ theo bất đẳng thức Cauchy-Schwarz, suy ||P (x) − P (y)|| ≤ ||x − y|| Để chứng minh tính đồng bức, áp dụng tính chất b) (i), với P (x) P (y), ta có: hP (x) − x, P (x) − P (y)i ≤ hy − P (y), P (x) − P (y)i ≤ 30 Cộng hai bất đẳng thức ta hP (x) − P (y) + y − x, P (x) − P (y)i = hP (x) − P (y), y − xi + ||P (x) − P (y)||2 ≤ Chuyển vế ta có hP (x) − P (y), y − xi ≥ ||P (x) − P (y)||2 Đây tính đồng ta cần chứng minh 2.2 2.2.1 Một thuật toán chiếu giải toán tối ưu lồi Thuật toán chiếu đạo hàm Xét tốn tối ưu lồi khơng ràng buộc (P): {f (x) : x ∈ C} , (P) C tập lồi đóng khác rỗng f hàm lồi khả vi phân C Bước chuẩn bị ∞ P Chọn chuỗi βj với βj > cho: j=1 ∞ X βj = +∞, j=1 ∞ X βj2 < +∞ j=1 Chọn x1 ∈ C điểm xuất phát Bước lặp k Bắt đầu vào bước lặp ta có xk ∈ C Tính g k ∈ ∂f (xk ) a) Nếu g k = dừng thuật tốn xk nghiệm tối ưu (P) b) Nếu g k 6= 0, tính với ak :=
xk+1 = PC xk − αk g k ,  γ k := max 1, ||g k || • Nếu x = xk thuật tốn dừng, xk nghiệm tối ưu βk γk k+1 31 tốn • Trái lại, cho k ← k + lặp lại bước lặp k với k := k + Định lý 2.2 Xét toán tối ưu lồi khơng ràng buộc (P) (i) Nếu thuật tốn dừng lại bước lặp k xk nghiệm tối ưu toán (P) (ii) Nếu thuật toán kéo dài vơ hạn, xk hội tụ đến nghiệm x∗ toán (P) nghĩa ||xk − x∗ || → k → ∞ Chứng minh (i) Nếu thuật toán dừng bước lặp thứ k g k = xk =
PC xk − αk g k Trường hợp 1: g k = ∈ ∂f (xk ), theo định nghĩa đạo hàm, ta có: h0, x − xk i + f (xk ) ≤ f (x) ≤ 0, ∀x ∈ C Do f (xk ) ≤ f (x), ∀x ∈ C (2.1) Tức xk nghiệm tối ưu toán (P)
Trường hợp 2: xk = xk+1 = PC xk − αk g k Sử dụng tính chất phép chiếu meetric, ta có: h(xk − αk g k ) − xk , x − xk i ≤ ⇔ −αk hg k , x − xk i ≤ ⇔ hg k , x − xk i ≤ (2.2) Do g k ∈ ∂f (xk ), ta có hg k , x − xk i + f (xk ) ≤ f (x) Kết hợp với bất đẳng thức (2.2), cho f (xk ) ≤ f (x) với x ∈ C Khi xk nghiệm tối ưu toán (P) (ii) Ta giả sử thuật tốn khơng dừng Cho x∗ nghiệm toán (P) Khẳng định (ii) chứng minh dựa vào bổ đề Bổ đề 2.1 Ta có: ||xk+1 − xk || ≤ βk , ∀k ∈ N 32 Chứng minh Theo định nghĩa αk ta có: βk ||g k || ≤ βk max {1, ||g k ||}
= PC xk − αk g k , ta có: k x − αk g k − xk+1 , x − xk+1 ≤ 0, ∀x ∈ C αk ||g k || = Khi xk+1 (2.3) Thay x xk : ||xk − xk+1 ||2 ≤ hαk g k , xk − xk+1 i ≤ αk ||g k ||||xk − xk+1 || (2.4) ≤ βk ||xk − xk+1 || Suy ||xk − xk+1 || ≤ βk Bổ đề 2.2 Dãy ||xk − x∗ ||2 hội tụ với x ∈ C Chứng minh Ta có ||xk − x∗ ||2 = ||xk+1 − xk ||2 − 2hxk − xk+1 , x∗ − xk+1 i + ||xk+1 − x∗ ||2 Do ||xk+1 − x∗ ||2 = ||xk − x∗ ||2 − ||xk+1 − xk ||2 + 2hxk − xk+1 , x∗ − xk+1 i (2.5) Chú ý từ (2.4) ta có hαk − g k , xk − xk+1 i ≤ βk ||xk − xk+1 || ≤ βk2 (2.6) Từ (2.5) (2.6), ta có: ||xk+1 − x∗ ||2 ≤ ||xk − x∗ ||2 − ||xk+1 − xk ||2 + 2hαk g k , x∗ − xk+1 i ≤ ||xk − x∗ ||2 + 2hαk g k , x∗ − xk+1 i = ||xk − x∗ ||2 + 2hαk g k , x∗ − xk i + 2hαk g k , xk − xk+1 i ≤ ||xk − x∗ ||2 + 2hαk g k , x∗ − xk+1 i + 2βk2 (2.7) 33 Từ g k ∈ ∂f (xk ) ta có: hg k , x∗ − xk i ≤ f (x∗ ) + f (xk ) (2.8) Thay (2.8) vào (2.7): ||xk+1 − x∗ ||2 ≤ ||xk − x∗ ||2 + 2αk (f (x∗ ) − f (xk )) + 2βk2 (2.9) Khi x∗ nghiệm tối ưu, f (xk ) ≥ f (x∗ ) từ (2.9) ta có ||xk+1 − x∗ ||2 ≤ ||xk − x∗ ||2 + 2βk2 , ∞  P từ giả thiết βk2 < +∞ theo Bổ đề 2.2 dãy ||xk − x∗ ||2 hội tụ k=0 Bổ đề 2.3 Ta có: lim sup f (xk ) = (2.10) k→+∞ x∈C Chứng minh Từ Bổ đề 2.1, ta có: ≤ 2αk (f (xk ) − f (x∗ )) ≤ ||xk − x∗ ||2 + 2βk2 (2.11) Kết hợp hai trường hợp ta có: 0≤2 ∞ X αk (f (xk ) − f (x∗ )) k=0 ∗ ≤ ||x − x || − ||x m+1 ∗ − x || + m X βk2 k=0 ≤ ||x0 − x∗ ||2 + m X βk2 k=0 ≤ ||xk − x∗ ||2 + 2hαk g k , x∗ − xk+1 i + 2βk2 Cho m → +∞ ta có: ∞ m X X k ∗ ∗ 0≤2 αk (f (x ) − f (x )) ≤ ||x − x || + βk2 k=0 Do m P k=0 (2.12) k=0 βk2 < +∞ ta có: +∞ X k=0 αk (f (xk ) − f (x∗ )) < +∞, (2.13) 34 αk = βk βk ≥ max {1, ||g k ||} L0 (2.14) Kết hợp với (2.13): +∞ +∞ X X αk (f (xk ) − f (x∗ )) < +∞ βk (f (xk ) − f (x∗ )) ≤ L0 k=0 k=0 +∞ P Do (2.15) βk = +∞, suy ra: k=0 lim sup(f (xk ) − f (x∗ )) = k→+∞ x∈C (2.16) Áp dụng Bổ đề 2.1, Bổ đề 2.2 Bổ đề 2.3 ta có khẳng định (ii) định lý chứng minh   Theo định nghĩa limsup, tồn dãy xkj dãy xk cho: lim (f (xkj ) − f (x∗ )) = lim sup(f (xk ) − f (x∗ )) k→+∞ k→+∞ =  Do xkj bị chặn, ta giả sử rằng: lim xkj = x¯ j→+∞ Khi f (x∗ ) − f (¯ x) = lim (f (x∗ ) − f (xkj )) k→+∞ = − lim (f (xkj ) − f (x∗ )) k→+∞ = − lim sup(f (xk ) − f (x∗ )) k→+∞ x∈C =  Vì x ¯ nghiệm tối ưu toán, nên xk − x¯ hội tụ   dãy xkj dãy xk hội tụ đến x ¯, đó: lim xk = lim xkj = x¯ k→+∞  Như dãy xk hội tụ đến x ¯ k→+∞ 35 Trong số toán, phương pháp nhìn chung việc tính hình chiếu PD gặp nhiều khó khăn Khi ta phải dùng phương pháp m T Dj chiếu tách tập D = j=1 2.2.2 Một thuật toán tách giải toán tối ưu lồi mạnh Xét toán {f (x) : x ∈ D = m \ Dj }, j=1 với f hàm lồi, khả vi không gian Rn , Dj tập lồi Bổ đề 2.4 Giả sử {αk } dãy số không âm cho αk ≤ (1 − λk )αk + λk δk + σk , k = 0, 1, 2, {λk } ⊂ (0, 1), {δk } , {σk } thỏa mãn điều kiện sau: (i) ∞ P λk = ∞; k=1 (ii) lim sup δk ≤ 0; k→∞ ∞ P |σk | < ∞ (iii) k=1 Khi lim αk = x→∞ Giả sử: f (x) hàm lồi, nửa liên tục khả vi phân D với x ∈ D; H(x) := ∂f (x) L-Lipschitz D; F : H → 2H ánh xạ đa giá trị D ⊆ domF Với x ∈ D, g ∈ F (x) ta định nghĩa: y(x) := x − α1 g , α > Ta có kết Bổ đề 2.5 Nếu F hàm lồi mạnh hệ số β L-Lipschitz D thì: 2β L2 ky(x) − y(x )k ≤ (1 − + ) kx − x0 k , α α ∀g ∈ F (x), g = PF (x0 ) (g) ∀x, x0 ∈ D; 36 Ta có thuật tốn phối hợp phương pháp Gradient phương pháp lặp Mann-Kranosel’skii Thuật toán: Chọn số µj > (j = 1, , m) : m P µj = (chẳng hạn µj = j=1 m, ∀j = 1, , m); dãy {λk }k≥0 : < λk < 1, lim λk = 0, k→∞ ∞ X λk = +∞, ∞ X |λk − λk−1 | < +∞, k=0 k=0 , k = 0, 1, 2, ) k+1 + Bước 0: Chọn x0 ∈ D, k = 0; (chẳng hạn λk = + Mỗi bước lặp k , lấy g k ∈ ∂f (xk ) y k := arg { g k , y − xk + α2 y − xk , y ∈ Rn } = xk − α1 g k ; m P k+1 k x := λk y + (1 − λk ) µj PDj (xk ), j=1 α > L2 2β PDj (xk ) hình chiếu điểm xk tập Dj , L số Lipschitz đạo hàm: ||∇f (x) − ∇f (x0 )|| ≤ L||x − x0 ||, ∀x, x0 ∈ Rn Thuật tốn kéo dài vơ hạn, dừng chừng xk = y k = xk+1 Khi xk điểm cực tiểu Nếu trái lại ta có kết Định lý 2.3 Giả sử f hàm lồi mạnh với hệ số β , nửa liên tục  Khi dãy xk hội tụ đến nghiệm x∗ (P) Chứng minh Đặt P (x) := m P µj PDj (x) j=1 Khi ta có P (x) = x x ∈ Dj , ∀j = 1, 2, , m Tức x thuộc miền chấp nhận toán     Bước 1: Chúng ta xk , y k , g k , P (xk ) dãy bị chặn 37 Thật vậy, theo định nghĩa y k , xk+1 , P (xk ), ta có: k+1 x − x∗ = λk y k + (1 − λk )P (xk ) − x∗ = λk (y k − x∗ ) + (1 − λk )[P (xk ) − P (x∗ ) ≤ λk y k − x∗ + (1 − λk ) P (xk ) − P (x∗ ) k k ∗ + (1 − λk ) xk − x∗ g − x ≤ λk x − α (2.17) Vì f hàm lồi mạnh, hệ số β nên ∂f (x) vi phân hàm mục tiêu x : g k ∈ ∂f (xk ), ta có: k k ∗ ∗ x − x − (g − g ) = y k − y ∗ α 2β L + ) xk − x∗ ≤ (1 − α α = (1 − γ)2 xk − x∗ , q L < γ = − − 2β α + α < (2.18) Như vậy: k ∗ k ∗ x − x − (g − g ) ≤ (1 − γ) xk − x∗ α Điều suy k k 1 x − g − x∗ = xk − x∗ − (g k − g ∗ ) − g ∗ α α α ∗ k k ∗ ∗ (g − g ) ≤ x − x − + α kg k α ≤ (1 − γ) xk − x∗ + kg ∗ k α Thay bất đẳng thức vào (2.17) ta được: k+1 λk ∗ x − x∗ ≤ (1 − γλk ) xk − x∗ + kg k α k kg ∗ k ∗ = (1 − γλk ) x − x + γλk   αγ ∗ kg k ≤ max xk − x∗ , αγ Điều có nghĩa  ∗  k+1 kg k x − x∗ ≤ max x0 − x∗ , αγ (2.19) (2.20) 38    Như xk bị chặn Mà lim λk = 0, từ suy y k , P (xk ) k→∞ bị chặn Bước 2: Chúng ta chứng minh xk → k → ∞ Thật vậy, ta có: k+1 λ λ k k ∗ ∗ k+1 ∗ x g − g − x∗ = x − x + α α k+1 λ2k ∗ λ k ∗ ∗ = x − x + g + kg k α α   λk λk −2 g ∗ , xk+1 − x∗ + g ∗ α α     2 k ∗ k ∗ k ∗ = λk x − x − α (g − g ) + (1 − λk ) P (x ) − P (x ) λ2 λk ∗ k+1 g ,x − x∗ − k2 kg ∗ k2 −2 α α k k ∗ ∗ ≤ λk x − x − (g − g ) + (1 − λk ) P (xk ) − P (x∗ ) α λk −g ∗ , xk+1 − x∗ +2   α k 2αβ − L2 x − x∗ + λk −g ∗ , xk+1 − x∗ λ ≤ 1− k α2 α (2.21)  k Lấy x j dãy mà xkj → x lim sup −g ∗ , xk+1 − x∗ = lim −g ∗ , xkj − x∗ k→∞ k→∞ (2.22) ∗ ∗ = h−g , x − x i Như vậy, từ (2.21) (2.22), áp dụng Bổ đề 2.4, kết luận k x − x∗ → k → ∞ Ví dụ 2.1 Xét toán {f (x1 , x2 ) = x21 + 2x22 : x ∈ D = D1 ∩ D2 } đó:  D1 = (x1 , x2 ) : x21 + x22 ≤ ,   D2 = (x1 , x2 ) : −2 ≤ x1 ≤ ; −2 ≤ x2 ≤ 39 Hình 2.1: Miền D = D1 ∩ D2 Dễ thấy f hàm lồi mạnh, với hệ số β = 2, số Lipschitz √ L2 = 5, chẳng hạn α = đạo hàm L = Chọn α > 2β Chọn số µ1 = µ2 = thỏa mãn: µ1 + µ2 = 1; µ1 , µ2 > Chọn dãy λk = k+1 , k = 0, 1, 2, thỏa mãn: lim λk = 0, k→∞ ∞ X λk = +∞, k=0 " Ta có g k = ∂f (xk ) = 2xk1 # Chọn " x0 = (−1, 0) ∈ D ⇒ g = y = x0 − g = α −1 |λk − λk−1 | < +∞ k=0 4xk2 " ∞ X # − −2 " # −2 # " = −2 # "   x1 = λ0 y + (1 − λ0 ) µ1 PD1 (x0 ) + µ2 PD2 (x0 ) = y = " ⇒g = −4 # −2 # 40 " y = x1 − α1 g = − 23 # " − − 43 # " −4 # = 0   x2 = λ1 y + (1 − λ1 ) µ1 PD1 (x1 ) + µ2 PD2 (x1 )   "" # " ## " −4 −2 −1 1 1 + + = = 2 0 " # ⇒g = −23 36 16 # −23 18 y = x2 − g = " −23 36 16 # − " −23 18 # " = −23 54 16 #   ⇒ x3 = λ2 y + (1 − λ2 ) µ1 PD1 (x2 ) + µ2 PD2 (x2 )   " " # # 92 23 −23 √ − 54  − 9193  36  = + + 3 √ 27 16 9193 Ví dụ 2.2 Xét tốn {f (x1 , x2 ) = x21 + 3x22 : x ∈ D = D1 ∩ D2 }, đó: n o  D1 = (x1 , x2 ) : x21 + x22 ≤ , D2 = (x1 , x2 ) : (x1 − 2)2 + x22 ≤ Hình 2.2: Miền D = D1 ∩ D2 Dễ thấy f hàm lồi mạnh, với hệ số β = 2, số Lipschitz √ L2 đạo hàm L = 10 Chọn α > = 10, chẳng hạn α = 11 Chọn 2β 41 số µ1 = µ2 = thỏa mãn: µ1 + µ2 = 1; µ1 , µ2 > Chọn dãy λk = , k = 0, 1, 2, thỏa mãn: k+1 lim λk = 0, ∞ X k→∞ λk = +∞, Ta có g k = ∂f (xk ) = 2xk1 # Chọn 6xk2 " x0 = (1, 0) ∈ D ⇒ g = y = x0 − |λk − λk−1 | < +∞ k=0 k=0 " ∞ X g = α " # # − 11 " # " = 11 # "   x1 = λ0 y + (1 − λ0 ) µ1 PD1 (x0 ) + µ2 PD2 (x0 ) = y = " 18 11 ⇒g = 11 # 1 g = α " 11 # " 18 11 # " 81 121 # = 11 0   x2 = λ1 y + (1 − λ1 ) µ1 PD1 (x1 ) + µ2 PD2 (x1 ) " # "" # " ## " # 81 283 1 121 1 = + + = 484 2 0 0 " # y = x1 − ⇒g = y = x2 − − 283 242 g = 11 " 283 484 # − 11 " 283 242 # " 2547 5324 # = 0   ⇒ x3 = λ2 y + (1 − λ2 ) µ1 PD1 (x2 ) + µ2 PD2 (x2 ) " # "" # " ## " # 2547 31714 1 5324 = + + = 63888 3 0 0 #