Các điều kiện tối ưu theo dãy cho bài toán tối ưu trơn với các ràng buộc phiếm hàm

LỜI CẢM ƠN Em xin gửi lời cảm ơn tới thầy giáo, cô giáo tổ Giải tích bạn sinh viên khoa Toán trường Đại học Sư phạm Hà Nội Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới thầy Nguyễn Văn Tuyên tận tình giúp đỡ em suốt trình học tập, nghiên cứu hoàn thành khóa luận tốt nghiệp Cuối cùng, em muốn gửi lời cảm ơn tới gia đình bạn bè quan tâm, động viên em trình học tập nghiên cứu Em xin chân thành cảm ơn ! Hà Nội, tháng năm 2013 Sinh viên Nguyễn Ngọc Mai LỜI CAM ĐOAN Em xin cam đoan hướng dẫn thầy giáo Nguyễn Văn Tuyên khóa luận tốt nghiệp "Các điều kiện tối ưu theo dãy cho toán tối ưu trơn với ràng buộc phiếm hàm" hoàn thành không trùng với công trình nghiên cứu khoa học khác Trong thực nghiên cứu khoa học em sử dụng tham khảo thành tựu nhà khoa học với lòng biết ơn trân trọng Hà Nội, tháng năm 2013 Sinh Viên Nguyễn Ngọc Mai ii BẢNG KÝ HIỆU • N = {0, 1, 2, } • · kí hiệu chuẩn • Nếu h : Rn → Rm , h = (h1 , , hn ) ∇h := (∇h1 , , ∇hm ) • R+ = {t ∈ R | t ≥ 0} • Nếu ν ∈ Rn , ta kí hiệu ν+ = (max ν1 , 0, , max νn , 0)T • Nếu ν ∈ Rn , ta kí hiệu ν− = (min ν1 , 0, , νn , 0)T • A ⊂ B có nghĩa tập A chứa tập B • B(x, δ) = {z ∈ Rn | z − x ≤ δ} • ΠΩ (x) hình chiếu Euclide x Ω iii Mục lục Mở đầu 1 Một số kiến thức chuẩn bị 1.1 Một số kiến thức sở giải tích lồi 1.1.1 Tập lồi 1.1.2 Hình chiếu 1.1.3 Các định lý tách 11 1.1.4 Nón 12 1.1.5 Hàm lồi 14 1.1.6 Hàm lồi khả vi 15 1.1.7 Dưới vi phân 18 1.2 Các điều kiện tối ưu cho toán tối ưu trơn có ràng buộc 21 1.2.1 Các điều kiện cho toán tối ưu ràng buộc 21 1.2.2 Các điều kiện cho toán tối ưu có ràng buộc 22 Các điều kiện tối ưu theo dãy cho toán tối ưu trơn có ràng buộc 35 iv 2.1 Các điều kiện KKT-xấp xỉ 35 2.1.1 AKKT(I) điều kiện tối ưu 38 2.1.2 AKKT(I) điều kiện tối ưu mạnh 42 2.2 Các điều kiện chiếu gradient gần 44 2.2.1 Điều kiện C-AGP 46 2.2.2 Điều kiện L-AGP 52 Kết luận 54 Tài liệu tham khảo 54 v MỞ ĐẦU Lý chọn đề tài Trong khóa luận trình bày điều kiện tối ưu bậc theo dãy cho toán quy hoạch phi tuyến Các điều kiện tối ưu cần phải thỏa mãn cực tiểu toán tối ưu hóa Thông thường, định lý hỗ trợ điều kiện tối ưu có dạng: ‘Nếu cực tiểu địa phương x thỏa mãn CQ, thỏa mãn KKT, KKT viết tắt điều kiện Karush -Kuhn-Tucker CQ ràng buộc quy Nói cách khác, thường điều kiện tối ưu cần bậc dạng KKT không CQ’ Trên thực tế, phương pháp số để giải toán tối ưu hóa có ràng buộc thường sử dụng phương pháp lặp Người ta phải định lần lặp có thực bước lặp thuật toán hay kết thúc thuật toán Do việc kiểm tra tính tối ưu thực khó, nên cách tự nhiên kết thúc thuật toán điều kiện cần tối ưu thỏa mãn cách xấp xỉ Tuy nhiên, hầu hết phương pháp giải số toán tối ưu không kiểm tra tất điều kiện qui ràng buộc, điều kiện KKT (xấp xỉ) luôn thỏa mãn Nhiều người dường không nhận thấy ràng buộc quy tồn Việc tính toán kiểm tra tính chất lý thuyết cực tiểu địa phương: Cần nhấn mạnh rằng, cực tiểu địa phương KKT, luôn xấp xỉ dãy điểm ‘KKT-xấp xỉ’ Thực tế dẫn đến việc nghiên cứu loại điều kiện tối ưu khác Chúng ta nói x thỏa mãn ‘điều kiện tối ưu theo dãy’ xác định mệnh đề toán học P tồn dãy {xk } hội tụ đến x thỏa mãn P({xk }) Thông thường, điều kiện tối ưu theo dãy tương ứng với đại lượng k mà k → Các tiêu chuẩn dừng tự nhiên tương ứng với điều kiện tối ưu theo dãy để dừng việc thực thuật toán k đủ nhỏ Các điều kiện tối ưu cần theo dãy có yêu cầu tương tự điều kiện tối ưu thông thường: Chúng phải thỏa mãn cực tiểu toán, chúng mạnh tốt Hơn nữa, điều kiện tối ưu hữu ích (hay thuật toán định hướng) tương ứng với số thuật toán thực tế Mục đích nghiên cứu Nghiên cứu điều kiện tối ưu theo dãy cho toán tối ưu trơn với ràng buộc phiếm hàm Nhiệm vụ nghiên cứu -Nghiên cứu lý thuyết sở giải tích lồi -Nghiên cứu điều kiện tối ưu cho toán tối ưu trơn có ràng buộc -Nghiên cứu điều kiện KKT-xấp xỉ -Nghiên cứu điều kiện chiếu gradient gần Phương pháp nghiên cứu Tra cứu tài liệu, phân tích, so sánh, tổng hợp Cấu trúc khóa luận Khóa luận bố cục sau: Chương Trình bày số kiến thức sở giải tích lồi Trong chương có trình bày số tính chất tập lồi, hàm lồi điều kiện tối ưu cho toán tối ưu trơn có ràng buộc Chương Trình bày điều kiện tối ưu theo dãy cho toán tối ưu trơn có ràng buộc Nội dung chương trình bày chi tiết kết báo [2] Mục 2.1 trình bày điều kiện KKT xấp xỉ Mục 2.2 trình bày điều kiện chiếu gradient xấp xỉ Chương Một số kiến thức chuẩn bị 1.1 Một số kiến thức sở giải tích lồi 1.1.1 Tập lồi Khái niệm tập lồi khái niệm quan trọng lý thuyết tối ưu Tập lồi tập mà lấy điểm tập đoạn thẳng nối điểm nằm tập Định nghĩa 1.1 Tập X ⊂ Rn gọi tập lồi với x1 , x1 ∈ X với t ∈ (0; 1) thì: (1 − t)x1 + tx2 ∈ X Bổ đề 1.1 Cho I tập Nếu tập Xi ⊂ Rn , với i ∈ I, tập lồi tập X = Xi tập lồi i∈I Chứng minh Ta xét trường hợp: Xi = ∅ X tập lồi tầm thường +Nếu X = i∈I Xi = ∅, ta có: ∀x, y ∈ +Nếu X = i∈I Xi , ∀t ∈ (0; 1), suy i∈I x, y ∈ Xi , ∀i ∈ I Khi đó, (1 − t)x + ty ∈ Xi , ∀i ∈ I, suy (1 − t)x + ty ∈ Xi , ∀i ∈ I Vậy X tập lồi i∈I Bổ đề 1.2 Cho X, Y tập lồi Rn số thực λ, µ Khi đó, λX + µY tập lồi Chứng minh Lấy tùy ý x, y ∈ λX + µY , với t ∈ (0; 1) Suy ra, x = λx1 + µy1 ( với x1 ∈ X, y1 ∈ Y ), y = λx2 + µy2 ( với x2 ∈ X, y2 ∈ Y ) Khi (1 − t)x + ty = (1 − t)(λx1 + µy1 ) + t(λx2 + µy2 ) = λ((1 − t)x1 + tx2 ) + µ((1 − t)y1 + ty2 ) Do X, Y tập lồi nên λ((1 − t)x1 + tx2 ) ∈ λX µ((1 − t)y1 + ty2 ) ∈ µY Suy ra, λ((1 − t)x1 + tx2 ) + µ((1 − t)y1 + ty2 ) ∈ λX + µY hay (1 − t)x + ty ∈ λX + µY Vậy λX + µY tập lồi Định nghĩa 1.2 Một điểm x gọi tổ hợp lồi điểm x1 , x2 , , xm , tồn số thực không âm α1 , α2 , , αm cho x = α1 x1 + α2 x2 + + αm xm α1 + α2 + + αm = Định nghĩa 1.3 Bao lồi X ( kí hiệu: convX) giao tất tập lồi chứa X Bổ đề 1.3 Bao lồi X tập hợp tổ hợp lồi điểm thuộc X m convX = {x | x = m αi xi , xi ∈ X, α ≥ 0, i=1 αi = 1, m ∈ N} i=1 (2.9) PΩk (xk − ∇f (xk )) − xk ≤ εopt Thật dễ dàng để chứng minh AGP bao hàm AKKT [34] Tuy nhiên, điều ngược lại không đúng, phản ví dụ Do đó, AGP điều kiện tối ưu mạnh AKKT Ví dụ 2.3 AKKT không bao hàm AGP Xét toán Min f (x1 , x2 ) với ràng buộc h(x1 , x2 ) = 0, g(x1 , x2 ) ≤ 0, f (x1 , x2 ) = −x2 , h(x1 , x2 ) = x1 x2 , g(x1 , x2 ) = −x1 Đặt x∗ = (0, 1)T Đầu tiên, ta x∗ không thỏa mãn AGP Giả sử xk → x∗ Nếu xk1 > tập Ωk định nghĩa (2.18)-(2.20) giao nửa không gian x1 ≥ với tiếp tuyến tới h(x1 , x2 ) = h(xk1 , xk2 ) qua xk Đường có xu hướng thẳng đứng xk tiến gần đến x∗ Do đó, PΩk (xk − ∇f (xk )) − xk tiến tới (0, 1)T Tương tự, xk1 < tập Ωk nửa không gian x1 ≥ xk1 giao với đường tiếp tuyến tới h(x1 , x2 ) = xk1 xk2 qua xk Vì vậy, PΩk (xk − ∇f (xk )) − xk tiến tới (0, 1)T Do đó, cho dãy xk → x∗ , PΩk (xk − ∇f (xk )) − xk tiến tới không Như hệ quả, x∗ không thỏa mãn AGP Tiếp theo, ta x∗ thỏa mãn AKKT Đặt xk = (1/k, 1)T , λk = µk = k 45 Do đó, với k ∈ N ta có ∇f (xk ) + ∇h(xk )λk + ∇g(xk )µk = (0, −1)T + (1, 1/k)T k + (−1, 0)T k = Vì g(x∗ ) = 0, ta có (2.2)- (2.4) thỏa mãn, x∗ thỏa mãn AKKT Một biến thể điều kiện AGP sử dụng tài liệu với phương pháp khôi phục không xác [15, 20, 28]và quy hoạch toán học với ràng buộc bổ sung [7] mà không đề cập đến biến thể không tương đương với điều kiện AGP ban đầu đưa [30] Nói chung, biến thể bao gồm vài ràng buộc tiếp tuyến toán (2.1) định nghĩa Ωk , áp đặt ràng buộc phải thỏa mãn xk với k ∈ N Trong nhiều năm, tác giả tin tất điều kiện tối ưu theo dãy (bao gồm AKKT ) tương đương Chúng ta thấy trường hợp 2.2.1 Điều kiện C-AGP Giả sử hàm gq+1 , , gp toán (2.1) hàm lồi hr+1 , , hm hàm afin Do đó, tập Ω định nghĩa gj (x) ≤ với j = q + 1, , p hi (x) = 0, i = r + 1, , m đóng lồi Ta nói x∗ thỏa mãn điều kiện AGP-lồi(C-AGP) tồn dãy {xk } ⊂ Ω tiến tới x∗ thỏa mãn lim PΩk ∩Ω (xk − ∇f (xk )) − xk = 0, k→∞ (2.21) Ωk định nghĩa (2.18)- (2.20) với i = 1, , r, j = 1, , q Nếu thuật toán tối ưu hóa tạo lặp lặp lại xk ∈ Ω, tiêu chuẩn dừng cách tự nhiên tương ứng với C − AGP thỏa mãn (2.9) PΩk ∩Ω (xk − ∇f (xk )) − xk ≤ εopt 46 Ta chứng minh rằng, điều kiện mà ràng buộc Ω thỏa mãn vài ràng buộc quy, C − AGP điều kiện tối ưu Định lý 2.3 Cho x∗ cực tiểu địa phương toán (2.1) giả sử, với x ∈ Ω, với ràng buộc gi (x) ≤ 0, i = q +1, , p, hi (x) = 0, i = r + 1, , m thỏa mãn vài ràng buộc quy Khi đó, x∗ thỏa mãn C-AGP Chứng minh Ta sử dụng kĩ thuật dùng [30] cho việc chứng minh AGP điều kiện tối ưu Cho δ > cho x∗ cực tiểu toàn cục toán (2.1) với thêm ràng buộc x − x∗ ≤ δ Do đó, x∗ cực tiểu toàn cục f (x) + x − x∗ 2 với ràng buộc toán (2.1) x − x∗ ≤ δ Giả sử, ρk → ∞ cho xk cực tiểu toàn cục f (x) + 21 x − x∗ 2 + ρk ( r i=1 hi (x) + q i=1 gi (x)+ ) với ràng buộc x ∈ Ω x − x∗ ≤ δ Do lý thuyết hội tụ phương pháp hình phạt x∗ cực tiểu toàn cục nên suy xk → x∗ Vì vậy, xk − x∗ < δ với k đủ lớn Vì Ω thỏa mãn ràng buộc quy, suy ra, điều kiện KKT toán phụ phải thỏa mãn Cho Ak = {i ∈ {q + 1, , p} | gi (xk ) = 0} Do đó, với k đủ lớn tồn {µki , i ∈ Ak }, λki , i = r + 1, , m cho q r k k ∇f (x ) + 2ρk gi (xk )+ ∇gi (xk ) + (xk − x∗ ) k hi (x )∇hi (x ) + i=1 i=1 m λki ∇hi (xk ) + + i=r+1 µki ∇gi (xk ) = i∈Ak 47 Vì vậy, q r k k k k (x − ∇f (x )) − x + 2ρk k gi (xk )+ ∇gi (xk ) hi (x )∇hi (x ) + i=1 i=1 m µki ∇gi (xk ) = xk − x∗ λki ∇hi (xk ) + + i=r+1 i∈Ak Do tính không giãn phép chiếu, ta suy q r PΩk ∩Ω (xk − ∇f (xk )) − PΩk ∩Ω xk + 2ρk hi (xk )∇hi (xk ) + i=1 gi (xk )+ ∇gi (xk ) i=1 m λki ∇hi (xk ) + + i=r+1 µki ∇gi (xk ) i∈Ak ≤ xk − x∗ Nhưng, định nghĩa xk việc viết điều kiện tối ưu toán cực tiểu hình chiếu, ta có q r k k gi (xk )+ ∇gi (xk ) k hi (x )∇hi (x ) + PΩk ∩Ω x + 2ρk i=1 i=1 m λki ∇hi (xk ) + + i=r+1 µki ∇gi (xk ) = xk i∈Ak Do đó, PΩk ∩Ω (xk − ∇f (xk )) − xk ≤ xk − x∗ → Đến ta hoàn thành việc chứng minh Kết C − AGP điều kiện tối ưu mạnh theo nghĩa bao hàm KKT not-MFCQ Định lý 2.4 Giả sử điểm chấp nhận x∗ thỏa mãn C-AGP ràng buộc quy Mangasarian-Fromovitz Khi đó, x∗ thỏa mãn điều kiện KKT 48 Chứng minh Để đơn giản hóa kí hiệu, ta xét r = m Trường hợp r < m đơn giản Do điều kiện C-AGP, tồn dãy {xk } cho xk → x∗ y k − xk → 0, y k nghiệm Min y − xk + ∇f (xk ) 2 (2.22) với ràng buộc ∇h(xk )T (y − xk ) = 0, (2.23) gi (xk )− + ∇gi (xk )T (y − xk ) = 0, i = 1, , q, (2.24) gj (y) ≤ 0, j = q + 1, , p (2.25) Đầu tiên nhận thấy rằng, xk → x∗ y k − xk → 0, ta có lim y k = x∗ (2.26) k→∞ Giả sử i ≤ q gi (x∗ ) < Khi đó, tồn c > cho gi (xk )− < −c < với k đủ lớn Do đó, y k − xk → 0, với k đủ lớn, ta có gi (xk )− + ∇gi (xk )T (y k − xk ) < −c/2 < (2.27) Tiếp theo, ta giả sử j ∈ {q + 1, , p} gj (x∗ ) < Khi đó, (2.26) gj (y k ) < (2.28) với k đủ lớn Do (2.27) (2.28), với k đủ lớn, số ràng buộc chủ động (2.22)-(2.25) y k chứa tập số hoạt toán (2.1) x∗ Tiếp theo, ta giả sử λk ∈ Rm , µk1 , , µkp ∈ R+ cho q k k p µki ∇gi (xk ) ∇h(y )λ + µkj ∇gj (y k ) = 0, + i=1 j=q+1 49 (2.29) với µki = ràng buộc (2.24) không chủ động y k µkj = ràng buộc (2.25) không chủ động y k Hơn nữa, giả sử, cho nhiều số cách vô hạn k hệ số λk1 , , λkm , µk1 , , µkp Khi đó, chia (2.29) modun cực đại hệ số, ta giả sử, mà không tính tổng quát, modun cực đại hệ số (2.29) với k Khi đó, dùng tính compact lấy giới hạn cho k → ∞ (2.29) ta có q ∇h(x∗ )λ + p µi ∇gi (x∗ ) + i=1 µj ∇gj (x∗ ) = 0, j=q+1 với µ1 , , µp ≥ 0, hệ số với i = 1, , p, µi = gi (x∗ ) < Điều vì, giả thuyết, x∗ thỏa mãn M F CQ Do đó, tồn λk ∈ R, µk1 , , µkp ∈ R+ thỏa mãn (2.29) Điều nghĩa là, với k đủ lớn, y k thỏa mãn ràng buộc quy Mangasarian-Fromovitz tương ứng với toán (2.22)-(2.25) Suy ra, với k đủ lớn, điều kiện KKT toán (2.22)-(2.25) đáp ứng Do đó, với k đủ lớn, tồn tại, λk ∈ Rm , µk ∈ Rp+ cho p k k k k k µki ∇gi (xk )+ y −x +∇f (x )+∇h(x )λ + i∈Ik µkj ∇gj (y k ) = 0, (2.30) j∈Jk Ik Jk tập số hoạt y k Trên đây, ta chứng minh Ik ⊂ I∗ Jk ⊂ J∗ , I∗ , J∗ tập số hoạt x∗ cho toán (2.1) Nếu dãy {λk } {µk } bị chặn, lấy dãy hội tụ lấy giới hạn (2.30) ta đưa vào điều kiện KKT x∗ Nếu dãy {λk }, {µk } không bị chặn phần tử cực đại Mk λki , i = 1, , m, µkj , j = 1, , p tiến tới vô cực 50 dọc vài dãy Vì vậy, chia hai vế (2.30) cho Mk ta (y k − xk + ∇f (xk ))/Mk + ∇h(xk )λk /Mk + µki /Mk ∇gi (xk ) i∈Ik p µkj /Mk ∇gj (y k ) = (2.31) + j∈Jk Chuyển qua giới hạn k tiến tới vô dãy hội tụ (2.31), ta có ∇h(x∗ )λ∗ + ∇g(x∗ )µ∗ = 0, µ∗ ≥ λ∗ + µ∗ > Điều nghĩa x∗ không thỏa mãn M F CQ, điều mâu thuẫn với giả thuyết Ví dụ 2.4 AGP không bao hàm C − AGP Xét toán tìm cực tiểu x2 với ràng buộc ví dụ (2.3) Ta điểm x∗ = (0, 1)T không thỏa mãn C − AGP Nếu {xk } mà xk1 ≥ với k, đối số tương tự sử dụng (2.3) phải sử dụng để (2.21) thỏa mãn Tuy nhiên, x∗ thỏa mãn AGP Để thấy điều này, xét dãy xk = (−1/k, 1)T Trong trường hợp này, phép chiếu xk − ∇f (xk ) tập định nghĩa ∇h(xk )T (x − xk ) = ∇g(xk )T (x − xk ) ≤ xk với k ∈ N Do đó, AGP thỏa mãn Kết cho ta giả định C − AGP bao hàm ‘KKT not-CPLD’, trường hợp điều kiện AGP ban đầu Tuy nhiên, điều không đúng, ví dụ Ví dụ 2.5 C − AGP không bao hàm ‘KKT not-CPLD’ Xét toán (2.1) với n = 2, p = 2, q = 1, f (x1 , x2 ) = x1 , g1 (x1 , x2 ) = −x21 − x2 , g2 (x1 , x2 ) = x21 + x2 Hàm g2 hàm lồi tập điểm 51 mà g2 (x1 , x2 ) ≤ thỏa mãn ràng buộc quy Dễ thấy điều kiện CP LD thỏa mãn x∗ = (0, 0)T ∇g1 (x) + ∇g2 (x) = với x Mặt khác, điều kiện KKT không thỏa mãn x∗ Tuy nhiên, ta C − AGP thỏa mãn Ta đặt, xk = x∗ , với k ∈ N Khi đó, ∇f (xk ) = (1, 0)T với k xk − ∇f (xk ) = (−1, 0)T Bây giờ, tập Ωk {x ∈ R2 | ∇g2 (xk )T (x − xk ) ≤ 0}, Ωk nửa mặt phẳng x2 ≥ Suy ra, Ωk ∩ Ω = {(0, 0)T } = {xk } với k Do đó, PΩ∩Ωk (xk − ∇f (xk )) − xk = với k Điều có nghĩa điều kiện C − AGP thỏa mãn x∗ ( Nhắc lại điều không mâu thuẫn với Định lý (2.4) x∗ không thỏa mãn M F CQ.) Ví dụ 2.6 C − AGP không bao hàm AGP Phản ví dụ C − AGP không bao hàm ‘KKT not-CP LD’ sử dụng để C − AGP không bao hàm AGP Trên thực tế, điểm x∗ thỏa mãn AGP AGP bao hàm ‘KKT not-CPLD’ nên điều kiện tối ưu thỏa mãn x∗ 2.2.2 Điều kiện L-AGP Sự độc lập C − AGP AGP thực tế C − AGP không bao hàm ’KKT not-CPLD’ khiến suy nghĩ AGP điều kiện tối ưu theo dãy mạnh mà đạt thuật toán tối ưu số Tuy nhiên, điều kiện AGP-like mạnh sử dụng trường hợp phổ biến: Khi vài ràng buộc để xác định tập chấp nhận tuyến tính Ta nói điểm chấp nhận x∗ thỏa mãn điều kiện AGP-tuyến tính(L-AGP) thỏa mãn điều kiện C-AGP trường hợp gq+1 , , gp 52 hàm afin Trạng thái L − AGP rút từ việc quan sát thực Phản ví dụ (2.4) sử dụng để AGP không bao hàm L − AGP Mặt khác, điểm x∗ thỏa mãn L − AGP , dãy tương ứng {xk } sử dụng để AGP thỏa mãn Nói cách khác, L − AGP chặt AGP Điều hỗ trợ quan điểm rằng, toán tối ưu hóa có ràng buộc tuyến tính, hợp lý để bảo toàn tính chấp nhận chúng, tuyến bố hội tụ tiêu chuẩn AGP thỏa mãn với vài cho phép Mặt khác, dùng tiêu chuẩn giống với ràng buộc lồi chung dường ưu đặc biệt Cần nhắc lại [5], điều kiện L-AGP sử dụng (với tên AGP ) việc kết nối với toán quy hoạch toán học với ràng buộc cân Trong báo người ta thuật toán mà theo lý thuyết hội tụ đến điểm L − AGP dẫn đến điểm không suy biến chấp nhận được, điểm KKT 53 KẾT LUẬN Trên toàn nội dung khóa luận: "Các điều kiện tối ưu theo dãy cho toán tối ưu trơn với ràng buộc phiếm hàm" Khóa luận giải vấn đề sau: • Trình bày cách lý thuyết sở giải tích lồi như: Tập lồi, hình chiếu, nón, hàm lồi, hàm lồi khả vi vi phân tính chất đặc trưng chúng • Trình bày toán tối ưu trơn có ràng buộc điều kiện tối ưu cho lớp toán Do thời gian nghiên cứu lực hạn chế nên khóa luận đạt số kết định Kính mong nhận đóng góp ý kiến thầy giáo, cô giáo toàn thể bạn đọc để khóa luận đầy đủ hoàn thiện Trước kết thúc khóa luận này, lần em xin bày tỏ lòng biết ơn sâu sắc tới thầy cô giáo trường, đặc biệt thầy giáo Nguyễn Văn Tuyên tận tình giúp đỡ em hoàn thành khóa luận 54 Tài liệu tham khảo [A] Tài liệu tiếng Việt [1] Huỳnh Thế Hùng, "Cơ sở giải tích lồi", NXB Giáo dục 2012 [B] Tài liệu tiếng Anh [2] Roberto Andreani, Gabriel Haeser, J M Martínez(2011), "On sequential optimality conditions for smooth constrained optimization", Optimization [3] J Abadie(ed.), On the Kuhn-Tucker theorem, in Nonlinear Programming(NATO Summer School, Menton, 1964), Amsterdam, North Holland, 1967, pp 19-36 [4] R Andreani, E.G Birgin, J.M Martínez, and M.L Schuverdt, On augmented Lagrangian methods with genneral lower-lever constraints, SIAM J Optim 18 (2007), pp 1286-1309 [5] R Andreani and J.M Martínez, On the solution of mathematical programming problems with equilibrium constraints, Math Method Oper Res 54 (2001), pp 345-358 [6] R Andreani, J.M Martínez, L Martínez, and F Yano, Continuous optimization methods for structure alignments, Math Prog 112 (2008), pp 93-124 [7] R Andreani, J.M Martínez, L Martínez, and F.S Yano, Low ordervalue optimization and application, J Global Optim 43 (2009), pp 1-10 [8] R Andreani, J.M Martínez, and M.L Schuverdt, On the relation between the constant positive linear dependence condition and quasinormality constraint qualification, J Optim Theory Appl 125 (2005), pp 473-485 [9] D.P Bertsekas, Nonlinear Programming, 2nd ed., Athena Scientific, Belmont, MA, 1999 [10] E.G Birgin and J.M Martínez, Local convergence of an inexactrestoration methods and numerical experiments, J Optim Theory Appl 127 (2005), pp 229-247 [11] A.R Conn, N.I.M Gould, and Ph.L Toint, Trust Region Methods, MPS/SIAM Series on Optimization, SIAM, Philadelphia, 2000 [12] S Dempe, Foundations of Bilevel Programming, Kluwer Academic Publishers, Dordrecht, 2002 [13] F Facchinei and J.-S Pang, Finite-dimensional Variational Inequalities and Complementarity Problem, Vols I and II, Springer, New York, 2003 [14] A.V Fiacco and G.P McCormick, Nonlinear programming: Sequential Unconstrained Minimization Techniques, Wiley, New York, 1968 [15] A Fischer and A Friedlander, A new line search inexact restoration approach for nonlinear programming, to appear in Comput Optim Appl., doi: 10.1007/s10589-009-9267-0 56 [16] R Fretcher, Practical Methods of Opitimization Acedemic Press, London, 1987 [17] R Gárciga Otero and B F Svaiter, A new condition characterizing solutions of varational inequality problems, J Optim Theory Appl 137 (2008), pp 89-98 [18] F.A.M Gomes, A sequential quadratic programming algorithm that combines merit function and filter ideas, Comput Appl Math 26 (2007), pp 337-379 [19] M.A Gomes-Ruggiero, J.M Martínez, and S.A Santos, Spectral projected gradient method with inexact restoration for minimization with nonconvex constraints , SIAM J Sci Comput 31 (2009), pp 1628-1652 [20] C.C Gonzaga, E.W Karas, and M Vanti, A globally convergent filter method for nonlinear programming, SIAM J Optim 14 (2003), pp 646-669 [21] L.M Grana Drummond and B.F Svaiter, A steepest descent method for vector optimization, J Comput Appl Math 175 (2005),pp 395414 [22] M Guignard, Generalized Kuhn-Tucker conditions for mathematical programming in a Banach spaces, SIAM J Control (1969),pp 232241 [23] G Haeser, Condicoes sequenciais de otimalidade, Tese de Doutorado, Departamento de Matemática Aplicada, Universidade Estadual de Campinas, Brazil, 2009 57 [24] A.N Iusem and M Nasri, Inexact proximal point methods for equilibrium problems in Banach spaces, Numer Functional Anal Optim 28 (2007),pp 1279-1308 [25] E.W Karas, E.A Pilottal, and A.A.Ribeiro, Numerical comparision of merit function with filter criterion in inexact restoration algorithms using hard-spheres problems, Comput Optim Appl 44 (2009),pp 427-441 [26] C.Y Kaya and J.M Martínez, Euler discretization and inexact restoration for optimal control, J Optim Theory Appl 134 (2007), pp 191-206 [27] O.L Mangasarian and S Fromovitz, The Fritz-Jonh necessary optimality conditions in presence of equality and inequality constraints, J Math Anal Appl 17(1967), pp 37-47 [28] J.M Martínez, Inexact restoration method with Lagrangiant tangent decrease and new merit function for nonlinear programming, J Optim Theory Appl 111 (2001), pp 39-58 [29] J.M Martínez and E.A Pilotta, Inexact restoration algorithms for contrained optimization, J Optim Theory Appl 104 (2000), pp 135-163 [30] J.M Martínez and B.F Svaiter, A practical optimality condition without constraint qualifications for nonlinear programming, J Optim Theory Appl 118 (2003), pp 117-133 [31] J Nocedal and S.J Wright, Numerical Optimization, Springger, New York, 1999 58 [32] L Qi and Z Wei, On the constant positive linear dependence condition and its application to SQP methods, SIAM J Optim 10 (2000), pp 963-981 [33] R.T Rockafellar, Lagrange multipliers and optimality , SIAM Rev 35 (1993), pp 183-238 [34] M.L Schuverdt, Métodos de Lagrangiano Aumentado com convergência usando a condicao de dependéncia linear positiva constante, Tese de Doutorado, Departamento de Matemática Aplicada, Universidade Estadual de Campinas, 2006 [35] C Shen, W Xue, and D Pu, A filter SQP algorithm without a feasibility retoration phase, Comput Appl Math 28 (2009), pp 167-194 [36] A Ruszczy´ nski, Nonlinear Optimization, Princeton University Press, Princeton 2006 59 [...]... toàn cục của bài toán Nếu hàm f chỉ có đạo hàm theo hướng tại x¯ thì điều kiện cần của tính tối ưu là f (¯ x, d) ≥ 0 với mọi d ∈ TX (¯ x) (1.31) Chứng minh của điều kiện này có thể dùng lược đồ của chứng minh Định lý 1.12 sau công thức (1.30) Ta cần sử dụng đạo hàm theo hướng f (¯ x, d) thay cho ∇f (¯ x), d Khai triển điều kiện cần của tính tối ưu cho các lớp khác nhau của bài toán tối ưu hóa phi tuyến... (x) là hàm lồi Tiếp theo, ta đi tính ∂δC (x) Giả sử x∗ ∈ ∂δC (x) Khi đó ∂δC (y) ≥ ∂δC (x) + x∗ , y − x , ∀y ∈ Rn + Nếu y ∈ / C thì δC (y) = +∞ suy ra bất đẳng thức trên luôn thỏa mãn 20 + Nếu y ∈ C thì δC (y) = 0, δC (x) = 0 suy ra x∗ , y − x ≤ 0, ∀y ∈ C Khi đó, x∗ ∈ NC (x) Vậy ∂δC (x) = NC (x) 1.2 Các điều kiện tối ưu cho bài toán tối ưu trơn có ràng buộc 1.2.1 Các điều kiện cho bài toán tối ưu không... toàn cục 1.2.2 Các điều kiện cho bài toán tối ưu có ràng buộc Định nghĩa 1.13 Hướng d được gọi là một hướng tiếp xúc của tập X ⊂ Rn tại điểm x ∈ X, nếu tồn tại các dãy của các điểm xk ∈ X và vô 22 hướng τk > 0, k = 1, 2, , sao cho τk ↓ 0 và xk − x d = lim k→∞ τk Bổ đề 1.13 Cho X ⊂ Rn và cho x ∈ X Tập TX (x) các hướng tiếp xúc của X tại x là một nón đóng Chứng minh Giả sử d ∈ TX (x) Với mỗi β > 0 ta... thì tồn tại d ∈ Rn và v ≤ 0 sao cho ∇gi (x0 ), d = yi + vi , ∇hi (x0 ), d = 0, i = 1, , m, i = 1, , p Chọn yi < 0, i = 1, , m, ta có điều kiện chính qui MangasarianFromovitz Xét bài toán tối ưu có ràng buộc: min f (x), x∈X (1.27) với hàm khả vi f : Rn → R và tập X ⊂ Rn Nếu nghiệm của bài toán x¯ là một điểm biên của tập chấp nhận được X, điều kiện cần của tính tối ưu được trình bày trong Định lý 1.10... 1.13 với hướng d Do đó, nón TX (x) bị đóng Nón tiếp tuyến rất quan trọng cho việc phát triển các điều kiện tối ưu của bài toán tối ưu hóa phi tuyến Nói chung, nón của các hướng tiếp xúc có thể không lồi làm cho giải tích của tối ưu hóa trở nên khó khăn Nhưng ta vẫn có thể đồng nhất một vài trường hợp quan trọng khi những nón này là lồi và ta có thể đưa ra phân tích chúng Nhắc lại về khái niệm nón các. .. , k→∞ τk /β vì các dãy {xk } và {τk /β} thỏa mãn Định nghĩa 1.13 với hướng βd Do đó, TX (x) là một nón Cho các hướng dj tiếp xúc với X tại x với các dãy tương ứng {xj,k } và {τj,k }, k = 1, 2, , thỏa mãn Định nghĩa 1.13 và cho lim dj = d Vì j→∞ hướng d là tiếp tuyến, với mỗi j tồn tại k(j) sao cho xj,k(j) − x − dj ≤ dj − d τj,k(j) Do đó xj,k(j) − x − d ≤ 2 dj − d τj,k(j) Suy ra các dãy {xj,k(j) }... có thể làm giảm hàm mục tiêu Để có điều kiện cần của tính tối ưu, ta hạn chế tập các nhiễu chấp nhận được của hướng tiếp xúc tại x¯ Định lý 1.12 Giả sử x¯ là cực tiểu địa phương của bài toán (1.27) và hàm f khả vi tại x¯ Cho TX (¯ x) là nón tiếp tuyến của tập X tại x¯ Khi đó −∇f (¯ x) ∈ [TX (¯ x)]o (1.28) Như vậy, nếu hàm f là hàm lồi, tập X là tập lồi và điểm x¯ ∈ X thỏa mãn điều kiện (1.28) thì... tại s ∈ B sao cho h (x0 )s = z Khi đó điều kiện thứ hai của (1.24) có h (xM F − x0 + s) = z Điều kiện (1.25) bao hàm rằng ta có thể tìm v ≤ 0 sao cho g (x0 )(xM F − x0 + s) − v = y Điều này có nghĩa là cho hướng d = xM F − x0 + s và chọn v là phần tử tương ứng với tập vế trái của (1.23) bằng (y, z) Điều này có thể thực hiện với mọi (y, z) sao cho (y, z) ≤ δ Vậy điều kiện chính qui Robinson là đúng và... ưu cho các lớp khác nhau của bài toán tối ưu hóa phi tuyến bao gồm chủ yếu là việc giải quyết cơ bản điều kiện (1.28) cho các dạng khác nhau của các tập chấp nhận được X Công thức cho nón cực của nón tiếp tuyến tới X tại x¯ đóng vai trò là chìa khóa Xét bài toán tối ưu hóa phi tuyến Min f (x) với ràng buộc gi (x) ≤ 0, i = 1, , m, hi (x) = 0, i = 1, , p, x ∈ X0 31 (1.32) ... có ràng buộc Cho f : Rn → R, X ⊂ Rn Xét bài toán (P ) : min f (x) x∈X Điểm x¯ ∈ X được gọi là nghiệm địa phương (hay điểm cực tiểu địa phương) của (P ) nếu tồn tại ε > 0: f (x) ≤ f (¯ x), với mọi x ∈ X ∩ B(¯ x, ε) Điểm x¯ ∈ X được gọi là nghiệm toàn cục ( hay nghiệm cực tiểu toàn cục hay đểm cực tiểu toàn cục) nếu f (x) ≥ f (¯ x), với mọi x ∈ X +X = Rn thì (P ) được gọi là bài toán tối ưu không ràng ... 1.2 Các điều kiện tối ưu cho toán tối ưu trơn có ràng buộc 21 1.2.1 Các điều kiện cho toán tối ưu ràng buộc 21 1.2.2 Các điều kiện cho toán tối ưu có ràng buộc 22 Các điều. .. trình bày số tính chất tập lồi, hàm lồi điều kiện tối ưu cho toán tối ưu trơn có ràng buộc Chương Trình bày điều kiện tối ưu theo dãy cho toán tối ưu trơn có ràng buộc Nội dung chương trình bày... điều kiện tối ưu theo dãy cho toán tối ưu trơn có ràng buộc 35 iv 2.1 Các điều kiện KKT-xấp xỉ 35 2.1.1 AKKT(I) điều kiện tối ưu 38 2.1.2 AKKT(I) điều kiện tối ưu mạnh