Phương pháp hàm phạt chính xác và điều kiện cần tối ưu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - NGUYỄN THIỆN HUY PHƯƠNG PHÁP HÀM PHẠT CHÍNH XÁC VÀ ĐIỀU KIỆN CẦN TỐI ƯU LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - NGUYỄN THIỆN HUY PHƯƠNG PHÁP HÀM PHẠT CHÍNH XÁC VÀ ĐIỀU KIỆN CẦN TỐI ƯU LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành :Toán ứng dụng Mã số : 60 46 01 12 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Văn Lưu THÁI NGUYÊN - 2016 Mục lục Bảng ký hiệu ii Mở đầu 1 Phương pháp hàm phạt xác điều kiện cần tối ưu cấp 1.1 Các khái niệm định nghĩa 1.2 Điều kiện cần tối ưu cấp Phương pháp hàm phạt xác điều kiện cần tối ưu cấp 20 2.1 Điều kiện cần tối ưu cấp 20 2.2 Các ví dụ 27 Kết luận 33 Tài liệu tham khảo 34 i Bảng ký hiệu NLP Bài toán quy hoạch phi tuyến SON Điều kiện cần cấp KKT Điều kiện cần cấp GCQ Điều kiện quy Guignand cấp SGCQ Điều kiện quy Guignand cấp LICQ Điều kiện quy độc lập tuyến tính epi f Trên đồ thị hàm f ∂f (x) Dưới vi phân quy f x TA (x) Nón tiếp tuyến A x NA f (x) Nón pháp tuyến quy A x posA Bao dương A A∞ Nón horizon A δA (x) Hàm tập A ii Mở đầu Lý thuyết điều kiện tối ưu phận quan trọng lý thuyết tối ưu hóa, điều kiện tối ưu cấp cấp đóng vai trò quan trọng Các điều kiện cần tối ưu thiết lập phương pháp sử dụng trực tiếp định lý tách tập lồi không tương giao qua việc thiết lập định lý luân phiên, phương pháp hàm phạt xác vài phương pháp khác Phương pháp hàm phạt xác tỏ hiệu việc dẫn điều kiện cần tối ưu cấp cấp Bằng phương pháp hàm phạt xác, Meng., K Yang., X (2015) dẫn điều kiện cần tối ưu cấp cấp cho toán quy hoạch phi tuyến có ràng buộc đẳng thức bất đẳng thức với hàm khả vi liên tục cấp 2, tác giả sử dụng vi phân quy số hạng phạt điều kiện quy thích hợp Đặc biệt Meng -Yang nhận điều kiện cần tối ưu cấp cấp cách sử dụng hàm phạt xác lp (0 < p < 1) Đây đề tài có tính thời nhiều tác giả quan tâm nghiên cứu Chính vậy, chọn đề tài: “Phương pháp hàm phạt xác điều kiện cần tối ưu” Luận văn trình bày điều kiện cần tối ưu cấp cấp Meng - Yang (2015) cho toán quy hoạch phi tuyến (NLP) có ràng buộc đẳng thức bất đẳng thức phương pháp hàm phạt xác Bằng cách sử dụng gradient quy, điều kiện cần đủ để số hạng phạt thuộc loại Karush - Kuhn - Tucker (KKT) trình bày Với điều kiện quy cấp 2, điều kiện cần tối ưu cấp trình bày qua hàm phạt xác lp (0 < p < 1) Luận văn chia làm hai chương: Chương 1: Phương pháp hàm phạt xác điều kiện cần tối ưu cấp Chương trình bày điều kiện cần tối ưu cấp cho toán quy hoạch phi tuyến, điều kiện cần đủ để số hạng phạt tổng quát KKT số hạng phạt bậc thấp KKT qua vi phân quy số hạng phạt Chương 2: Phương pháp hàm phạt xác điều kiện cần tối ưu cấp Chương trình bày điều kiện cần tối ưu cấp cho toán quy hoạch phi tuyến qua tính xác hàm phạt Điều làm nhờ áp dụng định lý đối ngẫu quy hoạch tuyến tính điều kiện quy cấp Nhân dịp này, tác giả xin bày tỏ lòng biết ơn chân thành đến Ban Giám hiệu, Phòng Đào tạo, khoa Toán - Tin trường Đại học Khoa hoc - Đại học Thái Nguyên, thầy cô giáo tham gia giảng dạy giúp đỡ tác giả thời gian theo học chuyên đề hoàn thành công việc học viên cao học Thái Nguyên, ngày 20 tháng 10 năm 2016 Tác giả Nguyễn Thiện Huy Chương Phương pháp hàm phạt xác điều kiện cần tối ưu cấp Chương trình bày kết điều kiện KKT cho toán quy hoạch phi tuyến (NLP) phương pháp hàm phạt xác Meng - Yang ([7], 2015) Các điều kiện cần đủ để số hạng phạt tổng quát số hạng phạt bậc thấp KKT qua vi phân quy số hạng phạt trình bày chương Chú ý số hạng phạt Φ thuộc loại KKT điểm cực tiểu địa phương x toán NLP điều kiện KKT x mà hàm phạt f + µΦ hàm phạt xác x 1.1 Các khái niệm định nghĩa Kí hiệu R := R ∪ {±∞} R+ := {t ∈ R| t ≥ 0} Kí hiệu xT chuyển vị vectơ x ∈ Rn , x, y tích vô hướng x y ∈ Rn , x⊥ = {v| v, x = 0} phần bù trực giao không gian vectơ tuyến tính sinh x, x chuẩn Euclidean x Với f : Rn → R+ ∪ {+∞} p > 0, ta kí hiệu f (x)p := (f (x))p , ∀x ∈ Rn , với quy ước (+∞)p = +∞ Với tập A Rn , kí hiệu bao đóng, phần trong, biên, bao lồi A, tương ứng ClA, intA, bdA convA (xem [1]) Nón cực A định nghĩa A∗ := {v ∈ Rn | v, x ≤ 0, ∀x ∈ A} Bao dương A xác định posA := {λx| x ∈ A, λ ≥ 0} Nón horizon A tập phương A xác định A∞ := {x ∈ Rn |∃xk ∈ A, ∃λk ↓ 0, λk xk → x} Hàm khoảng cách A xác định dA (x) := inf x − y y∈A Hàm A xác định δA (x) := 0, x ∈ A, +∞, x ∈ / A Nếu A = ∅ ta quy ước A∗ := Rn , posA := {0} , A∞ = {0} , dA (·) := +∞, δA (·) := +∞ Nhắc lại số khái niệm hình học biến phân A x ∈ A: Định nghĩa 1.1.1 (i) Véctơ w ∈ Rn thuộc nón tiếp tuyến TA (x) A x, ∃tk ↓ wk → w cho x + tk wk ∈ A với ∀k (ii) Nón pháp tuyến quy NA (x) A x nón cực TA (x) (iii) Véctơ z ∈ Rn thuộc nón tiếp tuyến cấp A x theo véctơ w ∈ TA (x), kí hiệu TA2 (x | w), ∃ dãy tk ↓ zk → z cho x + tk w + tk zk ∈ A với ∀k Khi w ∈ TA (x), TA2 (x | w) tập ∅ Giả sử f : Rn → R hàm giá trị thực mở rộng Miền hữu hiệu f tập dom f: = {x ∈ Rn | f (x) < +∞} Hạch f tập ker f := {x ∈ Rn | f (x) = 0} Trên đồ thị f tập epi f: = {(x, α) ∈ Rn × R| α ≥ f (x)} Hàm f nửa liên tục epi f đóng Rn × R Hơn f gọi dương ∈ dom f f (λx) = λf (x) với ∀x λ > 0, f tuyến tính f (x + x ) ≤ f (x) + f (x ), ∀x, x Giả sử x điểm mà f (x) hữu hạn Các khái niệm gradient, đạo hàm (subderivative): Định nghĩa 1.1.2 (i) Véctơ v ∈ Rn gradient quy f x, ta viết v ∈ ∂f (x), f (x) ≥ f (x) + v, x − x + o ( x − x ) (ii) Với w ∈ Rn , đạo hàm f x theo w xác định f (x + τ w ) − f (x) df (x) (w) := lim inf τ ↓0,w →w τ (iii) Với véctơ w với df (x) (w) hữu hạn z ∈ Rn , đạo hàm parabolic f x theo w z xác định f x + τ w + τ z − f (x) − τ df (x) (w) d2 f (x) (w| z) = lim inf τ ↓0,z →z τ Với f : Rn → R điểm x mà f (x) hữu hạn, hàm đạo hàm df (x) : Rn → R nửa liên tục dương vi phân quy ∂f (x) đóng lồi Hơn nữa, ta có công thức sau: epi df (x) = Tepif (x, f (x)) , ∂f (x) = {v ∈ Rn | v, w ≤ df (x) (w) ∀w ∈ dom d f (x)} (1.1) (1.2) Bài toán quy hoạch phi tuyến NLP nghiên cứu chương có dạng: f (x) , gi (x) ≤ 0, i ∈ I := {1, 2, , m} , hj (x) = 0, j ∈ J := {m + 1, m + 2, , m + q} , f, gi , hj : Rn → R giả thiết khả vi liên tục lần Giả sử C tập chấp nhận NLP L : Rn × Rm+q → R hàm Lagrange xác định L (x, λ) := f (x) + λi gi (x) + i∈I λj hj (x) j∈J Điều kiện KKT điểm cực tiểu địa phương x NLP (xem [5]) ∃λ ∈ Rm+q (gọi nhân tử KKT) cho ∇x L (x, λ) = 0, λi ≥ 0, λi gi (x) = 0, ∀i ∈ I Kí hiệu tập nhân tử KKT x KKT(x), nón tới hạn x   ∇f (x) , w ≤   n ν (x) := w ∈ R ∇gi (x) , w ≤ 0, ∀i ∈ I mà gi (x) =   ∇hj (x) , w = 0, ∀j ∈ J Điều kiện cần cấp SON điểm cực tiểu x NLP (xem [5]), sup w, ∇2xx L (x, λ) w ≥ 0, ∀w ∈ ν (x) , (1.3) λ∈KKT(x) quy ước sup ∅ := −∞ Phải ý SON (1 3) x điều kiện KKT x, tức KKT (x) = ∅ Hàm phạt lp (0 ≤ p ≤ 1) ghép với NLP xác định sau Fp (x) := f (x) + µS p (x) , ∀x ∈ Rn , số thực không âm µ tham số phạt, hàm S xác định |hj (x)|, ∀x ∈ Rn max {gi (x) , 0} + S (x) := i∈I j∈J Hàm S p (x) := (S (x))p số hạng phạt cấp p quy ước 00 = trường hợp p = Ngoài S p , ta xét hàm nửa liên tục φ : Rn → R+ ∪ {+∞} có tính chất C = {x ∈ Rn | φ (x) = 0} , số hạng phạt tổng quát cho NLP Tương ứng với số hạng phạt có hàm phạt có dạng f + µΦ ghép với NLP Hàm phạt f + µΦ bao gồm tất hàm phạt lp (0 ≤ p ≤ 1) trường hợp đặc biệt (v) Với w ∈ TC (x), T C (x | w) ⊆ kerd2 φ (x) (w | ) Đẳng thức φ = δC S , tổng quát ∃ τ > δ > cho (1.16) với ∀x ∈ Rn với ||x − x|| ≤ δ (vi) Giả sử ≤ p < p ≤ Khi đó, với w ∈ kerdSp (x), kerd2 S p (x)(w | ·) ⊆ domd2 S p (x)(w | ·) ⊆ kerd2 S p (x)(w | ·) Sau ta xem kerd2 φ(x)(w | ·) tập rỗng w ∈ kerdφ(x) tương tự cho kerd2 Sp (x)(w | ·) Bây ta thiết lập điều kiện để dẫn điều kiện SON từ tính xác f + µφ Với điểm chấp nhận x NLP, ta kí hiệu tập tuyến tính hóa cấp C x theo phương w ∈ LC (x) L2C (x | w) := z ∈ Rn ∇gi (x) , z + w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w) ∇hj (x) , z + w, ∇2 hj (x) w = 0, ∀j ∈ J , xem L2C (x | w) tập rỗng w ∈ LC (x) Điều kiện quy cấp Guignand (SGCQ) x theo w ∈ LC (x) có dạng: LC (x) ⊆ clconvTC (x | w) Định lí 2.1.1 Giả sử x cực tiểu NLP Giả sử hàm phạt f + µφ xác x Nếu L2 C (x | w) ⊆ clconv[kerd2 φ(x)(w | ·)], ∀w ∈ ν(x), (2.2) điều kiện SON (1.3) nói riêng L2 C (x | w) = φ supremum (1.3) +∞ Chứng minh Bởi hàm phạt f + µφ xác x, ta áp dụng [11, Định lí 13.66] với ∀µ > đủ lớn d(f + µφ)(x)(w) ≥ (2.3) Và trường hợp w = với d(f + µφ)(x)(w) = 0, infn d2 (f + µφ) (x) (w | z) ≥ z∈R (2.4) Cũng chứng minh Định lý 1.2.1 từ (2.3) ta suy với ∀µ > đủ lớn ta có d (f + µφ) (x) (w) = ∇f (x) , w + µdφ (x) (w) > 0, ∀w ∈ / ker dφ (x) 21 d (f + µφ) (x) (w) = ∇f (x) , w ≥ 0, ∀ w ∈ ker dφ (x) (2.5) Do đó, với ∀µ > đủ lớn ta có d (f + µφ) (x) (w) = ⇔ w ∈ ker dφ (x) ∩ ∇f (x)⊥ (2.6) Theo định nghĩa đạo hàm parabolic ta có với µ ≥ w, z ∈ Rn , d2 (f + µφ) (x) (w | z) = ∇f (x) , z + w, ∇2 f (x) w +µd2 φ (x) (w | z) (2.7) Từ Bổ đề 2.1.1 (ii) (2.4) - (2.7) ta suy không tồn vectơ (w, z) ∈ Rn × Rn cho ∇f (x) , w = 0, ∇f (x) , z + w, ∇2 f (x) w < 0, z ∈ ker d2 φ (x) (w | ·) tương đương không tồn vectơ (w, z) ∈ Rn × Rn cho ∇f (x) , w = 0, ∇f (x) , z + w, ∇2 f (x) w < 0, z ∈ clcon v ker d2 φ (x) (w | ·) (2.8) Để ý ∈ ν(x) Từ định nghĩa L2 C (x | 0) Bổ đề 2.1.1 (iii) ta suy (2.2) với w = LC (x) ⊆ clconv[ker dφ (x)], tương đương [ker dφ (x)]∗ ⊆ LC (x)∗ Điều kéo theo Định lý 1.2.1 số hạng phạt φ có dạng KKT, KKT (x) = φ Theo định nghĩa ν(x), ta dễ kiểm chứng với w ∈ ν(x) ta có   ∇x L (x, λ) =   m+q KKT (x) = λ ∈ R (2.9) λi ≥ 0, ∀i ∈ I (x, w)   λi = 0, ∀i ∈ I | I (x, w) Giả sử w ∈ ν(x) Trước hết ta giả sử L2C (x | w) = φ Từ (2.2), định nghĩa L2C (x | w) tính không tương thích hệ (2.8) ta suy 22 giá trị tối ưu toán quy hoạch tuyến tính minn ∇f (x) , z + w, ∇2 f (x) w , z∈R ∇gi (x) , z + w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w) ∇hj (x) , z + w, ∇2 hj (x) w = 0, ∀j ∈ J (2.10) không âm Áp dụng định lý đối ngẫu quy hoạch tuyến tính (xem [9]), ta khẳng định giá trị tối ưu toán quy hoạch tuyến tính max w, ∇2xx L (x, λ) w , m+q λ∈R ∇x L (x, λ) = 0, λi ≥ 0, ∀i ∈ I (x, w) , λi = 0, ∀i ∈ I | I (x, w) , không âm Điều với (2.9) kéo theo max λ∈KKT(x) w, ∇2xx L (x, λ) w ≥ 0, có nghĩa điều kiện SON (1.3) trường hợp L2C (x | w) = ∅ Tiếp theo ta giả sử L2C (x | w) = ∅ Bởi ν(x) ⊆ LC (x), ta có w ∈ LC (x) Từ định nghĩa L2C (x | w) ta suy không tồn z ∈ Rn cho ∇gi (x) , z + w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w) , ∇hj (x) , z + w, ∇2 hj (x) w = 0, ∀j ∈ J Định lý đối ngẫu quy hoạch tuyến tính (xem [9]) đảm bảo tồn λ ∈ Rm+q với λi ≥ với ∀i ∈ I(x, w) λi = với ∀i ∈ I \ I(x, w) cho λj ∇hj (x) = 0, (2.11) λi ∇gi (x) + j∈J i∈I λi w, ∇2 gi (x) w + i∈I λj w, ∇2 hj (x) w > (2.12) j∈J Giả sử λ ∈ KKT (x) λt = λ + tλ với ∀t ≥ Từ (2.9), (2.11) (2.12) ta suy λt ∈ KKT (x) với ∀t ≥ sup w, ∇2xx L (x, λ) w ≥ sup w, ∇2xx L (x, λt) w = +∞ λ∈KKT(x) t≥0 Định lý chứng minh 23 Giả sử x ∈ C φ = S p Sau ta giả sử tất hàm ràng buộc toán NLP khả vi liên tục ba lần ta trình bày điều kiện đủ ngôn ngữ liệu gốc để bao hàm thức L2C (x | w) ⊆ ker d2 S p (x) (w | ·) , ∀w ∈ LC (x) (2.13) Điều mạnh (2.2) chút, nói chung ker d2 S p (x) (w | ·) không tập lồi đóng ν(x) thường tập hẳn LC (x) Tập số sau hữu ích sau này: I (x, w, z) := i ∈ I (x, w) z, ∇gi (x) + w, ∇2 gi (x) w = , ∀w, z ∈ Rn Giả sử Ψ : Rn → R hàm khả vi liên tục lần Giả sử {tk } ⊆ R+ cho tk ↓ (x, u) ∈ Rn × Rn thỏa mãn ψ(x) = < ψ(x), w >= Với z ∈ Rn , từ khai triển Taylor cấp ta suy ψ x + tk w + t2k z 1 1 = ψ (x) + tk ∇ψ (x) , w + t2k ∇ψ (x) , z + t2k w + tk z, ∇2 ψ (x) w + tk z 2 2 1 1 + t3k ψ (3) (x) w + tk z, w + tk z, w + tk z 2 1 = t2k [ ∇ψ (x) , w + w, ∇2 ψ (x) w ] + t4k z, ∇2 ψ (x) z + t3k + o t3k 1 1 w, ∇2 ψ (x) z + ψ (3) (x) w + tk z, w + tk z, w + tk z 2 + o t3k Định lí 2.1.2 Giả sử x cực tiểu địa phương NLP Giả sử hàm gi với i ∈ I hj với j ∈ J khả vi liên tục lần hàm lp phạt xác x Hơn nữa, điều kiện sau thỏa mãn (i) p ∈ ( , 1], (ii) p = với ∀z ∈ L2 C (x | w) ta có (3) w, ∇2 gi (x) z + gi (x) (w, w, w) ≤ 0, ∀i ∈ I (x, w, z) , (3) w, ∇2 hj (x) z + hj (x) (w, w, w) = 0, ∀j ∈ J, (2.14) 24 (iii) p ∈ [0, ), q = (tức ràng buộc đẳng thức) với ∀z ∈ L2 C (x | w) với (w, z) = ta có (3) w, ∇2 gi (x) z + gi (x) (w, w, w) < 0, ∀i ∈ I(x, w, z) (2.15) Khi điều kiện SON (1.3) Chứng minh Theo Định lý 2.1.1 ta cần (2.13) Giả sử w ∈ LC (x) z ∈ L2 C (x | w) Hơn nữa, giả sử tk ↓ Với i ∈ I | I(x, w), ta có gi (x) < gi (x) = với < gi (x), w > < Trong trường hợp, dễ dàng kiểm chứng với khai triển Taylor cấp với ∀k đủ lớn, ta có gi x + tk w + t2k z ≤ 0, ∀i ∈ I | I (x, w) (2.16) Theo khai triển Taylor cấp (2.14) định nghĩa L2 C (x | w), ta có với ∀α ∈ [2, 3)        gi x + tk w + tk z  max , → 0, ∀i ∈ I (x, w) , (2.17)   tαk     hj x + tk w + t2k z tαk → 0, ∀j ∈ J (2.18) Kết hợp (2.16), (2.17), (2.18), với ∀p ∈ ( , 1], ta có S p x + tk w + t2k z 2 tk    2     h g i x + tk w + tk z j x + tk w + tk z    2 = ,0 + i∈I max  2/p 2/p  tk tk     j∈J 25 p   →  Do Bổ đề 2.1.1 (ii) điều kéo theo với p ∈ ( , 1], z ∈ ker d2 S p (x) (w | ·), L2 C (x | w) ⊆ ker d2 S p (x) (w | ·) Như vậy, phát biểu (i) Định lý chứng minh Bây ta phát biểu (ii) Từ khai triển Taylor cấp 3, điều kiện (2.14) định nghĩa L2 C (x | w), ta suy (2.17), (2.18) với α = Như vậy, (2.16) ta có S3 x + tk w + t2k z t2k → Theo Bổ đề 2.1.1 (ii), điều kéo theo L2 C (x | w) ⊆ ker d2 S (x) (w | ·) Như vậy, phát biểu (ii) Cuối cùng, ta phát biểu (iii) Từ khai triển Taylor cấp (2.14) điều kiện (2.15), ta suy với ∀k đủ lớn, gi x + tk w + t2k z ≤ 0, ∀i ∈ I (x, w) (2.19) Kết hợp (2.16) (2.19), với ∀k đủ lớn ta có x + tk w + t2k z ∈ C Điều kéo theo z ∈ T C (x | w) Như vậy, ta có L2 C (x | w) ⊆ T C (x | w) Do Bổ đề 2.1.1 (v), với p ∈ [0, ), ta có L2 C (x | w) ⊆ ker d2 S p (x) (w | ·) Như vậy, phát biểu (iii) Định lý chứng minh Nhận xét 2.1.1 (a) Giả sử p = 1, áp dụng khai triển Taylor cấp ta có ker d2 S p (x) (w | ·) = L2 C (x | w), ∀w ∈ LC (x) (2.20) 26 Điều kéo theo (2.2) Điều cho phép ta nhận lại kết biết điều kiện SON (1.3) x hàm l1 phạt xác x, (b) Giả sử ≤ p < Do Bổ đề 2.1.1 (vi) (2.20) ta có ker d2 S p (x) (w | ·) ⊆ L2 C (x | w), ∀w ∈ ker dS p (x) (2.21) Như vậy, điều kiện (2.2) L2 C (x | w) = clconv[kerd2 S p (x) (w | ·)], ∀w ∈ ν(x) (2.22) Theo Bổ đề 2.1.1 (v), điều kiện (2.22) với p = kéo theo SGCQ đưa vào [6] x L2 C (x | w) = clconv[T C (x | w)], ∀w ∈ ν(x) Trong [6] điều kiện quy độc lập tuyến tính (gọi tắt LICQ) x, có nghĩa vectơ {∇gi (x) , i ∈ I (x)} ∪ {∇hj (x) , j ∈ J} độc lập tuyến tính L2 C (x | w) = T C (x | w), ∀w ∈ LC (x) vậy, (2.13) với p ∈ [0, 1] 2.2 Các ví dụ Ví dụ sau minh họa điều kiện (2.14) không chí điều kiện LICQ x Ví dụ 2.2.1 Trong NLP, giả sử n = 2.m = 1, q = g1 (x) = x31 −x2 Xét điểm chấp nhận x = (0, 0)T Bởi g(x) = (0, −1)T , điều kiện LICQ x Do Bổ đề 2.1.1 (v), điều kéo theo với p ∈ [0, 1] w ∈ LC (x) = R × R+ , TC2 (x | w) = ker d2 S p (x) (w | ·) = L2C (x | w) = R × R+ , w2 = 0, R2 , w2 = Giả sử w ∈ LC (x), với w2 = 0, z ∈ L2 C (x | w) với z2 = Theo định nghĩa ta có I(x, w, z) = Dễ dàng kiểm tra điều kiện (2.14) không w1 > 0, w, ∇2 g (x) z + g (3) (x) (w, w, w) = 2w13 > 27 Ví dụ sau minh họa chí điều kiện GCQ SGCQ không Định lý 2.1.1 áp dụng để dẫn điều kiện SON (1.3) Ví dụ 2.2.2 Trong NLP, giả sử n = 2, m = 3, q = 0, f (x) = −x1 +x2 , g1 (x) = −x2 , g2 (x) = x1 + x2 , g3 (x) = −x1 + x2 , x = (0, 0)T Ta có TC (x) = {x}, LC (x) = w ∈ R2 |w2 ≥ , ν (x) = w ∈ R2 |w2 = Như vậy, điều kiện GCQ không x Hơn nữa, ta có TC2 (x | w) = L2C   {0} , w = 0, ∅, w = 0, R × R+ , w2 = 0, (x | w) = R , w2 > w12 ≥ w22 ,  ∅, w2 < w12 < w22 Như vậy, với w ∈ ν(x) ta có L2C (x | w) = clconv TC2 (x | w) Điều kéo theo SGCQ không x Kiểm tra điều kiện (2.2) ta có L2C (x | w) = ker d2 S (x) (w | ·) , ∀w ∈ ν (x) Điều Định lý 2.1.1 áp dụng tính xác hàm phạt F 23 thỏa mãn Sau ta hàm phạt Fp xác x với p = 2 không với p > Giả sử δ ∈ (0, 1) µ = Rõ 3 (1 − δ ) ràng, µ > Giả sử µ ≥ µ x ∈ R cho |x1 | ≤ δ |x2 | ≤ δ Ta xét trường hợp cho x: ∗ Trường hợp 1: x2 ≥ Ta có F 32 (x) = −x41 + x2 + µ (−x2 )+ + ≥ −x41 + µ x61 = (µ − 1) x41 28 x61 + x32 + + −x21 + x22 + ≥ (2.23) ∗ Trường hợp 2: x2 < Từ (2.23) ta có F 32 (x) ≥ −x41 + x2 + µ −x2 + x61 + x32 + = −x41 + x2 + µ −x2 − x22 + x61 1 ≥ −x41 + x2 + µ −x2 − x22 + µ x61 2 µ µ − x1 + (−x2 ) 1−δ ≥ −1 2 ≥ 0, bất đẳng thức thứ suy từ [Bổ đề 4.1] Để hàm phạt Fp không xác x p > , ta xét dãy xk = (x1k , 0) ∈ R với x1k ↓ Dễ kiểm tra với µ > p > , điều kiện sau với ∀k đủ lớn Fp (xk ) = −x41k + µx6p 1k < Fp (x) = Bây Định lý 2.1.1 áp dụng để dẫn điều kiện SON x Thật vậy, ta có KKT (x) = λ ∈ R3 |λ1 = 1, λ2 ≥ 0, λ3 ≥ Như vậy, với w ∈ ν(x) ta có sup w, ∇2xx L (x, λ) w = sup −2λ3 w12 = λ3 ≥0 λ∈KKT(x) Trong [8, Ví dụ 2.5] tác giả trình bày lớp toán tham số hóa điều kiện KKT xác Bây sử dụng lớp toán tham số hóa tương tự, ta minh họa điều kiện SON dẫn phương pháp có nhận từ Định lý 2.1.2 Ví dụ 2.2.3 Giả sử x = ∈ R3 cực tiểu địa phương toán NLP sau: f (x), g1 (x) := aT x + a4 x43 ≤ 0, (2.24) g2 (x) := bT x + b4 x43 ≤ 0, g3 (x) := cT x + c4 x43 ≤ 0, 29 a = (a1 , a2 , a3 )T , b = (b1 , b2 , b3 )T , c = (c1 , c2 , c3 )T ∈ R3 a4 , b4 , c4 ∈ R Giả sử vectơ a b độc lập tuyến tính, c có biểu diễn c = −k1 a − k2 b với k1 , k2 ∈ R Giả sử e3 = (0, 0, 1)T Theo (ví dụ 2.5) ta xét trường hợp sau đây: (i)min {k1 , k2 } < 0, (ii) {k1 , k2 } ≥ k1 a4 + k2 b4 + c4 ≤ (iii) {k1 , k2 } = 0, k1 + k2 > 0, k1 a4 + k2 b4 + c4 > 0, vectơ c e3 phụ thuộc tuyến tính (iv) {k1 , k2 } = 0, k1 + k2 > 0, k1 a4 + k2 b4 + c4 > 0, vectơ c e3 độc lập tuyến tính (v) {k1 , k2 } = 0, k1 + k2 = k1 a4 + k2 b4 + c4 > (vi) {k1 , k2 } > 0, k1 a4 +k2 b4 +c4 > 0, vectơ a, b, e3 phụ thuộc tuyến tính (vii) {k1 , k2 } > 0, k1 a4 + k2 b4 + c4 > 0, vectơ a, b, e3 độc lập tuyến tính Trong [8] điều kiện quy MFCQ cho trường hợp (i) điều kiện GCQ cho trường hợp (ii) Với trường hợp (iii) (iv), từ [10, Định lý 2.5] suy ∃τ > δ > cho với x ∈ R3 , ||x − x|| ≤ δ , bất đẳng thức τ dc (x) ≤ S(x) đóng Tính chất cận sai số địa phương suy từ [2, Mệnh đề 2.4.3] hàm phạt F1 xác x Do đó, với trường hợp (i), (ii), (iii) (vi) ta khẳng định điều kiện SON x với hàm mục tiêu khả vi liên tục hai lần f có cực tiểu địa phương x theo tập chấp nhận C Với trường hợp (iv), (v) (vii), ta điều kiện GCQ không đóng x với x ∈ C , ta có k1 g1 (x) + k2 g2 (x) + g3 (x) = (k1 a4 + k2 b4 + c4 )x4 ≤ 0, Điều kéo theo x3 = 0, k1 a4 + k2 b4 + c4 > Như vậy, ta có C = x ∈ R3 aT x ≤ 0, bT x ≤ 0, cT x ≤ 0, x3 = Điều có nghĩa C nón đa diện Như vậy, ta có C = TC (x) = clconvTC (x) Theo định nghĩa ta có LC (x) = x ∈ R3 aT x ≤ 0, bT x ≤ 0, cT x ≤ 30 Với trường hợp (iv), (v) (vii), ta tìm x ∈ R3 với x3 = cho x ∈ LC (x) Điều có nghĩa clconvTC (x) = LC (x) Một cách tương đương điều kiện GCQ không x Như vậy, với toán (2.24), ta có điều kiện KKT điều kiện SON Sau đây, với trường hợp (vii), ta xét toán (2.24) với f (x) = wT x + w4 x33 , (2.25) w4 < 0, w = (w1 , w2 , w3 )T = −ρ1 a − ρ2 b với ρ1 , ρ2 ≥ Trước hết, ta hàm phạt Fp (x) xác x p ≥ Bởi vectơ a, b, e3 độc lập tuyến tính, ta tìm dãy xk = (x1k , x2k , x3k )T cho xk → x, x3k ≡ 0, aT xk = bT xk = Với dãy ta có µ > 0, bất đẳng thức sau với ∀k đủ lớn: Fp (xk ) = w4 x3k + µ a4 x43k + b4 x43k + + c4 x43k + p + < Điều hàm phạt Fp (x) không xác x p> Tiếp theo ta hàm phạt F 23 (x) xác x Theo định nghĩa ta có F 32 (x) = w4 + (ρ1 a4 + ρ2 b4 ) x33 x33 − ρ1 aT x + a4 x43 − ρ2 bT x + b4 x43 T +µ a x + Đặt δ = 1, a4 x43 + T + b x+ b4 x43 + 1 , a + |a4 | b + |b4 |      µ = max 2ρ1 , 2ρ2 ,     T + c x+ c4 x43k +      |ρ1 a4 + ρ2 b4 | − w4 1 , ,1 k1 k2    (k1 a4 + k2 b4 + c4 )  Giả sử µ ≥ µ ||x|| ≤ δ Theo định nghĩa δ ta có 4 (ρ1 a4 + ρ2 b4 ) x33 ≥ − |ρ1 a4 + ρ2 b4 | δ ≥ − |ρ1 a4 + ρ2 b4 | , 31 (2.26) aT x + a4 x43 ≤ a x + |a4 | x43 ≤ a δ + |a4 | δ ≤ ( a + |a4 |) δ ≤ (2.27) Tương tự, bT x + b4 x43 ≤ (2.28) Như vậy, từ (2 27) (2 28), ta nhận T a x+ ≥ a4 x43 + T T b4 x43 + + b x+ a x+ a4 x43 + T b4 x43 + T T + c x+ b4 x43 + c4 x43 + 3 + b x+ 2 1 T 3 T 4 a x + a4 x3 + + b x + b4 x3 + ≥ 2 1 ≥ aT x + a4 x43 + + bT x + b4 x43 , (2.29) 2 bất đẳng thứ suy từ [3, Bổ đề 4.1] Vì k1 a4 + k2 b4 + c4 > 0, ta có T a x+ a4 x43 + ≥ ≥ + b x+ 1 , ,1 k1 k2 1 , ,1 k1 k2 T + c x+ c4 x43 + T a4 x43 + T a4 x43 + k1 a x + T b4 x43 + T b4 x43 + + k2 b x + T + c x+ c4 x43 + 3 k1 a x + = 1 , ,1 k1 k2 + k2 b x + T +c x+ c4 x43 + (k1 a4 + k2 b4 + c4 ) x33 (2.30) Từ (2.26), (2.29), (2.30) định nghĩa µ ta có F 23 (x) ≥ w4 + (ρ1 a4 + ρ2 b4 ) x33 x33 − ρ1 aT x + a4 x43 − ρ2 bT x + b4 x43 µ µ + aT x + a4 x43 + + bT x + b4 x43 + 42 µ 1 + , ,1 (k1 a4 + k2 b4 + c4 ) x33 k1 k2 ≥ Điều kéo theo hàm phạt F 32 (x) xác x Hơn nữa, dễ dàng kiểm tra điều kiện (2.14) Như vậy, Định lý 2.1.2 (ii) áp dụng để dẫn điều kiện SON x 32 Kết luận Luận văn trình bày điều kiện cần tối ưu cấp cấp Meng - Yang ([7], 2015) cho toán quy hoạch phi tuyến có ràng buộc đẳng thức bất đẳng thức phương pháp hàm phạt xác Nội dung luận văn bao gồm: - Khái niệm số hạng phạt thuộc loại KKT điểm chấp nhận toán quy hoạch phi tuyến (NLP); - Các điều kiện cần cấp để số hạng phạt thuộc loại KKT; - Các điều kiện cần đủ để số hạng phạt bậc thấp KKT qua vi phân số hạng phạt; - Các điều kiện cần tối ưu cấp cho NLP qua tính xác hàm phạt; - Các điều kiện cần tối ưu cấp qua sử dụng hàm phạt xác lp (0 < p < 1) Sử dụng phương pháp hàm phạt để nghiên cứu điều kiện tối ưu cho toán quy hoạch phi tuyến đề tài nhiều tác giả quan tâm nghiên cứu 33 Tài liệu tham khảo Tài liệu Tiếng Việt [1] Đỗ Văn Lưu, Phan Huy Khải (2000), "Giải tích lồi", NXB Khoa học Kỹ thuật, Hà Nội Tài liệu Tiếng Anh [2] Clarke, F H (1983), "Optimization and Nonsmooth Analysis", Wiley-Interscience, New York [3] Huang, X X., Yang, X Q (2003), "A unified augmented Lagrangian approach to duality and exact penalization", Math Oper Res, 28(3), 533 - 552 [4] Ioffe, A.D (1979), "Necessary and sufficient conditions for a local minimum 3: Second order conditions and augmented duality" SIAM J Control Optim, 17(2), 266 - 288 [5] Kuhn, H W., Tucker, A W (1951), "Nonlinear programming" Proceedings of 2nd Berkeley Symposium, pp 481 - 492 University of California Press, Berkeley [6] Kawasaki, H (1998), "Second - order necessary conditions of the Kuhn-Tucker type and prove that the conditions hold under new constraint qualifications", J Optim Theory Appl, 52(2), 253 - 264 [7] Meng, K.; Yang, X (2015), "First and second order necessary conditions via exact penalty functions", J Optim Theory Appl, 165, 720 - 752 [8] Meng, K W; Yang, X Q (2010), "Optimality conditions via exact penalty functions", SIAM J Optim, 20(6), 3208 - 3231 34 [9] Mangasarian, O L (1969), "Nonlinear Programming", Mc Graw Hill, New York [10] Ng K F., Zheng, X Y (2001), "Error bounds for lower semicontinuous functions in normed spaces", SIAM J Optim, 12(1), 17 [11] Rockafellar, R T., Wets, R J B (1998), "Variational Analysis", Springer, Berlin [12] Yang, X Q, Meng, Z Q (2007), "Lagrange multipliers and calmness conditions of order p", Math Oper Res, 32(1), 95 - 101 35 [...]... pháp hàm phạt chính xác và điều kiện cần tối ưu cấp 2 Chương 2 trình bày các điều kiện cần tối ưu cấp 2 cho bài toán quy hoạch phi tuyến qua hàm phạt chính xác của Meng - Yang ([7], 2015) Các điều kiện cần tối ưu cấp 2 được trình bày khi giả thiết điều kiện chính quy cấp 2 đúng Các điều kiện cần cấp 2 khi sử dụng hàm phạt chính xác lp (0 < p < 1) cũng được trình bày trong chương này 2.1 Điều kiện cần. ..1.2 Điều kiện cần tối ưu cấp 1 Định nghĩa 1.2.1 Ta nói rằng hàm phạt φ thuộc loại KKT tại điểm chấp nhận được x của NLP nếu điều kiện KKT đúng tại x khi hàm phạt f + µφ là hàm phạt chính xác tại x Với bất kỳ hàm giá trị thực mở rộng có một cực tiểu địa phương hữu hạn, hạch và miền hữu hiệu của dưới đạo hàm liên quan chặt chẽ với dưới vi phân chính quy như trong bổ đề sau Bổ đề 1.2.1 Giả sử hàm ψ... Điều này kéo theo (2.2) đúng Điều đó cho phép ta nhận lại kết quả đã biết là điều kiện SON (1.3) đúng tại x khi hàm l1 phạt là chính xác tại x, (b) Giả sử 0 ≤ p < 1 Do Bổ đề 2.1.1 (vi) và (2.20) ta có ker d2 S p (x) (w | ·) ⊆ L2 C (x | w), ∀w ∈ ker dS p (x) (2.21) Như vậy, điều kiện (2.2) đúng nếu và chỉ nếu L2 C (x | w) = clconv[kerd2 S p (x) (w | ·)], ∀w ∈ ν(x) (2.22) Theo Bổ đề 2.1.1 (v), điều kiện. .. có 2 L2C (x | w) = ker d2 S 3 (x) (w | ·) , ∀w ∈ ν (x) Điều này chỉ ra rằng Định lý 2.1.1 áp dụng được và tính chính xác của hàm phạt F 23 thỏa mãn 2 Sau đây ta sẽ chỉ ra rằng hàm phạt Fp là chính xác tại x với p = 3 2 2 nhưng không đúng với p > Giả sử δ ∈ (0, 1) và µ = 2 Rõ 2 3 3 (1 − δ ) 2 ràng, µ > 2 Giả sử µ ≥ µ và x ∈ R sao cho |x1 | ≤ δ và |x2 | ≤ δ Ta xét 2 trường hợp cho x: ∗ Trường hợp 1:... từ (1.20) và chứng minh của Định lý 1.2.2 ta suy ra rằng điều kiện (iii) đúng với 0 ≤ p ≤ 1 nếu và chỉ nếu pos ∂S p (x) = LC (x)∗ , mặc dù là các phép toán lấy bao dương là bỏ được khi 0 ≤ p < 1 (b) Theo định nghĩa dưới vi phân chính quy ta có ∂S 0 (x) = TC (x)∗ Như vậy, điều kiện (ii) đúng với p = 0 nếu và chỉ nếu TC (x)∗ = LC (x)∗ , hoặc là GCQ tại x đúng Chú ý rằng hàm phạt F0 là chính xác tại điểm... z + ψ (3) (x) w + tk z, w + tk z, w + tk z 3 2 2 2 + o t3k Định lí 2.1.2 Giả sử x là cực tiểu địa phương của NLP Giả sử rằng các hàm gi với i ∈ I và hj với j ∈ J là khả vi liên tục 3 lần và hàm lp phạt là chính xác tại x Hơn nữa, một trong các điều kiện sau đây thỏa mãn 2 (i) p ∈ ( , 1], 3 2 (ii) p = và với ∀z ∈ L2 C (x | w) ta có 3 1 (3) w, ∇2 gi (x) z + gi (x) (w, w, w) ≤ 0, ∀i ∈ I (x, w, z) , 3... λ∈KKT(x) Trong [8, Ví dụ 2.5] các tác giả đã trình bày một lớp bài toán tham số hóa và điều kiện KKT chính xác đúng Bây giờ sử dụng lớp bài toán tham số hóa tương tự, ta minh họa khi điều kiện SON có thể dẫn bằng một trong các phương pháp đã có và chỉ có thể nhận được từ Định lý 2.1.2 Ví dụ 2.2.3 Giả sử x = 0 ∈ R3 là cực tiểu địa phương của bài toán NLP sau: min f (x), g1 (x) := aT x + a4 x43 ≤ 0, (2.24) g2... Định lý 2.5] suy ra rằng ∃τ > 0 và δ > 0 sao cho với x ∈ R3 , ||x − x|| ≤ δ , bất đẳng thức τ dc (x) ≤ S(x) đóng Tính chất cận sai số địa phương được suy ra từ [2, Mệnh đề 2.4.3] rằng hàm phạt F1 là chính xác tại x Do đó, với các trường hợp (i), (ii), (iii) và (vi) ta khẳng định rằng điều kiện SON đúng tại x với bất kỳ hàm mục tiêu khả vi liên tục hai lần f có cực tiểu địa phương tại x theo tập chấp nhận... của dưới đạo hàm và (1.19) ta có domdS p (¯ x) ⊆ Lc (¯ x) (1.21) Từ (1.21) và Bổ đề 1.2.1 ta suy ra LC (x)∗ ⊆ ∂S p (x) ⊆ [ker dS p (x)]∗ (1.22) Từ (1.22) ta suy ra rằng (i) ⇒ (ii), và (ii) đúng nếu và chỉ nếu ∂S p (x) ⊆ LC (x)∗ Theo Định lí 1.2.1 điều này đúng nếu và chỉ nếu (iii) đúng, có nghĩa là ta có (ii) ⇐⇒ (iii) Định lí được chứng minh 13 Nhận xét 1.2.1 (a) các điều kiện (ii) và (iii) nói... biến phân của hàm dưới gradent chính quy, bây giờ ta trình bày một số điều kiện để số hạng phạt tổng quát Φ thuộc loại KKT Giả sử x ∈ C Kí hiệu tập các chỉ số bất đẳng thức tích cực của NLP tại x bởi I (x) = {i ∈ I |gi (x) = 0} , 10 và nón tuyến tính hóa cấp 1 của C tại x bởi LC (x) := w ∈ Rn ∇gi (x) , w ≤ 0, ∀i ∈ I (x) ∇hj (x) , w = 0, ∀j ∈ J Điều kiện chính quy Guignand (GCQ)được xác định như sau: ... đầu 1 Phương pháp hàm phạt xác điều kiện cần tối ưu cấp 1.1 Các khái niệm định nghĩa 1.2 Điều kiện cần tối ưu cấp Phương pháp hàm phạt xác điều kiện cần tối ưu cấp... Chương Phương pháp hàm phạt xác điều kiện cần tối ưu cấp Chương trình bày điều kiện cần tối ưu cấp cho toán quy hoạch phi tuyến qua hàm phạt xác Meng - Yang ([7], 2015) Các điều kiện cần tối ưu cấp... Chương Phương pháp hàm phạt xác điều kiện cần tối ưu cấp Chương trình bày kết điều kiện KKT cho toán quy hoạch phi tuyến (NLP) phương pháp hàm phạt xác Meng - Yang ([7], 2015) Các điều kiện cần