MỘT số PHƯƠNG PHÁP GIẢI bài TOÁN QUY HOẠCH PHI TUYẾN

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN TOÁN HỌC ———————o0o——————– MỘT SỐ PHƯƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN LUẬN VĂN THẠC SĨ Chuyên ngành: Toán ứng dụng Mã số: 60 46 01 12 Học viên thực hiện: Trần Quốc Toản Lớp: Cao học K19 Người hướng dẫn khoa học: GS TS Trần Vũ Thiệu HÀ NỘI - 2013 Mục lục Lời cảm ơn ii Lời nói đầu iii Kiến thức chuẩn bị 1.1 Tập afin tập lồi 1.1.1 Tập afin 1.1.2 Tập lồi Hàm lồi, lồi chặt lồi mạnh 1.2.1 Hàm lồi tính chất 1.2.2 Hàm lồi khả vi 1.2.3 Hàm lồi mạnh tính chất 1.2.4 Cực trị hàm lồi 1.3 Bài toán tối ưu phi tuyến 1.4 Tốc độ hội tụ 11 1.2 Bài toán với ràng buộc đẳng thức 14 2.1 Khái niệm định nghĩa 14 2.2 Điều kiện tối ưu cần đủ 15 2.3 Phương pháp nhân tử Lagrange 26 Bài toán với ràng buộc bất đẳng thức 31 3.1 Phương pháp hàm phạt 31 3.2 Phương pháp điểm 37 Kết luận 44 Tài liệu tham khảo 45 Lời cảm ơn Luận văn hoàn thành Viện Toán học, Viện Hàn lâm Khoa học Công nghệ Việt Nam, hướng dẫn GS TS Trần Vũ Thiệu Tác giả xin bày tỏ lòng biết ơn sâu sắc tới GS TS Trần Vũ Thiệu, người định hướng chọn đề tài tận tình hướng dẫn để tác giả hoàn thành luận văn Tác giả xin bày tỏ lòng biết ơn chân thành tới Trung tâm đào tạo, thầy cô giáo dạy cao học chuyên ngành Toán Ứng dụng, Viện Toán học giúp đỡ tác giả suốt trình học tập hoàn thành luận văn cao học Tác giả xin gửi lời cảm ơn chân thành tới gia đình, bạn bè, người thân động viên, cổ vũ, tạo điều kiện thuận lợi cho tác giả trình học tập hoàn thành luận văn Hà Nội, tháng năm 2013 Tác giả Trần Quốc Toản Lời nói đầu Các toán tối ưu quen thuộc toán hay gặp lý thuyết ứng dụng Khi giải toán người ta thường tìm cách đưa toán đơn giản hơn: với số biến số ràng buộc hơn, chí ràng buộc tốt Ý tưởng thể rõ nét phương pháp nhân tử Lagrange, phương pháp hàm phạt phương pháp hàm chắn Đó phương pháp giải tiêu biểu lý thuyết tối ưu phi tuyến Mục tiêu luận văn tìm hiểu trình bày loại phương pháp nêu trên, cho phép đưa toán tối ưu có ràng buộc dãy toán không ràng buộc có ràng buộc đơn giản Các phương pháp thuật toán nêu luận văn trình bày chặt chẽ ngôn ngữ toán học xác minh hoạ qua ví dụ số cụ thể Nội dung luận văn chia thành ba chương Chương “Kiến thức chuẩn bị” nhắc lại số kiến thức sở giải tích lồi (tập lồi, hàm lồi số tính chất chúng, định lý tách tập lồi) toán quy hoạch phi tuyến: tồn nghiệm toán, điều kiện tối ưu cần đủ Cuối chương đề cập tới hội tụ dãy điểm lặp Chương “Bài toán với ràng buộc đẳng thức” đề cập tới kết lý thuyết điều kiện tối ưu cần đủ (cấp cấp 2) cho nghiệm cực tiểu toán quy hoạch phi tuyến với ràng buộc đẳng thức trình bày phương pháp nhân tử Lagrange đưa toán có ràng buộc đẳng thức toán cực tiểu (không ràng buộc) hàm Lagrange (bằng hàm mục tiêu ban đầu cộng với hàm ràng buộc, sau nhân với hệ số gọi nhân tử Lagrange) Chương “Bài toán với ràng buộc bất đẳng thức” đề cập tới phương pháp hàm phạt phương pháp hàm chắn Ý tưởng hai phương pháp Lời nói đầu iv đưa toán tìm cực tiểu hàm f (x) : Rn → R với ràng buộc (tuyến tính hay phi tuyến) dãy toán cực tiểu không ràng buộc hàm f (x)+µP (x) Trong phương pháp hàm phạt, P (x) hàm phạt có dạng P (x) = x thỏa mãn ràng buộc, P (x) > x vi phạm ràng buộc tham số phạt µ tăng dần Phương pháp cho phép điểm cực tiểu không ràng buộc không thuộc (ở ngoài) miền ràng buộc toán ban đầu Vì phương pháp có tên gọi phương pháp hàm phạt điểm Còn phương pháp hàm chắn, P (x) ≥ x phần miền ràng buộc P (x) → ∞ x tiến biên miền ràng buộc, tham số phạt µ giảm dần tới Hàm chắn có tác dụng ngăn điểm cực tiểu không ràng buộc vượt miền ràng buộc toán (chỉ phần trong), phương pháp gọi phương pháp điểm hay phương pháp hàm phạt điểm Hàm chắn hay sử dụng hàm chắn lôga hàm chắn nghịch đảo Do thời gian có hạn nên luận văn dừng lại việc tìm hiểu, tập hợp tài liệu, xếp trình bày kết có theo chủ đề đặt Trong trình viết luận văn việc xử lý văn chắn không tránh khỏi có thiếu xót định Tác giả luận văn mong nhận góp ý thầy cô, bạn đồng nghiệp để luận văn hoàn thiện Chương Kiến thức chuẩn bị Chương nhắc lại vắn tắt số kiến thức cần thiết giải tích lồi (tập lồi, hàm lồi tính chất), toán tối ưu phi tuyến (sự tồn nghiệm, điều kiện tối ưu cần đủ) hội tụ dãy điểm lặp Nội dung trình bày chương chủ yếu dựa tài liệu [1], [2], [4] [5] 1.1 Tập afin tập lồi 1.1.1 Tập afin Trước hết khái niệm liên quan tới tập afin Định nghĩa 1.1 Một tập M ⊆ Rn gọi tập afin ∀a, b ∈ M, λ ∈ R λa + (1 − λ)b ∈ M, tức M chứa hai điểm M chứa đường thẳng qua hai điểm Một số tính chất tập afin: • Nếu M tập afin a + M = {a + x : x ∈ M } tập afin ∀a ∈ Rn • M tập afin chứa gốc M không gian Rn • Giao họ tập afin tập afin Chương Kiến thức chuẩn bị • Nếu x1 , , xk thuộc tập afin M tổ hợp afin điểm thuộc M , nghĩa xi ∈ M (i = 1, , k), λ1 + + λk = ⇒ λ1 x1 + + λk xk ∈ M • Một tập afin có dạng M = {x : Ax = b} với A ∈ Rm×n , b ∈ Rm Ngược lại, tập có dạng tập afin (Đó tập nghiệm hệ phương trình tuyến tính) Bao afin tập E giao tất tập afin chứa E, ký hiệu aff (E) Đó tập afin nhỏ chứa E Từ tính chất tập afin suy ra: k k i x ∈ aff (E) ⇔ x = i λi x , x ∈ E, i=1 λi = i=1 Có thể thấy: tập M = ∅ afin M = x0 + L với x0 ∈ M L không gian L xác định gọi không gian song song với M (M nhận cách tịnh tiến L tới x0 ) Thứ nguyên (hay số chiều) tập afin M định nghĩa số chiều không gian song song với M Định nghĩa 1.2 Một tập afin Rn có thứ nguyên n − gọi siêu phẳng Có thể thấy siêu phẳng tập có dạng H = {x : aT x = α} với a ∈ Rn (a = 0), α ∈ R (Đó tập nghiệm phương trình tuyến tính Rn ) Một tập k điểm x1 , x2 , , xk gọi độc lập afin k − véctơ x2 − x1 , , xk − x1 độc lập tuyến tính Có siêu phẳng qua n điểm độc lập afin cho trước Rn Một tập có dạng H = {x : aT x ≤ α} (hay H = {x : aT x < α}) gọi nửa không gian đóng (mở ) 1.1.2 Tập lồi Sau số khái niệm liên quan đến tập lồi Chương Kiến thức chuẩn bị Định nghĩa 1.3 Tập C ⊆ Rn gọi tập lồi ∀a, b ∈ C, ≤ λ ≤ λa + (1 − λ)b ∈ C, tức C chứa hai điểm chứa đoạn thẳng nối hai điểm Có thể thấy tập hợp rỗng, toàn không gian Rn , tập afin, siêu phẳng, nửa không gian (đóng, mở), hình cầu, tập lồi Trong R2 , hình tam giác, hình vuông, hình tròn, hình êlip tập hợp lồi Tuy nhiên, đường tròn hay hình vành khăn tập hợp lồi Thứ nguyên hay số chiều tập lồi C thứ nguyên bao afin C Trong Rn tập lồi thứ nguyên n gọi tập lồi có thứ nguyên đầy đủ Sau số tính chất tập lồi: • Giao họ tập lồi tập lồi • Nếu C, D tập lồi C+D = {x+y : x ∈ C, y ∈ D}, αC = {αx : x ∈ C} C − D = C + (−1)D tập lồi Nếu C ⊂ Rn , D ⊂ Rm tập lồi tích C × D = {(x, y) : x ∈ C, y ∈ D} ⊂ Rn × Rm tập lồi • Nếu x1 , x2 , , xk thuộc tập lồi tổ hợp lồi điểm thuộc C, nghĩa xi ∈ C, λi ≥ (i = 1, , k) λ1 + + λk = ⇒ λ1 x1 + λk xk ∈ C • Nếu tập lồi C ⊂ Rn không bị chặn có véctơ t ∈ Rn (t = 0) cho với x ∈ C tia x + λt, λ ≥ nằm trọn C Một véctơ t gọi phương vô hạn tập lồi C Cho tập E ⊂ Rn Giao tất tập lồi chứa E gọi bao lồi E, ký hiệu conv (E) Đó tập lồi nhỏ chứa E Có thể thấy: • conv (E) trùng với tập tất tổ hợp lồi phần tử thuộc E • Bao đóng tập lồi tập lồi Chương Kiến thức chuẩn bị Cho C ⊂ Rn tập lồi Điểm x ∈ C gọi điểm cực biên C x biểu diễn dạng tổ hợp lồi hai điểm phân biệt khác C, nghĩa không tồn hai điểm y, z ∈ C, y = z cho x = λy + (1 − λ)z với < λ < Mệnh đề 1.1 (Định lý tách) Hai tập lồi khác rỗng, điểm chung C, D Rn (C ∩ D = ∅) tách siêu phẳng, nghĩa tồn véctơ t ∈ Rn (t = 0) số α ∈ R cho bất đẳng thức sau thỏa mãn tT x ≥ α ≥ tT y với x ∈ C y ∈ D 1.2 Hàm lồi, lồi chặt lồi mạnh 1.2.1 Hàm lồi tính chất Định nghĩa 1.4 Một hàm f (x) xác định tập lồi C ⊂ Rn gọi hàm lồi C với x, y ∈ C số thực λ ∈ [0, 1] ta có f [λx + (1 − λ)y] ≤ λf (x) + (1 − λ)f (y) Nếu bất đẳng thức thỏa mãn với dấu < với x = y, < λ < f (x) gọi lồi chặt Hàm f (x) gọi lõm (lõm chặt) −f (x) lồi (lồi chặt) Có thể chứng minh hàm f (x) lồi C a) Tập epif ≡ {(x, α) ∈ Rn+1 : x ∈ C, f (x) ≤ α} lồi, m m k b) f λk x k=1 m k ≤ k λk f (x ) với x ∈ C, λk ≥ 0, ∀k k=1 λk = 1, k=1 m số nguyên ≥ (bất đẳng thức Jensen) Một số ví dụ quen thuộc hàm lồi: • Hàm tuyến tính afin l(x) ≡ cT x + α hàm vừa lồi, vừa lõm Tuy nhiên hàm không lồi chặt hay lõm chặt • Dạng toàn phương nửa xác định dương q(x) ≡ xT Cx hàm lồi Chương Kiến thức chuẩn bị • Hàm chuẩn f (x) ≡ x = x, x , x ∈ Rn hàm lồi • Hàm khoảng cách từ điểm x ∈ Rn tới tập lồi, đóng cho trước C ⊂ Rn : f (x) ≡ inf x − y hàm lồi y∈C Một số tính chất đáng ý hàm lồi: • Mọi tổ hợp tuyến tính không âm hàm lồi hàm lồi lồi chặt hàm lồi chặt (với hệ số dương) • Nếu f (x) lồi f (Ax + b) lồi, A ma trận vuông cấp n b ∈ Rn • Nếu hàm fi (x), i = 1, , m lồi (nói riêng tuyến tính afin) hàm f (x) = max fi (x) lồi 1≤i≤m • Nếu f (x) hàm lồi tập lồi C với số thực α ∈ R tập mức sau tập lồi (có thể rỗng): Cα ≡ {x ∈ C : f (x) < α}, C α ≡ {x ∈ C : f (x) ≤ α} Hơn nữa, f (x) ≡ pT x + xT Qx với Q ma trân xác định dương Cα , C α tập bị chặn (giới nội) Điều ngược lại nói chung không đúng: Một hàm số có tập mức lồi không thiết hàm lồi Ví dụ: Hàm f (x) = |x|, x ∈ R, có tập hợp mức lồi, thân hàm không lồi toàn R Vì thế, người ta mở rộng khái niệm hàm lồi thành hàm tựa lồi, hàm f : Rn → [−∞, +∞] cho tập mức Lα = {x ∈ Rn : f (x) ≤ α} lồi với α ∈ R Hàm f (x) gọi tựa lõm −f (x) tựa lồi Tất nhiên hàm lồi (lõm) tựa lồi (tựa lõm), điều ngược lại nói chung không Với x, d ∈ Rn cố định, ta ký hiệu ϕ(λ) ≡ f (x + λd) Khi ta có Mệnh đề 1.2 Hàm f (x) lồi hàm biến ϕ(x) ≡ f (x + λd) lồi theo λ với x, d ∈ Rn Chương Bài toán với ràng buộc bất đẳng thức Chương trình bày hai lớp thuật toán lặp giải toán có ràng buộc min{f (x) : x ∈ S ⊂ Rn } Các thuật toán tất định đại giải toán quy hoạch phi tuyến có ràng buộc dựa nguyên lý: tốt hết nên thay việc giải trực tiếp toán khó ban đầu cách giải dãy toán có liên quan, đơn giản cho nghiệm chúng hội tụ tới nghiệm toán ban đầu sau hữu hạn bước hội tụ vô hạn Theo đường lối này, có hai lớp thuật toán trội để giải toán quy hoạch phi tuyến với ràng buộc đẳng thức (hay) bất đẳng thức Đó phương pháp hàm phạt (penalty function method) phương pháp điểm (interior point method) Các phương pháp đưa toán ban đầu dãy toán không ràng buộc (hay dãy toán với ràng buộc đơn giản) để sử dụng thuật toán tối ưu không ràng buộc không sử dụng lý thuyết điều kiện cần KKT Nội dung chương chủ yếu dựa tài liệu [2], [3], [5], [6] 3.1 Phương pháp hàm phạt Phương pháp hàm phạt biến đổi toán có ràng buộc thành hay dãy toán không ràng buộc (hay ràng buộc đơn giản), cách đưa ràng 31 Chương Bài toán với ràng buộc bất đẳng thức 32 buộc vào hàm mục tiêu thông qua hàm phạt nhằm phạt (đánh thuế) vi phạm ràng buộc Để minh hoạ, xét toán quy hoạch phi tuyến min{f (x) : g(x) ≤ 0, h(x) = 0, x ∈ X}, (P) X - tập Rn , x - véctơ biến n - thành phần x1 , , xn , f : X → R, g : X → Rm h : X → Rp hàm cho trước, xác định X Ký hiệu miền chấp nhận toán (P) tập S = {x ∈ Rn : g(x) ≤ 0, h(x) = 0, x ∈ X} Định nghĩa 3.1 Ta gọi hàm phạt hàm liên tục α : Rn → R thỏa mãn α(x) = x ∈ S α(x) > x ∈ / S Nói chung, hàm phạt thích hợp cho toán (P) xác định theo p m φ[gi (x)] + α(x) = i=1 ψ[hj (x)], (3.1) j=1 φ ψ hàm (một biến) liên tục thỏa mãn điều kiện   φ(t) = t ≤ 0, ψ(t) = t = 0, φ(t) > t > 0, ψ(t) > t = (3.2) Thông thường hàm φ ψ có dạng φ(t) = (max{0, t})q ψ(t) = |t|q với q số nguyên dương (chọn q ≥ đảm bảo cho hàm phạt khả vi liên tục) Hàm F (x) = f (x) + µα(x) gọi hàm số phụ (auxiliary function) Ký hiệu θ(µ) = inf{f (x) + µα(x) : x ∈ X} Bổ đề 3.1 Giả sử f, g1 , , gm , h1 , , hp hàm liên tục Rn X tập khác rỗng Rn Giả sử α hàm liên tục Rn xác định theo (3.1), (3.2) giả sử với µ tồn nghiệm xµ ∈ X cho θ(µ) = f (xµ ) + µα(xµ ) Khi đó, mệnh đề sau đúng: Chương Bài toán với ràng buộc bất đẳng thức 33 inf{f (x) : g(x) ≤ 0, h(x) = 0, x ∈ X} ≥ sup θ(µ) µ≥0 f (xµ ), θ(µ) hàm không giảm α(xµ ) hàm không tăng µ ≥ Chứng minh Xét x ∈ X thỏa mãn g(x) ≤ 0, h(x) = 0, α(x) = Khi với µ ≥ ta có f (x) = f (x) + µα(x) ≥ inf{f (y) + µα(y) : y ∈ X} = θ(µ) Từ suy mệnh đề Để chứng minh mệnh đề 2, giả sử ≤ λ < µ Theo định nghĩa θ(λ) θ(µ), hai bất đẳng thức sau đúng: f (xµ ) + λα(xµ ) ≥ f (xλ ) + λα(xλ ) = θ(λ), (3.3) f (xλ ) + µα(xλ ) ≥ f (xµ ) + µα(xµ ) = θ(µ) Cộng hai bất đẳng thức với ta (µ − λ)[α(xλ ) − α(xµ )] ≥ Do µ > λ nên α(xλ ) ≥ α(xµ ), tức α(xµ ) không tăng Tiếp đó, từ (3.3) suy f (xµ ) ≥ f (xλ ) với µ > λ ≥ 0, tức f (xµ ) không giảm Bằng cách thêm vào vế trái (3.3) số hạng µα(xµ ) − µα(xµ ) = 0, ta nhận f (xµ ) + µα(xµ ) + (λ − µ)α(xµ ) ≥ θ(λ) Do µ > λ α(xµ ) ≥ nên bất đẳng thức suy θ(µ) ≥ θ(λ), tức θ(µ) không giảm Bổ đề chứng minh xong Ví dụ 3.1 Xét toán tối ưu (một biến số) min{f (x) = x : g(x) = −x + ≤ 0} Rõ ràng nghiệm tối ưu toán đạt điểm x∗ = giá trị hàm mục tiêu f (x∗ ) = Bây xét toán phạt: Cực tiểu hàm số phụ F (x) = f (x) + µα(x) = x + µ(max{0, − x})2 với x ∈ R, Chương Bài toán với ràng buộc bất đẳng thức 34 µ tham số đủ lớn Trước hết để ý với µ, hàm số phụ lồi Như vậy, điều kiện tối ưu cần đủ đạo hàm f (x) + µα(x) 0, tức  1 dF = 1 − 2µ(2 − x) dx x ≥ = x ≤ Như vậy, nghiệm toán phạt sát tùy ý nghiệm 2µ toán ban đầu, chọn µ đủ lớn Hơn nữa, f (xµ ) + µα(xµ ) = − 4µ ∗ sát tùy ý f (x ) = chọn µ đủ lớn Suy xµ = − Các kết luận Ví dụ 3.1 (nói nghiệm toán phạt sát tùy ý nghiệm toán ban đầu giá trị tối ưu hàm số phụ sát tùy ý giá trị tối ưu hàm mục tiêu ban đầu cách chọn µ đủ lớn) hình thức hóa định lý sau Định lý 3.1 Xét toán quy hoạch phi tuyến (P) với f, g h hàm liên tục Rn X tập khác rỗng Rn Giả thiết (P) có nghiệm chấp nhận α hàm liên tục xác định theo (3.1), (3.2) Tiếp đó, giả sử với µ tồn nghiệm xµ ∈ X toán min{f (x) + µα(x) : x ∈ X} giả sử {xµ } nằm tập compact X Khi inf{f (x) : g(x) ≤ 0, h(x) = 0, x ∈ X} = sup θ(µ) = lim θ(µ) µ≥0 µ→∞ với θ(µ) = f (xµ ) + µα(xµ ) Hơn nữa, giới hạn x dãy hội tụ dãy {xµ } nghiệm tối ưu toán ban đầu µα(xµ ) → µ → ∞ Chứng minh Theo phần Bổ đề 3.1, θ(µ) đơn điệu, sup θ(µ) = µ≥0 lim θ(µ) Trước hết ta α(xµ ) → µ → ∞ Giả sử y điểm chấp µ→∞ nhận ε > Giả sử x1 nghiệm tối ưu toán min{f (x)+µα(x) : |f (y) − f (x1 )| x ∈ X} với µ = Nếu µ ≥ + theo phần Bổ đề 3.1, ta ε phải có f (xµ ) ≥ f (x1 ) Chương Bài toán với ràng buộc bất đẳng thức 35 Ta rõ α(xµ ) ≤ ε Giả sử trái lại α(xµ ) > ε Từ phần Bổ đề 3.1 suy inf{f (x) : g(x) ≤ 0, h(x) = 0, x ∈ X} ≥ θ(µ) = f (xµ ) + µα(xµ ) ≥ f (x1 ) + µα(xµ ) > f (x1 ) + |f (y) − f (x1 )| + 2ε > f (y) Bất đẳng thức xảy y điểm chấp nhận Vậy |f (y) − f (x1 )| + Do ε nhỏ tùy ý nên α(xµ ) → α(xµ ) ≤ ε với µ ≥ ε µ → ∞ Bây giả sử {xµk } dãy hội tụ dãy {xµ } x điểm tụ dãy Khi sup θ(µ) ≥ θ(µk ) = f (xµk ) + µk α(xµk ) ≥ f (xµk ) µ≥0 Do xµk → x hàm f liên tục nên bất đẳng thức kéo theo sup θ(µ) ≥ f (x) (3.4) µ≥0 Vì α(xµ ) → µ → ∞ nên α(x) = 0, tức x nghiệm chấp nhận toán ban đầu Từ (3.4) phần Bổ đề 3.1 suy sup θ(µ) = f (x) mu≥0 Để ý µα(xµ ) = θ(µ) − f (xµ ) Khi µ → ∞, θ(µ) f (xµ ) dần tới f (x) nên µα(xµ ) dần tới Định lý chứng minh xong Hệ 3.1 Nếu α(xµ ) = với µ xµ nghiệm tối ưu toán Chứng minh Nếu α(xµ ) = xµ nghiệm chấp nhận toán Hơn nữa, từ inf{f (x) : g(x) ≤ 0, h(x) = 0, x ∈ X} ≥ θ(µ) = f (xµ ) + µα(xµ ) = f (xµ ) trực tiếp suy xµ nghiệm tối ưu toán Chương Bài toán với ràng buộc bất đẳng thức 36 Định lý 3.1 cho thấy nghiệm tối ưu toán min{f (x) + µα(x) : x ∈ X} gần tùy ý miền chấp nhận cách chọn µ đủ lớn Hơn nữa, với µ đủ lớn, f (xµ ) + µα(xµ ) sát tùy ý giá trị mục tiêu tối ưu toán ban đầu Vì lược đồ quen thuộc giải toán phạt giải toán có dạng min{f (x) + µα(x) : x ∈ X} với dãy tham số phạt µ tăng dần Nói chung, dãy nghiệm tối ưu gồm điểm không chấp nhận (xµ ∈ / S) Tuy nhiên thấy chứng minh Định lý 3.1, tham số phạt µ đủ lớn, nghiệm hội tụ tới nghiệm tối ưu từ phía miền chấp nhận Chính kỹ thuật gọi phương pháp hàm phạt điểm (exterior penalty function method) Ví dụ 3.2 Xét toán min{f (x1 , x2 ) = x21 + x22 : x1 + x2 − = 0} Rõ ràng nghiệm tối ưu toán x∗ = (1, 1)T với giá trị hàm mục tiêu fmin = f (x∗ ) = Bây xét toán phạt sau với µ > lớn min{x21 + x22 + µ(x1 + x2 − 2)2 : x = (x1 , x2 )T ∈ R2 } Để ý với µ ≥ hàm mục tiêu toán hàm lồi Do điều kiện tối ưu cần đủ gradient x21 + x22 + µ(x1 + x2 − 2)2 0, cụ thể  2x1 + 2µ(x1 + x2 − 2) = 0, 2x + 2µ(x + x − 2) = 2 2µ Như vậy, nghiệm tối 2µ + ưu toán phạt làm cho sát tùy ý nghiệm tối ưu toán ban Giải hệ phương ta nhận x1 = x2 = đầu cách chọn µ đủ lớn Chú ý giả thiết X compact cần thiết, nếu X không compact giá trị mục tiêu tối ưu toán ban đầu toán phạt khác Giả thiết không ngặt ghèo phần lớn toán thực tế, biến toán thường nằm giới hạn hữu Chương Bài toán với ràng buộc bất đẳng thức 37 hạn Cũng để ý đòi hỏi khác hàm f, g h tính liên tục Tuy nhiên, việc áp dụng phương pháp giải hiệu qủa cho toán phụ (không ràng buộc) đặt thêm hạn chế hàm (khả vi lần chẳng hạn) Sau thuật toán giải (P) với hàm phạt xác định theo (3.1) (3.2) Khởi Chọn sai số ε > đủ nhỏ Chọn điểm ban đầu x1 ∈ X, tham số phạt µ1 > số β > Đặt số vòng lặp k = chuyển tới vòng lặp Vòng lặp chính: Bước Xuất phát từ xk , tìm nghiệm tối ưu toán xk+1 ∈ arg min{f (x) + µk α(x) : x ∈ X} Bước Nếu µk α(xk+1 ) < ε dùng: xk+1 nghiệm xấp xỉ Trái lại, đặt µk+1 = βµk , k ← k + quay lại thực Bước 3.2 Phương pháp điểm Mục trình bày phương pháp điểm trong, với ý tưởng phương pháp hàm phạt, đưa toán tối ưu có ràng buộc bất đẳng thức (hay dãy) toán tối ưu không ràng buộc Phương pháp điểm áp dụng cho toán tối ưu có ràng buộc bất đẳng thức, nhờ đưa thêm vào hàm mục tiêu ban đầu hàm gọi hàm chắn (barrier function) phụ thuộc tham số Hàm chắn có tác dụng ngăn cản điểm cực tiểu không ràng buộc vượt miền chấp nhận Nếu nghiệm tối ưu đạt điểm biên miền ràng buộc thuật toán từ phía tới biên miền ràng buộc, có tên gọi phương pháp điểm (interior - point method) Phương pháp đòi hỏi toán cần giải có điểm chấp nhận thoả mãn chặt (như bất đẳng thức thực sự) ràng buộc Để minh họa, xét toán quy hoạch phi tuyến với ràng buộc bất đẳng thức min{f (x) : gi (x) ≤ 0, i = 1, , m; x ∈ X}, (P) Chương Bài toán với ràng buộc bất đẳng thức 38 X tập Rn , f (x), gi (x) : Rn → R, i = 1, , m hàm liên tục Rn Ký hiệu g = (g1 , , gm )T Các ràng buộc đẳng thức có gộp vào tập X Khi có ràng buộc đẳng thức tuyến tính, loại bỏ chúng cách giải biến theo số biến khác Sở dĩ cần xử lý phương pháp điểm đòi hỏi tập {x ∈ Rn : g(x) < 0} = ∅, thay ràng buộc đẳng thức h(x) = hai bất đẳng thức tương đương h(x) ≤ h(x) ≥ Ký hiệu B : X → R hàm chắn gọi f (x) + µB(x) hàm số phụ (auxiliary function) Xét toán không ràng buộc θ(µ) = inf{f (x) + µB(x) : g(x) < 0, x ∈ X} Bài toán sau gọi toán chắn (barrier problem) min{θ(µ) : µ ≥ 0} Thật lý tưởng hàm chắn lấy giá trị miền {x : g(x) ≤ 0} giá trị ∞ biên miền Hàm đảm bảo xuất phát từ điểm điểm lặp không vượt miền {x : g(x) ≤ 0} Tuy nhiên, hàm chắn không liên tục biên nên gây nhiều khó khăn tính toán Vì thế, hàm chắn lý tưởng thay đòi hỏi thực tế hơn: B hàm không âm, liên tục miền {x : g(x) ≤ 0} tăng vô hạn dần tới biên từ phía trong, cụ thể ta xây dựng hàm chắn có dạng m B(x) = φ[gi (x)], (3.5) i=1 φ hàm liên tục {t : t < 0} thỏa mãn điều kiện   φ(t) ≥ t < 0, (3.6)  lim φ(t) = +∞ t→0 Để ý µB dần tới hàm chắn lý tưởng mô tả µ → Thông thường, hai lớp hàm chắn hay sử dụng hàm chắn nghịch đảo (reciprocal barrier function) hàm chắn lôga (logarithmic barrier function): m B(x) = − i=1 hay B(x) = − gi (x) m ln[min{1, −gi (x)}] i=1 Chương Bài toán với ràng buộc bất đẳng thức 39 Hàm chắn sau với tên gọi hàm chắn lôga Frish dùng rộng rãi m B(x) = − ln[−gi (x)] i=1 Với µ > 0, việc đánh giá θ(µ) = inf{f (x) + µB(x) : g(x) < 0, x ∈ X} tỏ không đơn giản việc giải toán ban đầu, có ràng buộc g(x) < Tuy nhiên, xuất phát từ điểm thuộc miền S = {x : g(x) < 0} ∩ X sinh điểm tối ưu thuộc S, không ý đến ràng buộc g(x) < Đó B tiến vô điểm lặp dần tới biên {x : g(x) ≤ 0} từ phía S, ngăn điểm lặp vượt S Điều hình thức hóa sau Bổ đề 3.2 Giả sử f, g1 , , gm hàm liên tục Rn X tập đóng khác rỗng Rn Giả sử tập {x ∈ X : g(x) < 0} khác rỗng B hàm chắn xác định theo (3.5), (3.6) liên tục {X : g(x) < 0} Hơn nữa, giả sử với µ > cho trước, dãy {xk } X thỏa mãn g(xk ) < f (xk ) + µB(xk ) → θ(µ) {xk } chứa dãy hội tụ (giả thiết {x ∈ X; g(x) ≤ 0} compact) Khi Với µ > tồn xµ ∈ X, g(xµ ) < cho θ(µ) = f (xµ ) + µB(xµ ) = inf{f (x) + µB(x) : g(x) < 0, x ∈ X} inf{f (x) : g(x) ≤ 0, x ∈ X} ≤ inf{θ(µ) : µ > 0} Với µ > 0, f (xk ) θ(µ) hàm không giảm µ B(xµ ) hàm không tăng µ Chứng minh Cố định µ > Theo định nghĩa θ, tồn dãy {xk } ⊂ X, g(xk ) < cho f (xk ) + µB(xk ) → θ(µ) Theo giả thiết, {xk } có dãy {xkq } hội tụ tới giới hạn,chẳng hạn xµ ∈ X Theo tính liên tục hàm g(xµ ) ≤ Ta g(xµ ) < 0, trái lại có gi (xµ ) = với i Do hàm chắn B thỏa mãn (3.6) với k = kq , B(xk ) → ∞ Như vậy, θ(µ) = ∞, điều xảy tập {x : x ∈ X, g(x) < 0} giả thiết khác rỗng Vì Chương Bài toán với ràng buộc bất đẳng thức 40 vậy, θ(µ) = f (xµ ) + µB(xµ ) với xµ ∈ X, g(xµ ) < phần bổ đề chứng minh Bây B(x) ≥ g(x) < nên với µ ≥ ta có θ(µ) = inf{f (x) + µB(x) : g(x) < 0, x ∈ X} ≥ inf{f (x) : g(x) < 0, x ∈ X} ≥ inf{f (x) : g(x) ≤ 0, x ∈ X} Vì bất đẳng thức với µ ≥ nên suy phần bổ đề Để chứng minh phần 3, giả sử µ > λ > Do B(x) ≥ g(x) < nên f (x) + µB(x) ≥ f (x) + λB(x) với x ∈ X, g(x) < Do θ(µ) ≥ θ(λ), tức θ(µ) không giảm Theo phần 1, tồn xµ xλ cho f (xµ ) + µB(xµ ) ≤ f (xλ ) + µB(xλ ), (3.7) f (xλ ) + λB(xλ ) ≤ f (xµ ) + λB(xµ ) (3.8) Cộng (3.7) với (3.8) xắp xếp lại ta nhận (µ−λ)[B(xµ )−B(xλ )] ≤ Do µ − λ > nên B(xµ ) ≤ B(xλ ), tức B(xµ ) không tăng Trừ bất đẳng thức vào (3.8) suy f (xλ ) ≤ f (xµ ), tức f (xµ ) không giảm phần Bổ đề chứng minh xong Theo Bổ đề 3.2, θ hàm không giảm µ, inf θ(µ) = lim+ θ(µ) µ>0 µ→0 Định lý 3.2 nêu giá trị tối ưu toán ban đầu lim+ θ(µ), toán giải nhờ toán có dạng µ→0 min{f (x) + µB(x) : x ∈ X} với µ đủ nhỏ hay giải nhờ dãy toán có dạng với dãy giá trị µ giảm dần Định lý 3.2 Xét quy hoạch phi tuyến (P) với f g hàm liên tục Rn X tập đóng khác rỗng Rn Giả sử tập {x ∈ X : g(x) < 0} khác rỗng Hơn nữa, giả sử toán ban đầu min{f (x) : g(x) ≤ 0, x ∈ X} có nghiệm Chương Bài toán với ràng buộc bất đẳng thức 41 tối ưu x∗ với tính chất: Với lân cận N x∗ tồn x ∈ X ∩ N cho g(x) < Khi min{f (x) : g(x) ≤ 0, x ∈ X} = lim+ θ(µ) = inf θ(µ) µ>0 µ→0 Đặt θ(µ) = f (xµ ) + µB(xµ ) với xµ ∈ X, g(x) < (tồn xµ nêu Bổ đề 3.2), giới hạn dãy hội tụ dãy {xk } nghiệm tối ưu toán ban đầu Hơn nữa, µB(xµ ) → µ → Chứng minh Giả sử x∗ nghiệm tối ưu toán ban đầu thỏa mãn tính chất nêu giả sử ε > Do tính liên tục hàm f theo giả thiết định lý, tồn xˆ ∈ X, g(ˆ x) < cho f (x∗ ) + ε > f (ˆ x) Khi với µ > 0: f (x∗ ) + ε + µB(ˆ x) > f (ˆ x) + µB(ˆ x) ≥ θ(µ) Qua giới hạn µ → 0+ cho ta f (x∗ ) + ε ≥ lim+ θ(µ) Do bất đẳng thức µ→0 ∗ với ε > nên ta nhận f (x ) ≥ lim+ θ(µ) Theo phần Bổ µ→0 ∗ đề 3.2, f (x ) = lim+ θ(µ) µ→0 Với µ → 0+ B(xµ ) xµ chấp nhận toán ban đầu nên θ(µ) = f (xµ ) + µB(xµ ) ≥ f (xµ ) ≥ f (x∗ ) Qua giới hạn µ → 0+ ý f (x∗ ) = lim+ θ(µ) suy f (xµ ) µ→0 ∗ f (xµ ) + µB(xµ ) dần tới f (x ) Do µB(xµ ) → µ → 0+ Hơn nữa, {xµ } có dãy hội tụ đến giới hạn x f (x ) = f (x∗ ) Do xµ chấp nhận toán ban đầu nên x chấp nhận được, dó tối ưu định lý chứng minh Để ý điểm {xµ } sinh thuộc phần tập {x : g(x) ≤ 0} với µ Vì thế, phương pháp hàm chắn gọi phương pháp hàm phạt điểm (interior penalty function method) Ví dụ 3.3 Xét toán cho Ví dụ 3.1: min{f (x) = x : g(x) = −x + ≤ 0} Chương Bài toán với ràng buộc bất đẳng thức 42 Nghiệm tối ưu toán x∗ = với giá trị hàm mục tiêu f (x∗ ) = Bây xét toán với hàm chắn nghịch đảo min{f (x) + µB(x) = x − µ : x ∈ R}, 2−x với µ tham số Trước hết để ý với µ, toán quy hoạch lồi Vì thế, điều kiện tối ưu cần đủ đạo hàm hàm f (x) + µB(x) 0, √ từ ta nhận xµ = + µ (giả thiết µ > 0) Vậy, nghiệm toán phạt sát tùy ý nghiệm tối ưu toán ban đầu cách chọn µ √ đủ gần Hơn nữa, f (x) + µB(x) = + µ sát tùy ý f (x∗ ) cách lấy µ đủ gần Việc giải quy hoạch phi tuyến có ràng buộc gặp phải số khó khăn tính toán Trước hết, việc giải điểm x ∈ X thỏa mãn g(x) < việc tìm điểm không đơn giản số toán Cũng cấu trúc hàm chắn B giá trị tham số µ nhỏ nên phần lớn kỹ thuật tìm kiếm gặp vấn đề không ổn định gặp khó khăn sai số làm tròn trình giải toán min{f (x) + µB(x) : x ∈ X}, đặc biệt điểm xuất phát gần biên miền {x : g(x) ≤ 0} Các thuật toán điểm sử dụng dãy tham số phạt giảm dần µk → k → ∞ Với giá trị µk mới, nghiệm tối ưu toán hàm chắn tìm cách xuất phát từ nghiệm tối ưu trước Cũng phương pháp hàm phạt điểm ngoài, ta nên sử dụng phương pháp Newton hay tựa Newton thích hợp để giải toán hàm chắn Sau lược đồ sử dụng hàm chắn dạng (3.5), (3.6) để giải toán quy hoạch phi tuyến (P) Chương Bài toán với ràng buộc bất đẳng thức 43 Khởi Chọn sai số ε > chọn điểm ban đầu x1 với g(x1 ) < Giả sử µ1 > 0, β ∈ (0, 1) Đặt số vòng lặp k = chuyển sang vòng lặp Vòng lặp Xuất phát từ xk , tìm nghiệm tối ưu toán xk+1 = arg min{f (x) + µk B(x) : x ∈ X} Nếu µk B(xk+1 ) < ε dùng: xk+1 nghiệm xấp xỉ Trái lại, đặt µk+1 = βµk , k ← k + quay trở lại Bước Tóm lại, chương trình bày sở lý thuyết phương pháp hàm phạt (phạt điểm ngoài) phương pháp hàm chắn (phạt điểm trong), cho phép đưa việc giải toán tối ưu có ràng buộc dãy toán tối ưu không ràng buộc (hay ràng buộc đơn giản) Nghiệm tối ưu giá trị cực tiểu không ràng buộc hội tụ tới nghiệm tối ưu giá trị cực tiểu có ràng buộc toán ban đầu Kết luận 44 Kết luận Các toán tối ưu phi tuyến đa dạng phương pháp giải chúng phong phú Nói chung, việc giải lớp toán không đơn giản, trừ hàm mục tiêu hàm ràng buộc toán tuyến tính afin Luận văn đề cập tới số phương pháp giải toán tối ưu phi tuyến với ràng buộc đẳng thức bất đẳng thức Luận văn trình bày nội dung sau Một số kiến thức cần thiết giải tích lồi (tập lồi, hàm lồi tính chất, định lý tách tập lồi) toán tối ưu phi tuyến (các điều kiện tối ưu cần đủ) Kết lý thuyết điều kiện cần điều kiện đủ quy hoạch phi tuyến với ràng buộc đẳng thức Phương pháp nhân tử Lagrange đưa toán với ràng buộc đẳng thức toán không ràng buộc nêu ví dụ minh họa cho phương pháp nhân tử Lagrange Cơ sở lý thuyết phương pháp hàm phạt điểm ngoài, cho phép đưa toán tối ưu có ràng buộc dãy toán cực tiểu không ràng buộc, nhờ đưa thêm vào hàm mục tiêu ban đầu hàm phạt, nhận giá trị thoả mãn ràng buộc, nhận giá trị dương không thỏa mãn Phương pháp hàm chắn, cho phép đưa toán tối ưu ràng buộc bất đẳng thức dãy toán cực tiểu không ràng buộc, cách đưa thêm vào hàm mục tiêu ban đầu gọi hàm chắn, nhằm ngăn cản điểm cực tiểu không ràng buộc vượt miền ràng buộc toán Có thể xem luận văn bước tìm hiểu ban đầu phương pháp giải quy hoạch phi tuyến có ràng buộc Tác giả luận văn hy vọng có dịp tìm hiểu nghiên cứu sâu nhiều phương pháp giải khác quy hoạch phi tuyến Tài liệu tham khảo [A] Tài liệu tiếng Việt [1] N T B Kim Giáo trình phương pháp tối ưu: Lý thuyết thuật toán NXB Bách Khoa Hà Nội, 2008 [2] T V Thiệu, N T T Thủy Giáo trình tối ưu phi tuyến NXB Đại học Quốc gia Hà Nội, 2011 [B] Tài liệu tiếng Anh [3] M S Bazara et al., Nonlinear Programming: Theory and Algorithms 3rd Edition A John Willey & Sons, Inc., Publication, 2006 [4] D P Bertsekas Convex Analysis and Optimization Athena Scientific Belmont, Massachusets, 2003 [5] B Chachuat Nonlinear and Dynamic Optimization: From Theory to Practice (Chapter 1) Automatic Control Laboratory, EPFL, Switzerland, 2007 [6] J J Strodiot, Numerical Methods in Optimization, Namur - Belgium, 2002 [7] W Sun and Y-X Yuan, Optimization Theory and Methods - Nonlinear Programming, Springer, 2006 45