Bài toán tối ưu lồi Giải tích lồi

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA TOÁN - TIN HỌC ———————o0o——————– TIỂU LUẬN Môn học: Cơ sở giải tích lồi và quy hoạch lồi Đề tài: Bài toán tối ưu lồi • Giảng viên hướng dẫn: Nguyễn Minh Tùng • Sinh viên thực hiện: Tô Quang Tịnh THÀNH PHỐ HỒ CHÍ MINH, THÁNG 12/2014 Mục lục Mở đầu 3 1 Kiến thức chuẩn bị: 4 1.1 Tập affine và tập lồi: . . . . . . . . . . . . . . . . . . . . . 4 1.2 Tập nón: . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Tập nón lồi: . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4 Hàm lồi và các tính chất: . . . . . . . . . . . . . . . . . . . 6 1.5 Dạng vi phân của hàm lồi: . . . . . . . . . . . . . . . . . . 6 1.5.1 Nhắc lại tính khả vi: . . . . . . . . . . . . . . . . . 6 1.5.2 Dưới vi phân của hàm lồi: . . . . . . . . . . . . . . . 6 2 Nội dung đề tài: 7 2.1 Bài toán tối ưu lồi: . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1 Giới thiệu bài toán tối ưu: . . . . . . . . . . . . . . 7 2.1.2 Bài toán tối ưu lồi: . . . . . . . . . . . . . . . . . . 8 2.2 Nghiệm địa phương và nghiệm toàn cục: . . . . . . . . . . . 8 2.3 Sự tôn tại nghiệm tối ưu: . . . . . . . . . . . . . . . . . . . 9 2.4 Điều kiện tối ưu: . . . . . . . . . . . . . . . . . . . . . . . . 10 2.5 Điều kiện chính quy: . . . . . . . . . . . . . . . . . . . . . 15 2.6 Định lý Karush-Kuhn-Tucker: . . . . . . . . . . . . . . . . 15 Tài liệu tham khảo 20 2 Mở đầu Bài toán tối ưu lồi là một lớp bài toán cơ bản của hướng tối ưu. Chính lớp bài toán đó đã tạo nên tiền đề, mở ra một hướng giải quyết cho các bài toán ngành khoa học kỹ thuật. Lý thuyết về bài toán tối ưu lồi đã được quan tâm nghiên cứu nhiều và đã thu được nhiều kết quả quan trọng dựa trên lý thuyết giải tích lồi và tối ưu hoá. Mục đích của bài tiểu luận này là để trình bày ra những lý thuyết cơ bản về những vấn đề liên quan đến lớp bài toán này cũng như nêu một số điều kiện và định lý cần thiết để chứng minh sự tồn tại nghiệm của bài toán tối ưu lồi cũng như giải ra được hệ nghiệm của nó. Tiểu luận này gồm 2 chương: • Chương 1: Giới thiệu về những kiến thức cơ bản, những khái niệm về các tập hợp trong giải tích lồi, hàm lồi cũng như tính khả vi, dưới vi phân của hàm lồi. • Chương 2: Trình bày khái niệm bài toán tối ưu lồi, nghiệm toàn cục, nghiệm cục bộ, điều kiện tồn tại nghiệm tối ưu của bài toán, điều kiện tối ưu, điều kiện chính quy và định lý Karush - Kuhn - Tucker áp dụng để giải bài toán tối ưu lồi. Vì kiến thức của bản thân còn nhiều hạn chế nên bài tiểu luận này khó tránh khỏi những sai sót và thiếu sót, em mong nhận được những phản hồi, những góp ý để khoá luận này ngày càng hoàn thiện. Em xin chân thành cảm ơn. Thành phố Hồ Chí Minh, ngày 28 tháng 12 năm 2014 Sinh viên Tô Quang Tịnh 3 Chương 1 Kiến thức chuẩn bị: 1.1 Tập affine và tập lồi: Định nghĩa 1.1: Cho X là không gian định chuẩn a) Tập affine: A ⊂ X được gọi là tập affine (affine set) nếu: ∀a, b ∈ A, ∀λ ∈ R : λA + (1 − λ)b ∈ A b) Tập lồi: A ⊂ X được gọi là tập lồi (convex set) nếu: ∀a, b ∈ A, ∀λ ∈ [0, 1] : λA + (1 − λ)b ∈ A Tính chất 1.1: có 3 tính chất: Tính chất 1.1.1: A, B ⊂ X lồi a) A + B = {a + b |a ∈ A, b ∈ B } lồi. b) A ∩ B lồi (A ∪ B không lồi). Tính chất 1.1.2: Tập A bao gồm: - cl A = A: bao đóng của tập A. - int A = ◦ A : phần trong của tập A - ∂A: biên của tập A. Tính chất 1.1.3: Cho A lồi, a ∈ int A, b ∈ ∂A =⇒ [a, b) ⊂ intA 4 Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi 1.2 Tập nón: Định nghĩa 1.2: Cho X là không gian định chuẩn, A ⊂ X Ta nói: A là tập nón ⇐⇒ ∀λ ≥ 0, ∀a ∈ A, λa ∈ A 1.3 Tập nón lồi: Định nghĩa 1.3: Tập A được gọi là tập nón lồi nếu A vừa là tập nón, vừa là tập lồi. Tính chất đặc trưng: A là nón lồi ⇐⇒  λA ⊂ A A + A ⊂ A ∀λ > 0 Định nghĩa 1.4: Siêu phẳng trong không gian R n là một tập hợp các điểm có dạng:  x ∈ R n : a T x = α  , trong đó: - a ∈ R n là một véc-tơ khác 0. - α ∈ R. Định nghĩa 1.5: Cho hai tập A và B, ta nói rằng siêu phẳng H := {x : v, x = λ} (i) tách hai tập A và B nếu v, a ≤ λ ≤ v, b , ∀a ∈ A, ∀b ∈ B. (ii) tách chặt A và B nếu v, a < λ < v, b , ∀a ∈ A, ∀b ∈ B. (iii) tách mạnh A và B nếu lim x∈A v, x < λ < lim y∈B v, y . Tô Quang Tịnh 5 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi Hệ quả 1.1 (Bổ đề Farkas): Cho a ∈ R n và A là ma trận cấp m × n. Khi đó a, x ≥ 0 với mọi x thoả mãn Ax ≥ 0, khi và chỉ khi tồn tại y ≥ 0 thuộc R m sao cho a = A T y. 1.4 Hàm lồi và các tính chất: Định nghĩa 1.6: Cho ánh xạ f : R n → R ∪ {+∞} (nghĩa là ∀a ∈ R, a ≤ +∞ ⇐⇒ ✓ ✓ ∃a ∈ R, a > +∞) f được gọi là hàm lồi ⇐⇒ ∀λ ∈ [0, 1], ∀a, b ∈ R n f (λa + (1 − λ)b) ≤ λf(a) + (1 − λ)f(b) Đặc trưng: Cho f : R n → R là hàm lồi, ta có các tính chất sau: 1. i) Epi f = {(x, r) ∈ R n × R |f(x) < r} là tập lồi trong R n × R. ii) Giả sử f khả vi (đạo hàm trơn) ⇐⇒ ∇f(y) (x − y) ≤ f(x)−f(y) 2. ∇f(x) là hàm tăng =⇒ [∇f(y) − ∇f(x)] (y − x) ≥ 0 3. ∇ 2 f(x) nửa xác định dương (các trị riêng ≥ 0) (nghĩa là, f : R → R sao cho f  > 0). 1.5 Dạng vi phân của hàm lồi: 1.5.1 Nhắc lại tính khả vi: Ta nói f khả vi tại x 0 nếu tồn tại một lân cận U của x 0 và "toán tử tuyến tính L ∈ L(X, Y )" sao cho: f (x) − f (x 0 ) = L (x − x 0 ) + O (|x − x 0 |) , ∀x ∈ U với O (·): vô cùng bé cấp 1. Khi đó, nếu X, Y là hữu hạn chiều, ta thường ký hiệu: L = ∇f (x 0 ) 1.5.2 Dưới vi phân của hàm lồi: Cho f : R n → R lồi, x 0 ∈ R n . Dưới vi phân của f tại x 0 là: 1. ∂f (x 0 ) = {ϕ ∈ L (R n , R) : f (x) − f (x 0 ) ≥ ϕ (x − x 0 )} 2. ∃L (R n , R) : f (x) − f (x 0 ) = L (x − x 0 ) + O (|x − x 0 |) Tô Quang Tịnh 6 Khoa Toán - Tin học Chương 2 Nội dung đề tài: 2.1 Bài toán tối ưu lồi: 2.1.1 Giới thiệu bài toán tối ưu: Cho D ⊆ R n và f : R n → R. Xét bài toán tối ưu (hay còn gọi là bài toán quy hoạch toán học): min {f(x) : x ∈ D} . (P ) Bái toán này được hiểu là hãy tìm một điểm x ∗ sao cho f(x ∗ ) ≤ f(x) với mọi x ∈ D. - Mỗi điểm x ∗ ∈ D được gọi là một phương án chấp nhận được của bài toán (P). - Tập D được gọi là miền (tập) chấp nhận được (tập ràng buộc). - Hàm f được gọi là hàm mục tiêu của bài toán (P ) Thông thường, tập D được cho như là tập nghiệm của một hệ bất đẳng thức hoặc đẳng thức có dạng D := {x ∈ X : g j (x) ≤ 0, h i (x) = 0, j = 1, . . . m, i = 1, . . . , p} , (2.1) trong đó, ∅ = X ⊆ R n và g j , h i : R n → R (j = 1, . . . m, i = 1, . . . , p). Bài toán (P ) với D cho bởi (2.1) gọi là trơn nếu cả hàm mục tiêu và các ràng buộc đều trơn (khả vi). Bài toán (P ) có rất nhiều ứng dụng trong các lĩnh vực khác nhau, như: kinh tế, cơ học, 7 Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi 2.1.2 Bài toán tối ưu lồi: Bài toán tối ưu lồi (hay bài toán quy hoạch lồi) là một trong những trường hợp của bài toán tối ưu. Nó được định nghĩa như sau: Định nghĩa 2.1: Xét bài toán (P ) định nghĩa bởi: min f(x) với điều kiện x ∈ D := {x ∈ X : g j (x) ≤ 0, h i (x) = 0, j = 1, . . . , m, i = 1, . . . , k} trong đó ∅ = X ⊆ R n và f, g i , h i : R n → R (∀i, j). Ta gọi bài toán (P ) là bài toán lồi nếu X là tập lồi đóng và các hàm f, g j là lồi, h i là hàm affine. 2.2 Nghiệm địa phương và nghiệm toàn cục: Định nghĩa 2.2: Điểm x ∗ ∈ D được gọi là lời giải tối ưu địa phương (hay nghiệm cục bộ) của bài toán (P) nếu tồn tại một lân cận U của x ∗ sao cho f(x ∗ ) ≤ f(x), ∀x ∈ U ∩ D Dịnh nghĩa 2.3: Điểm x ∈ D được gọi là lời giải tối ưu toàn cục (hay nghiệm toàn cục) của (P ) nếu f(x) ≤ f(x), ∀x ∈ D • Mối liên hệ nghiệm địa phương và nghiệm toàn cục: Định lý 2.1: Cho hàm h : R m → R lồi và F : R n → R m đạo hàm liên tục. Nếu x ∗ là nghiệm địa phương của bài toán min {h (F (x))}. Khi đó, d = 0 là nghiệm toàn cục của bài toán min d∈R n h (F (x ∗ ) + F  (x ∗ ) d) . Tô Quang Tịnh 8 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi 2.3 Sự tôn tại nghiệm tối ưu: Xét bài toán tối ưu toàn cục (P ). có 4 trường hợp tồn tại nghiệm tối ưu của bài toán này • D = ∅ (không có nghiệm). • f không bị chặn dưới trên D  inf x∈D f (x) = −∞  • inf x∈D f (x) < ∞ nhưng giá trị cực tiểu không đạt được trên D. • Tồn tại x ∗ ∈ D sao cho f(x ∗ ) = min x∈D f (x). Câu hỏi đặt ra: Làm thế nào để kiểm tra được bài toán (P ) có nghiệm hay không? Câu trả lời là, nói chung điều này là không dễ dàng. Định lý 2.2: Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục của bài toán (P ) là F + (D) := {t ∈ R : f (x) ≤ t, x ∈ D} , đóng và bị chặn dưới. Chứng minh: Nếu x ∗ là nghiệm tối ưu thì F + (D) = [f (x ∗ ) , +∞] đóng (là phần bù của tập mở) và bị chặn dưới. Ngược lại, giả sử F + (D) bị chặn dưới. Đặt t ∗ = inf F + (D) thì t > −∞. Do F + (D) đóng, t ∗ ∈ F + (D) nên tồn tại x ∗ ∈ D sao cho f(x ∗ ) = t ∗ . chứng tỏ x ∗ là một điểm cực tiểu của f trên D. Định lý 2.3 (Định lý Weierstrass): Nếu D là tập compact và f nửa liên tục dưới trên D, thì bài toán (P ) có nghiệm tối ưu. Chứng minh: Đặt α := inf x∈D f(x). Theo định nghĩa có một dãy  x k  ⊂ D sao cho lim k→+∞ f  x k  = α. Do D compact nên có một dãy con hội tụ về x 0 ∈ D. Tổng quát, ta được x k → x 0 . Vì f nửa liên tục dưới nên f > −∞. Nhưng x 0 ∈ D nên theo định nghĩa của α, ta phải có f(x 0 ) ≥ α. Vậy f(x 0 ) = α. Tô Quang Tịnh 9 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi Định lý 2.4 Nếu f nửa liên tục dưới trên D và thoả mãn điều kiện bức sau f (x) → +∞ khi x ∈ D, x → +∞ thì f có điểm cực tiểu trên D. Chứng minh: Đặt D(a) := {x ∈ D : f(x) ≤ f(a)} với a ∈ D. Rõ ràng, D(a) đóng và bị chặn nên f có điểm cực tiểu trên D(a) và điểm đó cũng chính là điểm cực tiểu của f trên D. 2.4 Điều kiện tối ưu: Định lý 2.5: Giả sử D là tập lồi và f là hàm lồi, khả dưới vi phân trên D. Khi đó, x ∗ là nghiệm tối ưu của bài toán (P ) nếu và chỉ nếu 0 ∈ ∂f (x ∗ ) + N D (x ∗ ) , (2.2) trong đó N D (x ∗ ) là ký hiệu nón pháp tuyến của D tại x ∗ . Chứng minh: (” ⇐ ”): Giả sử có (2.2). Khi đó, tồn tại p ∗ sao cho: p ∗ ∈ ∂f (x ∗ ) ∩ (−N D (x ∗ )) . Do p ∗ ∈ ∂f (x ∗ ) nên p ∗ , x − x ∗  ≤ f (x) − f (x ∗ ) , ∀x. Và vì p ∗ ∈ (N D (x ∗ )) nên p ∗ , x − x ∗  ≥ 0, ∀x ∈ D. Chứng tỏ x ∗ là nghiệm tối ưu của bài toán (P ). (” ⇒ ”): Giả sử x ∗ là nghiệm tối ưu. Bằng cách lấy không gian affine của D, ta có thể giả sử D là một tập có số chiều đầy đủ. Do D là tập lồi, intD /∈ ∅. Xét hai tập sau: E := {(t, x) ∈ R × R n : t > f (x) − f (x ∗ ) , x ∈ D} ; G := {0} × D Cả E và G đều là tập lồi (do D và f lồi). Hơn nữa G ∩ E = ∅. Áp dụng định lý siêu phẳng tách tồn tại (u 0 , u) = 0 ∈ R × R n sao cho u 0 t + u T x ≤ u 0 0 + u T y, ∀ (t, x) ∈ E, y ∈ D (2.3) Tô Quang Tịnh 10 Khoa Toán - Tin học [...]... nghiệm tối ưu của bài toán (P ) thì 0 ∈ ∂f (x∗ ) Hơn nữa, nếu f khả vi và D = Rn thì 0 = f (x∗ ) Hệ quả 2.1: Giả sử (P ) là bài toán lồi Nếu x∗ là một nghiệm tối ưu của bài toán (P ) thì tồn tai λ∗ ≥ 0 (i = 0, 1, · · · , m) và µ∗ (j = 1, · · · , k) i j không đồng thời bằng 0 sao cho Định lý 2.6: L (x∗ , λ∗ , µ∗ ) = min L (x, λ∗ , µ∗ ) (Điều kiện đạo hàm triệt tiêu), x∈X Tô Quang Tịnh 11 Khoa Toán -... ta được (2.15) / j i và (2.16) • Giả sử gi là các hàm lồi và hi là các hàm affine với mọi i, j Ta sẽ chứng minh ba điều kiện (2.14), (2.15) và (2.16) là điều kiện đủ để x∗ ∈ D là nghiệm tối ưu của bài toán (P ) Thật vậy, nếu x∗ không phải là nghiệm Tô Quang Tịnh 16 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi tối ưu, thì sẽ tồn tại x ∈ D sao cho f (x) < f (x∗ ) Đặt d... Tịnh 14 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi - S(x0 ): tập nghiệm của hệ phương trình tuyến tính sau: hi x0 , d = 0, i = 1, , k gj x0 , d = 0, j ∈ I x0 2.5 Điều kiện chính quy: Với mỗi điểm chấp nhận được x∗ , ta ký hiệu I (x∗ ) = {i |gi (x∗ ) = 0} Định nghĩa 2.5: Xét bài toán: min {f (x) |gj (x) ≤ 0, hi (x) = 0, j = 1, m, i = 1, , p} (2.10) Bài toán (2.10)... định lý này được mang tên của cả ba người Định lý này được phát biểu như sau: Tô Quang Tịnh 15 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi Giả sử các hàm f , gj (j = 1, · · · , m), hi (i = 1, · · · , k) là các hàm khả vi liên tục và x∗ là nghiệm tối ưu địa phương của bài toán (P ) thoả mãn điều kiện chính quy Khi đó, tồn tại các nhân tử Lagrange Định lý 2.7: λ∗ = (λ∗ ,... sở giải tích lồi và quy hoạch lồi λ∗ gi (x∗ ) = 0 (i = 1, , m) (Điều kiện bù) i Hơn nữa, nếu intX = ∅ và điều kiện Slater ∃x0 ∈ D : gi x0 < 0 (i = 1, , m) được thoả mãn và các hàm affine hi (i = 1, , k) độc lập tuyến tính trên X thì λ∗ > 0 và các đạo hàm triệt tiêu và điều kiện bù là điều kiện đủ để 0 chấp nhận được x∗ là nghiệm tối ưu của bài toán (P ) Chứng minh: Giả sử x∗ là một nghiệm tối. .. nghiệm tối ưu của bài toán (P ) Ví dụ: Cho hàm mục tiêu: f (x) = 2x2 + 2x1 x2 + x2 − 10x1 − 10x2 1 2 Điều kiện ràng buộc: c1 (x) = 5 − x2 − x2 ≥ 0 1 2 c2 (x) = 6 − 3x1 − x2 ≥ 0 Ta có: hàm mục tiêu liên tục và Ω hữu hạn nên ta chắc chắn có cực tiểu Công thức hàm Lagrange: L(x, λ) = f (x) − λ1 c1 (x) − λ2 c2 (x) Tô Quang Tịnh 17 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi. .. , nên µ∗ = 0 với mọi j ∗ ∗ j Điều này mâu thuẫn với giả thiết λi và µj không đồng thời bằng 0 Do Tô Quang Tịnh 13 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi đó, λ∗ > 0 và chia cả hai vế của (2.8) cho λ∗ > 0, ta có thể giả sử hàm 0 0 Lagrange của bài toán (P ) có dạng: m k L (x, λ, µ) = f (x) + λi gi (x) + i=1 µj hj (x) j=1 Sử dụng điều kiện đạo hàm triệt tiêu và điều... được x∗ là nghiệm tối ưu của bài toán (P ) Chứng minh: Giả sử x∗ là một nghiệm tối ưu của bài toán (P ) Đặt: C := {(λ0 , λ1 , , λm , µ1 , , µk ) : (∃x ∈ X) : f (x)−f (x∗ ) < λ0 , gi (x) ≤ λi , hj (x) = µj , (i = 1, , m; j = 1, , k)} Do X = ∅ lồi, f , gi là các hàm lồi và hj là hàm affine trên X , nên C là tập lồi đóng, khác rỗng trong Rm+k+1 Hơn nữa 0 = C vì nếu 0 ∈ C thì tồn tại một điểm... (2.7), cho m λ∗ f 0 → 0 ta được: k λ∗ gi (x)+ i (x)+ i=1 m µ∗ hj j (x) ≥ j=1 λ∗ f 0 ∗ k λ∗ gi (x∗ )+ i (x )+ i=1 µ∗ hj (x∗ ), j j=1 ∀x ∈ X (2.8) Tô Quang Tịnh 12 Khoa Toán - Tin học Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi hay L (x∗ , λ∗ , µ∗ ) ≤ L (x, λ∗ , µ∗ ) , ∀x ∈ X Điều kiện đạo hàm triệt tiêu được chứng minh Để chứng minh điều kiện bù, ta thấy, do x∗ là điểm chấp nhận được, gj... µ∗ hi (x∗ ) = 0, j gj (x ) + j=1 (2.15) i=1 λ∗ g (x∗ ) = 0, ∀j = 1, , m (điều kiện bù) j (2.16) Ngược lại, nếu f , gi là các hàm lồi với mọi i và hi là các hàm affine với mọi j và nếu x∗ ∈ D thoả mãn các điều kiện (2.14), (2.15), (2.16), thì x∗ là nghiệm tối ưu của bài toán (P ) Chứng minh: • Sử dụng khai triển Taylor: f (x∗ + λd) = f (x∗ ) + f (x∗ ) , λd + o (λd) ta có: f (x∗ ) , d ≥ 0, ∀d ∈ D (x∗