Một số phương pháp cơ bản giải quy hoạch lồi

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ANH TUẤN MỘT SỐ PHƯƠNG PHÁP CƠ BẢN GIẢI QUY HOẠCH LỒI LUẬN VĂN THẠC SĨ TOÁN HỌC Thái Nguyên - Năm 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ANH TUẤN MỘT SỐ PHƯƠNG PHÁP CƠ BẢN GIẢI QUY HOẠCH LỒI Chuyên ngành: TOÁN ỨNG DỤNG Mã số : 60.46.36 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH LÊ DŨNG MƯU Thái Nguyên - Năm 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i Mục lục Trang phụ bìa Mục lục ii Lời cảm ơn Mở đầu 1 Kiến thức tập lồi hàm lồi 1.1 Tập lồi 1.2 Hàm lồi 1.2.1 Hàm lồi hàm lõm 1.2.2 Hàm lồi liên tục 11 1.2.3 Dưới vi phân 13 1.2.4 Hàm lồi mạnh 17 Các phương pháp giải quy hoạch lồi không ràng buộc 20 2.1 Bài tốn quy hoạch lồi tính chất 20 2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi 25 2.3 Phương pháp Newton 28 Phương pháp giải quy hoạch lồi có ràng buộc 3.1 31 Bài tốn quy hoạch lồi có ràng buộc điều kiện tối ưu 31 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 3.2 3.3 3.1.1 Bài toán quy hoạch lồi có ràng buộc 31 3.1.2 Điều kiện tối ưu 33 3.1.3 Định lý (Karush-Kuhn-Tucker) 35 3.1.4 Định lý (Kuhn-Tucker) 39 Phương pháp hàm phạt giải quy hoạch lồi có ràng buộc 41 3.2.1 Phương pháp hàm phạt điểm 42 3.2.2 Phương pháp hàm phạt điểm 45 Phương pháp Frank – Wolfe 47 Kết luận 49 Tài liệu tham khảo 51 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lời cảm ơn Nghiên cứu khoa học chặng đường đầy khó khăn thử thách Sau năm làm luận văn, trải nghiệm nhiều điều, rút học bổ ích cho sống Cơng trình hồn thành bên cạnh cố gắng cá nhân giúp đỡ tận tình thầy giáo, đồng nghiệp, bạn bè người thân Trước tiên, tơi xin bày tỏ lịng kính trọng biết ơn sâu sắc tới GS.TSKH Lê Dũng Mưu – người thầy trực tiếp hướng dẫn, động viên giúp đỡ tơi q trình học tập nghiên cứu để hồn thành luận văn Kính chúc thầy gia đình ln mạnh khỏe, hạnh phúc ! Tơi xin gửi lời cảm ơn tới thầy cô giáo thuộc mơn Tốn - Tin, phịng Đào tạo quan hệ Quốc tế, cán khoa Sau đại học trường Đại học Khoa học – Đại học Thái Nguyên dạy dỗ, bảo suốt hai năm học vừa qua Tôi xin cảm ơn bạn học viên Cao học Tốn khóa động viên, giúp đỡ tơi q trình học tập rèn luyện trường, q trình nghiên cứu để hồn thành luận văn Tôi xin bày tỏ cảm ơn chân thành tới bạn bè đồng nghiệp, tới người thân gia đình động viên, giúp đỡ tơi mặt để tơi hồn thành khóa học thực luận văn Mặc dù có nhiều cố gắng luận văn khó tránh khỏi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn thiếu xót hạn chế Tác giả mong nhận ý kiến đóng góp thầy bạn đọc để luận văn hoàn thiện Xin trân trọng cảm ơn ! Thái Nguyên, 15 tháng 09 năm 2011 Người thực Nguyễn Anh Tuấn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mở đầu Quy hoạch tốn học mơn quan trọng toán học ứng dụng Lớp toán quan trọng quy hoạch toán học quy hoạch tuyến tính Tuy nhiên tính chất tuyến tính nhiều không thỏa mãn trường hợp thực tế Một tính chất gần với tính chất tuyến tính tính lồi Trong quy hoạch lồi lớp tốn tối ưu có cấu trúc lồi Một tính chất toán quy hoạch lồi cực tiểu địa phương cực tiểu toàn cục Điều cho phép công cụ địa phương giới hạn, đạo hàm sử dụng hiệu cho quy hoạch lồi Chính mà hình thành phát triển chưa lâu, quy hoạch lồi có nhiều kết quan trọng lý thuyết phương pháp giải Bản luận văn cao học nhằm mục đích chủ yếu giới thiệu phương pháp để giải quy hoạch lồi khơng ràng buộc Đó phương pháp hướng giảm, sử dụng đạo hàm cấp đạo hàm cấp hai hàm lồi khả vi Tuy nhiên luận văn trình bày thêm phương pháp hàm phạt, cho phép chuyển việc giải tốn quy hoạch lồi có ràng buộc việc giải toán quy hoạch lồi khơng ràng buộc Để thấy rõ thêm vai trị phương pháp giải quy hoạch lồi không ràng buộc, luận văn có trình bày thuật tốn giải trực tiếp quy hoạch lồi có ràng buộc tuyến tính, phương pháp Frank-Wolf Bản luận văn gồm có chương Chương nhằm mục đích giới thiệu kiến thức hàm lồi, tập lồi, sử dụng chương sau Chương giới thiệu toán quy hoạch lồi, số khái niệm, định Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn lý quan trọng số phương pháp giải toán Chương giới thiệu toán quy hoạch lồi có ràng buộc số định lý, tính chất quan trọng từ đưa số phương pháp giải tốn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương Kiến thức tập lồi hàm lồi Trong chương nghiên cứu số kiến thức tập lồi hàm lồi Trong khái niệm kết lấy từ tài liệu [1], [3], [4] 1.1 Tập lồi Cho hai điểm a, b ∈ Rn Tập tất điểm x = (1 − λ)a + λb với λ gọi đoạn thẳng (đóng) nối a b, ký hiệu [a, b] Định nghĩa 1.1 Một tập C ⊆ Rn gọi tập lồi chứa trọn đoạn thẳng nối hai điểm thuộc Tức là, (1−λ)a+λb ∈ C với a, b ∈ C λ Định nghĩa 1.2 Điểm x ∈ Rn có dạng k k λi x = λ1 a + λ2 a + + λk a = i=1 với k i n a ∈ R , λi 0, λi = i=1 gọi tổ hợp lồi điểm a1 , a2 , , ak Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Ta dễ thấy tập C lồi chứa tổ hợp lồi phần tử thuộc Thứ nguyên (hay số chiều) tập lồi C, ký hiệu dim C , thứ nguyên hay số chiều bao afin Một tập lồi C Rn gọi có thứ nguyên đầy dim C = n Định nghĩa 1.3 Điểm x ∈ Rn có dạng x = λ1 a1 + λ2 a2 + + λk ak k i n a ∈R , λi = i=1 gọi tổ hợp afin điểm a , a2 , , ak M tập afin M chứa tổ hợp afin phần tử thuộc Giao họ tập afin tập afin Cho E tập Rn , có tập afin chứa E, cụ thể Rn Mệnh đề 1.1 Tập hợp C lồi chứa tổ hợp lồi điểm Tức là: C lồi ∀k ∈ N, ∀λ1 , , λk > : k k k λj = 1, ∀x , , x ∈ C ⇒ j=1 λj xj ∈ C j=1 Chứng minh Điều kiện đủ hiển nhiên từ định nghĩa Ta chứng minh điều kiện cần quy nạp theo số điểm Với k = 2, điều cần chứng minh suy từ định nghĩa tập lồi tổ hợp lồi Giả sử mệnh đề với k - điểm Ta cần chứng minh với k điểm Giả sử x tổ hợp lồi k điểm x1 , , xk ∈ C Tức k λj xj , λj > ∀j = 1, , k, x= j=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 37 Khi ε → thay vào (3.7), có λ∗i ξ có λ∗i Nhưng ξ < 0, ta Do λ∗i = Bây chứng minh điều kiện đủ Ta có λ∗0 > Thật vậy, λ∗i = điều kiện đạo hàm triệt tiêu, ta có m k λ∗i gi (x∗ ) 0= m + i=1 k µ∗j hj (x∗ ) λ∗i gi (x) j=1 µ∗j hj (x) ∀x ∈ X + i=1 j=1 Tuy nhiên, λ∗0 = phải tồn λ∗i > với i Hoặc λ∗i = với i, tồn µ∗j > với j Đối với trường hợp đầu tiên, thay x0 vào bất đẳng thức có m k λ∗i gi (x∗ ) 0= m µ∗j hj (x∗ ) + i=1 k λ∗i gi (x0 ) j=1 i=1 µ∗j hj (x0 ) < + j=1 Mâu thuẫn Đối với trường hợp sau, có k k µ∗j hj (x∗ ) 0= µ∗j hj (x) ∀x ∈ X j=0 j=0 k ∗ j=0 µj hj (x) = ∀x ∈ X Ta thấy hj độc lập tuyến tính X, suy µ∗j = với j, mâu thuẫn với thực tế λ∗i µ∗j khác Do λ∗i > Từ λ∗i > 0, cách chia cho λ∗i > 0, ta giả sử hàm Lagrange có dạng Vì int X = ∅ hj afin với j, m k L(x, λ, µ) = f (x) + µj hj (x) ∀x ∈ X λi gj (x) + i=1 j=1 Sử dụng điều kiện đạo hàm triệt tiêu điều kiện bù với phép gán x chấp nhận được, ta có m ∗ ∗ k λ∗i gi (x∗ ) f (x ) = f0 (x ) + i=1 j=1 m k λ∗i gi (x) f (x) + µ∗j hj (x∗ ) + i=1 µ∗j hj (x) < f (x) + j=1 ∗ Vậy x lời giải tối ưu địa phương (P) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 38 Chú ý 3.2 Nếu X mở (ví dụ X tồn khơng gian), theo Định lý Moreau-Rockafellar ta có m k ∗ λ∗i ∂gj (x∗ ) ∈ ∂f (x ) + µ∗i ∇hi (x∗ ) + j=1 i=1 Nếu f gj khả vi, ta có m 0= λ∗0 ∇f0 (x∗ ) k λ∗j ∇gj (x∗ ) + µ∗i ∇hi (x∗ ) + j=1 i=1 Định nghĩa 3.2 (hướng chấp nhận) vector d = gọi hướng chấp nhận C x∗ ∈ C x∗ + λd ∈ C ∀λ > đủ nhỏ Kí hiệu C(x∗ ) tập hướng chấp nhận C x∗ C(x∗ ) bao đóng C(x∗ ) Định lý 3.5 Giả sử f khả vi tập mở chứa C x∗ điểm cực tiểu địa phương f C Khi dT ∇f (x∗ ) ∀d ∈ C(x∗ ) (3.8) Chứng minh Theo Định lý Taylor ta có: f (x∗ + λd) = f (x∗ ) + λ ∇f (x∗ ), d + o(λ d ) Do x∗ điểm cực tiểu địa phương, nên ta có f (x∗ + λd) − f (x∗ ) ∀λ > đủ nhỏ Từ (3.9) ta có dT ∇f (x∗ ) + o(l||d||) λ ∀λ > đủ nhỏ Do dT ∇f (x∗ ) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên ∀d ∈ C(x∗ ) http://www.lrc-tnu.edu.vn (3.9) 39 Điểm x∗ ∈ C thỏa mãn (3.8) gọi điểm dừng f C Lưu ý điểm dừng khơng phải điểm cực tiểu địa phương (Ví dụ f (x) = x3 với C = [-1, 2].) Bây xét toán (P) f (x) Với ràng buộc x ∈ C := {x ∈ X, gj (x) 0, hi (x) = 0, j = 1, , m ; i = 1, ,k} Cho x0 ∈ C A(x0 ) := j : gj (x0 ) = (tập số tích cực) Cho S(x0 ) tập nghiệm hệ tuyến tính sau hi (x0 ), d = , i = 1, , k gj (x0 ), d = , j ∈ A(x0 ) Dễ dàng thấy C(x0 ) ⊆ S(x0 ) Ta nói x0 thỏa mãn điều kiện quy S(x0 ) = C(x0 ) 3.1.4 Định lý (Kuhn-Tucker) Định lý 3.6 Cho f, gj , hi hàm số vi phân liên tục, với x∗ nghiệm tối ưu địa phương (P) đáp ứng điều kiện quy Khi tồn nhân tử Lagrange λ∗ = (λ∗1 , , λ∗m ) 0, µ∗ = (µ∗1 , , µ∗k ) (không đồng thời 0) (4.0) Thỏa mãn m ∗ k λ∗j ∇gj (x∗ ) µ∗i ∇hi (x∗ ) = (4.1) λ∗j g(x∗ ) = ∀j = 1, , m (điều kiện bù) (4.2) f (x ) + j=1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên + i=1 http://www.lrc-tnu.edu.vn 40 Nếu (f ) gi lồi hi afin với i (P) quy hoạch lồi, x∗ thỏa mãn (4.0), (4.1), (4.2) nghiệm tối ưu (P) Chứng minh Theo Định lý Taylor mở rộng f (x∗ + λd) = f (x∗ ) + ∇f (x∗ ), λd + r(λd) ta có ∇f (x∗ ), d ∇f (x∗ ), d với d ∈ C(x∗ ) Do C(x∗ ) = S(x∗ ), nên ta có với d ∈ S(x∗ ) Áp dụng Bổ đề Farkas với ma trận A có −∇gj (x∗ ), j ∈ A(x∗ ), ∇hi (x∗ ), − ∇hi (x∗ ), i = 1, , k Chúng ta có λ∗j 0, j ∈ A(x∗ ) αi∗ 0, βi∗ ∗ λ∗j ∇gj (x∗ ) 0, i = 1, , k k ∇f (x ) + (αi∗ − βi∗ )∇hi (x∗ ) = + i=1 j∈A(x∗ ) Từ λ∗j = với j ∈ / A(x∗ ) µ∗i = αi∗ − βi∗ với i có (4.1) (4.2) Giả sử (f ) gi lồi hj afin với i Chúng ta có (4.0), (4.1) (4.2) điều kiện đủ để x∗ ∈ C nghiệm tối ưu (P) Thật vậy, x∗ không nghiệm tối ưu, tồn x ∈ C cho f (x) < f (x∗ ) Đặt d = x − x∗ = Khi f (x∗ + td) − f (x∗ ) < ∇f (x ), d = lim t→0 t ∗ Mặt khác λ∗j gj (x∗ ) = với j, nên có λ∗j = với j ∈ / A(x∗ ) Đồng thời, x ∈ C nên ta có ∇gj (x∗ ), x − x∗ gj (x) − gj (x∗ ) ∀j ∈ A(x∗ ) Do λ∗j ∇gj (x∗ ), d ∀j Hàm số hi với i afin nên có ∇hi (x∗ ), d = Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 41 Do đó, với µi ta có µ∗i ∇hi (x∗ ), d = ∀i Kết hợp tất có m ∗ k λ∗j ∇f (x ), d + ∗ u∗i ∇hi (x∗ ), d < ∇gj (x ), d + j=1 i=1 Mâu thuẫn với (4.1) Chú ý 3.3 Ta xác định hàm Lagrangian m k L(x, λ, µ) := f (x) + λj gj (x) + j=1 µi hi (x) i=1 Khi điều kiện (4.1) viết m ∗ ∗ ∗ ∗ ∇x L(x , λ , µ ) ≡ ∇f (x ) + j=1 3.2 k λ∗j ∇gj (x∗ ) µ∗i ∇hi (x∗ ) = + i=1 Phương pháp hàm phạt giải quy hoạch lồi có ràng buộc Nói chung tốn tối ưu không ràng buộc thường dễ sử lý tốn có ràng buộc Ví dụ phương pháp hướng cho tốn khơng có ràng buộc, ta cần tìm hướng tụt mà khơng cần quan tâm đến tính chấp nhận được, trường hợp này, hướng hướng chấp nhận Một ý tưởng nảy sinh chuyển tốn có ràng buộc tốn khơng ràng buộc Kỹ thuật để thực ý tưởng hàm phạt Dùng lượng phạt “đủ lớn” lời giải toán phụ khỏi miền chấp nhận toán cần giải Hai vấn đề phải giải xây dựng hàm phạt tốn phụ cho xấp xỉ lời giải toán ban đầu từ lời giải tốn phụ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 42 Có hai loại hàm phạt hàm phạt điểm hàm phạt điểm Như trên, ta xét toán f (x) (5.1) với buộc gj (x) 0, j = 1, , m, gj (j = 1, , m) hàm liên tục Rn Gọi D miền chấp nhận toán này, giả sử D tập compact 3.2.1 Phương pháp hàm phạt điểm Hàm phạt điểm thường dùng biết trước điểm x0 ∈ int D Người ta xây dựng hàm phạt cho hữu hạn miền int D, biên D +∞ (bị “phạt nặng”) Cụ thể, ta giả thiết hàm p thỏa mãn tính chất sau: (a) p liên tục tập D0 := {x ∈ Rn : gj (x) < 0, ∀j = 1, ., m} (b) Với dãy xk ⊂ D0 hội tụ đến điểm x ∈ / D0 ta có limk p(xk ) = +∞ Hai hàm phạt điểm sử dụng nhiều, Fiacco McCormick đưa m p(x) = − log(−gj (x)) j=1 m p(x) = − j=1 gj (x) Rõ ràng x ∈ D gj (x) → với j p(x) → +∞ Cho s(t) hàm số biến, có miền xác định miền giá trị số dương, ngồi cịn thỏa mãn tính chất Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 43 (i) s liên tục s (t) → t → +∞ (ii) s (t) > s (t’) với t > t > (đơn điệu giảm) Ví dụ s (t) = 1/t s (t) = 1/t2 Xây dựng hàm phạt cách đặt F (x, t) := f (x) + s(t)p(x) (5.2) Với t >0, xét tốn phụ khơng điều kiện: { F (x, t) : x ∈ Rn } ≡ { F (x, t) : x ∈ D0 } x (Bt ) Mệnh đề 3.1 Giả sử điều kiện (a), (b), (i), (ii) thỏa mãn, tốn (Bt ) có nghiệm với t > Khi < t1 < t2 xi nghiệm (Bt ) ( i=1.2) (1) p(x1 ) p(x2 ) (2) f (x1 ) f (x2 ) Chứng minh Gọi lời giải (Bti ) xi Để đơn giản ký hiệu, đặt s(ti ) = si , p(xi ) = pi , f (xi ) = fi (i = 1, 2) Khi f1 + s1 p1 f + s p2 (5.3) f2 + s2 p2 f + s p1 (5.4) Cộng hai bất đẳng thức ước lược, ta có s1 p1 + s2 p2 s p2 + s p Chuyển vế nhóm lại, ta (s1 − s2 )(p1 − p2 ) Do t1 < t2 nên s1 > s2 , p1 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên p2 Từ (5.4) ta suy f1 http://www.lrc-tnu.edu.vn f2 44 Định lý 3.7 Nếu dãy {tk } đơn điệu tăng dần đến +∞ xk nghiệm (Btk ) dãy số f (xk ) hội tụ giảm đến f∗ (trị tối ưu) Ngoài điểm tụ dãy xk nghiệm (5.1) Chứng minh Theo mệnh đề (5.1) dãy f (xk ) đơn điệu giảm Do dãy hội tụ Trước hết giả sử tốn có lời giải x∗ ∈ D0 Do xk nghiệm toán (Btk ) nên f (xk ) + s(tk )p(xk ) f (x∗ ) + s(tk )p(x∗ ) (5.5) Do D compact, ta giả sử rằng, cần qua dãy con, dãy xk hội tụ đến u∗ Nếu u∗ ∈ D0 qua giới hạn, ý s(tk ) → p(x∗ ), p(u∗ ) hữu hạn ta có f (u∗ ) f (x∗ ) Vậy u∗ nghiệm Do tính đơn điệu suy tồn dãy f (xk ) hội tụ đến trị tối ưu f∗ Nếu u∗ ∈ / D0 theo (b) tồn số K1 cho s(tk )p(xk ) với k k K1 Khi theo (5.5) có f (xk ) f (x∗ ) + s(tk )p(x∗ ) với K1 Qua giới hạn có lim f (xk ) k Thế xk ∈ D nên f (xk ) f (x∗ ) f (x∗ ) Vậy limk f (xk ) = f (x∗ ) Bây xét trường hợp tốn khơng có nghiệm thuộc D0 Gọi β = limk f (xk ) Giới hạn tồn dãy đơn điệu Ta có f∗ β, f (xk ) f∗ với k Nếu f∗ < β tính liên tục f D, tồn u ∈ D0 cho f∗ < f (u) < β Từ bất đẳng thức f (xk ) + s(tk )p(xk ) f (u) + s(tk )p(u) Lập luận trên, suy tồn số K1 cho f (xk ) với k K1 Mâu thuẫn với việc f (xk ) β > f (u) với k Vậy β = f (x∗ ) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên f (u) http://www.lrc-tnu.edu.vn 45 Theo định lý này, để giải tốn có buộc (5.1), ta chọn dãy số dương {tk } tăng dần đến +∞ giải dãy toán không điều kiện (Btk ) Chú ý 3.4 Loại hàm phạt điểm Fiacco McCormick đưa từ năm 1960, gần người ta nhận thấy phương pháp Karmarkar cho qui hoạch tuyến tính thực chất phương pháp điểm Nhận xét đưa đến việc sử dụng loại hàm phạt điểm để xây dựng thuật toán đa thức giải quy hoạch lồi 3.2.2 Phương pháp hàm phạt điểm Trong phương pháp hàm phạt p xây dựng cho liên tục khắp nơi p(x) = x ∈ D p(x) > x ∈ / D (5.6) Nói cách khác phương án không chấp nhận được, phải chịu lượng phạt p(x), trái lại không bị phạt Với D = { x : gj (x) 0, j = 1, ., m} , hàm sau thỏa mãn (5.6) m p(x) := max(0, gj (x)) (5.7) max(0, gj (x))2 (5.7 ) j=1 m p(x) := j=1 Tham số phạt cho hàm số biến r Cũng phương pháp điểm trong, r hàm số dương, liên tục với t > Nhưng đây, r đơn điệu tăng; tức r (t) > r (t) với t > t > r(t) → +∞ t → +∞ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 46 Với t > xét tốn khơng buộc sau {F (x, t) := f (x) + r(t)p(x) : x ∈ Rn } (Pt ) Mệnh đề 3.2 Giả sử tốn (Pt ) có nghiệm với t > Khi xi nghiệm (Pt ) (i=1,2) < t1 < t2 (1) p(x1 ) p(x2 ) (2) f (x1 ) f (x2 ) Chứng minh (tương tự mệnh đề 3.1) Định lý 3.8 Với giả thiết nêu trên, dãy {tk } đơn điệu tăng dần đến +∞ xk nghiệm (Ptk ) dãy số f (xk ) hội tụ tăng dần đến f∗ Ngoài điểm tụ dãy xk nghiệm (5.1) Chứng minh Gọi x∗ nghiệm tốn ban đầu Theo tính chất p(x) = x ∈ D, nên với k ta có f (xk ) + r(tk )p(xk ) f (x∗ ) + r(tk )p(x∗ ) f∗ (5.8) Giả sử u∗ điểm tụ dãy xk u∗ ∈ / D Do p(u∗ ) > r(tk ) → +∞ nên f (u∗ ) + r(tk )p(u∗ ) > f∗ k đủ lớn Từ qua giới hạn (5.8), suy điểm tụ dãy xk phải thuộc D Chú ý rằng, (5.6) có f (xk ) f∗ Bằng cách qua dãy cần, ta giả sử limk xk = u∗ Do tính liên tục, từ f (xk ) f (u∗ ) f∗ , qua giới hạn có f∗ Nhưng u∗ ∈ D Vậy f (u∗ ) = f∗ Theo mệnh đề trên, dãy số f (xk ) đơn điệu tăng, tồn dãy f (xk ) hội tụ tăng dần đến f∗ Chú ý 3.5 Một điều kiện để tốn khơng buộc (Pt ) có nghiệm với t > tập {x : f (x) + r(t)p(x) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên C} http://www.lrc-tnu.edu.vn 47 compact với số C Nếu gj hàm lồi, hàm số cho (5.7) (5.7’)cũng lồi Phương pháp hàm phạt áp dụng để đưa việc giải tốn có điều kiện việc giải tốn khơng điều kiện, mà cịn dùng để loại bỏ buộc khó xử lý Ngồi phương pháp hàm phạt điểm ngoài, hàm phạt kết hợp điểm ngồi hàm phạt thích nghi (thưởng- phạt) xét đến 3.3 Phương pháp Frank – Wolfe Trong mục này, giới thiệu phương pháp giải toán quy hoạch có ràng buộc Với phương pháp ta thấy khác giải tốn có ràng buộc khơng ràng buộc Xét tốn qui hoạch buộc tuyến tính sau minf (x) (5.9) với buộc x ∈ D := {Ax b.x 0} Trong f hàm khả vi liên tục D, A ma trận (m × n) b ∈ Rm cho D bị chặn Ta xây dựng thuật tốn hướng sau: Dùng quy hoạch tuyến tính (nếu cần) tìm điểm xuất phát x0 ∈ D Khi có xk ∈ D, tính ∇f (xk ) 2a) Nếu ∇f (xk ) = 0: dừng 2b) Trái lại phải qui hoạch tuyến tính ∇f (xk ).x − xk : x ∈ D Số hóa Trung tâm Học liệu – Đại học Thái Nguyên (L(xk )) http://www.lrc-tnu.edu.vn 48 thu lời giải uk đỉnh D Hai khả xảy (i) ∇f (xk ), uk − xk Khi dừng thuật tốn Nếu (ii) ∇f (xk ), uk − xk < 0, ta lấy dk := uk − xk = hướng tụt Theo hướng này, chọn xk+1 ∈ D cho f (xk+1 ) nhỏ số điểm chấp nhận nằm hướng dk Như ta phải giải toán biến f (xk + tdk ), t Gọi nghiệm toán tk > Lấy xk+1 = xk + tk dk Như f (xk+1 ) < f (xk ) Quay lại bước với xk thay xk+1 Thuật toán hội tụ theo định lý sau: Định lý 3.9 Với giả thiết nêu ta có (a) f (xk+1 ) < f (xk )∀k (b) Nếu thuật toán kết thúc điểm xk , xk điểm dừng f D Nếu thuật tốn vơ hạn điểm tụ dãy xk điểm dừng (c) Nếu f lồi, điểm dừng lời giải (5.9) Ngoài dãy số f (xk ) hội tụ đến trị tối ưu f∗ f (xk ) − f∗ ∇f (xk ).xk − uk ∀k Chứng minh a) Hiển nhiên, theo cách xây dựng, dk hướng tụt b) Giả sử thuật toán kết thúc bước k Nghĩa ∇f (xk ).uk − xk Do uk nghiệm toán (L(xk )) nên với x ∈ D có ∇f (xk ).x − xk ∇f (xk ).uk − xk Vậy xk điểm dừng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 Giả sử thuật tốn vơ hạn Gọi x∗ điểm tụ dãy xk Do D compact, tồn dãy xkj hội tụ đến x∗ Gọi ukj nghiệm quy hoạch tuyến tính (L(xkj )) Do tập đỉnh D hữu hạn nên ta coi ukj = u∗ với j Theo tính đơn điệu giảm dãy f (xk ) cách xác định xk+1 , u∗ , với < t < ta có f (xkj+1 ) f (xkj+1 ) f (xkj + t(u∗ − xkj )) Cho j → +∞, f liên tục nên f (x∗ ) f (x∗ + t(u∗ − x∗ )) Vì điều với < t < nên f (x∗ + t(u∗ − x∗ )) − f (x∗ ) = ∇f (x∗ ), u∗ − x∗ lim t→0 t Mặt khác u∗ nghiệm toán (L(xkj )), nên ∇f (xkj ), u∗ − xkj ∇f (xkj ), x − xkj ∀x ∈ D Qua giới hạn, ∇f (x∗ ), u∗ − x∗ ∇f (x∗ ), x − x∗ Vậy ∇f (x∗ ), x − x∗ ∀x ∈ D Suy x∗ điểm dừng Nếu f hàm lồi, ∇f (x∗ ), x − x∗ Do f (x∗ ) f (x) − f (x∗ ) ∀x ∈ D f (x) với ∀x ∈ D Chứng tỏ x∗ điểm cực tiểu f D Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 Kết luận Như trình bày trên, luận văn cao học nhằm mục đích chủ yếu giới thiệu phương pháp để giải quy hoạch lồi khơng ràng buộc Đó phương pháp hướng giảm, sử dụng đạo hàm cấp đạo hàm cấp hai hàm lồi khả vi Tuy nhiên luận văn trình bày thêm phương pháp hàm phạt, cho phép chuyển việc giải toán quy hoạch lồi có ràng buộc việc giải tốn quy hoạch lồi khơng ràng buộc Nội dung trình bày luận văn bao gồm: + Nhắc lại số khái niệm tính chất giải tích lồi như: Tập lồi, hàm lồi, vi phân, số ví dụ + Phát biểu toán quy hoạch lồi Đưa số khái niệm, định lý quan trọng ví dụ Trình bày số phương pháp giải toán như: Phương pháp hướng giảm, phương pháp Newton + Phát biểu tốn quy hoạch lồi có ràng buộc, điều kiện tối ưu Một số khái niệm, định lý quan trọng như: Định lý Karush-Kuhn-Tucker, Định lý Kuhn-Tucker Trình bày số phương pháp giải toán như: Phương pháp hàm phạt, phương pháp Frank - Wolfe Trong phương pháp Frank-Wolf thuật toán giải trực tiếp quy hoạch lồi có ràng buộc tuyến tính Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 Tài liệu tham khảo Tài liệu tiếng Anh [1] Stephen Boyd and Lieven Vandenberghe (2004), Convex Optimization, Cambridge University Press Tài liệu tiếng Việt [2] Đỗ Văn Lưu - Phan Huy Khải, (2000), Giải tích lồi, NXB KHKT Hà Nội [3] Lê Dũng Mưu - Nguyễn Văn Hiền, (2009), Nhập mơn Giải tích lồi ứng dụng, NXB KHTN-CN Hà nội [4] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy, (2010), Nhập mơn Tối ưu phi tuyến, NXB ĐHTN Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... Các phương pháp giải quy hoạch lồi không ràng buộc Trong chương nghiên cứu số phương pháp giải tốn quy hoạch lồi khơng ràng buộc Trước tiên tìm hiểu tốn quy hoạch lồi khơng ràng buộc tính chất bản, ... việc giải toán quy hoạch lồi có ràng buộc việc giải tốn quy hoạch lồi khơng ràng buộc Để thấy rõ thêm vai trò phương pháp giải quy hoạch lồi khơng ràng buộc, luận văn có trình bày thuật toán giải. .. Hàm lồi mạnh 17 Các phương pháp giải quy hoạch lồi khơng ràng buộc 20 2.1 Bài tốn quy hoạch lồi tính chất 20 2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi