Một số phương pháp cơ bản giải quy hoạch lồi

Một số phương pháp cơ bản giải quy hoạch lồi

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ANH TUẤN MỘT SỐ PHƯƠNG PHÁP CƠ BẢN GIẢI QUY HOẠCH LỒI LUẬN VĂN THẠC SĨ TOÁN HỌC Thái Nguyên - Năm 2011 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ANH TUẤN MỘT SỐ PHƯƠNG PHÁP CƠ BẢN GIẢI QUY HOẠCH LỒI Chuyên ngành: TOÁN ỨNG DỤNG Mã số : 60.46.36 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH. LÊ DŨNG MƯU Thái Nguyên - Năm 2011 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i Mục lục Trang phụ bìa Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii Lời cảm ơn 1 Mở đầu 1 1 Kiến thức cơ bản về tập lồi và hàm lồi 3 1.1 Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2.1 Hàm lồi và hàm lõm . . . . . . . . . . . . . . . . . . 7 1.2.2 Hàm lồi liên tục . . . . . . . . . . . . . . . . . . . . 11 1.2.3 Dưới vi phân . . . . . . . . . . . . . . . . . . . . . . 13 1.2.4 Hàm lồi mạnh . . . . . . . . . . . . . . . . . . . . . 17 2 Các phương pháp giải quy hoạch lồi không ràng buộc 20 2.1 Bài toán quy hoạch lồi và các tính chất cơ bản . . . . . . . 20 2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi. . 25 2.3 Phương pháp Newton. . . . . . . . . . . . . . . . . . . . . . 28 3 Phương pháp giải quy hoạch lồi có ràng buộc 31 3.1 Bài toán quy hoạch lồi có ràng buộc và điều kiện tối ưu . . 31 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 3.1.1 Bài toán quy hoạch lồi có ràng buộc . . . . . . . . . 31 3.1.2 Điều kiện tối ưu . . . . . . . . . . . . . . . . . . . . 33 3.1.3 Định lý (Karush-Kuhn-Tucker) . . . . . . . . . . . . 35 3.1.4 Định lý (Kuhn-Tucker) . . . . . . . . . . . . . . . . 39 3.2 Phương pháp hàm phạt giải quy hoạch lồi có ràng buộc. . . 41 3.2.1 Phương pháp hàm phạt điểm trong . . . . . . . . . 42 3.2.2 Phương pháp hàm phạt điểm ngoài. . . . . . . . . . 45 3.3 Phương pháp Frank – Wolfe . . . . . . . . . . . . . . . . . 47 Kết luận 49 Tài liệu tham khảo 51 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 Lời cảm ơn Nghiên cứu khoa học là một chặng đường đầy khó khăn và thử thách. Sau hơn một năm làm luận văn, tôi đã trải nghiệm được rất nhiều điều, rút ra được những bài học bổ ích cho cuộc sống. Công trình được hoàn thành bên cạnh sự cố gắng của cá nhân là sự giúp đỡ tận tình của các thầy cô giáo, của đồng nghiệp, của bạn bè và những người thân. Trước tiên, tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới GS.TSKH Lê Dũng Mưu – người thầy đã trực tiếp hướng dẫn, động viên và giúp đỡ tôi trong quá trình học tập và nghiên cứu để hoàn thành luận văn này. Kính chúc thầy và gia đình luôn mạnh khỏe, hạnh phúc ! Tôi xin gửi lời cảm ơn tới các thầy cô giáo thuộc bộ môn Toán - Tin, phòng Đào tạo và quan hệ Quốc tế, các cán bộ khoa Sau đại học trường Đại học Khoa học – Đại học Thái Nguyên đã dạy dỗ, chỉ bảo tôi trong suốt hai năm học vừa qua. Tôi xin cảm ơn các bạn học viên Cao học Toán khóa 3 đã động viên, giúp đỡ tôi trong quá trình học tập và rèn luyện tại trường, cũng như trong quá trình nghiên cứu để hoàn thành luận văn. Tôi xin được bày tỏ sự cảm ơn chân thành của mình tới bạn bè đồng nghiệp, tới những người thân trong gia đình đã động viên, giúp đỡ tôi về mọi mặt để tôi có thể hoàn thành khóa học và thực hiện luận văn này. Mặc dù đã có nhiều cố gắng nhưng luận văn khó tránh khỏi những Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 thiếu xót và hạn chế. Tác giả mong nhận được những ý kiến đóng góp của các thầy cô và bạn đọc để luận văn được hoàn thiện hơn. Xin trân trọng cảm ơn ! Thái Nguyên, 15 tháng 09 năm 2011. Người thực hiện Nguyễn Anh Tuấn Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 Mở đầu Quy hoạch toán học là một bộ môn quan trọng của toán học ứng dụng. Lớp bài toán quan trọng của quy hoạch toán học là quy hoạch tuyến tính. Tuy nhiên tính chất tuyến tính nhiều khi không thỏa mãn trong những trường hợp thực tế. Một tính chất khá gần với tính chất tuyến tính là tính lồi. Trong đó quy hoạch lồi là lớp bài toán tối ưu có cấu trúc lồi. Một tính chất cơ bản nhất của bài toán quy hoạch lồi là cực tiểu địa phương cũng là cực tiểu toàn cục. Điều này cho phép các công cụ địa phương như giới hạn, đạo hàm được sử dụng rất hiệu quả cho quy hoạch lồi. Chính vì đó mà tuy mới hình thành và phát triển chưa lâu, nhưng quy hoạch lồi đã có nhiều kết quả quan trọng cả về lý thuyết và phương pháp giải. Bản luận văn cao học này nhằm mục đích chủ yếu giới thiệu các phương pháp cơ bản nhất để giải quy hoạch lồi không ràng buộc. Đó là các phương pháp hướng giảm, sử dụng đạo hàm cấp một và đạo hàm cấp hai của hàm lồi khả vi. Tuy nhiên luận văn cũng trình bày thêm các phương pháp hàm phạt, cho phép chuyển việc giải bài toán quy hoạch lồi có ràng buộc về việc giải các bài toán quy hoạch lồi không ràng buộc. Để thấy rõ thêm vai trò của các phương pháp giải quy hoạch lồi không ràng buộc, trong luận văn cũng có trình bày một thuật toán cơ bản giải trực tiếp quy hoạch lồi có ràng buộc tuyến tính, đó là phương pháp Frank-Wolf. Bản luận văn gồm có 3 chương. Chương 1 nhằm mục đích giới thiệu các kiến thức cơ bản về hàm lồi, tập lồi, sẽ được sử dụng trong các chương sau. Chương 2 giới thiệu về bài toán quy hoạch lồi, một số khái niệm, định Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 lý quan trọng và một số phương pháp giải bài toán. Chương 3 giới thiệu bài toán quy hoạch lồi có ràng buộc và một số định lý, tính chất quan trọng từ đó đưa ra một số phương pháp giải bài toán. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 Chương 1 Kiến thức cơ bản về tập lồi và hàm lồi Trong chương này chúng ta nghiên cứu một số kiến thức cơ bản về tập lồi và hàm lồi. Trong đó các khái niệm và kết quả được lấy từ các tài liệu [1], [3], [4]. 1.1 Tập lồi Cho hai điểm a, b ∈ R n . Tập tất cả các điểm x = (1 − λ)a + λb với 0  λ  1 gọi là đoạn thẳng (đóng) nối a và b, và được ký hiệu là [a, b]. Định nghĩa 1.1. Một tập C ⊆ R n được gọi là một tập lồi nếu nó chứa trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó. Tức là, nếu (1−λ)a+λb ∈ C với mọi a, b ∈ C và mọi 0  λ  1. Định nghĩa 1.2. Điểm x ∈ R n có dạng x = λ 1 a 1 + λ 2 a 2 + + λ k a k = k  i=1 λ i a i với a i ∈ R n , λ i  0, k  i=1 λ i = 1 được gọi là một tổ hợp lồi của các điểm a 1 , a 2 , , a k . Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 Ta dễ thấy rằng tập C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các phần tử thuộc nó. Thứ nguyên (hay số chiều) của một tập lồi C, ký hiệu dim C, là thứ nguyên hay số chiều của bao afin của nó. Một tập lồi C trong R n gọi là có thứ nguyên đầy nếu dim C = n. Định nghĩa 1.3. Điểm x ∈ R n có dạng x = λ 1 a 1 + λ 2 a 2 + + λ k a k và a i ∈ R n , k  i=1 λ i = 1 được gọi là tổ hợp afin của các điểm a 1 , a 2 , , a k . M là một tập afin khi và chỉ khi M chứa mọi tổ hợp afin các phần tử thuộc nó. Giao của một họ bất kỳ các tập afin cũng là một tập afin. Cho E là một tập bất kỳ trong R n , có ít nhất một tập afin chứa E, cụ thể là R n . Mệnh đề 1.1. Tập hợp C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các điểm của nó. Tức là: C lồi khi và chỉ khi ∀k ∈ N, ∀λ 1 , , λ k > 0 : k  j=1 λ j = 1, ∀x 1 , , x k ∈ C ⇒ k  j=1 λ j x j ∈ C. Chứng minh. Điều kiện đủ là hiển nhiên từ định nghĩa. Ta chứng minh điều kiện cần bằng quy nạp theo số điểm. Với k = 2, điều cần chứng minh suy ra ngay từ định nghĩa của tập lồi và tổ hợp lồi. Giả sử mệnh đề đúng với k - 1 điểm. Ta cần chứng minh với k điểm. Giả sử x là tổ hợp lồi của k điểm x 1 , , x k ∈ C. Tức là x = k  j=1 λ j x j , λ j > 0 ∀j = 1, , k, Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... nghiên cứu một số phương pháp giải bài toán quy hoạch lồi không ràng buộc Trước tiên chúng ta tìm hiểu bài toán quy hoạch lồi không ràng buộc và các tính chất cơ bản, tiếp đó là một số phương pháp giải bài toán quy hoạch lồi không ràng buộc Trong đó các khái niệm và kết quả được lấy từ các tài liệu [1], [3], [4] 2.1 Bài toán quy hoạch lồi và các tính chất cơ bản Xét bài toán tối ưu không ràng buộc có... tập lồi đóng bị chặn C0 ⊂ C , nên tồn tại x∗ ∈ C0 sao cho f (x∗ ) = min {f (x) : x ∈ C0 } = min {f (x) : x ∈ C} Vì hàm lồi mạnh cũng là hàm lồi chặt, nên theo Định lí 1.5 điểm cực tiểu x∗ là duy nhất Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 20 Chương 2 Các phương pháp giải quy hoạch lồi không ràng buộc Trong chương này chúng ta nghiên cứu một số phương pháp giải. .. bất phương trình a, x b, −a, x b, nên tập nghiệm của một hệ hữu hạn các phương trình và bất phương trình cũng là một tập lồi đa diện 1.2 1.2.1 Hàm lồi Hàm lồi và hàm lõm Định nghĩa 1.7 Hàm f : S → (−∞, +∞] xác định trên một tập hợp lồi S ⊆ Rn được gọi là một hàm lồi trên S nếu với mọi x1 , x2 ∈ S và mọi số thực λ ∈ [0, 1] ta có f (1 − λ)x1 + λx2 (1 − λ)f (x1 ) + λf (x2 ) + Hàm f được gọi là hàm lồi. .. là tập lồi gọi là một hàm tựa lồi Ví dụ 1.3 f (x) = x3 hay f (x) = |x| trên R là hàm tựa lồi nhưng không lồi Định lý 1.4 Cho C là một tập lồi, khác rỗng trong Rn và f : Rn → R là một hàm lồi Mọi điểm cực tiểu địa phương của f trên C đều là điểm cực tiểu toàn cục Tập tất cả các điểm cực tiểu của f trên C : Argminx∈C f (x) là một tập con lồi của C Chứng minh Giả sử x0 ∈ C là một điểm cực tiểu địa phương. .. 18 Định nghĩa 1.11 Hàm f(x) xác định trên một tập lồi C ⊂ Rn được gọi là lồi mạnh, nếu tồn tại hệ số ρ > 0 (hệ số lồi mạnh) sao cho với mọi ∀x, y ∈ C và mọi số λ ∈ [0, 1] ta có bất đẳng thức: f [λx + (1 − λ)y] λf (x) + (1 − λ)f (y) − λ(1 − λ)ρ x − y 2 Có thể chứng minh rằng hàm f(x) lồi mạnh khi và chỉ khi hàm f (x) − ρ x 2 lồi Rõ ràng một hàm số lồi mạnh thì lồi chặt, nhưng điều ngược lại không chắc... Hai tập lồi đóng C và D trong Rn khác rỗng, không cắt nhau với ít nhất một trong hai tập này là compact, có thể tách hẳn bởi một siêu phẳng, nghĩa là tồn tại một vectơ t ∈ Rn (t = 0) và một số α ∈ R sao cho (1.2) thỏa mãn Định nghĩa 1.6 Một tập được gọi là tập lồi đa diện, nếu nó là giao của một số hữu hạn các nửa không gian đóng Như vậy, theo định nghĩa, tập lồi đa diện là tập hợp nghiệm của một hệ... Bốn phép toán cơ bản bảo toàn hàm lồi (suy trực tiếp từ định nghĩa) a) Nếu fi : Rn → R (i = 1, , m) là hàm lồi thì α1 f1 + + αm fm lồi với mọi αi 0 và lồi chặt nếu ít nhất một trong các hàm fi lồi chặt với αi > 0 b) Nếu fi (i ∈ I): Rn → R là hàm lồi thì f (x) = supi∈I fi (x) là hàm lồi c) Nếu A : Rn → Rm là biến đổi tuyến tính và g : Rm → R là hàm lồi thì hàm hợp f (x) = g(Ax) là hàm lồi d) Nếu g :... (x0 , d) với mọi d = 0 Định lý 1.14 Cho f: là một hàm khả vi hai lần trên một tập lồi C Khi đó f lồi trên C khi và chỉ khi yT Tức là ma trận 1.2.4 2 2 f (x)y 0 ∀x ∈ C ∀y; f (x) xác định dương tại mọi x ∈ C Hàm lồi mạnh Sau đây ta xét một lớp hàm luôn có cực tiểu trên mọi tập lồi đóng khác ∅ Hơn nữa, giống như đối với hàm lồi chặt, cực tiểu này là duy nhất Số hóa bởi Trung tâm Học liệu – Đại học Thái... hàm lồi và h : R → R là hàm lồi không giảm thì hàm hợp f (x) = h(g(x)) là hàm lồi Ví dụ 1.2 Theo d), hàm f (x) = c1 eg1 (x) + + cm egm (x) (x ∈ Rn ) lồi nếu mọi ci > 0 và mọi hàm gi (x) lồi (chẳng hạn f (x1 , x2 ) = ex1 +x2 + 2ex1 −x2 là hàm lồi) Định lý 1.3 Giả sử f : Rn → (−∞, +∞] là một hàm lồi trên Rn và α ∈ (−∞, +∞] Khi đó, các tập mức dưới Cα = {x : f (x) < α} , C α = {x : f (x) α} là tập lồi. .. x : f (x) α} Tập này lồi do hàm f(x) lồi (Xem Định lý 1.3) Định lý 1.5 Một hàm lồi chặt f trên một tập lồi C có nhiều nhất một điểm cực tiểu trên C, nghĩa là tập Argminx∈C f (x)gồm nhiều nhất một phần tử Chứng minh Nếu f có hai điểm cực tiểu khác nhau x1 , x2 ∈ C thì 1 do tính lồi chặt của f nên f ( 2 x1 + 1 x2 ) < f (x1 ) = f (x2 ), điều này không 2 thể xảy ra Số hóa bởi Trung tâm Học liệu – Đại học . Các phương pháp giải quy hoạch lồi không ràng buộc 20 2.1 Bài toán quy hoạch lồi và các tính chất cơ bản . . . . . . . 20 2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi. . 25 2.3 Phương. trọng và một số phương pháp giải bài toán. Chương 3 giới thiệu bài toán quy hoạch lồi có ràng buộc và một số định lý, tính chất quan trọng từ đó đưa ra một số phương pháp giải bài toán. Số hóa. phương pháp hàm phạt, cho phép chuyển việc giải bài toán quy hoạch lồi có ràng buộc về việc giải các bài toán quy hoạch lồi không ràng buộc. Để thấy rõ thêm vai trò của các phương pháp giải quy