Phương pháp giải quy hoạch toàn phương

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC VŨ THỊ ĐÀO PHƯƠNG PHÁP GIẢI QUI HOẠCH TOÀN PHƯƠNG Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học GS.TS TRẦN VŨ THIỆU Thái Nguyên – 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên Tai ngay!!! Ban co the xoa dong chu nay!!! http://www.lrc-tnu.edu.vn Mục lục LỜI NÓI ĐẦU MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1 TẬP AFIN VÀ TẬP LỒI 1.1.1 Tập afin 1.1.2 Tập lồi HÀM TOÀN PHƯƠNG VÀ HÀM LỒI 1.2.1 Ma trận xác định dương 1.2.2 Hàm toàn phương hàm lồi 1.3 BÀI TOÁN QUI HOẠCH TOÀN PHƯƠNG LỒI 13 1.4 BÀI TOÁN TỐI ƯU PHI TUYẾN 15 1.5 PHÂN TÍCH CHOLESKY VÀ PHÂN TÍCH QR 16 1.5.1 Phân tích Cholesky 17 1.5.2 Phân tích QR 17 1.2 BÀI TỐN QUI HOẠCH TỒN PHƯƠNG 19 2.1 ĐIỀU KIỆN TỐI ƯU 19 2.2 BÀI TOÁN ĐỐI NGẪU 25 2.3 QUAN HỆ ĐỐI NGẪU 28 PHƯƠNG PHÁP KHỬ BIẾN SỐ 32 3.1 NỘI DUNG PHƯƠNG PHÁP 32 3.2 VÍ DỤ MINH HỌA 34 1Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.3 PHƯƠNG PHÁP KHỬ SUY RỘNG 39 3.4 PHƯƠNG PHÁP NHÂN TỬ LAGRANGE 44 PHƯƠNG PHÁP TẬP TÍCH CỰC 47 4.1 BÀI TỐN VÀ Ý TƯỞNG THUẬT TOÁN 47 4.2 PHƯƠNG PHÁP TẬP TÍCH CỰC 49 4.2.1 Hàm mục tiêu lồi 4.2.2 Các bước thuật toán 50 4.2.3 Thuật tốn tập tích cực 52 4.2.4 Ví dụ minh họa 53 49 4.3 SỰ HỘI TỤ CỦA THUẬT TOÁN 56 4.4 HÀM MỤC TIÊU KHÔNG LỒI 59 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 2Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI NĨI ĐẦU Qui hoạch tồn phương tốn qui hoạch phi tuyến đơn giản Đó tốn tìm cực tiểu hàm bậc hai với ràng buộc tuyến tính Nếu dạng tồn phương xác định dương hay nửa xác định dương ta có tốn qui hoạch tồn phương lồi, cịn dạng tồn phương khơng xác định ta có tốn qui hoạch tồn phương khơng lồi Các tốn quan trọng quan tâm nghiên cứu nhiều vấn đề nảy sinh kinh tế, tài chính, cơng nghiệp kỹ thuật diễn đạt tốn qui hoạch tồn phương Luận văn trình bày nội dung tốn qui hoạch tồn phương, nêu điều kiện tối ưu (cần đủ), lý thuyết đối ngẫu qui hoạch toàn phương lồi đề cập tới hai phương pháp giải thông dụng: phương pháp giảm biến, phương pháp tập tích cực Việc tìm hiểu chủ đề cần thiết hữu ích giúp hiểu vận dụng phương pháp qui hoạch tồn phương vào tốn tối ưu khác Nội dung luận văn chia thành bốn chương: Chương “Kiến thức chuẩn bị” nhắc lại vắn tắt số kiến thức sở cần thiết giải tích lồi toán tối ưu, trước hết khái niệm tập afin, tập lồi, hàm lồi, hàm tồn phương số tính chất chúng Một số cách phân tích ma trận thành thừa số (dạng Cholesky, dạng QR) đề cập tới Các kiến thức sử dụng chương sau giải tốn qui hoạch tồn phương với ràng buộc tuyến tính Chương “Bài tốn qui hoạch tồn phương” đề cập tới tốn qui hoạch tồn phương tổng qt Đó tốn tìm cực tiểu hàm bậc hai (có thể khơng lồi) với ràng buộc tuyến tính Nêu điều kiện tối ưu (cần đủ) trình bày số kết lý thuyết đối ngẫu qui hoạch toàn phương lồi, tương tự quan hệ đối ngẫu qui hoạch tuyến tính Chương “Phương pháp khử biến số” đề cập tới toán tối ưu với hàm mục tiêu bậc hai ràng buộc đẳng thức tuyến tính Nêu hai cách đưa tốn cho tốn khơng ràng buộc: phương pháp khử biến số (hạ thấp thứ nguyên) phương pháp khử suy rộng, dựa 3Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn phân rã không gian thành tổng hai không gian bù Để giải tốn khơng ràng buộc, ta dùng phương pháp tìm cực tiểu tự hàm n biến số Cách tìm nhân tử Lagrange tương ứng với lời giải tối ưu toán đề cập tới Phương pháp sử dụng chương sau, xem xét cách giải qui hoạch toàn phương với ràng buộc bất đẳng thức tuyến tính Chương “Phương pháp tập tích cực” trình bày phương pháp tập tích cực giải qui hoạch tồn phương với ràng buộc bất đẳng thức tuyến tính, cách đưa giải dãy toán với ràng buộc đẳng thức tuyến tính, theo phương pháp giới thiệu Chương Tính hữu hạn thuật tốn chứng minh cho tốn qui hoạch tồn phương lồi Do thời gian kiến thức hạn chế nên luận văn đề cập tới nội dung tính chất tốn qui hoạch tồn phương phương pháp giải qui hoạch toàn phương, chưa sâu vào kỹ thuật lập trình thực thi thuật tốn Trong q trình viết luận văn xử lý văn chắn khơng tránh khỏi sai sót Tác giả mong nhận góp ý thầy bạn đồng nghiệp để luận văn hoàn thiện Nhân dịp này, tác giả xin bày tỏ lòng biết ơn sâu sắc đến thầy hướng dẫn GS-TS Trần Vũ Thiệu tận tình giúp đỡ suốt trình làm luận văn Tác giả xin trân trọng cảm ơn các thầy, cô giáo Trường Đại học Khoa học - Đại học Thái Nguyên, Viện Toán học Viện Khoa học Công nghệ Việt Nam, giảng dạy tạo điều kiện thuận lợi trình tác giả học tập nghiên cứu Tác giả xin chân thành cảm ơn Ban giám hiệu, Phịng, Ban chức Trường Cao đẳng Cơng nghiệp Việt Đức (Sông Công - Thái Nguyên) tập thể bạn bè đồng nghiệp gia đình quan tâm giúp đỡ, động viên để tác giả hoàn thành tốt luận văn Thái Nguyên, tháng 09/2011 Tác giả Vũ Thị Đào 4Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương MỘT SỐ KIẾN THỨC CHUẨN BỊ Chương trình bày tóm tắt số kiến thức tập afin, tâp lồi, hàm lồi, hàm toàn phương; điều kiện cần, điều kiện đủ nghiệm tối ưu toán tối ưu phi tuyến số kiến thức ma trận có liên quan Nội dung trình bày chương chủ yếu dựa tài liệu [1], [2], [5] 1.1 1.1.1 TẬP AFIN VÀ TẬP LỒI Tập afin Trước hết khái niệm liên quan đến tập afin: Định nghĩa 1.1 Một tập M ⊂ Rn gọi tập afin ∀a, b ∈ M, λ ∈ R ⇒ λa + (1 − λ)b ∈ M, tức M chứa hai điểm M chứa đường thẳng qua hai điểm Một số tính chất tập afin: • Nếu M tập afin a + M = {a + x : x ∈ M } tập afin ∀a ∈ Rn • M tập afin chứa gốc M khơng gian Rn • Giao họ tập afin tập afin 5Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn • Nếu x1 , , xk thuộc tập afin M tổ hợp afin điểm thuộc M , nghĩa xi ∈ M (i = 1, , k), λ1 + + λk = ⇒ λ1 x1 + + λk xk ∈ M • Một tập afin có dạng M = {x : Ax = b} với A ∈ Rm×n , b ∈ Rm Ngược lại, tập có dạng tập afin (Đó tập nghiệm hệ phương trình tuyến tính) Bao afin tập E giao tất tập afin chứa E, ký hiệu aff(E) Đó tập afin nhỏ chứa E Từ tính chất tập afin suy ra: k k P P i i x ∈ aff(E) ⇔ x = λi x , x ∈ E, λi = i=1 i=1 Có thể thấy: tập M 6= ∅ afin M = x0 + L với x0 ∈ M L không gian L xác định cách gọi không gian song song với M (M nhận cách tịnh tiến L tới x0 ) Thứ nguyên (hay số chiều) tập afin M , ký hiệu dim M , định nghĩa số chiều không gian song song với Định nghĩa 1.2 Một tập afin Rn có thứ nguyên n − gọi siêu phẳng Có thể thấy siêu phẳng tập có dạng H = {x :< a, x >= α} với a ∈ Rn (Đó tập nghiệm phương trình tuyến tính Rn ) Một tập k điểm x1 , x2 , , xk gọi độc lập afin k − véctơ x2 −x1 , , xk −x1 độc lập tuyến tính Qua n điểm độc lập afin Rn có siêu phẳng Một tập có dạng H = {x :< a, x >≤ α} (hay H = {x :< a, x >< α}) gọi nửa khơng gian đóng (mở) 1.1.2 Tập lồi Sau số khái niệm liên quan đến tập lồi Định nghĩa 1.3 Tập hợp C ⊂ Rn gọi lồi ∀a, b ∈ C, ≤ λ ≤ ⇒ λa + (1 − λ)b ∈ C 6Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tức C chứa hai điểm chứa đoạn thẳng nối hai điểm Ví dụ 1.1 (về tập lồi) Tập hợp rỗng, tồn khơng gian Rn , tập afin, siêu phẳng, nửa khơng gian (đóng, mở), hình cầu, tập lồi Trong R2 , hình tam giác, hình vng, hình trịn, hình elip tập hợp lồi Tuy nhiên, đường trịn hay hình vành khăn khơng phải tập hợp lồi Hình 1.1 a) Các tập hợp lồi b) Các tập hợp không lồi Thứ nguyên hay số chiều tập lồi C thứ nguyên bao afin C Trong Rn tập lồi thứ nguyên n gọi tập lồi thứ nguyên đầy đủ Sau số tính chất tập lồi: • Giao họ tập lồi tập lồi • Nếu C, D tập lồi C + D = {x + y : x ∈ C, y ∈ D}, αC = {αx : x ∈ C} C −D = C +(−1)D tập lồi Nếu C ⊂ Rn , D ⊂ Rm tập lồi tích C × D = {(x, y) : x ∈ C, y ∈ D} ⊂ Rn × Rm tập lồi • Tập hợp tất tổ hợp lồi số hữu hạn điểm Rn tập lồi Nếu x1 , x2 , , xk thuộc tập lồi C tổ hợp lồi điểm thuộc C, nghĩa xi ∈ C, λi ≥ (i = 1, , k) , λ1 + + λk = ⇒ λ1 x1 + + λk xk ∈ C • Một tập hợp lồi giới nội khơng giới nội Nếu tập lồi C ⊂ Rn không giới nội có véctơ t ⊂ Rn (t 6= 0) cho với x ∈ C tia x + λt, λ ≥ nằm trọn C Một véctơ t gọi phương vô hạn tập lồi C 7Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Cho tập E ⊂ Rn Giao tất tập lồi chứa E gọi bao lồi E, ký hiệu conv(E) Đó tập lồi nhỏ chứa E Có thể thấy: • conv(E) trùng với tập tất tổ hợp lồi phần tử thuộc E • Bao đóng tập lồi tập lồi Cho C ⊂ Rn tập lồi Điểm x ∈ C gọi điểm cực biên C x biểu diễn dạng tổ hợp lồi hai điểm phân biệt khác C, nghĩa không tồn hai điểm y, z ∈ C, y 6= z cho x = λy + (1 − λ)z với < λ < Định lý 1.1 (Định lý tách) Cho hai tập hợp lồi C, D ⊂ Rn , khác rỗng khơng có điểm chung (C ∩ D = ∅) Khi đó, tách chúng siêu phẳng, nghĩa tồn véctơ t ∈ Rn , t 6= số α ∈ R cho tT x ≥ a ≥ tT y với x ∈ C y ∈ D 1.2 1.2.1 HÀM TOÀN PHƯƠNG VÀ HÀM LỒI Ma trận xác định dương Trước hết, ta nhắc lại định nghĩa số tính chất ma trận Định nghĩa 1.4 Ma trận vuông, đối xứng C (cấp n) gọi xác định dương xT Cx > với x 6= (x ∈ Rn ), gọi nửa xác định dương (hay xác định không âm) xT Cx ≥ với x ∈ Rn Ma trận C gọi xác định âm (hay nửa xác định âm) −C xác định dương (nửa xác định dương) Mệnh đề 1.1 Một tử thức ma trận xác định dương (nửa xác định dương) ma trận xác định dương (nửa xác định dương) Hệ 1.1 Các phần tử đường chéo ma trận xác định dương (nửa xác định dương) dương (khơng âm) 8Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mệnh đề 1.2 Nếu C nửa xác định dương xT Cx = Cx = Mệnh đề 1.3.Nếu ma trận C xác định dương ma trận nghịch đảo C −1 tồn xác định dương Mệnh đề 1.4 Nếu A ma trận tuỳ ý (vuông hay chữ nhật) AAT AT A ma trận nửa xác định dương (T ký hiệu chuyển vị ma trận) Mệnh đề 1.5.Ma trận đối xứng, luỹ đẳng ma trận nửa xác định dương 1.2.2 Hàm toàn phương hàm lồi Định nghĩa 1.5 Hàm toàn phương (hay dạng toàn phương) hàm số có dạng n P n P T f (x) = x Cx = cij xi xj , i=1 j=1 C = [cij ] ma trận vng, đối xứng cấp n cho trước (tuỳ ý) Dạng toàn phương f (x) = xT Cx gọi xác định dương xT Cx > với x 6= 0, nghĩa C ma trận xác định dương Ví dụ 1.2 Dạng toàn phương f (x) = x21 + x22 xác định dương (n = 2) Dạng toàn phương gọi nửa xác định dương xT Cx ≥ với x tồn x 6= (x ∈ Rn ) cho xT Cx = 0, nghĩa C ma trận nửa xác định dương, khơng xác định dương Ví dụ 1.3 Dạng toàn phương f (x) = (x1 − x2 )2 ≥ với x1 , x2 x1 = x2 = 1, f (x) nửa xác định dương Dạng toàn phương f (x) = xT Cx gọi xác định âm (nửa xác định âm) −f (x) xác định dương (nửa xác định dương) Với dạng toàn phương có biến (n nhỏ) ta kiểm tra tính xác định dương nhờ dùng tính chất sau (mạnh Mệnh đề 1.1) * Dạng toàn phương f (x) = xT Cx xác định dương 9Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn d a = 0, i = 1, , k,   i ∗ ∗ n T ∗ ∗ S(x , λ ) = d ∈ R d ≥ 0, i ∈ I(x ), λi =  dT = 0, i ∈ I(x∗ ), λ∗ >  i Chứng minh Do x∗ ngiệm cực tiểu địa phương toán (2.1) - (2.3) nên theo Bổ đề 2.1 ta có (Cx∗ +p)T d ≥ với d ∈ S(x∗ ), nghĩa với d nghiệm hệ aTi d = 0, i = 1, , k, aTi d ≥ 0, i ∈ I(x0 ) Áp dụng Bổ đề Farkas cho ma trận A với ma trận chuyển vị AT có cột −ai với i = 1, , k, với i ∈ I(x∗ ) ta tìm số bi với i = 1, , k, λ∗i với i ∈ I(x∗ ) cho m P P ∗ Cx∗ + p = (αi − βi ) + λi i∈I(x∗ ) i=1 Bằng cách đăt λ∗i = αi − βi với i = 1, , k λ∗i = với i ∈ {k + 1, , m}\I(x∗ ) ta nhận (2.5), (2.8), (2.9) Do x∗ ∈ D 21 21Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn nên ta có (2.6), (2.7) Hơn nữa, lấy d ∈ S(x∗ , λ∗ ) d = đương nhiên (2.10) Giả sử d 6= Theo định nghĩa S(x∗ , λ∗ ), với t > đủ nhỏ ta có x∗ + td ∈ D, tức aTi (x∗ + td) = bi , i = 1, , k, aTi (x∗ + td) ≥ bi, i ∈ I(x∗ ), λ∗i = 0, aTi (x∗ + td) = bi , i ∈ I(x∗ ), λ∗i > 0, Do aTi x∗ = bi với moi i ∈ 1, , k ∪ I(x∗ ) nên từ suy λ∗i aTi d = với i = 1, , m (2.11) ∗ ∗ (để ý λi = với i ∈ {k + 1, , m}\I(x )) Từ (2.11) (2.5) cho thấy Q(x∗ + td) = Q(x∗ ) + tdT (Cx∗ + p) + 21 t2 dT Cd m P ∗ = Q(x ) + t λ∗i aTi d + 21 t2 dT Cd = Q(x∗ ) + i=1 T t d Cd (2.12) Do x∗ cực tiểu địa phương nên với t > đủ nhỏ ta có Q(x∗ +td) ≥ Q(x∗ ) Kết hợp với (2.12) suy dT Cd ≥ Do d ∈ S(x∗ , λ∗ ) chọn tuỳ ý nên (2.10) định lý chứng minh  Một điểm thỏa mãn điều kiện (2.5) - (2.9) gọi điểm KKT (QP) Định lý 2.2 (Điều kiện đủ tối ưu) Giả sử x∗ điểm KKT λ∗ véctơ nhân tử Lagrange tương ứng Nếu dT Cd > với 6= d ∈ S(x∗ , λ∗ ) x∗ nghiệm cực tiểu địa phương chặt qui hoạch toàn phương (2.1) - (2.3) Chứng minh Giả sử x* cực tiểu địa phương chặt tốn Khi có dãy {xq } ⊂ D cho Q(xq ) ≤ Q(x∗ ) với xq → x∗ , xq 6= x∗ (q = 1, 2, ) Đặt tq = kxq − x∗ k > 0, dq = (xq − x∗ )/tq Do kdq k = nên khơng giảm tổng qt ta giả thiết dq → d Do xq = x∗ + tq dq ∈ D tq & ta thấy aTi x∗ = bi , aTi (x∗ +tq dq ) = bi ⇒ aTi dq = với q i = 1, , k, 22 22Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn aTi x∗ = bi , aTi (x∗ + tq dq ) ≥ bi ⇒ aTi dq ≥ với q i ∈ I(x∗ ), Cho q → +∞ ta nhận aTi d = với i = 1, , k, (2.13) aTi d ≥ với i ∈ I(x∗ ), (2.14) nghĩa d ∈ S(x∗ ) Mặt khác, từ Q(xq ) ≤ Q(x∗ ), tq > (2.13), (2.14) Q(xq ) = Q(x∗ + tq dq ) = Q(x∗ ) + tq (Cx∗ + p)T dq + 12 t2q dTq Cdq suy (Cx∗ + p)T dq + 21 tq dTq Cdq ≤ Cho q → +∞ (tq → 0) ta (Cx∗ +p)T dq ≤ (2.15) Từ điều kiện KKT (hệ thức (2.5)) (2.13), (2.14) suy mT P ∗ i (Cx∗ + p)T d = λi d ≥ (2.16) i=1 Các bất đẳng thức (2.15) (2.16) cho thấy mT P ∗ i (Cx∗ + p)T d = λi d = i=1 Để ý tới (2.13), (2.14) λ∗i = với i ∈ {k + 1, , m}\I(x∗ ) ta suy λ∗i aTi d = với i ∈ I(x∗ ) (2.17) Vì d ∈ S(x∗ ) nên từ (2.17) suy d ∈ S(x∗ , λ∗ ) Do Q(xq ) ≤ Q(x∗ ), (2.8) (2.17) nên với tq ||xq − x∗ || > đủ nhỏ ta thấy Q(x∗ ) + λT (b − Ax∗ ) ≤ Q(xq ) + λT (b − Axq ) = Q(x∗ )+λT (b−Ax∗ )+tq (Cx∗ +p−AT λ)T dq + 21 t2q dTq Cdq Từ (2.5) suy ra(Cx∗ + p − AT λ) = Do T dq Cdq ≤ với q Qua giới hạn q → +∞ ta dT Cd ≤ 0, trái với giả thiết 23 23Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn định lý d ∈ S(x∗ , λ∗ ) Vậy x∗ cực tiểu địa phương chặt toán (2.1) - (2.3)  Sau điều kiện tối ưu cần đủ cho nghiệm cực tiểu (2.1) - (2.3) Định lý 2.3 (Điều kiện tối ưu cần đủ) Giả sử x∗ điểm chấp nhận qui hoạch toàn phương (2.1) - (2.3) Khi x∗ nghiệm cực tiểu địa phương (2.1) - (2.3) (x∗ , λ∗ ) thỏa mãn (2.5) - (2.9) dT Cd ≥ với d ∈ S(x∗ , λ∗ ), (2.18) Chứng minh Điều kiện cần Giả sử x∗ nghiệm cực tiểu địa phương Định lý 2.1 cho thấy tồn véctơ nhân tử λ∗ thỏa mãn (2.5) - (2.9) dT Cd ≥ với d ∈ S(x∗ , λ∗ ), tức có (2.18) Điều kiện đủ Giả sử (x∗ , λ∗ ) thỏa mãn (2.5) - (2.9) (2.18) x∗ cực tiểu địa phương, tìm dãy điểm {xq } ⊂ D cho xq = x∗ + tq dq ∈ D với q = 1, 2, Q(xq ) = Q(x∗ + tq dq ) < Q(x∗ ) (2.19) tq > 0, tq → 0, dq → d q → +∞ Bằng lập luận tương tự chứng minh Định lý 2.2 điều kiện đủ tối ưu, ta d ∈ S(x∗ , λ∗ ) Do từ (2.19) điều kiện KKT suy L(x∗ , λ∗ ) > L(xq , λ∗ ) = L(x∗ , λ∗ ) + 21 t2q dTq Cdq + o(t2q ) Chia hai vế cho t2q qua giới hạn tq → 0, ta nhận dCd < (2.20) Chú ý d ∈ S(x∗ , λ∗ ), từ cho thấy (2.20) trái với giả thiết (2.18) định lý chứng minh Vậy tìm điểm KKT tương đương với tìm cặp (x∗ , λ∗ ) thỏa mãn (2.5) - (2.9) 24 24Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 2.2 BÀI TỐN ĐỐI NGẪU Mục trình bày cách lập toán đối ngẫu qui hoạch tồn phương lồi Đối với số lớp tốn thực tiễn ta khai thác cấu trúc đặc biệt toán đối ngẫu để giải toán ban đầu (bài toán gốc) cách hiệu Với tốn qui hoạch tồn phương lồi ta xét tốn đối ngẫu Cách xây dựng toán đối ngẫu sau: a) Bài toán gốc (dạng tắc): min{f (x) = pT x + 21 xT Cx : Ax = b, x ≥ 0} (P1) Bài toán đối ngẫu (hàm mục tiêu lõm với ràng buộc bất đẳng thức): max{g(x, y) = bT y − 21 xT Cx : AT y − Cx ≤ p} (D1) Ví dụ 2.1 Xét tốn qui hoạch tồn phương lồi (bài toán gốc): f (x) = −x1 − 2x2 + 0, 5x21 + 0, 5x22 → với ràng buộc  = 6,  2x1 + 3x2 + x3 x + 4x2 + x4 = 5,  x1 ≥ 0, x2 ≥ 0, x3 ≥ 0, x4 ≥ Trong toán    −1 −2  , C = 0 p= 0 0 0 0 0 0      0 , A = , b = 0 Bài toán đối ngẫu tương ứng có dạng: g(x, y) = −0, 5x21 − 0, 5x22 + 6y1 + 5y2 → max, với ràng buộc  −x1       + 2y1 + y2 ≤ −1, −x2 + 3y1 + 4y2 ≤ −2, y1 ≤ 0, y2 ≤ 25 25Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn b) Bài toán gốc (dạng chuẩn tắc): min{f (x) = pT x + 21 xT Cx : Ax ≥ b, x ≥ 0} (P2) Bài toán đối ngẫu (hàm mục tiêu lõm): (D2) max{g(x, y) = bT y − 12 xT Cx : AT y −Cx ≤ p, y ≥ 0} Ví dụ 2.2 Xét tốn qui hoạch tồn phương lồi (bài tốn gốc): f (x) = 5x1 − 3x2 + x21 + 2x22 − 2x1 x2 → min, với ràng buộc  x1 + 2x2 ≥ 3, x1 ≥ 0, x2 ≥ Trong toán       −2 p= ,C= , A = , b = −3 −2 Bài toán đối ngẫu tương ứng có dạng: g(x, y) = −x21 − 2x22 + 2x1 x2 + 3y1 → max, với ràng buộc   −2x1 + 2x2 + y1 ≤ 5, 2x1 − 4x2 + 2y1 ≤ −3,  y1 ≥ c) Bài toán gốc (ràng buộc đẳng thức bất đẳng thức): (P3) min{f (x) = pT x + 12 xT Cx : x ∈ D} với D = {x ∈ Rn : aTi x = bi , i = 1, , k, aTi x ≥ bi , i = k + 1, , m} Bài toán đối ngẫu (hàm mục tiêu lõm với ràng buộc đẳng thức, không âm): (D3) max{g(x, y) = bT y − 21 xT Cx : AT y − Cx = p, yi ≥ 0, i = k + 1, , m} Ví dụ 2.3 Xét tốn qui hoạch tồn phương lồi (bài tốn gốc): 26 26Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn f (x) = x21 + x1 x2 + x1 x3 + x22 + x2 x3 + x23 − x1 + x2 − x3 → min, với ràng buộc  x1 + x3 = 3, x2 + x3 ≥ Trong toán     −1 1 p =  ; C = 1 1 −1 1 Bài tốn đối ngẫu tương ứng có dạng: g(x, y) = −x21 − x1 x2 − x1 x3 − x22 − x2 x3 − x23 + 3y1 + 2y2 → max với ràng buộc  −2x1 − x2 − x3 + y1 = −1,    −x1 − 2x2 − x3 + y2 = 1, −x1 − x2 − 2x3 + y1 + y2 = −1,    y2 ≥ Khi C = toán đối ngẫu định nghĩa trùng với tốn đối ngẫu thơng thường qui hoạch tuyến tính Cặp tốn đối ngẫu qui hoạch tồn phương lồi có tính chất tương tự qui hoạch tuyến tính: • Nếu tập ràng buộc hai tốn rỗng, tập ràng buộc toán rỗng hàm mục tiêu khơng bị chặn • Nếu hàm mục tiêu hai tốn khơng bị chặn tập ràng buộc tốn rỗng • Nếu hai tốn đối ngẫu có phương án tối ưu tốn có phương án tối ưu, đồng thời giá trị tối ưu hai toán 27 27Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.3 QUAN HỆ ĐỐI NGẪU Mục chứng minh số định lý đối ngẫu qui hoạch tồn phương lồi Xét cặp tốn đối ngẫu (P3) (D3) Ta có định lý đối ngẫu sau Định lý 2.4 (Đối ngẫu yếu) Với phương án x toán gốc phương án (x0 , y ) tốn đối ngẫu tương ứng ta có hệ thức: g(x0 , y ) ≤ f (x) Chứng minh Với phương án (x0 , y ) tốn đối ngẫu AT y = p + Cx0 Từ với x ∈ Rn ta có: g(x0 , y ) ≡< b, y > − 21 < x0 , Cx0 > = < b, y > + < p, x0 > + 12 < x0 , Cx0 > − < x0 , p + Cx0 > = < b, y > + < p, x0 > + 12 < x0 , Cx0 > + < x − x0 , p + Cx0 > − < x, p + Cx0 > = < b, y > + < p, x0 > + 21 < x0 , Cx0 > + < x − x0 , p + Cx0 > − < x, AT y > = < p, x0 > + 21 < x0 , Cx0 > + < x − x0 , p + Cx0 > + < y , b − Ax > ≤ < p, x > + 21 < x, Cx > + < y , b − Ax > Bất đẳng thức với x ∈ Rn (Áp dụng Mệnh đề 1.7 với x0 thay cho x0 ) Nói riêng, với x = x ta có: g(x0 , y ) ≤< p, x > + 21 < x, Cx > + < y , b − Ax > ≤< p, x > + 12 < x, Cx >= f (x) (Nhớ aTi x = bi với i = 1, , k, aTi x ≥ bi với i = k + 1, , m yi ≥ 0, i = k+1, , m ⇒ < y , b−Ax >≤ 0) Định lý 2.5 (Đối ngẫu mạnh) Nếu véctơ x0 nghiệm tối ưu toán gốc (P3) tồn véctơ y cho (x0 , y ) nghiệm tối ưu toán đối ngẫu (D3) Ngược lại, (x0 , y ) nghiệm tối ưu 28 28Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn toán đối ngẫu (D3) detC 6= x0 nghiệm tối ưu toán gốc (P3) Trong hai trường hợp ta có f (x0 ) = g(x0 , y ), nghĩa giá trị cực tiểu toán gốc giá trị cực đại toán đối ngẫu Chứng minh a) Trước hết, giả sử x0 phương án tối ưu toán gốc (P3) Theo Định lý 2.1, tồn y ∈ Rm (y thay cho λ∗ ) thoả mãn (2.5) - (2.9) Từ suy AT y − Cx0 = p yi0 ≥ 0, i = k + 1, , m, nghĩa (x0 , y ) phương án toán đối ngẫu (D3) Hơn nữa, ta có g(x0 , y ) =< b, y > − 21 < x0 , Cx0 > =< Ax0 , y > − 12 < x0 , Cx0 > (do (2.6),(2.8)) =< x0 , AT y > − < x0 , Cx0 > + 12 < x0 , Cx0 > =< x0 , AT y − Cx0 > + 21 < x0 , Cx0 > =< x0 , p > + 21 < x0 , Cx0 > (do AT y − Cx0 = p) = f (x0 ) Định lý đối ngẫu yếu đẳng thức g(x0 , y ) = f (x0 ) cho thấy (x0 , y ) nghiệm tối ưu toán đối ngẫu (D3) b) Bây giả sử (x0 , y ) phương án tối ưu toán đối ngẫu (D3) detC 6= Khi đó, AT y − Cx0 = p yi0 ≥ với i = k + 1, , m Từ − 21 Cx0 = p + 12 Cx0 − AT y (2.21) Để chứng tỏ x0 nghiệm toán gốc (P3), trước hết ta cần rõ aTi x0 = b, i = 1, , k, aTi x0 ≥ b, i = k + 1, , m  0 x Thật vậy, rõ ràng z = nghiệm tối ưu tốn tồn y phương: min{− < b, y > + 12 < x, Cx >: Cx − AT y = −p, yi ≥ 0, i = k + 1, , m} e >: Az e = eb, zn+i ≥ 0, i = k + 1, , m}, ≡ min{< pe, z > + 12 < z, Cz 29 29Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn       x C e= e = (C − AT ) eb = −p ; pe = ;C ;A z = y −b 0 Theo Định lý KKT, tồn λ0 ∈ Rm µ0 ∈ Rm với µ0i = 0, i = 1, , k µ0i ≥ 0, i = k + 1, , m (2.22) thỏa mãn e + pe − A eT λ0 − µ0 = 0, µ0 zn+i = 0, i = k + 1, , m Cz i Từ suy Cλ0 − Cx0 = C(x0 − λ0 ) = 0, Aλ0 − µ0 = b hay µ0i = aTi x0 − bi , i = k + 1, , m µ0i yi0 = yi0 (aTi x0 − bi ) = 0, i = k + 1, , m Do detC 6= nên từ C(x0 − λ0 ) = suy x0 = λ0 ý tới (2.22) ta thấy aTi x0 = bi , i = 1, , k, aTi x0 ≥ bi , i = k + 1, , m, < y , Ax0 − b >= Mặt khác g(x0 , y ) =< b, y > − 21 < x0 , Cx0 > =< b, y > + < p, x0 > + 12 < x0 , Cx0 > − < AT y , x0 > (theo (2.21)) =< p, x0 > + 21 < x0 , Cx0 > + < y , b − Ax0 > =< p, x0 > + < x0 , Cx0 > = f (x0 ) (do < y , b − Ax0 >= 0) Đẳng thức với định lý đối ngẫu yếu chứng tỏ x0 nghiệm tối ưu toán gốc (P3)  Nhận xét Giả thiết ma trận C nửa xác định dương điều kiện detC 6= kéo theo C xác định dương Ta có định lý đối ngẫu tương tự cho dạng khác tốn qui hoạch tồn phương (chuẩn tắc, tắc) Để đơn giản ta giả thiết ma trận C xác định dương viết lại toán đối ngẫu Từ hệ thức đối ngẫu yếu (Định lý 2.4) suy hàm mục 30 30Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tiêu tốn gốc khơng bị chặn tốn đối ngẫu khơng có nghiệm chấp nhận Ngược lại, ta muốn biết tốn gốc khơng có nghiệm chấp nhận liệu có kéo theo hàm mục tiêu tốn đối ngẫu khơng bị chặn hay khơng Điều đốn khơng phải lúc Tuy nhiên điều cho toán với ràng buộc tuyến tính Ta có: Định lý 2.6 (xem [6]) Giả sử ma trận C xác định dương Nếu tốn gốc (P3) khơng có nghiệm chấp nhận hàm mục tiêu toán đối ngẫu (D3) không bị chặn Cuối cùng, hàm Lagrange qui hoạch tồn phương (2.1) - (2.3) có dạng: m P T T L(x, λ) = p x + x Qx + λi (bi − aTi x) i=1 với x ∈ D λ ∈ Λ = {λ ∈ Rm : λi ≥ 0, i = k + 1, , m} Định nghĩa 2.1 Cặp (x∗ , λ∗ ) ∈ D × Λ gọi điểm yên ngựa (saddle point) hàm Lagrange L(x, λ) (x∗ , λ∗ ) thỏa mãn L(x∗ , λ) ≤ L(x∗ , λ∗ ) ≤ L(x, λ∗ ) với x ∈ D λ ∈ Λ Định lý điểm yên ngựa đáng ý sau nêu mối liên hệ mật thiết điểm yên ngựa hàm Lagrange với nghiệm cực tiểu toán gốc Định lý 2.7 (Định lý điểm yên ngựa cho qui hoạch toàn phương, xem [6]) Giả sử ma trận C xác định dương Khi đó, x∗ ∈ D nghiệm cực tiểu qui hoạch toàn phương (2.1) - (2.3) tồn λ∗ ∈ Λ cho (x∗ , λ∗ ) điểm yên ngựa hàm Lagrange L(x, λ), nghĩa điều kiện sau với x ∈ D λ ∈ Λ: L(x∗ , λ) ≤ L(x∗ , λ∗ ) ≤ L(x, λ∗ ) >Tóm lại, chương giới thiệu khái qt tốn qui hoạch tồn phương, điều kiện tối ưu (cần đủ) lý thuyết đối ngẫu qui hoạch toàn phương lồi 31 31Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn