Phương pháp giải quy hoạch toàn phương

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC VŨ THỊ ĐÀO PHƯƠNG PHÁP GIẢI QUI HOẠCH TOÀN PHƯƠNG Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học GS.TS TRẦN VŨ THIỆU Thái Nguyên – 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mục lục LỜI NÓI ĐẦU MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1 TẬP AFIN VÀ TẬP LỒI 1.1.1 Tập afin 1.1.2 Tập lồi HÀM TOÀN PHƯƠNG VÀ HÀM LỒI 1.2.1 Ma trận xác định dương 1.2.2 Hàm toàn phương hàm lồi 1.3 BÀI TỐN QUI HOẠCH TỒN PHƯƠNG LỒI 13 1.4 BÀI TOÁN TỐI ƯU PHI TUYẾN 15 1.5 PHÂN TÍCH CHOLESKY VÀ PHÂN TÍCH QR 16 1.5.1 Phân tích Cholesky 17 1.5.2 Phân tích QR 17 1.2 BÀI TOÁN QUI HOẠCH TOÀN PHƯƠNG 19 2.1 ĐIỀU KIỆN TỐI ƯU 19 2.2 BÀI TOÁN ĐỐI NGẪU 25 2.3 QUAN HỆ ĐỐI NGẪU 28 PHƯƠNG PHÁP KHỬ BIẾN SỐ 32 3.1 NỘI DUNG PHƯƠNG PHÁP 32 3.2 VÍ DỤ MINH HỌA 34 1Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.3 PHƯƠNG PHÁP KHỬ SUY RỘNG 39 3.4 PHƯƠNG PHÁP NHÂN TỬ LAGRANGE 44 PHƯƠNG PHÁP TẬP TÍCH CỰC 47 4.1 BÀI TOÁN VÀ Ý TƯỞNG THUẬT TOÁN 47 4.2 PHƯƠNG PHÁP TẬP TÍCH CỰC 49 4.2.1 Hàm mục tiêu lồi 4.2.2 Các bước thuật toán 50 4.2.3 Thuật tốn tập tích cực 52 4.2.4 Ví dụ minh họa 53 49 4.3 SỰ HỘI TỤ CỦA THUẬT TOÁN 56 4.4 HÀM MỤC TIÊU KHÔNG LỒI 59 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 2Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn LỜI NĨI ĐẦU Qui hoạch tồn phương toán qui hoạch phi tuyến đơn giản Đó tốn tìm cực tiểu hàm bậc hai với ràng buộc tuyến tính Nếu dạng toàn phương xác định dương hay nửa xác định dương ta có tốn qui hoạch tồn phương lồi, cịn dạng tồn phương khơng xác định ta có tốn qui hoạch tồn phương khơng lồi Các toán quan trọng quan tâm nghiên cứu nhiều vấn đề nảy sinh kinh tế, tài chính, cơng nghiệp kỹ thuật diễn đạt tốn qui hoạch tồn phương Luận văn trình bày nội dung tốn qui hoạch toàn phương, nêu điều kiện tối ưu (cần đủ), lý thuyết đối ngẫu qui hoạch toàn phương lồi đề cập tới hai phương pháp giải thông dụng: phương pháp giảm biến, phương pháp tập tích cực Việc tìm hiểu chủ đề cần thiết hữu ích giúp hiểu vận dụng phương pháp qui hoạch tồn phương vào tốn tối ưu khác Nội dung luận văn chia thành bốn chương: Chương “Kiến thức chuẩn bị” nhắc lại vắn tắt số kiến thức sở cần thiết giải tích lồi tốn tối ưu, trước hết khái niệm tập afin, tập lồi, hàm lồi, hàm tồn phương số tính chất chúng Một số cách phân tích ma trận thành thừa số (dạng Cholesky, dạng QR) đề cập tới Các kiến thức sử dụng chương sau giải toán qui hoạch tồn phương với ràng buộc tuyến tính Chương “Bài tốn qui hoạch tồn phương” đề cập tới tốn qui hoạch tồn phương tổng qt Đó tốn tìm cực tiểu hàm bậc hai (có thể khơng lồi) với ràng buộc tuyến tính Nêu điều kiện tối ưu (cần đủ) trình bày số kết lý thuyết đối ngẫu qui hoạch toàn phương lồi, tương tự quan hệ đối ngẫu qui hoạch tuyến tính Chương “Phương pháp khử biến số” đề cập tới toán tối ưu với hàm mục tiêu bậc hai ràng buộc đẳng thức tuyến tính Nêu hai cách đưa tốn cho tốn khơng ràng buộc: phương pháp khử biến số (hạ thấp thứ nguyên) phương pháp khử suy rộng, dựa 3Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn phân rã không gian thành tổng hai không gian bù Để giải tốn khơng ràng buộc, ta dùng phương pháp tìm cực tiểu tự hàm n biến số Cách tìm nhân tử Lagrange tương ứng với lời giải tối ưu toán đề cập tới Phương pháp sử dụng chương sau, xem xét cách giải qui hoạch toàn phương với ràng buộc bất đẳng thức tuyến tính Chương “Phương pháp tập tích cực” trình bày phương pháp tập tích cực giải qui hoạch toàn phương với ràng buộc bất đẳng thức tuyến tính, cách đưa giải dãy tốn với ràng buộc đẳng thức tuyến tính, theo phương pháp giới thiệu Chương Tính hữu hạn thuật toán chứng minh cho toán qui hoạch toàn phương lồi Do thời gian kiến thức hạn chế nên luận văn đề cập tới nội dung tính chất tốn qui hoạch tồn phương phương pháp giải qui hoạch toàn phương, chưa sâu vào kỹ thuật lập trình thực thi thuật tốn Trong q trình viết luận văn xử lý văn chắn khơng tránh khỏi sai sót Tác giả mong nhận góp ý thầy cô bạn đồng nghiệp để luận văn hoàn thiện Nhân dịp này, tác giả xin bày tỏ lòng biết ơn sâu sắc đến thầy hướng dẫn GS-TS Trần Vũ Thiệu tận tình giúp đỡ suốt trình làm luận văn Tác giả xin trân trọng cảm ơn các thầy, cô giáo Trường Đại học Khoa học - Đại học Thái Nguyên, Viện Tốn học Viện Khoa học Cơng nghệ Việt Nam, giảng dạy tạo điều kiện thuận lợi trình tác giả học tập nghiên cứu Tác giả xin chân thành cảm ơn Ban giám hiệu, Phòng, Ban chức Trường Cao đẳng Công nghiệp Việt Đức (Sông Công - Thái Nguyên) tập thể bạn bè đồng nghiệp gia đình quan tâm giúp đỡ, động viên để tác giả hoàn thành tốt luận văn Thái Nguyên, tháng 09/2011 Tác giả Vũ Thị Đào 4Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương MỘT SỐ KIẾN THỨC CHUẨN BỊ Chương trình bày tóm tắt số kiến thức tập afin, tâp lồi, hàm lồi, hàm toàn phương; điều kiện cần, điều kiện đủ nghiệm tối ưu toán tối ưu phi tuyến số kiến thức ma trận có liên quan Nội dung trình bày chương chủ yếu dựa tài liệu [1], [2], [5] 1.1 1.1.1 TẬP AFIN VÀ TẬP LỒI Tập afin Trước hết khái niệm liên quan đến tập afin: Định nghĩa 1.1 Một tập M ⊂ Rn gọi tập afin ∀a, b ∈ M, λ ∈ R ⇒ λa + (1 − λ)b ∈ M, tức M chứa hai điểm M chứa đường thẳng qua hai điểm Một số tính chất tập afin: • Nếu M tập afin a + M = {a + x : x ∈ M } tập afin ∀a ∈ Rn • M tập afin chứa gốc M khơng gian Rn • Giao họ tập afin tập afin 5Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn • Nếu x1 , , xk thuộc tập afin M tổ hợp afin điểm thuộc M , nghĩa xi ∈ M (i = 1, , k), λ1 + + λk = ⇒ λ1 x1 + + λk xk ∈ M • Một tập afin có dạng M = {x : Ax = b} với A ∈ Rm×n , b ∈ Rm Ngược lại, tập có dạng tập afin (Đó tập nghiệm hệ phương trình tuyến tính) Bao afin tập E giao tất tập afin chứa E, ký hiệu aff(E) Đó tập afin nhỏ chứa E Từ tính chất tập afin suy ra: k x ∈ aff(E) ⇔ x = i i k λi x , x ∈ E, i=1 λi = i=1 Có thể thấy: tập M = ∅ afin M = x0 + L với x0 ∈ M L không gian L xác định cách gọi không gian song song với M (M nhận cách tịnh tiến L tới x0 ) Thứ nguyên (hay số chiều) tập afin M , ký hiệu dim M , định nghĩa số chiều không gian song song với Định nghĩa 1.2 Một tập afin Rn có thứ nguyên n − gọi siêu phẳng Có thể thấy siêu phẳng tập có dạng H = {x :< a, x >= α} với a ∈ Rn (Đó tập nghiệm phương trình tuyến tính Rn ) Một tập k điểm x1 , x2 , , xk gọi độc lập afin k − véctơ x2 −x1 , , xk −x1 độc lập tuyến tính Qua n điểm độc lập afin Rn có siêu phẳng Một tập có dạng H = {x :< a, x >≤ α} (hay H = {x :< a, x >< α}) gọi nửa khơng gian đóng (mở) 1.1.2 Tập lồi Sau số khái niệm liên quan đến tập lồi Định nghĩa 1.3 Tập hợp C ⊂ Rn gọi lồi ∀a, b ∈ C, ≤ λ ≤ ⇒ λa + (1 − λ)b ∈ C 6Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tức C chứa hai điểm chứa đoạn thẳng nối hai điểm Ví dụ 1.1 (về tập lồi) Tập hợp rỗng, tồn khơng gian Rn , tập afin, siêu phẳng, nửa khơng gian (đóng, mở), hình cầu, tập lồi Trong R2 , hình tam giác, hình vng, hình trịn, hình elip tập hợp lồi Tuy nhiên, đường trịn hay hình vành khăn khơng phải tập hợp lồi Hình 1.1 a) Các tập hợp lồi b) Các tập hợp không lồi Thứ nguyên hay số chiều tập lồi C thứ nguyên bao afin C Trong Rn tập lồi thứ nguyên n gọi tập lồi thứ nguyên đầy đủ Sau số tính chất tập lồi: • Giao họ tập lồi tập lồi • Nếu C, D tập lồi C + D = {x + y : x ∈ C, y ∈ D}, αC = {αx : x ∈ C} C −D = C +(−1)D tập lồi Nếu C ⊂ Rn , D ⊂ Rm tập lồi tích C × D = {(x, y) : x ∈ C, y ∈ D} ⊂ Rn × Rm tập lồi • Tập hợp tất tổ hợp lồi số hữu hạn điểm Rn tập lồi Nếu x1 , x2 , , xk thuộc tập lồi C tổ hợp lồi điểm thuộc C, nghĩa xi ∈ C, λi ≥ (i = 1, , k) , λ1 + + λk = ⇒ λ1 x1 + + λk xk ∈ C • Một tập hợp lồi giới nội khơng giới nội Nếu tập lồi C ⊂ Rn không giới nội có véctơ t ⊂ Rn (t = 0) cho với x ∈ C tia x + λt, λ ≥ nằm trọn C Một véctơ t gọi phương vô hạn tập lồi C 7Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Cho tập E ⊂ Rn Giao tất tập lồi chứa E gọi bao lồi E, ký hiệu conv(E) Đó tập lồi nhỏ chứa E Có thể thấy: • conv(E) trùng với tập tất tổ hợp lồi phần tử thuộc E • Bao đóng tập lồi tập lồi Cho C ⊂ Rn tập lồi Điểm x ∈ C gọi điểm cực biên C x biểu diễn dạng tổ hợp lồi hai điểm phân biệt khác C, nghĩa không tồn hai điểm y, z ∈ C, y = z cho x = λy + (1 − λ)z với < λ < Định lý 1.1 (Định lý tách) Cho hai tập hợp lồi C, D ⊂ Rn , khác rỗng khơng có điểm chung (C ∩ D = ∅) Khi đó, tách chúng siêu phẳng, nghĩa tồn véctơ t ∈ Rn , t = số α ∈ R cho tT x ≥ a ≥ tT y với x ∈ C y ∈ D 1.2 1.2.1 HÀM TOÀN PHƯƠNG VÀ HÀM LỒI Ma trận xác định dương Trước hết, ta nhắc lại định nghĩa số tính chất ma trận Định nghĩa 1.4 Ma trận vuông, đối xứng C (cấp n) gọi xác định dương xT Cx > với x = (x ∈ Rn ), gọi nửa xác định dương (hay xác định không âm) xT Cx ≥ với x ∈ Rn Ma trận C gọi xác định âm (hay nửa xác định âm) −C xác định dương (nửa xác định dương) Mệnh đề 1.1 Một tử thức ma trận xác định dương (nửa xác định dương) ma trận xác định dương (nửa xác định dương) Hệ 1.1 Các phần tử đường chéo ma trận xác định dương (nửa xác định dương) dương (khơng âm) 8Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mệnh đề 1.2 Nếu C nửa xác định dương xT Cx = Cx = Mệnh đề 1.3.Nếu ma trận C xác định dương ma trận nghịch đảo C −1 tồn xác định dương Mệnh đề 1.4 Nếu A ma trận tuỳ ý (vuông hay chữ nhật) AAT AT A ma trận nửa xác định dương (T ký hiệu chuyển vị ma trận) Mệnh đề 1.5.Ma trận đối xứng, luỹ đẳng ma trận nửa xác định dương 1.2.2 Hàm toàn phương hàm lồi Định nghĩa 1.5 Hàm toàn phương (hay dạng toàn phương) hàm số có dạng n T n f (x) = x Cx = cij xi xj , i=1 j=1 C = [cij ] ma trận vuông, đối xứng cấp n cho trước (tuỳ ý) Dạng toàn phương f (x) = xT Cx gọi xác định dương xT Cx > với x = 0, nghĩa C ma trận xác định dương Ví dụ 1.2 Dạng toàn phương f (x) = x21 + x22 xác định dương (n = 2) Dạng toàn phương gọi nửa xác định dương xT Cx ≥ với x tồn x = (x ∈ Rn ) cho xT Cx = 0, nghĩa C ma trận nửa xác định dương, khơng xác định dương Ví dụ 1.3 Dạng toàn phương f (x) = (x1 − x2 )2 ≥ với x1 , x2 x1 = x2 = 1, f (x) nửa xác định dương Dạng toàn phương f (x) = xT Cx gọi xác định âm (nửa xác định âm) −f (x) xác định dương (nửa xác định dương) Với dạng tồn phương có biến (n nhỏ) ta kiểm tra tính xác định dương nhờ dùng tính chất sau (mạnh Mệnh đề 1.1) * Dạng toàn phương f (x) = xT Cx xác định dương 9Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương PHƯƠNG PHÁP TẬP TÍCH CỰC Chương trình bày phương pháp tập tích cực giải qui hoạch tồn phương có ràng buộc bất đẳng thức, cách đưa giải dãy toán với ràng buộc đẳng thức Để giải tốn với ràng buộc đẳng thức tuyến tính, sử dụng phương pháp nêu Chương Tính hữu hạn thuật tốn chứng minh cho tốn qui hoạch tồn phương lồi: Tìm cực tiểu hàm bậc hai lồi với ràng buộc tuyến tính Thuật tốn mở rộng cho trường hợp hàm mục tiêu bậc hai không lồi Nội dung chương tham khảo tài liệu [2], [4] - [6] 4.1 BÀI TOÁN VÀ Ý TƯỞNG THUẬT TỐN Xét tốn qui hoạch tồn phương, ký hiệu (QP): min{Q(x) = xT Cx + pT x} với ràng buộc (4.1) aTi x = bi , i = 1, , k, (4.2) aTi x ≥ bi , i = k + 1, , m, (4.3) C ma trận đối xứng cấp n × n, p, ∈ Rn (véctơ cột), k, m số nguyên không âm (0 ≤ k ≤ m) Ký hiệu tập ràng buộc toán 47 47Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn D = {x ∈ Rn : aTi x = bi , i = 1, , k, aTi x ≥ bi , i = k + 1, , m} Định nghĩa 4.1 Với i cố định, ta nói ràng buộc bất đẳng thức aTi x ≥ bi thoả mãn chặt x ∈ Rn aTi x = bi thoả mãn lỏng x aTi x > bi Tập I(x) = {i : aTi x = bi , i = k + 1, , m} gọi tập ràng buộc chặt x Để cho gọn, ta ký hiệu E = {1, , k}, I = {k + 1, , m} Giả sử x∗ nghiệm tối ưu toán Nếu biết tập I(x∗ ) ta tìm x∗ cách dùng kỹ thuật nêu Chương giải toán phụ với ràng buộc đẳng thức: min{Q(x) = 21 xT Cx + pT x : aTi x = bi , i ∈ E ∪ I(x∗ )} Bổ đề sau sở lý luận cho phương pháp tập tích cực Bổ đề 4.1 Giả sử x∗ cực tiểu địa phương qui hoạch toàn phương (4.1) - (4.3) Khi x∗ cực tiểu địa phương toán (4.4) minn { xT Cx + pT x : aTi x = bi , i ∈ E ∪ I(x∗ )} x∈R Ngược lại, x∗ nghiệm chấp nhận (4.1) - (4.3) điểm KKT (4.4) véctơ nhân tử Lagrange tương ứng λ∗ thỏa mãn λ∗i ≥ 0, ∀i ∈ I(x∗ ), x∗ điểm KKT toán (4.1) - (4.3) Chứng minh Một điểm chấp nhận toán (4.4) gần x∗ điểm chấp nhận tốn (4.1) - (4.3), cực tiểu địa phương (4.1) - (4.3) cực tiểu địa phương (4.4) Giả sử x∗ điểm chấp nhận (4.1) - (4.3) điểm KKT (4.4), Giả sử tồn số λ∗i , i ∈ E ∪ I(x∗ ), thỏa mãn Cx∗ + p = λ∗i , (4.5) λ∗i (aTi x∗ − bi ) = 0, λ∗i ≥ 0, i ∈ I(x∗ ) (4.6) i∈E∪I(x∗ ) 48 48Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đặt λ∗i = 0, i ∈ I\I(x∗ ) (4.7) Khi đó, từ (4.5) - (4.7) trực tiếp suy m ∗ Cx + p = λ∗i , i=1 T ∗ x = bi , ∀i ∈ E, aTi x∗ ≥ ∀i ∈ I, λ∗i (aTi x∗ − bi ) = 0, λ∗i ≥ 0, ∀i ∈ I, điều chứng tỏ x∗ điểm KKT toán (4.1) - (4.3) Tuy nhiên, thường ta trước tập I(x∗ ) việc xác định thách thức thuật toán giải toán với ràng buộc bất đẳng thức, để giải (4.1) - (4.3) ta dùng phương pháp tập tích cực với chiến thuật chỉnh sửa dần tập ràng buộc đẳng thức (tập hoạt động) đạt tập I(x∗ ) 4.2 4.2.1 PHƯƠNG PHÁP TẬP TÍCH CỰC Hàm mục tiêu lồi Phương pháp tập tích cực tỏ có hiệu tốn quy hoạch toàn phương lồi cỡ nhỏ vừa (m n khơng q lớn) Vì thế, trước hết ta trình bày phương pháp cho quy hoạch toàn phương (4.1) - (4.3) với C ma trận đối xứng nửa xác định dương (Q(x) hàm bậc hai lồi) Vì D tập lồi đa diện nên điểm cực tiểu địa phương Q(x) cực tiểu tồn cục Trường hợp C khơng xác định đề cập tới cuối chương Phương pháp tập tích cực có ba biến thể với tên gọi: gốc, đối ngẫu gốc - đối ngẫu Sau trình bày phương pháp tập tích cực gốc Phương pháp tạo dãy điểm chấp nhận toán gốc x1 , x2 , ∈ D với giá trị hàm mục tiêu giảm dần: Q(x1 ) ≥ Q(x2 ) ≥ ≥ Q(xq ) ≥ Phương pháp bắt đầu việc tìm điểm lặp thứ x1 ∈ D Để tìm điểm x1 ∈ D, ta dùng kỹ thuật đơn hình Chẳng hạn nhờ giải qui hoạch tuyến tính phụ min{eT x : x ∈ D} với e = (1, 1, , 1)T ∈ Rn 49 49Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Sau đó, tiến hành giải toán theo bước nêu với tập tích cực ban đầu S1 chọn cho S1 ⊆ E ∪ I(x1 ) {ai : i ∈ S1 } độc lập tuyến tính 4.2.2 Các bước thuật tốn Sau ta mơ tả đại diện vịng lặp phương pháp tập tích cực Giả sử vòng lặp q = 1, 2, ta có điểm chấp nhận xq ∈ D tập hoạt động Sq ⊆ E ∪ I(xq ) với : i ∈ Sq độc lập tuyến tính Mỗi vịng lặp gồm ba bước: Bước Kiểm tra xq nghiệm tối ưu toán (ràng buộc đẳng thức): (Pq ) min{q(x) = pT x + 21 xT Cx : aTi x = bi , i ∈ Sq } Muốn thế, ta đặt d = x − xq (hướng tìm) giải phương pháp nêu chương trước tốn phụ ràng buộc đẳng thức tuyến tính: (Dq ) min{ϕ(d) = (Cxq + p)T d + 12 dT Cd : aTi d = 0, i ∈ Sq } Giả sử dq nghiệm tối ưu (Dq ) Để ý giá trị tối ưu (Dq ) khơng dương (≤ 0), d = nghiệm chấp nhận tốn a) Nếu dq = xq khơng phải lời giải (Pq ) ta chuyển tới Bước b) Cịn dq = xq lời giải toán (Pq ) ta chuyển tới Bước Bước Giả sử dq = ϕ(dq ) < a) Ta khẳng định dq hướng giảm xq hàm q(x) = pT x + T T x Cx Thật vậy, ∇q(xq ) = Cxq + p ϕ(dq ) = (Cxq + p) dq + T dq Cdq < nên (∇q(xq ))T dq = (Cxq + p)T dq < − 12 dTq Cdq ≤ 0, bất đẳng thức cuối có C nửa xác định dương b) Tính giá trị αq ∈ [0, 1] lớn cho xq + αq dq ∈ D Cụ thể, 50 50Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tính bi − aTi xq T : dq < 0, i ∈ / Sq aTi dq αq = 1, (4.8) Thật vậy, với i ∈ Sq : aTi (xq + αdq ) = aTi xq = bi Với i ∈ / I\Sq : aTi dq ≥ aTi (xq + αdq ) = aTi xq + α aTi dq ≥ aTi xq ≥ bi với α ≥ 0; cịn aTi dq < aTi xq + αdq = aTi xq + α aTi dq ≥ aTi xq ≥ bi với α ≤ (bi − aTi xq )/aTi dq Có thể αq = dq hướng không chấp nhận D xq Các ràng buộc aTi x ≥ bi mà αq đạt cực tiểu (4.8) gọi ràng buộc chặn Nếu < αq < theo (4.8) tìm số j ∈ / Sq , cho αq = bi −aTi xq aTi dq Do aTj xq+1 = aTj xq + αq aTj dq = bj Điều cho thấy ràng buộc j ràng buộc chặn trở thành ràng buộc chặt xq+1 Vì thế, ta đưa j vào tập hoạt động đặt Sq+1 = Sq ∪ {j} Nếu αq = αq = tập hoạt động khơng thay đổi ta đặt Sq+1 = Sq c) Đặt xq+1 = xq + αq dq q := q + 1, sau quay trở lại Bước Như vậy, ta thực phép lặp với tập hoạt động Sq+1 Bước Giả sử dq = Giả sử λi , i ∈ Sq , nhân tử Lagrange tương ứng với tốn (Pq ) Ta có Cxq + p = λi i∈Sq Nếu λi ≥ với i ∈ Sq , xq nghiệm tối ưu toán (4.1) - (4.3) xq ∈ D Cịn có λj < với j ∈ Sq loại 51 51Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn bỏ j khỏi Sq chuyển tới Bước với xq+1 = xq Sq+1 = Sq \{j} Thường ta chọn j = iq với λiq = λi i∈Sq 4.2.3 Thuật tốn tập tích cực Các bước nêu kết hợp lại thành thuật toán sau Bước (Khởi sự) Chọn x1 ∈ D Đặt S1 := E ∪ I(x1 ) q = Bước Tìm nghiệm tối ưu dq tốn (Dq ) Nếu dq = 0, chuyển sang Bước 2; Nếu dq = 0, chuyển sang Bước 3; Bước Tính αq theo (4.8) Đặt xq+1 = xq + αq dq Nếu αq = αq = 1, đặt Sq+1 := Sq , q := q + trở lại Bước 1; trái lại (0 < αq < 1), tìm j ∈ / Sq cho aTj (xq + αq dq ) = bj (4.9) Đặt Sq+1 := Sq \{j}, q := q + trở lại Bước (q) (q) Bước Tính λi nghiệm Cxq + p = λ i i∈Sq (q) Nếu λi ≥ với i ∈ Sq ∩ I xq nghiệm tối ưu (q) (q) (q) (QP); trái lại, tìm iq cho λiq = min{λi : i ∈ Sq , λi < 0} Đặt Sq+1 := Sq \{iq }, xq+1 = xq , q := q + trở lại Bước 52 52Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn Hình 4.1 Sơ đồ khối thuật tốn tập tích cực 4.2.4 Ví dụ minh họa Giải qui hoạch toàn phương: (QP) với ràng buộc (x1 − 1)2 + (x2 − 2, 5)2 → min,   x1 − 2x2      −x1 − 2x2 −x1 + 2x2    x1     x2 ≥ −2, ≥ −6, ≥ −2, ≥ 0, ≥0 53 53Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Trong toán k = 0, m = 5, n = 2, E = ∅, I = {1, 2, 3, 4, 5}     −2 −2 −6 −1 −2      ; b = −2 ; p = −2 −1 C= ; A=     −5 0 1 0 0 Có tất ràng buộc, đánh số từ đến (ví dụ x1 ≥ ràng buộc thứ 4) Ta chọn điểm chấp nhận ban đầu x1 = (2; 0) tập S1 = I(x1 ) = {3, 5} Ta có Cx1 + p = 2 −2 + = −5 −5 Vòng lặp Giải toán (D1 ) (Cx1 + p)T d + 21 dT Cd = 2d1 − 5d2 + d21 + d22 → min, với ràng buộc d1 − 2d2 = 0, d2 = Hình 4.2 Hàm mục tiêu bậc hai lồi Rõ ràng d1 = lời giải tốn Vì ta thực Bước 3: tính nhân tử Lagrange λ3 λ5 tương ứng với S1 Các nhân tử nghiệm hệ phương trình (phần đầu điều kiện KKT cho tốn (D1 ): 54 54Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Cx1 + p = λ3 a3 + λ5 a5 hay λ3 −1 + λ5 = , −5 nghĩa −λ3 2λ3 + λ5 = −5 Từ λ3 = −2 λ5 = −1 Do λ3 có giá trị nhỏ nên ta loại số ràng buộc thứ khỏi S1 nhận S2 = {5} Đồng thời x2 = x1 = (2; 0)T với Cx2 + p = (2; −5)T Vòng lặp Giải toán (Cx2 + p)T d + 21 dT Cd = 2d1 − 5d2 + d21 + d22 → (D2 ) với d2 = Lời giải d2 = (−1; 0)T = ta chuyển tới Bước Do x2 + d2 = (1; 0)T chấp nhận (QP) nên ta đặt x3 = x2 + d2 = (1; 0)T với (Cx3 + p)T = (0; −5) Do khơng có ràng buộc chặn nên ta đặt S3 = S2 = {5} Vòng lặp Giải toán (D3 ) (Cx3 + p)T d + dT Cd = −5d2 + d21 + d22 → với d2 = Lời giải toán d3 = Nhân tử Lagrange λ5 nghiệm 0 = , −5 nghĩa λ5 = −5 < Ta loại khỏi S3 nhận S4 = ∅ Đồng thời x4 = x3 = (1; 0)T với (Cx4 + p)T = (0; −5) Cx3 + p = l5 a5 hay λ5 Vòng lặp Giải toán (D4 ) (Cx4 + p)T d + 21 dT Cd = −5d2 + d21 + d22 → với d ∈ R2 Lời giải d4 = (0; 2, 5)T Vì x4 + d4 = (1; 2, 5)T khơng chấp nhận được, ta tìm độ dài bước lớn α4 để trì tính chấp nhận dọc theo d4 Ta nhận α4 = 0, Vì x5 = x4 +α4 d4 = (1; 1, 5)T với Cx5 + p = (0; −2)T Ràng buộc thứ ràng buộc chặn Vì ta đặt S5 = {1} Vịng lặp Giải toán (D5 ) với ràng buộc (Cx5 + p)T d + 21 dT Cd = −2d2 + d21 + d22 → d1 − 2d2 = hay d1 = 2d2 Ta thấy (Cx5 + p)T d + 12 dT Cd = −2d2 + 5d22 lời giải d5 = (0, 4; 0, 2)T Do x5 + d5 = (1, 4; 1, 7)T chấp nhận khơng có 55 55Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ràng buộc chặn nên ta đặt S6 = S5 = {1} x6 = x5 +d5 = (1, 4; 1, 7)T với Cx6 + p = (0, 8; −1, 6)T Vịng lặp Giải tốn (D6 ) (Cx6 + p)T d + 21 dT Cd = 0, 8d1 − 1, 6d2 + d21 + d22 → với ràng buộc d1 − 2d2 = hay d1 = 2d2 Ta thấy (Cx6 + p)T d + 12 dT Cd = 5d22 lời giải d6 = Nhân tử Lagrange nghiệm λ1 a1 = Cx6 + p Từ đó, tính λ1 = 0, ≥ Vì thế, ta dừng trình giải lời giải cần tìm tốn (QP) x∗ = x6 = (1, 4; 1, 7)T 4.3 SỰ HỘI TỤ CỦA THUẬT TỐN Thuật tốn mơ tả Mục 4.2.3 cho thấy điểm lặp chấp nhận được, tức xq ∈ D với q hàm mục tiêu không tăng, tức Q(xq+1 ) ≤ Q(xq ) với q Hơn nữa, cần dq = (tức xq nghiệm tối ưu (Pq ) αq > 0, hàm mục tiêu giảm thực sự, tức Q(xq+1 ) < Q(xq ) Nếu thuật toán dừng sau số hữu hạn bước điểm lặp nhận nghiệm tối ưu toán ban đầu (4.1) - (4.3) Giả sử thuật tốn khơng dừng sau hữu hạn bước Do có hữu hạn ràng buộc nên xẩy trường hợp số phần tử Sq tăng mà khơng giảm Vì có vơ số số q cho dq = 0, nghĩa có vơ số số q cho xq nghiệm tối ưu (Pq ) Do số ràng buộc toán hữu hạn nên Sq có số hữu hạn tổ hợp khác dãy giá trị mục tiêu Q(xq ) có số hữu hạn phần tử Vì thế, phải có số q0 đủ lớn cho Q(xq+1 ) = Q(xq ) với q ≥ q0 (4.10) Khi với q ≥ q0 , xảy hai khả năng: αq = (4.11) 56 56Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn dq = 0, (4.12) Do có số hữu hạn ràng buộc nên thuật tốn khơng thể thêm ràng buộc vào tập Sq giảm ràng buộc khỏi tập Sq Do đó, phải có vơ số số q cho dq = 0, có vơ số số q cho dq = 0, Vì thế, tồn q2 > q1 > q0 cho q2 > q1 + dq1 = 0, dq2 = 0, dq = 0, q1 < q < q2 (4.13) Bổ đề 4.2 Giả sử q0 số thỏa mãn (4.10), Nếu q2 > q1 > q0 thỏa mãn (4.13) Sq2 = Sq1 Chứng minh Đặt x = xq0 Từ (4.11) - (4.12) suy xq = x với q ≥ q0 Theo (4.13) tồn λqi cho (q ) λ i , C x¯ + p = (4.14) i∈Sq1 Do dq1 +1 = 0, αq1 +1 = nên phải có j ∈ / Sq1 +1 cho j ∈ Sq1 +2 , j ∈ I(x) aTj dq1 +1 < (4.15) Vì dq1 +1 nghiệm tối ưu toán (Dq1 +1 ), nên dq1 +1 hướng giảm hàm mục tiêu, tức (Cx + p)T dq1 +1 < (4.16) Sử dụng (4.14), (4.16) Sq1 +1 = Sq1 \iq1 , ta nhận (q ) λiq aTiq dq1 +1 < 1 Theo cách xác định iq1 , điều có nghĩa aTiq1 dq1 +1 > (4.17) So sánh (4.15) - (4.17) cho thấy j = iq1 Từ suy điều cần chứng minh 57 57Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Sau định lý hội tụ phương pháp tập tích cực Định lý 4.1 Nếu với q, véctơ , i ∈ E ∪ I(xq ), độc lập tuyến tính Thuật toán 4.2.3 sinh dãy điểm hội tụ tới nghiệm tối ưu toán (4.1) - (4.3) sau hữu hạn bước toán (4.1) - (4.3) có nghiệm vơ hạn Chứng minh Giả sử hàm mục tiêu qui hoạch toàn phương (4.1) - (4.3) bị chặn Khi đó, dãy xq bị chặn Nếu nghiệm tối ưu toán (Dq ) dq = xq nghiệm (q) tối ưu (Pq ) với tập hoạt động Sq Nếu λi ≥ với i ∈ Sq ∩ I xq nghiệm tối ưu toán ban đầu (4.1) - (4.3) (q) Trái lại, tồn λiq < (iq ∈ Sq ∩ I) Từ ta tìm hướng giảm chấp nhận dq cho aTj dq = 0, j ∈ Sq , j = iq , aTiq dq > (q) (Cxq + p)T dq = (λ(q) )T ATq dq = (aTiq dq )(λ(q) )T eiq = (aTiq dq )λiq < Nếu ta aTj dq = 0, j ∈ Sq , j = iq , vào ràng buộc (Dq ), tức đặt Sq+1 := Sq \ {iq } tốn phụ nhận có hướng chấp nhận giảm Do αq > nên ta có Q(xq+1 ) < Q(xq ) Do số ràng buộc hữu hạn nên thuật tốn khơng quay lại tập hoạt động Sq có dãy xq hữu hạn Nếu dq = αq = Sq+1 := Sq toán phụ (Pq ) với Sq+1 không thay đổi xq+1 nghiệm tối ưu (Pq ) Chỉ dq = αq < xq+1 khơng cịn nghiệm tối ưu (Pq ) Lúc từ (4.9) Bước Thuật tốn 4.2.3, ta biết có số j ∈ / Sq cho ràng buộc j chấp nhận xq Chỉ số ràng buộc bổ sung vào tập Sq+1 Nếu thủ tục lặp lại nhiều lần sau nhiều n lần lặp tập hoạt động Sq chứa n số tương ứng với n véctơ độc lập tuyến tính, từ ràng buộc (Pq ) suy dq = Như vậy, thủ tục gồm nhiều n lần lặp Do có xq nghiệm tối ưu toán (Pq ) sau nhiều n lần lặp 58 58Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Gộp tất lập luận ta kết luận: trường hợp, thuật toán hội tụ sau hữu hạn lần lặp tới nghiệm tối ưu toán (4.1) - (4.3) 4.4 HÀM MỤC TIÊU KHƠNG LỒI Có thể dùng phương pháp tập tích cực giải tốn qui hoạch tồn phương khơng lồi với ma trận Hessian C có giá trị riêng âm Như thấy Chương 3, C ma trận khơng xác định tốn (Dq ) có nghiệm vơ hạn Khi đó, chọn hướng dq thỏa mãn aTi dq = với i ∈ Sq cho dTq CDq < (Cxq + p)T dq < 0, dTq Cdq = Nếu với i ∈ / Sq , aTi dq ≥ hàm mục tiêu toán ban đầu (4.1) - (4.3) khơng bị chặn Trái lại, tìm i ∈ / Sq , aTi dq < Khi với α > đủ lớn xq + αdq ∈ / D Trong trường hợp chọn αq lớn xq+1 = xq + αq dq ∈ D tiếp tục thuật toán từ điểm lặp xq+1 Tóm lại, chương trình bày phương pháp tập tích cực giải tốn qui hoạch tồn phương (lồi không lồi) với ràng buộc bất đẳng thức nêu ví dụ số minh họa 59 59Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn KẾT LUẬN Tối ưu hóa nghiên cứu tốn tìm cực trị hàm số, với điều kiện định đặt lên biến số Về tính tốn, tốn với ràng buộc tuyến tính nói chung đơn giản so với ràng buộc phi tuyến Tuy nhiên, trừ hàm mục tiêu tuyến tính, việc giải lớp tốn khơng phải đơn giản Luận văn đề cập tới cách giải toán qui hoạch tồn phương (tìm cực tiểu hàm bậc hai) với ràng buộc tuyến tính Luận văn đề cập tới điều kiện tối ưu (cần đủ) trình bày quan hệ đối ngẫu qui hoạch toàn phương lồi, tương tự quan hệ đối ngẫu qui hoạch tuyến tính Với hàm tồn phương khơng lồi, nói chung ta tìm điểm thoả mãn điều kiện cần tối ưu (điểm KKT) Với hàm tồn phương lồi điểm cực tiểu địa phương tìm điểm cực tiểu tồn cục Bài tốn qui hoạch tồn phương với ràng buộc đẳng thức tuyến tính (tìm cực tiểu tập afin) đưa tốn tìm cực tiểu tự hàm toàn phương với số biến số chiều tập afin Đáng ý phương pháp rút gọn biến phương pháp khử suy rộng, dùng phân tích thừa số Cholesky phân tích QR (dùng sở trực giao không gian hạch - null space) Với tốn có ràng buộc bất đẳng thức tuyến tính, ta dùng phương pháp tập tích cực dạng gốc, đưa giải dãy toán ràng buộc đẳng thức Có số phương pháp giải khác không nêu luận văn số trang có hạn: phương pháp tập tích cực dạng đối ngẫu gốc - đối ngẫu Tác giả luận văn hy vọng có dịp tìm hiểu nghiên cứu sâu tốn qui hoạch tồn phương không lồi quy hoạch phi tuyến, đặc biệt tính chất định tính cách giải máy tốn cụ thể 60 60Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn TÀI LIỆU THAM KHẢO [1] Trần Vũ Thiệu, Bùi Thế Tâm, Các phương pháp tối ưu hố Nxb Giao thơng Vận tải Hà Nội, 1998 [2] Trần Vũ Thiệu, Nguyễn Thị Thu Thủy, Nhập môn tối ưu phi tuyến Nxb Đại học Thái Nguyên, 2010 [3] R Fletcher, Practical Methods of Optimization, 2nd edition, John Siley & Sons 1987 229-255 [4] J Nocedal and S J Sright (1999), Numerical Optimization, Springer, 440-486 [5] J J Strodiot, Numerical Methods in Optimization, Namur - Belgium, 2002 [6] S Sun and Y-X Yuan, Optimization Theory and Methods - Nonlinear Programming, Springer 2006, pp 411-441 61 61Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... sau, xem xét cách giải qui hoạch toàn phương với ràng buộc bất đẳng thức tuyến tính Chương ? ?Phương pháp tập tích cực” trình bày phương pháp tập tích cực giải qui hoạch toàn phương với ràng buộc... vậy, phương pháp Lagrange tương đương với phương pháp khử suy rộng Tóm lại, chương giới thiệu phương pháp khử biến số giải qui hoạch toàn phương với ràng buộc đẳng thức tuyến tính Phương pháp. .. PHƯƠNG PHÁP TẬP TÍCH CỰC Hàm mục tiêu lồi Phương pháp tập tích cực tỏ có hiệu tốn quy hoạch tồn phương lồi cỡ nhỏ vừa (m n không lớn) Vì thế, trước hết ta trình bày phương pháp cho quy hoạch toàn phương