Qui hoạch toàn phương và bài toán bù tuyến tính

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC HÀ THỊ MINH TRANG QUI HOẠCH TOÀN PHƯƠNG VÀ BÀI TỐN BÙ TUYẾN TÍNH Quadratic Programming and the Linear Complementarity Problem Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: GS.TS Trần Vũ Thiệu Thái Nguyên - 2014 Mục lục Lời nói đầu Chương Kiến thức chuẩn bị ma trận 1.1 Ma trận xác định dương nửa xác định dương 1.2 Một số kết ma trận 1.3 P - ma trận 11 1.4 Kiểm tra tính xác định ma trận 12 1.5 Hàm lồi hàm toàn phương 15 Chương Bài tốn qui hoạch tồn phương 18 2.1 Phát biểu toán 18 2.2 Một số ứng dụng 19 2.3 Sự tồn nghiệm tối ưu 22 2.4 Điều kiện tối ưu 24 Chương Bài tốn bù tuyến tính 30 3.1 Nội dung toán 30 3.2 Khái niệm nón bù 33 3.3 Phương pháp liệt kê giải toán 35 3.4 Ứng dụng vào qui hoạch tuyến tính 39 3.5 Quan hệ với qui hoạch toàn phương 41 Kết luận 43 Lời nói đầu Qui hoạch toàn phương (Quadratic Programming, viết tắt QP) tốn tìm cực tiểu hàm bậc hai với ràng buộc tuyến tính: min{f (x) = xT Qx + cT x : x ∈ D}, (QP) Q ∈ S n (ma trận vuông đối xứng), c ∈ Rn D tập lồi đa diện cho trước Nếu Q xác định dương hay nửa xác định dương (QP) tốn qui hoạch tồn phương lồi, cịn Q khơng xác định (QP) tốn qui hoạch tồn phương khơng lồi Các tốn qui hoạch tồn phương quan tâm nghiên cứu, nhiều vấn đề nảy sinh thực tiễn diễn đạt dạng tốn (QP) Qui hoạch tồn phương, nói riêng qui hoạch tuyến tính (Linear Programming, viết tắt LP), liên quan chặt chẽ với tốn bù tuyến tính Bài tốn bù tuyến tính (Linear Complementarity Problem, viết tắt LCP), R W Cottle G B Dantzig [2] đề xuất năm 1968, toán tổng quát mơ tả thống tốn qui hoạch tuyến tính, qui hoạch tồn phương trị chơi song ma trận Các nghiên cứu tốn bù tuyến tính đem lại nhiều lợi ích, vượt xa kết cụ thể Chẳng hạn, thuật toán xoay bù (complementarity pivot algorithm) lúc đầu đề xuất cho toán bù tuyến tính mở rộng trực tiếp để tạo thuật tốn hiệu tính điểm bất động Brouwer Kakutani, tính trạng thái cân kinh tế, giải hệ phương trình phi tuyến tìm nghiệm tối ưu cho tốn qui hoạch phi tuyến Tương tự, phương pháp lặp đề xuất cho tốn bù tuyến tính tạo điều kiện tốt cho việc xử lý toán qui hoạch tuyến tính cỡ lớn mà khơng thể giải phương pháp đơn hình quen thuộc, kích thước tốn q lớn gây nhiều khó khăn tính tốn số Vì lẽ đó, lĩnh vực nghiên cứu tốn bù tuyến tính người ta dành nhiều giải thưởng có giá trị cao cho có thành tích xuất sắc học tập nghiên cứu tối ưu hóa gắn bó với nghiệp ứng dụng tối ưu thực tiễn Mục tiêu luận văn tìm hiểu trình bày khái qt tốn qui hoạch tồn phương (lồi khơng lồi ), tốn bù tuyến tính phân tích mối quan hệ tốn qui hoạch tồn phương tốn bù tuyến tính Nội dung luận văn viết thành ba chương: Chương 1: “Kiến thức chuẩn bị ma trận” nhắc lại khái niệm ma trận xác định dương, nửa xác định dương tóm tắt số kết lý thuyết bổ ích ma trận, cách kiểm tra tính xác định ma trận Các ma trận xác định dương nửa xác định dương liên quan chặt chẽ với hàm toàn phương qui hoạch toàn phương Các kiến thức sử dụng đến chương sau đề cập đến toán qui hoạch tồn phương tốn bù tuyến tính Chương 2: “Bài tốn quy hoạch tồn phương” trình bày nội dung tốn qui hoạch tồn phương, số ứng dụng toán, tồn nghiệm toán, đáng ý Định lý Frank - Wolfe (1956) Định lý Eaves (1971) Cuối chương trình bày định lý điều kiện cần tối ưu KKT cho nghiệm cực tiểu địa phương định lý điều kiện đủ tối ưu hàm mục tiêu f(x) lồi Chương 3: “Bài tốn bù tuyến tính” giới thiệu khái qt tốn bù tuyến tính cách tiếp cận tổ hợp giải tốn dựa khái niệm nón bù Phân tích mối quan hệ tốn bù tuyến tính với qui hoạch tuyến tính qui hoạch tồn phương, đặc biệt toán qui hoạch tuyến tính tốn qui hoạch tồn phương qui tốn bù tuyến tính Do thời gian kiến thức hạn chế nên chắn luận văn cịn có thiếu sót định, kính mong q thầy bạn đóng góp ý kiến để tác giả tiếp tục hồn thiện luận văn Trong trình học tập thực luận văn, nhận dạy bảo tận tình thầy giáo trường Đại học Khoa Học - Đại học Thái Nguyên Đặc biệt bảo, hướng dẫn trực tiếp GS TS Trần Vũ Thiệu Nhân dịp xin bày tỏ lòng biết ơn sâu sắc tới GS TS Trần Vũ Thiệu, tới Sở Giáo dục Đào tạo Hải Phòng, trường THPT An Dương - Hải Phòng, thầy cô giáo bạn đồng nghiệp giúp đỡ suốt thời gian qua Thái Nguyên, tháng năm 2014 Tác giả Hà Thị Minh Trang Chương Kiến thức chuẩn bị ma trận Chương nhắc lại khái niệm ma trận xác định dương, nửa xác định dương nêu số kết lý thuyết hữu ích ma trận, cách kiểm tra tính xác định ma trận Các ma trận xác định dương nửa xác định dương liên quan chặt chẽ với hàm toàn phương qui hoạch toàn phương Nội dung chương tham khảo chủ yếu từ tài liệu [1], [3] - [5] 1.1 Ma trận xác định dương nửa xác định dương Mục nhắc lại khái niệm ma trận xác định dương nửa xác định dương thường gặp qui hoạch toàn phương tốn bù tuyến tính Định nghĩa 1.1 Ma trận Q vuông cấp n, đối xứng hay không đối xứng, gọi xác định dương (positive definte matrix) xT Qx > với x ∈ Rn , x = 0; Q gọi nửa xác định dương (positive definte matrix) xT Qx ≥ với x ∈ Rn Ma trận Q gọi xác định âm (negative definite matrix) (nửa xác định âm - negative semidefinite matrix) - Q xác định dương (nửa xác định dương) Ma trận Q gọi không xác định (indefinite matrix) xT Qx dương với x âm với x khác Nếu Q không đối xứng, ta thay ma trận đối xứng Q + QT /2 mà không làm thay đổi tính xác định ma trận, xT Q + QT x = 2xT Qx Ví dụ 1.1 Cho ma trận A= −1 −1 D= ,B= −1 1 −1 −1 −1 ,E= ,C= 0 −1 −2 1 −2 Có thể thấy A xác định dương, B nửa xác định dương, C xác định âm, D nửa xác định âm E không xác định Định nghĩa 1.2 Cho Q = (qij ) ma trận vuông cấp n Giả sử {i1 , , ik } ⊆ {1, , n} tập số với phần tử xếp theo thứ tự tăng dần Xóa tất phần tử Q hàng i cột i với i ∈ / {i1 , , ik }, ta nhận ma trận cấp k × k Q   qi1 i1 · · · qi1 ik       qik i1 · · · qik ik Ma trận gọi ma trận (principal submatrix) Q xác định tập số {i1 , , ik } Bằng cách đặt J = {i1 , , ik }, ta ký hiệu ma trận QJJ Đó ma trận (qij : i ∈ J, j ∈ J} Định thức ma trận gọi định thức (principal determinatnt) Q xác định tập số J Ma trận Q xác định tập J = ∅ (tập rỗng) ma trận rỗng (không chứa phần tử nào) Qui ước định thức ma trận rỗng Ma trận Q xác định tập J = {1, , n} Q Ma trận Q xác định tập J = ∅ gọi ma trận khác rỗng (non-empty principal submatrix) Q Do số tập khác rỗng {1, , n} 2n − nên có tất 2n − ma trận khác rỗng Q Các ma trận Q xác định tập số J ⊂ {1, , n} gọi ma trận thực (proper principal submatrix) Q Vì thế, ma trận thực Q có cấp k ≤ n − Ví dụ 1.2 Cho      Q=   Ma trận cấp 1, tương ứng với J = {1} , {2} {3}, phần tử đường chéo 1, Ma trận cấp 2, tương ứng với J = {1, 2} , {1, 3} {2, 3} ma trận × sau đây: , Ma trận cấp × 3, tương ứng với J = {1, 2, 3}, Q Có tất 23 − = ma trận khác rỗng Định nghĩa 1.3 Ma trận cấp k Q, xác định tập số J = {1, , k}, tức ma trận nhận từ Q cách bỏ n − k hàng cột cuối, gọi ma trận chủ đạo (leading principal submatrix) cấp k Q Định thức ma trận chủ đạo gọi định thức chủ đạo (leading principal subdeterminant) Trong Ví dụ 1.2, ma trận chủ đạo cấp (bỏ hàng cột cuối) Ma trận chủ đạo cấp ma trận thứ ma trận cấp liệt kê ma trận chủ đạo cấp Q Số ma trận (định thức con) chủ đạo ma trận cấp n × n n 1.2 Một số kết ma trận Mục nêu số kết hữu ích nghiên cứu ma trận xác định dương nửa xác định dương Kết 1.1 Nếu A = (a11 ) ma trận cấp × A xác định dương a11 > A nửa xác định dương a11 ≥ Chứng minh.Giả sử y = (y1 ) ∈ R1 Khi đó, yT Ay =a11 y12 Vì yT Ay > với y ∈ R1 , y = 0, a11 > 0, A xác định dương a11 > Cũng vậy, yT Ay ≥ với y ∈ R1 a11 ≥ 0, A nửa xác định dương a11 ≥ Kết 1.2 Nếu Q ma trận xác định dương (đối xứng hay không đối xứng) ma trận Q xác định dương Chứng minh Xét ma trận G xác định tập số {1, 2} G= q11 q12 Giả sử z = q21 q22 y1 y2 Lấy y = (y1 , y2 , 0, 0, , 0)T Khi y T Qy = z T Gz Tuy nhiên, Q xác định dương nên y T Qy > với y = Do z T Gz > với z = Vì G xác định dương Dùng lập luận tương tự chứng minh ma trận Q xác định dương Kết 1.3 Nếu Q xác định dương qii > với i Chứng minh suy từ Kết 1.2 Kết 1.4 Nếu Q ma trận nửa xác định dương (đối xứng hay không đối xứng) ma trận Q nửa xác định dương Chứng minh tương tự chứng minh Kết 1.2 Kết 1.5 Nếu Q ma trận nửa xác định dương qii ≥ với i Chứng minh suy từ Kết 1.4 Kết 1.6 Cho Q ma trận nửa xác định dương Nếu qii = qij + qji = với j Q không đối xứng qij = qji = với j Q đối xứng Chứng minh Để xác định, giả sử q11 = giả sử q12 + q21 = Theo kết 1.4, ma trận chính: q11 q12 = q21 q22 q12 q21 q22 phải nửa xác định dương, nghĩa q22 y22 + (q12 + q21 ) y1 y2 ≥ với y1 , y2 Do q12 + q21 = nên chọn y1 = (−q22 − 1) / (q12 + q21 ) y2 = bất đẳng thức trước trở thành −1 ≥ 0, ta gặp mâu thuẫn Vậy phải có q12 + q21 = Trường hợp Q đối xứng q12 = q21 Theo q12 + q21 = Từ suy 2q12 = 2q21 = 0, tức q12 = q21 = Định nghĩa 1.4 (Bước xoay Gauss - Gaussian Pivot Step) Cho A = (aij ) ma trận cấp m × n Phần tử hàng r, cột s ars Với ars = 0, bước xoay Gauss biến đổi ma trận A theo công thức: aij → aij = aij − arj × (ais /ars ) với i = r + 1, , m j = 1, , n tức trừ hàng i > r bội số thích hợp (cụ thể ais /ars ) hàng r Có thể thấy ais = với i > r Ở bước xoay này, hàng r gọi hàng xoay (pivot row), cột s gọi cột xoay (pivot column) ars gọi phần tử trụ(pivot element) Bước xoay Gauss gọi tắt phép xoay (r, s) A thực ars = (r < m) Ví dụ 1.3 Phép xoay (1, 2) (a12 = phần tử trụ) ma trận A biến A thành B:     2 −2 2 −2      ⇒ B =   A =     −2 −2 Kết 1.7 Cho D ma trận vuông đối xứng cấp n ≥ Giả sử D xác định dương Thực phép xoay (1, 1) D để biến phần tử cột 1, trừ phần tử đầu, thành Ta nhận ma trận E Giả sử E1 ma trận nhận từ E cách bỏ hàng cột Khi đó, E1 cịn đối xứng xác định dương Ví dụ 1.4 Với phép xoay (1, 1) ma trận D vuông đối xứng xác định dương (cấp 3) ta nhận ma trận E1 vuông đối xứng xác định dương (cấp 2): Kết 1.8 Ma trận vuông Q xác định dương (hay nửa xác định dương) Q + QT xác định dương (hay nửa xác định dương) Chứng minh Suy từ đẳng thức xT Q + QT x = 2xT Qx Kết 1.9 Giả sử Q ma trận vuông cấp n A ma trận cấp m × n Khi ma trận vng: E= Q −AT A cấp (m + n) nửa xác định dương Q nửa xác định dương T T Chứng minh Đặt z = (y1 , , yn , t1 , , tm ) ∈ Rm+n y = (y1 , , yn ) Với z ta có zT Ez = yT Qy Vì zT Ez ≥ với z ∈ Rm+n yT Qy ≥ với y ∈ Rn , nghĩa E nửa xác định dương Q nửa xác định dương Kết 1.10 Nếu B ma trận vuông (cấp n) khơng suy biến ma trận D = BT B ma trận đối xứng xác định dương Chứng minh Tính đối xứng DT = BT B T T = BT B = D Với y ∈ Rn , y = 0, ta có yT Dy = yT BT B y = (By) By = ||By|| > By = 0(B không suy biến y = kéo theo By = 0) Vì D xác định dương Kết 1.11 Nếu A ma trận tùy ý (vuông hay chữ nhật) AAT AT A đối xứng nửa xác định dương Chứng minh Tương tự chứng minh Kết 1.10 Ví dụ 1.5 Với ma trận A cho AAT xác định dương AT A nửa xác định dương   A= ⇒ AT =  0 1 −1 −1   −1 ⇒ AAT = , AT A =  0 −1 1       −1   −1 • Nếu Q xác định dương nghịch đảo Q−1 tồn xác định dương • Sau số kết liên quan đến định thức ma trận xác định dương nửa xác định dương Kết 1.12 Cho Q ma trận xác định dương, đối xứng hay không đối xứng Mọi định thức Q số dương Nói riêng, detQ > Kết 1.13 Cho Q ma trận nửa xác định dương, đối xứng hay không đối xứng Mọi định thức Q khơng âm Nói riêng, detQ ≥ Kết 1.14 (Tiêu chuẩn Silvester) a) Để cho ma trận vuông đối xứng Q xác định dương điều kiện cần đủ định thức chủ đạo Q dương, tức ∆1 > 0, ∆2 > 0, , ∆n > 0, q11 q12 · · · q1n ∆1 = |q11 | , ∆2 = q11 q12 q21 q22 , , ∆n = q21 q22 · · · q2n qn1 qn2 · · · qnn b) Để cho ma trận vuông đối xứng Q xác định âm điều kiện cần đủ định thức chủ đạo Q luân phiên đổi dấu, định thức n có dấu âm, tức ∆1 < 0, ∆2 > 0, , (−1) ∆n > Ví dụ 3.1 (Bài tốn chiều: n = 1) Cho trước hai số thực q, m ∈ R, tìm hai biến số z, w ∈ R cho: w = q + mz z w z(q + mz) = Đó tốn bù tuyến tính R Hình 3.1 minh hoạ hình ảnh hình học tốn trường hợp q > 0, m > Bài toán ví dụ có nghiệm z = 0, w = q z q + mz z(q + mz) = Hình 3.1: Bài tốn bù tuyến tính R Nói chung, tốn có nghiệm? Câu trả lời cho bảng sau (tùy thuộc giá trị q m) q0 m0 1 Bảng 3.1: Số nghiệm LCP R Có thể phát biểu tốn bù (Complementarity Problem, viết tắt CP) dạng tổng quát sau: Cho ánh xạ F : Rn → Rn Tìm véctơ khơng âm z ∈ Rn cho ảnh F (z) véctơ không âm hai véctơ z F (z) vng góc nhau, tức z T F (z) = Tầm quan trọng tốn bù chỗ dạng tốn học chung cho lớp rộng toán nảy sinh từ nhiều lĩnh vực khoa học khác nhau, qui hoạch tốn học, lý thuyết trị chơi, kinh tế, học, vật lý, v.v Trong toán bù LCP cấp n có 2n biến Xét ví dụ sau với n = 31 Ví dụ 3.2 Với liệu đầu vào q= −5 , M= −6 , tốn bù tuyến tính LCP (q, M ) có dạng    w1 − 2z1 − z2 = −5,    w2 − z1 − 2z2 = −6     z1 , z2 , w1 , w2 z1 w1 = z2 w2 = (3.3) Bài tốn (3.3) viết lại dạng phương trình véctơ sau w1 + w2 + z1 z1 , z2 , w1 , w2 −2 −1 + z2 −1 −2 = −5 −6 , (3.4) z1 w1 = z2 w2 = (3.5) Một nghiệm thỏa mãn (3.5) có biến cặp (zj , wj ) phải Một cách tiếp cận tổ hợp giải toán chọn biến từ cặp (z1 , w1 ), (z2 , w2 ) cho cố định biến chọn giá trị (3.4) Các biến lại hệ gọi biến hữu ích (usable variable) Sau loại khỏi (3.4) biến giá trị 0, hệ cịn lại có nghiệm với biến hữu ích khơng âm nghiệm cho nghiệm toán bù (3.4) - (3.5) Chẳng hạn, (3.4) cho hai biến w1 = w2 = ta nhận hệ z1 −2 −1 + z2 −1 −2 = −5 −6 = q1 q2 = q, z1 0, z2 (3.6) Phương trình (3.6) có nghiệm biểu diễn véctơ q dạng tổ hợp tuyến tính khơng âm hai véctơ (−2, −1)T (−1, −2)T Tập hợp tất tổ hợp tuyến tính khơng âm (−2, −1)T (−1, −2)T nón khơng gian (q1 , q2 ) vẽ Hình 3.2 Chỉ véctơ cho q = (−5, −6)T nằm nón tốn bù (3.3) có nghiệm với biến hữu ích z1 , z2 Ta kiểm tra lại điểm (−5, −6)T thuộc nón nghiệm hệ (3.6) (z1 , z2 ) = , nghiệm hệ (3.3) 3 (w1 , w2 , z1 , z2 ) = 0, 0, , 3 32 Hình 3.2: Minh họa khái niệm nón bù Nón vẽ Hình 3.2 gọi nón bù (compementarity cone) tương ứng với tốn bù LCP dạng (3.3) Các nón bù khái niệm mở rộng góc phần tư hay orthant mặt phẳng tọa độ vuông góc 3.2 Khái niệm nón bù Trong tốn bù LCP (q, M ) nón bù xác định ma trận M Cịn véctơ q khơng có vai trị hình thành nón bù Giả sử M = (mij ) ma trận vuông cấp n cho trước Ký hiệu Mj véctơ cột thứ j M , nghĩa Mj = (m1j , , mnj )T , ej véctơ cột đơn vị thứ j Rn (j = 1, , n) Khi đó, cặp véctơ cột (ej , Mj ) gọi cặp véctơ bù (compementarity pair of vectors) thứ j, j = 1, , n Chọn véctơ từ cặp (ej , Mj ) gọi véctơ Aj Tập tất véctơ có dạng (A1 , , An ) gọi tập véctơ bù (compementarity set of vectors) Nón Pos(A1 , , An ) xác định Pos(A1 , , An ) ≡ {y ∈ Rn : y = α1 A1 + + αn An , α1 0, , αn 0} gọi nón bù (compementarity cone) Ký hiệu C(M) tập tất nón bù xây dựng theo cách Rõ ràng có tất 2n nón bù Ví dụ 3.3 Giả sử n = M = I (ma trận đơn vị cấp 2) Trong trường hợp tập C(I) gồm bốn góc phần tư (orthants) R2 Như vậy, tập nón bù mở rộng tập orthant (Hình 3.3) 33 Hình 3.3: Khi M = I nón bù góc phần tư Hình 3.4 3.5 cung cấp thêm số ví dụ nón bù −1 Hình 3.4: Các nón bù M = −2 1 −2 Hình 3.5: Các nón bù M = Trong ví dụ vẽ Hình 3.6, hai véctơ {e1 , −M2 } phụ thuộc tuyến tính nên nón Pos(e1 , −M2 ) có phần rỗng Nón bao gồm tất điểm trục hồnh (trục tơ đậm) Hình 3.6 Ba nón bù cịn lại có phần khác rỗng 34 1 Hình 3.6: Các nón bù M = Giả sử Pos(A1 , , An ) nón bù tập C(M) Nón gọi nón bù khơng suy biến (nondegenerate complementarity cone) nón có phần khác rỗng, tức hệ véctơ {A1 , , An } độc lập tuyến tính gọi nón bù suy biến (degenerate complementarity cone) phần nón rỗng, trường hợp xảy hệ véctơ {A1 , , An } phụ thuộc tuyến tính Chẳng hạn, tất nón bù Hình 3.3, 3.4 3.5 khơng suy biến Ở Hình 3.6, Pos(e1 , −M2 ) nón bù suy biến, ba nón bù cịn lại đếu không suy biến 3.3 Phương pháp liệt kê giải tốn Trước trình bày phương pháp liệt kê giải tốn bù tuyến tính ta nhắc lại nội dung tốn: Cho ma trận M vng cấp n véctơ cột q ∈ Rn Bài toán LCP (q, M ) tương đương với tốn tìm nón bù thuộc tập C(M ) chứa q, nghĩa tìm tập véctơ bù {A1 , , An } cho: (i) Aj ∈ {ej , −Mj } với j = 1, , n, (ii) q biểu diễn dạng tổ hợp tuyến tính khơng âm A1 , , An , Mj véc tơ cột thứ j M ej véctơ cột đơn vị thứ j Rn Điều tương đương với tìm w ∈ Rn z ∈ Rn thỏa mãn n n ej w j − j=1 Mj zj = q j=1 zj ≥ 0, wj ≥ với j zj = wj = với j Với ký hiệu ma trận là: w − Mz = q 35 (3.7) z 0, w (3.8) zj wj = 0, j = 1, , n (3.9) n zj wj = z T w = Điều kiện Điều kiện (3.8) (3.9) tương đương với j=1 gọi ràng buộc bù (complementarity constraint) Trong nghiệm toán LCP (q, M ), biến cặp (zj , wj ) số dương biến phải Vì cặp (zj , wj ) gọi cặp biến bù (complementarity pair of variables) thứ j biến cặp gọi phần tử bù (complement) biến Trong (3.7) véctơ cột tương ứng với biến wj véctơ đơn vị ej Rn véctơ cột tương ứng với zj - Mj (Mj véctơ cột thứ j M ), j = 1, , n Cặp (ej , −Mj ) gọi cặp véctơ bù thứ j véctơ cột LCP (q, M ) Với j = 1, , n, lấy yj ∈ (zj , wj ) đặt Aj véctơ tương ứng với yj (3.7) Vì Aj ∈ {ej , −Mj } Khi đó, y = (y1 , , yn )T véctơ biến bù toán LCP Tập thứ tự {A1 , , An } tập véctơ bù tương ứng với biến bù y ma trận A gồm véctơ cột A1 , , An theo thứ tự gọi ma trận bù (complemetarity matrix) tương ứng với véctơ biến bù y Nếu {A1 , , An } độc lập tuyến tính y gọi véctơ biến bù sở (complementarity basic vector of variables) toán LCP ma trận bù A gồm véctơ A1 , , An theo thứ tự gọi sở bù (complementarity basic) (3.7) tương ứng với véctơ biến bù sở y Nón Pos(A1 , , An ) = {x ∈ Rn : x = α1 A1 + + αn An , α1 0, , αn 0} nón bù thuộc tập C(M ) tương ứng với tập véctơ bù {A1 , , An } hay tương ứng với véctơ biến bù y Một nghiệm (solution) tốn LCP (q, M ) ln hiểu cặp biến (z, w) thỏa mãn tất ràng buộc (3.7) - (3.9) Một véctơ sở chấp nhận bù (complementarity feasible basic vec-tor) toán LCP véctơ sở bù thỏa mãn tính chất q biểu diễn tổ hợp tuyến tính khơng âm véctơ cột sở bù tương ứng Như véctơ sở chấp nhận bù nghiệm toán bù LCP Hợp tất nón bù tương ứng với ma trận vng M cho ký hiệu K(M ) Rõ ràng K(M ) tập tất véctơ q mà LCP (q, M ) có nghiệm 36 Ta nói véctơ z dẫn tới nghiệm (leads to a solution) toán bù LCP (q, M ) cặp biến (w = M z + q, z) nghiệm toán LCP Để minh họa, bảng sau liệt kê tất véctơ biến bù ma trận bù tương ứng toán bù cấp (n = 2) cho (3.3) Véctơ biến bù Ma trận bù tương ứng   −2   −1  (z1 , z2 ) −2   −1  (z1 , w2 ) 1    (w1 , z2 ) 1   (w1 , w2 ) −1   −2  0    −1   −2  0   Do ma trận bù (3.3) không suy biến nên tất véctơ bù véctơ sở bù ma trận bù sở bù toán LCP Do q = (−5, −6)T (3.3) biểu diễn tổ hợp tuyến tính khơng âm véctơ bù tương ứng với biến (z1 , z2 ) nên (z1 , z2 ) véctơ sở chấp nhận bù tốn LCP Có thể vẽ tất nón bù tương ứng với tốn LCP mặt phẳng kiểm tra lại tốn LCP hợp tất nón bù tập K(M ) = R2 (xem Hình 3.7) Hình 3.7: Các nón bù M = hợp K(M ) = R2 Bây xét toán LCP (q, M ) cấp n Ràng buộc bù (3.9) kéo theo 37 nghiệm bù toán LCP với j = 1, , n ta phải có zj = wj = Điều làm cho toán LCP giống toán tổ hợp tốn phi tuyến Từ tự động dẫn tới phương pháp liệt kê tìm nghiệm tốn LCP sau: Có tất 2n véctơ biến bù Giả sử: y k = (y1k , , ynk ), k = 1, , 2n Trong yik ∈ {zj , wj } với j = 1, , n tất véctơ biến bù Giả sử Bk ma trận bù tương ứng với y k , k = 1, , n Giải hệ (Pk ): Bk y k = q, yk (Pk ) Có thể giải hệ cách dùng pha I phương pháp đơn hình qui hoạch tuyến tính phương pháp giải hệ phương trình bất phương trình tuyến tính Nếu hệ có nghiệm chấp nhận y k y k = y k biến khác khơng có y k nghiệm toán LCP (q, M ) Nếu ma trận bù Bk suy biến hệ (Pk ) vơ nghiệm có hay vơ số nghiệm chấp nhận Mỗi nghiệm chấp nhận (Pk ) dẫn tới nghiệm toán LCP (q, M ) nói Nếu việc lặp lại cho k = 1, , 2n nhận tất nghiệm tốn LCP (q, M ) Cách trình bày mục 3.1 để giải toán LCP cấp xét Ví dụ 3.2 thực theo phương pháp liệt kê Phương pháp liệt kê tiện dùng n = 2, 22 = nhỏ cần kiểm tra xem hệ (Pk ) có nghiệm với k khơng Ta vẽ nón bù tương ứng mặt phẳng kiểm tra xem nón có chứa q khơng Khi n > 2, đặc biệt với n lớn, phương pháp liệt kê trở nên khơng thực tế 2n tăng nhanh Trong tài liệu chuyên toán bù LCP có trình bày thuật tốn hiệu qủa cho lớp toán bù đặc biệt, nảy sinh số ứng dụng thực tiễn Nói chung, tốn bù tuyến tính tốn khó (hard problem) Luận văn hạn chế trình bày thuật tốn liệt kê, bảo đảm giải tốn bù tuyến tính tổng quát 38 3.4 Ứng dụng vào qui hoạch tuyến tính Xét tốn qui hoạch tuyến tính dạng chuẩn sau min{f (x) = cT x : Ax b, x 0}, (3.10) A ∈ Rm×n , b ∈ Rm c ∈ Rn cho trước, x ∈ Rn véctơ biến cần tìm Giả sử x nghiệm tối ưu toán (3.10), theo lý thuyết đối ngẫu qui hoạch tuyến tính, tồn véctơ biến đối ngẫu y ∈ Rm , biến bù gốc v ∈ Rm biến bù đối ngẫu u ∈ Rn thỏa mãn u −AT − v A x × c = −b y , (3.11) = (3.12) T x u 0, y v x u y v Ngược lại, x, y, u, v thỏa mãn ràng buộc (3.11), (3.12) x nghiệm tối ưu (3.10) Đặt z= x ,w = u y ,q = v c −b ,M = −AT A Khi đó, hệ (3.11), (3.12) tốn LCP (q, M ) cấp n + m dạng (3.7), (3.9) Có thể giải qui hoạch tuyến tính (3.10) cách giải tốn bù tuyến tính (3.11) - (3.12) Cũng vậy, cặp biến bù khác toán bù (3.11) - (3.12) trùng với cặp (biến gốc, biến đối ngẫu) qui hoạch tuyến tính (3.10) đối ngẫu Ví dụ 3.4 Để làm ví dụ ta xét tốn qui hoạch tuyến tính sau 2x1 + 5x2 + 4x3 → với điều kiện: x1 3x1 + x2 + x3 x1 + x2 + 2x3 0, x2 0, x3 39 Thêm vào biến bù v1 , v2 đưa ràng buộc bất đẳng thức dạng đẳng thức: 3x1 + x2 + x3 − v1 = hay v1 = 3x1 + x2 + x3 − x1 + x2 + 2x3 − v2 = hay v2 = x1 + x2 + 2x3 − • Đối ngẫu tốn qui hoạch tuyến tính xét tốn 2x1 + 5x2 + 4x3 → max với điều kiện: 3y1 + y2 2, y1 + y2 y1 + 2y2 4, y1 5, 0, y2 Thêm vào biến bù u1 , u2 , u3 đưa ràng buộc đối ngẫu dạng đẳng thức: 3y1 + y2 + u1 = hay u1 = − 3y1 − y2 y1 + y2 + u2 = hay u2 = − y1 − y2 y1 + 2y2 + u3 = hay u3 = − y1 − 2y2 • Khi đó, theo lý thuyết đối ngẫu qui hoạch tuyến tính, hệ ràng buộc gốc đối ngẫu với điều kiện độ lệch bù tối ưu là: 3x1 + x2 + x3 − v1 − v2 x1 + x2 + 2x3 3y1 + y2 =4 =5 + u1 y1 + y2 =2 + u2 y1 + 2y2 =5 + u3 = x1 , x2 , x3 , y1 , y2 , u1 , u2 , u3 , v1 , v2 x1 u1 = x2 u2 = x3 u3 = y1 v1 = y2 v2 = Đây tốn bù tuyến tính dạng (3.11) - (3.12): u1 u2 u3 v1 v2 x1 x2 x3 y1 y2 q 0 0 0 0 0 0 1 0 0 0 0 -3 -1 -1 0 -4 0 0 -1 -1 -2 0 -5 u1 , u2 , u3 , v1 , v2 , x1 , x2 , x3 , y1 , y2 x1 u1 = x2 u2 = x3 u3 = y1 v1 = y2 v2 = 40 3.5 Quan hệ với qui hoạch toàn phương Bài tốn bù tuyến tính LCP(q, M ) qui qui hoạch toàn phương: min{ϕ(z) = z T (q + M z) : q + M z 0, z 0} Để ý ϕ(z) = z T (q + M z) = q T z + z T (M + M T )z với (M + M T ) ma trận vuông đối xứng Ký hiệu D = {z ∈ Rn : q + M z 0, z 0} miền ràng buộc toán Nếu D = hàm bậc hai ϕ bị chặn (bởi 0) D Vì thế, theo Định lý Frank - Wolfe ϕ đạt cực tiểu D, nghĩa toán bù LCP (q, M ) có nghiệm Ngược lại, tốn qui hoạch tồn phương: min{f (x) = xT Qx + cT x : Ax b, x 0}, (QP) Q ∈ S n (ma trận vuông đối xứng cấp n), A ∈ Rm×n , b ∈ Rm xem toán bù Thật vậy, theo Định lý 2.3, để véctơ x ∈ Rn nghiệm tối ưu tốn (QP) điều kiện cần tìm véctơ y ∈ Rm , u ∈ Rn , v ∈ Rm nghiệm u − v u Q −AT x A y 0, x 0, y v c = , (3.13) = (3.14) −b u x v y Các điều kiện (3.13) - (3.14) điều kiện KKT (QP) Thêm vào đó, hàm mục tiêu f (x) (QP) hàm lồi, tức Q ma trận nửa xác định dương, x ∈ Rn thỏa mãn điều kiện KKT (QP) theo Định lý 2.5, x nghiệm tối ưu toán (QP) Hệ (3.13), (3.14) tốn bù tuyến tính LCP (q, M ) cấp n + m dạng (3.7) - (3.9) với z= x y ,w = u c ,q = −b v ,M = Q −AT A Vì thế, giải qui hoạch tồn phương (QP) với hàm mục tiêu lồi cách giải toán bù tuyến tính (3.13), (3.14) 41 Trường hợp riêng Q = 0, toán (QP) trở thành toán qui hoạch tuyến tính dạng (3.10) hệ điều kiện (3.13) - (3.14) trở thành hệ điều kiện xét (3.11) - (3.12) Ví dụ 3.5 Xét tốn qui hoạch toàn phương f (x) = xT Qx + cT x = x21 + 4x22 − 8x1 − 16x2 → với điều kiện: −x1 − x2 −5, −x1 −3, x1 0, x2 Dữ liệu biến toán bao gồm Q= ,A = −1 −1 −1 ,b = −5 ,c = −3 −8 −16 Dễ thấy ma trận Q xác định dương nên hệ điều kiện KKT sau cần đủ cho nghiệm cực tiểu toàn cục toán: − 2x1 u1 − y1 − y2 = −8 − 8x2 − y1 u2 v1 = −16 + x1 + x2 =5 v2 + x1 =3 x1 , x2 , y1 , y2 , u1 , u2 , v1 , v2 x1 u1 = x2 u2 = y1 v1 = y2 v2 = Đây tốn bù tuyến tính dạng (3.13) - (3.14): u1 0 u2 0 v1 0 v2 0 x1 -2 1 x2 -8 y1 -1 -1 0 x1 , x2 , y1 , y2 , u1 , u2 , v1 , v2 y2 -1 0 q -8 -16 x1 u1 = x2 u2 = y1 v1 = y2 v2 = Giải hệ điều kiện KKT nêu trên, tức giải tốn bù tuyến tính, ta nhận nghiệm tối ưu qui hoạch toàn phương x∗ = (3, 2)T với fmin = - 31 (tương ứng với y ∗ = (0, 2)T u∗ = v ∗ = (0, 0)T ) Tóm lại, chương trình bày khái qt tốn bù tuyến tính, cách giải tốn dựa khái niệm nón bù tốn qui hoạch tuyến tính qui hoạch tồn phương qui tốn bù tuyến tính 42 Kết luận Qui hoạch toàn phương cầu nối qui hoạch tuyến tính qui hoạch phi tuyến phận quan trọng qui hoạch phi tuyến nghiên cứu kỹ, đặc biệt qui hoạch toàn phương lồi Bài tốn qui hoạch tồn phương nói chung tốn qui hoạch tuyến tính nói riêng liên quan mật thiết với tốn bù tuyến tính Luận văn đã trình bày nội dung cụ thể sau: Các kiến thức sở số kết lý thuyết cần thiết ma trận xác định dương, nửa xác định dương, cách kiểm tra tính xác định ma trận Các ma trận xác định dương nửa xác định dương liên quan chặt chẽ với hàm toàn phương qui hoạch toàn phương Một số kết qủa lý thuyết tốn qui hoạch tồn phương (lồi hay khơng lồi) số ứng dụng toán Xét tồn nghiệm (Định lý Frank - Wolfe Định lý Eaves) định lý điều kiện cần tối ưu KKT cho cực tiểu địa phương định lý điều kiện đủ tối ưu cho hàm mục tiêu lồi Nội dung tốn bù tuyến tính, phương pháp liệt kê giải tốn bù tuyến tính dựa khái niệm nón bù mối quan hệ qui hoạch tuyến tính qui hoạch tồn phương với tốn bù tuyến tính Có thể xem luận văn bước tìm hiểu ban đầu chủ đề tốn bù tuyến tính mối quan hệ với tốn qui hoạch tồn phương Tác giả luận văn hy vọng có dịp tìm hiểu nghiên cứu sâu lớp toán quan trọng lý thuyết tối ưu, đặc biệt ứng dụng phương pháp giải tốn bù tuyến tính phi tuyến 43 Tài liệu tham khảo [1] T V Thiệu, Ng T T Thủy Giáo trình tối ưu phi tuyến Nxb Đại học Quốc gia Hà Nội, 2011 [2] R W Cottle and G B Dantzig Complementary Pivot Theory of Mathematical Programming Linear Algebra and its Applications, 1:103-125, 1968 [3] R W Cottle, J-S Pang, and R E Stone The Linear Complementarity Problem Academic Press, San Diego, 1992 [4] B C Eaves On quadratic programming Management Science, 17 (1971), 698 - 711 [5] F Facchinei and J-S Pang Finite-Dimensional Variational Inequalities and Complementarity Problems, Volume I Springer-Verlag, 2000 [6] G M Lee, Ng N Tam and Ng D Yen Quadratic Programming and Affine Variation Inequalities Springer New York, 2005 [7] S Leyffer Mathematical Programs with Complementarity Constraints SIAG/OPT Views-and-News, 14:15–18, 2003 44 Luận văn với đề tài:" Qui hoạch tồn phương tốn bù tuyến tính" học viên Hà Thị Minh Trang chỉnh sửa theo ý kiến đóng góp Hội đồng chấm luận văn họp trường Đại học Khoa học - Đại học Thái Nguyên ngày 21 tháng 06 năm 2014 Thái Nguyên, ngày 24 tháng năm 2014 Người hướng dẫn khoa học GS.TS Trần Vũ Thiệu 45 ... nón bù tốn qui hoạch tuyến tính qui hoạch tồn phương qui tốn bù tuyến tính 42 Kết luận Qui hoạch tồn phương cầu nối qui hoạch tuyến tính qui hoạch phi tuyến phận quan trọng qui hoạch phi tuyến. .. Phân tích mối quan hệ tốn bù tuyến tính với qui hoạch tuyến tính qui hoạch tồn phương, đặc biệt toán qui hoạch tuyến tính tốn qui hoạch tồn phương qui tốn bù tuyến tính Do thời gian kiến thức... tốn bù tuyến tính tốn khó (hard problem) Luận văn hạn chế trình bày thuật tốn liệt kê, bảo đảm giải tốn bù tuyến tính tổng qt 38 3.4 Ứng dụng vào qui hoạch tuyến tính Xét tốn qui hoạch tuyến tính