Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)

Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)Qui hoạch toàn phương và bài toán bù tuyến tính ( Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC HÀ THỊ MINH TRANG QUI HOẠCH TỒN PHƯƠNG VÀ BÀI TỐN BÙ TUYẾN TÍNH Quadratic Programming and the Linear Complementarity Problem Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: GS.TS Trần Vũ Thiệu Thái Nguyên - 2014 Mục lục Lời nói đầu Chương Kiến thức chuẩn bị ma trận 1.1 Ma trận xác định dương nửa xác định dương 1.2 Một số kết ma trận 1.3 P - ma trận 11 1.4 Kiểm tra tính xác định ma trận 12 1.5 Hàm lồi hàm toàn phương 15 Chương Bài tốn qui hoạch tồn phương 18 2.1 Phát biểu toán 18 2.2 Một số ứng dụng 19 2.3 Sự tồn nghiệm tối ưu 22 2.4 Điều kiện tối ưu 24 Chương Bài tốn bù tuyến tính 30 3.1 Nội dung toán 30 3.2 Khái niệm nón bù 33 3.3 Phương pháp liệt kê giải toán 35 3.4 Ứng dụng vào qui hoạch tuyến tính 39 3.5 Quan hệ với qui hoạch toàn phương 41 Kết luận 43 Lời nói đầu Qui hoạch toàn phương (Quadratic Programming, viết tắt QP) tốn tìm cực tiểu hàm bậc hai với ràng buộc tuyến tính: min{f (x) = xT Qx + cT x : x ∈ D}, (QP) Q ∈ S n (ma trận vng đối xứng), c ∈ Rn D tập lồi đa diện cho trước Nếu Q xác định dương hay nửa xác định dương (QP) tốn qui hoạch tồn phương lồi, Q khơng xác định (QP) tốn qui hoạch tồn phương khơng lồi Các tốn qui hoạch tồn phương quan tâm nghiên cứu, nhiều vấn đề nảy sinh thực tiễn diễn đạt dạng tốn (QP) Qui hoạch tồn phương, nói riêng qui hoạch tuyến tính (Linear Programming, viết tắt LP), liên quan chặt chẽ với tốn bù tuyến tính Bài tốn bù tuyến tính (Linear Complementarity Problem, viết tắt LCP), R W Cottle G B Dantzig [2] đề xuất năm 1968, tốn tổng qt mơ tả thống tốn qui hoạch tuyến tính, qui hoạch tồn phương trò chơi song ma trận Các nghiên cứu tốn bù tuyến tính đem lại nhiều lợi ích, vượt xa kết cụ thể Chẳng hạn, thuật toán xoay bù (complementarity pivot algorithm) lúc đầu đề xuất cho toán bù tuyến tính mở rộng trực tiếp để tạo thuật tốn hiệu tính điểm bất động Brouwer Kakutani, tính trạng thái cân kinh tế, giải hệ phương trình phi tuyến tìm nghiệm tối ưu cho toán qui hoạch phi tuyến Tương tự, phương pháp lặp đề xuất cho tốn bù tuyến tính tạo điều kiện tốt cho việc xử lý toán qui hoạch tuyến tính cỡ lớn mà khơng thể giải phương pháp đơn hình quen thuộc, kích thước tốn q lớn gây nhiều khó khăn tính tốn số Vì lẽ đó, lĩnh vực nghiên cứu tốn bù tuyến tính người ta dành nhiều giải thưởng có giá trị cao cho có thành tích xuất sắc học tập nghiên cứu tối ưu hóa gắn bó với nghiệp ứng dụng tối ưu thực tiễn Mục tiêu luận văn tìm hiểu trình bày khái qt tốn qui hoạch tồn phương (lồi khơng lồi ), tốn bù tuyến tính phân tích mối quan hệ tốn qui hoạch tồn phương tốn bù tuyến tính Nội dung luận văn viết thành ba chương: Chương 1: “Kiến thức chuẩn bị ma trận” nhắc lại khái niệm ma trận xác định dương, nửa xác định dương tóm tắt số kết lý thuyết bổ ích ma trận, cách kiểm tra tính xác định ma trận Các ma trận xác định dương nửa xác định dương liên quan chặt chẽ với hàm toàn phương qui hoạch toàn phương Các kiến thức sử dụng đến chương sau đề cập đến tốn qui hoạch tồn phương tốn bù tuyến tính Chương 2: “Bài tốn quy hoạch tồn phương” trình bày nội dung tốn qui hoạch tồn phương, số ứng dụng toán, tồn nghiệm toán, đáng ý Định lý Frank - Wolfe (1956) Định lý Eaves (1971) Cuối chương trình bày định lý điều kiện cần tối ưu KKT cho nghiệm cực tiểu địa phương định lý điều kiện đủ tối ưu hàm mục tiêu f(x) lồi Chương 3: “Bài tốn bù tuyến tính” giới thiệu khái qt tốn bù tuyến tính cách tiếp cận tổ hợp giải tốn dựa khái niệm nón bù Phân tích mối quan hệ tốn bù tuyến tính với qui hoạch tuyến tính qui hoạch tồn phương, đặc biệt toán qui hoạch tuyến tính tốn qui hoạch tồn phương qui tốn bù tuyến tính Do thời gian kiến thức hạn chế nên chắn luận văn có thiếu sót định, kính mong q thầy bạn đóng góp ý kiến để tác giả tiếp tục hoàn thiện luận văn Trong trình học tập thực luận văn, nhận dạy bảo tận tình thầy giáo trường Đại học Khoa Học - Đại học Thái Nguyên Đặc biệt bảo, hướng dẫn trực tiếp GS TS Trần Vũ Thiệu Nhân dịp xin bày tỏ lòng biết ơn sâu sắc tới GS TS Trần Vũ Thiệu, tới Sở Giáo dục Đào tạo Hải Phòng, trường THPT An Dương - Hải Phòng, thầy giáo bạn đồng nghiệp giúp đỡ suốt thời gian qua Thái Nguyên, tháng năm 2014 Tác giả Hà Thị Minh Trang Chương Kiến thức chuẩn bị ma trận Chương nhắc lại khái niệm ma trận xác định dương, nửa xác định dương nêu số kết lý thuyết hữu ích ma trận, cách kiểm tra tính xác định ma trận Các ma trận xác định dương nửa xác định dương liên quan chặt chẽ với hàm toàn phương qui hoạch toàn phương Nội dung chương tham khảo chủ yếu từ tài liệu [1], [3] - [5] 1.1 Ma trận xác định dương nửa xác định dương Mục nhắc lại khái niệm ma trận xác định dương nửa xác định dương thường gặp qui hoạch toàn phương tốn bù tuyến tính Định nghĩa 1.1 Ma trận Q vuông cấp n, đối xứng hay không đối xứng, gọi xác định dương (positive definte matrix) xT Qx > với x ∈ Rn , x = 0; Q gọi nửa xác định dương (positive definte matrix) xT Qx ≥ với x ∈ Rn Ma trận Q gọi xác định âm (negative definite matrix) (nửa xác định âm - negative semidefinite matrix) - Q xác định dương (nửa xác định dương) Ma trận Q gọi không xác định (indefinite matrix) xT Qx dương với x âm với x khác Nếu Q không đối xứng, ta thay ma trận đối xứng Q + QT /2 mà khơng làm thay đổi tính xác định ma trận, xT Q + QT x = 2xT Qx Ví dụ 1.1 Cho ma trận A= −1 −1 D= ,B= −1 1 −1 −1 −1 ,E= ,C= 0 −1 −2 1 −2 Có thể thấy A xác định dương, B nửa xác định dương, C xác định âm, D nửa xác định âm E không xác định Định nghĩa 1.2 Cho Q = (qij ) ma trận vuông cấp n Giả sử {i1 , , ik } ⊆ {1, , n} tập số với phần tử xếp theo thứ tự tăng dần Xóa tất phần tử Q hàng i cột i với i ∈ / {i1 , , ik }, ta nhận ma trận cấp k × k Q   qi1 i1 · · · qi1 ik       qik i1 · · · qik ik Ma trận gọi ma trận (principal submatrix) Q xác định tập số {i1 , , ik } Bằng cách đặt J = {i1 , , ik }, ta ký hiệu ma trận QJJ Đó ma trận (qij : i ∈ J, j ∈ J} Định thức ma trận gọi định thức (principal determinatnt) Q xác định tập số J Ma trận Q xác định tập J = ∅ (tập rỗng) ma trận rỗng (không chứa phần tử nào) Qui ước định thức ma trận rỗng Ma trận Q xác định tập J = {1, , n} Q Ma trận Q xác định tập J = ∅ gọi ma trận khác rỗng (non-empty principal submatrix) Q Do số tập khác rỗng {1, , n} 2n − nên có tất 2n − ma trận khác rỗng Q Các ma trận Q xác định tập số J ⊂ {1, , n} gọi ma trận thực (proper principal submatrix) Q Vì thế, ma trận thực Q có cấp k ≤ n − Ví dụ 1.2 Cho      Q=   Ma trận cấp 1, tương ứng với J = {1} , {2} {3}, phần tử đường chéo 1, Ma trận cấp 2, tương ứng với J = {1, 2} , {1, 3} {2, 3} ma trận × sau đây: , Ma trận cấp × 3, tương ứng với J = {1, 2, 3}, Q Có tất 23 − = ma trận khác rỗng Định nghĩa 1.3 Ma trận cấp k Q, xác định tập số J = {1, , k}, tức ma trận nhận từ Q cách bỏ n − k hàng cột cuối, gọi ma trận chủ đạo (leading principal submatrix) cấp k Q Định thức ma trận chủ đạo gọi định thức chủ đạo (leading principal subdeterminant) Trong Ví dụ 1.2, ma trận chủ đạo cấp (bỏ hàng cột cuối) Ma trận chủ đạo cấp ma trận thứ ma trận cấp liệt kê ma trận chủ đạo cấp Q Số ma trận (định thức con) chủ đạo ma trận cấp n × n n 1.2 Một số kết ma trận Mục nêu số kết hữu ích nghiên cứu ma trận xác định dương nửa xác định dương Kết 1.1 Nếu A = (a11 ) ma trận cấp × A xác định dương a11 > A nửa xác định dương a11 ≥ Chứng minh.Giả sử y = (y1 ) ∈ R1 Khi đó, yT Ay =a11 y12 Vì yT Ay > với y ∈ R1 , y = 0, a11 > 0, A xác định dương a11 > Cũng vậy, yT Ay ≥ với y ∈ R1 a11 ≥ 0, A nửa xác định dương a11 ≥ Kết 1.2 Nếu Q ma trận xác định dương (đối xứng hay không đối xứng) ma trận Q xác định dương Chứng minh Xét ma trận G xác định tập số {1, 2} G= q11 q12 Giả sử z = q21 q22 y1 y2 Lấy y = (y1 , y2 , 0, 0, , 0)T Khi y T Qy = z T Gz Tuy nhiên, Q xác định dương nên y T Qy > với y = Do z T Gz > với z = Vì G xác định dương Dùng lập luận tương tự chứng minh ma trận Q xác định dương Kết 1.3 Nếu Q xác định dương qii > với i Chứng minh suy từ Kết 1.2 Kết 1.4 Nếu Q ma trận nửa xác định dương (đối xứng hay không đối xứng) ma trận Q nửa xác định dương Chứng minh tương tự chứng minh Kết 1.2 Kết 1.5 Nếu Q ma trận nửa xác định dương qii ≥ với i Chứng minh suy từ Kết 1.4 Kết 1.6 Cho Q ma trận nửa xác định dương Nếu qii = qij + qji = với j Q không đối xứng qij = qji = với j Q đối xứng Chứng minh Để xác định, giả sử q11 = giả sử q12 + q21 = Theo kết 1.4, ma trận chính: q11 q12 = q21 q22 q12 q21 q22 phải nửa xác định dương, nghĩa q22 y22 + (q12 + q21 ) y1 y2 ≥ với y1 , y2 Do q12 + q21 = nên chọn y1 = (−q22 − 1) / (q12 + q21 ) y2 = bất đẳng thức trước trở thành −1 ≥ 0, ta gặp mâu thuẫn Vậy phải có q12 + q21 = Trường hợp Q đối xứng q12 = q21 Theo q12 + q21 = Từ suy 2q12 = 2q21 = 0, tức q12 = q21 = Định nghĩa 1.4 (Bước xoay Gauss - Gaussian Pivot Step) Cho A = (aij ) ma trận cấp m × n Phần tử hàng r, cột s ars Với ars = 0, bước xoay Gauss biến đổi ma trận A theo công thức: aij → aij = aij − arj × (ais /ars ) với i = r + 1, , m j = 1, , n tức trừ hàng i > r bội số thích hợp (cụ thể ais /ars ) hàng r Có thể thấy ais = với i > r Ở bước xoay này, hàng r gọi hàng xoay (pivot row), cột s gọi cột xoay (pivot column) ars gọi phần tử trụ(pivot element) Bước xoay Gauss gọi tắt phép xoay (r, s) A thực ars = (r < m) Ví dụ 1.3 Phép xoay (1, 2) (a12 = phần tử trụ) ma trận A biến A thành B:     2 −2 2 −2      ⇒ B =   A =     −2 −2 Kết 1.7 Cho D ma trận vuông đối xứng cấp n ≥ Giả sử D xác định dương Thực phép xoay (1, 1) D để biến phần tử cột 1, trừ phần tử đầu, thành Ta nhận ma trận E Giả sử E1 ma trận nhận từ E cách bỏ hàng cột Khi đó, E1 đối xứng xác định dương Ví dụ 1.4 Với phép xoay (1, 1) ma trận D vuông đối xứng xác định dương (cấp 3) ta nhận ma trận E1 vuông đối xứng xác định dương (cấp 2): Kết 1.8 Ma trận vuông Q xác định dương (hay nửa xác định dương) Q + QT xác định dương (hay nửa xác định dương) Chứng minh Suy từ đẳng thức xT Q + QT x = 2xT Qx Kết 1.9 Giả sử Q ma trận vuông cấp n A ma trận cấp m × n Khi ma trận vng: E= Q −AT A cấp (m + n) nửa xác định dương Q nửa xác định dương T T Chứng minh Đặt z = (y1 , , yn , t1 , , tm ) ∈ Rm+n y = (y1 , , yn ) Với z ta có zT Ez = yT Qy Vì zT Ez ≥ với z ∈ Rm+n yT Qy ≥ với y ∈ Rn , nghĩa E nửa xác định dương Q nửa xác định dương Kết 1.10 Nếu B ma trận vuông (cấp n) khơng suy biến ma trận D = BT B ma trận đối xứng xác định dương Chứng minh Tính đối xứng DT = BT B T T = BT B = D Với y ∈ Rn , y = 0, ta có yT Dy = yT BT B y = (By) By = ||By|| > By = 0(B không suy biến y = kéo theo By = 0) Vì D xác định dương Kết 1.11 Nếu A ma trận tùy ý (vuông hay chữ nhật) AAT AT A đối xứng nửa xác định dương Chứng minh Tương tự chứng minh Kết 1.10 Ví dụ 1.5 Với ma trận A cho AAT xác định dương AT A nửa xác định dương   A= ⇒ AT =  0 1 −1 −1   −1 ⇒ AAT = , AT A =  0 −1 1       −1   −1 • Nếu Q xác định dương nghịch đảo Q−1 tồn xác định dương • Sau số kết liên quan đến định thức ma trận xác định dương nửa xác định dương Kết 1.12 Cho Q ma trận xác định dương, đối xứng hay không đối xứng Mọi định thức Q số dương Nói riêng, detQ > Kết 1.13 Cho Q ma trận nửa xác định dương, đối xứng hay không đối xứng Mọi định thức Q khơng âm Nói riêng, detQ ≥ Kết 1.14 (Tiêu chuẩn Silvester) a) Để cho ma trận vuông đối xứng Q xác định dương điều kiện cần đủ định thức chủ đạo Q dương, tức ∆1 > 0, ∆2 > 0, , ∆n > 0, q11 q12 · · · q1n ∆1 = |q11 | , ∆2 = q11 q12 q21 q22 , , ∆n = q21 q22 · · · q2n qn1 qn2 · · · qnn b) Để cho ma trận vng đối xứng Q xác định âm điều kiện cần đủ định thức chủ đạo Q luân phiên đổi dấu, định thức n có dấu âm, tức ∆1 < 0, ∆2 > 0, , (−1) ∆n > ... tốn bù tuyến tính cách tiếp cận tổ hợp giải tốn dựa khái niệm nón bù Phân tích mối quan hệ tốn bù tuyến tính với qui hoạch tuyến tính qui hoạch tồn phương, đặc biệt toán qui hoạch tuyến tính. .. Mục tiêu luận văn tìm hiểu trình bày khái qt tốn qui hoạch tồn phương (lồi khơng lồi ), tốn bù tuyến tính phân tích mối quan hệ tốn qui hoạch tồn phương tốn bù tuyến tính Nội dung luận văn viết... 35 3.4 Ứng dụng vào qui hoạch tuyến tính 39 3.5 Quan hệ với qui hoạch toàn phương 41 Kết luận 43 Lời nói đầu Qui hoạch toàn phương (Quadratic Programming,