Thuật toán DCA và ứng dụng trong quy hoạch toàn phương trên tập lồi đa diện

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI NGUYỄN THỊ HẰNG THUẬT TOÁN DCA VÀ ỨNG DỤNG TRONG QUY HOẠCH TOÀN PHƯƠNG TRÊN TẬP LỒI ĐA DIỆN LUẬN VĂN THẠC SĨ TOÁN HỌC Hà Nội - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI NGUYỄN THỊ HẰNG THUẬT TỐN DCA VÀ ỨNG DỤNG TRONG QUY HOẠCH TỒN PHƯƠNG TRÊN TẬP LỒI ĐA DIỆN Chuyên ngành: Toán giải tích Mã số: 60.46.01.02 LUẬN VĂN THẠC SĨ TỐN HỌC Người hướng dẫn khoa học: TS HOÀNG NGỌC TUẤN Hà Nội - 2017 Mục lục Lời cảm ơn Lời cam đoan Lời nói đầu Thuật tốn DCA 1.1 Thuật toán DCA 1.2 Định lí hội tụ 6 Ứng dụng 2.1 Thuật toán DCA ứng dụng vào quy hoạch toàn phương tập lồi đa diện 2.2 Sự hội tụ thuật toán 16 Tài liệu tham khảo 31 16 19 Lời cảm ơn Lời đầu tiên, em xin gửi lời cảm ơn tới Trường Đại học Sư phạm Hà Nội tạo điều kiện thuận lợi để em hồn thành khóa học Qua em xin bày tỏ lòng biết ơn tới tồn thể thầy nhà trường dạy dỗ, bảo tận tình trình học tập trường Em xin gửi lời cảm ơn tới tồn thể thầy khoa Tốn trường Đại học Sư phạm Hà Nội tạo điều kiện thuận lợi để em hoàn thành luận văn Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo TS Hoàng Ngọc Tuấn, người trực tiếp bảo hướng dẫn tận tình em suốt trình thực luận văn Cuối cùng, xin cảm ơn gia đình, bạn bè, đồng nghiệp, người bên để giúp đỡ chia sẻ khó khăn với em suốt thời gian học tập hoàn thành luận văn Hà Nội, tháng 12 năm 2017 Tác giả Nguyễn Thị Hằng LỜI CAM ĐOAN Luận văn hoàn thành trường Đại học sư phạm Hà Nội Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng tơi hướng dẫn TS Hồng Ngọc Tuấn Trong q trình nghiên cứu hồn thành luận văn tơi kế thừa thành khoa học nhà khoa học đồng nghiệp với trân trọng biết ơn Tơi xin cam đoan thơng tin trích dẫn luận văn rõ nguồn gốc Hà Nội, tháng 12 năm 2017 Tác giả Nguyễn Thị Hằng Lời nói đầu Lí chọn đề tài • Các thuật toán DCA (Difference-of-Convex-functions Algorithms) xây dựng sở công thức biểu diễn hàm số thực không lồi thành hiệu hai hàm lồi Định lí đối ngẫu J F Toland Thuật tốn DCA đề xuất từ năm 1986 giáo sư Phạm Đình Tảo Lí thuyết thuật tốn DCA giáo sư Phạm Đình Tảo giáo sư Lê Thị Hoài An hoàn thiện báo đăng tạp chí Acta Mathematica Vietnamica năm 1997 • Trong năm qua việc nghiên cứu thuật toán DCA với ứng dụng phát triển mạnh mẽ Vì vậy, sau học kiến thức tốn giải tích, với mong nuốn tìm hiểu sâu thuật toán DCA ứng dụng vào toán quy hoạch toàn phương tập lồi đa diện, hướng dẫn TS Hồng Ngọc Tuấn, tơi chọn đề tài: " Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện" để thực luận văn Mục đích nghiên cứu Luận văn nghiên cứu thuật toán DCA ứng dụng thuật tốn DCA quy hoạch tồn phương tập lồi đa diện Nhiệm vụ nghiên cứu Nghiên cứu thuật toán DCA ứng dụng thuật toán DCA quy hoạch toàn phương tập lồi đa diện Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Đối tượng phạm vi nghiên cứu • Đối tượng nghiên cứu: Thuật tốn DCA • Phạm vi nghiên cứu: Nghiên cứu thuật toán DCA ứng dụng thuật toán DCA quy hoạch toàn phương tập lồi đa diện Phương pháp nghiên cứu • Vận dụng kiến thức, phương pháp giải tích hàm, giải tích khơng trơn, lí thuyết tối ưu • Phân tích tổng hợp, hệ thống kiến thức liên quan đến thuật tốn DCA ứng dụng • Thu thập nghiên cứu tài liệu có liên quan, đặc biệt báo ngồi nước có liên quan đến vấn đề mà luận văn đề cập tới Đóng góp luận văn Cố gắng xây dựng luận văn thành tài liệu tổng quan tốt đề tài nghiên cứu thuật toán DCA ứng dụng thuật tốn DCA quy hoạch tồn phương tập lồi đa diện Chương Thuật toán DCA 1.1 Thuật tốn DCA Cho khơng gian X = Rn trang bị tích vơ hướng , Khi đó, ta đồng khơng gian Y X với X Chuẩn Euclid kí hiệu , Kí hiệu Γ0 (X) tập hợp hàm lồi, thường, nửa liên tục X Định nghĩa 1.1.1 Hàm liên hợp g ∗ g ∈ Γ0 (X) hàm Γ0 (X) xác định g ∗ (y) = sup( x, y − g(x) : x ∈ X) Cho tập lồi C X, hàm C kí hiệu χC (x) = x ∈ C +∞ Miền hữu hiệu hàm g định nghĩa sau domg = {x ∈ X : g(x) < +∞} Nhận xét 1.1.2 Ta có g(x) + g ∗ (y) ≥ x, y , với x ∈ X, y ∈ Y Kí hiệu hàm liên hợp hàm g, (g ∗ )∗ , g ∗∗ Sau số tính chất hữu dụng hàm liên hợp Mệnh đề 1.1.3 Ta có g ∗∗ = g với g ∈ Γ0 (X) Mệnh đề 1.1.4 Bao hàm thức x ∈ ∂g ∗ (y) đẳng thức g(x) + g ∗ (y) = x, y tương đương Mệnh đề 1.1.5 Hai bao hàm thức y ∈ ∂g(x) x ∈ ∂g ∗ (y) tương đương Định nghĩa 1.1.6 Bài toán quy hoạch DC tốn có dạng α = inf {f (x) := g(x) − h(x) : x ∈ X} , (P ) Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện g h hàm số thuộc vào tập Γ0 (X) Hàm f gọi hàm DC X, g h gọi thành phần DC Định nghĩa 1.1.7 Bài toán quy hoạch DC inf {h∗ (y) − g ∗ (y) : y ∈ Y } , (D) g h hàm số thuộc vào tập Γ0 (X), gọi toán đối ngẫu toán (P) Mệnh đề 1.1.8 Bài toán (P) ban đầu tốn đối ngẫu (D) có chung giá trị tối ưu Định nghĩa 1.1.9 Điểm x∗ ∈ Rn gọi điểm cực tiểu địa phương hàm g - h g(x∗ ) − h(x∗ ) hữu hạn (tức x∗ ∈ domg ∩ domh) tồn lân cận U x∗ cho g(x∗ ) − h(x∗ ) ≤ g(x) − h(x) ∀x ∈ U Theo quy ước +∞ − (+∞) = +∞, tính chất điểm cực tiểu địa phương tương đương với g(x∗ ) − h(x∗ ) ≤ g(x) − h(x), ∀x ∈ U ∩ domg Định nghĩa 1.1.10 Điểm x∗ ∈ Rn gọi điểm tới hạn hàm g − h ∂g(x∗ ) ∩ ∂h(x∗ ) = ∅ DẠNG ĐƠN GIẢN CỦA DCA Ý tưởng thuật toán DCA dạng đơn giản xây dựng hai dãy {xk } {y k } (dãy xấp xỉ nghiệm toán (P) (D) tương ứng) cho chúng dễ tính tốn thoả mãn điều kiện đây: (i) Các dãy {(g − h)(xk )} {(h∗ − g ∗ )(y k )} giảm (ii) Mỗi giới hạn riêng x∗ (tương ứng, y ∗ ) xk (tương ứng, y k ) điểm tới hạn g - h (tương ứng, h∗ − g ∗ ) Những điều kiện đưa để xây dựng hai dãy {xk } {y k }, điểm x0 ∈dom g cho, ta lấy y k ∈ ∂h(xk ); (1.1) xk+1 ∈ ∂g ∗ (y k ) (1.2) Giải thích cho thuật toán DCA dạng đơn giản Với bước k ta làm sau: Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện xk ∈ ∂g ∗ (y k−1 ) −→ y k ∈ ∂h(xk ) = argmin{h∗ (y k ) − [g ∗ (y k−1 ) + xk , y − y k−1 ] : y ∈ Y }, (Dk ) y k ∈ ∂h(xk ) −→ xk+1 ∈ ∂g ∗ (y k ) = argmin{g(xk ) − [h(xk ) + x − xk , y k ] : x ∈ X} (Pk ) Bài toán (Pk ) toán quy hoạch lồi thu từ (P) cách thay h hàm affin xác định y k ∈ ∂h(xk ) Tương tự, toán lồi (Dk ) thu từ (D) cách sử dụng hàm affin g ∗ xác định xk ∈ ∂g ∗ (y k−1 ) Ở ta thấy đối xứng toán (Pk ) (Dk ), dãy xk y k tới tính đối ngẫu tối ưu DC 1.2 Định lí hội tụ Định nghĩa 1.2.1 Cho ρ ≥ C tập lồi X Hàm θ : C → R gọi ρ lồi θ(λx + (1 − λ)x ) ≤ λθ(x) + (1 − λ)θ(x ) − λ(1 − λ) ρ ||x − x | |2 với λ ∈ (0, 1) với x, x ∈ C Nhận xét 1.2.2 Hàm θ ρ - lồi C hàm θ − (ρ/2) ||.| |2 lồi C Định nghĩa 1.2.3 Mơđun tính lồi θ C , kí hiệu ρ(θ, C) hay ρ(θ), số ρ(θ, C) = sup ρ ≥ : θ − (ρ/2) ||.| |2 lồi C Hàm θ gọi hàm lồi mạnh C ρ(θ, C) > Cho ρi ρ∗i (i = 1,2) số thực cho ≤ ρ < ρ(fi ) (tương ứng, ≤ ρ∗i < ρ(fi∗ )), ρi = (tương ứng, ρ∗i = 0) ρ(fi ) = (tương ứng, ρ(fi∗ ) = 0) đạt Tiếp theo, ta đặt f1 = g, f2 = h Kí hiệu dxk = xk+1 − xk , dy k = y k+1 − y k Mệnh đề 1.2.4 Giả sử dãy {xk } {y k } sinh thuật toán DCA dạng đơn giản Khi đó, ta có dxk (i) (g − h)(xk+1 ) ≤ (h∗ − g ∗ )(y k ) − ρ22 dxk ≤ (g − h)(xk ) − ρ1 +ρ Đẳng thức (g − h)(xk+1 )= (g − h)(xk ) xk ∈ ∂g ∗ (y k ), y k ∈ ∂h(xk+1 ) (ρ1 + ρ2 ) dxk = Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện T x (Q + ρI)x + q T x + χC (x), h(x) = ρ x , ρ số 2 thực dương cho ma trận ρI − Q nửa xác định dương χC hàm tập C Rõ ràng g, h ∈ Γ0 (Rn ) ta viết lại tốn (2.1) với g(x) = dạng sau: min{g(x) − h(x) : x ∈ Rn } (P) Để áp dụng thuật toán DCA dạng đơn giản cho (P), ta lấy x0 ∈ Rn k ≥ Vì h(x) = ρ x hàm lồi khả vi, ta có ∂h(x) = { h(x)}, h(x) = ρx véc tơ gradient h x Như vậy, trường hợp này, bao hàm thức (1.3) tương đương với đẳng thức y k = ρxk Cố định số dương ρ > −λ1 (Q), (λ1 (Q) giá trị riêng nhỏ Q) chọn điểm đầu x0 ∈ R, với k ≥ 0, tính nghiệm nhất, kí hiệu: xk+1 , tốn cực tiểu tồn phương lồi chặt ρ ψ(x) := xT Qx + q T x + x − xk 2 : Ax ≥ b (2.3) Điều kiện cần đủ để xk+1 nghiệm (2.3) ∇ψ(xk+1 ), x − xk ≥ ∀x ∈ C, ∇ψ(xk+1 ) = Qxk+1 + q + ρxk+1 − ρxk Điều tương đương với xk+1 nghiệm bất đẳng thức biến phân afin đơn điệu chặt cho toán tử afin x → (Q + ρI)x + q − ρxk tập lồi đa diện C Do đó, từ Định lý 2.3 [3, p.9] ta thấy xk+1 điểm cố định ánh xạ Gk (x) := PC (x − µ(M x + q k )), µ > bất kì, M := Q + ρI, q k := q − ρxk Tiếp theo ta chọn µ = ρ−1 Khi xk+1 = PC (xk+1 − (M xk+1 + q k )) ρ (2.4) Định nghĩa 2.1.1 Với x ∈ Rn , tồn nhân tử λ ∈ Rm cho Qx + q − AT λ = Ax ≥ b, λ ≥ 0, λT (Ax − b) = 0, x gọi điểm Karush - Kuhn - Tucker (viết tắt điểm KKT) (2.1) 18 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Ta thấy x điểm KKT tương đương với điều sau x ∈ C, ∇f (x)v = (Qx + q)T v ≥ 0, ∀v ∈ TC (x), (2.5) TC (x) = {t(u − x) : u ∈ C, t ≥ 0} nón tiếp tuyến C x Ta có (2.5) viết lại dạng bất đẳng thức biến phân sau x ∈ C, Qx + q, u − x ≥ 0, ∀u ∈ C (2.6) Định lí 2.1.2 Dãy {xk } DCA sinh hai thuật toán DC nêu điểm đầu x0 ∈ Rn có tính chất sau: (i) f (xk+1 ) ≤ f (xk ) − p2 xk+1 − xk với k ≥ 1; (ii) Dãy {f (xk )} hội tụ chặn f∗ giá trị tối ưu (2.3); (iii) Với tập điểm x∗ {xk } điểm KKT (2.3); (iv) Nếu infx∈C f (x) > −∞, lim xk+1 − xk = k→∞ 2.2 Sự hội tụ thuật toán Sự hội tụ tốc độ hội tụ thuật tốn phân rã DC chiếu Kí hiệu C ∗ tập điểm KKT (2.1), ta có C ∗ tập nghiệm bất đẳng thức biến phân afin (2.6), C ∗ hợp hữu hạn nhiều tập lồi đa diện (xem ví dụ [10, Lema 3.1] [1]) Đặc biệt, C ∗ có hữu hạn thành phần liên thơng Định lí 2.2.1 Nếu tốn (2.1) có tập nghiệm khác rỗng, với x0 ∈ Rn , dãy DCA {xk } xây dựng từ thuật toán phân rã DC chiếu hội tụ R - tuyến tính đến điểm KKT (2.1), tức tồn x∗ ∈ C ∗ cho lim sup xk − x∗ k→∞ k < Vì tập nghiệm (2.1) nằm C ∗ , giả thiết Định lí 2.2.1 đảm bảo C ∗ = ∅ Với tập M ⊂ Rn , ta kí hiệu d(x, M ) := inf { x − y : y ∈ M } khoảng cách từ x ⊂ Rn đến M Để chứng minh Định lí 2.2.1, ta cần hai kết bổ trợ Bổ đề mô tả chặn sai số cho khoảng cách d(x, C ∗ ) từ x ∈ C tới tập điểm KKT C ∗ 19 Thuật tốn DCA ứng dụng quy hoạch tồn phương tập lồi đa diện Bổ đề 2.2.2 Tồn vô hướng ε > l > cho d(x, C ∗ ) ≤ l x − PC (x − (Qx + q)) ρ với x ∈ C x − PC (x − (Qx + q)) ≤ ε ρ (2.7) (2.8) Chứng minh Cố định ρ > 0, lớn giá trị riêng lớn Q thỏa mãn điều kiện thuật toán DC (2.2), ta xét toán quy hoạch toàn phương sau f (x) := f (x) : Ax ≥ b (2.9) ρ Rõ ràng tập điểm KKT (2.8) trùng với C ∗ Ta có (2.9) có dạng cơng thức (2.2), f (x) thay f (x) := 12 xT Qx + q T x với Q := p−1 q Áp dụng kết Luo Tseng [6, Theorem 2.3] vào (2.9), ta tìm ε > l > cho d(x, C ∗ ) ≤ l x − PC (x − Qx − q)) x ∈ C với x − PC (x − Qx − q)) ≤ ε Vì PC (x − Qx − q)) = x − PC (x − (Qx + q)) , ρ ta thấy ε l thoả mãn yêu cầu bổ đề Bổ đề 2.2.3 Cho C , C , , C r thành phần liên thông C ∗ Khi đó, ta có C ∗ = r Ci tính chất sau: i=1 (a) Mỗi Ci hợp hữu hạn tập lồi đa diện; (b) Các tập Ci , i = 1, , r tách thực từ tập khác, i = j inf {d(x, Cj ) : x ∈ Ci } > 0; (c) f số Ci Ta chứng minh Định lí 2.2.1 Chứng minh Từ Bổ đề 2.2.2, tồn l > ε > cho (2.7) thoả mãn với x thoả mãn (2.8) Vì (2.1) có nghiệm, từ (iv) Định lí 2.1.2, ta có lim xk+1 − xk = k→∞ 20 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Cho k0 ∈ N cho xk+1 − xk < ε với k ≥ k0 Khi đó, từ (2.7) (2.8) ta suy d(x, C ∗ ) ≤ l xk − PC (x − (Qx + q)) = l xk − xk+1 ρ ∀k ≥ k0 Với k , C ∗ đóng khác rỗng, ta tìm y k ∈ C ∗ cho d(xk , C ∗ ) = xk − y k Vì ta có xk − y k ≤ l xk − xk+1 ∀k ≥ k0 ; (2.10) lim xk − y k = (2.11) k→∞ Khi y k+1 − y k ≤ y k+1 − xk+1 + xk+1 − xk ≤ xk − y k → 0(k → ∞) Do lim y k+1 − y k = (2.12) k→∞ Trong Bổ đề 2.2.2, thành phần liên thơng C ∗ kí hiệu C1 , C2 , , Cr Bởi bổ đề từ (2.12), tồn i0 ∈ {C1 , C2 , , Cr } k1 ≥ k0 cho y k ∈ Ci0 với k ≥ k1 Vì vậy, từ khẳng định thứ Bổ đề 2.2.3 suy tồn c ∈ R thoả mãn f (y k ) = c ∀k ≥ k1 (2.13) Bởi Định lí giá trị trung bình ∇f (x) = Qx + q , với k có z k ∈ (xk , y k ) := {(1 − t)xk + ty k : < t < 1} cho f (y k ) − f (xk ) = Qz k + q, y k − xk Vì y k điểm KKT nên Qz k + q, y k − xk ≥ Do đó, f (y k ) − f (xk ) ≤ Q(z k − y k ), y k − xk ≤ Q ≤ Q z k − y k y k − xk y k − xk , (2.14) bất đẳng thức cuối z k ∈ (xk , y k ) Cho f∗ = lim f (xk ) (khẳng định k→∞ thứ hai Định lí 2.1.2) Từ (2.11), (2.13) (2.14) ta suy c = f (y k ) ≤ f (xk ) + Q y k − xk 21 → f∗ (2.15) Thuật toán DCA ứng dụng quy hoạch tồn phương tập lồi đa diện Trong đó, xk+1 = PC (xk − ρ1 (Qx + q)) (2.2), tính chất phép chiếu metric tập lồi đóng cho ta xk − (Qxk + q) − xk+1 , y − xk+1 ≤ ρ ∀y ∈ C Đặc biệt, xk − (Qxk + q) − xk+1 , xk+1 − y k ≥ ∀k ρ Kết hợp điều với (2.10) ta có 1 Qy k + q, xk+1 − y k ≤ Qy k + q, xk+1 − y k ρ ρ + xk − (Qxk + q) − xk+1 , xk+1 − y k ρ k k+1 ≤ x −x xk − y k + Q y k − xk xk+1 − y k ρ ≤ ( xk+1 − xk + Q y k − xk )( xk+1 ρ k k − x + x − yk ) l ≤ ( xk+1 − xk + Q xk+1 − xk )( xk+1 ρ − xk + l xk − xk+1 ) l ≤ (1 + l)(1 + Q ) xk − xk+1 ρ k+1 k =α x −x , α := (1 + l)(1 + l ρ Q ) Từ từ (2.13) ta suy f (xk+1 ) − c = f (xk+1 ) − f (y k ) 1 = Qxk+1 , xk+1 + q, xk+1 − Qy k , y k − q, y k 2 = Qy k + q, xk+1 − y k + Q(xk+1 − y k ), xk+1 − y k ≤ pα xk+1 − xk + Q xk+1 − y k 2 ≤ (pα + Q (1 + l)) xk+1 − xk 2 22 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện = β xk+1 − xk với k > k1 , β := ρα + 2 (2.16) Q Vì lim xk+1 − xk k→∞ = Định lí 2.1.2, chuyển (2.16) qua giới hạn k → ∞, ta có f∗ = lim f (xk+1 ) ≤ c k→∞ Từ (2.15) suy f∗ = c Do đó, (2.16) khẳng định (i) Định lí 2.1.2 ta có f (xk+1 ) − f∗ ≤ β xk+1 − xk ≤ β (f (xk ) − f (xk+1 )), h h := ρ2 Vì vậy, β β (1 + )(f (xk ) − f∗ ) ≤ (f (xk ) − f∗ ) h h Do {f (xk )} đơn điệu giảm f∗ nên f (xk + 1) − f∗ ≤ µ0 f (xk ) − f∗ µ0 := β β+h ∀k ≥ k1 , ∈ [0, 1] Khi ta có f (xk ) − f∗ ≤ µ0k−k1 f (xk1 ) − f∗ ∀k ≥ k1 , hay f (xk ) − f∗ ≤ r0 µ2k ∀k ≥ k1 , 1 r0 := µ−k |f (xk1 ) − f∗ | µ = µ02 Do f (xk+1 ) − f (xk ) ≤ f (xk+1 ) − f∗ + f (xk ) − f∗ ≤ r0 µ2k+2 + r0 µ2k = r1 µ2k với k ≥ k1 , r1 := r0 (µ2 + 1) Vì theo (i) Định lí 2.1.2, (f (xk ) − f (xk+1 )) h r1 ≤ µ2k ∀k ≥ k1 h xk+1 − xk ≤ Điều dẫn tới xk+1 − xk ≤ rµk ∀k ≥ k1 , 23 Thuật tốn DCA ứng dụng quy hoạch tồn phương tập lồi đa diện r := r1 h µ ∈ [0, 1] Cho ε > tuỳ ý Với số nguyên p ≥ 1, ta có xk+ρ − xk ≤ xk+ρ − xk+ρ−1 + + xk+1 − xk − µρ+1 k k+ρ k µ ≤ rµ + + rµ = r 1−µ r ≤ µk < ε, 1−µ với k đủ lớn Điều dẫn tới {xk } dãy Cauchy Do {xk } hội tụ điểm x∗ ∈ C Từ khẳng định (iii) Định lí 2.1.2, x∗ ∈ C ∗ Hơn nữa, chuyển qua bất đẳng thức xk+ρ − xk ≤ ρ → ∞, ta xk − x∗ ≤ r µk 1−µ r µk , 1−µ với k đủ lớn Vì vậy, xk − x∗ k ≤( r k1 ) µ, 1−µ với k đủ lớn Do lim sup xk − x∗ k k→∞ ≤ µ < Điều có nghĩa dãy DCA {xk } hội tụ R - tuyến tính điểm KKT (2.1) Sự hội tụ tốc độ hội tụ thuật tốn phân rã DC xấp xỉ Định lí 2.2.4 Nếu tốn (2.1) có nghiệm, với x0 ∈ Rn , dãy DCA {xk } xây dựng từ thuật toán phân rã DC xấp xỉ hội tụ R - tuyến tính điểm KKT (2.1), nghĩa tồn x∗ ∈ C ∗ cho lim sup xk − x∗ k→∞ k < Chứng minh Do (2.1) có nghiệm, C ∗ = ∅ Do đó, theo Bổ đề 2.2.2 tồn l > ε > cho (2.7) thoả mãn với x, thỏa mãn (2.8) Từ (iv) Định lí 2.1.2 nên lim xk+1 − xk = k→∞ 24 (2.17) Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Chọn k0 ∈ N đủ lớn để xk+1 − xk < ρ với k ≥ k0 Nếu xk+1 − PC (xk+1 − (Qxk+1 − q)) ≤ ε ∀k ≥ k0 , ρ (2.18) từ (2.7) có d(xk+1 , C ∗ ) ≤ l xk+1 − PC (xk+1 − (Qxk+1 + q)) ρ ∀k ≥ k0 (2.19) Để thu (2.17), với k ≥ k0 , ta nhắc lại xk+1 = Gk (xk+1 ) = PC (xk+1 − (M xk+1 + q k )) ρ (2.20) Kết hợp điều với tính chất phép chiếu PC (.) [3, Corrollary 2.4] ta có xk+1 − PC (xk+1 − (Qxk+1 + q)) ρ 1 ≤ PC (xk+1 − (M xk+1 + q k )) − PC (xk+1 − (Qxk+1 + q)) ρ ρ 1 ≤ [xk+1 − (M xk+1 + q k ))] − [xk+1 − (Qxk+1 + q))] ρ ρ 1 = [xk+1 − (Qxk+1 + ρxk+1 + q − ρxk )] − [xk+1 − (Qxk+1 + q))] ρ ρ = xk+1 − xk < ε Do (2.18) đúng, thêm nữa, ta có xk+1 − PC (xk+1 − (Qxk+1 + q)) ≤ xk+1 − xk ρ Từ điều (2.19) dẫn tới d(x, C ∗ ) ≤ l xk+1 − xk , ∀k ≥ k0 (2.21) Do C ∗ đóng khác rỗng, với k ∈ 0, 1, 2, ta tìm y k ∈ C ∗ cho d(xk , C ∗ ) = xk − y k Khi (2.21) có nghĩa xk+1 − y k+1 ≤ l|xk+1 − xk ∀k ≥ k0 (2.22) Vì vậy, hệ (2.17), ta có lim y k+1 − xk+1 = k→∞ 25 (2.23) Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Vì y k+1 − y k ≤ y k+1 − xk+1 + xk+1 − xk + xk − y k , nên lim y k+1 − y k = (2.24) k→∞ Cho C1 , C2 , , Cr thành phần liên thông C ∗ Bởi Bổ đề 2.2.3 (2.12), tồn i0 ∈ {C1 , C2 , , Cr } k1 ≥ k0 cho y k ∈ Ci0 với k ≥ k1 Do đó, từ khẳng định thứ ba Bổ đề 2.2.3 suy f (y k ) = c ∀k ≥ k1 (2.25) với c ∈ R Do (2.1) có nghiệm, từ Định lí 2.2.1 ta tìm giá trị thực f∗ cho lim f (xk ) = f∗ k→∞ Từ Định lí giá trị trung bình ∇f (x) = Qx + q , với k có z k ∈ (xk , y k ) := {(1 − t)xk + ty k : < t < 1} cho f (y k ) − f (xk ) = Qz k + q, y k − xk Vì y k điểm KKT, dẫn tới ≤ Qy k + q, xk − y k Cộng bất đẳng thức với đẳng thức trước, ta có f (y k ) − f (xk ) ≤ Q(z k − y k ), y k − xk ≤ Q ≤ Q z k − y k y k − xk y k − xk (2.26) Một mặt, từ (2.25) (2.26) dẫn tới c = f (y k ) ≤ f (xk ) + Q y k − xk Vì lim [f (xk ) + Q k→∞ y k − xk ] = f∗ (2.23), nên c ≤ f∗ (2.27) Mặt khác, xk+1 = PC (xk + − p1 (M xk+1 + q k )) ( 2.20), tính chất phép chiếu metric lên tập lồi đóng [3, Theorem 2.3] ta thu [xk+1 − (M x + q k )] − xk+1 , y − xk+1 ≤ p ∀y ∈ C Do đó, M xk+1 + q k , y k+1 − xk+1 ≤ ∀k ∈ N 26 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Từ (2.22) ta có M y k+1 + q k , xk+1 − y k+1 ≤ M y k+1 + q k , xk+1 − y k+1 + M xk+1 + q k , y k+1 − xk+1 = M (y k+1 − xk+1 ), xk+1 − y k+1 ≤ M y k+1 − xk+1 ≤ l2 M xk+1 − xk với k ≥ k0 Vì vậy, đặt α = l2 M , ta có M y k+1 + q k , xk+1 − y k+1 ≤ α xk+1 − xk (2.28) Với k ≥ k1 , M = Q + ρI q k = q − ρxk , từ (2.28) (2.22), ta có f (xk+1 ) − c = f (xk+1 ) − f (y k+1 ) 1 ≤ Qxk+1 , xk+1 + q, xk+1 − Qy k+1 , y k+1 − q, y k+1 2 = M y k+1 + q k , xk+1 − y k+1 + Q(xk+1 − y k+1 ), xk+1 − y k+1 k k+1 k+1 k+1 + ρ x − y ,x − y = M y k+1 + q k , xk+1 − y k+1 + Q(xk+1 − y k+1 ), xk+1 − y k+1 k k+1 k+1 k+1 + ρ x − x ,x − y + ρ xk+1 − y k+1 , xk+1 − y k+1 ≤ α xk+1 − xk + Q xk+1 − y k+1 2 k+1 k + ρ x − x xk+1 − y k+1 + ρ xk+1 − y k+1 ≤ [α + Q l2 + ρl(1 + l)] xk+1 − y k Do đó, với β := α + Q l2 + ρl(1 + l), ta nhận f (xk+1 ) ≤ c + β xk+1 − xk (2.29) Cho k → ∞, từ (2.29) ta suy f∗ = lim f (xk+1 ) ≤ c k→∞ Kết hợp biểu thức với (2.27) thu f∗ = c Do đó, từ (2.29) khẳng định (i) Định lí 2.1.2 ta thu f (xk+1 ) − f∗ ≤ β xk+1 − xk ≤ 2β (f (xk ) − f (xk+1 )), λ1 (Q1 ) + λ1 (Q2 ) 27 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện Q1 = Q + ρI Q2 = ρI Vì ρ > −λ1 (Q), đặt γ = λ1 (Q1 ) + λ1 (Q2 ), ta thấy γ = (λ1 (Q) + ρ) + ρ > Vì vậy„ f (xk+1 ) − f∗ ≤ 2β [(f (xk ) − f∗ ) − (f (xk+1 ) − f∗ )] γ Vậy f (xk+1 ) − f∗ ≤ 2β (f (xk ) − f∗ ) 2β + γ Nên ta có |f (xk+1 ) − f∗ | ≤ µ0 |f (xk ) − f∗ | ∀k ≥ k1 , µ0 := 2β 2β+γ ∈ (0, 1) Vì vậy, |f (xk ) − f∗ | ≤ µk−k1 f (xk1 ) − f∗ ∀k ≥ k1 , hay |f (xk ) − f∗ | ≤ r0 µ2k ∀k ≥ k1 , r0 = µ−k1 |f (xk1 ) − f∗ | µ = µ Do đó, |f (xk+1 ) − f (xk )| ≤ |f (xk+1 ) − f∗ | + |f (xk ) − f∗ | ≤ r0 µ2k+2 + r0 µ2k = r1 µ2k với k ≥ k1 , r1 := r0 (µ2 + 1) Do đó, sử dụng khẳng định (i) Định lí 2.1.2 lần nữa, ta thấy xk+1 − xk 2 (f (xk ) − f (xk+1 )) γ 2r1 2k ≤ µ ∀k ≥ k1 γ ≤ Vì xk+1 − xk ≤ rµk ∀k ≥ k1 , r := ( 2rγ1 ) µ ∈ (0, 1) Cho ε > tuỳ ý Với số nguyên dương p, ta có xk+p − xk ≤ xk+p − xk+p−1 + + xk+1 − xk − µp k ≤ rµk+p−1 + + rµk = r µ 1−µ r ≤ µk < ε, 1−µ 28 Thuật tốn DCA ứng dụng quy hoạch toàn phương tập lồi đa diện với k đủ lớn Vì {xk } dãy Cauchy, ta giả sử hội tụ điểm x∗ ∈ C Theo khẳng định thứ ba Định lí 2.1.2, x∗ ∈ C ∗ Hơn nữa, chuyển qua bất đẳng thức xk+p − xk ≤ p → ∞, ta có xk − x∗ ≤ r µk 1−µ r µk 1−µ với k đủ lớn Vì vậy, xk − x∗ k ≤( r k1 ) µ 1−µ với k đủ lớn Do đó, lim sup xk − x∗ k→∞ k ≤ µ < Điều có nghĩa dãy DCA {xk } hội tụ R - tuyến tính điểm KKT (2.1) 29 Kết luận Luận văn đề cập đến lí thuyết thuật tốn DCA ứng dụng Các nội dung luận văn bao gồm: • Lí thuyết chung thuật tốn DCA, có định lí hội tụ dãy bị chặn dãy DCA; • Ứng dụng thuật toán DCA cho toán quy hoạch toàn phương tập lồi đa diện 30 Tài liệu tham khảo [1] R W Cottle, J -S Pang, R E Stone (1992), The Linear Complementarity Problem, Academic Press, New York [2] T H Cuong, Y Lim, N D Yen (2016), Convergence of a solution algorithm in indefinite quadratic programming (Submitted) [3] D Kinderlehrer, G Stampacchia (1980), An introduction to Variational Inequalitiesand Their Applications, academic Press, Inc., New York-London [4] H A Le Thi, T Pham Dinh and N D Yen (2011), Properties of two DC algorithms in quadratic programming, J Global Optim., vol 49, 481-495 [5] G M Lee, N N Tam and N D Yen (2005), Quadratic Programming and Affine Variational Inequalities: A Qualitative Study, Series: Nonconvex Optimization and its Applications, vol 78, Springer Verlag, New York [6] Z Q Lou, P Tseng (1992), Error boundand convergence analysis of matrixsplitting algorithms for the affine variational inequality problem, SIAM J Optim., vol 2, 43-54 [7] S Lucidi, L Palagi and M Roma (1998), On some properties of quadratic programs with a convex quadratic constraint, SIAM J Optim., vol 8, 105-122 [8] J M Martinez (1994), Local minimizers of quadratic functions on Euclidean balls and spheres, SIAM J Optim., vol 4, 159-176 [9] J Mo, K Zhang and Z Wei (2005), A nonmonotone trust region method for unconstrained optimization, Appl Math Comp., vol 171, 371-384 31 Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện [10] P M Padalos, M G C Resende (2002), Handbook of Aplied Optimization, Oxford University Press, New York [11] T Pham Dinh and H A Le Thi (1995), Lagrangian stability and global optimality on nonconvex quadratic minimization over Euclidean balls and spheres, J Convex Anal., vol 2, 263-276 [12] T Pham Dinh and H A Le Thi (1997), Convex analysis approach to D.C programming: theory, algorithms and applications, Acta Math Vietnam., vol 22, 289-355 [13] T Pham Dinh and H A Le Thi (1998),A d.c optimization algorithm for solving the trust-region subproblem, SIAM J Optim., vol 8, 476505 [14] R T Rockafellar (1970), Convex Analysis, Pricenton University Press, Pricenton, New Jersey [15] H N Tuan (2015), Boundedness of DCA iterative sequences in twodimensional quadratic programming, J Optim Theory Appl., vol 164, 234-245 [16] H N Tuan (2015), Linear convergence of a type of interative sequences in nonconvex quadratic programming, J Math Anal Appl., vol 423, 1311 - 1319 32 ... cứu thuật toán DCA ứng dụng thuật tốn DCA quy hoạch tồn phương tập lồi đa diện Nhiệm vụ nghiên cứu Nghiên cứu thuật toán DCA ứng dụng thuật toán DCA quy hoạch toàn phương tập lồi đa diện Thuật. .. hiểu sâu thuật tốn DCA ứng dụng vào tốn quy hoạch tồn phương tập lồi đa diện, hướng dẫn TS Hồng Ngọc Tuấn, tơi chọn đề tài: " Thuật toán DCA ứng dụng quy hoạch toàn phương tập lồi đa diện" để... tài liệu tổng quan tốt đề tài nghiên cứu thuật toán DCA ứng dụng thuật toán DCA quy hoạch toàn phương tập lồi đa diện Chương Thuật toán DCA 1.1 Thuật toán DCA Cho không gian X = Rn trang bị tích