Toán tử chiếu và ứng dụng vào bài toán tối ưu lồi không trơn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC BÙI VĂN HOAN TOÁN TỬ CHIẾU VÀ ỨNG DỤNG VÀO BÀI TOÁN TỐI ƯU LỒI KHÔNG TRƠN LUẬN VĂN THẠC SĨ TOÁN HỌC Thái Nguyên - 2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC BÙI VĂN HOAN TOÁN TỬ CHIẾU VÀ ỨNG DỤNG VÀO BÀI TOÁN TỐI ƯU LỒI KHÔNG TRƠN LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành: Toán ứng dụng Mã số: 60 46 01 12 NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH LÊ DŨNG MƯU Thái Nguyên - 2016 i Mục lục Mục lục i Các kí hiệu danh mục từ viết tắt ii Mở đầu 1 Tập lồi, hàm lồi toán tử chiếu 1.1 Tập lồi 1.2 Hàm lồi 10 1.3 Toán tử chiếu 14 Bài toán tối ưu lồi 2.1 2.2 24 Bài toán tối ưu lồi 24 2.1.1 Phát biểu toán tối ưu lồi 24 2.1.2 Sự tồn nghiệm toán tối ưu lồi 26 2.1.3 Điều kiện tối ưu với ràng buộc hình học 29 Phương pháp chiếu đạo hàm giải toán tối ưu lồi không trơn 39 Kết luận 47 Tài liệu tham khảo 48 ii Danh mục kí hiệu từ viết tắt • Rn : Không gian Euclide n-chiều trường số thực • ⟨, ⟩: Tích vô hướng • ∥.∥: Chuẩn • A: Bao đóng A • coA: Bao lồi A • affA: Bao affine A • intA: Tập hợp điểm A • riA: Tập hợp điểm tương đối A • NC (x): Nón pháp tuyến C x • NCϵ (x): ϵ-nón pháp tuyến C x • PC (x): Hình chiếu x lên C • dC (x): Khoảng cách từ điểm x đến tập C • domf : Tập hợp hữu dụng f • epif : Trên đồ thị f • ∇f hay f ′ (x): Đạo hàm f x • f ′ (x, d): Đạo hàm theo phương d f x • ∂f (x): Dưới vi phân f x • ∂ϵ f (x): ϵ-dưới vi phân f x MỞ ĐẦU Giải tích lồi nghiên cứu tập lồi hàm lồi có vị trí quan trọng toán học, liên quan đến hầu hết lĩnh vực khác toán học ứng dụng tối ưu hóa, toán cân bằng, Bài toán cực tiểu hàm lồi môt tập lồi, thường gọi quy hoạch lồi, lớp toán quan trọng Quy hoạch toán học Bài toán xuất nhiều ứng dụng khác Nó toán phụ nhiều phương pháp giải toán tối ưu, bất đẳng thức biến phân cân Một hướng nghiên cứu quan tâm xây dựng phương pháp giải hữu hiệu, đặc biệt cho toán tối ưu lồi, không trơn Mục đích luận văn trình bày toán cực tiểu hàm lồi với ràng buộc lồi sử dụng toán tử chiếu để giải toán tối ưu lồi Cụ thể, luận văn sâu vào việc trình bày thuật toán chiếu đạo hàm, kết thu thời gian gần Nội dung luận văn gồm hai chương: Chương 1: Tập lồi, hàm lồi toán tử chiếu Trong chương này, ta trình bày kiến thức tập lồi, hàm lồi, toán tử chiếu với tính chất đặc trưng Chương 2: Bài toán tối ưu lồi Trong chương này, ta trình bày khái niệm tính chất toán cực tiểu hàm lồi với ràng buộc lồi Đó tồn nghiệm tối ưu điều kiện tối ưu toán lồi trơn không trơn Nội dung chương trình bày thuật toán giải toán cực tiểu hàm không trơn thuật toán chiếu đạo hàm Qua luận văn này, xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo hướng dẫn GS.TSKH Lê Dũng Mưu, người thầy tận tình hướng dẫn, giúp đỡ suốt trình làm hoàn thiện luận văn Tôi xin gửi lời cảm ơn tới thầy giáo, cô giáo Trường Đại học Khoa học, Đại học Thái Nguyên tận tình giảng dạy giúp đỡ suốt trình học tập Đồng thời, gửi lời cảm ơn tới gia đình bạn bè động viên, giúp đỡ suốt trình học tập làm luận văn tốt nghiệp Thái Nguyên, tháng năm 2016 Tác giả Bùi Văn Hoan Chương Tập lồi, hàm lồi toán tử chiếu Trong chương này, ta trình bày khái niệm tập lồi, hàm lồi, toán tử chiếu với tính chất đặc trưng Nội dung chương trích dẫn chủ yếu từ tài liệu tham khảo [1], [2], [3] [4] 1.1 Tập lồi Trong luận văn kí hiệu Rn không gian Euclide thực n chiều Một phần tử x = (x1 , x2 , , xn )T ∈ Rn vectơ cột với n thành phần số thực Định nghĩa 1.1 Một đường thẳng qua hai điểm a b Rn tập hợp điểm x ∈ Rn có dạng {x ∈ Rn : x = λa + (1 − λ)b, ∀λ ∈ R} Định nghĩa 1.2 Một đoạn thẳng qua hai điểm a b Rn tập hợp điểm x ∈ Rn có dạng {x ∈ Rn : x = λa + (1 − λ)b, ∀λ ∈ [0, 1]} Tập lồi khái niệm giải tích lồi, định nghĩa sau: Định nghĩa 1.3 Một tập hợp C ⊂ Rn gọi lồi nếu: ∀a, b ∈ C, ≤ λ ≤ ⇒ λa + (1 − λ)b ∈ C Ví dụ 1.4 + Tập rỗng tập lồi + Toàn không gian tập lồi + Các không gian tập lồi + Các hình tam giác, hình tròn mặt phẳng tập lồi + Hình cầu C = {x :∥ x ∥≤ 1} tập lồi + Đường tròn mặt phẳng tập không lồi Một số hình vẽ tập lồi tập không lồi R2 : Hình 1.1 Định nghĩa 1.5 Ta nói x tổ hợp lồi điểm x1 , , xk x= k ∑ λj x , λj > 0, ∀j = 1, , k, j j=1 k ∑ λj = j=1 Tương tự, x tổ hợp affine điểm x1 , , xk x= k ∑ j=1 j λj x , k ∑ λj = j=1 Mệnh đề 1.6 Tập hợp C lồi chứa tổ hợp lồi điểm Tức C lồi k k ∑ ∑ k ∀k ∈ N, ∀λ1 , λ2 , , λk > : λj = 1, ∀x , x , , x ∈ C ⇒ λj xi ∈ C j=1 j=1 Chứng minh Điều kiện đủ hiển nhiên từ định nghĩa Ta chứng minh điều kiện cần quy nạp theo số điểm Với k = 2, điều cần chứng minh suy từ định nghĩa tập lồi tổ hợp lồi Giả sử mệnh đề với k − điểm Ta cần chứng minh với k điểm Giả sử x tổ hợp lồi k điểm x1 , x2 , , xk ∈ C Tức x= k ∑ λj x , λj > 0, ∀j = 1, , k, j j=1 k ∑ λj = j=1 Ta đặt k−1 ∑ γ= λj j=1 Khi < γ < x= k−1 ∑ j k λj x + λk x = γ j=1 Do ∑k−1 λj j=1 γ = λj γ k−1 ∑ λj j=1 γ xj + λk xk > 0, ∀j = 1, , k − nên theo giả thiết quy nạp, điểm y := k−1 ∑ λj j=1 γ xj ∈ C Suy x = γy + λk xk Do γ > 0, λk > γ + λk = k ∑ λj = 1, j=1 nên x tổ hợp lồi hai điểm y xk thuộc C Vậy x ∈ C Mệnh đề 1.7 Nếu A, B tập lồi Rn , C lồi Rm tập sau tập lồi: A ∩ B := {x|x ∈ A x ∈ B}, αA + βB := {x : x = αa + βb, a ∈ A, b ∈ B}, A × C := {x ∈ Rn+m |x = (a, c), a ∈ A, c ∈ C} Định nghĩa 1.8 Tập C gọi tập affine chứa đường thẳng qua hai điểm nó, tức là: ∀x, y ∈ C, ∀λ ∈ R ⇒ λx + (1 − λ)y ∈ C Một ví dụ tập affine siêu phẳng Rn , định nghĩa sau Định nghĩa 1.9 Siêu phẳng không gian Rn tập hợp điểm x có dạng H = {x ∈ Rn |aT x = α}, a ∈ Rn vectơ khác 0, gọi vectơ pháp tuyến H α ∈ R Trong Rn , siêu phẳng H chia Rn thành hai nửa không gian Định nghĩa 1.10 Nửa không gian đóng tập hợp có dạng {x ∈ Rn |aT x ≥ α} Nửa không gian mở tập hợp có dạng {x ∈ Rn |aT x > α} Mệnh đề 1.11 Cho M ̸= Ø tập affine M = a + L, với L không gian a ∈ M Không gian L xác định Định nghĩa 1.12 Một tập gọi tập lồi đa diện giao số hữu hạn nửa không gian đóng Định nghĩa 1.13 Một điểm a tập lồi C gọi điểm tương đối với x ∈ C có số λ > a + λ(x − a) ∈ C Tập điểm tương đối C kí hiệu riC Định nghĩa 1.14 Một tập C gọi nón ∀λ > 0, ∀x ∈ C ⇒ λx ∈ C Định nghĩa 1.15 Tập C gọi nón lồi C đồng thời nón tập lồi 34 3) λ∗0 > Từ Định lý 2.9, suy x∗ nghiệm tối ưu toán (P ) f (x∗ ) ≤ f (x), ∀x ∈ C ⇔(x∗ )2 ≤ x2 , ∀x ∈ C ⇔x∗ = Ngược lại, x∗ = nghiệm toán (P ) từ Định lý 2.9, suy tồn λ∗i ≥ 0, i = 0, 1, không đồng thời cho: 1)L(x∗ , λ∗ ) = minL(x, λ∗ ) x∈X 2)λ∗i gi (x∗ ) = 0, i = 1, Ta có L(x∗ , λ∗ ) = minL(x, λ∗ ) x∈X ∗ ⇔L(x, λ∗ ) ≥ L(x , λ∗ ) ∑ ⇔λ∗0 f (x) + ⇔λ∗0 x2 + i=1 λ∗1 (x2 λ∗i gi (x) ≥ λ∗0 f (x∗ ) + ∑ λ∗i gi (x∗ ), ∀x ∈ X i=1 − x) − λ∗2 x ≥ 0, ∀x ∈ X Ta có λ∗i gi (x∗ ) = 0, i = 1, ⇔λ∗i = 0, i = 1, ⇔λ∗i ≥ 0, i = 1, Do λ∗i ≥ 0, i = 0, 1, không đồng thời nên xét trường hợp * Chọn λ∗1 = λ∗2 = Ta có λ∗0 x2 + λ∗1 (x2 − x) − λ∗2 x ≥ 0, ∀x ∈ X ⇔λ∗0 x2 ≥ 0, ∀x ∈ X ⇔λ∗0 > ⇒λ∗0 = * Chọn λ∗1 = λ∗2 = Ta có λ∗0 x2 + λ∗1 (x2 − x) − λ∗2 x ≥ 0, ∀x ∈ X ⇔(λ∗0 + 1)x2 − 2x ≥ 0, ∀x ∈ X 35 Do không tồn λ∗0 * Chọn λ∗1 = 0, λ∗2 = Ta có λ∗0 x2 + λ∗1 (x2 − x) − λ∗2 x ≥ 0, ∀x ∈ X ⇔λ∗0 x2 − x ≥ 0, ∀x ∈ X Suy không tồn λ∗0 * Chọn λ∗1 = 1, λ∗2 = Ta có λ∗0 x2 + λ∗1 (x2 − x) − λ∗2 x ≥ 0, ∀x ∈ X ⇔(λ∗0 + 1)x2 − 2x ≥ 0, ∀x ∈ X Suy không tồn λ∗0 Vậy x∗ = nghiệm tối ưu toán (P ) λ∗0 = 1, λ∗1 = λ∗2 = nhân tử Lagrange tương ứng 2) Trường hợp khả vi Định nghĩa 2.11 Một véc tơ d ∈ Rn , d ̸= gọi hướng chấp nhận tập C x∗ ∈ C x∗ + λd ∈ C, ∀λ > đủ nhỏ Nghĩa di chuyển từ điểm x∗ theo hướng d đoạn đủ nhỏ không vượt miền chấp nhận C Kí hiệu C ∗ tập tất hướng chấp nhận C x∗ C(x∗ ) bao đóng Ngoài d ∈ Rn , d ̸= hướng dùng C x∗ ∈ C x∗ + λd ∈ C, ∀λ > f (x∗ + λd) < f (x∗ ), ∀λ > đủ nhỏ Định lý 2.12 Giả sử hàm f khả vi tập mở chứa C x∗ điểm cực tiểu địa phương f C Khi dT ∇f (x∗ ) ≥ 0, ∀d ∈ C(x∗ ) (2.10) Chứng minh Khai triển Taylor f x∗ f (x∗ + λd) = f (x∗ ) + λ⟨∇f (x∗ ), d⟩ + o(λ ∥ d ∥) Do x∗ cực tiếu địa phương toán (P ) nên f (x∗ + λd) − f (x∗ ) ≥ 0, ∀λ > đủ nhỏ (2.11) 36 Từ (2.11) ta dT ∇f (x∗ ) + o(λ ∥ d ∥) , ∀λ > đủ nhỏ λ Suy (2.10) chứng minh Định nghĩa 2.13 Một điểm x∗ ∈ C gọi điểm dừng f C thỏa mãn điều kiện (2.10) Một điểm dừng chưa điểm cực tiểu địa phương Ví dụ 2.14 Xét toán f (x) = x5 C = [−1, 2] Lời giải Rõ ràng x∗ = điểm dừng f điểm cực tiểu f C đạt x = −1 Xét toán (P ) trên, cho x0 ∈ C tập A(x0 ) := {i : gi (x0 ) = 0}, gọi tập số tích cực Đặt S(x0 ) tập nghiệm hệ phương trình tuyến tính sau  ⟨∇h (x0 ), d⟩ = j = 1, 2, , k, j ⟨∇g (x0 ), d⟩ ≤ i ∈ A(x0 ) i Mệnh đề 2.15 Với x0 ∈ C ta có C(x0 ) ⊆ S(x0 ) Chứng minh Cho d ∈ C(x0 ) Nếu dT ∇gi (x0 ) > 0, i ∈ A(x0 ) theo Định lý 1.34 ta có gi (x0 + d) − gi (x0 ) > 0, hay gi (x0 + d) > gi (x0 ) = 0, i ∈ A(x0 ) 37 Điều mâu thuẫn với giả thiết d hướng chấp nhận Vậy ⟨∇gi (x0 ), d⟩ ≤ 0, i ∈ A(x0 ) Chứng minh tương tự, ta có ⟨∇hj (x0 ), d⟩ = 0, j = 1, 2, , k, Chứng tỏ d ∈ S(x0 ) Vì C(x0 ) ⊆ S(x0 ) Hơn S(x0 ) tập đóng nên C(x0 ) ⊆ S(x0 ) Định nghĩa 2.16 Ta nói điều kiện quy thỏa mãn x0 C(x0 ) = S(x0 ) Định lý 2.17 (Kuhn- Tucker) Giả sử hàm f, gi , hj (i = 1, 2, , m, j = 1, 2, , k ) hàm khả vi liên tục x∗ nghiệm tối ưu địa phương toán (P ) thỏa mãn điều kiện quy Khi đó, tồn nhân tử Lagrange λ∗ = (λ∗1 , λ∗2 , , λm ) ≥ 0, µ∗ = (µ∗1 , µ∗2 , , µ∗k ) cho ∗ ∇f (x ) + m ∑ λ∗i ∇gi (x∗ ) i=1 + k ∑ µ∗j ∇hj (x∗ ) = 0, (2.12) (2.13) j=1 λ∗i gi (x∗ ) = 0, ∀i = 1, , m (điều kiện bù) (2.14) Ngược lại, f, gi hàm lồi với i hj hàm affine với j x∗ ∈ C thỏa mãn điều kiện (2.12), (2.13), (2.14) x∗ nghiệm tối ưu toán (P ) Chứng minh Sử dụng khai triển Taylor, ta có f (x∗ + λd) = f (x∗ ) + ⟨∇f (x∗ ), λd⟩ + o(λd) Do ⟨∇f (x∗ ), d⟩ ≥ 0, ∀d ∈ C(x∗ ) 38 Do C(x∗ ) = S(x∗ ) nên ⟨∇f (x∗ ), d⟩ ≥ 0, ∀d ∈ S(x∗ ) Áp dụng Bổ đề Farkas với ma trận A có dòng −∇gi (x∗ ), i ∈ A(x∗ ), ∇hj (x∗ ), −∇hj (x∗ ), j = 1, 2, , k Ta có số λ∗i ≥ 0, i ∈ A(x∗ ) αj∗ ≥ 0, βj∗ ≥ 0, j = 1, 2, , k cho ∗ ∇f (x ) + ∑ i∈A(x∗ ) λ∗i ∇gi (x∗ ) k ∑ + (αj∗ − βj∗ )∇hj (x∗ ) = j=1 Lấy λ∗i , i ∈ / A(x∗ ) µ∗j = αj∗ − βj∗ , ∀j ta (2.13), (2.14) Giả sử gi hàm lồi hj hàm affine với i, j Ta chứng minh ba điều kiện (2.12), (2.13) (2.14) điều kiện đủ để x∗ ∈ C nghiệm tối ưu toán (P ) Thật vậy, x∗ nghiệm tối ưu, tồn x ∈ C cho f (x) < f (x∗ ) Đặt d := x − x∗ ̸= Khi f (x∗ + td) − f (x∗ ) ⟨∇f (x ), d⟩ = lim < (2.15) t→0 t Mặt khác, λ∗i gi (x∗ ) = 0, ∀i nên λ∗i = i ∈ / A(x∗ ) Với x ∈ C lập luận tương tự, ta có ∗ ⟨∇gi (x∗ ), x − x∗ ⟩ ≤ gi (x) − gi (x∗ ) ≤ 0, ∀i ∈ A(x∗ ) Do λ∗i ⟨∇gi (x∗ ), d⟩ ≤ 0, ∀i ∈ A(x∗ ) (2.16) Theo tính chất affine hàm hj với j = 1, 2, , k ta có ⟨∇hj (x∗ ), d⟩ = (2.17) Suy µ∗j ⟨∇hj (x∗ ), d⟩ = 0, j = 1, 2, , k Kết hợp (2.15), (2.16) (2.17) ta ∗ ⟨∇f (x ), d⟩ + m ∑ i=1 λ∗i ⟨∇gi (x∗ ), d⟩ + k ∑ µ∗j ⟨∇hj (x∗ ), d⟩ < j=1 Điều mâu thuẫn với (2.13) Vậy x∗ nghiệm tối ưu toán (P ) 39 2.2 Phương pháp chiếu đạo hàm giải toán tối ưu lồi không trơn Xét toán: min{f (x)|x ∈ C} (P ) Kí hiệu tập nghiệm toán (P ) S(f, C) Nếu x∗ ∈ C nghiệm toán (P ) ta có f (x) ≥ f (x∗ ), ∀x ∈ C Hay f (x) − f (x∗ ) ≥ 0, ∀x ∈ C Cho ρ, ϵ tham số dương dãy số thực {ρk }, {βk }, {ϵk }, {ζk } thỏa mãn điều kiện sau ρk > ρ, βk ≥ 0, ϵk ≥ 0, ζk ≥ 0, ∀k ∈ N, +∞ ∑ βk k=0 +∞ ∑ k=0 ρk = +∞, +∞ ∑ βk2 < +∞, (2.18) (2.19) k=0 +∞ ∑ βk ϵk < +∞, ζk < +∞ ρk k=0 (2.20) Chẳng hạn lấy βk = 1 , ρk = 1, ϵk = , ζk = k+1 k+1 (k + 1)(k + 2) Thuật toán Chọn x0 Tại bước lặp k = 0, 1, , có xk Bước 1: Lấy g k ∈ ∂ζk f (xk ) Nếu g k = xk ϵk -nghiệm toán (P ) dừng thuật toán ϵk < ϵ Trái lại, ta định nghĩa αk = βk , γk 40 γk = max{ρk , ∥ g k ∥} Sau chuyển sang Bước Bước 2: Tính xk+1 ∈ C cho thỏa mãn ⟨αk g k + xk+1 − xk , x − xk+1 ⟩ ≥ −ζ (2.21) Nếu ∥ xk+1 − xk ∥≤ ϵ dừng ta nghiệm xấp xỉ Ngược lại, quay Bước Chú ý 2.18 i) Theo Mệnh đề 1.43, điểm xk+1 gọi ζk -chiếu (xk − αk g k ) vào C Đặc biệt, ζk = xk+1 hình chiếu khoảng cách (xk − αk g k ) Hay xk+1 = PC (xk − αk g k ) ii) Nếu ζk = ϵk = với k ∈ N Px phép chiếu khoảng cách thuật toán trở thành thuật toán chiếu đạo hàm, tiêu chuẩn dừng g k = Bước xk+1 = xk Bước Bổ đề 2.19 Với k , ta có bất đẳng thức sau: (i)αk ∥ g k ∥≤ βk (ii)βk ∥ xk+1 − xk ∥≤ βk2 + ζk Chứng minh (i) Theo định nghĩa αk ta có αk ∥ g k ∥ αk ∥ g ∥= ≤ βk max{ρk , ∥ g k ∥} k (ii) Thay x = xk vào (2.25) theo bất đẳng thức Cauchy-Schwarz ta có ∥ xk+1 − xk ∥2 ≤ ⟨αk g k , xk+1 − xk ⟩ + ζk ≤ αk ∥ g k ∥∥ xk+1 − xk ∥ +ζk ≤ βk ∥ g k ∥∥ xk+1 − xk ∥ +ζk , (theo chứng minh (i)) Hay ∥ xk+1 − xk ∥2 −βk ∥ xk+1 − xk ∥ +ζk (2.22) 41 Xét tam thức bậc hai s(θ) = θ2 − βθ − ζ với θ ≥ Khi s(θ) ≤ kéo theo √ β + 4ζ θ≤ (2.23) Nhân hai vế bất đẳng thức (2.23) với β sử dụng tính chất β+ a2 + b2 ab ≤ , ta có √ β + β + 4ζ −1 2 βθ ≤ (β + β β + 4ζ) ≤ (β + ) = β + ζ −1 Thay θ =∥ xk+1 − xk ∥, β = βk , ζ = ζk vào (2.22), ta βk ∥ xk+1 − xk ∥≤ βk2 + ζk Bổ đề chứng minh Mệnh đề 2.20 Giả sử toán (P ) có tập nghiệm S(f, C) khác rỗng Khi với x∗ ∈ S(f, C) với k , ta có khẳng định sau: (i)∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +2αk (f (x∗ ) − f (xk )) + δk , δk = 2αk ϵk + 2β + 4ζk (ii) Dãy {∥ xk − x∗ ∥2 } hội tụ với x∗ ∈ S(f, C) (iii) Dãy xk bị chặn Chứng minh (i) Vì ∥ xk − x∗ ∥2 =∥ xk+1 − xk ∥2 −2⟨xk+1 − xk , x∗ − xk+1 ⟩+ ∥ xk+1 − x∗ ∥2 , nên ∥ xk+1 − x∗ ∥2 =∥ xk − x∗ ∥2 − ∥ xk+1 − xk ∥2 +2⟨xk − xk+1 , x∗ − xk+1 ⟩ Suy ∥ xk+1 − x∗ ∥2 ≥∥ xk − x∗ ∥2 +2⟨xk − xk+1 , x∗ − xk+1 ⟩ Thay x = x∗ vào (2.21), ta có ⟨αk g k + xk+1 − xk , x∗ − xk+1 ⟩ ≥ −ζk (2.24) 42 ⇒ ⟨xk − xk+1 , x∗ − xk+1 ⟩ ≥ 2⟨αk g k , x∗ − xk+1 ⟩ + 2ζk (2.25) Thay (2.25) vào (2.24) ta được: ∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +2⟨αk g k , x∗ − xk+1 ⟩ + 2ζk =∥ xk − x∗ ∥2 +2⟨αk g k , x∗ − xk ⟩ + 2⟨αk g k , xk − xk+1 ⟩ + 2ζk Áp dụng bất đẳng thức Cauchy-Schwarz Bổ đề 2.2(i) cho ta bất đẳng thức sau ∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +2αk ⟨g k , x∗ − xk ⟩ + 2βk ∥ xk − xk+1 ∥2 +2ζk Suy ∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +2αk ⟨g k , x∗ − xk ⟩ + 2βk2 + 4ζk (2.26) Mặt khác, g k ∈ ∂ϵk f (xk ) nên ta có ⟨g k , x∗ − xk ⟩ ≤ f (x∗ ) − f (xk ) + ϵk Do αk > 0, ta nhân hai vế bất đẳng thức với αk > 2αk ⟨g k , x∗ − xk ⟩ ≤ 2αk (f (x∗ ) − f (xk )) + 2αk ϵk (2.27) Thay (2.27) vào (2.26), ta ∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +2αk (f (x∗ ) − f (xk )) + δk (2.28) δk = 2αk ϵk + 2β + 4ζk (ii) Do x∗ ∈ S(f, C) nên f (x∗ ) ≤ f (xk ) hay f (x∗ ) − f (xk ) ≤ 0, thay vào (2.20) ta ∥ xk+1 − x∗ ∥2 ≤∥ xk − x∗ ∥2 +δk , (2.29) δk = 2αk ϵk + 2β + 4ζk Theo (2.19), (2.20), (2.21) δk > +∞ ∑ δk < +∞ k=0 Từ (2.29) (2.30) ta dãy {∥ xk − x∗ ∥2 } hội tụ (iii) Do dãy {∥ xk − x∗ ∥2 } hội tụ ta suy dãy {xk } bị chặn (2.30) 43 Bổ đề 2.21 Giả sử tập S(f, C) khác rỗng dãy g k bị chặn Khi lim sup(f (xk ) − f (x∗ )) = 0, ∀x∗ ∈ S(f, C) k→+∞ Chứng minh Giả sử x∗ ∈ S(f, C) Theo Mệnh đề 2.4(i), ta có ≤ 2αk (f (xk ) − f (x∗ )) ≤∥ xk − x∗ ∥2 − ∥ xk+1 − x∗ ∥2 +δk , δk = 2αk ϵk + 2βk2 + 4ζk +∞ ∑ δk < +∞ k=0 Lấy tổng bất đẳng thức với k = 0, 1, , m, ta có 0≤2 +∞ ∑ αk (f (xk ) − f (x∗ )) k=0 ∗ ≤∥ x − x ∥ − ∥ x m+1 ∗ −x ∥ + m ∑ δk k=0 ≤∥ x0 − x∗ ∥2 + m ∑ δk k=0 Cho m → +∞, ta 0≤2 +∞ ∑ ∗ αk (f (x ) − f (x )) + k k=0 Vì +∞ ∑ δk k=0 +∞ ∑ δk < +∞, k=0 nên 0≤2 +∞ ∑ αk (f (xk ) − f (x∗ )) < +∞ (2.31) k=0 Theo giả thiết {g } bị chặn, từ (2.10) (2.13) ta có tồn L ≥ ρ k cho ∥ g k ∥≤ L, ∀k ∈ N Do γk L k = max{1, ρ−1 , ∀k ∈ N ∥ g ∥} ≥ k ρk ρ 44 Khi đó, theo (2.21) αk = βk ρ βk ≥ , ∀k ∈ N γk L ρk (2.32) Từ (2.31) (2.32) ta có +∞ ∑ βk k=0 Do ρk (f (xk ) − f (x∗ )) < +∞ +∞ ∑ βk k=0 ρk < +∞, nên từ suy lim sup(f (xk ) − f (x∗ )) = 0, ∀x∗ ∈ S(f, C) k→+∞ Định lý 2.22 Giả sử toán (P ) có tập nghiệm S(f, C) khác rỗng, dãy {g k } bị chặn f nửa liên tục tập C Khi dãy {xk } hội tụ đến nghiệm toán (P ) Chứng minh Giả sử x∗ ∈ S(f, C) Theo định nghĩa lim sup tồn dãy {xkj } {xk } cho lim sup(f (xk ) − f (x∗ )) = lim sup(f (xkj ) − f (x∗ )) = j→+∞ k→+∞ Theo Mệnh đề 2.4 (iii), dãy {xkj } bị chặn Vì vậy, không tính tổng quát, ta giả sử lim xkj = x j→+∞ (2.33) Theo giả thiết hàm f nửa liên tục tập C từ Bổ đề 2.3 ta có f (x∗ ) − f (x) ≥ lim inf (f (x∗ ) − xk ) j→+∞ = −lim sup(f (xkj − f (x∗ )) j→+∞ = −lim sup(f (xk − f (x∗ )) j→+∞ = 45 Do x∗ ∈ S(f, C) nên f (x∗ ) − f (x) ≤ Do đó, ta có f (x∗ ) − f (x) = Hay f (x∗ ) = f (x) Nên x ∈ S(f, C) Khi theo Mệnh đề 2.4 (ii) dãy {∥ xk − x ∥2 } hội tụ, kết hợp với (2.33) ta lim xk = x, x ∈ S(f, C) k→+∞ Định lý chứng minh Ví dụ 2.23 Cho hàm f (x, y) = max{2x − 3y + 1, x + y − 2} tập C = {(x, y) : ≤ x ≤ 2, ≤ y ≤ 2} Hãy tìm min{f (x, y), (x, y) ∈ C} Lời giải Đặt z = (x, y), f1 (x, y) = 2x − 3y + 1, f2 (x, y) = x + y − Ta có ∇f1 (x, y) = (2, −3), ∇f2 (x, y) = (1, 1) Theo giả thiết, ta có C hình chữ nhật R2 f (x, y) không khả vi (x, y) = (1, 1) ∈ C Ta chọn dãy βk = 20 k+1 + Tại k = 0: Ta xét z = (1, 1) ∈ C Khi f (1, 1) = f1 (1, 1) = f2 (1, 1) = Do ∂f (1, 1) = co[∇f1 (1, 1), ∇f2 (1, 1)] = {g : g = λ∇f1 (1, 1) + (1 − λ)∇f2 (1, 1), ≤ λ ≤ 1} Ta chọn 1 1 g = ∇f1 (1, 1) + (1 − )∇f2 (1, 1) = (2, −3) + (1, 1) = ( , − ) 2 2 2 Ta tính z = PC (z − β0 60 40 √ √ g ) = P (1 − , + ) = (0, 2) C ∥ g0 ∥ 13 13 46 Ta có z ̸= z , nên ta tiếp tục thuật toán + Tại k = 1: Ta vừa tìm z = (0, 2) ∈ C Khi f1 (0, 2) = −5, f2 (0, 2) = Ta thấy f1 (0, 2) < f2 (0, 2) nên f (0, 2) = f2 (0, 2) = −5 Do đó, ta chọn g = ∇f2 (0, 2) = (2, −3) Ta tính z = PC (z − β1 20 60 √ √ g ) = P (− , + ) = (0, 2) C ∥ g1 ∥ 13 13 Ta có z = z = (0, 2), nên ta dừng thuật toán Vậy min{f (x, y), (x, y) ∈ C} = f1 (0, 2) = −5 47 Kết luận Luận văn trình bày vấn đề sau: Trình bày kiến thức giải tích lồi Đó tập lồi, tập lồi đa diện, hàm lồi, tính liên tục hàm lồi, vi phân hàm lồi toán tử chiếu lên tập lồi Trình bày kiến thức toán cực tiểu hàm lồi với ràng buộc lồi tính chất, điều kiện tối ưu trình bày thuật toán chiếu đạo hàm Thuật toán áp dụng tốt cho toán với hàm mục tiêu không thiết khả vi Tôi mong nhận đóng góp quý thầy cô bạn đọc Tôi chân thành cảm ơn! 48 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Hiền, Lê Dũng Mưu Nguyễn Hữu Điển (2015), Nhập môn giải tích lồi ứng dụng, Nhà xuất Đại học Quốc gia Hà Nội [2] Lê Dũng Mưu (1998), Nhập môn phương pháp tối ưu, Nhà xuất Khoa học Kỹ thuật [3] Trần Vũ Thiệu Nguyễn Thị Thu Thủy (2011), Nhập môn Tối ưu phi tuyến, Nhà xuất Đại học Quốc gia Hà Nội Tiếng Anh [4] Hoang Tuy (2003), Convex Analysis and Global Optimization, Springer [5] Anh P.N and Muu L.D (2014), “A hybrid subgradient algorithm nonexpansive mappings and equilibrium problems”, Optim Lett 8, 727738 [...]... − PC (x) ∥2 ≥∥ x − Px ∥2 −2ϵ Chứng tỏ Px là ϵ -chiếu của x trên C 24 Chương 2 Bài toán tối ưu lồi Trong chương này, ta trình bày về bài toán tối ưu lồi, sự tồn tại nghiệm của bài toán tối ưu lồi, điều kiện tối ưu với ràng buộc lối Tiếp theo trình bày một số thuật toán dùng để giải bài toán tối ưu lồi Đó là thuật toán chiếu dưới đạo hàm giải bài toán cực tiểu hàm không trơn Các kiến thức trình bày trong... X là tập lồi, gi là các hàm lồi hữu hạn trên X , hi là các hàm affine hữu hạn trên tập affine của X nên C là một tập lồi Điểm cực tiểu của f trên C cũng được gọi là nghiệm tối ưu của bài toán (P ) Bài toán (P ) này được gọi là một quy hoạch lồi Bài toán (P ) với miền chấp nhận được C như trên gọi là trơn (khả vi) nếu cả hàm mục tiêu và các ràng buộc đều trơn Bài toán (P ) có rất nhiều ứng dụng trong... − λ)f (x∗ ) ⇒ f (x) ≤ f (x∗ ) Điều đó chứng tỏ x∗ là nghiệm tối ưu toàn cục của bài toán (P ) (ii) Giả sử x∗ là nghiệm tối ưu địa phương và hàm mục tiêu f lồi chặt Vì hàm lồi chặt là hàm lồi nên từ (i) ta có x∗ là nghiệm tối ưu toàn cục Giả sử phản chứng x∗ không là nghiệm tối ưu toàn cục duy nhất, tức là tồn tại x ∈ C, x ̸= x∗ và f (x) = f (x∗ ) Do f là hàm lồi chặt nên 1 1 1 1 f ( x + x∗ ) < f (x)... Chứng minh Đặt C(a) := {x ∈ C|f (x) ≤ f (a), a ∈ C} Rõ ràng, C(a) đóng và bị chặn nên f có cực tiểu trên C(a) và điểm đó cũng chính là điểm cực tiểu trên C(a) Định lý 2.6 Cho (P ) là một bài toán quy hoạch lồi Khi đó: (i) Nếu x∗ là nghiệm tối ưu địa phương thì x∗ cũng là nghiệm tối ưu toàn cục (ii) Nếu f lồi chặt thì x∗ là nghiệm tối ưu toàn cục duy nhất của bài toán (iii) Nếu f lồi mạnh thì bài toán. .. Sự tồn tại nghiệm của bài toán tối ưu lồi Xét bài toán tối ưu toàn cục (P ) Có bốn trường hợp xảy ra: • C = Ø (không có nghiệm) • f không bị chặn dưới trên miền C ( inf f (x) = −∞) x∈C • f bị chặn dưới trên C nhưng giá trị cực tiểu không đạt được trên C • Tồn tại x∗ ∈ C sao cho f (x∗ ) = inf f (x) x∈C 27 Định lý 2.3 Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục của bài toán (P ) là F + (C)... ≥ 0, ∀x ∈ C Chứng tỏ x∗ là nghiệm tối ưu của bài toán (P ) (ii) Điều kiện cần: Giả sử x∗ là nghiệm tối ưu của bài toán (P ) Bằng cách lấy không gian affine của C , ta có thể giả sử C là một tập số chiều đầy đủ Do C là một tập lồi, intC ̸= Ø Xét hai tập sau E := {(t, x) ∈ R × Rn |t > f (x) − f (x∗ ), c ∈ C}, G := {0} × C Cả E và G đều là tập lồi (do C lồi và f lồi) Hơn nữa, G ∩ E = Ø Áp dụng định lý... [4] và [5] 2.1 2.1.1 Bài toán tối ưu lồi Phát biểu bài toán tối ưu lồi Xét bài toán tìm cực tiểu một hàm lồi trên một tập lồi có dạng sau min{f (x)|x ∈ C} (P ) Trong đó, C = {x ∈ X|gi (x) ≤ 0, hj (x) = 0, i = 1, 2, , m, j = 1, 2, , k}, (2.1) được gọi là miền chấp nhận được Các điều kiện gi (x) ≤ 0, i = 1, 2, , m; hj (x) = 0, j = 1, 2, , k được gọi là các ràng buộc X ⊂ Rn là một tập lồi. .. điểm ϵ -tối ưu của bài toán (P ) khi và chỉ khi 0 ∈ ∂ϵ f (xϵ ) 22 Chứng minh Giả sử xϵ ∈ C được gọi là điểm ϵ -tối ưu của bài toán (P ) Khi đó f (xϵ ) ≤ f (x) + ϵ, ∀x ∈ C Suy ra ⟨0, x − xϵ ⟩ ≤ f (x) − f (xϵ ) + ϵ, ∀x ∈ C ⇔ 0 ∈ ∂ϵ f (xϵ ) Ngược lại, nếu 0 ∈ ∂ϵ f (xϵ ) thì ta có ⟨0, x − xϵ ⟩ ≤ f (x) − f (xϵ ) + ϵ, ∀x ∈ C Chứng tỏ xϵ là điểm ϵ -tối ưu của bài toán (P ) Định nghĩa 1.42 Cho C là tập lồi đóng... tập lồi, đóng và không có điểm chung, nhưng chúng không thể tách mạnh được 10 Một số hình vẽ minh họa các trường hợp tách của hai tập hợp Hình 1.3: (a) - Hai tập lồi C và D được tách chặt bởi một siêu phẳng; (b) - Hai tập lồi C và D tách nhưng không tách mạnh; (c) - Tập C và D giao nhau bằng rỗng nhưng không thể tách được vì D không phải tập lồi 1.2 Hàm lồi Trong phần này ta chỉ xét những hàm f không. .. m), thì λ∗0 > 0 và hai điều kiện đạo hàm triệt tiêu và độ lệch bù ở trên, cũng là điều kiện đủ để chấp nhận x∗ là nghiệm tối ưu của bài toán (P ) Chứng minh Giả sử x∗ là nghiệm tối ưu của bài toán (P ) Đặt C := {(λ0 , λ1 , , λm , µ1 , , µk )|∃x ∈ X : f (x) − f (x∗ ) < λ0 và gi (x) ≤ λi , i = 1, 2, , m, hj (x) = µj , j = 1, 2, , k} Do X ̸= Ø là tập lồi, f, gi là các hàm lồi và hj là các hàm ... VĂN HOAN TOÁN TỬ CHIẾU VÀ ỨNG DỤNG VÀO BÀI TOÁN TỐI ƯU LỒI KHÔNG TRƠN LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành: Toán ứng dụng Mã số: 60 46 01 12 NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH LÊ DŨNG MƯU Thái... cho toán tối ưu lồi, không trơn Mục đích luận văn trình bày toán cực tiểu hàm lồi với ràng buộc lồi sử dụng toán tử chiếu để giải toán tối ưu lồi Cụ thể, luận văn sâu vào việc trình bày thuật toán. .. lồi, hàm lồi toán tử chiếu 1.1 Tập lồi 1.2 Hàm lồi 10 1.3 Toán tử chiếu 14 Bài toán tối ưu lồi 2.1 2.2 24 Bài toán