(Luận văn) phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách

cho an n va f (x∗ ) ≤ f (x) ∀x ∈ D gh tn to thỏa mãn p ie kx − x∗ k < ε nl w Nếu f (x∗ ) < f (x) ∀x ∈ D, x 6= x∗ kx − x∗ k < ε x∗ gọi d oa nghiệm cực tiểu địa phương chặt f D nf va f D có an lu Định nghĩa 2.3 Điểm x∗ ∈ D gọi điểm cực tiểu toàn cục lm ul f (x∗ ) ≤ f (x) ∀x ∈ D có z at nh oi Điểm x∗ ∈ D gọi điểm cực tiểu toàn cục chặt f D z f (x∗ ) < f (x) ∀x ∈ D, x 6= x∗ gm @ l Các khái niệm nghiệm cực đại địa phương, cực đại địa phương chặt m co nghiệm cực đại toàn cục, cực đại toàn cục chặt định nghĩa tương tự an Lu Chú ý: Đối với hàm f tùy ý D, ta ký hiệu tập tất điểm cực tiểu (cực đại) toàn cục f D Argminx∈D f (x) (Argmaxx∈D f (x)) n va ac th si 26 Nhận xét 2.2 Khi xét toán tối ưu ta mong muốn tìm nghiệm tối ưu (cực tiểu, cực đại) tồn cục Tuy nhiên, nghiệm khơng tồn Định nghĩa 2.4 Miền trị tập giá trị f (x) điểm x thuộc miền ràng buộc Tập {f (x) : x ∈ D} gọi miền trị hàm f Có hai khả sau: i) Tập {f (x) : x ∈ D} bị chặn dưới, nghĩa có số µ cho lu µ ≤ f (x), ∀x ∈ D an n va Trong trường hợp cận lớn {f (x) : x ∈ D} số thực tn to kí hiệu inf f (x) x∈D ie gh ii) Tập {f (x) : x ∈ D} không bị chặn (tức tập chứa số thực p nhỏ tùy ý) w Trong trường hợp ta viết inf f (x) = −∞ oa nl x∈D d Nhận xét 2.3 Điểm cực trị toàn cục thường tìm số điểm cực lu nf va an trị địa phương Nhưng việc tìm nói chung khơng dễ tốn có nhiều cực trị địa phương giá trị khác nhau, trừ có giả lm ul thiết đảm bảo nghiệm tối ưu địa phương nghiệm tối ưu tồn cục Vì z at nh oi thực tế, nhiều trường hợp ta phải lịng với điểm cực trị địa phương đơi tìm điểm cực trị địa phương đủ z gm @ Định lí 2.1 Cho D tập lồi khác rỗng H f : D → R∪{+∞} l hàm lồi Khi điểm cực tiểu địa phương f D m co điểm cực tiểu toàn cục Tập Argminx∈D f (x) tập lồi D an Lu Chứng minh Giả sử x0 ∈ D điểm cực tiểu địa phương f D n va U (x0 ) lân cận x0 cho f (x0 ) ≤ f (x) với x ∈ D∩U (x0 ) ac th si 27 Với x ∈ D ta có xλ = λx + (1 − λ)x0 ∈ D ∩ U (x0 ) với λ > đủ nhỏ Khi đó, f (x0 ) ≤ f (xλ ) ≤ λf (x) + (1 − λ)f (x0 ) hay λf (x0 ) ≤ λf (x) lu Do λ > nên f (x0 ) ≤ f (x) Vì x ∈ D chọn tùy ý nên x0 điểm cực an n va tiểu toàn cục f D {x : f(x) ≤ α} gh tn to Nếu α = min{f (x) : x ∈ D} Argminx∈D f (x) trùng với tập D ∩ p ie Theo Định lý 1.20 tập lồi hàm f (x) lồi nl w Hệ 2.1 Bất điểm cực đại địa phương hàm lõm oa tập lồi điểm cực đại toàn cục Tập tất điểm cực đại d hàm lõm tập lồi lồi an lu nf va Định lí 2.2 Một hàm lồi chặt f tập lồi D có nhiều điểm lm ul cực tiểu D, nghĩa tập Argminx∈D f (x) gồm nhiều phần tử z at nh oi Một số định lý sau liên quan đến điều kiện tối ưu toán (P) Định lí 2.3 (Định lý Weierstrass) Nếu D 6= ∅ tập compact yếu f z nửa liên tục yếu ( liên tục ) f có điểm cực tiểu D hay (P) có gm @ nghiệm tối ưu co l Định lí 2.4 Nếu (P) toán quy hoạch lồi (D tập lồi f hàm lồi m D) f khả vi phân D điều kiện cần đủ để x∗ nghiệm (2.1) n va ∈ ∂f (x∗ ) + ND (x∗ ) an Lu tối ưu (P) là: ac th si 28 Hệ 2.2 Nếu D ≡ R (bài toán (P) khơng có ràng buộc) (2.1) (2.2) ∈ ∂f (x∗) (Vì NRn (x∗ ) = {0} ) Nếu f khả vi (2.2) trở thành : = f (x∗ ) Định nghĩa 2.5 Vectơ d 6= gọi hướng chấp nhận tập D x0 ∈ D lu ∃λ0 > : x0 + λd ∈ D; ∀0 ≤ λ ≤ λ0 an va n Bây ta xét toán (P): minf (x) tn to Với tập ràng buộc D cho dạng tập nghiệm hệ phương p ie gh trình bất phương trình Cụ thể: (2.3) oa nl w D := {x : gj (x) ≤ 0, j = 1, , m; hi (x) = 0, i = 1, , k} d Giả sử gj hi hàm khả vi liên tục Gọi D(x0 ) tập hợp tất lm ul Cho x0 ∈ D nf va an lu hướng chấp nhận D x0 z at nh oi A(x0 ) := j : gj (x0 ) = tập số tích cực z Gọi S(x0 ) tập nghiệm hệ tuyến tính sau: gm @ m co l ∇hi (x0 ), d = 0, i = 1, , k, ∇gj (x0 ), d ≤ 0, j ∈ A(x0 ), n va D(x0 ) ⊆ S(x0 ) an Lu Ta dễ dàng thấy ac th si 29 Chúng ta nói nghiệm tối ưu địa phương x0 S(x0 ) = D(x0 ) Ta có định lý sau: Định lí 2.5 (Định lý Kuhn - Tucker) Giả sử hàm f , gj ; hi hàm khả vi liên tục Gọi x∗ nghiệm tối ưu (P) thỏa mãn S(x0 ) = D(x0 ) Khi đó, tồn nhân tử Lagrange lu λ∗ = λ∗1 , λ∗2 , , λ∗m ≥ 0; µ∗ = µ∗1 , µ∗2 , , µ∗m (2.4) an n va cho thỏa mãn đạo hàm triệt tiêu to ∗ gh tn ∇f (x ) + m X ∗ ∗ λj ∇gj (x ) + m X j=1 µ∗i ∇hi (x∗ ) = (2.5) i=1 ie p độ lệch bù (2.6) oa nl w λ∗j gj (x∗ ) = 0; ∀j = 1, m d Ngược lại (P) quy hoạch lồi (tức f , gj lồi hi affine) (2.4), (2.5), (2.6) lu nf va an điều kiện đủ để x∗ nghiệm tối ưu (toàn cục) (P) lm ul Chứng minh Dùng khai triển Taylor z at nh oi f (x∗ + λd) = f (x∗ ) + h∇f (x∗ ), λdi + r (λd) , có h∇f (x∗ ), di ≥ với tất d ∈ D(x∗ ) z h∇f (x∗ ), di ≥ m an Lu Áp dụng bổ đề Farkar với ma trận A có hàng co với d ∈ S(x∗ ) l gm @ Từ D(x∗ ) = S(x∗ ), có n va −∇gj (x∗ ), j ∈ A(x∗ ), ∇hi (x∗ ), −∇hi (x∗ ), i = 1, 2, 3, , k ac th si 30 Chúng ta có số λ∗j ≥ 0, j ∈ A(x∗ ) αj∗ ≥ 0, βj∗ ≥ 0, i = 1, 2, , k cho ∗ ∇f (x ) + X λ∗j ∇gj (x∗ ) j∈A(x∗ ) + k X αj∗ − βj∗ ∇hi (x∗ ) = i=1 Lấy λ∗j = với j ∈ / A(x∗ ) µ∗j = αj∗ − βj∗ với i có (2.5) (2.6) Bây ta giả sử f , gj lồi hi affine với i Ta thấy (2.4) (2.5) (2.6) điều kiện đủ để x∗ ∈ D nghiệm tối ưu (P) lu an Thật vậy, x∗ không nghiệm tối ưu (P) tồn x ∈ D cho n va f (x) < f (x∗ ) tn to Nếu d = x − x∗ 6= gh f (x∗ + td) − f (x∗ ) < h∇f (x ), di = lim t p ie ∗ nl w Trong trường hợp khác, λ∗j gj (x∗ ) = với i Chúng ta có λ∗j = d oa j ∈ / A(x∗ ) nf va an lu Cùng lúc, từ x ∈ D có h∇gj (x∗ ), x − x∗ i ≤ gj (x) − gj (x∗ ) ≤ , ∀j ∈ A(x∗ ) z at nh oi lm ul Như λ∗j h∇gj (x∗ ), di ≤ ∀j z Do hi hàm affine nên theo tính chất hàm affine, với i có co l gm @ h∇hi (x∗ ), di = m Do đó, với µi , an Lu µ∗i h∇hi (x∗ ), di = ∀i, n va ac th si 31 kết hợp tất lại ta ∗ h∇f (x ), di + m X λ∗j h∇gj (x∗ ), di + j=1 k X µ∗i h∇hi (x∗ ), di < i=1 điều mâu thuẫn với (2.5) Từ suy điều phải chứng minh Hệ 2.3 Đối với tốn khơng ràng buộc (2.5) trở thành nguyên lý Fermat = ∇f (x∗ ) lu an Định nghĩa 2.6 Một vectơ d 6= gọi hướng giảm hàm f n va x0 ∈ Rn nếu: to ie gh tn ∃λ0 > : f (x0 + λd) ≤ f (x0 ) ∀λ ∈ [0, λ0 ] p Bổ đề 2.1 Nếu ∇f (x0 ) 6= vectơ d = −∇f (x0 ) hướng giảm w d oa nl Chứng minh Theo khai triển Taylor ta có: nf va an lu f (x0 + λd) = f (x0 ) + λ d, ∇f (x0 ) + ϑ(λ) Với ϑ(λ) đại lượng tiến đến nhanh λ z at nh oi lm ul |λ| → ϑ(λ) →0 |λ| z gm @ Thay d = −∇f (x0 ) ta an Lu Do đó, −∇f (x0 ) hướng giảm m ⇒ f (x0 + λ∇f (x0 )) ≤ f (x0 ) λ > đủ nhỏ co l 2 f (x0 +λd) = f (x0 )+λ −∇f (x0 ), ∇f (x0 ) +ϑ(λ)−λ ∇f (x0 ) ≤ f (x0 )+ϑ(λ) n va ac th si 32 2.2 Thuật toán chiếu đạo hàm 2.2.1 Toán tử chiếu lên tập lồi không gian Hilbert Định nghĩa 2.7 Cho D 6= ∅ (không thiết lồi) điểm y ∈ H, đặt dD (x) := inf x∈D kx − yk Ta nói dD (y) khoảng cách từ y tới D Nếu tồn x0 ∈ D cho dD (y) = x − y ta nói x0 hình chiếu y D Kí hiệu là: PD (y) lu đơn giản P (y) không cần nhấn mạnh đến tập chiếu D an n va Chú ý: Nếu D 6= ∅ dD (y) hữu hạn, to gh tn ≤ dD (y) ≤ ky − xk , ∀x ∈ D p ie Mệnh đề 2.1 Cho D tập lồi đóng khác rỗng Khi đó: nl w i) Với y ∈ H, x0 ∈ D hai tính chất sau tương đương: oa a) x0 = PD (y) d b) y − x0 = ND (x0 ), nf va an lu đó, tập hợp z at nh oi lm ul ND (x0 ) := w / wT (x − x0 ) ≤ ∀x ∈ D nón pháp tuyến (ngồi) D x0 ii) Với y ∈ H, hình chiếu y D ln tồn z PD (y) tách hẳn y khỏi D, tức là: co l gm @ iii) Nếu y ∈ / D hPD (y) − y, x − PD (y)i = siêu phẳng tựa D m hPD (y) − y, x − PD (y)i ≥ 0, ∀x ∈ D an Lu n va hPD (y) − y, y − PD (y)i < ac th si 33 iv) Ánh xạ y → PD (y) có tính chất sau: a) kPD (x) − PD (y)k ≤ kx − yk ; ∀x, ∀y (tính khơng giãn) b) hPD (x) − PD (y), x − yi ≥ kPD (x) − PD (y)k2 (tính đồng bức) Chứng minh i) Giả sử có a) Lấy x ∈ D λ ∈ (0, 1) Đặt xλ := λx + (1 − λ)x0 Do x, x0 ∈ D D lồi nên xλ ∈ D Hơn x0 hình chiếu y nên lu x − y ≤ ky − xλ k an n va Hay gh tn to x − y ≤ λ(x − x0 ) + (x0 − y) 2 p ie Khai triển vế phải, ước lượng chia hai vế cho λ > ta có: oa nl w 2 λ x − x0 + 2(x − x0 , x0 − y) ≥ d Điều với x ∈ D λ ∈ (0, 1) lu nf va an Do cho λ tiến đến 0, ta z at nh oi lm ul Vậy y − x0 ∈ ND (x0 ) x0 − y, x − x0 ≥ 0, ∀x ∈ D Bây giả sử có b) Với x ∈ D có: z l gm @ ≥ (y − x0 )T (x − x0 ) = (y − x0 )T (x − y + y − x0 ) = y−x + (y − x0 )T (x − y) m co Từ b), dùng bất đẳng thức Cauchy-Schwarz ta có: an Lu y − x0 ≤ (y − x0 )T (y − x) ≤ y − x0 ky − xk n va ac th si 34 Suy y − x0 ≤ ky − xk , ∀x ∈ D x0 = p(y) ii) Do dD (y) = inf x∈D kx − yk nên theo định nghĩa cận (infimum), tồn dãy xk ∈ D cho lim xk − y = dD (y) < +∞ k Vậy dãy xk bị chặn, có dãy xkj hội tụ đến điểm lu x0 an n va Do D đóng nên x0 ∈ D tn to Vậy gh x − y = lim xkj − y = lim xk − y = dD (y) j k ie p Chứng tỏ x0 hình chiếu y D nl w Bây ta tính hình chiếu Thật vậy, tồn điểm d oa x0 x1 hình chiếu y D, lu lm ul Tức nf va an y − x0 ∈ ND (x0 ), y − x1 ∈ ND (x1 ) z at nh oi x0 − y, x1 − x0 ≥ z x1 − y, x0 − x1 ≥ m co l x − x1 ≤ gm @ Cộng hai bất đẳng thức ta suy n va x0 = x1 an Lu ac th si 35 iii) Do y − x0 ∈ ND (x0 ) nên x0 − y, x − x0 ≥ 0, ∀x ∈ D Vậy x0 − y, x = x0 − y, x0 siêu phẳng tựa D x0 Siêu phẳng tách y khỏi D y 6= x0 nên x − y, y − x0 = − x0 − y < lu iv) Theo phần ii) ánh xạ x → P (x) xác định khắp nơi an n va Do z − P (z) ∈ ND (P (z)) với z nên áp dụng với z = x z = y ta có: to gh tn hx − P (x), P (y) − P (x)i ≤ p ie nl w hy − P (y), P (x) − P (y)i ≤ d oa Cộng hai bất đẳng thức lại lu nf va an hP (y) − P (x), P (y) − P (x) + x − yi ≤ Từ theo bất đẳng thức Cauchy – Schwarz, suy ra: lm ul z at nh oi kP (x) − P (y)k ≤ kx − yk Để chứng minh tính đồng bức, áp dụng tính chất b) i) với P (x) z P (y) ta có: @ gm hP (x) − x, P (x) − P (y)i ≤ an Lu hP (x) − P (y) + y − x, P (x) − P (y)i m Cộng hai bất đẳng thức ta được: co l hy − p(y), P (x) − P (y)i ≤ n va = hP (x) − P (y), y − xi + kP (x) − P (y)k2 ≤ ac th si