Dưới vi phân của hàm lồi và ứng dụng trong tối ưu hóa không trơn.
Định nghĩa và kí hiệu
Hàm f: R n → R được gọi là hàm lồi nếu tồn tại một véctơ g ∈ R n là dưới gradient của f tại điểm x ∈ R n, thỏa mãn điều kiện f(x + δ) ≥ f(x) + δ^T g với mọi x + δ ∈ R n Tập hợp tất cả các dưới gradient của f tại x được gọi là dưới vi phân của hàm f tại x, ký hiệu là ∂f(x).
Ví dụ 1.1 Cho f(x) = |x| Khi đó
Ví dụ 1.2 Cho f(x) = e x −1 Khi đó
{e x } nếu x > 0 {0} nếu x < 0. Định nghĩa 1.3 Hàm f được gọi là khả dưới vi phân tại x nếu tập
Một số tính chất cơ bản của dưới vi phân
Bổ đề 1.1 Dưới vi phân ∂f(x) là một tập đóng, tức là: nếu ta có dãy x (k) →x 0 , g (k) → g 0 , g (k) ∈ ∂f (k) thì g 0 ∈ ∂f 0
Chứng minh Lấy y ∈ K, vì g (k) ∈ ∂f (k) nên với mọi k ta có f(y) ≥ f (k) + (y−x (k) ) T g (k) (1.3) Trong (1.3) cho k → ∞ ta được f(y) ≥ f 0 + (y −x 0 ) T g 0 , ∀ y ∈ K suy ra g 0 ∈ ∂f 0
Bổ đề 1.2 ∂f(x) là tập bị chặn với mọi x ∈ B ⊂ Int(K) trong đó
Chứng minh Giả sử ngược lại, khi đó tồn tại dãy g (k) ∈ ∂f(x (k) ) và dãy x (k) ∈ B sao cho kg (k) k 2 → ∞ Do tính compact nên tồn tại x (k) →x 0 Định nghĩa δ (k) = g (k) kg (k) k 2 2
Khi đó x (k) +δ (k) ∈ K với k đủ lớn và theo (1.1) ta có f(x (k) +δ (k) ) ≥ f (k) +g (k) T δ (k) = f (k) + 1.
Nhưng qua giới hạn thì f (k) →f 0 , δ (k) → 0.
Nhận xét 1.1. i) Từ hai bổ đề trên suy ra ∂f(x) là một tập compact. ii) Nếu f khả vi tại x thì f(x+δ) =f(x) +δ T ∇f(x)) + 0(kδk) mà f(x+δ) ≥ f(x) +δ T g nên δ T (g − ∇f(x)) ≤ 0(kδk).
Chọn δ = θ(g − ∇f(x)), θ ↓ 0 sao cho g = ∇f Từ đây ta có ∂f(x) là vectơ ∇f(x).
Bổ đề 1.3 Xét hàm đa trị
Khi đó hàm đa trị ∂f đơn điệu, tức là với mọi x 1 , x 2 ∈ K luôn tồn tại g 1 ∈ ∂f(x 1 ), g 2 ∈ ∂f(x 2 ) sao cho
Chứng minh Lấy x 1 , x 2 ∈ K, g 1 ∈ ∂f(x 1 ), g 2 ∈ ∂f(x 2 ) Theo định nghĩa của dưới vi phân ta có f(x 2 ) ≥ f(x 1 ) +g 1 T (x 2 −x 1 ) f(x 1 ) ≥ f(x 2 ) +g 2 T (x 1 −x 2 ).
Cộng hai bất đẳng thức trên ta được
(g 2 −g 1 ) T (x 2 −x 1 ) ≥ 0 Xét lớp các hàm lồi đa diện h : R m →R 1 , h(c) được định nghĩa bởi h(c) = max i c T h i +b i (1.4) trong đó hi là các cột của ma trận hữu hạn H cho trước Định nghĩa
Tập hợp A = A(c) ={ i : c T h i + b i = h(c) } (1.5) bao gồm các siêu phẳng tựa tại điểm c và đạt giá trị lớn nhất Các siêu phẳng này được xác định dưới vi phân ∂h(c), điều này được thể hiện trong bổ đề sau.
Lấy λ ∈ conv i∈A h i , ta có λ = P i∈Ah i à i với à i ≥ 0, P i∈Aà i = 1 Khi đó với mọi δ ta có h(c) +δ T λ = max i∈A (c T h i +b i ) +X i∈A δ T h i à i
Ngược lại giả sử λ ∈ ∂h(c), λ6∈ conv i∈A hi Khi đó theo Bổ đề 1.5 ở phần dưới sẽ tồn tại s 6= 0, s T λ > s T à, ∀à∈ conv i∈A h i
Lấy δ = αs và từ h i ∈ conv i∈A h i ta có h(c) +δ T λ = max i (c T h i +b i ) +αs T λ
Với α đủ nhỏ, khi đó max đạt được trên một tập con của A, mâu thuẫn với λ ∈ ∂h(c).
Do đó với λ ∈ conv i∈A h i thì ∂h(c) ⊂ conv i∈A h i
Bổ đề 1.5 (Bổ đề về siêu phẳng tách các tập lồi)
Nếu K là một tập lồi, đóng, λ 6∈ K Khi đó tồn tại một siêu phẳng tách λ và K.
Chứng minh Lấy x 0 ∈ K Khi đó tập
{ x : kx−λk 2 ≤ kx 0 −λk 2 } là một tập bị chặn Do đó tồn tại điểm cực tiểu x đối với bài toán minkx−λk 2 , x ∈ K.
Khi đó với bất kì x ∈ K ta có k(1−θ)x+ θx−λk 2 2 ≥ kx−λk 2 2
Từ đó véctơ s= λ−x 6= 0 và thoả mãn đồng thời s T (λ−x) > 0, s T (x−x) ≤ 0, ∀x ∈ K nên s T λ > s T x ≥s T x do đó s T λ > s T x, ∀x ∈ K.
Vậy siêu phẳng s T (x−x) = 0 tách K và λ
Bổ đề 1.6 Cho f(x) xác định trên một tập lồi K ⊂ R n , x 0 ∈ int(K). Nếu x (k) → x 0 là dãy định hướng bất kì với δ (k) ↓0 và s (k) → s
Nếu g (k) ∈ ∂f (k) thì với mọi k đủ lớn ta có f 0 = f(x 0 ) = f(x k +x 0 −x k )
Vì ∂f (k) là một tập bị chặn trong lân cận của x 0, tồn tại một dãy g (k) thuộc ∂f (k) mà g (k) tiến tới g 0, với g 0 thuộc ∂f 0 Nếu (1.8) không đúng, thì (1.9) sẽ chỉ ra sự mâu thuẫn tại giới hạn của dãy con đã nêu.
Nhận xét 1.2. i) Nếu x ∗ là cực tiểu địa phương của hàm f(x) thì f (k) ≥ f ∗ với k đủ lớn và từ (1.8) ta có g∈∂fmax ∗ s T g ≥0, ∀s : ksk= 1 (1.9)
Do đó điều kiện cần đối với cực tiểu địa phương là đạo hàm theo mọi hướng phải không âm Từ đó f 0 (g;s) ≥ 0. Điều này tương đương với
Điều kiện tổng quát cho yêu cầu g ∗ = 0 đối với các hàm trơn được biểu diễn bởi 0 ∈ ∂f ∗ Nếu 06∈ ∂f 0, theo Bổ đề 1.5 (với λ = 0, K = ∂f 0), sẽ tồn tại một véctơ s = − g kgk 2 sao cho s T g < 0 cho mọi g ∈ ∂f 0, trong đó g là véctơ cực tiểu của kgk 2.
Từ kết quả tại x ∗, ta nhận thấy rằng (1.10) và (1.11) là tương đương và đều là điều kiện đủ cho cực tiểu toàn cục tại x ∗ Cụ thể, nếu 0 thuộc ∂f(x ∗), thì f(x ∗ +δ) sẽ lớn hơn hoặc bằng f(x ∗) cộng với δ T 0, tức là f(x ∗ +δ) ≥ f(x ∗) cho mọi x ∗ +δ thuộc K, từ đó khẳng định rằng x ∗ là cực tiểu toàn cục.
Cuối cùng để nghiên cứu sự tồn tại và duy nhất của điểm cực tiểu, chúng ta có kết quả sau đây:
Cho hàm f: R^n → R là hàm lồi và C là tập con lồi đóng khác rỗng của R^n Nếu f lồi chặt, thì hàm f có nhiều nhất một cực tiểu trên C Ngược lại, nếu f lồi mạnh, thì f sẽ có duy nhất một điểm cực tiểu trên C.
Điều kiện tồn tại nghiệm tối ưu 18 2.1 Sự tồn tại nghiệm tối ưu
Các bài toán tối ưu
Cho hàm f : D → R Bài toán minx∈D f(x) (P) được gọi là bài toán tối ưu không ràng buộc.
Cho các hàm h1, , hk : D →R, g1, , gm : D →R Bài toán x∈Dmin 0 f(x) (CP) với
Bài toán tối ưu có ràng buộc được định nghĩa qua tập D0 = {x ∈ D | g i (x) ≤ 0, h j (x) = 0, ∀ i = 1, m; j = 1, k}, với D0 được gọi là tập chấp nhận được Điểm x0 ∈ D được coi là nghiệm tối ưu của bài toán (CP) nếu nó là cực tiểu của hàm f trên tập chấp nhận D0, và giá trị f(x0) được gọi là giá trị tối ưu Định lý 2.2 khẳng định rằng nếu D là tập compact trong không gian X, với f, g1, , gm là các hàm nửa liên tục dưới và h1, , hk là các hàm liên tục trong D, thì bài toán (CP) sẽ có nghiệm nếu D không rỗng.
Định lý được chứng minh dựa vào tính nửa liên tục dưới của các hàm số g i và tính liên tục của các hàm h j, nhằm đảm bảo tính compact của tập D 0 theo Định lý 2.1.
Bài toán tối ưu không ràng buộc
Trong phần này, chúng ta sẽ phân tích các điều kiện tối ưu cho hàm hợp φ(x) = f(x) + h(c(x)), trong đó f(x) là hàm từ R^n đến R, c(x) là hàm từ R^n đến R^m thuộc lớp C^1, và h(c) là hàm lồi không trơn thuộc lớp C^0 Đặc biệt, chúng ta sẽ xem xét hàm h(c) có dạng h(c) = max_i (c^T h_i + b_i), với các véctơ h_i và số b_i đã cho.
Hàm h(c) là một hàm lồi đa diện, và đồ thị của nó được hình thành từ một số hữu hạn các siêu phẳng tựa c T h i + b i Đặc biệt, có ba trường hợp quan trọng mà trong đó b i = 0 đối với mọi i.
Khi đó dưới vi phân của các hàm trên lần lượt là:
2.3.1 Điều kiện tối ưu cấp 1
Cho x (k) → x 0 là dãy định hướng với δ (k) ↓ 0 và s (k) → s ( tức là x (k) = x 0 +δ (k) s (k) ).
Theo khai triển Taylor ta có f (k) = f 0 +δ (k) g 0T s (k) + 0(δ (k) ) trong đó g 0 = ∇f(x 0 ) Từ đó f (k) −f 0 δ (k) → g 0T s và c (k) = c 0 +δ (k) A 0T s (k) + 0(δ (k) ), với A 0 là ma trận có cột i là ∇c i (x 0 ) Vì thế c (k) → c 0 là dãy định hướng trong R m với c (k) −c 0 δ (k) → A 0T s.
Từ Bổ đề 1.6 với h(c) ta có k→∞lim φ (k) −φ 0 δ (k) = max λ∈∂h 0 s T (g 0 +A 0 λ) (2.3) và điều này dẫn tới đạo hàm theo hướng tại x 0 là theo hướng s đối với hàm φ(x) trong (2.1).
Nếu x ∗ là cực tiểu địa phương của φ(x), thì φ(k) ≥ φ ∗ với mọi k đủ lớn, dẫn đến λ ∈ ∂hmax ∗ s T (g ∗ + A ∗ λ) ≥ 0 cho mọi s với ksk = 1 Điều này thể hiện điều kiện cần cấp 1 cho cực tiểu địa phương, tương tự như (1.10), và có thể hiểu là đạo hàm theo mọi hướng là không âm Kết quả này cho thấy tính chất quan trọng của các cực tiểu địa phương.
Tập ∂φ ∗ được xác định là tập lồi và compact, nhưng không khả vi phân do φ có thể không phải là hàm lồi Để diễn đạt điều kiện (2.4) theo một cách khác, chúng ta sẽ sử dụng hàm Lagrange.
Khi đó một phát biểu tương tự (2.4) là Định lý 2.3 (Điều kiện cần cấp một)
Nếu x ∗ là cực tiểu của φ(x) thì tồn tại một véctơ λ ∗ ∈ ∂h ∗ thoả mãn
Chứng minh Định lý dễ dàng chứng minh dựa vào giả thiết ∂φ ∗ là tập các véctơ ∇L(x ∗ , λ) với mọi λ ∈ ∂h ∗
Trong trường hợp tổng quát, hàm φ(x) có thể không lồi Khi đó điều kiện của Định lý 2.3 không phải là điều kiện đủ.
2.3.2 Điều kiện tối ưu cấp hai
Cho λ ∗ là một véctơ bất kì tồn tại trong Định lý 2.3 và xét
X được định nghĩa là tập hợp các điểm x sao cho h(c(x)) bằng h(c(x ∗ )) cộng với hiệu giữa c(x) và c(x ∗ ) nhân với λ ∗ Định nghĩa 2.3 chỉ ra rằng G ∗ là tập hợp các phương tiếp xúc chấp nhận được của X tại điểm x ∗, tức là nếu s thuộc G ∗, thì tồn tại một dãy định hướng x(k) tiến tới x ∗ với x(k) thuộc X, sao cho s(k) tiến tới s và có điều kiện ks(k)k 2 = 1.
Nhận thấy các phương này liên quan chặt chẽ tới tập G ∗ là tập các hướng tiếp xúc có độ dốc 0, tức là
Chứng minh Lấy s ∈ G ∗ , vì vậy tồn tại một dãy định hướng trong X là s (k) →s, ksk 2 = 1.
Từ (2.1), (2.3) và (2.6) ta có λ∈∂hmax ∗ s T (g ∗ +A ∗ λ) = lim k→∞ φ (k) −φ ∗ δ (k)
Khai triển Taylor ta có f (k) = f ∗ + δ (k) g ∗ T s (k) + 0(δ (k) ) c (k) = c ∗ +δ (k) A ∗ T s (k) + 0(δ (k) ).
= (g ∗ +A ∗ λ ∗ )s (k) T + 0(δ (k) ) δ (k) + 0(δ (k) ) δ (k) λ ∗ (2.8) Trong (2.8) chuyển qua giới hạn khi k → ∞ ta được λ∈∂hmax ∗ s T (g ∗ +A ∗ λ) =s T (g ∗ +A ∗ λ ∗ ) mà x ∗ là cực tiểu địa phương nên g ∗ +A ∗ λ ∗ = 0, do đó λ∈∂hmax ∗ s T (g ∗ +A ∗ λ) = 0, suy ra s ∈ G ∗ Vậy G ∗ ⊂G ∗
Nếu G ∗ = G ∗ thì điều kiện này được gọi là điều kiện chính quy. Định lý 2.4 (Điều kiện cần cấp hai)
Nếu x ∗ là cực tiểu của φ(x) thoả mãn Định lý 2.3 và tồn tại λ ∗ để
Chứng minh Với s ∈ G ∗ thì s ∈ G ∗ Do đó tồn tại một dãy định hướng chấp nhận được x (k) → x ∗ , tức là x (k) = x ∗ + s (k) δ (k) với s (k) → s.
Sử dụng khai triển Taylor đối với L(x, λ ∗ ) tại x ∗ ta có f(x (k) ) +λ ∗ T c(x (k) ) =L(x (k) , λ ∗ )
2(δ (k) ) 2 s (k) T ∇ 2 L(x ∗ , λ ∗ )s (k) + 0((δ (k) ) 2 ) (2.9) với e (k) = x (k) −x ∗ và vì ks (k) k = 1, δ (k) là một vô hướng.
Từ giả thiết x (k) là chấp nhận được ( x (k) ∈ X ) và từ (2.9) ta có φ (k) = f (k) +h(c (k) ) φ ∗ = f ∗ +h(c ∗ ) nên φ (k) −φ ∗ = f (k) −f ∗ +h(c (k) )−h(c ∗ )
Vì x ∗ là cực tiểu địa phương nên φ (k) ≥ φ ∗ với k đủ lớn Do đó
Cho k → +∞ ta được s T ∇ 2 L(x ∗ , λ ∗ )s ≥ 0, ∀s ∈ G ∗ Định lý 2.5 (Điều kiện đủ cấp hai)
Nếu tồn tại λ ∗ ∈ ∂h ∗ thoả mãn ∇L(x ∗ , λ ∗ ) = g ∗ + A ∗ λ ∗ = 0 và nếu s T ∇ 2 L(x ∗ , λ ∗ )s > 0,∀s ∈ G ∗ thì x ∗ là cực tiểu địa phương chặt của φ(x).
Chứng minh Giả sử ngược lại, khi đó sẽ tồn tại một dãy định hướng x (k) →x ∗ mà φ (k) ≤ φ ∗
Nếu à > 0 thỡ từ giới hạn (2.3) k→+∞lim φ (k) −φ ∗ δ (k) = à dẫn tới mõu thuẫn với φ (k) ≤ φ ∗ , suy ra à = 0 Vậy s ∈ G ∗
Sử dụng bất đẳng thức dưới gradient, do λ ∗ ∈ ∂h ∗ nên h(c ∗ +δ) ≥h(c ∗ ) +δ T λ ∗ Chọn δ = c (k) −c ∗ , suy ra h(c (k) ) ≥ h(c ∗ ) + (c (k) −c ∗ ) T λ ∗
2δ (k) 2 Chuyển qua giới hạn khi k → ∞ ta được
0 ≥s T ∇ 2 L(x ∗ , λ ∗ )s, mâu thuẫn với giả thiết là s T ∇ 2 L(x ∗ , λ ∗ )s > 0 ∀s ∈ G ∗
Trong điều kiện cần cấp hai, một giả thiết quan trọng là việc thỏa mãn điều kiện chính quy.
G ∗ = G ∗ Vậy khi nào thì điều kiện chính quy xảy ra? Bổ đề sau đây sẽ làm sáng tỏ điều đó.
Bổ đề 2.2 (Điều kiện chính quy)
Cho h(c) = maxi(c T hi +bi) và à ∗ i là cỏc nhõn tử thoả món
P ià ∗ i (g ∗ +A ∗ h i ) = 0 à ∗ i ≥0 nếu tồn tại chỉ số p mà à ∗ p > 0 và cỏc vộctơ
A ∗ (h p −h i ), i ∈ A ∗ \p là độc lập tuyến tính thì G ∗ = G ∗ , trong đó
Chứng minh Cho λ ∗ = P ià ∗ i h i là cỏc vộctơ tương ứng trong ∂h ∗ và xột
Lấy s ∈ G ∗ sao cho λ∈∂hmax ∗ s T (g ∗ +A ∗ λ) = 0. Đặt
A ∗ s = { i : s T (g ∗ +A ∗ λ) = 0, i ∈ A ∗ } là kí hiệu tập hợp các véctơ h i ( phụ thuộc vào s ) mà đạt max Theo (2.5) thì λ ∗ thoả mãn g ∗ +A ∗ λ ∗ = 0 nên g ∗ +A ∗ (X i à ∗ i h i ) = g ∗ +X i à ∗ i A ∗ h i = 0
Nếu à ∗ i > 0 ( tức là i ∈ A ∗ + ) thỡ g ∗ + A ∗ h i = 0, suy ra i ∈ A ∗ s Do đú
Thật vậy: ta có đẳng thức
Với i ∈ A ∗ s \ p, suy ra à ∗ p > 0, à ∗ i = 0 với mọi i ∈ A ∗ \ p Vậy từ (2.10) ta có g ∗ +A ∗ h p = 0 hay A ∗ h p = −g ∗
Nếu i ∈ A ∗ \ A ∗ s thì i 6∈ A ∗ s , do đó s T (g ∗ +A ∗ h i ) < 0 hay s T A ∗ h i < s T (−g ∗ ).
Vỡ p ∈ A ∗ + nờn à ∗ p > 0 dẫn tới g ∗ +A ∗ h p = 0 hay
Nếu A ∗ (h p −h i) có i ∈ A ∗ \ p độc lập tuyến tính, thì A ∗ s \ p sẽ chứa ít hơn n phần tử, vì nếu chứa đúng n phần tử thì s T = s(i) T với mọi i = 1, n, dẫn đến mâu thuẫn với ksk = 1 Do đó, tồn tại x(θ) với x ∗ = x(0) và x(0) =˙ s xác định với θ ≥ 0 đủ nhỏ, sao cho với θ > 0, ta có h T p c(x(θ)) + b p = h T i c(x(θ)) + b i cho i ∈ A ∗ s \ p, và h T p c(x(θ)) + b p > h T i c(x(θ)) + b i cho i ∈ A ∗ \ A ∗ s.
Do đó với θ đủ nhỏ thì h(c(x(θ))) = h T i c(x(θ)) +bi điều này dẫn tới h(c(x(θ)))−h ∗ = h T i (c(x(θ)−c ∗ ), ∀ i ∈ A ∗ s
Hệ quả 2.1 Nếu trong tập A ∗ chứa n+ 1 phần tử và A ∗ + = A ∗ thì G ∗ là ∅.
Chứng minh Từ giả thiết ta có A ∗ s \ p phải có n phần tử Khi đó nếu
G ∗ 6= ∅ thì tồn tại s sao cho s T = s (i) T = 0,∀i = 1, n, mâu thuẫn với ksk = 1 Do đó G ∗ = ∅
Ví dụ 2.1 Xét bài toán minkc(x)k 1 trong đó c 1 (x) = x 1 −x 3 2 + 5x 2 2 −2x 2 −12 c 2 (x) = x 1 +x 3 2 +x 2 2 −14x 2 −29
Chứng minh: x ∗ = (6.4638,−0.8968) T là cực tiểu địa phương của bài toán.
Giải Từ giả thiết ta có: f(x) = 0 và h(x) = kc(x)k 1
Vậy x ∗ thoả mãn điều kiện cần cấp 1.
Vậy x ∗ thoả mãn điều kiện đủ cấp 2 nên x ∗ là cực tiểu địa phương của bài toán.
Ví dụ 2.2 Xét bài toán minkck ∞ trong đó c1(x) = x1 −x 3 2 + 5x 2 2 −2x2 −13 c 2 (x) = x 1 +x 3 2 +x 2 2 −14x 2 −29 c 3 (x) = 0.4336x 1
Chứng minh: x ∗ = (11.4128,−0.8968) T là cực tiểu địa phương của bài toán.
Giải Từ giả thiết ta có: f(x) = 0 và h(x) = kc(x)k∞
Vậy ∂h ∗ = { (λ 1 , λ 2 , λ 3 ) T :λ 1 , λ 3 ≥ 0, λ 2 ≤ 0,|λ 1 |+|λ 2 |+|λ 3 | = 1 }. Với λ ∗ ∈ ∂h ∗ thì λ ∗ = (λ 1 , λ 2 , λ 3 ) T trong đó λ 1 , λ 3 ≥ 0, λ 2 ≤ 0 và
Hàm Lagrange cho bài toán:
0.4336λ 1 +λ 2 + λ 3 = 0 λ 2 +λ 3 = 0 Kết hợp với điều kiện λ 1 , λ 3 ≥ 0, λ 2 ≤0,|λ 1 |+ |λ 2 |+|λ 3 |= 1 ta được λ 1 = 0, λ 2 = −0.5, λ 3 = 0.5
Do đó với λ ∗ = (0,−0.5,0.5) T thì x ∗ thoả mãn điều kiện cần cấp 1. Tiếp theo ta sẽ xác định tập
Hay λ∈∂hmax ∗ s1(0.5664λ1 +λ2 + 1)−13.38s2(1 +λ2 −λ1) = 0 Điều này chỉ xảy ra khi s 1 ≤ 0, s 2 ≥0
Xét s T ∇ 2 L(x ∗ , λ ∗ )s = 1.6904s 2 2 ≥ 0, ∀s ∈ G ∗ Vậy x ∗ thoả mãn điều kiện đủ cấp 2 nên x ∗ là cực tiểu địa phương của bài toán.
Dựa trên kết quả đã phân tích, chúng ta có thể so sánh bài toán tối ưu của hàm hợp không trơn với bài toán quy hoạch phi tuyến.
Rõ ràng hàm φ(x) xác định theo công thức (2.1) có thể viết dưới dạng φ(x) = max i (f(x) +c(x) T hi +bi) (2.11) và tương đương với φ(x) = minv : v ≥f(x) +c(x) T hi+bi, ∀ i (2.12)
Do đó x ∗ là cực tiểu địa phương của φ(x) khi và chỉ khi x ∗ , v ∗ là nghiệm địa phương của bài toán quy hoạch phi tuyến minx,v v với điều kiện v −f(x)−c(x) T h i ≥b i , ∀ i (2.13)
Vì vậy điều kiện tối ưu cấp một và cấp hai có thể áp dụng kết quả tương tự trong phần quy hoạch phi tuyến cho bài toán (2.13).
Tiếp theo ta nhắc lại các điều kiện tối ưu của bài toán quy hoạch phi tuyến Xét bài toán quy hoạch phi tuyến có ràng buộc minf(x), x ∈ R n với
W ∗ = ∇ 2 x L(x ∗ , λ ∗ ) =∇ 2 f(x ∗ )−X i λ ∗ i ∇ 2 ci(x ∗ ) là ma trận Hessan của hàm Lagrange theo x và a ∗ i = ∇c i (x ∗ )
G ∗ là tập các hướng chấp nhận được tại x ∗
Khi đó ta có các điều kiện tối ưu sau của bài toán quy hoạch phi tuyến có ràng buộc Định lý 1 (Điều kiện cấp một)
Nếu x ∗ là cực tiểu địa phương của bài toán (2.14) và nếu G ∗ = G ∗ được thoả mãn tại x ∗ thì tồn tại nhân tử Lagrange λ ∗ sao cho x ∗ và λ ∗ thoả mãn hệ thức sau
∇ x L(x, λ) = 0 c i (x) = 0, i ∈ E c i (x) ≥ 0, i ∈ I (2.15) λi ≥ 0, i ∈ I λ i c i (x) = 0, ∀i. Định lý 2 (Điều kiện cấp hai)
Nếu tại x ∗ tồn tại nhân tử λ ∗ thoả mãn (2.15) và nếu s T W ∗ s > 0, ∀s ∈ G ∗ thì x ∗ là cực tiểu địa phương chặt của bài toán (2.14).
Bây giờ trở lại bài toán (2.13) Hàm Lagrange thích hợp cho Định lý 1 là
L(x, v, à) = v −X i ài(v−f(x)−c(x) T hi −bi) và nú thoả món tại x ∗ , v ∗ nếu tồn tại à ∗ sao cho
Khi đó mối liên hệ giữa bài toán tối ưu không trơn và bài toán quy hoạch phi tuyến được đưa ra trong bổ đề sau
Bổ đề 2.3 xác định rằng với x ∗ cho trước và à ∗ thoả mãn điều kiện (2.16) cùng với λ ∗ = H.à ∗ (với H là ma trận có các cột là hi), thì điều kiện cấp hai của Định lý 2 đối với bài toán (2.13) tương đương với các điều kiện trong Định lý 2.5 Chứng minh cho thấy rằng trong cả hai trường hợp, các điều kiện cấp một đều được thoả mãn.
Lấy s T = (s T , s n+1 ) Điều kiện cấp hai của Định lý 2 đối với bài toán (2.13) liên quan đến tập
Lấy s ∈ M Khi đú một tớch trong với à ∗ i dẫn đến sn+1 = 0 Thật vậy, ta có
Khi đú một tớch trong với à i dẫn tới s T (g ∗ +A ∗ λ) ≤ 0, do đú s ksk 2 ∈ G ∗
Hơn nữa k s ksk 2 k = 1 và s ksk 2
Bây giờ cho s ∈ G ∗ , p ∈ A ∗ + và định nghĩa s n+1 = s T (g ∗ + A ∗ h p ).
Theo Bổ đề 2.2 ta có s n+1 = s T (g ∗ +A ∗ h i ), i∈ A ∗ s s n+1 ≥ s T (g ∗ +A ∗ h i ), i ∈ A\ A ∗ s
Việc chuẩn hoá các véctơ trong tập M và G ∗ là tương đương, dẫn đến các điều kiện cấp hai s T W ∗ s > 0 cho mọi s thuộc M hoặc G ∗ cũng tương đương Do đó, bổ đề đã được chứng minh.
Bài toán tối ưu có ràng buộc
Bài toán tối ưu không trơn với ràng buộc của hàm hợp được xác định bởi x∈minR n φ(x) = f(x) + h(c(x)), trong đó điều kiện t(r(x)) ≤ 0 được áp dụng Hàm mục tiêu φ(x) là hàm hợp đã được đề cập trong mục (2.3), với r(x) là hàm trơn thuộc lớp C 1 từ R n đến R p, và t(r) là hàm lồi không trơn thuộc lớp C 0 từ R p đến R.
Trước hết ta đưa ra khái niệm về tập các hướng chấp nhận được tại điểm chấp nhận được x 0 như sau:
Tập này liên quan đến tập sau đây
Tập F 0 đại diện cho các hướng chấp nhận được liên quan đến các ràng buộc tuyến tính tại điểm x 0, và việc xác định các tập F 0 này sẽ mang lại sự thuận lợi trong quá trình phân tích.
F 0 trùng nhau Vì thế việc xem xét đánh giá này rất quan trọng Trước hết ta có bổ đề sau nói lên mối quan hệ giữa F 0 và F 0
Chứng minh Lấy s ∈ F 0 , khi đó sẽ tồn tại một dãy định hướng x (k) → x 0 sao cho s (k) → s Sử dụng khai triển Taylor tại x 0 ta có r (k) = r 0 + δ (k) R 0T s (k) + 0(δ (k) ).
Vì thế r (k) −r 0 là một dãy định hướng trong R p với r (k) −r 0 δ (k) → R 0T s.
Do đó áp dụng Bổ đề 1.6 với hàm t(r) thì maxu∈∂t 0 s T R 0 u = limt (k) −t 0 δ (k) ≤ 0 nếu t 0 = 0 Vậy s ∈ F 0
Bây giờ ta xem xét điều kiện để F 0 = F 0 tại điểm chấp nhận được x 0 Giả sử ∂t 0 có số chiều là q 0 và u 0 ∈ ∂t 0 tuỳ ý Gọi H 0 ∈ R p×q
0 là ma trận có các cột là f i 0 , i = 1,2, , q 0 trong đó f i 0 là cơ sở của ∂t 0 −u 0 Khi đó ∂t 0 có thể biểu diễn dưới dạng
0 } (2.20) Điều kiện để F 0 = F 0 tại điểm chấp nhận được x 0 đựợc nêu trong bổ đề dưới đây:
Bổ đề 2.5 xác định điều kiện đủ để F 0 = F 0 tại điểm chấp nhận x 0, bao gồm hai trường hợp: i) t 0 < 0 và ii) nếu t 0 = 0, hàm t(r) phải là tuyến tính địa phương theo r 0, tức là tồn tại một lân cận mở Ω của r 0 sao cho t(r) = t(r 0) + max λ∈∂t 0 (r − r 0) T λ Trong trường hợp này, rank(R 0 [u 0 : H 0]) sẽ bằng q 0 + 1 hoặc hàm r(x) sẽ là affine.
Chứng minh. i) Nếu t 0 < 0 thì F 0 = R n \0, do đó F 0 = F 0 ii) Giả thiết t 0 = 0 Vì F 0 ⊆ F 0 nên ta chỉ cần chứng minh F 0 ⊆ F 0 Lấy s ∈ F 0
Nếu điều kiện max u∈∂t 0 s T R 0 u < 0 được thỏa mãn, ta có thể chọn x(k) = x0 + δ(k) với dãy δ(k) giảm dần về 0 Kết quả là t(k) sẽ nhỏ hơn hoặc bằng 0 khi k đủ lớn, dẫn đến s thuộc F0 Nếu s không thuộc F0, sẽ tồn tại một dãy con t(k) lớn hơn 0, và áp dụng khai triển Taylor cùng với Bổ đề 1.6 sẽ cho ra max u∈∂t 0 s T R 0 u ≥ 0, điều này tạo ra mâu thuẫn.
Nếu max u∈∂t 0 s T R 0 u = 0, lấy u 0 ∈ ∂t 0 là véctơ bất kì sao cho s T R 0 u 0 = 0. Không mất tính tổng quát u 0 có thể xem như là một véctơ tuỳ ý trong (2.20) Ta cũng định nghĩa
Cho số chiều của ∂t 0 s là q s 0 ( q s 0 < q 0 ) và không mất tổng quát cho f i 0 với i = 1,2, , q s 0 là một cơ sở của ∂t 0 s −u 0 Từ đó s T R 0 f i 0
Nếu q s 0 + 1 = n thì s T R 0 [ u 0 : H 0 ] = 0 T và do đó s = 0 vì theo giả thiết rank( R 0 [ u 0 :H 0 ] ) = q 0 + 1, mâu thuẫn với s ∈ F 0
Nếu q s 0 + 1 < n thì sẽ tồn tại một hàm trơn arc x(θ), θ ∈ [0, θ] với x(0) = x 0 ,x(0) =˙ s và
< 0, i = q 0 s + 1, , q 0 Điều này dẫn tới maxu∈∂t 0 (r(x(θ))−r 0 ) T u = 0 (2.21)
Sử dụng điều kiện t(r) là tuyến tính địa phương tại r0, sẽ tồn tại một lân cận của r0 sao cho t(r(x(θ))) = 0 Bất kỳ dãy θ(k) giảm dần về 0 sẽ tạo ra một dãy định hướng với s thuộc F0.
Cuối cùng nếu r(x) là hàm affine thì tia x(θ) = x 0 + θs có r(x(θ)) = r 0 +θR 0 T s.
Do đó có thể suy ra hệ thức (2.21) ở trên trực tiếp từ max u∈∂t 0 s T R 0 u = 0. Điều này một lần nữa dẫn tới s ∈ F 0
2.4.1 Điều kiện tối ưu cấp một
Xét tập các hướng giảm tại x ∗
Khi đó ta có bổ đề sau
Bổ đề 2.6 Nếu x ∗ là cực tiểu địa phương thì F ∗ ∩ D ∗ = ∅.
Chứng minh Lấy s ∈ F ∗ , khi đó tồn tại một dãy định hướng chấp nhận được x (k) →x ∗ với s (k) → s.
Sử dụng khai triển Taylor tại x ∗ f (k) = f ∗ + δ (k) g ∗ T s (k) + 0(δ (k) ) c (k) = c ∗ +δ (k) A ∗ T s (k) + 0(δ (k) ).
Theo tính chất tối ưu địa phương nên φ (k) ≥φ ∗ với k đủ lớn và do đó
0 ≤ φ (k) −φ ∗ δ (k) = f (k) −f ∗ δ (k) + h(c (k) )−h(c ∗ ) δ (k) Chuyển qua giới hạn khi k → ∞ và sử dụng Bổ đề 1.6 cùng với thực tế là c (k) → c ∗ là một dãy định hướng với hướng là A ∗ T s sẽ dẫn tới
0≤ max λ∈∂h 0 s T (g ∗ + A ∗ λ). Điều này mâu thuẫn với s ∈ D ∗ Vậy bổ đề được chứng minh
Bổ đề 2.7 Nếu trong R n , C là một nón lồi đóng, B là một tập lồi compact khác rỗng và B∩C = ∅, khi đó tồn tại một siêu phẳng s T x = 0 tách B và C.
Chứng minh Vì B là tập compact nên tồn tại các điểm bb ∈ B,bg ∈ C làm cực tiểu hàm kb−gk L ,∀b ∈ B, g ∈ C Từ đó với bất kì b ∈ B, do tính lồi của B mà
Do đó kbb−bg+ θ(b−bb)k 2 2 = k(1−θ)bb+θb−bgk 2 2 ≥ kbb−bgk 2 2
Chuyển qua giới hạn khi θ ↓ 0 ta được
Nếu s = gb−bb thì s T x ≥ 0, ∀x ∈ C và s T bb < 0.
Từ đó s T bb < 0, ∀b ∈ B Bổ đề được chứng minh Bây giờ ta thiết lập hàm Lagrange đối với bài toán (2.17)
L(x, λ, u, π) = f(x) +λ T c(x) +πu T r(x). Định lý 2.6 (Điều kiện cần cấp một)
Nếu x ∗ là cực tiểu địa phương của bài toán (2.17) và điều kiện chính quy
F ∗ ∩ D ∗ = F ∗ ∩ D ∗ được thoả mãn thì tồn tại các nhân tử λ ∗ ∈ ∂h ∗ , u ∗ ∈
Để chứng minh định lý, ta giả sử x ∗ là cực tiểu địa phương của bài toán (2.17) Cần chứng minh rằng F ∗ ∩ D ∗ = ∅ nếu và chỉ nếu các điều kiện của định lý được thoả mãn.
Nếu các điều kiện của định lý được thoả mãn thì khi đó lấy s ∈ F ∗ ta có
Nếu t ∗ < 0 thì π ∗ = 0, suy ra g ∗ +A ∗ λ ∗ = 0 ( theo (2.22) ).
Nếu t ∗ = 0 thì s T R ∗ u ∗ ≤0 ( theo (2.19) ), suy ra s T −g ∗ −A ∗ λ ∗ π ∗ ≤ 0 ( theo (2.22) ), do đó s T (g ∗ +A ∗ λ ∗ ) ≥ 0.
Nếu s ∈ D ∗ trong hai trường hợp trên, sẽ xảy ra mâu thuẫn, do đó F ∗ ∩ D ∗ = ∅ Ngược lại, nếu các điều kiện của định lý không được thỏa mãn, sẽ tồn tại một hướng s ∈ F ∗ ∩ D ∗ Các điều kiện này tương đương với phát biểu rằng nón lồi là đóng.
Nếu các điều kiện của định lý không được thoả mãn, tức là không có điểm chung giữa hai tập hợp, theo Bổ đề 2.6, sẽ tồn tại một hướng s sao cho λ∈∂hmax ∗ s T (g ∗ +A ∗ λ) < 0 Kết quả là s ∈ D ∗ và t ∗ = 0, dẫn đến maxu∈∂t ∗ s T R ∗ u ≤ 0, nghĩa là s ∈ F ∗ Do đó, ta có s ∈ F ∗ ∩ D ∗.
Khi đó định lý chính là kết quả của Bổ đề 2.6 và giả thiết F ∗ ∩ D ∗ F ∗ ∩ D ∗
2.4.2 Điều kiện tối ưu cấp hai Để nghiên cứu điều kiện tối ưu cấp hai, ta phải giả thiết thêm rằng c(x) và r(x) là các hàm thuộc lớp C 2 nhưng h(c) và t(r) vẫn là các hàm lồi thuộc lớp C 0
Cho x ∗ , λ ∗ , u ∗ , π ∗ thoả mãn các điều kiện của Định lý 2.6 và xét tập
X = { x: h(c(x)) = h ∗ + (c(x)−c ∗ ) T λ ∗ , t(r(x)) ≤ 0, π ∗ (r(x)−r ∗ ) T u ∗ = 0 } (2.23) Định nghĩa G ∗ là tập các định hướng chấp nhận được đã được chuẩn hoá lấy trên tập X và xét tại x ∗
G ∗ = {s : ksk 2 = 1,∃{x (k) }, x (k) ∈ X, x (k) →x ∗ , s (k) → s, δ (k) ↓ 0} (2.24) Tập này liên quan mật thiết với tập
G ∗ đại diện cho tập hợp các hướng chấp nhận được cho các ràng buộc tuyến tính tại điểm x ∗ với độ dốc bằng 0, liên quan đến hàm φ(x) và t(r(x)) trong trường hợp π ∗ > 0.
Chứng minh Lấy s ∈ G ∗ , suy ra s ∈ F ∗ và do đó s ∈ F ∗ Theo Bổ đề
Bằng lập luận tương tự nếu π ∗ > 0 ( và t ∗ = 0) thì
Vì s ∈ F ∗ nên từ (2.19) ta có π ∗ max u∈∂t ∗ s T R ∗ u = 0 Vậy s ∈ G ∗
Trong một số trường hợp đặc biệt liên quan đến các hàm tuyến tính địa phương, hệ thức ngược lại không phải lúc nào cũng tồn tại Điều kiện G ∗ = G ∗ được xác định là điều kiện chính quy.
Bổ đề sau đây sẽ cho biết khi nào điều kiện chính quy xảy ra:
Bổ đề 2.9 (Điều kiện chính quy)
Nếu x* thỏa mãn điều kiện cấp một của Định lý 2.6 và h(c), t(r) tuyến tính địa phương tại c* và r*, cùng với điều kiện rank([A*D*: R*u*: R*H*]) = l* + q* + 1, thì G* = G* Giả thiết về hạng có thể được thay thế bằng giả thiết rằng các hàm c(x) và r(x) là các hàm affine, trong đó D* là ma trận có các cột là d*i, i = 1, l* với d*i là cơ sở của ∂h(c*) - λ*, và l* là số chiều của ∂h(c*) Theo Bổ đề 2.8, ta có G* ⊆ G*, và sẽ chứng minh chiều ngược lại.
Lấy s ∈ G ∗ , ta định nghĩa tập
∂h ∗ s = { λ ∈ ∂h ∗ : s T (g ∗ + A ∗ λ) = 0 } và giả sử số chiều của ∂h ∗ s là l s ∗ ( l s ∗ < l ).
Nếu t ∗ < 0 hoặc t ∗ = 0, π ∗ = 0 và max u∈∂t ∗ s T R ∗ u < 0 thì sẽ xây dựng được một hàm trơn arc x(θ), θ ∈ [0, θ) sao cho x(0) = x ∗ và ˙ x(0) = s Do đó ta có
Giả thiết rằng h(c) là tuyến tính địa phương tại c ∗, tồn tại một lân cận của c ∗ sao cho h(c(x(θ))) = h(c ∗ ) + (c(x(θ))−c ∗ ) T λ ∗ Bằng cách lấy bất kỳ dãy θ (k) giảm dần về 0, ta có thể xây dựng một dãy định hướng chấp nhận được, từ đó suy ra s ∈ G ∗.
Nếu π ∗ = 0 và max u∈∂t ∗ s T R ∗ u = 0 thì không mất tính tổng quát giả sử u ∗ là phần tử đạt max, do đó s T R ∗ u ∗ = 0. Định nghĩa:
∂t ∗ s = { u ∈ ∂t ∗ :s T R ∗ u = 0 } phụ thuộc vào s Bây giờ s ∈ G ∗ và sử dụng điều kiện cấp một dẫn tới s T (g ∗ +A ∗ λ ∗ ) = π ∗ s T R ∗ u ∗ = 0.
Do đó s T A ∗ (λ −λ ∗ ) = 0 ∀λ ∈ ∂h ∗ s s T R ∗ u = 0 ∀u ∈ ∂t ∗ s và từ (2.25) ta có s T A ∗ (λ−λ ∗ ) < 0 ∀λ ∈ ∂h ∗ \∂h ∗ s s T R ∗ u < 0 ∀u ∈ ∂t ∗ \∂t ∗ s
Chiều của ∂h ∗ s và ∂t ∗ s lần lượt là l ∗ s và q s ∗, với u ∗ là véctơ tùy ý tương tự như u 0 trong (2.20) Giả sử các véctơ d ∗ i (i=1, l ∗ s) và f i ∗ (i=1, q s ∗) tạo thành cơ sở cho ∂h ∗ s −λ ∗ và ∂t ∗ s −u ∗ Do đó, s T A ∗ d ∗ i.
< 0, i = q s ∗ + 1, , q ∗ Nếu l ∗ s +q s ∗ + 1 = n thì từ giả thiết về hạng của ma trận dẫn tới s = 0 mâu thuẫn với s ∈ G ∗ Với l s ∗ +q s ∗ + 1 < n thì ta sẽ xây dựng được một hàm trơn arc x(θ), θ ∈ [0, θ) với x(0) = x ∗ ,x(0) =˙ s và c(x(θ))−c ∗ T d ∗ i = θs T A ∗ d ∗ i , i= 1,2, , l ∗ s r(x(θ))−r ∗ T u ∗ = θs T R ∗ u ∗ (2.27) r(x(θ))−r ∗ T f i ∗ = θs T R ∗ f i ∗ , i= 1,2, , q ∗
Từ đó dẫn tới λ∈∂hmax ∗ c(x(θ))−c ∗ T
(λ−λ ∗ ) = 0 (2.28) và u∈∂tmax ∗ r(x(θ))−r ∗ T u = 0, (2.29) từ giả thiết về tính tuyến tính địa phương ta có h(c(x(θ))) = h ∗ + c(x(θ)) −c ∗ T λ ∗ t(r(x(θ))) = 0.
Cộng vào (2.27) phương trình π ∗ r(x(θ))−r ∗ T u ∗ = 0 (2.30) dẫn tới x(θ) ∈ X trong (2.28) và do đó bằng cách lấy một dãy bất kì θ (k) ↓ 0, s là một hướng chấp nhận được trong G ∗
Cuối cùng nếu giả thiết c(x) và r(x) là affine thì arc x(θ) = x ∗ +θs có c(x(θ)) = c ∗ +A ∗ T s r(x(θ)) = r ∗ +R ∗ T s và dễ dàng suy ra (2.28), (2.29), (2.30) trực tiếp từ phương trình λ∈∂hmax ∗ s T A ∗ (λ−λ ∗ ) = 0 maxu∈∂t ∗ s T R ∗ u = 0 s T R ∗ u ∗ = 0.
Bổ đề được chứng minh xong 2
Chúng ta sẽ xem xét các điều kiện cần và đủ cấp hai cho bài toán tối ưu không trơn với ràng buộc như đã nêu trong Định lý 2.7 Điều này giúp xác định các yếu tố cần thiết để đảm bảo tính tối ưu của bài toán.
Nếu x ∗ là cực tiểu địa phương của bài toán (2.17) và F ∗ T
D ∗ = F ∗ ∩ D ∗ thì Định lý 2.6 được thoả mãn Khi đó với mỗi bộ ba λ ∗ , u ∗ , π ∗ , nếu
Chứng minh Lấy s ∈ G ∗ Khi đó s ∈ G ∗ và tồn tại một dãy định hướng chấp nhận được trong tập X được xác định ở (2.23) Khai triển Taylor hàm L(x, λ ∗ , u ∗ , π ∗ ) tại x ∗ ta được
2e (k) T ∇ 2 L(x ∗ , λ ∗ , u ∗ , π ∗ )e (k) + 0(ke (k) k 2 ) (2.32) với e (k) = x (k) −x ∗ Theo định nghĩa của L thì
Vì x ∗ là cực tiểu địa phương của hàm φ và e (k) = x (k) −x ∗ = δ (k) s (k) nên ta có
Chia cả hai vế của bất đẳng thức trên cho 1
2δ (k) 2 và lấy giới hạn khi k → ∞ ta được (2.31) 2 Định lý 2.8 (Điều kiện đủ cấp hai)
Nếu tại x ∗ mà t ∗ ≤ 0 và tồn tại λ ∗ ∈ ∂h ∗ , u ∗ ∈ ∂t ∗ , π ∗ ≥ 0 sao cho π ∗ t ∗ = 0 đồng thời (2.22) thoả mãn Khi đó nếu s T ∇ 2 L(x ∗ , λ ∗ , u ∗ , π ∗ )s > 0, ∀s ∈ G ∗ (2.34) thì x ∗ là cực tiểu địa phương chặt của bài toán (2.17).