2 Bàitoán tối ưu với hàm r-lồi
2.1 Cực tiểu (cực đại) địa phương (toàn cục)
Điểm x∗ ∈ D thỏa mãn f(x∗) ≥ f(x),∀x ∈ D được gọi là nghiệm tối ưu hoặc nghiệm tối ưu toàn cục hoặc nghiệm cực đại toàn cục (global maxi- mizer) hoặc chỉ đơn giản là nghiệm của bài toán (P2).
Nếu x∗ ∈ D thỏa mãn f(x∗) > f(x),∀x ∈ D và x 6= x∗ thì ta gọi x∗ là nghiệm tối ưu toàn cục chặt (strictly global maximizer) của bài toán (P2). Giá trị tối ưu (hay giá trị cực đại) của bài toán (P2) được kí hiệu là max{f(x)|x ∈ D} hoặcmax
x∈D f(x).
Tương tự với bài toán (P1), ta kí hiệu Argmax{f(x)|x ∈ D} là tập nghiệm tối ưu của bài toán (P2). Nếux∗ là một nghiệm tối ưu của bài toán thì ta có thể viếtx∗ ∈Argmax{f(x)|x ∈ D}.
Nhận xét 2.2. ([4], Nhận xét 1.2, p. 18) Bài toán (P1) tương đương với bài toán max(−f(x)) với x ∈ D theo nghĩa tập nghiệm tối ưu của hai bài toán này trùng nhau và giá trị tối ưu của chúng thì ngược dấu, tức
min{f(x)|x ∈ D} = −max{−f(x)|x ∈ D}.
Nhận xét 2.3. ([4], p. 20) Bài toán (P1) có thể không có nghiệm tối ưu nhưng bao giờ cũng tồn tại cận dưới lớn nhất (hay giá trị infimum) của hàm f trên D, kí hiệu là inff(D). Giả sử t0 =inff(D) với t0 ∈ R ∪ −∞. Khi đó theo định nghĩa infimum, f(x) ≥ t0, ∀x ∈ D và ∃xk ⊂ D sao cho
lim
k→∞f(xk) =t0.
Tương tự, bài toán (P2) có thể không có nghiệm tối ưu nhưng luôn tồn tại cận trên nhỏ nhất (hay giá trị supremum) của hàm f trên D, kí hiệu là supf(D). Giả sử t0 =supf(D) với t0 ∈ R∪ −∞. Khi đó f(x) ≤ t0, ∀x ∈ D và ∃xk ⊂ D sao cho lim
k→∞f(xk) =t0.
2.2 Tối ưu hàm r-lồi
Trong mục này trình bày lại điều kiện cần và đủ của tối ưu có ràng buộc, đặc biệt là điều kiện Karush-Kuhn-Tucker. Từ đó mở rộng xây dựng thuật toán và điều kiện tối ưu của bài toán tối ưur-lồi.
2.2.1 Tối ưu hàm lồi
Bài toán tối ưu lồi
Định nghĩa 2.6. Bài toán min{f(x)|x ∈ D} trong đó D = {x ∈ Rn|gi(x) ≤ 0, i= 1,2, ..., m}
với f, gi (i = 1, .., m) là các hàm lồi khả vi được gọi là bài toán tối ưu lồi khả vi.
Nhận xét 2.4. Nghiệm tối ưu toàn cục cũng là nghiệm tối ưu địa phương nhưng điều ngược lại chưa chắc đúng. Tuy nhiên, nếuD là tập lồi vàf(x)là hàm lồi thì nghiệm tối ưu địa phương của bài toán (P1) cũng là nghiệm tối ưu toàn cục của bài toán đó.
Mệnh đề 2.1. Cho hàmf : Rn → Rvà tập lồi khác rỗng D ⊂ Rn. Xét bài toán tối ưu
min{f(x)|x ∈ D}.
Khi đó:
i) Nếu x∗ là nghiệm tối ưu địa phương của bài toán thì x∗ cũng là nghiệm tối ưu toàn cục.
ii) Nếux∗ là nghiệm tối ưu địa phương chặt hoặcf là hàm lồi thì x∗ cũng là nghiệm tối ưu toàn cục duy nhất của bài toán.
Định nghĩa 2.7. Cho dãy xk ⊂ Rn hội tụ đến x0 ∈ Rn. Ta nói dãy xk hội tụ đến x0 theo hướng v ∈ Rn và viết
xk →v x0 nếu tồn tại dãy số dương tk, lim
k→∞tk = 0 sao choxk = x0 +tkv + 0(tk).
Định nghĩa 2.8. (Nón tiếp xúc) ChoD ⊂ Rn, tập tất cả các hướng v ∈ Rn
sao cho nó có một dãy xk ⊂ D hội tụ đến x0 theo hướng v tạo thành một nón, ta gọi là nón tiếp xúcvới D tại x0, kí hiệu là T(D, x0), nghĩa là
T D, x0 = n v ∈ Rn| ∃ xk ⊂ D : xk →v x0o . Nhận xét 2.5. . i) Nếux0 ∈intX thìT(D, x0) = Rn.
ii) NếuD ⊂Rn là tập lồi đóng thìT(D, x0) = cone x−x0x ∈ D .
Bổ đề 2.1. Giả sửxk là một dãy thuộcD ∈ Rn hội tụ tớix0 ∈ D theo hướng
v và f là hàm khả vi liên tục cấp một trên D. Khi đó
∇f(x0), v = lim tk→0+ f(xk)−f(x0) tk . (2.2) Định lí 2.1. .
địa phương của bài toán (P1) thì
∇f(x0), v ≥ 0, ∀v ∈ T(D, x0). (2.3)
ii) Ngược lại, nếu x0 ∈ D thỏa mãn điều kiện
∇f(x0), v > 0, ∀v ∈ T(D, x0) (2.4)
thì x0 là nghiệm tối ưu địa phương chặt của bài toán (P1).
Mỗi điểm x0 ∈ D thỏa mãn
∇f(x0), v ≥ 0, ∀v ∈ T(D, x0)
được gọi là mộtđiểm dừnghay điểm tới hạn của hàm f trên D.
Hệ quả 2.1. Giả sử x0 ∈intX và x0 là điểm cực tiểu địa phương của bài toán (P). Khi đó∇f(x0) = 0.
Định lí 2.2. Cho hàm f là hàm lồi khả vi trên một tập mở chứa tập lồi
D ⊂ Rn. Điều kiện cần và đủ đểx∗ ∈ D là điểm cực tiểu toàn cục của bài toán tối ưu lồi min{f(x)|x ∈ D}làh∇f(x∗), vi ≥ 0, ∀v ∈ T(D, x∗).
Hệ quả 2.2. Cho hàmf là hàm lồi khả vi trên một tập mở chứa tập lồi D ⊂ Rn. Điểm x∗ là điểm cực tiểu toàn cục của bài toán lồi min{f(x)|x∈ D}
là
h∇f(x∗), x−x∗i ≥ 0,∀x ∈ D.
Điều kiện tối ưu Karush-Kuhn-Tucker (Điều kiện KKT)
Xét bài toán tối ưu phi tuyến
Với D ⊂ Rn là tập nghiệm của hệ phương trình phi tuyến
gi(x) ≤ 0, i = 1, ..., m, (2.5) trong đó f, gi : Rn →Rlà những hàm số khả vi cho trước.
Chox0 ∈ D là một nghiệm chấp nhận được của bài toán (NLP). Đặt
I(x0) = i ∈ {1, ..., m}|gi(x0) = 0 (2.6) là tập chỉ số của các ràng buộc gi(x) ≤ 0 (i = 1, ..., m)thỏa mãn chặt x0. Kí hiệuS(x0) là tập hợp các véctơv ∈ Rn thỏa mãn
∇gi(x0), v ≤ 0, i ∈ I(x0). (2.7) Với mọi x0 ∈ D ta cóT(D, x0) ⊆S(x0).
Định nghĩa 2.9. Ta nói điều kiện chính quy (regular condition) được thỏa mãn tạix0 ∈ D nếu T(D, x0) = S(x0).
Định lí 2.3. Điều kiện chính quy được thỏa mãn tạix0 nếu có một trong các điều kiện sau:
i) Các hàmgi, i = 1, ..., mlà các hàm afin
ii) Các hàmgi, i= 1, ..., mlà lồi và điều kiện Slater sau đây được thỏa mãn:
∃x ∈ Rn : gi(x) < 0, i = 1, ..., m.
iii) Các véctơ ∇gi(x0), i ∈ I(x0)là độc lập tuyến tính.
Chú ý 2.1. Bài toán quy hoạch lồi thỏa mãn điều kiện Slater (Slater condi- tions)nếu tồn tại
∃x ∈ Rn : gi(x) < 0, (∀i).
Định lí 2.4. (Karush-Kuhn-Tucker) Cho f, gi, i = 1, ..., mlà các hàm khả vi liên tục trên một tập mở chứa D. Giả sử x∗ là điểm cực tiểu địa phương của bài toán (NLP) và điều kiện chính quy được thỏa mãn tại x∗. Khi đó, điều kiện Karush-Kuhn-Tucker (KKT) sau được thỏa mãn:
Tồn tại các số λ∗i ≥ 0, i = 1, ..., msao cho i) ∇f(x∗) +
m P i=1
λ∗i∇gi(x∗) = 0;
ii) λ∗igi(x∗) = 0, ∀i = 1, ..., m (điều kiện bù);
iii) gi(x∗) ≤ 0, i = 1, ..., m(điều kiện chấp nhận được, nghĩa là x∗ ∈ D).
Nhận xét 2.6. .
i) Điểm x∗ ∈ Rn thỏa mãn điều kiện KKT được gọi là một điểm KKT của bài toán (NLP) tương ứng.
ii) Nếu x∗ là một nghiệm cực tiểu địa phương của bài toán (NLP) và tại đó điều kiện chính quy được thỏa mãn thì x∗ là điếm KKT, nhưng điều ngược lại chưa chắc đúng.
Hàm Lagrange và điều kiện tối ưu Karush-Kuhn-Tucker
Hàm số L(x, λ) = f(x) + λTg(x), trong đó λ = (λ1, ..., λm)T ≥ 0, g(x) = (g1(x), ..., gm(x))T là hàm Lagrange tương ứng với bài toán (NLP). Các sốλ1 ≥ 0, λ2 ≥ 0, ..., λm ≥ 0được gọi là các nhân tử Lagrange.
Kí hiệu ∇xL,∇λL là các gradient của hàm L theo x, λ tương ứng. Khi đó Định lí 2.4 được phát biểu theo ngôn ngữ hàm Lagrange như sau:
Định lí 2.5. Chof, gi, i = 1, ..., mlà các hàm khả vi liên tục trênRn. Giả sử
x∗ là điểm cực tiểu địa phương của bài toán (NLP) và tại điểmx∗ điều kiện chính quy được thỏa mãn. Khi đó, các điều kiện sau đây được thỏa mãn:
i) Tồn tại các sốλ∗i ≥ 0, i = 1, ..., msao cho ∇xL(x∗, λ∗) = ∇f(x∗) + m X i=1 λ∗i∇gi(x∗) = 0.
ii) λ∗igi(x∗) = 0,∀i = 1, ..., m(điều kiện bù);
iii) ∇λL(x∗, λ∗) =g(x∗) = (g1(x∗), ..., gm(x∗))T ≤0, x∗ ∈ D.
Nhận xét 2.7. Giả sử f, gi, i = 1, ..., m là các hàm hai lần khả vi liên tục trong lân cận của điểm x∗ và x∗ là điểm KKT của bài toán (NLP). Khi đó, với d ∈ Rn có kdk đủ nhỏ, khai triển Taylor của hàm Lagrange tại (x∗, λ∗) là L(x∗ + d, λ) = L(x∗, λ) +dT∇x(x∗, λ) + 1 2d T∇2L(ξ, λ)d = L(x∗, λ) + 1 2d T∇2L(ξ, λ)d, ở đâyx∗ ≤ ξ ≤ x∗ +d, λ = (λ1, ..., λm).
Như đã biết nếu ma trận∇2L(x∗, λ)nửa xác định dương thì∇2L(ξ, λ)cũng nửa xác định dương và x∗ là một nghiệm cực tiểu địa phương chặt của bài toán (NLP).
Ta có điều kiện cần và điều kiện đủ tối ưu cho nghiệm cực tiểu của bài toán quy hoạch lồi (CP) như sau.
Định lí 2.6. (Điều kiện tối ưu đối với bài toán tối ưu lồi) Cho f, gi, i = 1, ..., mlà các hàm lồi, khả vi liên tục trên một tập mở D và điều kiện Slater được thỏa mãn. Khi đóx∗ ∈ Rn là nghiệm cực tiểu của bài toán (CP) khi và chỉ khi tồn tại các sốλ∗i ≥0, i = 1, ..., mthỏa mãn các điều kiện:
i) ∇xL(x∗, λ∗) = ∇f(x∗) +
m P i=1
λ∗i∇gi(x∗) = 0;
ii) λ∗igi(x∗) = 0,với mọii = 1, ..., m(điều kiện bù);
Hàm Lagrange và điều kiện KKT cho bài toán tối ưu phi tuyến trơn Xét bài toán tìm min{f(x)vớix ∈ D} (MP) với D = {x ∈ Rn|gi(x) ≤ 0, i = 1,2, ..., m, hj(x) = 0, j = 1,2, ..., p} (2.8) trong đó f, gi(i = 1, ..., m), hj(j = 1, .., p) là các hàm khả vi không nhất thiết lồi. Ta xây dựng hàm Lagrange L(x, λ, µ) := f(x) + m X i=1 λigi(x) + p X j=1 µjhj(x).
Khi đó điều kiện cần cực trị Karush-Kuhn-Tucker (KKT) cho bài toán tối ưu phi tuyến trơn (MP) như sau.
Định lí 2.7. ([7], Điều kiện cần cực trị KKT, p. 243) Giả sử f, gi, hj là các hàm trơn và x∗ là nghiệm của bài toán tối ưu phi tuyến (MP). Khi ấy tồn tại
λ∗i = 1, ..., m và µ∗, j = 1, ..., m sao cho các điều kiện sau đây (điều kiện cần cực trị KKT) được thỏa mãn: gi(x) ≤ 0, i = 1, .., m; hj(x) = 0, j = 1, ..., p; λ∗i ≥ 0, i= 1, ..., m; λigi(x∗) = 0, i= 1, ..., m; ∇xL(x∗, λ∗, µ∗) =∇f(x∗) + m X i=1 λi∇gi(x∗) + p X j=1 µj∇hj(x∗) = 0
Điểm x∗ thỏa mãn điều kiện cần KKT được gọi là điểm KKT của bài toán (MP).
Nếu không có hạn chế đẳng thức, thì ta có bài toán quy hoạch toán học với hạn chế bất đẳng thức. Khi ấy điều kiện KKT trở thành:
gi(x) ≤ 0, i = 1, .., m; λ∗i ≥0, i = 1, ..., m;λigi(x∗) = 0, i = 1, ..., m; ∇xL(x∗, λ∗, µ∗) =∇f(x∗) + m X i=1 λi∇gi(x∗) = 0.
Chú ý 2.2. Nếu các hàm khả vi f, gi là lồi cònhi là tuyến tính, thì điều kiện cần KKT cũng là điều kiện đủ.
2.2.2 Tối ưu hàm r - lồi
Bài toán tối ưur-lồi
Trong mục này dựa trên các kết quả đã xét trong mục 2.2.1 ta sẽ giải bài toán quy hoạch phi tuyến không lồi bằng một dãy các bài toán quy hoạch lồi. Xét bài toán sau đây:
minφ(x) (P)
với hạn chế
ψi(x) ≤ 0, i = 1, .., m, (2.9) hl(x) ≤ 0, l = 1, .., p (2.10) với φ là hàm lồi khả vi, ψi là hàm khả vi nhưng không nhất thiết tựa lồi và hi là hàm lồi khả vi.
Do đó tập tất cả các x ∈ Rn thỏa mãn (2.9)-(2.10) nói chung không lồi. Nhiều thuật toán tìm nghiệm của bài toán (P) thực chất mới chỉ là tìm ra một nghiệm tối ưu địa phương nhưng có thể không phải là nghiệm toàn cục, thậm chí chỉ là một điểm Karush-Kuhn-Tucker, tức là điểm chấp nhận được
thỏa mãn điều kiện cần Karush-Kuhn-Tucker cho tối ưu địa phương.
Nhiều khi ta cũng gọi điểm chấp nhận được thỏa mãn điều kiện Karush- Kuhn-Tucker cho bài toán tối ưu địa phương là nghiệm của (P).
Ta hạn chế xét lớp đặc biệt các hàmψi có thể không tựa lồi nhưng có thể viết được dưới dạng ψi = n(j) X j=1 fij(x), i = 1, ..., m, (2.11) trong đó fij là hàm rij-lồi.
Để đơn giản kí hiệu nhưng không làm mất tính tổng quát, từ nay về sau ta giả thiết các hàm ψi được cho bởi
ψi(x) =fi(x) +gi(x), i = 1, ..., m, (2.12) trong đó fi là ri lồi với ri > 0 và gi là hàm lồi. Ta có thể dễ dàng cải biên các kết quả của hàmψi trong biểu thức (2.11) thay bởi biểu thức (2.12). Xét bài toán (P) minφ(x) (2.13) với fi(x) +gi(x) ≤ 0, i = 1, ..., m, (2.14) hl(x) ≤ 0, l = 1, ..., p. (2.15) Giả sử r = max(r1, ..., rm). (2.16) Khi đó, tất cả các hàm fi là r-lồi. Vì vậy, nhằm đơn giản hóa, ta giả thiết rằng tất cả cácfi làr-lồi.
Bài toán (P) được gọi là bài toán tối ưur-lồi.
Kí hiệu
Z = {x : x ∈ Rn, fi(x) +gi(x) ≤ 0, i = 1, ..., m}, (2.18) vàX = S ∩Z làtập chấp nhận được của bài toán (P).
Điều kiện tối ưu đối với bài toán tối ưu r-lồi
Định lí 2.8. ([6], p. 164-Điều kiện chính quy đối với bài toán tối ưu r-lồi)
Cho bài toán (P) với X là tập chấp nhận đươc. Khi đó,
i) X là tập compact và có phần trong khác rỗng, có nghĩa là tồn tại ít nhất một điểm xthỏa mãn
fi(x) +gi(x) < 0, i = 1, ..., m, (2.19) hl(x) < 0, l = 1, ..., p (2.20)
ii) Vớix˜∈ X, ta định nghĩa
I(˜x) ={i : fi(˜x) +gi(˜x) = 0}, (2.21) L(˜x) = {l : hl(˜x) = 0}. (2.22)
Khi ấy, với mọi
λi, i ∈ I(˜x), µl, l ∈ L(˜x) (2.23) mà λi ≥ 0, µl ≥ 0,X I(˜x) λi +X L(˜x) µl > 0, (2.24) ta có X I(˜x) λi ∂fi(˜x) ∂xj + ∂gi(˜x) ∂xj +X L(˜x) µl∂hl(˜x) ∂xj 6= 0 (2.25) với số j,0≤ j ≤ n.
Điều kiện này có thể diễn đạt bằng lời như sau: Với mỗix˜ ∈ X gradient của các hàm hạn chế hoạt tại x˜là độc lập tuyến tính dương.
Thuật toán giải bài toán tối ưur-lồi
Thuật toán giải bài toán (P) được mô tả như sau ([6], p. 163).
Từ một điểmx1 ∈ X, dãy điểmx1, x2, ...chấp nhận được xây dựng như sau. Cho điểm xk ∈ X, ta thay thế hàmr-lồifi trong (2.14) bằng xấp xỉ lồixk, kí hiệu là fˆ i(x, xk) và cho bởi ˆ fi(x, xk) := fi(xk) + 1 r h er(f(x)−f(xk) −1 i (2.26) và nhận được bài toán mới P(xk):
minφ(x) (2.27)
với
ˆ
fi(x, xk) +gi(x) ≤ 0, i= 1, ..., m, (2.28) hl(x) ≤0, l = 1, ..., p. (2.29) Ta sẽ chỉ ra P(xk) là bài toán lồi. Điểm xk+1 tiếp theo được chọn như là nghiệm tối ưu bất kỳ củaP(xk).
Ta sẽ chỉ ra rằng, nếux1 là điểm chấp nhận được của bài toán (P) thìx2 cũng là nghiệm của bài toán (P). Do đó mỗi phần tử của dãy xk là nghiệm chấp nhận được của bài toán (P). Và mỗi dãy con hội tụ của dãyxk thì hội tụ đến nghiệm của (P). Dưới đây chứng minh dãyP(xk)là bài toán quy hoạch lồi
Định lí 2.9. ([6], Theorem 3.1, p. 166)Chou, v ∈ Rvàu > 0. Khi đó
uv ≤ ulogu+eu−1. (2.30)
Dấu "=" xảy ra khiv −1 = logu.
Hệ quả 2.3. ([6], Corollary 3.1, p. 166) Cho f là hàm thực trên tập con
C ⊂Rn vàr > 0. Với bất kỳx1 ∈ C cho trước, với mọix ∈ C, ta có
f(x) ≤f(x1) + 1 r n er(f(x)−f(x1))−1 o . (2.31)
Chứng minh Đặt u= erf(x1), v = rf(x) + 1. Theo Định lí 2.9 ta có erf(x1)(rf(x) + 1) ≤ erf(x1).rf(x1) +erf(x). Suy ra f(x) ≤f(x1) + 1 r n er(f(x)−f(x1))−1 o . Vậy ta có điều phải chứng minh.
Hệ quả 2.4. ([6], Corollary 3.2, p. 166)NếuC ⊂ Rn là tập lồi và f là hàm r-lồi trên C, vớir > 0thì cho cố địnhx1 ∈ C và hàm fˆcho bởi
ˆ f(x, x1) = f(x1) + 1 r n er(f(x)−f(x1)) −1 o (2.32) là hàm lồi trên C. Chứng minh
Theo Định lí 1.5, f là hàmr-lồi trênC khi và chỉ khierf là hàm lồi trên C.
Mỗi hàm lồi nhân với một hằng số dương cũng là hàm lồi. Do đó, fˆlà hàm lồi trênC.
Với một số thay đổi nhỏ, thuật toán trên cũng được sử dụng khi fi làr+-lồi theo nghĩa bất đẳng thứcf(q1x1+q2x2) ≤ Mr[f(x1), f(x2);q]thay cho bất đẳng thức f(q1x1 +q2x2) ≤ log n q1erf(x1) +q2erf(x2) o1r , r 6= 0; q1f(x1) +q2f(x2), r = 0. (2.33) chỉ khác là trong dạng củaf1(x, xk), với những xấp xỉ lồi của hàmr+-lồi với r > 1cho bởi ˆ fi(x, xk) = r−1 r f(x k ) + 1 rf 1−r (xk)fr(x). (2.34)
Nhận xét 2.8. Xấp xỉ lồi (2.26) và bất đẳng thức (2.31) chỉ có nghĩa khi r > 0. Trong trường hợp tới hạn khir →0hoặcr → +∞là hiển nhiên. Ta có thể cải biên kết quả cho trường hợpr < 0.
Đặt Z(xk) = n x :x ∈ Rn,fˆi(x, xk) +gi(x) ≤0, i = 1, ..., m o , và giả sử W(xk) =S ∩Z(xk). Khi đó, ta có định lí dưới đây.
Định lí 2.10. ([6], Theorem 3.2, p. 167) Với mọi xk ∈ X, tập chấp nhận được W(xk)của bài toán P(xk)là tập lồi và xk ∈ W(Xk) ⊂ X.
Chứng minh
Từ Định lý sắp thứ tự (Định lí [1.4]) suy ra, nếu fi là ri-lồi với ri > 0, theo (2.16)fi cũng làr-lồi với
r = max(r1, ..., rm).
Vì r > 0, theo Hệ quả 2.4 ta có fˆi là hàm lồi và W(xk)là tập lồi. Nếu xk ∈ X, thì xk ∈ S vàxk ∈ Z. Vì ˆ fi(xk, xk) = fi(xk), ta có xk ∈ Z(xk)và xk ∈ S ∩Z(xk) = W(xk). Bây giờ lấy điểm bất kỳx ∈ W(xk)thìx ∈ S vàx ∈ Z(xk). Theo Hệ quả 2.3 thì x ∈ Z , do đó x ∈ X.
Hệ quả 2.5. ([6], Corollary 3.3, p. 167) Choxk ∈ X vàxk+1 cho bởi