2 Điều kiện tối ưu của bài toán quy họach lồi
2.2.1 Điều kiện tối ưu theo nguyên lý Fermat của bà
tối ưu không ràng buộc hàm một biến khả vi
Ở đây, không gian X trong bài toán (P) là X = R Xét bài toán:
min{f(x);x∈ R} (P1) Hoặc
max{f(x);x∈ R} (P’1) trong đó f : R−→ R khả vi
Định lý Fermat sau cho ta một điều kiện cần tối ưu cho bài toán (P) và (P1)
Định lý 2.2.1 (Định lý Fermat).
Nếu f : R −→ R là một hàm số khả vi thì mỗi điểm cực đại (cực tiểu) địa phương đều là điểm dừng, nghĩa là là nghiệm của phương trình f0(x) = 0.
Chứng minh.
Giả sử f(x) đạt cực đại địa phương tạix0 và có đạo hàm tạix0. Khi đó f(x) xác định trên một khoảng (x−δ;x+δ) với một δ > 0 và trên khoảng này ta có: f(x0 + ∆x)−f(x0) ≤ 0 với mọi |∆x| < δ Do đó: f0(x0) = lim ∆x−→0− f(x0 + ∆x)−f(x0) ∆x ≥ 0 f0(x0) = lim ∆x−→0+ f(x0 + ∆x)−f(x0) ∆x ≤ 0 Suy ra f0(x0) = 0.
Định lý Fermat ở đây chỉ nêu điều kiện cần của cực trị. Mệnh đề đảo của định lý không đúng, ví dụ hàm số f(x) = x3 tại x = 0. Để tìm được cực trị, ta dùng Định lý Fermat tìm ra các điểm “nghi vấn”, sau đó sử dụng các điều kiện đủ để kiểm tra cực trị.
Hình 2.1: Pierre de Fermat
Pierre de Fermat sinh ngày 17 tháng 8 năm 1601 tại Pháp, ông mất năm 1665. Fermat là một học giả vĩ đại, một nhà toán học nổi tiếng và là cha đẻ của lý thuyết số hiện đại.
lấy bằng cử nhân luật dân sự rồi làm chánh án nhưng lại vô cùng say mê toán học với thói quen nổi tiếng là ghi các ghi chú bên lề các quyển sách.
Fermat là một học giả nghiệp dư đích thực. Ông được mệnh danh là "Ông Hoàng của những người nghiệp dư". Trong những thư từ trao đổi với các nhà toán học, ông luôn viết những phát biểu cho định lí mới nhất của mình, nhưng không gửi kèm chứng minh. Và ông thách thức họ tìm ra chứng minh đó. Việc ông không bao giờ tiết lộ chứng minh của mình cho mọi người biết khiến họ rất bực mình. Rene Descartes đã gọi Fermat là "thằng cha khoác lác", còn John Wallis thì gọi ông là "gã người Pháp chết tiệt". Khi Blaise Pascal ép ông công bố chứng minh, nhà toán học đã nói: "Bất cứ công trình nào của tôi cũng xứng đáng được công bố, nhưng tôi không muốn tên tôi xuất hiện ở đó.". Ông là một người ưa bí mật, ông sẵn sàng hy sinh danh tiếng của mình để miễn là không bị quấy rầy bởi những câu hỏi vụn vặt của những người phê bình.
Định lý 2.2.2 (Điều kiện đủ cực trị).
Giả sử hàm số f(x) liên tục trên khoảng K = (x0 −δ;x0 +δ) và có đạo hàm trên K hoặc K \ {x0}, với δ >0.
a) Nếu f0(x) > 0 trên khoảng (x0 − δ;x0) và f0(x) < 0 trên khoảng
(x0;x0+δ) thì x0 là một điểm cực đại của hàm số f(x).
b) Nếu f0(x) < 0 trên khoảng (x0 − δ;x0) và f0(x) > 0 trên khoảng
(x0;x0+δ) thì x0 là một điểm cực tiểu của hàm số f(x).
c) Nếu f0(x) không đổi dấu khi x đi qua x0 thì hàm số không đạt cực trị tại x0.
Chứng minh.
a) Vì hàm sốf(x)liên tục trênK vàf0(x)> 0trên khoảng(x0−δ;x0) và f0(x)< 0 trên khoảng (x0;x0 +δ) nên ta có
f(x0 + ∆x)−f(x0)≤ 0 với mọi |∆x|< δ
hay f(x0+ ∆x) ≤ f(x0) với mọi |∆x| < δ , điều này tương đương với f(x) ≤ f(x0) với mọi x ∈ (x0 − δ;x0 +δ), hay x0 là điểm cực đại của hàm số.
b) c) chứng minh tương tự a).
Ví dụ 2.2.3 Hàm số f(x) = x3 + x2 − x + 1 có đạo hàm f0(x) = 3x2 + 2x−1 và f0(x) = 0 ⇔ x = −1;x= 1
3. Ta có f(x) đổi đấu từ + sang − khi x đi qua điểm −1 và đổi đấu từ − sang + khi x đi qua 1
3 . Do đó x= 1 là điểm cực đại và x = 1
3 là điểm cực tiểu của hàm số. Định lý 2.2.4 .(Điều kiện đủ cực trị)
Giả sử f(x) được khai triển theo công thức Taylor trong một khoảng mở nào đó chứa x0: f(x) =f(x0) + n X k=1 f(k)x0 k! (x−x0)k+o((x−x0)n)
và đạo hàm đầu tiên khác 0 của nó tại x0 là đạo hàm cấp n tức là f0(x0) =f00(x0) =... = f(n−1)(x0) = 0 và f(n)(x0) 6= 0. Khi đó
i) Nếu n là số lẻ thì f không có cực trị tại x0;
ii) Nếu n là số chẵn thì f có cực trị tại x0, cụ thể là f(n)(x0) > 0 thì x0 là điểm cực tiểu của hàm số, f(n)(x0) < 0 thì x0 là điểm cực đại của hàm số.
Ví dụ 2.2.5 .
• Xét hàm f(x) =x3 tại 0.
Ta cóf0(0) = f00(0) = 0, f(3)(0) = 6 f0(0) = f00(0) = 0; f(3)(0) = 6 nên
x = 0 không phải là điểm cực trị.
• Xét hàm f(x) = sinx. Ta có f0(x) = cosx, f00(x) =−sinx. f0(x) = 0⇔ x = π 2 +kπ (kZ) với k = 2n, f00 π 2 + 2nπ = −1 < 0, nên các điểm x = π 2 + 2nπ (n ∈ Z) là các điểm cực đại của hàm số.
Mệnh đề 2.2.6 Nếu hàm số f : R−→ R liên tục và f(x) −→ +∞
khi |x| −→ +∞ thì nó đạt được giá trị nhỏ nhất trong R . Hơn nữa nếu f là hàm lồi khả vi thì nó sẽ có điểm cực tiểu tuyệt đối.
Chứng minh. Ta coi Mệnh đề 2.2.6 là hệ quả được suy ra từ định lý ở phần sau. Xét bài toán: min{f(x);x ∈C}, C ⊂ R (P2) hoặc max{f(x);x ∈C}, C ⊂ R (P’2) trong đó f : C −→R khả vi, C có thể là một khoảng, hoặc đoạn trên
R.
Khi xét bài toán tối ưu trên một tập ràng buộc thì Định lý Fermat không còn đúng nữa.
Ví dụ xét hàm số f(x) = x2 trên [−1; 2]. Ta có f0(x) = 2x, f0(x) = 0 ⇔ x= 0, vì x= 0 ∈ [−1; 2] và f00(0) = 2 > 0 nên x = 0 là một điểm cực tiểu của hàm số trên đoạn [−1; 2], và quy tắc Fermat vẫn đúng, tuy nhiên nếu ta thay thế điều kiện ràng buộc bởi đoạn không chứa điểm dừng ví dụ [1; 2] thì x = 0 không thể là nghiệm của bài toán cực trị trên đoạn[1; 2], khi đó điểm cực trị của bài toán sẽ rơi vào các điểm biên.
Đặc biệt trong trường hợp hàm f lồi trên đoạn [a;b], ta có các bước để giải bài toán: Giải phương trình f0(x) = 0 tìm các nghiệm x∗.
Nếu x∗ ∈ [a;b], ta kết luận x∗ là nghiệm cực tiểu của bài toán (P2), Nếu x∗ ∈/ [a;b], ta xét 2 trường hợp x∗ < a thì a là nghiệm cực tiểu của (P2), x∗ > b thì b là nghiệm cực tiểu của (P2).
Nếu hàm số lõm thì cực tiểu đạt được ở một trong hai đầu biên. Vậy trong trường hợp bài toán tối ưu một biến bị ràng buộc bởi đoạn [a;b] thì Định lý 2.2.1 không còn đúng nữa, và ta thay thế nó bởi định lý sau:
Định lý 2.2.7 Nếu f là một hàm số khả vi trên [a;b] thì cực đại hoặc cực tiểu rơi vào điểm x0 ∈ [a, b] là nghiệm của f0(x) = 0 hoặc điểm cực biên x= a hoặc x =b.
Chứng minh.
Giả sử hàm số f(x) đạt cực trị tại x0 ∈ [a;b], theo quy tắc Fermat thì x0 là một nghiệm của f0(x) = 0.
Trong trường hợp f0(x) = 0 không có nghiệm trên đoạn [a, b] thì rõ ràng cực trị đạt được tại hai biên x = a hoặc x= b.
Do đó ta có thể giải bài toán cực tiểu, cực đại trên đoạn [a;b] bằng cách so sánh giá trị của hàm số tại các điểm dừng trên đoạn [a;b] với giá trị của hàm số tại các điểm biên mà không cần dùng điều kiện đủ như ở phần trước.
Ví dụ 2.2.8 (Đề thi tuyển sinh đại học khối B năm 2004). Tìm giá trị lớn nhất và nhỏ nhất của hàm sốy = ln 2x x trên đoạn[1;e 3]. Giải. Ta có y0 = 2lnx x x−ln2x x2 = 2 lnx− ln2x x2 . Với mọi x∈ (1;e3) ta có y0 = 0 ⇔ 2 lnx−ln2x= 0 ⇔ lnx = 0 hoặc lnx = 2 ⇔ x= 1 hoặc x= e2 ⇔ x =e2 (1 ∈/ (1;e3)).
Vậy miny = min{y(1);y(e3);y(e2)} = min
0; 9 e3; 4 e2 = 0, đạt được ⇔ x= 1.
maxy = max{y(1);y(e3);y(e)} = max
0; 9 e3; 4 e2 = 4 e2, đạt được ⇔ x= e2.
Điều kiện tồn tại giá trị nhỏ nhất của một hàm số liên tục.
Nếu C không phải là một khoảng đóng và do vậy không có điểm cực biên thì để tìm giá trị cực trị trong một miền mở ta dùng nhận xét sau đây.
Mệnh đề 2.2.9 Nếu hàm số f : (a, b) −→R liên tục và f(x)−→ +∞
khi x −→a, x −→b thì nó đạt được giá trị cực tiểu trong (a, b).
Chứng minh. Ta coi Mệnh đề 2.2.9 là hệ quả được suy ra từ định lý ở phần sau.
Ví dụ 2.2.10 Tìm giá trị lớn nhất và nhỏ nhất của hàm số f(x) =
x2 +x+ 1
Giải. Ta có f0(x) = x 2 + 2x (x+ 1)2; f00(x) = 2 (x+ 1)3. Với mọi x∈ (−1; +∞) ta có f0(x) = 0⇔ x = 0 hoặc x= −2 ⇔ x = 0 (−2 ∈/ (−1; +∞)). f00(0) >
0 nên x = 0 là nghiệm cực tiểu địa phương trên (−1; +∞), hơn nữa điều kiện bức thỏa mãn vì f(x) −→ +∞ khi x −→ −1, x −→ +∞
nên x= 0 là nghiệm cực tiểu trên toàn khoảng (−1; +∞).
Nếu ta dùng tính chất hàm lồi thì bài toán sẽ có lời giải ngắn gọn hơn nữa. Ta có f0(x) = x 2 + 2x (x+ 1)2; f0(x) = 0 ⇔ x= 0. Với mọi x ∈ (−1; +∞) ta có f00(x) = 2 (x+ 1)3 > 0, do đó f là hàm lồi trên (−1; +∞), vậy x = 0 là nghiệm cực tiểu toàn cục trên khoảng (−1; +∞).
Trong trường hợp C = Rn, ta có bài toán tối ưu hàm nhiều biến không có ràng buộc
min{f(x) : x ∈Rn}. (P3) Định lý 2.2.11 Cho hàmf xác định, khả vi trênRn. Nếu x∗ là nghiệm cực tiểu địa phương của bài toán (P3) thì ∇f(x∗) = 0.
Định lý 2.2.12 Giả sử hàm f khả vi liên tục hai lần trên Rn. Khi đó: Nếu x∗ ∈ Rn là điểm cực tiểu địa phương của f trên Rn thì
∇f(x∗) = 0 và ∇2f(x∗) nửa xác định dương. Ngược lại, nếu
∇f(x∗) = 0 và ∇2f(x∗) xác định dương,
thì x∗ là điểm cực tiểu địa phương chặt của f trên Rn.
Chứng minh.
Với mọi d ∈ Rn mà 0 < kdk ≤ ε với ε đủ nhỏ, khai triển Taylor của hàm f tại x∗ là f(x∗ +d) =f(x∗) +h∇f(x∗), di+ 1 2d T ∇2f(ξ) với ξ = λx∗ + (1− λ)d và 0 < λ < 1 (hay kξ − x∗k ≤ kdk < ε). Vì
∇f(x∗) = 0 và biểu thức trở thành
f(x∗ +d) = f(x∗) + 1 2d
T∇2f(ξ).
Bây giờ ta chứng minh∇2f(x∗)nửa xác định dương, tức vT∇2f(x∗)v ≥
0 với mọiv ∈ Rn. Thật vậy, giả sử phản chứng rằng tồn tạiv ∈ Rn, v 6= 0 sao cho vT∇2f(x∗)v < 0. Ta có thể giả thiết rằng kvk < ε . Khi đó, vì f là hàm khả vi liên tục hai lần tại x∗ nên các thành phần của ma trận Hessian ∇2f(x∗) là các hàm số liên tục tại x∗. Do đó vT∇2f(x)v
cũng là hàm liên tục tại x∗. Theo tính chất của hàm liên tục ta có
vT∇2f(ξ)v < 0 với mọi ξ sao cho kξ −x∗k đủ nhỏ. Kết hợp điều này với kết quả trên suy ra f(x∗+v)< f(x∗), mâu thuẫn với tính cực tiểu địa phương của x∗.
Giả sử ∇f(x∗) = 0 và dT∇2f(x∗)d > 0 với mọi d ∈ Rn. Vì các thành phần của ∇2f(x) là các hàm liên tục tại x∗ nên dT∇2f(x)d cũng là hàm liên tục tại x∗. Do đó ta có dT∇2f(ξ)d > 0 với mọi ξ sao cho
kξ −x∗k < ε với ε đủ nhỏ. Theo khai triển Taylor của f tại x∗, ta có thể chọnεđủ nhỏ sao cho f(x∗+d) > f(x∗)với mọi 0 < kdk ≤ε. Điều đó chứng tỏ x∗ là một nghiệm cực tiểu địa phương chặt của f trên Rn. Nhận xét 2.2.13 Nếu x∗ ∈Rn là điểm cực đại địa phương của f trên
Rn thì
∇f(x∗) = 0;
∇2f(x∗) = 0 nửa xác định âm. Ngược lại, nếu
∇f(x∗) = 0;
∇2f(x∗) = 0 xác định âm
thì x∗ là điểm cực đại địa phương chặt của f trên Rn.
Ví dụ 2.2.14 Cho hàm số f(x1, x2) = x31 +x22 −3x1 −2x2 + 12. Tìm nghiệm cực tiểu và cực đại địa phương của hàm số trên R2 .
Giải. Ta có ∇f(x) = 3x 2 1 −3 2x2 −2 ! và ∇2f(x) = 6x1 0 0 2 ! .
Giải hệ phương trình ∇f(x) = 0 ⇔ 3x 2 1 −3 2x2 −2 ! = 0 0 !
ta được hai điểm dừng là (1; 1) và (−1; 1).
Ta có ∇2f((1,1)) = 6 0 0 2 ! và ∇2f ((−1,1))) = −6 0 0 2 ! .
∇2f ((1,1)) là ma trận xác định dương nên (1; 1) là nghiệm cực tiểu địa phương chặt của hàm f.
∇2f ((−1,1)) không là ma trận nửa xác định dương, cũng không là ma trận nửa xác định âm nên (−1; 1) không phải điểm cực đại địa phương cũng không phải điểm cực tiểu địa phương.
Mệnh đề 2.2.15 Nếu hàm số f :Rn −→R liên tục và f(x)−→ +∞
khi kxk −→ +∞ thì nó đạt được cực tiểu toàn cục trong Rn.
Chứng minh. Ta coi Mệnh đề 2.2.14 là hệ quả được suy ra từ định lý ở phần sau.
Định lý 2.2.16 Một điểm x∗ ∈ Rn là cực tiểu toàn cục của một hàm lồi khả vi f trên Rn khi và chỉ khi ∇f(x∗) = 0.
Chứng minh.
Điều kiện cần được suy ra từ Định lý 2.2.11 Điều kiện đủ. Do hàm f lồi và khả vi nên
f(x)−f(x∗) ≥ h∇f(x∗), x−x∗i với mọi x∈ Rn.
Từ đó nếu ∇f(x∗) = 0 thì f(x) ≥ f(x∗) với mọi x ∈ Rn , vì thế x∗ là nghiệm cực tiểu toàn cục của f trên Rn.
Ví dụ 2.2.17 Cho hàm số f(x1, x2) = ex1 + ex2 − x1 − x2 + 2. Tìm nghiệm cực tiểu toàn cục hàm số trên R2.
Giải.
Hàm số f(x1, x2) =ex1 +ex2 −x1−x2+ 2. là hàm lồi trên R2 (vì hàm
f là tổng của 2 hàm lồi là hàm mũ và hàm affine). Ta có ∇f(x) = e
x1 −1
ex2 −2
!
Giải hệ phương trình
∇f(x) = 0⇔ x∗ = (0,0)
ta được điểm dừng duy nhất là (0; 0), vậy điểm cực tiểu toàn cục của hàm f trên R2 là x∗ = (0,0) và fmin = 0.
2.2.2 Điều kiện với ràng buộc hình học Bài toán tối ưu được phát biểu như sau
min{f(x) : x ∈ C} (P) hoặc
max{f(x) : x ∈ C} (P’) trong đó C ⊆ Rn khác rỗng và f : C −→R.
Định lý 2.2.18 (Weierstrass)
Nếu C là tập compact và f nửa liên tục dưới C thì bài toán (P) có nghiệm tối ưu.
Chứng minh. Đặtα := inf
x∈Df(x). Khi đó có một dãy{xk} ⊂C sao cho lim
k−→+∞f(xk) =
α. Do C compact nên tồn tại một dãy con của {xk} nên hội tụ về x0. Vì f nửa liên tục dưới nên α > −∞. Nhưng x0 ∈ C mà α := inf
x∈Df(x) nên f(x0)≥ α. Vậy f(x0) = α.
Định lý 2.2.19 Cho tập đóng khác rỗng C ⊆ Rn. Nếu hàm f là nửa liên tục dưới trên C và thỏa mãn điều kiện bức (coercive) trên C, f(x) −→+∞ khi x∈ C và kxk −→ +∞ thì bài toán (P) có nghiệm tối ưu.
Chứng minh.
Lấy x0 ∈ C xét C(x0) := {x∈ C| f(x) ≤ f(x0)}.
C(x0) đóng (do f liên tục), bị chặn nên f có cực tiểu trên C(x0) và đó
cũng chính là điểm cực tiểu của f trên C.
Định lý 2.2.20 Cho C ⊆ Rn lồi, khác rỗng và f : Rn → R∪ {+∞}. Giả sử ri(domf)∩riC 6= ∅.
Khi đó điều kiện cần và đủ để x ∈ C là cực tiểu của f trên C là
trong đó
NC(x) := {w|hw, x−xi ≤ 0 ∀x∈ C}
là nón pháp tuyến ngoài của C tại x.
Chứng minh.GọiδC(.)là hàm chỉ của tậpC. Khi đóxlà điểm cực tiểu củaf trên C khi và chi khi nó là cực tiểu của hàm h(x) := f(x) +δC(x) trên toàn không gian. Điều kiện cần và đủ đểxlà cực tiểu củahtrênRn là0 ∈ ∂h(x). Dori(domf)∩riC 6= ∅, theo Định lý Moreau-Rockafellar có:
∂h(x) = ∂f(x) +∂δC(x).
Vì x∈ C, nên ∂δC(x) = NC(x). Vậy 0 ∈ ∂f(x) +NC(x).
Ví dụ 2.2.21 Tìmmin{f(x), x ∈ [0,1]}trong đóf(x) = max{x,−2x+ 1} Giải. f(x) = −2x+ 1 khi 0 ≤ x≤ 1 3 x khi 1 3 ≤ x ≤ 1
f khả vi tại mọi điểm x∗ ∈
0,1 3 ∪ 1 3,1 và N[0,1](x∗) = {0}. Gọi x∗ là nghiệm tối ưu của bài toán, ta có 0 ∈ ∂f(x∗) + N[0,1](x∗), điều này tương đương với 0 ∈ ∂f(x∗) hay
h0, x−x∗i+f(x∗) ≤ f(x) ∀x⇔ x∗ = 1 3.
Trong trường hợp C = Rn thì Nc(x∗) = 0, do đó 0 ∈ ∂f(x∗) và nếu bổ sung thêm điều kiện f khả vi thì ta có 0 = ∇f(x∗).
Trong một số trường hợp thường gặp, khi tập các điều kiện ràng buộc được cho bởi
C := {x ∈Rn :gj(x) ≤ 0, j = 1, ..., m, hi(x) = 0, i = 1, ..., k}
và các hàm f, gj, hi khả vi. Người ta dùng hàm Lagrange để có thể áp dụng quy tắc Fermat cho hàm Lagrange.
Xét tập tuyến tính hóa tại x0 ∈C
S(x0) :={d∈ Rn :h∇gj(x0), di ≤ 0,
hhi(x0), di = 0, j ∈A(x0)i = 1, ..., k}.
Với A(x0) := {j : gj(x0) = 0} tập các chỉ số tích cực. Khi đó ta nói điều kiện chính quy thỏa mãn tại x0 nếu
S(x0) = C(x0)
với C(x0) = {d ∈ Rn, d 6= 0| ∃λ0 > 0 : x0 +λd ∈ C, λ ∈ [0, λ0]} tập các vec tơ chấp nhận được của C.
Định lý 2.2.22 (Kuhn - Tucker)
Giả sử trong bài toán (P), tập ràng buộc C được cho bởi
C := {x ∈Rn :gj(x) ≤ 0, j = 1, ..., m, hi(x) = 0, i = 1, ..., k}
và các hàm f, gj, hi khả vi.
Nếu x∗ là nghiệm của (P) và điều kiện chính quy thỏa mãn thì tồn tại λ∗1, λ∗2, ..., λ∗m ≥ 0 và µ∗1, µ∗2, ..., µ∗k ∈ R sao cho. ∇f(x∗) + m X j=1 λ∗j∇gj(x∗) + k X i=1 µ∗i∇hi(x∗) = 0 (2.1) và λ∗j∇gj(x∗) = 0. (2.2)
Ngược lại nếu x∗ ∈ C và f, gj lồi, hi affine thỏa mãn điều kiện (2.1)
và (2.2) thì x∗ là nghiệm tối ưu toàn cục của (P).