Cực đại và cực tiểu hàm lồi với ràng buộc lồi

Cực đại và cực tiểu hàm lồi với ràng buộc lồi, luận văn cao học với đề tài Cực đại và cực tiểu hàm lồi với ràng buộc lồi là tài liệu tham khảo trong quá trình học tập, cũng như ôn luyện, và là tài liệu tham khảo trong quá trình làm đồ án của sinh viên.

Mục lục

1.1 Tập lồi 7

1.2 Hàm lồi 11

2 Cực tiểu hàm lồi với ràng buộc lồi 18 2.1 Phát biểu bài toán và điều kiện tối ưu 18

2.1.1 Các khái niệm 18

2.1.2 Sự tồn tại nghiệm tối ưu 22

2.1.3 Điều kiện tối ưu 23

2.2 Một số thuật toán giải bài toán quy hoạch lồi 33

2.2.1 Thuật toán hướng có thể giải bài toán cực tiểu hàm trơn 33

2.2.2 Thuật toán Frank-Wolfe giải bài toán cực tiểu hàm trơn 37

2.2.3 Thuật toán chiếu dưới đạo hàm xấp xỉ 42

3 Cực đại hàm lồi với ràng buộc lồi 49 3.1 Bài toán và các tính chất 49

3.2 Thuật toán nhánh cận 51

3.2.1 Một số khái niệm cơ bản 513.2.2 Ý tưởng của thuật toán nhánh cận 533.2.3 Thuật toán 56

Danh mục ký hiệu

Với n là số nguyên dương, ký hiệu:

Rn không gian Euclide n-chiều trên trường số thực;

Rn+ góc không âm của R (tập các véc-tơ không âm);

xT véc-tơ hàng (chuyển vị của x);

hx, yi = x T y tích vô hướng của hai véc-tơ x và y;

intA tập hợp các điểm trong của A;

riA tập hợp các điểm trong tương đối của A;

V (A) tập hợp các điểm cực biên (đỉnh) của A;Với hàm f của n biến, ký hiệu:

domf tập hữu dụng của f;

epif trên đồ thị của f;

∂f (x) dưới vi phân của f tại x;

∂  f (x)  −dưới vi phân của f tại x;

∇f(x) hoặc f0(x) đạo hàm của f tại x;

f0(x, d) đạo hàm theo phương d của f tại x;

Lời nói đầu

Lý thuyết về các tập lồi và hàm lồi có một vị trí quan trọng trong toán học,liên quan đến hầu hết các nghành như giải tích lồi, tối ưu hóa, giải tích hàm,hình học, toán kinh tế, Một cách tổng quát, có hai tính chất cơ bản của cáchàm lồi làm cho chúng được sử dụng rộng rãi trong toán học lý thuyết cũng nhưtoán học ứng dụng, đó là: tính chất đạt giá trị cực đại trên biên và bất kỳ cựctiểu địa phương nào cũng là cực tiểu toàn cục Hơn nữa, một hàm lồi chặt thìđiểm cực tiểu nếu có là duy nhất

Trong nhiều vấn đề ứng dụng ta thường gặp bài toán tìm cực tiểu hoặc cựcđại của một hàm lồi trên một tập lồi Hai bài toán này có những tính chất cơbản rất khác nhau Tuy nhiên tính chất lồi kéo theo những đặc thù riêng chomỗi bài toán Lợi dụng các tính chất này, người ta đã đưa ra được những phươngpháp giải quyết khác nhau cho mỗi bài toán kể trên

Mục đích của luận văn này là trình bày một số thuật toán cơ bản nhất giảibài toán cực tiểu và cực đại hàm lồi với ràng buộc lồi Cụ thể luận văn trìnhbày các thuật toán sau: thuật toán hướng có thể, thuật toán Frank-Wolfe, thuậttoán chiếu dưới đạo hàm (gradient) xấp xỉ, thuật toán nhánh cận

Luận văn gồm ba chương:

Chương 1: Giới thiệu các kiến thức cơ bản nhất về giải tích lồi Đó là tập lồi,tập lồi đa diện, hàm lồi, tính chất của hàm lồi, dưới vi phân của hàm lồi và các

ví dụ minh họa, chúng được sử dụng trong các chương tiếp theo

Chương 2: Trình bày các khái niệm và các tính chất cơ bản của bài toán cựctiểu hàm lồi với ràng buộc lồi Đó là sự tồn tại nghiệm tối ưu và điều kiện tối

ưu của bài toán lồi trơn và không trơn Nội dung chính của chương này là trìnhbày một số thuật toán giải bài toán cực tiểu hàm trơn như: thuật toán hướng

có thể, thuật toán Frank-Wolfe và thuật toán giải bài toán cực tiểu hàm khôngtrơn như thuật toán chiếu dưới đạo hàm xấp xỉ

Chương 3: Trình bày các khái niệm và các tính chất cơ bản của bài toán cựcđại hàm lồi với ràng buộc lồi Nội dung chính của chương này là trình bày thuậttoán nhánh cận giải bài toán cực đại hàm lồi với ràng buộc lồi

Do thời gian có hạn nên luận văn này chỉ mới dừng lại ở việc tìm hiểu, tậphợp tài liệu, sắp xếp và trình bày kết quả nghiên cứu đã có theo chủ đề đặt ra.Trong quá trình viết luận văn cũng như xử lý văn bản chắc chắn không tránhkhỏi những sai sót nhất định Tác giả luận văn rất mong nhận được sự góp ýcủa quý thầy cô và các bạn để luận văn được hoàn thiện hơn

Luận văn được hoàn thành tại Viện Toán học, Viện Khoa học và Công nghệViệt Nam, dưới sự hướng dẫn của GS TSKH Lê Dũng Mưu

Tác giả chân thành cảm ơn thầy Lê Dũng Mưu và các nghiên cứu sinh củathầy đã giúp đỡ rất nhiều trong quá trình tác giả làm luận văn

Tác giả cũng xin bày tỏ lòng biết ơn các thầy cô và cán bộ công nhân viêncủa Viện Toán học đã quan tâm giúp đỡ trong suốt quá trình học tập và nghiêncứu tại Viện

Hà Nội tháng 8 năm 2013

Học viên

Hà Thị Thảo

từ tài liệu tham khảo [1], [2] và [4].

Định nghĩa 1.3 Một tập D ⊆ Rn được gọi là một tập lồi nếu D chứa mọiđoạn thẳng đi qua hai điểm bất kỳ của nó Tức là D lồi khi và chỉ khi

là nửa không gian mở.

Định nghĩa 1.8 Một điểm a của một tập lồi D gọi là điểm trong tương đối nếuvới mọi x ∈ D đều có một số λ > 0 để cho a + λ(x − a) ∈ D Tập các điểm trongtương đối của D được ký hiệu là riD

Định nghĩa 1.9 Một tập D được gọi là nón nếu

∀λ > 0, ∀x ∈ D ⇒ λx ∈ D.

Một nón được gọi là nón lồi nếu nó đồng thời là một tập lồi Một nón được gọi

là nón nhọn nếu nó không chứa đường thẳng Nếu nón này là một tập lồi đadiện thì ta nói nó là nón lồi đa diện

Định nghĩa 1.10 Cho D ⊆Rn là một tập lồi và x ∈ D

được gọi là nón pháp tuyến  của D tại x

Hiển nhiên 0 ∈ N D (x) và dùng định nghĩa ta có N D (x) là một nón lồi đóng.Định nghĩa 1.11 Bao lồi của một tập D là giao của tất cả các tập lồi chứa D.Bao lồi của một tập D được ký hiệu là coD.

Bao lồi đóng của một tập D là tập lồi đóng nhỏ nhất chứa D. Ta ký hiệu baođóng của một tập D là coD.

Bao affine của D là giao của tất cả các tập affine chứa D. Bao affine củamột tập D được ký hiệu là affD.

Định nghĩa 1.12 Cho x1, x2, , xk, xk+1 ∈ Rn Bao lồi của x1, x2, , xk, xk+1

được ký hiệu là H(x1, x2, , xk, xk+1) là một đa diện lồi Nếu xk+1 − x1, xk −

x1, , x2− x1 là các véc-tơ độc lập tuyến tính thì H(x1, x2, , xk, xk+1) được gọi là

một đơn hình k chiều với các đỉnh x1, x2, , x k , xk+1.

Định nghĩa 1.13 Cho hai tập C và D khác rỗng

(i) Ta nói siêu phẳng ha, xi = α tách C và D nếu

ha, xi ≤ α ≤ ha, yi, ∀x ∈ C, ∀y ∈ D.

(ii) Ta nói siêu phẳng ha, xi = α tách chặt C và D nếu

ha, xi < α < ha, yi, ∀x ∈ C, ∀y ∈ D.

(iii) Ta nói siêu phẳng ha, xi = α tách mạnh C và D nếu

sup

x∈C ha, xi < α < inf

y∈D ha, yi.

Định lý 1.1 (Định lý tách 1) Cho C vàD là hai tập lồi khác rỗng trong Rn

sao cho C ∩ D = ∅. Khi đó có một siêu phẳng tách C và D.

Định lý 1.2 (Định lý tách 2) Cho C và D là hai tập lồi đóng khác rỗng saocho C ∩ D = ∅. Giả sử có ít nhất một tập là compact Khi đó hai tập này có thểtách mạnh được bởi một siêu phẳng

Chú ý Nếu thiếu giả thiết "một trong hai tập là compact" thì Định lý 1.2

không còn đúng Ví dụ C =(x, y) ∈R2 | y ≥ ex và D =(x, y) ∈R2 | y ≤ 0 làhai tập lồi đóng, rời nhau nhưng không tách mạnh (xem Hình 1(b))

Hình 1: (a) - Hai tập lồi C và D được tách chặt bởi một siêu phẳng; (b) - Hai tập lồi C và D tách nhưng không tách mạnh; (c) - Tập C và D giao nhau bằng rỗng

nhưng không thể tách được vì D không phải tập lồi

Hệ quả 1.1 (Bổ đề Farkas) Cho a ∈Rn và A là ma trận cấp m × n. Khi đó

ha, xi ≥ 0, với mọi x thỏa mãn Ax ≥ 0, khi và chỉ khi tồn tại y ≥ 0 thuộc Rm saocho a = ATy.

Ý nghĩa hình học của bổ đề Farkas: Siêu phẳng đi qua gốc tọa độ ha, xi = 0,

để nón Ax ≥ 0 về một phía của nó khi và chỉ khi véc-tơ pháp tuyến a của siêuphẳng nằm trong nón sinh bởi các hàng của ma trận A.

Định nghĩa 1.14 Cho D 6= ∅ (không nhất thiết lồi) và y là một véc-tơ bất kỳ,đặt

d D (y) := inf

x∈D kx − yk.

Ta nóid D (y)là khoảng cách từyđếnD.Nếu tồn tạiπ ∈ D sao chod D (y) = ky − πk,

thì ta nói π là hình chiếu (vuông góc) của y trên D và ký hiệu là π = P D (y).

Theo định nghĩa, ta thấy rằng hình chiếu P D (y) của y trên D là nghiệm củabài toán tối ưu

Mệnh đề 1.2 Cho D là một tập lồi đóng khác rỗng Khi đó

(i) Với mọi y ∈Rn , π ∈ D hai tính chất sau là tương đương

Trong phần này ta chỉ xét những hàm f không nhận giá trị −∞

Định nghĩa 1.15 Cho một hàm số f xác định trên tập lồi D ⊂Rn

Hàm f được gọi là hàm lồi trên D nếu

Định nghĩa 1.16 Cho hàm lồi f xác định trên tập lồi C ⊆ Rn, hàm lồi g xácđịnh trên tập lồi D ⊆ Rn và số thực λ > 0. Các phép toán λf, f + g, max {f, g}

được định nghĩa như sau:

(λf )(x) := λf (x), x ∈ C;

(f + g)(x) := f (x) + g(x), x ∈ C ∩ D;

max {f, g} := max {f(x), g(x)} , x ∈ C ∩ D.

Kết quả sau dễ dàng được suy ra từ Định nghĩa 1.16, nhưng rất bổ ích.

Định lý 1.3 Cho f và g là các hàm lồi trên tập lồi C và D tương ứng Khi đócác hàm số αf + βg, ( ∀α, β ≥ 0) và max {f, g} cũng lồi trên C ∩ D

Một hàm lồi có thể không liên tục tại một điểm trên biên miền xác định của

nó Tuy nhiên, nó liên tục tại mọi điểm trong của tập đó theo định lí sau:Định lý 1.4 Một hàm lồi xác định trên tập lồi Dthì liên tục tại mọi điểm trongcủa D

Nhận xét Sự gián đoạn của hàm lồi chỉ có thể xảy ra tại biên của tập xácđịnh

Với hàm một biến f xác định trên tập lồi D ⊆R ta đã biết: f là hàm lồi trên

D khi và chỉ khi f00(x) ≥ 0 với mọi x ∈ D Chẳng hạn, hàm f (x) = ex là hàm lồitrên R.

Định lý 1.6 Cho f : D →R là hàm khả vi hai lần trên tập lồi mở D. Khi đó,(i) Hàm f là lồi trên D khi và chỉ khi ma trận Hesian H(x) của f tại x xác địnhkhông âm trên D, tức là

yTH(x)y ≥ 0, ∀x ∈ D, y ∈Rn.

(ii) Hàm f là lồi chặt trên D nếu ma trận Hesian H(x) của f tại x xác địnhdương trên D, tức là

yTH(x)y > 0, ∀x ∈ D, y ∈Rn\ {0}

Như vậy, một dạng toàn phương xTQx là một hàm lồi khi và chỉ khi Q xácđịnh không âm Một dạng toàn phương là một hàm lồi chặt khi và chỉ khi matrận của nó xác định dương

Tính khả vi của một hàm lồi giữ vai trò quan trọng trong các phương pháptối ưu hóa Lớp các hàm lồi có những tính chất khả vi rất đẹp mà các lớp hàmkhác không có Giả sử f :Rn →R∪ {+∞} là hàm lồi Ta có các khái niệm sau:Định nghĩa 1.17 Ta gọi đạo hàm theo hướng d của một hàm f (không nhấtthiết là lồi) tại điểm x là đại lượng

f0(x, d) := lim

λ→0 +

f (x + λd) − f(x)

λ

nếu giới hạn này tồn tại

Định lý 1.7 Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D và mọi d

sao cho x + d ∈ D, đạo hàm theo hướng d của f tại x luôn tồn tại và nghiệmđúng

f0(x, d) ≤ f(x + d) − f(x).

Ngoài ra với mỗi điểmxcố định,f 0 (x, )là một hàm lồi trên tập lồi {d : x + d ∈ D}

Từ định lý này dễ dàng suy ra rằng nếu f khả vi thì

Hàm f được gọi là khả dưới vi phân tại x0 nếu ∂f (x0) 6= ∅.

Nói chung một hàm lồi không nhất thiết khả vi tại mọi điểm Dưới vi phân

là một khái niệm mở rộng của đạo hàm trong trường hợp hàm không khả vi.Trong trường hợp ∂f (x0) chỉ gồm duy nhất một điểm thì f khả vi tại x0.

Vậy dưới vi phân của hàm chỉ của một tập lồi Dkhác ∅ tại một điểmx0 ∈ D

chính là nón pháp tuyến ngoài của D tại x0.

Định nghĩa 1.19 Cho  > 0. Một véc-tơ w ∈ Rn được gọi là một  −dưới đạohàm của f tại x0 ∈Rn nếu

Định lý 1.8 Cho f là một hàm lồi (hữu hạn) trên tập lồi D Lúc đó f có dưới

vi phân tại mọi điểm thuộc riD.

Từ định lý này suy ra rằng nếu f là một hàm lồi trên toàn không gian Rn

thì nó có dưới vi phân tại mọi điểm, vì riRn =Rn.

Định nghĩa 1.20 Cho D ⊆ Rn là tập lồi, f : D →R là hàm lồi và  ≥ 0. Xétbài toán quy hoạch

Định nghĩa 1.21 Cho D là tập lồi đóng khác rỗng trong Rn , x ∈Rn và  ≥ 0.

Một điểm p x được gọi là  −chiếu của x trên D nếu p x là một  −tối ưu của bàitoán

trong đó P D (x) là hình chiếu của x trên D.

Mệnh đề 1.4 Cho D là tập lồi đóng khác rỗng Khi đó p x là  −chiếu của x

trên D khi và chỉ khi

hx − p x , p x − yi ≥ −, ∀y ∈ D. (1.2)Chứng minh Giả sử p x là  −chiếu của x trên D Ta có

Chương 2

Cực tiểu hàm lồi với ràng buộc lồi

Chương này trình bày điều kiện cần và đủ của nghiệm tối ưu cho bài toánlồi trơn và không trơn Tiếp theo trình bày một số thuật toán cơ bản nhất dùng

để giải bài toán cực tiểu hàm lồi với ràng buộc lồi Đó là các thuật toán hướng

có thể, Frank-Wolfe giải bài toán cực tiểu hàm trơn và thuật toán chiếu dướiđạo hàm xấp xỉ giải bài toán cực tiểu hàm không trơn Các kiến thức trình bàytrong chương này được tham khảo chủ yếu từ tài liệu tham khảo [1], [2], [3], [4],[5], [6] và [7]

2.1 Phát biểu bài toán và điều kiện tối ưu

X Ta sẽ luôn giả sử rằng X có điểm trong và các hàm affineh j (j = 1, , k) độclập tuyến tính trên X, theo nghĩa, nếu Pk

Bài toán (P )được hiểu là hãy tìm một điểm x ∗ ∈ D sao chof (x ∗ ) ≤ f(x) vớimọi x ∈ D Mỗi điểm x ∈ D được gọi là một phương án chấp nhận được của bàitoán (P ).

Do X là tập lồi, g i (i = 1, , m) là các hàm lồi hữu hạn trênX, h j (j = 1, , k)

là các hàm affine hữu hạn trên tập affine của X nênD là một tập lồi Điểm cựctiểu của f trênD cũng được gọi là nghiệm tối ưu của bài toán (P ). Ta xây dựnghàm sau, được gọi là hàm Lagrange cho bài toán (P )

án này là thấp nhất

Định nghĩa 2.1 Điểm x∗ ∈ D được gọi là cực tiểu địa phương của f trên D

nếu tồn tại một lân cận U của x ∗ sao cho

f (x∗) ≤ f(x), ∀x ∈ U ∩ D.

Điểm x ∗ ∈ D được gọi là cực tiểu toàn cục của f trên D nếu

f (x∗) ≤ f(x), ∀x ∈ D.

Các khái niệm cực đại địa phương và cực đại toàn cục được định nghĩa tương

tự Đối với hàm tùy ý f trên tập D, ta ký hiệu tập tất cả các điểm cực tiểu (cựcđại) toàn cục của f trên D là Argminx∈Df (x) (Argmaxx∈Df (x))

Do min {f(x) : x ∈ D} = − max {−f(x) : x ∈ D} và tập nghiệm của hai bàitoán này trùng nhau nên lý thuyết cực tiểu (hay cực đại) hàm lồi cũng chính là

lý thuyết cực đại (hay cực tiểu) hàm lõm

Bổ đề 2.1 Cho f là một hàm lồi mạnh, khi đó với mọi d ∈Rn hàm số

ϕ d (x) := f (x) + 1

2 kxk2− hd, xi

thỏa mãn điều kiện bức, theo nghĩa ϕ d (x) → +∞ khi kxk → ∞.

Chứng minh Do domf 6= ∅, nên có c ∈ ∂f(y) Vậy y ∈ domf Theo định nghĩacủa dưới vi phân, ta suy ra

Định lý 2.1 Cho (P ) là một bài toán quy hoạch lồi Khi đó:

(i) Nếu x∗ là nghiệm tối ưu địa phương thì x∗ cũng là nghiệm tối ưu toàn cục.(ii) Nếu f lồi chặt thì x∗ là nghiệm tối ưu toàn cục duy nhất của bài toán (P ).

(iii) Nếu f lồi mạnh thì bài toán (P ) luôn tồn tại nghiệm.

Điều đó chứng tỏ x∗ là nghiệm tối ưu toàn cục của bài toán (P ).

(ii) Giả sử x∗ là nghiệm tối ưu địa phương và hàm mục tiêu f là lồi chặt

Vì hàm lồi chặt là hàm lồi nên từ (i) ta có x∗ là nghiệm tối ưu toàn cục Giả

sử phản chứng x∗ không phải là nghiệm tối ưu toàn cục duy nhất, tức tồn tại

(iii) Dễ thấy f lồi mạnh trên với hệ số η > 0 khi và chỉ khi hàm

ϕ(x) = f (x) −η

2 kxk2

lồi trên D

Áp dụng Bổ đề2.1 ta được ϕ(x) thỏa mãn điều kiện bức, theo nghĩaϕ(x) → +∞

khi kxk → ∞. Điều này chứng tỏ nếu f lồi mạnh thì bài toán (P ) luôn tồn tạinghiệm (xem Định lý 2.4)

2

2.1.2 Sự tồn tại nghiệm tối ưu

Xét bài toán tối ưu toàn cục (P ) Có bốn trường hợp xảy ra:

• D = ∅ (không có nghiệm)

• f không bị chặn dưới trên D ( inf

x∈D f (x) = −∞).

• f bị chặn dưới trên D nhưng giá trị cực tiểu không đạt được trên D.

• Tồn tại x ∗ ∈ D sao cho f (x ∗ ) = inf

Ngược lại, giả sử F+(D) bị chặn dưới Đặtt∗= inf F+(D) thì t > −∞.Do F+(D)

đóng, t ∗ ∈ F+(D) nên tồn tại x∗ ∈ D sao cho f (x∗) = t ∗ Chứng tỏ x∗ là mộtnghiệm cực tiểu của f trên D.

2

Định lý 2.3 (Weierstrass) Nếu D là tập compact và f nửa liên tục dưới trên

D thì bài toán (P ) có nghiệm tối ưu

Chứng minh Đặt α := inf

x∈D f (x). Theo định nghĩa có một dãy x k

⊂ D saocho lim

k→+∞ f (xk) = α. Do Dcompact nên có một dãy con hội tụ về x0 ∈ D, khônggiảm tính tổng quát ta có thể coi xk → x0. Vì f nửa liên tục dưới nên α > −∞.

Nhưng x0∈ D nên theo định nghĩa của α, ta phải có f (x0) ≥ α. Vậy f (x0) = α.

2

Định lý 2.4 Nếu f nửa liên tục dưới trên D và thỏa mãn điều kiện bức sau

f (x) → +∞ khi x ∈ D, kxk → +∞

thì f có cực tiểu trên D.

Chứng minh ĐặtD(a) := {x ∈ D | f(x) ≤ f(a)} với a ∈ D. Rõ ràng,D(a) đóng

và bị chặn nên f có cực tiểu trên D(a) và điểm đó cũng chính là điểm cực tiểucủa f trên D.

chứng tỏ x∗ là nghiệm tối ưu của bài toán (P ).

(ii) Điều kiện cần: Giả sử x∗ là nghiệm tối ưu của bài toán (P ). Bằng cáchlấy không gian affine của D, ta có thể giả sử D là một tập có số chiều đầy đủ

Do D là tập lồi, intD 6= ∅. Xét hai tập sau

E := {(t, x) ∈R×Rn : t > f (x) − f(x∗), x ∈ D} ; G := {0} × D.

Cả E vàG đều là tập lồi (doD và f lồi) Hơn nữa, G ∩ E = ∅. Áp dụng định lýsiêu phẳng tách tồn tại (u 0 , u) 6= 0 ∈ R×Rn sao cho

Hiển nhiên, 0 ∈ C và bằng phép tịnh tiến ta có thể giả sử 0 ∈ intC. Theo (2.4)

ta có u = 0 (không xảy ra vì u 0 = 0) Do đóu 0 < 0. Chia cả hai vế của (2.3) cho

−u 0 > 0, ta có

−t + uTx ≤ uTy, ∀x, y ∈ D.

Cho t → f(x) − f(x ∗ ), ta được

− [f(x) − f(x∗)] + uTx ≤ uTy, ∀x, y ∈ D. (2.5)Thay y = x∗ vào (2.5), ta được

− [f(x) − f(x∗)] + uTx ≤ uTx∗, ∀x ∈ D.

Do đó

f (x∗) − f(x) + uT(x − x∗) ≤ 0, ∀x ∈ D. (2.6)Nếu x / ∈ D, bằng cách lấyf (x) = ∞ nên từ (2.6) ta cũng nhận được

f (x∗) − f(x) + uT(x − x∗) ≤ 0, ∀x ∈ X.

nghĩa là u ∈ ∂f(x∗). Mặt khác, thay x = x∗ vào (2.5) ta có

uT(y − x∗) ≥ 0, ∀y ∈ D.

Suy ra −u ∈ ND (x ∗ ). Kết hợp với u ∈ ∂f(x ∗ ), ta được 0 ∈ ∂f(x ∗ ) + N D (x ∗ ).

2

Hệ quả 2.1 Với các giả thiết như Định lý 2.5, nếu x∗ ∈ intD là nghiệm tối ưucủa bài toán(P )thì 0 ∈ ∂f(x ∗ ).Hơn nữa, nếu f khả vi vàD =Rn thì 0 = ∇f(x ∗ ).

Định lý 2.6 (Karush-Kuhn-Tucker) Nếu x∗ là nghiệm tối ưu của bài toán

(P ) với D được cho bởi (2.1), thì tồn tại λ∗i ≥ 0 (i = 0, , m) và µ∗j (j = 1, , k)

không đồng thời bằng 0 sao cho

Khi đó theo Định lý tách 1, có thể tách các tập C và 0, tức là tồn tại

λ∗i (i = 0, 1, , m), µ∗j (j = 1, , k) không đồng thời bằng0 sao cho

Chú ý rằng nếu λ 0 , , λ m > 0, thì (λ 0 , , λ m , 0, , 0) ∈ C, vì theo định nghĩa của

C ta chỉ lấy x = x∗. Từ chú ý này, ta suy ra ngay tất cả các λ∗0, λ∗1, , λ∗m ≥ 0.Hơn nữa, với mọi  > 0, x ∈ X, ta lấy λ0 = f (x) − f(x ∗ ) + , λ i = g i (x) (i =

1, , m), µ j (j = 1, , k) rồi thay vào (2.7) và cho  → 0, sẽ được

L(x∗, λ∗, µ∗) ≤ L(x, λ∗, µ∗), ∀x ∈ X.

Đây chính là điều kiện đạo hàm triệt tiêu

Để chứng minh điều kiện bù, ta chú ý rằng do x∗ là điểm chấp nhận được,nêng i (x∗) ≤ 0với mọi i. Nếu như tồn tại một i nào đó mà g i (x∗) = ξ < 0, thì vớimọi  > 0, ta có

(, , ξ, , , , 0, , 0) ∈ C (ξ ở vị trí i + 1).

Thay vào (2.7) và cho  → 0, ta có λ∗iξ ≥ 0. Nhưng vì ξ < 0, nên λ∗i ≤ 0. Do đó

λ∗i = 0.

Bây giờ ta chứng minh điều kiện đủ Trước hết, ta có λ∗0 > 0. Thật vậy, nếu

λ∗0 = 0, do điều kiện đạo hàm triệt tiêu và điều kiện bù, ta có

0 = 0, nên xảy ra 2 trường hợp:

• Trường hợp 1: Tồn tại chỉ số i sao cho λ∗i > 0. Khi đó thay thế x = x0 vàobất đẳng thức (2.9) ta được

Giả sử tồn tại λ ∗

i ≥ 0 (i = 0, 1, 2) không đồng thời bằng 0 sao cho1) L(x∗, λ∗) = min

x∈X L(x, λ∗).2) λ ∗

1) L(x∗, λ∗) = min

x∈X L(x, λ∗).2) λ∗ig i (x∗) = 0, i = 1, 2

Ngoài ra 0 6= d ∈ R n là một hướng dùng được của D tại x ∗ ∈ D nếu