hàm lồi, hàm lồi suy rộng và tính chất

Chẳng hạn, cực tiểu địa phương của một hàm lồitrên một tập lồi luôn là cực tiểu toàn cục, hàm lồi khả vi đạt cực tiểu tự do tại điểm có đạo hàm bằng 0 hay hàm lồi đạt cực đại tại một đỉn

TRƯỜNG ĐẠI HỌC KHOA HỌC

Nguyễn Thị Hải Đường

HÀM LỒI, HÀM LỒI SUY RỘNG

VÀ TÍNH CHẤT

CONVEX FUNCTIONS AND GENERALIZATIONS

WITH THEIR PROPERTIES

Chuyên ngành: TOÁN ỨNG DỤNG

Mã số: 60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

Thái Nguyên - 2014

Trường Đại học khoa học - Đại học Thái Nguyên

Người hướng dẫn khoa học: GS.TS Trần Vũ Thiệu

Phản biện 1:

Phản biện 2:

Luận văn sẽ được bảo vệ trước hội đồng chấm luận văn họp tại: Trường Đại học khoa học - Đại học Thái Nguyên

Ngày 21 tháng 6 năm 2014

Có thể tìm hiểu tại Thư viện Đại học Thái Nguyên

Mục lục

Lời nói đầu 2

Chương 1 HÀM LỒI VÀ HÀM LÕM 4 1.1 TẬP LỒI VÀ TẬP LỒI ĐA DIỆN 4

1.1.1 Định nghĩa tập lồi, bao lồi và nón lồi 4

1.1.2 Tập lồi đa diện 6

1.1.3 Các phép toán bảo toàn tập lồi 8

1.2 HÀM LỒI (LỒI CHẶT) VÀ HÀM LÕM (LÕM CHẶT) 8 1.2.1 Định nghĩa và ví dụ 8

1.2.2 Tính chất cơ bản 12

1.2.3 Hàm lồi khả vi và cách nhận biết hàm lồi 15

1.2.4 Các phép toán bảo toàn hàm lồi 17

Chương 2 HÀM LỒI VÀ HÀM LÕM SUY RỘNG 21 2.1 HÀM TỰA LỒI VÀ HÀM TỰA LÕM 21

2.2 HÀM GIẢ LỒI VÀ HÀM GIẢ LÕM 27

2.3 HÀM LỒI TẠI MỘT ĐIỂM 30

2.4 HÀM PHÂN THỨC AFIN 32

2.5 HÀM LÔGA-LỒI VÀ HÀM LÔGA-LÕM 33

Chương 3 CỰC TRỊ CỦA HÀM LỒI VÀ HÀM LÕM SUY RỘNG 36 3.1 CỰC TIỂU ĐỊA PHƯƠNG VÀ TOÀN CỤC 36

3.2 CỰC TIỂU HÀM LỒI (CỰC ĐẠI HÀM LÕM) 37

3.3 BÀI TOÁN TỐI ƯU TỰA LỒI 41

KẾT LUẬN 43

TÀI LIỆU THAM KHẢO 44

Lời nói đầu

Hàm lồi và hàm lõm có nhiều tính chất đặc biệt, đáng chú ý và được

sử dụng nhiều trong lý thuyết và ứng dụng thực tiễn, đặc biệt trong giảitích lồi và tối ưu hóa Chẳng hạn, cực tiểu địa phương của một hàm lồitrên một tập lồi luôn là cực tiểu toàn cục, hàm lồi khả vi đạt cực tiểu

tự do tại điểm có đạo hàm bằng 0 hay hàm lồi đạt cực đại tại một đỉnhcủa tập lồi đa diện Một số hàm lồi suy rộng cũng có các tính chấttương tự Vì thế hàm lồi và hàm lồi suy rộng là chủ đề hấp dẫn và luônthu hút sự quan tâm của nhiều nhà nghiên cứu

Mục tiêu của luận văn này là tìm hiểu và trình bày các khái niệm

và kết quả chính liên quan đến chủ đề về các hàm lồi, lõm và các hàmlồi, lõm suy rộng: hàm tựa lồi, tựa lõm (tựa lồi chặt, tựa lồi mạnh, tựalõm chặt), giả lồi, giả lõm, giả lồi chặt, hàm lồi tại một điểm, hàm phânthức afin, các tính chất đáng chú ý của chúng, đặc biệt là tính chất cựctrị và mối quan hệ giữa các hàm này Các tính chất của hàm lồi và hàmlồi suy rộng hay được dùng trong thiết lập các điều kiện tối ưu và trongxây dựng các lược đồ tính toán giải các bài toán tối ưu có chứa các hàmlồi và hàm lõm

Luận văn được viết thành ba chương

Chương 1 “Hàm lồi và hàm lõm” nhắc lại một số kiến thức cơ bản vềtập lồi, tập lồi đa diện và các phép toán bảo toàn tập lồi Tiếp theo tậptrung trình bày khái niệm về hàm lồi, hàm lõm và một số tính chất cơbản như tính liên tục, đạo hàm theo hướng, dưới vi phân của hàm lồi,hàm liên hợp, dấu hiệu nhận biết hàm lồi và các phép toán bảo toànhàm lồi, cho phép từ các hàm lồi đã có tạo ra nhiều hàm lồi mới Nộidung trình bày trong chương được minh họa bằng nhiều ví dụ và hình

vẽ cụ thể, cung cấp thêm các thông tin cần thiết giúp hiểu rõ hơn về tậplồi và hàm lồi

Chương 2 “Hàm lồi (lồi chặt) và hàm lõm (lõm chặt)” trình bày một

số lớp hàm lồi, hàm lõm suy rộng và các tính chất đáng chú ý của chúng.Hàm tựa lồi (tựa lõm) là mở rộng trực tiếp của hàm lồi (hàm lõm)

Đáng chú ý là hàm tựa lồi khi và chỉ khi mọi tập mức dưới của nó làlồi Các hàm tựa lồi chặt (tựa lõm chặt) có vai trò quan trọng trong lýthuyết tối ưu phi tuyến, bởi vì cực tiểu địa phương của hàm tựa lồi chặt(cực đại địa phương của hàm tựa lõm chặt) trên một tập lồi là cực tiểu(cực đại) toàn cục Hàm tựa lồi chặt là tựa lồi nếu nó nửa liên tục dưới.Hàm giả lồi giống hàm lồi ở chỗ nếu ∇f (¯x) = 0 tại ¯x nào đó thì ¯x làcực tiểu toàn cục của hàm Chú ý là hàm giả lồi vừa tựa lồi chặt vừatựa lồi và hàm giả lồi chặt là hàm tựa lồi mạnh Hàm phân thức afinvừa giả lồi vừa giả lõm.

Trong một số trường hợp, hàm lồi có thể thay bằng hàm lồi tại mộtđiểm Các hàm lôga-lồi, lôga-lõm thường gặp trong lý thuyết xác suất

và trong các nghiên cứu kinh tế cũng được đề cập tới ở chương này.Chương 3 "Cực trị của hàm lồi và hàm lõm suy rộng" trình bày tómtắt những tính chất cực trị đáng chú ý của các hàm lồi và hàm lõm suyrộng, tương tự như các tính chất đặc trưng của hàm lồi và hàm lồi chặt.Chẳng hạn, mọi cực tiểu địa phương của hàm tựa lồi chặt đều là cựctiểu toàn cục, cực tiểu của hàm tựa lồi mạnh là duy nhất, cực đại củahàm tựa lồi liên tục trên đa diện lồi (nếu có) đạt được tại một đỉnh của

đa diện đó

Do thời gian và kiến thức còn hạn chế nên chắc chắn luận văn nàycòn có những thiếu sót nhất định, kính mong quí thầy cô và các bạnđóng góp ý kiến để tác giả tiếp tục hoàn thiện luận văn sau này

Nhân dịp này tác giả xin bày tỏ lòng biết ơn sâu sắc tới GS.TS Trần

Vũ Thiệu, người thầy đã trực tiếp hướng dẫn, cung cấp tài liệu và truyềnđạt những kinh nghiệm nghiên cứu cho tôi

Tôi xin chân thành cảm ơn các thầy, cô giáo trong khoa Toán - Tin,Phòng Đào tạo trường Đại học Khoa học - Đại học Thái Nguyên, trườngTHPT Hoàng Văn Thụ và bạn bè đồng nghiệp đã giúp đỡ, tạo điều kiệncho tôi hoàn thành bản luận văn này

Thái Nguyên, 2014

Tác giảNguyễn Thị Hải Đường

Chương 1

HÀM LỒI VÀ HÀM LÕM

Chương này nhắc lại một số kiến thức cơ bản về tập lồi, tập lồi đadiện và các phép toán bảo toàn tập lồi Tiếp theo tập trung trình bàykhái niệm về hàm lồi, hàm lõm và một số tính chất cơ bản như tính liêntục, đạo hàm theo hướng, dưới vi phân của hàm lồi, hàm liên hợp, dấuhiệu nhận biết hàm lồi và các phép toán bảo toàn hàm lồi, cho phép từcác hàm lồi đã có tạo ra nhièu hàm lồi mới Nội dung của chương đượctham khảo chủ yếu từ các tài liệu [2], [4], [6] và [7]

1.1 TẬP LỒI VÀ TẬP LỒI ĐA DIỆN

1.1.1 Định nghĩa tập lồi, bao lồi và nón lồi

Tập lồi là một khái niệm quan trọng được sử dụng rộng rãi trong lýthuyết tối ưu Tập lồi có nhiều tính chất đáng chú ý, đặc biệt là tập lồi

và toàn bộ không gian Rn đều là các tập lồi

Hình 1.1 Tập A lồi Tập B không lồi

Sau đây là một số tập lồi đáng chú ý:

a) Tập afin là tập chứa trọn đường thẳng đi qua hai điểm bất kỳthuộc nó

b) Siêu phẳng là tập có dạng

H = x ∈ Rn

: aTx = α, a ∈ R\ {0} , α ∈ R c) Nửa không gian đóng

H1 = x ∈ Rn

: aTx ≤ α , H2 = x ∈ Rn

: aTx ≥ α d) Nửa không gian mở

K1 = x ∈ Rn : aTx < α , K2 = x ∈ Rn : aTx > α

e) Hình cầu đóng

B (a, r) = {x ∈ Rn : kx − ak ≤ r} , a ∈ Rn, r > 0 cho trước

f) Tập lồi đa diện

M = x ∈ Rn

: Ax = b, A ∈ Rm×n, b ∈ Rm Giao của một họ bất kỳ các tập afin cũng là một tập afin

Định nghĩa 1.2 a) Điểm x ∈ Rn có dạng x = λ1a1 + λ2a2 + + λkakvới ai ∈ Rn , λi ≥ 0, λ1+ λ2 + + λk = 1, gọi là một tổ hợp lồi của cácđiểm a1, a2, , ak.

Định nghĩa 1.3 Cho E là một tập bất kỳ trong Rn

a) Giao của mọi tập afin chứa E gọi là bao afin của E, ký hiệu af f E

Đó là tập afin nhỏ nhất chứa E

b) Giao của tất cả các tập lồi chứa E gọi là bao lồi (convex hull) của

E, ký hiệu là convE Đó là tập lồi nhỏ nhất chứa E

Định nghĩa 1.4 Một tập con K của Rn được gọi là một nón hay tậpnón (mũi tại 0) nếu với mọi x ∈ K và mọi λ > 0 thì λx ∈ K Nón Kđược gọi là một nón lồi (convex cone) nếu K là tập lồi

1.1.2 Tập lồi đa diện

Tập lồi đa diện là một dạng tập lồi có cấu trúc đơn giản và rất haygặp trong lý thuyết tối ưu

Định nghĩa 1.5 Một tập là giao của một số hữu hạn các nửa khônggian đóng gọi là một tập lồi đa diện (polyhedral convex set) Nói cáchkhác, đó là tập nghiệm của một hệ hữu hạn bất phương trình tuyến tính:

ai1x1 + ai2x2 + + ainxn ≤ bi, i = 1, 2, , mnghĩa là tập các x nghiệm đúng Ax ≤ b với A = (aij) ∈ Rm×n, b =(b1, , bm)T

Nhận xét 1.1 Vì một phương trình tuyến tính có thể biểu diễn tươngđương bằng hai bất phương trình tuyến tính nên tập nghiệm của một

hệ (hữu hạn) phương trình và bất phương trình tuyến tính cũng là mộttập lồi đa diện:

Một tập lồi đa diện có thể không bị chặn (không giới nội) Một tậplồi đa diện bị chặn (giới nội) còn được gọi là một đa diện lồi (polytope)

Các đa giác lồi theo nghĩa thông thường trong R2 là những ví dụ cụ thể

về đa diện lồi

Hình 1.2 Tập lồi đa diện

Ta nhắc lại khái niệm điểm cực biên và phương cực biên của tập lồiC:

• x0 ∈ C là điểm cực biên (extreme point) của C nếu không tồn tại

x1, x2 ∈ C x1 6= x0, x2 6= x0
và λ ∈ (0, 1) sao cho x0 = λx1+ (1 − λ) x2.Nói cách khác, điểm cực biên của một tập lồi là những điểm không nằm

ở trong đoạn thẳng nối hai điểm khác bất kỳ thuộc tập đó

• Một phương vô hạn của C gọi là một phương cực biên (extremedirection) của C nếu nó không thể biểu diễn dưới dạng tổ hợp tuyếntính dương của hai phương vô hạn khác của C Như vậy, nếu d0 ∈ Rn làphương cực biên của C thì không thể có d0 = λ1d1 + λ2d2 với λ1, λ2 > 0

và d1 6= d0, d2 6= d0 là hai phương vô hạn của C

Khi C là một tập lồi đa diện thì điểm cực biên của C gọi là một đỉnh(vertex) của C và véc tơ chỉ phương của một cạnh vô hạn (unboundededge) của C là một phương cực biên của C

Cho D = {x ∈ Rn : Ax = b, x ≥ 0}, tức D là tập nghiệm không âmcủa một hệ phương trình tuyến tính Theo định nghĩa, D là một tập lồi

đa diện Tập này không chứa trọn đường thẳng nào (do x ≥ 0) nên D

có đỉnh Các phương cực biên (đã chuẩn hóa) của D là các nghiệm cơ sởcủa hệ Ay = 0, eTy = 1, y ≥ 0, trong đó e = (1, , 1)T

Ta có định lý biểu diễn sau đây, thường được dùng trong các chứngminh

Định lý 1.1 ([2], tr 62) Mỗi điểm của tập lồi đa diện D ={x ∈ Rn : Ax = b, x ≥ 0} có thể biểu diễn dưới dạng một tổ hợp lồi củamột tập hữu hạn các đỉnh của D cộng với một tổ hợp tuyến tính không

âm của một tập hữu hạn các phương cực biên của D.

1.1.3 Các phép toán bảo toàn tập lồi

Các qui tắc thực tiễn để xác minh tính lồi của tập C:

1 Sử dụng định nghĩa: x1, x2 ∈ C, 0 ≤ λ ≤ 1 ⇒ (1 − λ) x1+ λx2 ∈ C

2 Chỉ ra rằng C nhận được từ các tập lồi đơn giản (siêu phẳng,nửa không gian, hình cầu đơn vị ) bằng các phép toán bảo toàn tínhlồi như phép giao, ảnh qua các hàm afin (affine function), hàm phốicảnh (perspective function), các hàm phân tuyến tính (linear-fractionalfunction) Việc làm này dựa trên các tính chất sau của tập lồi

a) Giao của một số bất kỳ các tập lồi là một tập lồi

b) Với f : Rn → Rm là hàm afin (hàm phối cảnh hay hàm phân tuyếntính) thì ảnh và ảnh ngược của một tập lồi qua biến đổi f là một tậplồi Cụ thể là

là hàm afin khi f (x) = Ax + b với A ∈ Rm×n, b ∈ Rm

Để ý là phép đổi tỷ xích, phép tịnh tiến hay phép chiếu đều được xácđịnh bởi hàm afin

Định nghĩa 1.6 a) Hàm f : C → [−∞, +∞] xác định trên một tậplồi C ⊆ Rn gọi là một hàm lồi trên C nếu với mọi x1, x2 ∈ C và mọi

λ ∈ (0, 1) ta có

f λx1 + (1 − λ) x2 ≤ λf x1
+ (1 − λ) f x2
,mỗi khi vế phải xác định, nghĩa là hệ thức trên cần được thỏa mãn trừkhi f x1
= −f x2
= ±∞ (vì biểu thức +∞ − ∞ không có nghĩa).b) Hàm f được gọi là hàm lồi chặt trên C nếu với mọi x1, x2 ∈ C, x1 6=

x2, và mọi số thực λ ∈ (0, 1) ta có

f λx1 + (1 − λ) x2 < λf x1
+ (1 − λ) f x2
Hiển nhiên, một hàm lồi chặt là hàm lồi, nhưng điều ngược lại khôngđúng

Định nghĩa 1.7 a) Hàm f gọi là hàm lõm (hàm lõm chặt) trên C nếu

−f là hàm lồi (hàm lồi chặt) trên C

b) Hàm f gọi là hàm tuyến tính afin (hay đơn giản là hàm afin) trên

C nếu f hữu hạn và vừa lồi, vừa lõm trên C

Một hàm afin trên Rn có dạng f (x) = aTx + α với a ∈ Rn, α ∈ R,bởi vì với mọi x1, x2 ∈ Rn và mọi λ ∈ (0, 1) ta có

f λx1 + (1 − λ) x2 = λf x1
+ (1 − λ) f x2
,Hàm tuyến tính là trường hợp riêng của hàm afin, khi α = 0 Tuynhiên, hàm afin (nói riêng, hàm tuyến tính) không lồi chặt hay lõm chặt.Định nghĩa 1.8 Cho hàm bất kỳ f : C → [−∞, +∞] với C ⊆ Rn Cáctập domf = {x ∈ C : f (x) < +∞} , epif = {(x, t) ∈ C × R : f (x) ≤ t}

và hypof = {(x, t) ∈ C × R : f (x) ≥ t} được gọi lần lượt là miền hữudụng, tập trên đồ thị và tập dưới đồ thị của hàm f

Nếu domf khác rỗng (f không đồng nhất bằng +∞) và f (x) > −∞với mọi x ∈ C thì ta nói hàm f là chính thường (proper) Nói cách khác,

f chính thường nếu domf 6= ∅và f hữu hạn trên domf

Có thể chứng minh rằng hàm f lồi trên C khi và chỉ khi epi f là mộttập lồi Tương tự, hàm f lõm trên C khi và chỉ khi hypo f là một tậplồi

Bất đẳng thức Jensen cơ bản: nếu f (x) là hàm lồi thì với mọi 0 ≤

θ ≤ 1 ta có

f [θx + (1 − θ) y] ≤ θf (x) + (1 − θ) f (y)

Hình 1.3 Hàm lồi (chặt) Hàm lồi (không chặt) Hàm không lồi Hàm lõm

Bất đẳng thức mở rộng: nếu f là hàm lồi thì f (Ez) ≤ Ef (z) với mọibiến ngẫu nhiên z (E là ký hiệu của kỳ vọng)

Bất đẳng thức cơ bản là trường hợp riêng tương ứng với phân phốirời rạc:

prob (z = x) = θ, prob (z = y) = 1 − θ

Nhận xét 1.2 Hàm lồi f : C → [−∞, +∞] có thể được mở rộng thànhhàm lồi xác định trên toàn không gian Rn bằng cách đặt f (x) = +∞với mọi x /∈ C Vì vậy để đơn giản, ta thường xét hàm lồi trên toàn Rn.Sau đây là một số ví dụ về hàm lồi và hàm lõm thường gặp

• Ví dụ về hàm lồi một biến:

a) Hàm afin: ax + b trên R với mọi a, b ∈ R

b) Hàm mũ: eax trên R với mọi a ∈ R

c) Hàm luỹ thừa: xα trên R++ với α ≥ 1 hoặc α ≤ 0

d) Hàm lũy thừa của giá trị tuyệt đối: |x|p trên R với p ≥ 1

e) Hàm entropy âm: x log x lồi chặt trên R++

• Ví dụ về hàm lõm một biến:

a) Hàm afin: ax + b trên R với mọi a, b ∈ R

c) Hàm luỹ thừa: xα trên R++ với 0 ≤ α ≤ 1

e) Hàm lôga: log x trên R++

• Ví dụ trên Rn

(véctơ n thành phần) và Rm×n (ma trận m hàng, n cột):a) Hàm afin: aTx + b với a ∈ Rn và b ∈ R là hàm vừa lồi, vừa lõmtrên Rn

b) Mọi hàm chuẩn đều là hàm lồi trên Rn:

c) Hàm chỉ (indicator function) của C: δC(x) =



0 khi x ∈ C,+∞ khi x /∈ C

d) Hàm tựa của C: SC(x) = supy∈CxTy (cận trên của xTy trên C).e) Hàm khoảng cách từ điểm x ∈ Rn tới C: dC(x) = infy∈Ckx − yk.f) Hàm được xác định dưới đây là hàm lồi trên Rm×n với A = (aij)m×n

và X = xij

m×n, b ∈ R và tr (C) = c11 + + cnn là vết của ma trậnvuông C (cấp n):

f (X) = kXk2 = σmax(X) = λmax XTX

1/2.Chẳng hạn, f : Sn → R với f (X) = logdetX, dom f = Sn

++, xét hàmmột biến

g (t) = log det (X + tV ) = log det X + log detI + tX−1/2V X−1/2

= log det X + log det

Sau đây là một số dạng hàm lồi đáng chú ý:

a) Hàm bình phương nhỏ nhất (least-squares objective): f (x) =kAx − bk22 là hàm lồi với mọi ma trận A ∈ Rm×n và b ∈ Rm bởi vì

∇f (x) = 2AT (Ax − b) và ∇2f (x) = 2ATA < 0 (nửa xác định dương)b) Hàm bậc hai trên bậc nhất (quadratic-over-linear): f (x, y) = x2/y

là hàm lồi với y > 0, bởi vì ∇2f (x, y) = y13

c) Hàm lôga của tổng các hàm mũ (log-sum-exp): f (x) = log

1.2.2 Tính chất cơ bản

Mục này đề cập tới một số tính chất cơ bản của hàm lồi và hàm lõm.Định lý sau đây nêu mối liên hệ đáng chú ý giữa hàm lồi (lõm) và tậplồi

Định lý 1.2 ([2], tr 66) Giả sử f : Rn → [−∞; +∞] là một hàm lồitrên Rn và α ∈ [−∞; +∞] Khi đó, các tập mức dưới

Một tính chất quan trọng của các hàm lồi, hàm lõm là các hàm nàyliên tục tại mọi điểm trong của miền hữu dụng (int (dom f )) Chẳnghạn

Định lý 1.3 ([4], tr 100) Hàm lồi chính thường f trên Rn liên tục tạimọi điểm trong của dom f (tức là f liên tục trên int (dom f ))

Nhận xét 1.3 Một hàm lồi chính thường chỉ có thể gián đoạn tại nhữngđiểm biên của miền hữu dụng của nó.

Ví dụ 1.1 Xét hàm một biến số xác định trên tập D = [x : |x| ≤ 1] códạng: f (x) = x2 với |x| < 1 và f (x) = 2 với |x| = 1 Dễ thấy epi f làtập lồi nên f là một hàm lồi trên D Hàm f liên tục tại mọi điểm trong

−1 < x < 1 và gián đoạn tại các điểm biên x = ±1 Tại x = ±1 hàm fnửa liên tục trên

Hàm lồi n biến có mối quan hệ chặt chẽ với hàm lồi một biến Ta cóĐịnh lý 1.4 ([2], tr 68) Hàm f (x) , x ∈ Rn là hàm lồi khi vàchỉ khi hàm một biến số ϕ (λ) = f (x + λd) với dom dom ϕ ={λ : x + λd ∈ domf } là hàm lồi theo λ với mọi x ∈ domf và mọi d ∈ Rn.Tính chất này đúng cả với các hàm lõm

Chứng minh Điều kiện cần là rõ ràng Ta chứng minh điều kiện đủ Giả

sử ϕ (λ) là hàm lồi theo λ với mọi x ∈ domf và mọi d ∈ Rn Lấy bất kỳ

x, y ∈ domf và đặt d = y − x Khi đó với mọi λ ∈ (0, 1) ta có

f ((1 − λ) x + λy) = f (x + λd) = ϕ (λ) = ϕ ((1 − λ) 0 + λ.1)

≤ (1 − λ) ϕ (0) + λϕ (1) = (1 − λ) f (x) + λf (y)

Khái niệm đạo hàm theo hướng rất hữu ích cho việc thiết lập cáctiêu chuẩn tối ưu và xây dựng các thủ tục tính toán trong qui hoạch phituyến, ở đó người ta quan tâm tới việc tìm hướng dọc theo đó một hàm

đã cho tăng hoặc giảm

Định nghĩa 1.9 Cho f : Rn → [−∞; +∞] là một hàm bất kỳ và x làmột điểm tại đó f hữu hạn (nghĩa là |f (x)| < +∞) Với d ∈ Rn, d 6= 0,nếu tồn tại giới hạn (hữu hạn hay vô cực)

lim

λ→0 +

f (¯x + λd) − f (¯x)

λthì giới hạn đó gọi là đạo hàm theo hướng d của hàm f tạix , ký hiệu là

f0(x, d)

Định lý 1.5 ([2], tr 77) Nếu f là hàm lồi chính thường thì f có đạo hàmtheo mọi hướng tại mọi điểm x ∈ domf và f (x + d) − f (x) ≥ f0(x, d)

Hàm lồi có thể không khả vi, tức là có những điểm tại đó hàm không

có đạo hàm hay véctơ gradient Thay vào đó là khái niệm dưới gradient

và dưới vi phân của hàm lồi

Định nghĩa 1.10 Cho hàm lồi chính thường f trên Rn Véctơ p ∈ Rngọi là dưới gradient của hàm f tại điểm x nếu p thỏa mãn

pT (x − x) + f (x) ≤ f (x) , ∀x ∈ Rn

Hình 1.4 Dưới gradient p ∈ ∂f (¯ x))

Tập tất cả các véctơ dưới gradient của f tại x gọi là dưới vi phân của

f tại x và ký hiệu là ∂f (x) Hàm f được gọi là khả dưới vi phân tại xnếu ∂f (x) 6= ∅

Định lý 1.6 ([2], tr 74) Một hàm lồi chính thường f trên Rn có dưới

vi phân khác rỗng tại mỗi điểm x ∈ int (domf ) và ∂f (x) là một tập lồiđóng

Ví dụ 1.2 Sau đây là dưới vi phân của một số hàm lồi quen thuộc.a) Hàm af in = aTx + a (x ∈ Rn, a ∈ R) có ∂f (x) = {a} với mọi

x ∈ Rn

b) Dưới vi phân của hàm chỉ δC(x)của một tập lồi C 6= ∅ tại mộtđiểm x ∈ C chính là nón pháp tuyến ngoài của C tại x:

∂δC(x) = p : pT (x − x) ≤ 0, ∀x ∈ C c) Nếu f (x) = kxk (chuẩn Euclid) thì

∂f (x) = {p : kpk ≤ 1} khi ¯x = 0,

{¯x/ k¯xk} khi ¯x 6= 0

Định lý sau nêu mối liên hệ giữa dưới vi phân và đạo hàm theo hướng

Định lý 1.7 ([2], tr 78) Nếu f là hàm lồi chính thường và x ∈ domfthi p ∈ ∂f (x) khi và chỉ khi pTd ≤ f0(x, d) với mọi d ∈ Rn, d 6= 0.

Một loại hàm lồi hay được dùng nhiều trong lý thuyết đối ngẫuLagrange, đó là hàm liên hợp Hàm liên hợp của một hàm tuỳ ý

Sau đây là một số ví dụ về hàm liên hợp:

• f (x) = ax + b ⇒ f∗

(y) = −b với mọi y ∈ R

• f (x) = ex ⇒ f∗(y) = y log y − y với y > 0

• f (x) = x log x ⇒ f∗(y) = ey−1

• f (x) = − log x ⇒ f∗(y) = sup

1.2.3 Hàm lồi khả vi và cách nhận biết hàm lồi

Mục này đề cập tới các hàm lồi, hàm lõm khả vi Trước hết, với hàmmột biến số ta chú ý đến kết quả sau (xem [7], tr 44)

Định lý 1.8 ([7], tr 44) Hàm khả vi ϕ (t) là lồi trên khoảng (a, b) khi

và chỉ khi đạo hàm ϕ0(t) là một hàm không giảm Hàm hai lần khả vi

ϕ (t) là lồi trên (a, b) khi và chỉ khi đạo hàm bậc hai ϕ00(t) không âmtrên (a, b)

Ta cũng có định lý tương tự cho hàm lõm

Ta nhắc lại khái niệm vi phân của hàm nhiều biến số Cho S là mộttập khác rỗng trong Rn và cho hàm f : S → R Khi đó f gọi là khả vi

tại x ∈ int S nếu tồn tại véctơ gradient ∇f (x) và hàm số α : Rn → Rsao cho

f (x) = f (x) + ∇f (x)T (x − x) + kx − xk α (x,x − x) với mọi x ∈ S.với limx→xα (x, x − x) = 0 Hàm f gọi là khả vi trên tập mở S0 ⊆ S nếu

f khả vi tại mọi điểm thuộc S0 Cách biểu diễn f như trên gọi là khaitriển (chuỗi Taylor) bậc một của f tại điểm x (hay quanh x)

Để ý rằng nếu hàm f khả vi tại x thì có duy nhất một véctơ gradient

∇f (x) được cho bởi ∇f (x) = (∂f (x) /∂x1, , ∂f (x) /∂xn)T, trong đó

∂f (x) /∂xi là đạo hàm riêng của hàm f theo biến xi lấy tại điểm x vớimọi i = 1, , n

Định lý 1.9 ([2], tr 76) Nếu f là hàm lồi chính thường, khả vi tại

x ∈ domf thì ∂f (x) = {∇f (x)}, tức là ∇f (x) là véctơ dưới gradientduy nhất của f tại x

Ngược lại có thể chứng minh rằng nếu f có tại ¯x một véctơ dướigradient duy nhất thì f khả vi tại ¯x

Định lý sau đây nêu lên một tính chất đặc trưng của các hàm lồi khả

vi, giúp nhận biết các hàm nhiều biến là hàm lồi

a) Hàm f lồi trên C khi và chỉ khi [∇f (y) − ∇f (x)]T (y − x) ≥

0, ∀x, y ∈ C

b) Tương tự, hàm f lồi chặt trên C khi và chỉ khi[∇f (y) − ∇f (x)]T (y − x) > 0 với mọi x, y ∈ C, x 6= y

Mặc dù các Định lý 1.10 và 1.11 cho các đặc trưng cần và đủ của cáchàm lồi và lồi chặt, nhưng về mặt tính toán việc kiểm tra các điều kiệnnày rất khó khăn Có thể nhận được một đặc trưng đơn giản và dễ sửdụng hơn, ít ra là đối với các hàm bậc hai, nếu hàm đó hai lần khả vi.Định nghĩa 1.11 Cho tập khác rỗng S ⊆ Rn và f : S → R Khi

đó f gọi là khả vi hai lần tại x ∈ intS nếu tồn tại véctơ ∇f (x) và

ma trận đối xứng cấp n × n∇2f (x) , gọi là ma trận Hessian, và hàma(x, x − x) : Rn → R sao cho

f : Rn → R hai lần khả vi liên tục trên Rn ∇2f (x) là ma trận Hessiancác đạo hàm riêng cấp 2 của f tại x

a) Nếu ∇2f (x) nửa xác định dương với mọi x ∈ C (tức yT∇2f (x) y ≥

0, ∀y ∈ Rn ) hoặc nếu ∇2f (x) có mọi giá trị riêng không âm thì hàm flồi trên C

b) Nếu ∇2f (x) xác định dương với mọi x ∈ C (tức yT∇2f (x) y >

0, ∀y ∈ Rn, y 6= 0) hoặc nếu ∇2f (x) có mọi giá trị riêng dương thì hàm

f lồi chặt trên C

c) Nếu C là tập lồi mở và hàm f lồi trên C thì ∇2f (x) nửa xác địnhdương với mọi x ∈ C

1.2.4 Các phép toán bảo toàn hàm lồi

Các phương pháp thực tiễn để xác minh tính lồi của hàm:

1 Dùng định nghĩa (thường đơn giản nhờ thu hẹp hàm trên đườngthẳng)

2 Với hàm hai lần khả vi, chỉ ra ∇2f (x) < 0 (nửa xác định dương)

3 Chỉ ra f nhận được từ các hàm lồi đơn giản bằng các phép bảotoàn tính lồi của hàm: tổng với trọng số không âm, phép hơp với hàmafin, lấy max và sup theo từng điểm, lấy hàm hợp, tìm cực tiểu hoá, lấyphối cảnh Cụ thể:

a) Nhân với hệ số không âm: αf lồi khi f lồi vàα ≥ 0

b) Lấy tổng: f1+f2 lồi nếu f1, f2 lồi (mở rộng cho tổng vô hạn, lấy tíchphân); hợp với hàm afin: f (Ax + b) lồi nếu f lồi (A ∈ Rm×n, b ∈ Rm).Chẳng hạn:

+ Hàm chắn lôga đối với các bất đẳng thức tuyến tính

+ Chuẩn (bất kỳ) của hàm afin: f (x) = ||Ax + b||

c) Nếu f1, , fm là các hàm lồi thì f (x) = max {f1(x) , , fm(x)}cũng là hàm lồi Chẳng hạn:

+ Hàm tuyến tính từng khúc f (x) = maxi = 1, , m(aTi x + bi) là hàm lồi.+ Tổng của r thành phần lớn nhất của x ∈ Rn :

f (x) = x[1]+ x[2]+ + x[r]

là hàm lồi (x[i] là thành phần lớn thứ i của x), bởi vì

f (x) = max{xi1 + xi2 + + xir : 1 ≤ i1 < i2 < < ir ≤ n}.d) Nếu hàm f (x, y) lồi theo x với mỗi y ∈ S thì hàm g (x) =supy∈Sf (x, y) là hàm lồi, chẳng hạn: + Hàm tựa của tập C : sC(x) =supy∈CxTy là hàm lồi theo x

+ Khoảng cách tới điểm xa nhất trong tập C : f (x) = supy∈C ||x − y||.+ Giá trị riêng lớn nhất của ma trận đối xứng: với X ∈ Sn

λmax(X) = supkyk

2 = 1yTXy

e) Hàm hợp vô hướng: hợp của g : Rn → R và h : R → R:

f (x) = h (g (x)) Khi đó, hàm f lồi nếu g lồi, h lồi không giảm, hoặc g lõm, h lồi khôngtăng Chứng minh cho trường hợp n = 1 và g, h khả vi:

f00(x) = h00(g (x)) × g0(x)2 + h0(g (x)) × g00(x) Chẳng hạn, eg(x) là hàm lồi nếu g(x) lồi và 1/g(x) là hàm lồi nếu g(x)lõm và g(x) > 0

f) Hàm hợp véctơ: hợp của g : Rn → Rk

và h : Rk → R:

f (x) = h (g (x)) = h (g1(x) , g2(x) , , gk(x))

Khi đó, hàm f lồi nếu g lồi, h lồi không giảm theo mỗi biến, hoặc g lõm,

h lồi không tăng theo mỗi biến Chứng minh cho trường hợp n = 1và

là hàm lồi nếu mọi gi lồi

i) Cực tiểu hóa: Nếu hàm f (x, y) lồi theo (x, y) và C là một tập lồithì

< 0(nửa xác định dương), C  0(xác định dương)

Bằng cách tìm cực tiểu hàm f theo biến y ta nhận được hàm

Khi đó, g là hàm lồi nếu hàm f lồi Chẳng hạn:

+ f (x) = xTx là hàm lồi nên g (x, t) = xTx
/t là hàm lồi với t > 0 + f (x) = − log x là hàm lồi nên entropy tương đối g (x, t) = t log t −

t log x là hàm lồi trên R2++ (x > 0, t > 0)

+ Nếu hàm f lồi thì g (x) = cTx + d
f (Ax + b) / cTx + d

là hàmlồi trên {x : cTx + d > 0, (Ax + b) / cTx + d
∈ domf }.

Tóm lại, chương này đã nhắc lại một số khái niệm cơ bản về tập lồi,tập lồi đa diện và các phép toán bảo toàn tập lồi Nội dung chính củachương tập trung trình bày khái niệm hàm lồi, hàm lõm và các tính chất

cơ bản của các hàm này như tính liên tục, đạo hàm theo hướng, dưới

vi phân của hàm lồi, hàm liên hợp, hàm lồi khả vi và các tính chất đặctrưng của hàm lồi khả vi, giúp nhận biết các hàm lồi Cuối chương trìnhbày các phép toán bảo toàn hàm lồi

và mối quan hệ giữa chúng Nội dung của chương được tham khảo chủyếu từ các tài liệu [3], [4].

Định nghĩa 2.1 Cho hàm f : S → R , trong đó S là một tập lồi khácrỗng trong Rn Hàm f gọi là tựa lồi (quasiconvex) trên S nếu bất đẳngthức sau đúng với mọi x1, x2 ∈ S và mọi λ ∈ (0, 1)

f [λx1 + (1 − λ)x2] ≤ maxf x1
, f x2
Hàm f gọi là tựa lõm (quasiconcave) trên S nếu −f là tựa lồi trên S,tức là

f [λx1 + (1 − λ)x2] ≥ minf x1
, f x2
với mọi x1, x2 ∈ S và mọi λ ∈ (0, 1)

Một hàm vừa tựa lồi vừa tựa lõm gọi là hàm tựa đơn điệu monotone)

(quasi-Nhận xét 2.1 Từ định nghĩa suy ra mọi hàm lồi (lõm) đều tựa lồi (tựalõm)

Định nghĩa trên còn cho thấy hàm f là tựa lồi nếu mỗi khi f x2
≥

f x1
thì f x2
≥ f (x) với mọi x là tổ hợp lồi của x1 và x2 Như vậy,nếu giá trị hàm f tăng khi đi từ một điểm dọc theo một hướng nào đóthì f phải giữ nguyên không giảm khi tiếp tục đi theo hướng đó Hình2.1 cho ví dụ về hàm tựa lồi và tựa lõm