Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)

Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)

TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM

GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ

ÁP DỤNG VÀO BÀI TOÁN CHẤP NHẬN TÁCH

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN - 2015

TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM

GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ

ÁP DỤNG VÀO BÀI TOÁN CHẤP NHẬN TÁCH

Chuyên ngành: Toán ứng dụng

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

GS.TSKH LÊ DŨNG MƯU

THÁI NGUYÊN - 2015

Mục lục

1.1 Không gian Hilbert 4

1.1.1 Không gian tiền Hilbert 4

1.1.2 Không gian Hilbert 7

1.2 Tập lồi, hàm lồi 10

1.2.1 Tập lồi 10

1.2.2 Hàm lồi 15

2 Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách 24 2.1 Bài toán tối ưu lồi 24

2.2 Thuật toán chiếu đạo hàm 32

2.2.1 Toán tử chiếu lên tập lồi trong không gian Hilbert 32

2.2.2 Trình bày thuật toán 40

2.2.3 Định lý hội tụ 41

2.2.4 Ví dụ minh họa 43

2.3 Áp dụng vào bài toán chấp nhận tách 45

2.3.1 Phát biểu bài toán chấp nhận tách 45

2.3.2 Áp dụng phương pháp chiếu đạo hàm giải bài toán

chấp nhận tách 46

Danh mục các ký hiệu, các chữ viết tắt

H không gian Hilbert thực

[a, b] Đoạn đóng của tập hợp số thực với các đầu mút a, b và

a<b(a, b) Khoảng mở của tập hợp số thực với các đầu mút a, b và

Mở đầu

Tối ưu hóa được khởi nguồn như một ngành của Toán học, có rất nhiềuứng dụng trong quy hoạch tài nguyên, thiết kế chế tạo máy, điều khiển tựđộng, quản trị kinh doanh trong việc tạo nên các hệ hỗ trợ ra quyết địnhtrong quản lý và phát triển các hệ thống lớn

Chính vì vậy, các lĩnh vực của tối ưu hóa ngày càng trở nên đa dạng mangnhiều tên gọi khác nhau như Quy hoạch toán học, Điều khiển tối ưu, Vận trùhọc, Lý thuyết trò chơi Hiện nay môn học Tối ưu hóa được đưa vào giảngdạy trong nhiều chương trình đào tạo đại học cho các ngành khoa học cơbản Một trong những bài toán quan trọng của Tối ưu hóa là bài toán tối ưulồi Trong luận văn này ta sẽ xét bài toán tối ưu lồi trong không gian Hilbert

và một phương pháp cơ bản để giải bài toán này là phương pháp chiếu đạohàm Thuật toán chiếu đạo hàm trong nhiều đề tài luận văn khác còn có têngọi là thuật toán gradient là khá phổ biến trong lý thuyết tối ưu Tính thôngdụng của thuật toán này bắt nguồn từ phép chiếu của các điểm trên miềnràng buộc hoặc các miền ràng buộc xấp xỉ Phép chiếu này có thể được thựchiện dễ dàng trên máy tính với một số cấu trúc của miền ràng buộc như hìnhhộp, hình cầu, thậm chí là đa diện Thông qua đó, ta nghiên cứu sâu hơn vềphương pháp chiếu đạo hàm trong việc giải bài toán chấp nhận tách cũng làmột bài toán có nhiều ứng dụng và đang được nhiều người quan tâm nghiêncứu

Cho H là một không gian Hilbert thực với tích vô hướng h., i và chuẩn

k k tương ứng Cho D là một tập lồi, đóng, khác rỗng trong H và f : D →

R lồi trên D Trong luận văn này ta sẽ xét hai bài toán:

Bài toán thứ nhất là bài toán tối ưu lồi: Tìm

x∗ ∈ D : f (x∗) ≤ f (x) ∀x ∈ Dhoặc viết tương đương min{f(x) : x ∈ D}

Bài toán thứ hai là bài toán chấp nhận tách:

Cho C ⊂ Rn và D ⊂ Rm là các tập lồi đóng, khác rỗng Tìm

x∗ ∈ C : Ax∗ ∈ Dtrong đó A : Rn

→ Rm là toán tử tuyến tính liên tục

Mục đích của luận văn là:

- Tổng hợp lại kiến thức cơ bản nhất về bài toán tối ưu lồi trong không gianHilbert

- Trình bày phương pháp chiếu đạo hàm giải bài toán tối ưu lồi trong khônggian Hilbert

- Áp dụng phương pháp chiếu đạo hàm vào bài toán chấp nhận tách

Nội dung của luận văn gồm hai chương:

Chương 1: Kiến thức chuẩn bị Chương này tác giả tập trung trình bày

lại kiến thức cơ bản về không gian Hilbert và giải tích lồi

Chương 2: Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách Chương này tác giả trình bày hai thuật

toán để giải bài toán tối ưu lồi và bài toán chấp nhận tách

Luận văn này được hoàn thành tại trường Đại học Khoa học, Đại họcThái Nguyên dưới sự giúp đỡ và hướng dẫn tận tình của GS.TSKH Lê DũngMưu Qua đây, tác giả xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới Thầy,người đã dành nhiều thời gian và tâm huyết để hướng dẫn và tạo điều kiệncho tác giả trong suốt thời gian làm luận văn

Trong quá trình học tập và làm luận văn, từ bài giảng của các Giáo sư,Phó Giáo sư công tác tại Viện Toán học, Viện Công nghệ Thông tin, các thầy

cô trong trường Đại học Khoa học, Đại học Thái Nguyên, tác giả đã trau dồithêm rất nhiều kiến thức phục vụ cho việc nghiên cứu và công tác của bảnthân Tác giả xin gửi lời cảm ơn chân thành đến các thầy cô

Cuối cùng tác giả xin gửi lời cảm ơn tới gia đình, bạn bè, lãnh đạo đơn

vị công tác và đồng nghiệp đã luôn động viên, giúp đỡ và tạo điều kiện tốtnhất cho tác giả trong quá trình học tập, nghiên cứu và làm luận văn

Thái Nguyên, tháng 12 năm 2015

Học viên

Đào Thu Thủy

Chương 1

Kiến thức chuẩn bị

Trong chương này, ta sẽ trình bày lại một số kết quả sẽ được dùng chochương sau Đó là kiến thức cơ bản về không gian Hilbert và giải tích lồi.Nội dung trong chương được trích dẫn chủ yếu từ tài liệu tham khảo [1], [2],[3], [4], [5], [6]

1.1 Không gian Hilbert

Trong toán học, không gian Hilbert (Hilbert Space) là một dạng tổngquát hóa của không gian Euclid mà không bị giới hạn về vấn đề hữu hạnchiều Đó là một không gian vectơ có tích vô hướng Hơn nữa, nó thỏa mãnmột yêu cầu nữa là tính đầy đủ để chắc chắn rằng giới hạn là tồn tại khicần làm các định nghĩa khác nhau trong tính toán vi tích phân dễ dàng hơn.Không gian Hilbert đóng vai trò quan trọng trong việc hình thức hóa toánhọc cơ học lượng tử Các không gian Hilbert được đặt tên theo David Hilbert,người nghiên cứu chúng trong ngữ nghĩa của phương trình tích phân

1.1.1 Không gian tiền Hilbert

Định nghĩa 1.1 Không gian tiền Hilbert (hay còn gọi là không gian Unita

hoặc không gian với tích vô hướng) là một cặp (H, h., i); trong đó: H là

không gian tuyến tính thực và h., i là ánh xạ được xác định như sau:

h., i : H × H → R(x, y) 7→ hx, yi Với hx, yi là tích vô hướng của hai vectơ x và y thỏa mãn các điều kiệnsau:

Khi đó không gian này là một không gian tiền Hilbert và thường kí hiệu là

C[0,1]L

Dưới đây là một số định lý quan trọng trong không gian tiền Hilbert

Định lí 1.1 Cho (H, h., i) là không gian tiền Hilbert Khi đó,

kxk = phx, xi hay kxk 2 = hx, xi
, ∀x ∈ H

là một chuẩn trên H hay chuẩn sinh bởi tích vô hướng.

Nhận xét 1.1 (H, k.k ); kxk = phx, xi , ∀x ∈ H là không gian định

chuẩn

Định lí 1.2 (Bất đẳng thức Schwarz) Cho (H, h., i) là không gian tiền

Hilbert Với ∀x, y ∈ H ta luôn có bất đẳng thức sau:

|hx, yi| ≤ kxk kyk

|hx, yi|2 ≤ hx, xi hy, yi

Dấu “ = ” xảy ra khi và chỉ khi x, y phụ thuộc tuyến tính.

Định lí 1.3 (Điều kiện bình hành) Cho (H, h., i) là không gian tiền

Hilbert Với ∀x, y ∈ H ta suy ra chuẩn trong một không gian tiền Hilbert phải thỏa mãn điều kiện:

kx + yk2 + kx − yk2 = 2

kxk2 + kyk2

.Đẳng thức này có nghĩa là: tổng bình phương các cạnh của một hình bìnhhành bằng tổng bình phương của hai đường chéo, cho nên thường gọi là điềukiện bình hành

Định lí 1.4 Giả sử (H, k.k ) là một không gian định chuẩn trên trường R

trong đó đẳng thức bình hành nghiệm đúng với ∀x, y ∈ H:

kx + yk2 + kx − yk2 = 2

kxk2 + kyk2



h., i là một tích vô hướng trên H và ta có kxk 2 = hx, xi ∀x ∈ H.

Nhận xét 1.2 - Từ định nghĩa và các định lý trên ta thấy rằng: tích vô hướng

hx, yi là một hàm liên tục đối với x và y Các điều kiện 2), 3) có nghĩa là:

hx, yi là một phiếm hàm song tuyến tính trên H và bất đẳng thức Schwarzcho thấy phiếm hàm này bị chặn

- Vì một không gian tiền Hilbert là không gian định chuẩn, nên mọi kháiniệm và sự kiện về không gian định chuẩn đều áp dụng cho nó Nói riêngmột không gian tiền Hilbert có thể không đầy đủ hay đầy đủ

- Một không gian tiền Hilbert không đủ bao giờ cũng có thể bổ sung chothành không gian Hilbert

1.1.2 Không gian Hilbert

Định nghĩa 1.2 Nếu (H, h., i) là không gian tiền Hilbert và đầy đủ đối với

chuẩn sinh từ tích vô hướng thì được gọi là không gian Hilbert

Cũng tương tự như không gian tiền Hilbert, với trường R ta có khônggian Hilbert thực Từ nay, trong luận văn này ta thống nhất kí hiệu H là mộtkhông gian Hilbert thực

Một số ví dụ về không gian Hilbert

1) Rn là không gian Hilbert thực với tích vô hướng

)

Ta đã biết l2 là không gian Banach với chuẩn kxk =

ta có:

2

≤ kxk2kyk2 < +∞

Dễ kiểm tra rằng hx, yi = P∞

n=1

xnyn xác định một tích vô hướng trong l2 và

nó sinh bởi chuẩn kxk =

4) Cho (X, A, µ) là một không gian độ đo và E ∈ A Xét không gian

E

|f |2dµ

12.Hơn nữa, với f, g ∈ L2(E, µ), từ bất đẳng thức Holder về tích phân, ta có:



Z

< +∞

Ta dễ dàng kiểm tra được hf, gi = R

E

f gdµ xác định một tích vô hướng trong

L2(E, µ)và L2(E, µ) là không gian Hilbert thực

Một số định lý quan trọng trong không gian Hilbert

Định lí 1.5 Cho H là một không gian Hilbert Khi đó:

h., i : H × H → R

là một hàm liên tục.

Định nghĩa 1.3 Hai vectơ x, y trong không gian Hilbert H được gọi là trực

giao với nhau nếu hx, yi = 0, kí hiệu x⊥y

Định nghĩa 1.4 Một hệ {en}các phần tử của không gian Hilbert H gọi là

hệ trực chuẩn nếu hei, eji = δij

0 khi i 6= j gọi là ký hiệu Kronecker.

Nhận xét 1.3 Nếu hệ {en} là một hệ trực chuẩn thì với mọi x ∈ H số

ξi = hx, eii gọi là hệ số Fouier của x đối với ei và chuỗi P∞

i=1ξiei gọi làchuỗi Fouier (hay khai triển Fouier) của x theo hệ {en}

Định lí 1.6 (Bất đẳng thức Bessel) Cho hệ {en} là một hệ trực chuẩn trong không gian Hilbert H Khi đó với mọi x ∈ H thì:

X∞ i=1ξi2 ≤ kxk2

Định lí 1.7 Cho hệ {en} là một hệ trực chuẩn trong không gian Hilbert H Khi đó với mọi x ∈ H thì chuỗi FouierP∞

với Lin{x} là không gian con sinh bởi x.

Định lí 1.10 (Đẳng thức Pythagore) Nếu {x1, x2, , xn} là hệ trực giao trong không gian Hilbert H thì

Định lí 1.11 Giả sử {xn} là hệ trực giao trong không gian Hilbert H Khi

Định lí 1.12 (Định lý Riesz – Fischer) Cho {en} là một hệ trực chuẩn đầy

đủ trong không gian Hilbert H Nếu một dãy số {ξ} thỏa mãn điều kiện

∞

P

i=1

ξi2 < ∞ thì sẽ có một vectơ duy nhất x ∈ H nhận các ξi làm hệ số Fourier và

Định nghĩa 1.7 Một tập D được gọi là tập affine nếu D chứa mọi đường

thẳng đi qua hai điểm bất kì x, y ∈ D, tức là:

∀x, y ∈ D ⇒ λx + (1 − λ)y ∈ D

Định lí 1.13 Tập D 6= ∅ là tập affine khi và chỉ khi nó có dạng D = M + a

với M là một không gian con của H và a ∈ D.

Không gian M được xác định duy nhất và được coi là không gian con song song của D (M//D).

Thứ nguyên (hay số chiều) của một tập affine D, ký hiệu dimD, là số chiều của không gian con song song với nó Quy ước dim ∅ = −1.

Định nghĩa 1.8 Siêu phẳng trong không gian H là một tập hợp các điểm có

dạng x ∈ H : aTx = α , trong đó a ∈ H là một vectơ khác 0 và α ∈ R.Ngược lại, một tập bất kỳ có dạng trên là một siêu phẳng trong H

Định nghĩa 1.9 Cho a ∈ H là một vectơ khác 0 và α ∈ R.

Tập H1 = x ∈ H : aTx ≥ α và H2 = x ∈ H : aTx ≤ α được gọi làcác nửa không gian đóng

Tập H1 = x ∈ H : aTx > α và H2 = x ∈ H : aTx < α được gọi làcác nửa không gian mở

Định nghĩa 1.10 Tập D được gọi là lồi nếu với mọi a, b ∈ D và mọi 0 ≤

λ ≤ 1ta có:

(1 − λ)a + λb ∈ D

Nghĩa là: tập D được gọi là một tập lồi nếu nó chứa trọn đoạn thẳng nốihai điểm bất kỳ thuộc nó

Một số ví dụ về tập lồi.

1) Các tập affine nói riêng là siêu phẳng đều là các tập lồi

2) Các nửa không gian đóng, các nửa không gian mở là các tập lồi

3) Tập rỗng là tập lồi

4) Tập gồm duy nhất một điểm là tập lồi

5) Toàn bộ không gian là tập lồi

6) Các tam giác, tứ giác lồi, hình vuông, hình tròn trong mặt phẳng là cáctập lồi

7) Hình cầu tâm a, bán kính r:

B(a; r) = {x ∈ H : kx − ak ≤ r} ; B(a; r) = {x ∈ H : kx − ak < r}

là các tập lồi

Một số tính chất của tập lồi

1) Giao của một họ bất kỳ các tập lồi là một tập lồi

2) Nếu C, D là các tập lồi thì C + D, C − D, αC + βD cũng là các tập lồivới mọi α, β ∈ R

Định nghĩa 1.11 Ta nói x là tổ hợp lồi của các điểm (vectơ) x1, x2, , xknếu

Nón D gọi là nón lồi nếu D là tập lồi.

Như vậy, một tập lồi D là nón lồi khi và chỉ khi nó có tính chất sau:

Các định lý tách tập lồi.

Định lý tách các tập lồi rất hay được dùng trong lý thuyết tối ưu hiện đại

và nó có liên hệ mật thiết với phép chiếu một điểm trên một tập lồi

Định nghĩa 1.14 Cho hai tập C và D, ta nói rằng siêu phẳng

H = {x : ht, xi = α} , t 6= {0} ; α ∈ R

i) tách hai tập C và D nếu ht, ai ≤ α ≤ ht, bi , ∀a ∈ C, b ∈ D

ii) tách chặt C và D nếu ht, ai < α < ht, bi , ∀a ∈ C, b ∈ D

iii) tách mạnh C và D nếu inf

Định lí 1.14 (Định lý tách 1) Cho C và D là hai tập lồi khác rỗng trong H

sao cho C ∩ D 6= ∅ Khi đó, có một siêu phẳng tách C và D, nghĩa là tồn tại vectơ t ∈ H(t 6= 0) và một số α ∈ R sao cho

inf

x∈Cht, xi ≥ α ≥ sup

x∈C

ht, yi

Định lí 1.15 (Định lý tách 2) Cho C và D là hai tập lồi đóng khác rỗng

trong H sao cho C ∩ D 6= ∅ Giả sử có ít nhất một trong hai tập này là compăc Khi đó hai tập C và D có thể tách mạnh bởi một siêu phẳng, nghĩa

là tồn tại một vectơ t ∈ H(t 6= 0) và một số α ∈ R sao cho:

Chứng minh. Giả sử (1.2) có một nghiệm y nào đó Nếu như Ax ≥ 0 thì từ

ATy = a, nhân tích vô hướng với x, và do Ax ≥ 0 y ≥ 0, ta có aTx =

yTAx ≥ 0 Vậy (1.1) không thể có nghiệm

Bây giờ ta giả sử hệ (1.2) không có nghiệm Lấy tập

C = x |∃ y ≥ 0 : ATy = x

Hiển nhiên C là tập lồi đóng và 0 ∈ C Do (1.2) không có nghiệm nên

a /∈ C Theo định lý tách mạnh, tồn tại p 6= 0 và một số α ∈ R sao cho

pTa < α < pTx với mọi x ∈ C Do 0 ∈ C nên α < 0 Thay x = ATy với

y ≥ 0 ta viết được α ≤ pTATy = yTAp

Chú ý rằng nếu x ∈ C thì ξx ∈ C với mọi ξ ≥ 0, vì từ x = ATy có

Nhận xét 1.5 - Cả hai định lý tách chỉ nêu các điều kiện đủ để tách tập lồi.

- Nếu tập C là một nón thì cả hai định lý tách ta có thể lấy α = 0

- Định lý tách 2 sẽ không còn đúng nếu thiếu giả thiết “ít nhất một trong haitập này là compăc”

- Lý thuyết tách các tập lồi được dùng để chứng minh nhiều sự kiện cơ bảncủa qui hoạch toán học, lý thuyết trò chơi và kinh tế toán Nói riêng nó được

áp dụng để chứng minh các định lý đối ngẫu trong qui hoạch lồi, định lýminimax tổng quát trong lý thuyết trò chơi ma trận, để chứng minh sự tồntại tình thế cân bằng trong các mô hình kinh tế cạnh tranh và nhiều vấn đềkhác

ii) lồi chặt trên D nếu

f (λx + (1 − λ)y) < λf (x) + (1 − λ)f (y), ∀x, y ∈ D, λ ∈ (0, 1) iii) lồi mạnh với hệ số β > 0 trên D nếu với ∀x, y ∈ D, λ ∈ (0, 1) ta có

f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y) − λ(1 − λ)β kx − yk2.Hàm f là lõm (lõm chặt, lõm mạnh) nếu −f là hàm lồi (lồi chặt, lồi mạnh)

Nhận xét 1.6 - Hiển nhiên, một hàm lồi chặt là lồi nhưng điều ngược lại

gọi là hàm tựa của D

3) Hàm khoảng cách Cho D lồi đóng, hàm khoảng cách đến tập D được

định nghĩa bởi

dD(x) = min

y∈D kx − yk

4) Hàm chuẩn Giả sử x = x1, , xn
.

f (x) := kxk1 := max

i |xi| ,hoặc

f (x) := kxk2 := x21 + x2n

12

5) Hàm mặt cầu Cho một mặt cầu S := {x ∈ H/ kxk = 1} và là một hàm

bất kỳ g : S → H Định nghĩa hàm f như sau:

Hàm này được gọi là hàm mặt cầu Dễ thấy rằng f là một hàm lồi

6) Hàm tổng chập Cho f1, f2, , fm là các hàm lồi chính thường trên H.Khi đó hàm f được xác định bởi

epif = {(x, a) ∈ D × R : f (x) ≤ α}

được gọi lần lượt là miền hữu dụng và tập trên đồ thị của hàm f

Nếu domf 6= ∅ thì ta nói hàm f là chính thường

Định lí 1.17 Cho hàm bất kỳ f : D → R ∪ {+∞}, hàm f lồi trên D khi và

là tập lồi.

Tương tự, nếu f là một hàm lõm trên thì các tập mức trên

Dβ = {x : f (x) > β} ; Dβ = {x : f (x) ≥ β}

là tập lồi.

Định lí 1.20 Hàm f(x), x ∈ H là hàm lồi khi và chỉ khi hàm một biến số

ϕ(λ) ≡ f (x + λd) là hàm lồi theo λ với mỗi x, d ∈ H.

Một hàm lồi có thể không liên tục tại một điểm biên trên miền xác địnhcủa nó, tuy nhiên nó liên tục tại mọi điểm trong của tập đó theo định lý sau:

Định lí 1.21 Một hàm lồi f xác định trên tập lồi D thì f liên tục tại mọi điểm

trong của D.

Định lí 1.22 Hàm lồi chính thường f trên liên tục tại mọi điểm trong của

miền hữu dụng của nó (f liên tục trên int(domf)).

Nhận xét 1.7 Một hàm lồi chính thường chỉ có thể gián đoạn tại những điểm

biên của miền hữu dụng của nó

Ví dụ 1.2 Xét hàm một biến số xác định trên tập D = [0, +∞) có dạng

f (x) = ex với mọi x > 0 và f(0) = 2 Dễ thấy epif là tập lồi nên f là hàmlồi trên D Hàm f liên tục tại mọi điểm trong x > 0 và gián đoạn tại điểmbiên x = 0 Tại x = 0 hàm f nửa liên tục trên

Định lí 1.23 Giả sử f là hàm lồi chính thường trên D Khi đó các điều kiện

sau đây là tương đương:

Tính chất sau đây đặc trưng cho một hàm lồi khả vi và thuận lợi để kiểmtra tính lồi của một hàm số.

Định lí 1.24 Cho f : D → R là một hàm khả vi trên tập lồi mở D Điều

kiện cần và đủ để f lồi trên D là

f (x) + h∇f (x), y − xi ≤ f (y), ∀x, y ∈ D

Nếu

f (x) + h∇f (x), y − xi < f (y), ∀x, y ∈ D; x 6= y

thì hàm f lồi chặt trên D.

Định lí 1.25 Cho f : D → H là một hàm khả vi trên tập lồi mở D Nếu f

hai lần khả vi liên tục trên D và ∇2f (x) là ma trận Hessian các đạo hàm riêng cấp 2 của f tại x thì:

i) ∇2f (x) nửa xác định dương với mỗi x ∈ D ( 2f (x)y ≥ 0, với mọi

y ∈ H) hoặc nếu ∇2f (x) có mọi giá trị riêng không âm thì hàm f lồi trên

D

ii) ∇2f (x) xác định dương với mỗi x ∈ D ( 2f (x)y > 0 với mọi

y ∈ H\ {0}) hoặc nếu ∇2f (x) có mọi giá trị riêng dương thì hàm f lồi chặt trên D.

Tính khả vi của hàm lồi giữ vai trò quan trọng trong các phương pháp tối

ưu hóa Lớp các hàm lồi có những tính chất khả vi rất đẹp mà các lớp kháckhông có Giả sử f : H → R ∪ {+∞} là hàm lồi Ta có khái niệm sau:

Định nghĩa 1.17 Cho hàm f : H → E được gọi là nửa liên tục dưới tại

một điểm x, nếu như với mọi dãy xk, xk → x ta có:

lim inf f (xk) ≥ f (x)

Hàm f được gọi là nửa liên tục trên tại một điểm x nếu ˘f nửa liên tục dướitại x Hay mọi dãy xk , xk → x thì lim sup f(xk) ≤ f (x).

Hàm f được gọi là liên tục tại x nếu như nó vừa nửa liên tục trên vừa nửaliên tục dưới tại x

Định nghĩa 1.18 Cho hàm lồi chính thường f và ε > 0 Một vectơ w ∈ H

được gọi là một ε– dưới gradient của f tại

Hàm f được gọi là khả dưới vi phân tại x0 nếu ∂f(x0) 6= ∅

Ví dụ 1.3 Cho D là một tập lồi, khác rỗng của không gian H Xét hàm chỉ

Chứng tỏ ∂δD(x0) = ND(x0), ∀x0 ∈ D

Vậy dưới vi phân của hàm chỉ D tại một điểm thuộc D là nón pháp tuyếnngoài của D tại x0.

Cũng có trường hợp tồn tại những điểm x∗ tại đó f không có dưới viphân, nghĩa là tập ∂f(x∗) có thể là tập rỗng Tuy nhiên, đối với hàm lồi ta

có định lý sau:

Định lí 1.26 Một hàm lồi chính thường f có dưới vi phân khác rỗng tại mỗi

điểm x0 ∈ int(domf ) và ∂f (x0) là một tập lồi đóng.

Nhận xét 1.8 Liên hệ giữa dưới vi phân và đạo hàm: theo định nghĩa, hàm

f khả vi tại điểm x0 nếu tồn tại vectơ ∇f(x0) (vectơ gradient của f tại x0)sao cho:

f (x0 + d) = f (x0) + 0), d + o kdk Điều này tương đương với:

Định lí 1.27 Nếu f là hàm lồi chính thường, khả vi tại điểm x0 ∈ domf thì

∂f (x0) = ∇f (x0) , tức là ∇f (x0) là vectơ dưới gradient duy nhất của f tại x0.

Nhận xét 1.9 Ta còn có thể chứng minh được điều ngược lại: nếu f có tại

x0 một vectơ dưới gradient duy nhất thì f khả vi tại x0 Như vậy, khái niệmdưới gradient là sự mở rộng của khái niệm gradient (tại những điểm ở đóhàm không khả vi)

Định nghĩa 1.19 Ta gọi đạo hàm theo hướng d 6= 0 của một hàm số f

(không nhất thiết là lồi) tại điểm x là đại lượng

f0(x, d) := lim

λ→0 +

f (x + λd) − f (x)

Định lí 1.28 Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D và mọi

d 6= 0 sao cho x + d ∈ D, đạo hàm theo hướng d của f tại x luôn tồn tại và

nghiệm đúng

f0(x, d) ≤ f (x + d) − f (x)

Ngoài ra với mỗi điểm x cố định, f0(x, ) là một hàm lồi trên tập lồi {d; x + d ∈ D}.

Định lí 1.29 Nếu f là hàm lồi chính thường thì f có đạo hàm theo mọi

hướng tại mọi điểm x0 ∈ domf và f (x0 + d) − f (x0) ≥ f0(x0, d)

Định lý sau đây nêu mối liên hệ giữa dưới vi phân và đạo hàm theo

hướng

Định lí 1.30 Nếu f là một hàm lồi chính thường và x0 ∈ domf thì w ∈

∂f (x0) khi và chỉ khi

hw, di ≤ f0(x0, d), ∀d 6= 0

Chương 2

Phương pháp chiếu đạo hàm giải bài toán tối

ưu lồi và áp dụng vào bài toán chấp nhận tách

Trong chương này, ta nhắc lại một số kiến thức quan trọng về toán tửchiếu trong không gian Hilbert, định nghĩa và các tính chất cơ bản về phépchiếu trong không gian Hilbert, phép chiếu khoảng cách lên tập lồi đóng.Dựa vào các kiến thức quan trọng đó ta sẽ trình bày hai thuật toán để giải bàitoán tối ưu lồi và bài toán chấp nhận tách Các nội dung dưới đây được tríchchủ yếu từ tài liệu tham khảo [3], [4], [5], [7], [8]

2.1 Bài toán tối ưu lồi

Định nghĩa 2.1 Cho D ⊂ H là tập lồi đóng f : D → H lồi trên D Bài

toán tối ưu lồi là bài toán tìm:

x∗ ∈ D : f (x∗) ≤ f (x) ∀x ∈ D (P)hoặc viết tương đương

nhận được.

Vectơ x∗ ∈ D sao cho f(x∗) ≤ f (x) ∀x ∈ D gọi là một phương án (lời giảihay nghiệm) tối ưu của bài toán và f(x∗) gọi là giá trị cực tiểu hay giá trị tối

ưu của f trên D, thường được ký hiệu là fmin

Nhận xét 2.1 Do min {f(x) : x ∈ D} = −max {−f(x) : x ∈ D} nên bài

toán tìm cực tiểu có thể đưa về bài toán tìm cực đại và ngược lại

Định nghĩa 2.2 Điểm x∗ ∈ D được gọi là một điểm cực tiểu địa phươngcủa f trên D nếu có ε > 0 sao cho

Chú ý: Đối với hàm f tùy ý trên D, ta ký hiệu tập tất cả các điểm cực tiểu

(cực đại) toàn cục của f trên D là Argminx∈Df (x) (Argmaxx∈Df (x))

... 2

Phương pháp chiếu đạo hàm giải toán tối< /b>

ưu lồi áp dụng vào toán chấp nhận tách< /b>

Trong chương này, ta nhắc lại số kiến thức quan trọng tốn t? ?chiếu khơng... tính chất phépchiếu không gian Hilbert, phép chiếu khoảng cách lên tập lồi đóng.Dựa vào kiến thức quan trọng ta trình bày hai thuật tốn để giải bàitoán tối ưu lồi toán chấp nhận tách Các nội dung... dương hàm f lồi chặt D.

Tính khả vi hàm lồi giữ vai trị quan trọng phương pháp tối

ưu hóa Lớp hàm lồi có tính chất khả vi đẹp mà lớp kháckhơng có Giả sử f : H → R ∪ {+∞} hàm lồi