Khóa luận tốt nghiệp Toán tin: Các phương pháp proximal gradient và ứng dụng

Tóm tắt nội dungXót bài toán tối ưu có ràng buộc sau min fx Néu f là ham khả vi, có rat nhiễu phương pháp để giải quyết bài toán này, có thé kể đến nh Gradient Descent, Linear Regression

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHÔ HO CHÍ MINH

Khoa Toan - Tin hoc

Sp DAI HOC

TP HO »P MINH

GRADIENT VA UNG DUNG

KHOA LUAN TOT NGHIEP DAI HOC

Pham Manh Chinh

NGUOI HUONG DAN KHOA HOC:

TS PHAM DUY KHANH

THANH PHO HO CHi MINH - 2022

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHAM THÀNH PHO HO CHÍ MINH

Khoa Toán - Tin học

Lời cam đoan

Tai xin cam đoan rằng luận văn tốt nghiệp này được chính tôi thye hiện Các kết

quả trong luận văn là đo tối thực hiện và không sao chép bat kì luãn văn nào khác.

Các thông tin trích dan trong luận văn này déu được chỉ rõ nguồn gốc Trong quá trìnhthực hiện luận van, tôi đã kế thừa những kết quả trong nhiền bai báo, sách tham khảo,

khóa hoc online, với sự trần trọng và biết ơn T6i xin chịu toàn bộ trách nhiệm về

lời cam đoan của mình.

Sinh viên thực hiện

Phạm Manh Chính

Lời cảm ơn

Dau tiến, tôi xin gửi lời cảm ơn chân thành, sâu sắc nhất đến thay Pham Duy

Khánh Thay đã giúp tôi lay lai cảm giác về môn toán Thay cũng đã tin tưởng nhân,

giao dé tài và hướng din téi trong quá trình làm luận văn mặc dù sức hoc toi khongtốt, tạo điển kiện cho tôi được làm và hoàn thành khóa luân này Tôi cũng xin gửi lờicảm dn các quý thay cô đã day dé, truyền cảm hứng cho tôi trong suốt thời gian học

phổ thông và đại học, các thay cô ở trường hè tối wa của Dai học Sư pham Tp.HCM.

Xin cảm ơn những nhân xét, góp ý của quý thầy cé trong Hỏi đồng chấm luãn văn,giúp tôi hoàn thiện hơn bài luận này cũng như kiến thức của bản thân Xin gửi lời cắm

ơn đến các cá nhân, tập thể mà tôi đã tham khảo và trích dẫn sản phẩm của ho.

Töi xin gi lời cảm ơn đến gia đình, người than, các anh chị, bạn bè, người quen

đã ủng hộ, giúp đã tôi trong quá trình hoc tap và hoàn thành luân văn này.

Khong có những sự tin tưởng, đồng viên, giúp đỡ này, töi chắc chấn khong thể cóđược ngày hôm nay Xin chân thành cam on lin nữa và chúc mọi điều tốt lành đến

moi Người.

Sinh viên thực hiện

Pham Manh Chinh

Tóm tắt nội dung

Xót bài toán tối ưu (có ràng buộc) sau

min f(x)

Néu f là ham khả vi, có rat nhiễu phương pháp để giải quyết bài toán này, có thé

kể đến nh Gradient Descent, Linear Regression trong học may, Tuy nhién nếu ƒ

không khả vi thì sao?

Khi dé, người ta "tách "hàm f thành hai hàm ø và k, bài toán lúc này sẽ là

ming f(z) = g{x) + h(x)}

Với hai giả thiết quan trong là ø kha vi cdn h không kha vi Lúc này, xuất hiện các

khái niém nh Subgradients, ánh xạ proximal, Và sự ra đời của các phương pháp

giải bài toán tôi wa mới

Luận văn nay giới thiêu về hai phương pháp là proximal gradient, proximal gradient

cải biên và ứng dụng của nó vào bài toán bổ sung ma trân (matrix completion) dùng

trong “bài toán Netllix"và chỉnh sửa ảnh nhiễu.

ñ xua ? trims ? ? ? eee

? trrre ? ? erates ? eee

ñ ? ? > tikes erie ? eee

i ? ttđtớt whet ? ? wears eee

Mục lục

Lời cam đoan

Lời cảm ơn

Tóm tắt nội dung

1 KIÊN THỨC CHUAN BỊ

11 Khái niêm mở dau

12 Subgradients

1.2.1 Cac phép toán subgradient:

1.2.2 Các điều kiện téium

Các điều kiện toi tai không ràng buộc Các điểu kiện tối uu có ràng buộc 2 Phương pháp Proximal Gradient 2.1 Anh xa proximal 2.1.1 Hàm lênhợp

212 Anh xa proxmal

2.1.3 Phépchiu

2.1.4 Các ham tựa, chuẩn, khoảng cách

2.2 Gidi thiệu phương pháp proximal gradient.

2.3 Phương pháp proximal với bước nhảy cỗ định

ix

iii

Vii

6 9

10

11

11

lãi 14

19

20

2.4 Phương pháp proximal gradient với bước nhảy xác định bằng line search 28

3 Các phương pháp proximal gradient cải biên 31

3.1 Phương phấp NosteTOV oe va 32

3.2 Các yếu tố giải tích với bước nhảy có định 34

3.3 Các yếu tô giải tích với phương pháp line search 403.4 Một số phương pháp proximal gradient cài biên 41

SAD VEISTA uc: co co no cata ea D ng Bị bình awe wee 42

4 Minh hoa số cho các phương pháp 43

4.1 Bài toán bố sung ma tran (Matrix completion) 43

42 Chỉnh sửa ảnh nhiễu es 46

4.3 Dự đoán đánh giá phùủn - Q Q Q QC 48 a4) (NhSnxGbic ccc acc caaneaaaaaaeaeaanenaeanenaanas 50

4.4.1 Khởi dau tốt (warm start) 2 Q c Q Q cv so 53

442 Gipibstigi 2.2.42 :c cac c5 b2 6c 8285 nang Cang 53

Tai liệu tham: khảo 54

Danh sách ký hiệu

N Tap hợp các số tự nhién

R* Tap hợp các số thực khác 0

E Không gian véc-td Euclide.

E’ Không gian véc-to Euclide đối ngẫu

R Tap hợp các số thực mở rộng.

R, Tap hợp các số thực không âm

R, Tap hợp các số thực dương.

R» Không gian véc-tơ n chiéu trên tập số thực

St Không gian các ma trận đối xứng xác định đương.

S1 Không gian các ma trận đối xứng nửa xác định đương.

int((Œ) Phan trong của tập C

ri(C) Phan trong tương đổi của tap C

xi

Chương 1

KIÊN THỨC CHUẨN BỊ

1.1 Khái niệm mở đầu

Định nghĩa 1.1.1 ([6], Chuẩn Frobenius) Trong không gian R”*" được trang bịmột tích v6 hướng, chuan Frobenius của một ma trận được định nghĩa là

>> AR, Aek"”

ta( jad

Alle = v'Tr(A74) =

Ta giới thiện vẻ định nghĩa chuẩn đối ngẫu của một chuẩn |Ì:|| trên E nh sau

lly], = sup x”y

xf<i

Ngoài ra, chuẩn Euclide JA chuẩn tự đối ngẫu, nghĩa là ||-|' = ||-|',

Bồ đề 1.1.2 ((6], Bat đẳng thức Cauchy-Schwarz) Goi E là không gian véc-tơ

tích trong được trang bi một chuẩn Í|-|| Khi đó

|y*x| <llyll.Ixl, Wy e E*, x E (11)

Dinh nghĩa 1.1.3 ({13), Hàm nhận giá trị thực mở rộng) Te định nghĩa R =

RU {oo} là tập số thực mở rộng Hàm ƒ: C 4 R được gọi là hàm nhận giá trị thực

mé rộng.

Với a € R, ta có một vài quy ude sau:

w

® a2 = to e a-Í—%) = —%, với mọi a > 0

® 4- S =, Với Mọi œ > 0 ® 2-O =—{<, Với mola < Ú

to Chương 1 KIÊN THUC CHUAN BI

ea: (co) = %, Với moi a < 0 «0-:<=(0

Khi đó miễn hữu hiệu của hàm f là domf := {x € Œ | f(x) < co}.

Hàm nhận giá trị thực mở rộng f: E + Š được gọi là chính thường nếu domf # @ và

f(x) > -x, Vx€E.

Định nghĩa 1.1.4 (Í6], Hàm tựa) Cha C € 8 là tập khác rỗng Hàm tựa của tập

€ là ham ƒ: EB cho bởi

f(x} = supxf®y

yec

Dinh nghĩa 1.1.5 ([13], Hàm lỗi) Hàm ƒ: C => 5 xác đỉnh trên tap lài C CR"được gọi là lỗi (trên C) nền

ƒ(Ax+ (1 = À)y) < Af(x) + (1= À)ƒ(Y) Yx,y € CLA € [0,1]

Dinh lý 1.1.6 ((13]., Đặc trưng cắp một của hàm lỗi) Cho ƒ: C + B là một

ham khả vi liên tục xác định trên mật tập lỗi C C TW" Khi đó ham ƒ lỗi trên C khi và

chỉ khi

Sly) > ƒ(x) + VIG) (y — x), Vx,y EC

Dinh nghĩa 1.1.7 ({5],(7], Hàm đóng) Hàm ƒ: R” + 3 là hàm đóng néu epigraph

của f

epif = {(x,t) € R"*Ì | x € dom(f}, f(x) < t}

là tập đóng.

Tiếp theo là một số tính chất của hàm đóng Tính chất đầu tiên suy ra từ định nghĩa

Tính chat 1.1.8 ([3],[7]) Hàm ƒ JA hàm đóng khi và chỉ khi tat ca tập dưới mức

Định nghĩa 1.1.10 ({13], Phép chiếu trực giao) Cho tap Œ C E khác rỗng, đóng

và Idi, phép chiếu trực giao một điểm x € E lên tap C là một toán tử Pe: E — Œ xác

định bởi:

Pox) = argmin,e{lÌy — x|Ÿ}

1.1 Khái niệm mò dau 3

Ta thấy phép chiếu trực giao được định nghĩa như là tap nghiệm của một bài toán tối

tu lỗi Dinh lý tiếp sau đây cho ta thay rằng nghiệm đó là duy nhất

Dinh lý 1.1.11 ([6], Dinh lý phép chiếu thứ nhất) Cho C C E là một tập khác

rong, đóng và lôi Khi đó Pe(x) có duy nhất một phần tử

Định lý 1.1.12 ({6], Định lý phép chiếu thứ hai) Cho C C E là một tập khác

rỗng, đóng và lồi Chou € C, khi đó u = Pe(x) khi và chỉ khi

‡x—u,y-u)<0,Yy€eŒ

Định nghĩa 1.1.13 (6), Ham L-smooth) Cho L > 0 là tham số trơn, hàm ƒ: E>

R được gọi là ham L-smooth trên tập C C E nếu nó khả vi trên C và thỏa:

|Í/(x) - Y/()||, < ZIlx - yll, Yx,y e Œ

Bồ dé 1.1.14 ((6], [21], Bổ dé về sự giảm) Cho hàm ƒ: EB > RB là hàm L-smooth

(L > 0} trên một tap lỗi C cho trước Khi đó với moi x,y € Œ, ta có

Hy) < $00) + (WF o0,y — x) + LIke YIP (12)

Chứng minh Theo đình lý cơ ban của giải tích, ta có

Trong đó, bat dang thức (1) là bắt đẳng thức Cauchy-Schwarz, bat dang thức (2) là

do f là hàm L-smooth Vay nến ta có điều phải chứng minh

4 Chương 1 K (IÊN THUC CHUAN BI

Từ biểu thức (1.2), ta có

5YTy — fy) > 2X7x ~— fix) + (L- V/(x),y — x)

Theo định lý đặc trưng cắp một của ham lỗi, ta có hàm g(x) = Ext — f(x), ¥x €

E, 1 > 0 là ham lỗi Nén ta có mệnh dé sau

Mệnh dé 1.1.15 ([20),[21]) Cho ham f: E + R là ham L-smooth, với domf € R",

Khi đó sat x= f{x) là hàm lải.

Dinh lý 1.1.16 ([13], Dinh lý đối ngẫu mạnh) Xét bài toán tối tru

Nếu bài toán (1.3) cá giá trị tắi wu hữu han, khi đá giá trị tắi ưu của bài toán đối ngẫu

q4” = max {q(A, 9, 0): (An) € dom(q)}

với qi RTM x RE x IK? — cho bởi

(sn 4) = min L(x, À, ị, 4) = mùn | ƒ(X) + ` Aigi(x) + » : » Hsu (X)

¿=] jel

dat được và giá trị tôi uu của bài toán chính quy va bài toán đỗi ngẫu giỗng nhau

fed

1.2 Suhgradients 5

1.2 Subgradients

Dinh nghĩa 1.2.1 ({1], [20], subgradient và dưới vi phân) Cho hàm lỗi f: E — 8

và một điểm x € dom(f) Vée-te g € E* được gọi là subgradient của ƒ tại x nếu

fly) = fix) + 9" (y - x) Vy € domƒ

Dưới vi phần Of (x) của f tại x là tap gầm tắt cả véc-tơ subgradient sao cha

؃(x) = {ø|sf(y — x) < fly) - (x), Yy € domƒ}

S(x)) + gÏ(y — xị)

/ƒ(u)+ gi — x)

HINH 1.1: đ\.g¿ là các véc-tở subgradient của f tại rị: gy lA véc-tØ

subgradient của f tai rạ.

Ta có một vài tính chat sau:

Tính chat 1.2.2 ([1] [6]) Of{x) là tap lồi đóng (cá thể là tập rỗng)

Tinh chat 1.2.3 ([1], [6]) Nếu x € int(domf), thì Of(x) khác rỗng và bị chặn.

Mệnh dé 1.2.4 Cho hàm ƒ: E > R là chính thường và lỗi x € int(dam(f)} Nếu f

khả vi tai x thì ؃(x) = {Vƒ(x)} Ngược lại, nếu ƒ chỉ có duy nhất một subgradient

tại X thì ƒ khả vi tại x và Of(x) = {Y/(8)}.

Chứng minh cho mênh để này có thể được tìm thấy trong [0).

Ví dụ 1.2.5 Cho f\, fo: BR — B là các hàm kha vi lãi Xét hàm

{(z) = max{ f0) fo(x}}

V2) nếu ƒ\{z) > ƒa(z)

Khi đá ؃(z) = ¢ [Vf(z).Vfa(z)], nếu fi(z) = folx)

Wƒ(2) nếu fo{x) > fi{2)

6 Chương 1 KIÊN THUC CHUAN BỊ

Ví dụ 1.2.6 Cho ƒ: R => Ry, z =+|z| vag: RB? =—+ Ry, x+|Ìx|| Khi đó

Mệnh dé 1.2.7 ({1], (9], Tổ hợp tuyển tính không 4m) Cho các hàm fy, fo: C >

RB là các hàm lồi Giả sử ri(domf,) Nri(domfy) # 0 Nếu f(x) = ay fy (x) a¿fs(x) với

0), 0 > 0, thi

Of (x) = ayØfn(x) + ad fo(x), ¥x € domf, N dom fy

Mệnh dé 1.2.8 ((1], [9], Phép biến đổi Affine các biến) Cho k: RP > EB là

ham lỗi, chính thường Néu ƒ(x) = h{Ax + bị} với b € RY và A € IEP*" Giả sử ƒ chính

thường, nghĩa là dom(f) = {x € R": Ax + b € dom(h)} # 0.

Khi đó với x € mt(dom(f)) va Ax + b € ri(dom(h)), ta có

Of(x) = A’Ah{ Ax + b)

Chứng minh theo hướng hình học của hai mệnh dé này có thé được tìm thay trong [9].

Dinh nghĩa 1.2.9 ([1], [8], Cực đại theo từng điểm) Cho f,: 8" + E, i= Tm

là các ham kha dưới vi phân va lỗi Hàm ƒ gọi là cực đại theo từng điểm của các ham

ƒ; nếu

f(x) = max{h(x) fie (x)}

Trong đá ta xác định tap I(x) = {2 | filx) = f(x)} là tap những hàm "hoạt "tại x.

Khi đó ta có các kết quả sau:

Kết quả yếu: Dé tinh subgradient tại điểm x, ta chọn k € /{x) bắt kì, rồi tìm một

subgradient của f, tai x Nghĩa là với k € I(x}, lay g € ؃/(x] thì g € ؃f(x) Diéu

này có được là do với y € domf

fly) = f(y) > fe(x} + ø”(y — x) = f(x) + ø”(y — x)

Kết quả mạnh

Chứng mình của mệnh dé 1.2.10 có thể được tìm thay trong [9].

Ngoài ra, nếu các hàm f; khả vi, ta có

Trong doa, € R", bị € R Khi đó dưới vi phần tại x của bài toán có dang

f(x) = conv {a [ï € H(x)} = 7 SO dua: SO A=1, ASO

!t€l1(x) tE/(xì

Với I(x) = {i | alx + b, = f{x)}.

Ví du 1.2.12 (Dưới vi phan của chuẩn /,) Cho ƒ: R? 3 8

f(x) = llx|li = aa] + |xa| + + In] = max 87x

Định lý 1.2.13 ([1], Can trên đúng theo từng điểm) Cho ƒ„: Œ + 3, a € Ala

các hàm khả dưới vi phan và lỗi, trong đó A là một tập bắt ki Hàm f gọi là cận trên

đúng theo từng điểm của các ham ƒ„ nếu

f(x} = sup fa{X)

aca“

Kết quả yếu: Dé tính subgradient tại điểm &, ta làm như sau:

œ% Chương I KIÊN THUC CHUAN BI

e Tìm ở € A bắt kì sao cho ƒ(&) = f(R) (giả sử tồn tại cực đại của f,(X),a € 4).

e Chọn bat kì g € Of3(X) thà g € OF (R).

Kết quả mạnh (riêng): Ta định nghĩa I(x) = {a € A fa(x) = f(x)} Khi đó

conv U Øf.(x) C Of{x), x € dom(f)

a£l(xì

Dấu bằng xảy ra đồi hỏi trong giả thiết xuất biện thêm một vài điều kiện (vi dụ như

A compact, f, liên tục, )

Vi du 1.2.14 (Giá trị riêng cực đại) Cho ƒ: ER" > 8 sao cho

f(x) = Amax(A(x)) = sup y A(x}y (1)

Trong đó hàm h khả dudi vi phan và lồi đồng thời tai (x,y) € B® x RTM

Kết quả yếu: Dé tim subgradient tai x

e Ta tim ÿ là điểm cực tiểu của hàm h(X, y) (già sit tổn tai cực tiểu của A(x, y)).

e Ta tim véc-tơ subgradient {g,0) € 2h(&, Ÿ).

Dinh nghĩa 1.2.16 ([1], Hợp các ham) Cho ƒ: R" — 8 xác định hỏi

ƒ(x)=h(hŒ) fí(x)) x € imt(dom(f))

Trong đá f,,i = 1,Ê là các hàm lỗi và h là hàm Idi, không giảm theo nghĩa

ve S ye Ví = 1K > h(my, , é) SAC, - - ye)

Kết qua yếu: tim subgradient tai X, ta làm như sau:

© Tìm € Øh (fi(X), , fx(x)) và ø € Ø/,(&), ¡ = 1K.

1.2 Subgradients 9

e Khi đá g = a9) + + zg € 9ƒ(8)

Két quả mạnh có thể được tìm thấy trong (10)

Định nghĩa 1.2.17 ([1], Ham giá trị téi ưu) Cho hàm lỗi ƒ: RB" x RP > Rta

định nghĩa f{u, v} là gia tri tôi wu của bài toán tôi tu lỗi

Giả sit bai toán trên thỏa điều kiện đối ngẫu mạnh Nếu À.ñ là các bién đối ngẫu tối

uu cho bài toán (1.4) với điều kiện ràng buộc là f(x} < a va Ax=b+È Khi dé

(—Â, =ñ) ô/(A,©)

1.2.2 Các điều kiện tối ưu

Các điều kiện tối ưu khõng ràng buộc

Định nghĩa 1.2.18 (6), Hàm lỗi mạnh) Ham ƒ: 8 > 8 gói là hàm m-lỗi manh

với m > 0 cho trước nếu dom(f) lồi và với mọi x,y € dom(f), 4 € [0,1]

m

F(Ax + (1 — Aly) < A/(x) + (1 - AVF(Y) = FAC - Alle - yl?

Dinh lý 1.2.19 ([20]) Cho f: E > R là một hàm m-léi mạnh (với m > 0 cho trước)

khi va chi khi ham f(x) — 5 lx? là hàm lôi

Định lý 1.2.20 ({6] Đặc trưng cấp một của ham lỗi mạnh) Cho hàm ƒ: E > E

là hàm chính thường, đóng và lỗi Khi dé với ta > 0 cho trước, ham ƒ là lỗi manh khi

và chi khi

„m

siIlx ~ y|lÏ.Yx € dom(؃),y e dom(f),g e ؃(x) (1.5)

Fly) = f(x) + (gy — x) +

10 Chương 1 KIÊN THUC CHUAN BỊ

Định lý 1.2.21 ([1], Dinh lý tối ưu Fermat) Cho f: E + R là hàm lỗi chính

thường Khi đó x* là điểm cực tiển toàn cục của f(x) khi và chỉ khi 0 € @f(x").

Dinh lý 1.2.22 (Í6], Sự tồn tại và duy nhất của điểm cực tiểu) Cho ƒ: E> 5

là hàm chính thường, đóng và m-léi mạnh, khi đó điểm cực tiểu của ƒ ton tai và duy

Nói cách khác x’ là nghiệm tôi wu của bài toán khi va chỉ khi tốn tại À € RE", A; >

0, $5 A; = 1, sao cho S> Asa; = 0 và dA; = 0, j # U(X’).

i=l] ‘=)

Các điều kiện tối wu có rang buộc

Xót bài toán tối ưu có ràng buộc

(P) mủn @6(x]

Rang buộc ƒ/(x) <0, i = Tym

Với ƒ,: E —> R, i — T,m là các ham chính thường va lỗi Giả sử domf, — R*, ¡ = I,m,

thì các ham f; khả đưới vi phan ở mọi nơi.

Khi đó điển kiện Karush - Kuhn - Tucker (điều kiện KKT) được phát biếu như sau:

Mệnh dé 1.2.24 ([1]) Nếu bài toán (P) thỏa dinh lý đối ngẫu manh, khi đá x", À*"

là nghiệm tối ưu của bài toán tối ta gốc và bài toán tối ta đối ngẫu khi và chỉ khi

e xY là phương án chấp nhận dude của bài toán gốc

Dinh nghĩa 2.1.1 ([3]) Cho f: E — RB, ham f*: E* — R cha bởi

f(y) = sup (y"x - f(x) yer’

x€đoơm( f}

gọi là ham liên hợp của ham ƒ.

Tính chất 2.1.2 ((3]) Ham f* là hàm lỗi và đóng ngay cả khi ƒ không có tinh chat

này.

Tiếp theo, ta đề cặp đến bat đẳng thức liên quan đến tính liên hợp của hàm

Dinh lý 2.1.3 ({3], Bat dang thức Fenchel) Cho ƒ: E — 3 là hàm chính thường.

Khi đó với mọi x € E vay € lÊ*, ta có

f(x) + f(y) = yˆx

Chứng minh Ta có f°{¥) = supxcdomis) (y?x —_ /(x)) Vy € E*, do đó f*ly) >

y?x — f(x} nên f(x} + f*(y) > yTx.

Day là mở rộng của bat dang thức các ham lỗi không toàn phương:

le l r

5x x+sy y>x'y

Một số ví dụ về hàm liên hợp của một số hàm đặc biệt

12 Chương 2 Phương pháp Proximal Gradient

Ví dụ 2.1.4 (Hàm chỉ của tập lỗi) Cho hàm chỉ äc(x), trong đó Œ C E là tập

khác rỗng và lỗi Khi đó ham liên hợp 62 là hàm tựa của tập C, tức là

đ£(y) = supyTMx

xEC

Ví dụ 2.1.5 (Chuẩn) Hàm ƒ: E > R8 cho bởi f(x) =||x|| Khi đó bam liên hợp f*

là ham chỉ của qua cầu đơn vị déi với chuẩn đỗi ngẫu, nghĩa là

‹v+_Í0 lll <1

rw) th iylle > 1

Tiếp sau day, ta dé cap đến các phép toán đối với hàm liên hợp

Dinh lý 2.1.6 ([3], [6]) Cho f: Ex E => R xác định bởi ƒ(xy xa) = ñ(Xi)+ fa(X2),

với ƒ;: E —> R là các hàm chính thường Khi dé

ƒ*(yn.Yy2) = Siva) + Fey) Vy, ya) € E x E

Dinh lý 2.1.7 ([3]) Cho g: E+ RB và œ > 0.

a) Cho ƒ(Xx) = ag(x), khi đó f’{y) = ag* (2) ,Y&E.

a

ab) Cho f(x) = ag (=) khi dé f*(y) = ag* (y), y € E.

Sau khi tìm hiển một cách sơ lược về hàm liên hợp, ta tìm biểu về liên hợp hai lẫn của

hàm f Xét hàm f: E — R, ta có

f(x) = sup (xty - /*4)) ,x€l

y€deml J*}

Khi đó theo tính chất 2.1.2, ƒ** là ham lỗi và đồng

Câu hỏi đặt ra là liệu việc liên hợp hai lan của một hàm có thu được hàm ban dau haykhông ? Ta đến với định lý sau

Dinh lý 2.1.8 ((3]) Cho f: E+ R là hàm chính thường, đóng và lỗi Khi đó

J(x) = ƒ°*(x) Vx EE

Một cách tương đương, ta cũng có epif — epif** Chứng minh của định lý nay có thé

được tim thay trong [6).

Tiếp theo, ta tim hiéu vẻ subgradient của ham liên hợp ta có định lý sau

2.1 Anh xa proximal 13

Định lý 2.1.9 ([3]) Cho f: E => là hàm chính thường đóng và li Khi đó với

x€E, y€?', các mệnh dé sau (tương đương

() x € Of*{y) (ii) y € ؃(x) (iti) xTy = f(x) + fry).

Chứng minh.

(i) = (ii): Giả sử x € Of*{y), ta có

ƒ*(z) > fly) +x"(z-y), Wek

Theo định lý 2.1.8, ta lại có

F(x) = ƒ”(x) = sup {x"a - ra} = xTy - f*(y)

Khi này, với mọi u € E, ta có

f(a) = "(uj = sup {u*z- ƒ'2)}

©y?x > f(x) + fly)

Theo bat đẳng thức Fenchel (định lý 2.1.3), ta có yTMx = f(x} + f*{y)

{itt} => (i): Giả sử xẦy = f(x) + ƒ*(y), ta có

/*ø)=_ sụp {2Tu- ƒ(u)} > aT - f(x) = xTa-y) + Sy)

acdom{ f)

Do đồ x € Of {y)

Vay ta có dpem.

Dinh lý 2.1.10 ([3]) Cho f: — R là mot hàm chính thường, đóng va lỗi mạnh với

tham sé m > 0 và chuẩn ||-|| Khi dé

14 Chương 2 Phương pháp Proximal Gradient

e f* được xác định với mọi y (tức là dom(f*) = B®).

® f* khả vi mọi nơi, với véc-tở gradient có dang

Vƒ'(y) = argmaxy (y*x — ƒ(x))

prox,(x) = argminges {4 ‡ siu - x}, Yx ek (2.1)

Dinh lý 2.1.12 ([2]) Cho hàm ƒ: E + RB là hàm chính thường, đóng và lồi Khi đó

ánh xa proximal (2.1) tốn tại và duy nhắt với mọi x € 8

]

Chứng minh Xét ¿(u) = flu) + Sliu = x([3 Ta có ham h(u) = 5

lỗi manh, /(u} là ham lỗi

Giả sử ø € ؃{(u) Khi đó, với moi uy, ug € E, ta có

Ju — x|lš là hàm

f(u¿) > f(a.) + 97 (ug — un)

ø(ua) > g(u) + fv, tạ — uy) + gil — ual\

với € Ofg + k){uy)} Nén theo định lý 1.2.20, g là hàm lỗi mạnh, hơn nữa g là một

hàm đóng và chính thường Theo định lý 1.2.22, ta 6 điểm cực tiển của ø tốn tại duy

nhất và đo đó ánh xạ prox, cũng tồn tại duy nhất

Đề hình dung về cách tìm ánh xa proximal, ta tìm hiểu ví dụ sau

Ví du 2.1.13 Xét hàm h: RB" — R cho bởi h{x) = 0, khi đó prox,Íx) = x

Ở ví dụ trên, ta tìm được toán tử proximal thông qua định nghĩa, cu thể

prox, (x) = argminu {hix) ` sl = xi} = argming {ạt = xI?} = {x}

Sau day, ta sé tìm hiếu vẻ một số tính chất của ánh xa proximal Trước hết ta nói về

một đặc trứng quan trọng của ánh xa proximal

Dinh lý 2.1.14 ([2]) Cho f: E + R là hàm chính thường, đóng và lồi Khi đó với

moi x,u € E, ta có

u = prox,(x) x— u€ 0/(u)

Chứng minh Ta có u = proxy(x} = argminyeg {se ¬ silv - xI?}

Theo đình lý 1.2.21, ta có

0c0 (so _ fu - xIf) =؃{u)+u=x«©x~=u€Øƒ(u)

“Tiếp theo là một số ánh xa proximal cho một số bài toán ma viếc chứng minh đưa trên

đình lý tối wu Fermat (định lý 1.2.21).

Ví dụ 2.1.15 (Hàm toàn phương) Cho ƒ: R° => 3 xác định hỏi f(x) = 2XTAx+

b?x +e Trong dé A là ma tran đối xứng xác định dương, b € R", e€ 8 Khi đó với

16 Chương 2 Phương pháp Proximal Gradient

Ta để cập đến một số phép tính cơ ban với ánh xa proximal

Dinh lý 2.1.18 ((2], Tổng tách được) Cho ƒ: R" x IE" + EB x BR xác định bởi

/ ([l) = g(x) + h(y), Yx,y € RA"

“hi đó prox, | |*| ) = | Proxel)

Khi đó prox, v| |) = hat)

Chứng minh.

1, 2, 1, 2

prox, ((}) = argmin, yer» {sáu + h(v) + s|lu — xf" + s|lY — vi}

= argmin, {a(u) + iu = xi} x argmin, {w) + liv ¬ vi)

onde]

= prox,{x) x prox,(y) = x#y

2.1 Anh xa proximal 17

Mệnh để 2.1.19 ([2], Phép vị tự và tịnh tiến đối số) Cho g: E + & là hàm

chính thường Choa #0, b€ E Xét f{x) = g(ax + bì), khi đó

Mệnh dé 2.1.21 ((2], Phép cộng với hàm tuyến tính) Cho ø: 8 > 3Ä là ham

chính thường Xét f(x) = g(x) + aTx Khi đó

Mệnh dé 2.1.22 ((2], Phép công với hàm toàn phương) Cho g: E + R là hàm

chính thường Xét f(x) = g(x) + “lx — all? Khi đó

1

l+yp

prox,(x) = prox,, (@x + (1 — @)a), @=

18 Chương 2 Phương pháp Proximal Gradient

Dinh lý tiếp theo cho ta thấy mối quan hệ giữa ánh xa proximal của một hàm chínhthường, lỗi và đóng với hàm liên hợp của nó

Dinh lý 2.1.23 ({2], Khai triển Moreau) Cho ƒ: ® > là hàm chính thường, lỗi

Vậy x = prox/(x) + prox,.(x), ¥x € E.

Định lý tiếp theo là một trường hợp mở rong của định lý về khai triển Moreau

Dinh lý 2.1.24 ([2], Khai triển Moreau mở rộng) Cho ƒ: E — R Ja hàm chính

thường, đóng và lỗi Khi đá với À > 0, ta có

x

Proxy s(x) + Aproxy-sy (*) =x,Yx€E

Chứng minh Theo khai triển Moreau cho ham Af, ta có

ĐrôXxz(X) + Aprox,-1¢« (5) =x, VxEE

Tiếp sau đây, ta nói về ánh xa proximal cua hàm hợp với ánh xa affine định lý được

phat biéu như sau

Định lý 2.1.25 ([2]) Cho ƒ: RTM > R là hàm chính thường, đóng và lồi Xét f(x} =

g(Ax + b) với b € RTM và A: — RTM là một phép biến đổi tuyến tính thảa AAT =

2.1 Anh xạ proximal 19

al, œ >0 Khi dé

lop

prox ,(x) = x = a4 (ax +b = prox, {Ax + b)) Wx€

Ví du 2.1.26 Cho g: E > B là hàm chính thường, đóng và lỗi Cho ƒ: EB > E xác

định boi f(xa,. ,%en) = g(%a + - + xe) Xét A = Í I i| thỏa AAT = mi.

Dinh nghĩa về phép chiến đã được dé cập ở Điều thú vị là phép chiến của x lên một

tap C khác rỗng thực chất lA ánh xa proximal của ham de

1

silu = xi} = argminyee||u — x||? = Pelx) (2.2) prox,,.(x) = argminyeg {et u} +

O mục này, ta nói về kết quả các phép chiếu trên các tập khác nhau, cu thể ở day là

các quả cắn với chuẩn tương ứng

Ví dụ 2.1.27 (Chuẩn Euclide) Cho C = {x € IR” :||x|| < 1} Khi dé

20 Chương 2 Phương pháp Proximal Gradient

Ta có thể chứng minh ví du này dựa vào điều kiên KKT cho bài toán thỏa điều kiên

đổi ngẫu mạnh và kết qua thu được từ ví du 1.2.6

2.1.4 Các hàm tựa, chuẩn, khoảng cách

Sau khi tìm hiểu về một số kết quả của phép chiếu trên các tập hợp thường gặp, ta ấp

dụng vào việc tìm toán tit proximal của các hàm tựa, hàm chuẩn và hàm khoảng cách

dựa trén kết quả phép chiếu của chúng

Mệnh dé 2.1.29 ({2], (6) Cho Œ C E là tap khác rỗng, đóng và lỗi Cho ƒ: C — B

là hàm tựa của tập C Khi đá với mọi x € E, với t > 0, ta có

x

proX,;(x} = x — thụ (=)

Dé rõ hơn về ứng dung của mệnh dé này, ta xét ví du sau

Mệnh dé 2.1.30 ((2), Chuẩn) Cho ƒ: E + E xác định bởi ƒ{x) =||x|| Với t > 0,

Chứng minh Theo vi du 2.1.5, ta cô f*(y) = ôgÍy) = i

prox, s(x) = x — tprox,-1y- (=) =x-—tPp (*) = x — Pip{x)

2.2 Giới thiện phương pháp proximal gradient 21

Ví du này được chứng minh dựa trên ménh dé 2.1.30 và ví dụ 2.1.28, sử dung khai

triển Moreau mở rộng và mối liên hé (2.2) O đây, toán tử prox, còn được gọi la toán

tử "ngưỡng min".

Trong không gian metric với chuẩn bắt kì, khoảng cách từ điểm x đến một điểm a cho

trước có thể được xác định bởi hàm f: E > Ry, cho bởi f{x) = ||x — all Ta sẽ tìm

hiểu về toán tử proximal của hàm này

Mệnh dé 2.1.32 ((2]) Cho ƒ: E+ Ry xác định hởi f(x) =||x — al], a e E Khi đó

với £ > 0

prox,;(x) = x — Ïn(x — a)

Tit dé, ta có một số kết quả toán tử proximal liên quan đến ham khoảng cách Euclide

từ một điểm đến một tập

Mệnh đề 2.1.33 Cho Œ € E là tập khác rỗng, đóng và lỗi Cho t > 0 và xót hàm

khoảng cách d{x) = infyee||x — y|l„ Khi đó với mọi x € E vat > 0, ta có

prox, (x) = Tart Taibo

Chứng minh của hai ménh dé nay có thể được tim thay trong {2}

2.2 Giới thiệu phương pháp proximal gradient

Xét bài toán tối wu không ràng buộc với hàm mục tiêu được "tách"thành hai hàm như

sau

min{ f(x) = g(x) + h(x)} (2.3)

Trong đó g: E — Rvak: E > E là các hàm đóng, chính thường và lỗi, hon nữa, ¢

khả vi, dom(g) = BR” và É có ánh xa proximal khong đất Ta có

Mệnh dé 2.2.1 ([4]) Bước cập nhật tổng quát có dang

Xki1 = proxy, (Xe — fcVợ(Xk))

22 Chương 2 Phương pháp Proximal Gradient

Trong dé

(i) te > 0 là bước nhảy tai vòng lặp thứ È, có thé là hang số hoặc được xác định

bằng phương pháp line search

(ii) Thuật toán có thé bắt dau từ một điểm xo không chap nhận được (tay nhiên

Xe € dom(f} = dom(h) với k > 1).

Dé giải thích cho phương pháp này, ta xót một bước cập nhật x? như sau

xỶ = prox, (x — £Va(x)}, 0 > 0

Theo định nghĩa của anh xa proximal, ta có

x? =argminueg (6e + se —x+ iV o(x)[:)

= argminyes (nw + siÌu —x+ tVø(x)|Š + g{x) — Di)

= argminues (táo + g(x) + Vø(x)f{u — x) + wl - xi)

Khi đó x* là điểm eve tiểu của hàm k(u) cộng với một mô hình toàn phương lan cận

x của hàm gu).

Vậy thuật toán của phương pháp proximal gradient như sau

e Khởi tạo: Chon xạ € int{dom{f)}), t¿ = ¿

Ẻ

e Bước cập nhật tổng quát: Với mỗi k = 0,1, , thực hiện lần lượt các bước

sau

1 Chọn f¿ > 0;

2 Lập bước cập nhật tống quát xpi) = prox,,{Xc — tcVợ(X+))

Các ví du sau đây cho ta thay bước cấp nhất tổng quát của phương pháp proximal

gradient đối với ba md hình tương ứng với ba phương pháp đặc biệt

Vi du 2.2.2 (Phương pháp Gradient) Xét bài toán (2 3), nến h(x) = 0, ¥x € E

Khi đó bài toán ta xót đến sẽ là bài toán tối wu trơn không ràng bude

map a(x)

Với bước cập nhật tong quát là

X:+¡ = Xe — te VG(Xx)

2.2 Giới thiện phương pháp proximal gradient 23

Chứng minh Duta trên bước cập nhật tổng quất của phương pháp proximal gradient

và ví dụ 2.1.13, ta có

X;+i = PYOX,, ,ÚXz — f;V0(X¿)) = Xe — GV G(X)

Ví dụ 2.2.3 (Phương pháp phép chiếu gradient) Xét bài toán (2.3) nếu h{Xx) =

ñe(x) Khi đó bài toán ta xét dén sẽ là bài toán tỗi ua lỗi, tren và cá rang buộc

min g(x}

xeC

Với bước cập nhật tong quát là

Xe¿i = Po (x, — & Vax)

Chứng minh Dựa trên bước cập nhật tổng quát của phương pháp proximal gradient

và biểu thức (2.2), ta có

Xn41 = Proxy, (Xx — fyV0(X¿)) = Po (Xx — & Vg (xe)

Nếu ta xem bước cập nhật của x là x* = Pe (x — #Wø(x)) Ta có thể minh hoa phương

pháp này bằng hình anh sau

Với bước cập nhật tong quát là

Xei1 = proxy, ,(Xe — teVG(Xx})