Khóa luận tốt nghiệp Toán tin: Thuật toán subgradient và ứng dụng

Shor đã hệ thống lại các kết quả hôi tụ của thuật toán subgradient trong trường hợp bài toán có ham mục tiêu là lỗi và tap nghiệm bi chan cũng nhì đưa ra một vài ứng dung của phương pháp

TRƯỜNG ĐẠI HỌC SƯ PHAM THÀNH PHO HO CHÍ MINH

KHOA TOÁN - TIN HỌC

obo

KHOA LUAN TOT NGHIEP

THUAT TOAN SUBGRADIENT VA UNG DUNG

Chuyén ngành: Toán ứng dung

Sinh viên: Tran Hoang Phi

Ma số sinh viên: 4501101077

Giảng viên hướng dẫn: TS Pham Duy Khánh

ThS Tran Bá Dat

Thành phố Hỗ Chí Minh, 04/2023

19

22

31 : 31

3.1.1 Giới thiêu bài toán Lassol ` ¬

3.1.2 Tính chất nghiệm của bài toán Lasso 31

3.1.3 Công thức tong quát dưới vi phân của ham mục tiêu 33

3.2 Mé hình phaneum Idi) 2 ee 34

3.2 ÍPBSBcUimM ::‹ ca c eee nme eae a aD Daw 34

Mö hình phan cum lỗi 34

5.1 Lập trình cho bài toán Lasso] 2 ee V 5l

5.2 Lap trình cho bài toán phan cum lồi 5d

Kết luận 65

Tài liệu tham khảo 67

Giới thiệu

Bài toán tối ưa một hàm lỗi có nhiều ứng dung thực tế ở nhiều lĩnh vực khác nhau có thé

kể đến như tôi wu hóa đanh mục dau tư trong kinh tế và tài chính B]: xử lý tín hiệu và thống tin liên lạc (9) xác định kích ed của thiết bi trong thiết kế điện tử Bllrilis] Nhiền

phương pháp được đưa ra nhằm giải quyết lớp các bài toán tối wa tương ting với một

số điều kiện nhất đình Khi hàm mac tiêu cha bài toán thỏa mãn điều kiện khả vi liên

tục, ta có phương pháp gradient nổi tiếng và thong dung giúp giải quyết tết các bài toán

dang này (xem thêm trong Ê|b]) Tuy nhiên, khi hàm mục tiên không khả vi, việc Ap

dụng phương pháp gradient cố điển một cách trực tiếp là khöng thể Khi đó thuật toán

subgradient được để xuất để vượt qua khó khăn này.

“Thuật toán subgradient được N Z Shor giới thiệu năm 1962 để giải các bài toán van

chuyển quy mô lớn của quy hoạch tuyến tính trong {i9) Trong nhitng nam tiép theo,

thuật toán subgradient được chú ý và lan đầu tiên được phan tích trong Í6|jt3Ì Mặc di

được xuất bản trong một ấn phẩm có số lượng phát hành thắp, céng trình tiên phong

này đã được các chuyên gia trong lĩnh vực téi wa hóa d Liên Xö biết đến rông rãi

từ đó người ta bat đầu quan tâm, đào sâu, nghiên cứu cũng như tìm cách phat triển

phương pháp này Năm 1985, N Z Shor đã hệ thống lại các kết quả hôi tụ của thuật toán

subgradient trong trường hợp bài toán có ham mục tiêu là lỗi và tap nghiệm bi chan cũng

nhì đưa ra một vài ứng dung của phương pháp này trong (20) Kết quả chính của thuật

toán subgradient được trình bày trong là sự hồi tụ về 0 của khoảng cách từ các phần

tử trong day lặp đến tập nghiệm của bài toán và sự hôi tụ của hàm mục tiêu trong từng

bude lặp về giá trị tối wu của bài toán Bên canh đó, B T Polyak trong đã đưa ra kết

quả hội tị cho thuật toán subgradient khi bỏ đi giả thiết bị chặn của tập nghiệm của bàitoán Tuy nhiên, lúc này ta không có được kết luận vẻ khoảng cách của các phẩn tử trongday lặp đến tap nghiệm mà chỉ kết luận được day giá trị ghi tiến về giá trị tối uu Khi giá

trị hàm mục tiêu của bài toán được biết trước, đưa ra một loại bước nhảy mới cho

thuật toán subgradient và sự hội tụ của thuật toán subgradient ứng với loại bước nhảy

nay, bao gỗm cả su hội tu và tốc độ hội tụ của day lặp Trong [17], A P Ruszezynski đã

nhắc lại thuật toán subgradient một cách tổng quát và đưa ra thêm hai loại bước nhảy

khác cho thuật toán Sau khi khảo sát sự hội tụ của thuật toán subgradient với 3 loại

bude nhảy khác nhau, A P Ruszezynski cũng giới thiệu phương pháp chiếu subgradient

cho bài toán tối thiểu hàm mục tiên lỗi với ràng buộc trên một tập lỗi đóng ứng dung

thuật toán subgradient cho bài toán đối ngẫu và bài toán với giá trị tối un đã biết trước

Phương pháp subgradient là một thuật toán đơn giản và hiệu quả cho việc tìm cực

tiéu của một hàm lỗi không tron Do đó lớp bài toán giải được bằng phương pháp này là

rộng hon so với phương pháp gradient Khi giải những bài toán có số chiều cực lớn, ưa thế

của phương pháp subgradient so với phương pháp điểm trong và phương pháp Newton (4)

là bước cập nhật đơn giản và do đó yêu cầu về bộ nhớ thắp khi lập trình Tuy nhién,

iii

một hạn chế chung của phương pháp subgradient là nó có thé chăm hơn nhiều so với cácphương pháp vừa nêu [4] do phương pháp subgradient sử dụng day bước nhảy tiễn về 0.

Khóa luận này tập trung vào việc nghiên cứu, trình bày tổng quan vẻ thuật toánsubgradient và đưa ra các kết quả hội tụ của thuật toán này trong trường hợp tổng quát

và trong trường hợp bài toán có tap nghiệm bị chan Sau khi khảo sát su hồi tụ của

thuật toán subgradient, tác giả trình bày ứng dụng của thuật toán để giải bài toán Least

absolute selection and shrinkage operator (Lasso) và mé hình phân cum lỗi Mô phỏngtính toán trên hai bài toán này sẽ được đưa ra thông qua lập trình trên phan mém Python

Khóa luân bao gồm năm chương

Chương [1| Kiến thức chuẩn bị: nhắc lại mot số kiến thức quan trong trong giải

tích lỗi như hàm khoảng cách và phép chiến Euclide, nón lùi xa, hàm lỗi và các tính chat,cực trị của hàm lỗi được sử dụng xuyên suốt trong các phần sau

Chương |3} Sự hội tụ của thuật toán subgradient: trình bày chì tiết các nội dung

trong tam vẻ thuật toán subgradient bao gồm giới thiên thuật toán subgradient, khảo sat

sự hội tụ trong trường hợp tổng quát và trong trường hợp có thêm giả thiết tap nghiệm

của bài toán bị chăn.

Chương Ứng dụng của thuật toán subgradient: trình bày ứng dụng của thuật

toán subgradient để giải bài toán Lasso và mô hình phân cum lỗi

Chương |4} Thử nghiệm tính toán: Dé xuất một sé bài toán Lasso và phan cụm lồi

để minh họa tính toán trên phan mễm python bằng cách áp dụng thuật toán subgradient

Chương (5} Lap trình python: đưa ra lệnh lap trình trên python cho thuật toán

subgradient giải bài toán Lasso và mô hình phan cụm lỗi đã trình bày trong Chương 4

Cuối cùng, chúng tôi hy vong khóa luận này số là nguồn tham khảo hữu ích và có giá

trị cho những sinh viên ngành Toán cũng như bạn đọc quan tâm đến tối ưu lỗi nói chung

và thuật toán subgradient nói riêng Mac dù đã cố gắng nghiên cứu và biên tap nôi dung

that can thận nhưng do thời gian và kiến thức có bạn nên khóa luận không thé tránh

khỏi một vài thiến sót Kính mong nhận được góp ý từ quý giảng viên và ban doc để khóa

luận có thể được hoàn thiện hơn

Chúng tôi xìn chân thành cảm ơn.

iv

Lời cảm ơn

Đầu tiên, tác giả xin gửi lời cảm ơn chân thành va sau sắc đến TS Pham Duy Khanh và

ThS Tran Bá Dat, hai giảng viên hướng dẫn tác giả thực hiện khóa luân này Bên cạnh

việc truyền đạt những kiến thức bổ ích, hai Thầy luôn dua ra những phan biên, góp ý và

lời khuyên giúp tác giả trau déi được nhiều kỹ năng và kinh nghiệm quý báu Cam ơn

hai Thay đã luôn nhiệt tình giúp đã và chỉ bảo tác giả một cách tan tình không chi trong

việc học toán, làm toán và nghiên cứu toán ma con trong các khía cạnh khác của cuộc

sống

Tiếp theo, tác gid xin cảm ơn tat cả những Thay, Cõ là giảng viên của khóa Toán Tin học, trường Dai hoc Su pham Thanh phổ Hỗ Chi Minh, những người đã trang bị chotác giả những kiến thức và kỹ năng cần thiết cho việc nghiên cứu toán học Bên cạnh đó,

-tác gia cũng xin càm ơn những anh chị khóa trên và các bạn cùng khóa đã cho -tác giả

những lời khuyên và ý tưởng trong quá trình thực hiện khóa luận.

Tác giả xin cảm ơn ThS Võ Thành Phát, giảng viên đã giang day tác giả trong họcphan Lý thuyết tối tra phi tuyến và cũng là người đã tao điểu kiện cho tác giả thực hiện

tiền luận với dé tài "Phương pháp subgradient và ứng dụng”, điều này mang lại cơ hồi

cho tác giả được thực hiện khóa luận này.

Tae gia cũng xin cam Gn bạn Tô Hoàng Thanh, sinh viên cùng khóa với tác giả, người

đã cùng tác giả thực biện tiểu luận "Phương pháp subgradient và ứng dụng" Những kết

quả và nghiên cứu trong tiểu luận đó là nền tang giúp tác giả hoàn thiện khóa luận này

Cam ơn anh Tran Dinh Đại Quan đã nhiệt tình hướng dẫn và hé trợ tác gid trong việc

lập trình trên python Chính nhờ sự giúp đỡ này mà tác giả mới có thể hoàn tắt được các

ví du tính toán dé minh hoa cho thuật toán

“Tác giả xin bày tỏ lòng biết ơn sâu sắc đến Ba, Mẹ và Chị gái đã, đang va vẫn luôn là

hậu phương vững chắc và là chỗ dựa tỉnh thần cho tác giả trong cuộc sống Cuối cùng,tác giả muốn dành lời cam ơn đặc biệt đến bạn Lê Nguyễn Ngọc Trâm, người yêu và cũng

là ban cùng khóa của tác giả, người luôn đồng hành, động viên, chia sé và khích lệ tinh

than mỗi khi tác giả gặp khó khăn, diéu mà mang ý nghĩa võ cùng to lớn đối với tác giả

Tác giả võ cùng biết ơn và trăn trọng tắt cả những sự giúp đỡ của tắt cả mọi người

bởi khóa luận này sẽ không thể hoàn thiện nếu thiéu di những sư giúp đỡ ấy Xin chân

thành cảm ơn ¬

Thanh pho Hỗ Chí Mink, tháng 4, năm 2023

Tran Hoang Phi

Bảng chú thích ký hiệu

R° khong gian Euclide n-chiéu trên trường số thực:

R trục số thực (IR = EÌ);

R tập hợp các số nguyên đương;

Red không gian các ma tran có rn dòng va ở cột;

gt vectơ hang (chuyển vị của x);

(x,y) = ay = tích võ hướng của hai vectơ z và y;

B.(z) quả cau mở tam x bán kính r;

B(x) quả cầu đóng tam # bán kính ?;

vi

viii

Chương 1

Kiến thức chuẩn bị

1.1 Hàm khoảng cách và phép chiếu Euclide

Mục này trình bày lại một số tính chất cơ ban, đặc trưng của hàm khoảng cách và phépchiếu, được tham kháo trong fio).

Dinh nghia 1.1.1 (Ham khoang cach trang 28]) Cho Ø # Ø là một tap con

của RR”, ham khoảng cách liên kết với Q được định nghĩa bởi

đạ(z) = inf {||z — wl): w EQ}, với mọi z € 8".

Mệnh đẻ 1.1.2 (I0| Mệnh để 1.74] Cho 2 là một tap con khác rỗng của B® Khi đó các

tính chất sau thỏa mãn.

Gi) da(z) = 0 khi và chi khi z € cl(©).

(ii) Ham dex) liên tục Lipschitz trên R* với hệ số L = 1

{iii} Nếu Q là tap lỗi thì da(z} là hầm lỗi trên B®.

Chứng mink Giả sử 2 là một tập con khác rỗng của ER".

(i) Giả sử x € R" thỏa mãn dp(z) = 0 Ta chứng minh z € cl(O) Với mỗi k € Ñ, đặt

1

Chương 1 Kiến thức chuẩn bị

do{x) = ||# = yl] < |lự — wl], với mọi w € 9.

Lay infimum với w € 2, lưu ý về trái là một hang số, ta được

Tóm lại, ta có |da(x) — đa{/)| < l|+z — yl|, với mọi z,y € RK" Vậy đg(z} là hàm liên tục

Lipschitz trên Í#" với hệ số L = 1

(1i) Giả sử © lôi Ta chứng minh đa{z) là hàm lỗi Lay tuỳ ý z,/ € RB" và A € (0,1)

Với mọi ¢ > 0, do đp(+) = mf{||z — wl] : € 2}, daly} = inf{|ly — wl]: w € Q} nên tổn

tại u,v € 2 sao cho

lz — ul] < đ¿{z) + z và lly — el] < daly) + z.

2

1.1 Hàm khoảng cách va phép chiều Euclide

Vì © lồi nên Aw + (1 = Aju € D Khi đó ta có đánh giá

dạ(Äz + (1 = Ajy} = inf {Í|Az + (1 = Ady = u|| sw € Ô}

do{drx + (1 — Aly) < Jim, [A#a(z) + (1 — À)da(r} + ¢] = Àda(z} + (1 — A}da(z).

Vậy do{x) là hàm lỗi trên RA", i)

O ý (iii), ta có điều kiện đủ để ham khoảng cách (liên kết với tap 9) là hàm lỗi là tập

© lỗi, khác rỗng Tuy nhiên, chiều ngược lại chưa chắc đúng, nghĩa là nến đ(#) là hàmlồi chưa chắc Ø là tap lỗi Ta có thé lấy Q = RB? \ {0}, khi đó do(x) = 0, với mọi x € E?

Vi vậy đa(+) là ham lỗi, tuy nhiên ta dé đàng thay được 2 không là tập lỗi.

Tuy nhiên, nếu ta thêm vào điều kiện Ô là tap đồng, ta sẽ có chiều ngược lại của kết

quả (iii) Tiếp theo, chúng tôi sẽ trình bày kết quả này Trước hết, chúng tôi giới thiệu vềphép chiếu Euclide trong #*" và các tính chat quan trọng của nó

Định nghĩa 1.1.3 (Phép chiếu Euclide (L0) trang 29) Với mỗi z € R" và QC 8",

hình chiếu Euehde từ + đến Q được định nghĩa bdi

Pala) = {w € 9: |x = wl] =

dạ(z)}-Trong Hình 1, w 1a hình chiếu của x lên 2 Tiếp theo, chúng tôi nhắc lai một sé tính chatquan trọng của phép chiếu, điều kiện để tồn tại hình chiếu và sự duy nhất của hình chiến

lên một tập.

Mệnh dé 1.1.4 [10} Mệnh dé 1.75] Cho © là một tap con khác rỗng, đóng của R” Khi

đó với bat kỳ z € RB”, hình chiéu Euclide Pa(z) là tap khác rỗng.

Chứng mink Giả sử Q là một tập con khác rỗng, đóng của BR” va z € KR" bắt ky Ta

chứng mình Pạ¿(z) # 8 Với mỗi k € N, đặt =;¿ = E Theo tính chat của infimum, với mỗi

= h > 0, do đe{(z) = inf {Í|# — te|[: w € Q} nên tồn tại w* € © sao cho

|lr — w* || < inf {|l+ — wl]: w € Q} + z¿ = đạ(z) + i

Điều này dẫn đến

dạ(#) < ||x — w*|| < đa(>) + h với mọi & € Ñ (1.1)

Chương I Kiến thức chuẩn bị

Với mỗi k € Ñ, theo 1.1), ta có đánh giá

ụ |

Do đó ||u#|| < |\z||+ dạ(z) +z < |lz|+ dạ(z}+1 Ta suy ra day {w*} bị chặn Do đó, tổn

tại day con {0C} C {w*} sao cho wt + w với w € R® nào đó Vì {w"} C {wt} c 9,

w* + w và 2 là tập đóng, ta suy ra w € 2 Từ {L1} ta có

dela) < l = u““|| < dolar) + ¬ ve.

Cho £ + oo trong bắt đẳng thức trên, ta được

d(x} < lim |lz — w*|| < jim (date) + t)

f->»e hey

Suy ra do(x) < |Ì# = wl] < da(z) Hay |lz — w|| = da{z) Do đó w € Pof{x) va ta có

nlx) # Ú D

Dưới day, chúng tôi minh họa hình học cách chọn day {w*} trong chứng minh Day

{0#} tổn tai nhờ vào tính chất của infimum, tuy nhiên, theo hình học, ta hoàn toàn có

: l

thé chọn u* € B,, (x) OQ, trong đó rp = dp{x} + £¿ =†+ + E

B,,{x)

ot

Hinh 1.2: Minh hoa cach chon day w* trong chimg minh Ménh dé

Mệnh dé 1.1.5 (10] Mệnh đề 1.76] Nếu Q là một tap con khác rỗng, lồi, đóng của RB” thì

với bắt kỳ z € R°, hình chiếu Euclide Pa{x) là tap một điểm, nói cách khác, hình chiến

Euclide Pp{a) là duy nhất

4

1.1 Hàm khoảng cách va phép chiều Euclide

Chứng minh Giả sử © là một tập con khác rỗng, lỗi, đồng của R® và x € BR" bắt kỳ Theo

Mệnh dé ta có fn{z) # @ Ta sẽ chỉ ra ØñaÍr} có duy nhất một phan tử Với moiw!w? € Pp(+), ta có ||# — w!|| = l|+ — w2|| = da(2)

Ta suy ra w* = w! Vay Pela) có duy nhất một phan tử ¬

Trong trường hợp 2 không lỗi, hình chiến của một điểm lên nó có thể có nhiễu hơnmột, được minh họa trong hình bền dưới.

Hình 1.3: Minh họa với 9 không lỗi, z có hai hình chiều lên 9

Chương I Kiến thức chuẩn bị

Mệnh để 1.1.6 {29} Mệnh đề 1.77] Cho © là một tập con khác rỗng, đóng của R" Khi

đó, hàm đ¿(-} lỗi nêu và chỉ nếu 2 lỗi

Chứng mink Giả sử Q là tấp lỗi Lay tuỳ ý +, € RR” và A € (0,1) Vì @ khác rỗng, đóng

nên theo Ménh đả[1.1.4] tôn tại ứ € Palx),v € Paty) Khi đó ta có

đạ(z) = || — ul] và defy) = lly — ul).

Do 9 lỗi nên Aw + (1 — Aju € 2 Ta có đánh giá

đạ(Az + (1 — Aly) = inf {||Àz + (1 — À}# — ||: w € 9}

< [Av + (1 — À)y — Au — (1 — Apu]

= ||Mz - u) + (1 - Ay — t)ll

< Alle — ul] + (1— À)l|w — el]

= Adg{x) + (1 — À)da(w).

Vay de(-) là hàm lỗi trên RB”.

Ngược lại, giả sử dạ(-) là hàm lỗi Lay tuỳ ý w?, w? € € và A € Í0, 1] Do dạ(-) lỗi nên

ta có

đa(Au! + (1 — dw?) < Adn(eeD) + (L— Alda (w?).

Vi Q đóng, khác rỗng va ww? € 2 nên áp dụng Mệnh dé ta có da(w!) = da{w*) =

0 Khi đó

Ú < đa(Au! + (1— Ajw?) < Adp(w') + (1 — À)đn(ø”) = 0.

Ta suy ra do(X\w! + (1 — A}w?) = 0 và theo Mệnh đẻ[L.1.2] Aw! + (1 —Ajw? € cl(Q) Cuếi

cùng, vì 2 đóng nén cl(Q) = 2 Vay Aw! + (1 = À}¿e? € Ø hay © là tap lỗi Oo

Mệnh dé tiếp theo trình bay một đặc trưng cha phép chiếu cho tập lỗi, đóng.

Mệnh dé 1.1.7.I0| Mệnh đề 1.78) Cho 2 là một tap con khác rỗng, lỗi của l3", # € RB”

và ø € Q Khi đó ta có ø € Pn{r) néu và chỉ néu

1.1 Hàm khoảng cách va phép chiếu Euclide

|e — u||? = ||£ — wll? + 2(z — ø,# — u‡ + |lø — wIl* > ||z — wll’.

Vì vậy |Ì# — w|| > ||#£ — || với mọi w € 2 hay ||Z — || = dđa(#) Do đó ø E Paf{z) C]

Hình 1.4: Minh họa cho Mệnh đề |L.1.7

Cuối cùng của mục này, chúng tôi đưa ra công thức tính khoảng cách và tìm hình

chiến từ một điểm đến một siêu phẳng bắt kỳ trong không gian #°, để minh họa cáchtìm khoảng cách, hình chiếu thông qua đại số, giải tích và áp dụng các kết quả đã nên

trong các mục trước.

Mệnh dé 1.1.8.|IÌ Ví dụ 3.21 ] Cho vecto u € #*®\ {0}, a € Ñ và siêu phẳng L =

{z €R”: (,z) = a} Khi đó với bat kỳ z € R", ta có

Chương I Kiến thức chuẩn bị

Chứng minh Lay tùy ý 2 € BR", đặt

af'=at+- Tu u

Ta có

{u, 2} = (« + a oa) = (u,z} + 7 - Ất, tỳ = a.

Do đó 2’ € L.

Bằng cách viết L = {z € lề" : (u,z} > a và (-u, 2} > —a}, ta có L là tập lỗi đa diện

và do đó L là tập lỗi, đồng Bay giờ ta chứng minh {a} và {b).

Vậy ta có được (a) Hơn nữa, vi 2’ € Ù va lle" — z|| = dy{z) ta cũng suy ra 2’ € Py (2).

Cuối cùng, do L khác rỗng, lỗi, đóng nén theo Mệnh đề |1.1.5| ta có P;(z} là tap một

1.2 Nón lùi ra

1.2 Nón lùi xa

Trong mục này, ta trình bày một số kết quả co ban về nón lùi xa để đưa ra điển kiên cẩn

và đủ để một tip khác rỗng, lỗi, đóng trong ï#" là tap bị chan.

Dịnh nghĩa 1.2.1.{IÌ Định nghĩa 6.47} Cho C là một tap con khác rỗng, lỗi của R* Nón

lùi za của C được định nghĩa bởi

rec(C) = {z€lE*°:rz+Œ CC},

với z + C := {r +: € C}.

Vi dụ 1.2.2 Cho C = {x €R?:r; > 0,2 = 1,2} Khi đó ta có rec(C) = C Thật vậy,

với mọi # € rec(Œ), do Og: € Ở nên # = z +0€ C Suy ra x € C và do đó ree(C) CC.

Ngược lai, với mọi y € C, lẫy tùy ý z € Œ Khi đó ta có ¿+ z¿ > 0,2 = 1,2 nên + 2 EC.

Suy ra € ree(C), dan đến C C rec() Ta kết luân rec(C) = C

Hình 1.6: Nón lai xa của góc phan tư thứ nhất trong 8? là chính nó

Nhân xét 1.2.3 Tit Dinh nghĩa [1.2.1] ta thấy với Ở là một tap con khác rỗng, lỗi bat

kỳ của ER" thì rec(C} là nón lỗi và chứa 0z« Thật vậy, lay tuỳ ý z, € rec(C} và z € C,

ta có + z = z € Ở nẽn 0 € rec(C) Mặt khác, do y € rec(C) nén + z € Œ Kết hợp

với x € rec(C), ta suy ra Íz + ) + z= z+(u+z] €Œ Do đồ x+y € rec(C) Hơn nữa,

0 € rec(C} nên rec(C) # Ú Ta kết luãn rec(C) là nón lỗi

Tiếp theo, ta trình bày một đặc trưng cho các phan tit của nón lùi xa như sau.

Mệnh dé 1.2.4.(IÌ Ménh dé 6.50) Cho C là một tập con khác rỗng, lỗi, đồng trong R”

và x € #" Khi đó, hai mệnh dé sau tương đương.

(i) x € rec(C).

{ii} Tén tại day {zÊ]š¿w CC và {ax}xew C (0, 1] sao cho ay > 0 và a,z* — x.

Chứng mạnh Gia sử x € rec(C) Theo Nhân xét rec(Œ)} là nón nên &z € rec(C), vớimọi k € Ñ Vì C # Ú nên tổn tại € C Ta định nghĩa hai dãy {zÈ*}¿¿w và {e¿};ew bởi

#È = k# + ,œy = ĐÁ e€Ñ Rõ ràng {ax}xew C (0, 1] Vika € rec{(C), với mọi & € Ñ nên

a = kz + ụ € Œ, với mọi k € Ñ Khi đó ta có

: 1 y

£ = lim ={kz +) = li +=) =a.

jim axe = jim ~ {ka + y) jim (z | 9) #

Chương I Kiến thức chuẩn bị

Ta có được mệnh đồ (ii) với hai day {zŸ}¿ewy, {az}¿ew như trén

Ngược lại, giả sử tổn tai day {2"*}yen C C và {a¿]sen C (0, 1] sao cho a, > 0 và

ac+* > + Lấy tuỳ ý z € Œ và định nghĩa dãy {z*}ccw với

* = apr* + (1 — ay)z.

Với mỗi k € Ñ, do C lỗi và a, € (0,1), z* € C nên z* e Œ Khi đó

im z* = hi a —a)z] = # + z.

Jim # pm [œzŸ + (1 -ag)z] = z

Cuối cùng, sử dung tính đóng của C, ta có dãy {2*} C C và z* — + + z khi k — oo nên

œ+z€CŒ Viz€(C' tuỳ ý nên ta suy ra x € rec(C) theo định nghĩa 0Mệnh dé 1.2.5 [L| Mệnh dé 6.51) Cho C là một tập con khác rỗng, lỗi, đồng trong R".

Khi đó, C bị chan nếu và chỉ nếu rec(C) = {0}

Chúng minh Gia sử C bị chặn và tốn tại x € rec(C) sao cho + # Ope Theo Nhân xét

rec(C) là nón nền kx € ree(C) với mọi k € N Vì Œ # Ø nên tồn tại € Œ Khi đó

ta có

ke + CC, với mọi k € Ñ.

Mà r # 0 nền

dim [Ax + yl] 2 Jim (||kz|| — llvll) = Jam k|lz|| — [lyl] =

+<-Như vậy ra tim được day không bi chan {ka + y}yen C C, mau thuẫn với C bị chăn Takết luân rec(C) = {0}

Mặt khác, giả sử Œ không bị chặn Với mỗi k € N, tồn tại z* € C sao cho Í|x*|| > &.

ra € B, (0), hay ||y|| = 1 Như vay, ta có hai day

{x Siew c¢, {a* }ien c (0 1]

và

lim a*z#' = lim m=

Ap dung Ménh dé ta suy ra y € ree{C) Hon nữa, y # 0 nền rec(C) # {0} Như

vậy, nên rec(Œ} = {0} thi C bị chan.

Chứng minh được hoàn tắt O

10

1.3 Hàm lỗi va các tính chất

1.3 Hàm lồi và các tính chất

Ta lan lượt trình bày định nghĩa ham lỗi, hàm lỗi manh và các phép toán bảo toàn tinh

lỗi của chúng.

Dinh nghĩa 1.3.1.(10] Định nghĩa 1.32) Cho ƒ : 2 + R là một hàm số được định nghĩa

trên tập lồi 2 CR” Ham f được gọi là lỗi nếu

ƒ(Ar +(1— Ady) < Af (2) + (L— À)ƒ (y) với mọi z, y € 2 và À € Í0, 1)

Định nghĩa 1.3.2 El Định nghĩa 5.16] Một hàm f : R" — R được gọi là Z-lỗi mạnh với

ø > 0 cho trước nếu bat đẳng thức sau thỏa man với mọi x,y € IR" và A € [0,1]

ƒ0#+ (1~ Aly) SAF (x) + (1= AYE (uv) ~ GAUL — A) [le = al.

Ménh de 1.3.3 [2] Bồ dé 5.20] Cho f : R” — R là một hàm o-léi mạnh (ø > 0), và

g: R" 3 E là một hàm lồi Khi đó ƒ + ø là z-lỗi mạnh

Mệnh dé 1.3.4 [10) Mệnh dé 1.40) Cho B : R® > RP? là một ánh xa affine và f : R? — R

là một hàm lỗi Khi đó f o B là một ham lỗi

Mệnh dé 1.3.5 (10] Mệnh dé 1.38] Cho f, : ÉP — 8 là các hàm lỗi với mọi 7 = 1, ,m.

Khi đó các hàm sau đây cũng là hàm lỗi

(i} Ham nhân vé hướng Af với bắt kỳ A > 0

(ii) Hàm tổng ¥ /,

t=}

{iii} Ham lấy giá tri lân nhất max fi

l<icm

Tiếp theo, ta đưa ra các kết quả quan trong về tính liên tue của một ham lỗi

Mệnh dé 1.3.6 [10] Hệ quả 2.28] Nếu ƒ : E" + là một hàm lỗi thì ƒ liên tục Lipschitz

dia phương trên R",

Dinh lý 1.3.7 Cho f : [x,y] — E là ham số liên tục trên đoạn [x,y] với z,y € RB" x # y

và [x,y] := {Az +(1— À)w : À € Í0,1]} Giả sử a là một số thực thỏa mãn f(x) < a < Sy) Khi đó tồn tại z € [x,y] sao cho f(z) = a.

Chứng minh Xét ¿ : |0, 1] — R cho bởi y(t) = /0z + (1 — )y),† € [0,1] Dat u(t} =

tx + (1 = tự, với moi € [0,1] thì ta thấy œ là hàm liên tục trên í0, 1j Kết hợp với tính

liên tục trên Íz, | của hàm ƒ, ta có ¿ = f ou liên tục trên Í0, 1)

Nếu f(x} = a hoặc fly) = a, ta chọn z = x hoặc z = y tương ứng Ngược lại, ta có

pl) = f(x) < a < fly) = z(0):

Do y là hàm một biến liên tục trên [0,1] nén áp dung Dinh lý giá trị trung gian cho ham

một biến, tổn tại A € (0, 1} sao cho y{A) = a Khi đó

f(Az + (lL = À)p) = &

Dưới vi phần của ham lỗi là một định nghĩa hữu ích giúp ta có được một điều kiện

cẩn và đủ để tìm cực tiểu của một hàm lỗi Dau tiên, ta nhắc lại định nghĩa đưới vi phan

trước khi trình bày một số tính chat và quy tắc tính dưới vi phân thông dung

11

Chương I Kiến thức chuẩn bị

Định nghĩa 1.3.8.(I0Ì Định nghĩa 2.30] Cho ƒ : E2 + E là một hàm lồi và z € R” Mộtvectd € BR” được gọi là một subgradient của f tại # nếu

(vn = #} < f(x) — F(Z), với mọi « € RE".

Tap hợp tat cả các subgradient của ƒ tại & được gọi là đưới vi phan của ƒ tại Z và được

ký hiệu là 2ƒ(2).

Mệnh đẻ 1.3.9 |10| Mệnh dé 2.35 | Cho ƒ : R" — BR là một hàm lỗi và z e R" Khi đó,

ƒ dat cực tiểu toần cục tại Z nếu và chỉ nếu 0 € ởƒ(?)

Dac biệt, mệnh dé tiếp theo chi ra dưới vi phân của một ham khả vi tai một điểm

gầm duy nhất gradient của nó tại điểm đó.

Mệnh đề 1.3.10 [2| Dinh lý 3.33] Cho ƒ : R" + EE là một hàm lỗi và z € IR" Nếu f khả

vi tai z thì ؃/(z) = {V/(#)} Ngược lại, nếu ƒ có duy nhất subgradient tại z thì f khả

vi tại z va ؃{z) = {V f(x}.

Tiếp theo, ta đưa ra các quy tắc tính đưới vi phan, giúp giảm nhẹ quá trình tính toán

khi làm việc với những hàm lỗi phức tạp

Mệnh dé 1.3.11.|2| Hé qua 3.39| Cho fi, fạ đ„ : R? — 8 là các làm lỗi nhận giá trị

thuc Khi đó với bat kỳ z € R®, ta có

a (x: ) (z)= 9/0).

i=] i=l

Định lý 1.3.12 {2} Định lý 3.43] Cho f : RB" > RJA mốt hàm lỗi va A: lề" SBP làmột phép biến đổi tuyến tính Cho h : R”TM =— IE",h{z) = /(A(z) + b) với b€ RB” Khi đó

8h(z) = A (Of( A(x) + 6)), với mọi x € R",

Mệnh dé 1.3.13 Cho f : B® > R là một hàm lỗi Khi đó và ؃/(z) : R" + R* là ánh

xạ đơn điều, nghĩa là

{ty — Uy, # — y) > 0, với mọi z, € R", với mọi 0; € ؃(#),»y„ € ؃(w).

Chứng mink Lay tay ý 2, y € R" và 0; € Ôƒ(z).uy € OF (y} Khi đó ta có

(t„vụT— +) Š Sly) — f@).

{uy,z —y) S f(x) — fly).

Công hai bat đẳng thức trên theo về, ta được

(Uy — tụ, — 2} <0.

Ta suy ra (v, — vy, — y) > 0 n

Tiếp theo, ta trình bày về tap mức và đường mức của một hàm lỗi Các đối tượng này

đồng vai trò trung tâm trong việc nghiên cứu cực trị của một hàm lỗi

Định nghĩa 1.3.14 [2) trang 15] Cho ham f : f2" => E va œ là một số thực bất kỳ Tap

mic của ham f tương ng với giá trị & được định nghĩa bải

Lev{f,a) = {z€ 8°: /(r} <a}.

Đường mec của ham ƒ tương ứng với giá trị œ được định nghĩa bởi

U(f,a) = {+ ER": f(x) =a}.

12

1.3 Hàm lỗi va các tính chất

Định lý 1.3.15 (16) Dinh lý 4.6] Cho ƒ : R” + R là một hàm lồi và a là một số thực

bat kỳ Khi đó ta có tập mức Lev(ƒ, a} là tập lỗi, đóng

Chứng mink Nêu Lev(f, a) = Ú thì Lev(ƒ, œ) là tập lỗi, đóng Giả sử Lev(ƒ œ) # Ú Lay

tuỳ ý x,y € Lev(ƒ.a} và A € (0,1) Khi đó f(x} < « va fly) < a Ap dung tính lồi của

hàm f, ta có

ƒ{(A# + (1 = Ady) < Àƒ(z) + (1 = AV Sy) < Aa + (L~ Aja = a.

Suy ra Àz + (1 = Ajy € Lev(f.c) và do đó Lev(ƒ,a) là tap lỗi Hơn nữa, theo Hệ quả

ƒ liên tục trên R° Vì Lev(ƒ, œ) = ƒ*!{(—œ, a]) nên Lev(ƒ, a) đóng Oo

Bo dé 1.3.16 Cho D là một tap khác rỗng, lỗi trong R" và 2” € int(D) Khi đó, với moi

x € D, tén tại y € D và À € (0,1) sao cho

Chương I Kiến thức chuẩn bị

Hình 1.7: Minh họa điểm trong x" của tập lỗi khác rỗng D.

Mệnh dé 1.3.17 Cho f : 3" 4 E là một hàm lỗi và œ là một số thực bắt kỳ sao cho

Lev{(ƒ,a) # U(f, a) Khi đó bd(Lev{f,a)) = U(ƒ a).

Chứng mink Vì Lev(f,a)} đóng nên ta có

bd(Lev(f,a)) = cl(Lev(ƒ, a)) \ int(Lev{f,a)) = Lev(ƒ, a) \ mt(Lev(ƒ, a)).

Đặt A, = {x € RK”: f(a) < a} Vì Lev{f,a) 4 U(ƒ,a) nên A, # Ú Ta sẽ chứng minh

int(Lev(f.a)) = Aj Dau tiên ta chứng minh A, C int(Lev(f,a)) Lấy tuỳ ý z € Ag, ta

có f(x} <a hay a — f(x) > 0 Vi f liên tục tai z nên tốn tại ? > 0 sao cho

|f(w) — f(x) < œ— f(x), với mọi € B(x).

Suy ra

fly) < a, với mọi € B,(2).

Dẫn đến Ö,(z) C Lev(f,a) và đo đó x € int(Lev(f,a}) Vậy Ag C int(Lev{ƒ, a))

Tiếp theo ta chứng minh int(Lev(f,a)) C A„ Lấy tuỳ ý z € int(Lev(f,a)) và y €

A, C Lev(f,a) Do Lev(f,a) là tập lỗi, khác rỗng trong R® và x € int(Lev{f,a)) nên

tốn tại z € Lev{ƒ,a}, À € (0,1) sao cho

a= Àự + (1= À)z.

Khi đó, do f là ham lỗi và € A, nên

f(x) = f{Äu + (1 — À)z) < Af(y) + (1 — A) f(z) < Aa + (1— Aja = a.

Ta suy ra ƒ(#) < @ hay © € Ay Do đó int(Lev(f,a}) C A, Tóm lại, ta chứng minh được

int(Lev(f,a)) = Ay = {2 € RB": f{z) < a} Ta suy ra

bd(Lav(ƒ, a)} = Lev(ƒ, a) \ int(Lev(f,a)) = Lev(ƒ, œ) \ 4a = UV, a}.

n

Nhận xét 1.3.18 Kết luận của Mệnh dé không còn đúng trong trường hợp

Lev{ƒ.a) = U(Ƒ,a) # 0 Thật vay, xét ham f(r) = [2 = 1] + |x = 3| là hàm lồi trên R có

tập các điểm cực tiểu là S = [1,2] = Lev(ƒ, 1) = {ƒ, 1) Khi đó bd(Lev{ƒ, 1)} = {1,2},tuy nhiên (ƒ, 1) = Lev(ƒ, 1) = [1,2] Do dé /(ƒ, 1) # bd(Lev(ƒ, 1)).

14

1.3 Hàm lỗi va các tính chất

Mệnh dé 1.3.19 [17] Bai tap 2.12) Cho f : #" => R là một ham lỗi Nếu ƒ có một tập

mức khác rỗng và bị chặn thì mọi tập mức của f déu bị chặn

Chứng minh Giả sử tồn tai a € R sao cho Lev(ƒ, a) khác rỗng và bi chan Ta chứng minhmọi tập mức của f đều bị chặn bằng phan chứng Giả sử có 3 € RB sao cho Lev(ƒ, 3)

không bị chặn Rõ rang a < 3 và do đó Lev(Ÿ, a) C Lev(f, đ).

Theo Mệnh dé Lev(f, 3} là tập lỗi, đóng Ta cũng có Lev(ƒ 3) khác rỗng do

nó chứa Lev(ƒ, œ) Ap dung Mệnh dé tốn tại v € rec(Lev(ƒ, đ)} và v # Oge Khi dé

ta có

ø + fu € Lev(ƒ, 3), với mọi t > 0,2 € Lev(ƒ 8).

Lay 2° € Lev(ƒ, œ} và xét £ > 0 tuỳ ý Dat 2° = 2° + tv, do 2” € Lev(ƒ,a) C Lev(ƒ, 8)nên 2° € Lev(ƒ, 3), với mọi t > 0 Vì Lev(ƒ,øœ) bi chặn nén tồn tại f/ > 0 sao cho

+” =a + ứu € Lev(f,3) \ Lev(ƒ a).

Nhu vậy, tốn tai ¢; đủ lớn va ta chon 6; > £', sao cho

f(a!) = $2) -a„ fe") - fe")

như +tiy) + Lên Fat) < f(a") = Fla + ty) = ƒ ra + ty) + L=_ #

}-Điều này trái với tinh lỗi của hàm ƒ do ' € (0,1).

1

Như vay mọi tap mức của ƒ đều bị chặn Oj

Chương I Kiến thức chuẩn bị

Mệnh dé 1.3.20 Cho f : RB" — R là mốt hàm lồi Giả sử ƒ có Š := argmin(ƒ/} là tap

khác rỗng và bị chặn Goi f, = min f(x) Khi đó, với mọi a > 0, đường mức (ƒ, ƒ, + œ}

xe"

là tập khác rỗng và compact.

Chứng minh Rõ ràng U(ƒ, f + a) = ƒT{{ƒ + a}) và f liên tục trên R” nén (ƒ, ƒ, + œ)

là tập đóng Mặt khác, S = Lev(f, f,) là một tap mức bị chặn của f nên theo Mệnh dé

1.3.19| ta suy ra mọi tập mức của f đều bị chặn Do đó U{ƒ, ƒ, + a) C Lev(ƒ, ƒ, + a) bị

chan Vậy U(f, ƒ, +a} là tap compact Tiếp theo, ta chứng minh US, ƒ, + a) # 0 bằng

phản chứng Giả sử U(f, ƒ, + ø) = 0, nghĩa là

ƒ(œ) # f +a, với mọi x € #"

Lấy tuỳ ý z € R", vì f(z) # ƒ, + a nên f(x) > f, + œ hoặc f(x) < ƒ +a Nếu

f(x) > fi ta, do Š #0 nên tồn tại z* € Š và ta có

ƒ(*)= f.<f.+a< f{2).

Theo Alệnh đề ƒ liên tục trên R° nên ƒ liên tục trên |z*,z| Ap dụng Hệ quả

tốn tai € [z*,z] sao cho f(y) = ƒ, + a Suy ray € U{ƒ, ƒ, +a), mâu thuẫn với

Uf f + a) = Ú Như vậy f(z) < ƒ, + œ với mọi x € E" Khi đó

Lev(f, f +a) = {x ER": f(x) < ƒ + a} = RP

Ta suy ra Lev(ƒ, ƒ, + a) khong bị chan Diéu này mau thuẫn với moi tap mức của ƒ bị

chăn Như vậy ta có U(f, fi + a) # Ú C]

Phan cuỗi của mục này trình bày về cue trị của một hàm lỗi

Dinh lý 1.3.21 Cho D là một tap khác rồng, lỗi trong R" và f : D —› 8 là một hàm lỗi

trên J2, Giả sử f dat giá trị lớn nhất trên D tai z? € D Nếu +? € int{D)} thì f là hàm

hang trén D.

Chứng minh Giả sử 2° € int{D) Lay tuỳ ý 2 € D, theo Bổ đẻ|L.3.16| tồn tai € D và

À€ (0,1) sao cho

x” = Àrz+(1— À)y.

Sử dụng tinbh lỗi của ham f trên D, ta có

fƒ(z°) = ƒ(Az + (1 — Ady) S Àƒ() + (1 — À)/(w) < AF (x) + (1 — A)f(z°).

Bắt đẳng thức cuỗi có được do z? là cực dai của f trên D Như vậy, ta được

1.3 Hàm lỗi va các tính chất

Hệ qua 1.3.22 Cho D là một tap khác rỗng, lỗi, compact trong RB" và ƒ: D> E là

một hàm lỗi, liên tục trên D Khi đó

max f(2)= max {x},

reD zcbd(Ð)

trong đó bd{D) = D\int(D) là biên của D0.

Chứng minh Vi D là tập khác réng, compact và f liên tuc trên D nên theo định lý

Weierstrass, f dat giá trị lớn nhất trên D Giả sử phản chứng giá trị lớn nhất của ƒ trên

D Ane dat trên bd(D) Khi dé ƒ đạt giá trị lớn nhất tai 2° € im(D) Theo Dinh lý

1} f là hàm hằng trên Ø2 Suy ra ƒ đạt giá trị lớn nhất trên bd(D), dẫn đến mau

Ty Vay max f(z} = max ffx n ¥ max fi y= r€ mex TA }

Chương 1 Kiến thức chuẩn bi

Chương 2

Sự hội tụ của thuật toán subgradient

Trong chương này, ta khảo sát su hội tụ của thuật toán subgradient cho bài toán tim cực

tiểu của hàm lỗi f : #? — E Thuật toán này được Shor giới thiên trong và bao gồmcác bước như sau.

Thuật toán 1 (Thuật toán subgradient).

Bước 0 (khởi tạo) Đặt k = 1 Lấy x! € R" tùy ý và day bước nhảy a, thỏa các

Sự hội tụ của thuật toán subgradient trong trường hợp tổng quát khi hàm mục tiên

là hàm lỗi và trong trường hợp tấp nghiêm của bài toán bị chăn được trình bày lẫn lượt

trong hai mục sau.

2.1 Sự hội tụ trong trường hợp tổng quát

Ví dụ 2.1.1 Xét hàm ƒ : R? — E cho bởi f(x} = lzi| + 2|za|,# = (41,22) € RẺ Dat

y = (a,0),œ = (sign(a),—1),a # 0 Khi đó ta cô u € 2ƒ(),0 £ ؃(w) va fly) > fly),

trong đồ y/ = — Fou với œ > Ú bất kỳ.

Thật vậy, do f có duy nhất điểm cực tiểu toàn cuc là Og: và # 0 nên 0 £ Of{y) Ta có

19

Chương 9 Sit hội tụ của thuật toán subgradient

dưới vi phan của f tại x € BR" bat kỳ cho bởi công thức

9ƒ(z) = ( = (0,y) € R?: mị € { ark " a ,tw € { a ar E Liện \

fav u € ؃(} Mặt khác, ta có = y- Su = (« _ asign(a) 5) nênTeil 2 "v9

fy) = Jn - +2| | > [al - ee + va > Jal = f(y).

Nhu vay, khi đi từ y = (œ,0) ngược hướng subgradient của ƒ tại đó là wv = (sign(ø} =1}

với bước nhảy œ > 0 tùy ý, thuật toán subgradient sinh ra “ = — Tar với gia trị ham

mục tiếu f(y’) > fly).

Vi dụ trên cho thay khi vận hành Thuật toán {I} ta có thể gặp trường hợp hàm mục

tiêu của bài toán đang xét tăng lên trong một số bước lặp nào đó Do vay, để thiết lap su

hội t của Thuật toán |i] trong trường hợp tổng quát, ta cần đưa ra định nghĩa đưới đây.

Định nghĩa 2.1.2 trang 140] Giá trị ghi của f(z) trong k bước lap đầu tiên được

cho bởi cing thức

¬ an F

Hn = min, f(x").

Khi thuật toán vận hành, song song với dãy lặp {z*} và day giá trị ham {f{r*}}, ta

có thêm day giá trì ghi {óc} là day giảm theo định nghĩa trên Tại bước lặp thứ È, óc

giúp ta lưu lại giá trị nhỏ nhất của giá trị ham mục tiêu trong k bước lap đầu tiên Kết

quả hôi tụ chính trong trường hợp tổng quát của Thuật toán [I| sẽ được thiết lap thông

qua su hội tụ của day giá trị ghi, được trình bày trong định lý dưới day.

Dịnh lý 2.1.3 Dinh lý 1, trang 140] Cho f : BR” + RB là một hàm lỗi Giả sử+! € R" tùy ý, {ay} là một dãy số thực dương thoả man

và {z*} là day sinh bởi Thuật toán H Khi đó ta có lim oy = ƒ,, trong đó f, = inf f({z).

Chứng mink Với mỗi k € N*, ta có

Ủy = pain ƒ(+') = f(z’) > f., với J € {1, , k} nào đó

2.4 Sự hội tụ trong trường hep tổng quát

sử ở, # /,, nghĩa lad, > /, Vì lim a = ó, và {4} là day giảm nên nên ó¿ > ó,, với

km

moi & € N* Điều này dẫn đến

f(a*) > min ƒ(z`') = d¿ = 4, với mọi k € Ñ" (2.3)

l<exk

Vio, > f = inf f(r) nên tên tại z € BR" sao cho ó, > f(z) > f Do f bên tục trên

reR"

R" nên tổn tại p > 0 sao cho f(x) < ¢,, với mọi « € B,{z) Lấy k € N bắt kỳ và đặt

i, = E+ Pa” thì ta có ||#y — #|| = ø Suy ra % € ,(#) và do đó f(%) < ở„ Mặt

khác, do ø* € ؃(z*} nén

ƒ(ấu) > f(z") + (ấy — x*).

Két hợp điều này với f(x") > ó từ {2.2} ta có

fli) =o + (e*, i —2*\= 9, + {v*, Ấy — #) + lot z— 2")

Chương 2 Sự hội tụ của thuật toán subgradient

Từ đó ta có

any? +) oc? ae

agp < |lx* — #|[| — ||x**? — #|| , với mọi k > #”.

Với j > kƒ bat kỳ, lấy tang các bat ding thức trên từ #2 đến 7, ta có

Điều này mâu thuẫn với > a, = oo Vay ta có ó, = f, ¬

Trong trường hợp tổng quát, ta có được sự hôi tu của thuật toán subgradient theonghĩa day giá tri ghi hội tụ vẻ giá trị tối ưu của bài toán, nghĩa là theo lý thuyét.ta tìm

được giá trị toi ưu của bài toán Tuy nhiên, ta khong có sự liên hệ về day lap tạo bởi

Thuật toán [| với nghiệm của bài toán, Mục tiếp theo trình bày kết quả hội tụ mạnh hơn

liên quan đến van dé này trong trường hợp có thêm giả thiết tập nghiêm của bài toán bị

chăn

2.2 Sự hội tụ trong trường hợp tập nghiệm bi chan

Bo dé 2.2.1 Cho ƒ : E" > # là một hàm lỗi, z* € argmin(f),a > 0 và +, Ee R",ue€

Of{x),v # 0 thỏa man y = # — ier’: Khi đó

2.2 Sự hội tụ trong trường hop tap nghiệm bị chan

Ta sẽ uée lượng giá tri (x ze a)

Dat L = {ue R”: (0, — r) = 0} Do v O nên LF là siêu phẳng trong RB” Ap dụng

Ménh dé cho v € Of {x} va 0 € AF (x"*), ta được

(u,z—a*} =(0—0,z— 1z”) > 0 (2.5)

Ap dụng Mệnh đề[L.13} khoảng cách từ z* đến L được tính bởi

wy — Kea) = (2 Ker) wee) — /2 2

a) = D7 = KỈ rel ( ‘ay

Thay vào Q.4}, ta được

lly — 2° ||? = llz — 2° |)? - 2ad,(z*) + 0? (2.6)

Mặt khác, với moi uw € U(ƒ, /(z)) thì ƒ{w) = /(z) Lai sử dung v € Of (x), ta có

f{u) > f(z) + (6u — 2) =0 = flu) = f(z) > — 2-4).

Suy ra (v,u) < (u,z} Từ (2.5) (2-5), ta cũng có (vat) < (n,z) Vay ot và U(f, /(z)} nằm

cùng phía so với siêu phẳng L.

Lay tùy yu € L, tà có {p,ư —= +} = 0 Lại sử dụng v € ؃{r} ta được

fu) > f(x) + {tu — x} = f(x)

“ hợp với f(a’) < ƒ{z) ta suy ra f(a’) < ƒf{z) < /(u) Mặt khác, theo Ménh dé

ƒ liên tục trên BR" Suy ra ƒ liên tuc trên jz°,u| Ap dung Dinh hạn tồn tai

z : +*,| sao cho f(z) = f(a) Ta suy ra z € U(ƒ, ƒ(#))f (z*, w] Tóm lại, (z°, ¿] luôn đi

qua U(f, ƒ(z}) với mọi u € L.

Như vậy z*,U(ƒ, /(z)) nim cùng phía so với siêu phẳng Z và đoạn nỗi z* với một

phan tử trong L luôn di qua U(f, /(£)), De đó d„(#*) > duty.ga(£°) Thật vay, vì L lồi,

đóng, khác rỗng nén áp dung Mệnh dẻ[1.1.5] tốn tại duy nhất + € #„(z*} Khi đó w € L

nên tồn tại z € U(ƒ, ƒ(+))n € [2*, w) Dẫn đến z = Az” + (1 — À}#e với A € [0,1] Ta có

fy,g(n(#°) S lla" — zl] = IL — À)(z” — ø)|Í = (1 — Addy (a*) 2 dy (a*).

Như vậy dz(a*) > dụ¿y./xy(z°) Ap dung vao 64) ta dược

xi2 «2 - 2 2 Sw - *®\.: xể

ly — a" = |lz — z”||ƒ — 3œdu(z”) + a* 4 |la — 2" ||” — 3aduy.ry(# `} + a”.

n

Dinh ý 2.2 2.|21/ [21} Dinh lý 2.1] Cho ƒ : R® — 8 là một hàm lỗi và S :— argmin( f) # Ú.

Gia sử z! € R” tùy ý và day {2*} cho bởi zÊf! = zÈ — ——tẺ vải a > O,v* 6 Of a*) và

Chương 2 Sư hội tụ của thuật toán subgradient

Chứng minh Lấy tùy ý ¢ > 0 và z* € Š Nếu tồn tại k* € Ñ sao cho |Ít || = 0

thì 0 = œ*“ œ ؃{z*°}) Theo Mệnh aaa ta có a” € S Khi đó, chọn & = 2° thì

- ae <p ode + 1

/(8) = flat) = f4") và je - z"| =0 < “SE”,

Bay giờ ta xét trường hợp |lz#|| 4 0 với mọi k € N Khi đó {zÈ} cho bởi rẺ?! =

ak — [A = —*,k €N,œ > O,v* € ؃(z*) Với mỗi k € N, dat Uy = U{ƒ, ƒ(+*)) Áp dung

Bồ dé om ta có

lz**' — z'|Ï < ||z* - | = 2a, (z*) + a?, với mọi & € N (2.7)

Nếu dy, (ø*} > ale 1 Ụ , với mọi k € NM thì từ bat đẳng thức (2.7), ta có

Vì bat dang thức trên đúng với mọi & € nẽn đánh giá liên tiếp & lan, ta được

|lz**' - P ||a* - z° F e< Ie “lly XI — ats < < ||+! — 2° lš — kaÊ2e.

Cho k = oo thì 0 < in |Ìr**! - ? < |la! = at)? - Jim kate = =œ (vd lý) Do dé,

‘ate +1)

tồn tại k* € N sao cho dy,,(x*) < >= Rõ rang +#” € Up nên U, # 0 Mat khác

theo Mệnh đè {1.3.6} ƒ liên tục trên R* Khi đó, Uy = ƒ-(zt)}) là ảnh ngược của

tap đồng {ƒ(zF )} qua ánh xa liền tục f nén Uy đóng Theo Mệnh đà Lia} tồn tại

ría]}= su ds{z)= max ds(*#)= max ds{z) >0.

4) z€U[,Jz+a) ate) xeU(ƒ.ƒ.+4) ste) zelLv(ƒ,ƒ.-+a) a(2)

{ii} r(œ) + 0 khi œ = 0°.

Chứng mình (1) Lay tuỳ ý a > 0 Vi tap các điểm cực tiểu S của ƒ khác rỗng, bị chan

nên theo Mệnh dè[1.3.20] U(ƒ f, + a) là tap khác rỗng và compact Theo Mệnh dé [1.1.2]

dg(x) liên tục trên R" Áp dung Dinh lý Weierstrass, ta có

bfa}= min d;z(z) ría)= max ds{x}.( ) r€U(/,/,#£a} sí ) ( ) zEU(ƒ,f.+a} s( )

24

2.2 Sự hội tu trong trường hop tap nghiệm bị chan

Theo Dịnh lý ta có S = Lev(ƒ, ƒ,) là tập đóng Khi đó ÿ = ŠnU(ƒ ƒ, +a} =

el(8)f1U(, ƒ, + a) Áp dụng Mệnh dé ta suy ra ds(x) > Ú với mọi z € U{ƒ, ƒ, +a)

và do đó b(a) > 0 Rõ ràng r{a) > b{a) nên r{a) > bía) > 0 Vì 0 4 UC fe +a) C

Lev{ƒ, ƒ, + @) nên Lev(f, f + a) # Ú Theo Ménh đê|1.3.19| ta cũng có Lev(ƒ, ƒ, + 2) bị

chăn Kết hợp hai điều này và Định Iý[1.3.15] ta được Lev{ƒ, ƒ, + a) là tập khác rỗng, lỗi

và compact Theo Mệnh dé dg(x) là hàm lỗi trên R^ Áp dụng Hệ quả|1.3.22{ ta có

dg(x) = dg{x).

zẽ2r(/.ƒ +3) sứ) zebd(Lev(,f.-+ø)) sứ)

Hon nữa, theo Mệnh dé bd(Lev(ƒ ƒ, + a}) = UC ƒ +a) Do đồ

ae ds(z) ~ aeUlp feta) ds(x) ~ ría).

(ii) Với mỗi k € N, đặt a, = : và xét day {r(ac)}ven Với mọi & € Ñ, vì ay > apis

nên Lev(ƒ, ƒ, + agit) C Levi f, f, + ay) Do đó 0 < r(@x¿) < (ay) với mọi k € Ñ Vì vậy

{r(ax)} là day giảm và bị chăn đưới bởi 0 nên hội tụ Theo cách đặt r(a¿), ta có thể tìmđược z* € Lev(ƒ, ƒ, + a4) sao cho

r{ay) = ds(z*) với moi k € Ñ.

Mặt khác, do Lev{ƒ, fe + a.) C Lev(f, ƒ, + 1) = Lev(f, ƒ, + ay} là tập bì chặn nên day

{Z?}uew bị chặn Khi đó có dãy con {2**}ecy C {zŠ} ven sao cho z** => z khi £ => 00 với

z € R” nào đó Ta có

r(ay,) = dg(z**) với mọi £ e Ñ,

Cho É =+ co va sử dụng tính lién tục của him khoảng cách, ta được

lim r{a¿,] = jam ds{z**) = ds(z) (2.8)

(70

Ta lại có 2 € Lev(ƒ, f + ax,) nên f(z") < f,+a„, = f.+—, với moi £ € N Cho £ > %œot ky

với ƒ liên tục trên BR", ta cô

Chương 9 Sit hội tụ của thuật toán subgradient

nén

r{a) < r(ax„} < £.

Nhu vậy r(a} + 0 khi œ => 0” oO

Định ly 2.2.4 (21} Dinh lý 2.2] Cho f : R* RB là một hàm lỗi có S := argmin(f) khácrỗng, bị chan Giá sử x’ € IR” tùy ý, {a¿} là một dãy sé thực dương thỏa mãn

jira oy = 0, Sai = +oo

k-»>

và {z?} là day sinh bởi Thuật toán [1] Khi đó, nếu Thuật màn kết thúc thì

dim ds(x*} = 0 và im ƒ(z#) = min f(x) := (2.9)

xe"

Chứng minh Lấy tuỳ ý 2* € S Giả sử Thuật toán [I] khong kết thúc Khi đó v* # 0 với

mọi & € Ñ và day {z*} cho bởi

trong đó U, = U(Ƒ, ae với mọi k € N Lấy tùy ý a > 0 và xét r{a), b(a) được định

agp < b(œ) với mọi k > Nya).

Bước I Với mỗi > 2 ||z*:' — z

và ds(2**!) < đs(z').

Giả sử /(z*) > fi +a với k > Nog Vi Uy là tập đóng, khác rỗng nên tốn tại

z* € Py, (x*) Khi đó f(z*) = f(zÈ) và dụ, (+*) = ||zÈ = z*|| Ta có

ƒ(°)= f.< Í.+œ< f(z) = ƒ*).

Theo Định I¢ [1.3.7] tồn tai Ay € [0,1] sao cho w* = Ayz* + (1 — À¿)#* và f(w*) = f +a.

Như vậy u* € U(f, ƒ, +a) và theo định nghĩa của ba), ta có

b(a) < ||u# — #z*|| = ||Mz* + (1 — À¿)#° — #*|| = Agllz* — #*| = Andy, (2°) < du, (2°).

Ap dụng đánh giá này và ay < 6(a) vào 10} ta được

||r* - zl - ||+°*' - 2° |? > 2aydu,(r*) — a} > 2agb(a) — agb(a} = ayb(a) (2.11)

Suy ra ||z#?! = z*|| < ||r* - z*|| Do z* € S tuỳ ý nén ds(x**") < ás(z)

Bước 9 Tồn tại N„ > Noa, sao cho f(r) < ƒ£+a.

26

2.2 Sự hội tụ trong trường hop tap nghiệm bị chan

Giả sử phan chứng f(2*) > ƒ, + ø với mọi k > Nya) Theo Bước 1, ta có bất đẳng

thức @.11)

Izt — 2° ||? - lle*+' — z'| > aab(a).

Lay tuỳ ý 9 > Nojay + 2, công các bắt đẳng thức trên theo về từ A¿„; + 1 đến 7, ta được

Bước 3 Với mỗi k € Ny nếu f(2*) < ƒ, +a thì ds(a*t!) < r{a) + ay

Với mỗi k € N, néu fix") < f, +a, ta có Lev(ƒ, ƒ(z*)) C Lev(f, f, + a) Dẫn đến

ds(a*) < max ds{x) < max ds{r} = rfa) 2.12 so) S max dy(x) < pmax de(x) = r(a) (2.12)

Theo {2:10}, ta có

||z**' - z' |’ < |ja* - z'| — 2axdy, (x*) + af < |Ì>z” — z'|Ï +dỷ.

Via" € Š tuỳ ý nên

ds(ah*t)? = inf fat! = z |Ÿ < inf lla — z*|[ + af = ds9Ê + af.

Sử dung bắt dang thức (2.12), ta được

ds(a**")? < ds(x*)? + a} < r(a)? + a2 < (r(a) + ac)’.

Suy ra ds(a**") < r{a) + ay.

Bước { Chứng minh lim ds(x*) = 0

k—¬%

Đặt œ(Ä,) = max{a;} Lay tuỳ ý & > N, +1, ta sẽ chứng minh đs(z*) < r(a) + a{M).

Đặt P={iEN:N, <¡< k—1,ƒ(2} < f +a} Từ Bước 2, ta có ƒ(£Ÿ*) < ƒ, + a nên

N, € P Suy ra P # Ú Ton tại &* = max P Vì f(z") < ƒ, + ø nên theo Bước 3, ta có

dg ("+") < r{a) + aye < ría) + a{(Nh) (2.13)

Nếu &* = k — 1, theo {2.13}, ta có ds(z*) = dg(a*"*) < ría) + a(Na) Ngược lại, theo

cách đặt k* thì ƒ(2') > ƒ +a với mọi i thỏa mãn &* < i < È — 1 Theo Bước 1, ta được

ds(z*) < ds(a*"") < < ds(a*TM) < r{a) + a(N,).

27

Chương 9 Sit hội tụ của thuật toán subgradient

Tóm lại ta có

dg(x*) < r{a) + œ(N,) với mọi k > Ny + 1 (2.1)

Theo Bề đè |2 ta có r{a) — ( khi a — Ú* nên với bất kỳ ẩ > 0, tồn tại z(6} > 0 sao

cho r(a{s)) <5 - Vi jim (tự = 0 nên tổn tại Ä„¿¿¡ € Ñ sao cho ay < min {Hats 3}

với moi k > Nea Theo Bước 2, ta có thể tim được Nis € Ñ, Wz@y > „(4y sao cho

f (rŸs) < ƒ, + a(8) Ap dung (2.14) với a thay bởi a(đ), ta được

Wk > Nagy +1: đẹ(zÊ) < r{a(6)) + a(Naay) < mi + : =ã

Từ day ta suy ra Lim ds(z*) =

Fir

Bước 5 Từ pm dg(a*) = 0, suy ra jim f(x*) = ƒ

Gia sử phan chứng jim f(r*) # f Vì fla*) > f, với mọi k € N nên tốn tại sọ > 0

L-»»~e

và day con (at) on C {x*}een sao cho f (x*) > ƒ, + za với mọi £ € N Mat khác, do

Jim ds(z*) = 0 nên day {z*} bị chan Khi đó day {2*¢} cũng bị chan nên có một day

k-+»e

con hội tụ Không mắt tính tổng quát, ta có thể giả sử +Ê+ —> # khi £ -> oo với # € R”

nào đó Vì ds{z) là hàm liên tục trén &* va lim ds(2*) = 0 nén ta có

koe

0= lim ds(z*) = lim d(x") = ds (jim z5) = ds(z).

Suy ra # € S hay f(z) = f Tuy nhiên, vì f (x pe) > ƒ,+£a với moi £ € Ñ nên ta cũng cô

ƒ(#) = jim f (2) > ƒ, + sa > ƒ (mâu thuẫn).

Như vậy tim F(a") = f im)

Dinh ly 2.2.5 (21 Dinh lý 2.3] Cho f : R° > E là một hàm lỗi có S := argmin(f) khác

rỗng, bị chặn Gia sử dãy {zF} cho bởi công thức

2.2 Sự hội tụ trong trường hop tap nghiệm bị chan

Chứng minh Nếu tồn ed k* EN sao cho vTM = 0 thì zÈ+! = o* với mọi k > k* và ta có

zc € 8 Khi đó ta có Ñgướợc lại, giả sử v* # 0 với mọi & € R Ta định nghĩa day

{dg} bởi && = a¿||t*|| a ràng {ã¿} la day số thực đương Vì day {v*} bị chặn nên ta

suy ra lim & = lim ay = 0.

k-y00 k-»+s

~

Néu u da = +00, ta có thé thay bởi

at) =z*- a, v' € Of(z*}), KEN

Lúc nay, áp dung Dinh Is [2.2.4} ta được

Dan đến {z*} là day Cauchy trong R" và do tinh day di của RB”, ta suy ra day {z*} hôi

tu về 2” € R” nào đó Ta sẽ chứng minh z* € $ bằng phản chứng Giả sử z* £ S Khi dé

0 £Øƒ/(z*) Vì |lv"|| > 0 với mọi k € MN và tốn tại ®! € ؃(z!) nên ta đặt

= inf{||v*|] :& e N}

thia € E và a > 0 Ta sẽ chỉ ra a # 0 Thật vay, gia sử a = 0 Với mỗi £ € N, dat cy = Đ

tồn tại ky € N sao cho

ụ l

ÚI—a< lu” <atce= ra

Khi đó, ta tìm được day {+}, C {eX} và

l

see -=

0< Jen [lv ]| < Ma; = 9.

Suy ra vw — Og» khi £ 3 oo Ta lại có

f(y) > ƒ (x) + (oy — +), với mọi y € RB", với mọi £ € Ñ.

29

Chương 9 Sit hội tụ của thuật toán subgradient

Cho £ — œ, do 0# — 0ạa và 2 => z* nên sử dụng tính liên tục của hàm f và tích võ

hướng, ta được

flu) = jim [/ (a*) + Coy — 2 }] = f(a") + (Oy — 2°) = f(x"), với mọi y € R”.

Điều này mau thuan với z* ¢ S Như vay a # 0 và do đó a > 0 Khi đó ta có

lle“|| = a >0, với mọi k € Ñ.

Tóm lại z* € Š Ta kết luận day lap {a2} hội tụ về +* là một cực tiểu của ham f hay

thuật toán subgradient hồi tu a

Ví dụ 2.2.6.|ĐI| Định lý 2.3] Ta đưa ra ví dụ cho thấy giả thiết dãy subgradient {+}

bị chăn của Định lý [2.2.5] la cần thiết, Xét f(z) = at,” € RB Rõ ràng f là hàm lỗi

có duy nhất điểm cực tiểu là 0 Chon day ay = ï và z! = 1 Với mọi r € R, ta có

Of(z) = {ƒ'(r)} = {dz} Khi đó v! = 4,z? = zÌ — ayuÌ = —3,u? = —l08,z =

#2? — agv? = 51 Có thể thấy rằng {v*} không bị chan và f(2*) + f, = 0 Thật vay, ta có

|z!{ = 1.|+?| = 3 > 3.|z‡| = 51 > 3 Giả sử |x*| > k với k > 1 Khi đó

Tóm lại, ta không đảm bao được sự hội tu của thuật toán subgradient cho bởi khi

day subgradient tao thành không bị chăn.

30