Thuªt to¡n h÷îng ¤o h m (dèc nh§t) gi£i quy ho¤ch

2 MËT SÈ PH×ÌNG PHP GIƒI CÌ BƒN

2.1.1 Thuªt to¡n h÷îng ¤o h m (dèc nh§t) gi£i quy ho¤ch

to¡n

min{f (x) : x ∈ Rn},

÷ñc mæ t£ nh÷ sau.

Xu§t ph¡t tø x0, n¸u ∇f x0 = 0 th¼ x0 l  nghi»m tèi ÷u vîi f l  h m lçi, ta døng thuªt to¡n.

V¼ ∇f xk 6= 0 n¶n ð méi b÷îc k, khi ¢ câ xk ta l§y xk+1 theo cæng thùc

xk+1 := xk − λk∇f xk,

trong â λk > 0 (ë d i b÷îc ÷ñc chån) sao cho f xk+1 ≤ f xk. Mët sè c¡ch º x¡c ành ë d i b÷îc l :

a) Quy t­c ch½nh x¡c: λk = arg minf xk+ λdk: λ ≥ 0 .

b) Quy t­c Armijo: L§y sè tü nhi¶n nhä nh§t m sao cho

f xk −ξ/2m∇f xk ≤ f xk ≤ −εξ/2m∇f xk,

trong â 0 < ε < 1, ξ > 0 v  λk = ξ/2m. Thõ töc ch§m dùt t¤i k n¸u ∇f xk = 0.

ành lþ 2.1. ành lþ hëi tö

Gi£ sû f l  bà ch°n d÷îi v  ¤o h m cõa f l  Lipschitz tùc l 

∃L > 0 : k∇f (x) − ∇f (y)k ≤ Lkx − yk ∀x, y.

Khi â, thuªt to¡n ¤o h m vîi quy t­c Armijo l  hëi tö theo ngh¾a

∇f xk → 0 vîi k → +∞.

Chùng minh. . Cho dk = −∇f xk. B¬ng ành lþ gi¡ trà trung b¼nh vîi x ∈ xk, xk+1, ta câ. f xk+1 − f xk = ∇f (x), xk+1 − xk. Nh÷ vªy , do xk+1 = xk − λk∇f xk, n¶n f xk+1 − f xk = λkdk∇f (x) = −λk∇f xk ∇f xk − ∇f xk + ∇f (x) = −λk∇f xk 2 + λk∇f xk ∇f (x) − ∇f xk ≤ −λk ∇f xk 2 + λk∇f xk.∇f xk − ∇f (x) . (16)

Sû döng t½nh li¶n töc cõa Lipschitz cõa∇f v  l÷u þ r¬ngx ∈ xk, xk+1

chóng ta câ

∇f xk − ∇f (x) ≤ Lxk−x ≤ Lxk −xk+1 = λkL∇f xk.

Tø (16) v  (17) v  do λk = ξ/2t chóng ta câ f xk+1 − f (x) ≤ −λk∇f xk 2 + λk2L∇f xk 2 = −ξ/2t∇f xk 2 (1−ξL/2t) ∀t > 0. (18)

Vîi 0 < ε < 1 ta luæn câ thº chån t = m l  sè tü nhi¶n nhä nh§t º 1 − ξL/2t ≥ ε. (19) Khi â

∇f xk+1 − ∇f xk ≤ −ξ/2m∇f xk

2

ε. (A) vîixk+1 = xk − ξ/2m∇f xk. Nh÷ vªy m thäa m¢n (19), câ ngh¾a (18) s³ bao h m (A). L÷u þ, do m l  sè tü nhi¶n nhä nh§t , m  (19) thäa m¢n, ta câ 1 − ξL/2m−1 < ε. V¼ vªy ξε/2m > ε(1−ε)/2L. Thay v o (18) ta nhªn ÷ñc. f xk+1 − f (x) < −ε(1−ε) 2L ∇f xk 2 . (20) Do â

f xk l  ìn i»u gi£m. Theo gi£ thi¸t f bà ch°n d÷îi n¶n lim f xk > −∞. Do â f xk+1 − f (x) → 0. L§y giîi h¤n trong (20) khi k → +∞ ta th§y r¬ng ∇f xk → 0.

Chó þ 2.2. Ta câ thº l§y ë d i b÷îc λk º nâ l  ëc lªp cõa k. Trong thüc t¸ câ mët sè tü nhi¶n m0 nh÷ vªy.

(1 − ξL/2m0) ≥ ε. (A1) L§y λk = ξ/2m0 vîi 0 < ε < 1 v  m0 luæn luæn tçn t¤i. N¶n ta câ

f xk+1 − f (x) ≤ −ξ/2t∇f xk 2 1 − ξL/2t ∀t > 0. (3a) Vîi t = m0 ta câ f xk+1 − f (x) ≤ −ξ/2m0 ∇f xk 2 (1 − ξL/2m0). (3b) Vîi xk+1 = xk − ξ/2m0∇f xk. Tø (A1) v  (3b) ta câ

f xk+1 − f (x) ≤ −ξ/2m0 ∇f xk 2 ε ≤ 0. (3c) Do d¢y f xk l  ìn i»u gi£m n¶n f xk+1 − f (x) = 0 (v¼ f bà ch°n d÷îi). Tø (3c), chóng ta câ ∇f xk → 0.