8.3.1 Nội dung phương pháp
"Trong phương pháp Newton, ở mỗi bước, ta cần tính ma trận nghịch đảo [V?/ ()] 7 Đó là một công việc khó khăn, vì thế phương phỏp Newton ớt được sử dụng trong thực tiễn khi ứ > 1, mặc dù phương pháp có tốc độ hội tụ bậc hai.
Phương pháp tua Newton (Quasi - Newton Method) stt dung hiệu các gradient dé xấp xỉ [V?f (a*)] Theo phương pháp này,
quá trình lặp có dạng:
at = ok — A,H,VJ (+),
trong đó Hạ là xấp xỉ của [V?ƒ (z!)| ~T và ta nhận được phương
pháp với số bước lặp nhiều hơn, nhưng mỗi bước lặp ít phức tạp hơn và tốc độ hội tụ cũng chậm hơn, nói chung không còn là bậc hai nữa. Một phương pháp tiêu biểu thuộc loại này và bảo đảm
được tốc độ hội tụ trên tuyến tính là phương pháp mêtric biến thiên do Davidon — Fletcher — Powell đề xuất năm 1963.
8.3.2 Phương pháp Davidon — Fletcher — Powell
Phương pháp này sử dụng phép lặp (8.15), nhưng ở mỗi bước, ma trận nghịch đảo [V?ƒ (z)| = được thay bằng ma trận đối xứng xác định dương ,. H¿,¡ tính truy hồi theo Hy, Vf (z*), Vi (21). Khi ƒ(z) là hàm lồi toàn phương thì ở bước lặp œ + 1, ma trận H„„¡ sẽ trở thành ma trận Hessian nghịch đảo.
Xuất phát từ điểm z! được chọn tùy ý, ma trận ban đầu 7 là
ma trận đơn vị 7„ hoặc có thể là ma trận đối xứng xác định dương
bat ky. Dat k = 1. Thủ tục lặp gồm các bước sau đây (để cho gọn, ta viét g* thay cho Vf (x*)).
Bước 1. Ở bước k = 1,2,..., ta cú ứ# và ma trận đối xứng xỏc định dương Hỳ.
208 Chương 8. Phương pháp gradient
Chon z! € R”.
Dat Hy —I,, k=1
Dat d* = —Hy,g*
Tim A; dat min {f (a* + A#) :À> 0}
Dặt +F†+1 — „È + And, ve = A;ế"
Dặt bE©k+1 "Tính gȆ1!, „* = gt†! — ạt
Dựng Hạ,uẩ,ứ* tớnh Hạ¿i
lc"l< Ê hay |lứ*#!|| < ở?
Hình 8.3. Sơ đồ khối phương pháp Davidon — Fletcher — Powell
Bước 2. Để làm hướng tìm, ta chọn dk = —Hyg".
Bước 3. Tìm ; dat cuc tiểu của hàm y(A) = f (a* + dd‘), A> 0.
Bước 4. Dặt 0# = A¿d# = —A¿Hpg* va cht? = ok + 0È, suy ra yk = ghtl — gk.
Chú ý là từ điều kiện À„ đạt cực tiểu của ¿(2) ở Bước 3, ta suy ra
Ve) = (Vf(2**), d*) = 0 hay (gt, 0") = (ght d*) = 0.
(8.26) Buéc 5. Tinh f(a**!) va g**! = Vf(a**!). Néu |[g**1|| hoae ||v*||
đủ nhỏ thì dừng. Ngược lại, thực hiện Bước 6.
Bước 6. Dặt
uk = ght — gh. (8.27)
Bước 7. Biến déi ma tran H;,:
vk GẦN (H,u*) (Hyu*)"
H ket = AR + (uk, oF) Hy, + ——~ - (uk, Hyuk) (8.28)
Bước 8. Thay k bằng k + 1 và quay lại Bước 2.
Khi ƒ(z) = (,z) + j(œ,Gz) với Œ là ma trận đối xứng xác
định dương và e € IR“, thủ tục lặp nêu trên có các tính chất sau.
Dinh lý 8.5. Giả sử +" không phải là điểm cục tiểu của ƒ. Khi đó:
(a) Hạ sác định theo (8.28) là đối xứng uà xác định dương tới
mọi k.
(b) (g*,d') =0,1<i<k—-1 (0È tuông góc uới đ, Vi < k).
Hyu' = H,Gu' = v', 1 <i<k-1 (tì là uéctd riêng của HyG, Vi < k).
(dk, Gd’) =0,1<i<k—1 (d',...,d® la các hướng liên hợp đối uới Œ).
Nới riêng, ta có H„¡ = G~1 uà gh*! = Vƒ (+9) = 0.
Chứng minh. (a) Rõ ràng là H; đối xứng với mọi k và Hị xác định dương. Giả thiết quy nạp #1, xác định dương, ta chứng minh Hạy,\ cũng xác định dương. Thật vậy, do HH, đối xứng xác định dương nên tìm được ma trận tam giác Ƒ, sao cho có biểu diễn Hy = LÌL = LLT. Giả sử z e TR" là một véctơ tùy ý. Dat y = Lz,
210 Chương 8. Phương pháp gradient
w = LuẼ. Khi đó, theo (8.28), ta có:
(z, vk (v')' z) (z, Hguh (Huuh) z) (uk, vk) (uk, Hyuk)
(z,v")? _ (y,w)?
ub,vt) — (w,w)
: c\2 2
_ (yyw, w) = (yw)? (28). (2,04)
(w, w) (uk, uk) ~ (uk, uF)
béi vi (y,y)(w,w) — (y,w)? > 0 theo bất đẳng thite Cauchy — Schwartz.
Ta thay
(uk, v8) = (gh — gh vt) = — (98, v8) = An (g*, Hag") > 0
(chú ý là (g**1, vt) = 0 theo (8.26), v® = —Ap Hyg", Ax > O va Ay xác định dương). Như vay, (z, 44412) > 0, do z chọn tùy ý nên
Ay, xdc định dương.
(b) Phần còn lại chứng minh theo quy nạp. Trước hết, từ (8.27)
SUY Ta
uk = gh? — gb = G (ak) — 2) = Gu* = Ga". (8.29)
Œ, Hị..ì2z) = (z, Hz) +
fs}
= (yy) +
it
Từ đó, kết hợp với (8.28), ta có
. vk (vk) uk (Ayut) (Hyu*)" uẺ
1.¡Œu = Hy iuẺ = Hyu* + (uk, oF) — (uk, Hyuk)
= Hyuk + uk — Hyuk = 0%. (8.30)
Ta sẽ chứng tỏ phần b) đúng với k = 2. Thật vậy, theo (8.26), (g?, d') = 0 (tite ứ2 L đ!). Theo (8.30), H„u! = v!. Tit do, ta sộ chi r6 d?, d! lien hop déi véi G:
= —(g’,d') =0 (do v' = Aid’). ,
Bay giờ ta chứng minh các kết luận (b) theo quy nạp.
e Giả thiết g* L đ' với mọi ¡ < k. Ta ching minh g**! 1 d', nghĩa là
(gP?! đ) = 0 với mọi ¡< k+ 1. (8.31)
V6i i = k: (g**1,d*) = 0 theo (8.26).
Với ¡ < k:
(00014) = (ạt + AGdF, d) = (9, d') + Ax(d*, Gd’) = 0
(theo (8.29) và theo giả thiết quy nạp).
e Gia thiét Hu! = v' với mọi ¿ < k. Ta chứng minh
Hy, vu) = 0 với mọi ¡ < k+ 1. (8.32)
Với ¿ = k: Hạ,1uP = 0Ẽ theo (8.30).
ok (vk) Tai (Hyuk) (Hyu) "ul (0E) —” (uk Hyuk)
Với ¡ < k: Hạ.¡u' = Hyu? +
Ta thay
(v®, ul) = (Agd®, Ga’) (do v* = \yd* va ui = À;Gđ” theo (8.29))
= \p\i(d*, Gd’) = 0 (theo giả thiết quy nạp)
và
(Hyuk ut’) = (u*, Ayu’) = (Gu*, v')
(do u* = Gu", Hui = v' véi moi i < k)
= \pdi(Gd*, d’) = 4. A;(d*, Gd’) = 0
(theo giả thiết quy nạp).
Vì thế, Hạ,¡u' = Hyu? +0 — 0= t (Vi < k).
e Giả thiết (d*, Gd') = 0, V¿ < k. Ta chitng minh
(4t?! Ga) =0, Vi< k+1. (8.33)
212 Chương 8. Phương pháp gradient
Thật vậy, với 7 = 1,...,È, ta có:
(a**, Gd’) = —(Agsigh**,u'/i) (do dh" = —Hysig***, (8.29))
= —(gh", Agyau'/di) = (gh, v'/Ai) (do (8.32)
= —(g**1,d') =0 (do g**" L đ' theo (8.31).
Hệ thức (8.33) cho thấy các vóctơ đ!,..., đ" độc lập tuyến tính,
vì chúng là các hướng liên hợp đối với ma trận Œ. Do đó,
0!,...," cũng độc lập tuyến tính. Hơn nữa, từ (§.29), (8.32)
suy ta HyyiGu' = v' (i = 1,...,n). Do v!,...,v" lap nên một cơ sở của IR“ nên H„¡‡Œu = 0 với mọi 0 € R*“. Vì thế, phải có THạ¡G = T„ (ma trận đơn vị cấp n). TY d6 Any, = Go.
Từ (8.31) suy ra rằng véctơ g*†! vuông góc với n vécto doc lap tuyến tính đ!,đ2,..., d". Vì thế, g"*! vuông góc với mọi đ € IR", nghĩa là g"†! = 0 hay Vƒ (z"+*) = 0. Vậy, cực tiểu của hàm toàn phương ƒ(z) tìm được sau bước lặp. Định lý được chứng minh
đầy đủ. L]
Ví dụ 8.2. Dùng phương pháp Davidon — Fletcher — Powell tim cực tiểu tự do của hàm toàn phương (lồi bậc hai)
ƒ (#2) = (#1 — 6)? +2 (ay — 3)’.
Gidi: Tinh V f(x) = (2a, — 12; 4a — 12)". Ta chon xp xi ban dau x! = (0;0)'.
Buc lap k = 1.
1. Điểm lặp z! = (0;0)' c6 gradient Vf (a!) = (—12;—12)T.
Dat g! = Vf (x!). Chon Hy; = Jy (ma tran don vi cap 2).
2. Huéng tim d! = —Hyg! = —g! = (12;12)'.
3. Xét tia a! + Ad’ (A> 0): a) =0 + 12\ = 12d, vy = 120.
Thé vao ham muc tiéu, ta dude
y(A) = f (a! + Ad!) = (12d — 6)? + 2(12\ — 3)?
= 432A? — 288A + 54.
Tìm cực tiểu ¿(A): y (A) = 864 — 288 = 0, ta được Ai = 1/3.