Xét bài toán cực tieơu khođng ràng buoơc
Ta sẽ dùng phương pháp laịp xađy dựng dãy xk hoơi tú tới đieơm tôi ưu (hay đieơm dừng) x*. Giạ sử ta đang ở đieơm xk thuoơc lađn caơn cụa x*, khi đó đeơ làm cho hàm múc tieđu giạm ta neđn chuyeơn đoơng theo hướng p làm với f’(xk) moơt góc tù, tức là xác định.
xk+1 = xk + αp, trong đó α > 0. (f’(xk),p) < 0.
Thaơt vaơy, khai trieơn f(x) theo chuoêi Taylo:
F(x) = f(xk) + α( f' k,p) + α2/2< f'' kcp,p > trong đó f' k = f’(xk), f'' kc = f’’(xkc), xkc = xk + θ(x - xkc), θ ∈ [0,1]. Nêu < f' k
,p> < 0 thì với α nhỏ ta có f(x) < f(xk) (vì dâu cụa phaăn vê phại xác định bởi phaăn tuyên tính đôi với α).
Vieơc lựa chĩn hướng dịch chuyeơn p và đoơ dài bước α khác nhau cho ta các phương pháp cực tieơu khác nhau. Phương pháp gradient (hay còn gĩi là phương pháp tút nhanh nhât) có dáng
xk+1 = xk - αkf’(xk), αk > 0, k = 0,1, ... (1)
tức là chĩn pk = f’(xk). Đađy là phương pháp thođng dúng nhât đeơ tìm cực tieơu, nó rât đơn giạn và áp dúng được cho những lớp hàm rât roơng.
Thuaơt toán xác định α k tái moêi bước laịp:
(i) Chĩn giá trị tùy ý α (và cô định, ví dú α = 1) và xác định đieơm x=xk - αf'
k.
(ii) Tính f(x) = f(xk - αf'
k).
(iii)Kieơm tra bât đẳng thức
f(x) – f(xk) ≤ εα < f'
k, pk > = -εα f'
k 2, (2) trong đó 0 < ε < 1 là moơt haỉng sô chĩn tùy ý và cô định.
(iv) Nêu (2) thỏa mãn thì ta chĩn giá trị α làm giá trị phại tìm:
αk=α. Nêu (2) khođng thỏa mãn thì ta chia α (baỉng cách nhađn α với sô λ < 1) cho đên khi bât đẳng thức (2) được thỏa mãn.