2 Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng
2.2.3 Định lý hội tụ
Định lí 2.8. Giả sử tập Lf(x0) = x ∈ D : f(x) ≤ f(x0) là bị chặn. Khi đó dãyxk được tạo bởi phương pháp chiếu đạo hàm là xác định tốt. Ngoài ra
(i) Nếu thuật toán dứng lại ở bước lặp k thì xk là điểm dừng.
(ii) Nếu thuật toán không dừng lại thì dãy xk tạo nên từ thuật toán có điểm tụ và mọi điểm tụ đều là điểm dừng.
Nếu f lồi thì xk là nghiệm tối ưu. Ngoài ra,∇f(xk) → 0.
Chứng minh. (i) là hiển nhiên từ Bổ đề 2.2.
(ii) Giả sử thuật toán không dừng lại. Thì với mọi k, dk 6= 0. Từ (iii) của Bổ đề 2.2 chúng ta có (dk)T ∇f xk
≤ − kdkk2 < 0, có nghĩa là dk là một hướng giảm của f tại xk. Theo công thức Taylor, với mọi µ > 0 đủ nhỏ,
chúng ta có: f(xk +µdk)−f(xk) = µ∇f(xk), dk+ o(µ). Từ 0< β < 1và ∇f(xk), dk < 0, kéo theo f(xk +µdk)−f(xk) ≤ βµ∇f(xk), dk với mọiµ > 0đủ nhỏ.
Vì thế, từ γm → 0 với m → ∞, từ quy tắc (A), do vậy tồn tại một số tự nhiênmk thỏa mãn (A).
Sau đó từ (A) có dãy
f(xk) là giảm. Thìxk ∈ Lf(x0). Do đó
xk là bị chặn và nó có điểm tụ.
Gọi x∗ là điểm tụ bất kỳ. Chúng ta giả định xk → x∗. Từ zk := PD(xk − ∇f(xk)), thì dãy
zk cũng bị chặn. Theo thuật toán ta có:
f(xk+1)−f(xk) = f(xk+ µkdk)−f(xk) ≤ βµk(dk)T∇f(xk) ≤ βµk −dk 2 ; ∀k. (2.7) Do dãy f(xk) là giảm và bị chặn nên từ (2.7) ta có: µk dk → 0. (2.8)
a) Nếulimµk > 0thì bằng cách lấy 1 dãy (ta nhớ lại
xk , zk và dk là bị chặn), nếu cần từ (2.8) chúng ta có
dk → 0.
b) Bây giờ giả sử limµk = 0. Do mk là số tự nhiên nhỏ nhất thỏa mãn (A), chúng ta có (chú ý µk/γ = γmk−1)
f(xk −(µk/γ)dk)−f(xk) > β(µk/γ)∇f(xk), dk. (2.9) Đặt tk := µk/γ thì tk → 0.Chia cho tk > 0và cho k → ∞, từ (2.9) chúng ta nhận được
Chú ý
∇f(xk), dk ≤ −dk
2
, từ0 < β < 1 , chúng ta thấy dk →0 . Như vậy limzk = limxk = x∗. Chú ý có zk = PD(xk − ∇f(xk)), lấy giới hạn chúng ta có x∗ = PD(x∗ − ∇f(x∗)).
Vậy theo Bổ đề 2.2 thì x∗ là điểm dừng.
Bây giờ, ta giả sử (P) là bài toán quy hoạch lồi. Vì x∗ là điểm dừng ( như chứng minh trên) nên suy ra
h∇f(x∗), x −x∗i ≥ 0.
Mà theo định nghĩa đạo hàm thì
h∇f(x∗), x−x∗i ≤ f(x)−f(x∗).
Suy raf(x)−f(x∗) ≥0 ⇒f(x) ≥ f(x∗). Do đóx∗ là nghiệm tối ưu.