một hướng tìm kiếm (search direction) p k rồi quyết định sẽ tiến. bao xa theo hướng đó.[r]
(1)Line search method
Hoàng Nam Dũng
(2)Line search method
Tại bước, từ điểmxk tại, phương pháp line search tính
một hướng tìm kiếm (search direction)pk định tiến
bao xa theo hướng
Cơng thức lặp để tính điểm cho
xk+1 =xk +αkpk
trong đóαk >0 gọi làđộ dài bước (step length)
Hiệu phương pháp phụ thuộc vào việc chọn hướngpk
độ dài bướcαk thích hợp
Hầu hết phương pháp line search đòi hỏipk hướng
giảm (descent direction)
pkT∇f(xk)<0
(3)Line search method
Tại bước, từ điểmxk tại, phương pháp line search tính
một hướng tìm kiếm (search direction)pk định tiến
bao xa theo hướng Cơng thức lặp để tính điểm cho
xk+1=xk +αkpk
trong đóαk >0 gọi làđộ dài bước (step length)
Hiệu phương pháp phụ thuộc vào việc chọn hướngpk
độ dài bướcαk thích hợp
Hầu hết phương pháp line search đòi hỏipk hướng
giảm (descent direction)
pkT∇f(xk)<0
bởi đảm bảo giá trị hàmf giảm xuống theo hướng
(4)Line search method
Tại bước, từ điểmxk tại, phương pháp line search tính
một hướng tìm kiếm (search direction)pk định tiến
bao xa theo hướng Cơng thức lặp để tính điểm cho
xk+1=xk +αkpk
trong đóαk >0 gọi làđộ dài bước (step length)
Hiệu phương pháp phụ thuộc vào việc chọn hướngpk
độ dài bướcαk thích hợp
Hầu hết phương pháp line search đòi hỏipk hướng
giảm (descent direction)
pkT∇f(xk)<0
(5)Line search method
Tại bước, từ điểmxk tại, phương pháp line search tính
một hướng tìm kiếm (search direction)pk định tiến
bao xa theo hướng Cơng thức lặp để tính điểm cho
xk+1=xk +αkpk
trong đóαk >0 gọi làđộ dài bước (step length)
Hiệu phương pháp phụ thuộc vào việc chọn hướngpk
độ dài bướcαk thích hợp
Hầu hết phương pháp line search đòi hỏipk hướng
giảm (descent direction)
pkT∇f(xk)<0
bởi đảm bảo giá trị hàmf giảm xuống theo hướng
(6)Hướng giảm (descent direction)
Giả sửp hướng giảm, tức
pT∇f(xk)<0
Theo cơng thức khai triển Taylor ta có
f(xk+αp) =f(xk) +αpT∇f(xk) +O(α2)
Suy raf(xk +αp)<f(xk)với α >0 đủ nhỏ Tức ta
(7)Hướng giảm (descent direction)
Giả sửp hướng giảm, tức
pT∇f(xk)<0
Theo công thức khai triển Taylor ta có
f(xk +αp) =f(xk) +αpT∇f(xk) +O(α2)
Suy raf(xk +αp)<f(xk)với α >0 đủ nhỏ Tức ta
giảm giá trị hàm sốf theo hướng p
(8)Hướng giảm (descent direction)
Giả sửp hướng giảm, tức
pT∇f(xk)<0
Theo cơng thức khai triển Taylor ta có
f(xk +αp) =f(xk) +αpT∇f(xk) +O(α2)
Suy raf(xk +αp)<f(xk)vớiα >0 đủ nhỏ Tức ta
(9)Hướng giảm nhanh/dốc (steepest descent direction)
Hướng giảm nhanh nghiệm toán tối ưu
min
p p
T∇f(x
k), s.t kpk=1
Gọiθ góc giữap ∇f(xk) Ta có
pT∇f(xk) =kpkk∇f(xk)kcosθ=k∇f(xk)kcosθ,
tức đạt giá trị bé khicosθ=−1 hay
p =− ∇f(xk) k∇f(xk)k
Phương pháp line search vớipk =−∇f(xk) gọi steepest
descent method hay gradient descent method
(10)Hướng giảm nhanh/dốc (steepest descent direction)
Hướng giảm nhanh nghiệm toán tối ưu
min
p p
T∇f(x
k), s.t kpk=1
Gọiθ góc giữap ∇f(xk)
Ta có
pT∇f(xk) =kpkk∇f(xk)kcosθ=k∇f(xk)kcosθ,
tức đạt giá trị bé khicosθ=−1 hay
p =− ∇f(xk) k∇f(xk)k
Phương pháp line search vớipk =−∇f(xk) gọi steepest
(11)Hướng giảm nhanh/dốc (steepest descent direction)
Hướng giảm nhanh nghiệm toán tối ưu
min
p p
T∇f(x
k), s.t kpk=1
Gọiθ góc giữap ∇f(xk) Ta có
pT∇f(xk) =kpkk∇f(xk)kcosθ=k∇f(xk)kcosθ,
tức đạt giá trị bé khicosθ=−1 hay
p =− ∇f(xk) k∇f(xk)k
Phương pháp line search vớipk =−∇f(xk) gọi steepest
descent method hay gradient descent method
(12)Hướng giảm nhanh/dốc (steepest descent direction)
Hướng giảm nhanh nghiệm toán tối ưu
min
p p
T∇f(x
k), s.t kpk=1
Gọiθ góc giữap ∇f(xk) Ta có
pT∇f(xk) =kpkk∇f(xk)kcosθ=k∇f(xk)kcosθ,
tức đạt giá trị bé khicosθ=−1 hay
p=− ∇f(xk) k∇f(xk)k
Phương pháp line search vớipk =−∇f(xk) gọi steepest
(13)Hướng giảm nhanh/dốc (steepest descent direction)
Hướng giảm nhanh nghiệm toán tối ưu
min
p p
T∇f(x
k), s.t kpk=1
Gọiθ góc giữap ∇f(xk) Ta có
pT∇f(xk) =kpkk∇f(xk)kcosθ=k∇f(xk)kcosθ,
tức đạt giá trị bé khicosθ=−1 hay
p=− ∇f(xk) k∇f(xk)k
Phương pháp line search vớipk =−∇f(xk) gọi steepest
descent method hay gradient descent method
(14)Hướng giảm phổ biến
Ta thường chọn hướng giảm có dạng
pk =−Bk1∇f(xk)
trong đóBk ma trận đối xứng không suy biến
I Phương pháp gradient descent: Bk =I
I Phương pháp Newton: Bk =∇2f(xk)
I Phương pháp tựa Newton: Bk xấp xỉ ma trận Hessian
∇2f(x
k)
(15)Hướng giảm phổ biến
Ta thường chọn hướng giảm có dạng
pk =−Bk1∇f(xk)
trong đóBk ma trận đối xứng không suy biến
I Phương pháp gradient descent: Bk =I
I Phương pháp Newton: Bk =∇2f(xk)
I Phương pháp tựa Newton: Bk xấp xỉ ma trận Hessian
∇2f(x
k)
Phần tìm hiểu xem chọn hướng độ dài bước để thuật toán hội tụ
(16)Hướng giảm phổ biến
Ta thường chọn hướng giảm có dạng
pk =−Bk1∇f(xk)
trong đóBk ma trận đối xứng khơng suy biến
I Phương pháp gradient descent: Bk =I
I Phương pháp Newton: Bk =∇2f(xk)
I Phương pháp tựa Newton: Bk xấp xỉ ma trận Hessian
∇2f(x
k)
(17)Lựa chọn độ dài bước
Ta phải cân nhắc lựa chọn hai yếu tố
I Tìm αk để cải thiện đáng kể giá trị hàm mục tiêu
I Đồng thời không nhiều thời gian
Lý tưởng thìαk nghiệm tốn tối ưu
minφ(α) =f(xk+αpk), α >0
Tuy nhiên tốn (ví dụ xem hình vẽ)
(18)Lựa chọn độ dài bước
Ta phải cân nhắc lựa chọn hai yếu tố
I Tìm αk để cải thiện đáng kể giá trị hàm mục tiêu
I Đồng thời không nhiều thời gian Lý tưởng thìαk nghiệm tốn tối ưu
minφ(α) =f(xk+αpk), α >0
(19)Lựa chọn độ dài bước
Ta phải cân nhắc lựa chọn hai yếu tố
I Tìm αk để cải thiện đáng kể giá trị hàm mục tiêu
I Đồng thời không nhiều thời gian Lý tưởng thìαk nghiệm tốn tối ưu
minφ(α) =f(xk+αpk), α >0
Tuy nhiên tốn (ví dụ xem hình vẽ)
(20)Lựa chọn độ dài bước
Để tìm cực tiểu địa phương với độ xác vừa phải ta phải tính nhiều lần hàm mục tiêuf gradient ∇f
Chiến lược thực tế tìm độ dài bước đủ tốt theo nghĩa hàm mục tiêu phải giảm đủ nhiều
Yêu cầu giảmf(xk +αkpk)<f(xk)là chưa đủ
Ví dụ:
Giá trị tối ưu f∗ = −1 chuỗi xk với
f(xk) = 5k hội tụ đến