Bài giảng Tối ưu hóa nâng cao - Chương 4: Line search method cung cấp cho người học các kiến thức: Line search method, hướng giảm, hướng giảm nhanh/dốc nhất, hướng giảm phổ biến, lựa chọn độ dài bước,.... Mời các bạn cùng tham khảo.
Line search method Hồng Nam Dũng Khoa Tốn - Cơ - Tin học, Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội Line search method Tại bước, từ điểm xk tại, phương pháp line search tính hướng tìm kiếm (search direction) pk định tiến bao xa theo hướng Line search method Tại bước, từ điểm xk tại, phương pháp line search tính hướng tìm kiếm (search direction) pk định tiến bao xa theo hướng Cơng thức lặp để tính điểm cho xk+1 = xk + αk pk αk > gọi độ dài bước (step length) Line search method Tại bước, từ điểm xk tại, phương pháp line search tính hướng tìm kiếm (search direction) pk định tiến bao xa theo hướng Cơng thức lặp để tính điểm cho xk+1 = xk + αk pk αk > gọi độ dài bước (step length) Hiệu phương pháp phụ thuộc vào việc chọn hướng pk độ dài bước αk thích hợp Line search method Tại bước, từ điểm xk tại, phương pháp line search tính hướng tìm kiếm (search direction) pk định tiến bao xa theo hướng Cơng thức lặp để tính điểm cho xk+1 = xk + αk pk αk > gọi độ dài bước (step length) Hiệu phương pháp phụ thuộc vào việc chọn hướng pk độ dài bước αk thích hợp Hầu hết phương pháp line search đòi hỏi pk hướng giảm (descent direction) pkT ∇f (xk ) < đảm bảo giá trị hàm f giảm xuống theo hướng Hướng giảm (descent direction) Giả sử p hướng giảm, tức p T ∇f (xk ) < Hướng giảm (descent direction) Giả sử p hướng giảm, tức p T ∇f (xk ) < Theo cơng thức khai triển Taylor ta có f (xk + αp) = f (xk ) + αp T ∇f (xk ) + O(α2 ) Hướng giảm (descent direction) Giả sử p hướng giảm, tức p T ∇f (xk ) < Theo công thức khai triển Taylor ta có f (xk + αp) = f (xk ) + αp T ∇f (xk ) + O(α2 ) Suy f (xk + αp) < f (xk ) với α > đủ nhỏ Tức ta giảm giá trị hàm số f theo hướng p Hướng giảm nhanh/dốc (steepest descent direction) Hướng giảm nhanh nghiệm toán tối ưu p T ∇f (xk ), s.t p = p Hướng giảm nhanh/dốc (steepest descent direction) Hướng giảm nhanh nghiệm toán tối ưu p T ∇f (xk ), s.t p = p Gọi θ góc p ∇f (xk ) Điều kiện Wolfe mạnh Hình cho thấy có độ dài bước thỏa mãn điều kiện Wolfe khơng đủ gần cực tiểu Ta điều chỉnh điều kiện để ép αk nằm lân cận cực tiểu địa phương Điều kiện Wolfe mạnh: f (xk + αk pk ) ≤ f (xk ) + c1 αk ∇fkT pk , |∇f (xk + αk pk )T pk | ≤ c2 ∇|fkT pk | với < c1 < c2 < 13 Sự tồn độ dài bước thỏa mãn điều kiện Wolfe Bổ đề Cho f : Rn → R khả vi liên tục, pk hướng giảm xk giả sử f bị chặn dọc theo tia {xk + αk | α > 0} Nếu < c1 < c2 < tồn độ dài bước thỏa mãn điều kiện Wolfe điều kiện Wolfe mạnh Chứng minh Xem chứng minh Bổ đề 3.1, sách Nocedal 14 Điều kiện Goldstein Với < c < 12 , điều kiện Goldstein đòi hỏi αk thỏa mãn f (xk ) + (1 − c)αk ∇fkT pk ≤ f (xk + αk pk ) ≤ f (xk ) + cαk ∇fkT pk Về ý nghĩa nhận xét xem trang 36 sách Nocedal 15 Backtracking line search Phương pháp backtracking tìm độ dài bước thỏa mãn điều kiện Wolfe thứ theo cách thích hợp (mà khơng cần địi hỏi điều kiện 2) 16 Backtracking line search Phương pháp backtracking tìm độ dài bước thỏa mãn điều kiện Wolfe thứ theo cách thích hợp (mà khơng cần địi hỏi điều kiện 2) Algorithm Backtracking line search 1: Chọn α ¯ > 0, ρ ∈ (0, 1), c ∈ (0, 1) 2: Lấy α := α ¯ 3: while f (xk + αk pk ) > f (xk ) + cαk ∇fkT pk 4: α := ρα 5: end while 6: αk := α Nhận xét: Sau số bước α đủ nhỏ để thỏa mãn điều kiện 16 Minh hoạ backtracking line search 17 Minh hoạ backtracking line search α ¯ 17 Minh hoạ backtracking line search ρ¯ α α ¯ 17 Minh hoạ backtracking line search ρ2 α ¯ ρ¯ α α ¯ 17 Chọn tham số cho backtracking line search Chọn α ¯: α ¯ = với phương pháp Newton hay tựa Newton Có giá trị khác với thuật toán gradient 18 Chọn tham số cho backtracking line search Chọn α ¯: α ¯ = với phương pháp Newton hay tựa Newton Có giá trị khác với thuật tốn gradient ρ chọn khác bước lặp phương pháp line search 18 Các phương pháp chọn độ dài bước Đọc thêm mục 3.5 sách Nocedal (quan trọng khơng đủ thời gian để trình bày lớp) 19 Sự hội tụ phương pháp line search tốc độ hội tụ Mục 3.2 sách Nocedal chứng minh hội tụ phương pháp line search độ dài bước thỏa mãn điều kiện Wolfe 20 Sự hội tụ phương pháp line search tốc độ hội tụ Mục 3.2 sách Nocedal chứng minh hội tụ phương pháp line search độ dài bước thỏa mãn điều kiện Wolfe Ta chứng minh công thức tốc độ hội tụ xét thuật toán Gradient descent Newton Tựa Newton 20 Tài liệu tham khảo Chương 3, J Nocedal and S Wright, Numerical Optimization, Springer 21 ... direction) Hướng giảm nhanh nghiệm toán tối ưu p T ∇f (xk ), s.t p = p Hướng giảm nhanh/dốc (steepest descent direction) Hướng giảm nhanh nghiệm toán tối ưu p T ∇f (xk ), s.t p = p Gọi θ góc p... toán tối ưu p T ∇f (xk ), s.t p = p Gọi θ góc p ∇f (xk ) Ta có p T ∇f (xk ) = p ∇f (xk ) cos θ = ∇f (xk ) cos θ, Hướng giảm nhanh/dốc (steepest descent direction) Hướng giảm nhanh nghiệm toán tối. .. αk ∇fkT pk , với c1 ∈ (0, 1) Lưu ý pk hướng giảm, ∇fkT pk < Độ giảm f tỉ lệ với độ dài bước αk ∇fkT pk Trong thực tế c1 chọn nhỏ, ví dụ c1 = 10? ?4 Điều kiện Wolfe - minh họa điều kiện l(α) :=