Bài giảng Tối ưu hóa nâng cao - Chương 3: Bài toán tối ưu không ràng buộc cung cấp cho người học các kiến thức: Bài toán tối ưu không ràng buộc, điều kiện cực tiểu địa phương, cực tiểu của hàm lồi, tổng quan về thuật toán,... Mời các bạn cùng tham khảo.
Bài tốn tối ưu khơng ràng buộc Hồng Nam Dũng Khoa Toán - Cơ - Tin học, Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Định nghĩa x ∗ gọi cực tiểu toàn cục f (x ∗ ) ≤ f (x), ∀x Bài toán tối ưu không ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Định nghĩa x ∗ gọi cực tiểu toàn cục f (x ∗ ) ≤ f (x), ∀x x ∗ gọi cực tiểu địa phương tồn lân cận N x ∗ cho f (x ∗ ) ≤ f (x), ∀x ∈ N Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Định nghĩa x ∗ gọi cực tiểu toàn cục f (x ∗ ) ≤ f (x), ∀x x ∗ gọi cực tiểu địa phương tồn lân cận N x ∗ cho f (x ∗ ) ≤ f (x), ∀x ∈ N x ∗ gọi cực tiểu địa phương mạnh (hay ngặt) tồn lân cận N x ∗ cho f (x ∗ ) < f (x), ∀x ∈ N \{x ∗ } Ví dụ Hàm số có nhiều cực tiểu địa phương khó để tìm cực tiểu tồn cục Điều kiện cực tiểu địa phương Định lý (Khai triển Taylor) Cho f : Rn → R khả vi liên tục p ∈ Rn Ta có f (x + p) = f (x) + ∇f (x + tp)T p, với t ∈ (0, 1) Điều kiện cực tiểu địa phương Định lý (Khai triển Taylor) Cho f : Rn → R khả vi liên tục p ∈ Rn Ta có f (x + p) = f (x) + ∇f (x + tp)T p, với t ∈ (0, 1) Nếu f khả vi liên tục hai lần f (x + p) = f (x) + ∇f (x)T p + p T ∇2 f (x + tp)p, với t ∈ (0, 1) Điều kiện cực tiểu địa phương Định lý (Điều kiện cần bậc nhất) Nếu x ∗ cực tiểu địa phương f khả vi liên tục lân cận mở x ∗ ∇f (x ∗ ) = Điều kiện cực tiểu địa phương Định lý (Điều kiện cần bậc nhất) Nếu x ∗ cực tiểu địa phương f khả vi liên tục lân cận mở x ∗ ∇f (x ∗ ) = Chứng minh Giả sử ∇f (x ∗ ) = Chọn p = −∇f (x ∗ ) p T ∇f (x ∗ ) = − ∇f (x ∗ ) < Tổng quan thuật toán Các thuật tốn đòi hỏi cung cấp điểm xuất phát x0 Từ thuật tốn tạo chuỗi x1 , x2 , 10 Tổng quan thuật tốn Các thuật tốn đòi hỏi cung cấp điểm xuất phát x0 Từ thuật tốn tạo chuỗi x1 , x2 , Thuật toán dừng lại khơng có cải thiện hay nghiệm xấp xỉ đủ tốt 10 Tổng quan thuật toán Các thuật tốn đòi hỏi cung cấp điểm xuất phát x0 Từ thuật tốn tạo chuỗi x1 , x2 , Thuật tốn dừng lại khơng có cải thiện hay nghiệm xấp xỉ đủ tốt Có chiến thuật để tính điểm xk+1 từ điểm xk , line search trust region 10 Line search strategy Ở bước k thuật tốn chọn hướng pk tìm kiếm theo hướng từ giá trị xk để tìm điểm với hàm mục tiêu thấp 11 Line search strategy Ở bước k thuật tốn chọn hướng pk tìm kiếm theo hướng từ giá trị xk để tìm điểm với hàm mục tiêu thấp Để tìm khoảng cách theo hướng ta giải toán tối ưu chiều f (xk + αpk ) α≥0 11 Line search strategy Ở bước k thuật tốn chọn hướng pk tìm kiếm theo hướng từ giá trị xk để tìm điểm với hàm mục tiêu thấp Để tìm khoảng cách theo hướng ta giải tốn tối ưu chiều f (xk + αpk ) α≥0 Thực tế ta khơng giải xác tốn khơng cần thiết Thay vào ta giải xấp xỉ (tương đối lỏng) qua số bước lặp 11 Trust region strategy Ở bước k ta xây dựng hàm xấp xỉ mk f Hàm xấp xỉ f tốt quanh xk tệ xa 12 Trust region strategy Ở bước k ta xây dựng hàm xấp xỉ mk f Hàm xấp xỉ f tốt quanh xk tệ xa Do ta tìm cực tiểu mk miền quanh xk qua việc xét toán mk (xk + p), cho xk + p thuộc trust region p 12 Trust region strategy Ở bước k ta xây dựng hàm xấp xỉ mk f Hàm xấp xỉ f tốt quanh xk tệ xa Do ta tìm cực tiểu mk miền quanh xk qua việc xét toán mk (xk + p), cho xk + p thuộc trust region p Nếu điểm tạo khơng có giá trị hàm mục tiêu giảm đủ nhiều ta kết luận trust region lớn phải thu hẹp lại giải lại toán tối ưu 12 Trust region strategy Ở bước k ta xây dựng hàm xấp xỉ mk f Hàm xấp xỉ f tốt quanh xk tệ xa Do ta tìm cực tiểu mk miền quanh xk qua việc xét toán mk (xk + p), cho xk + p thuộc trust region p Nếu điểm tạo khơng có giá trị hàm mục tiêu giảm đủ nhiều ta kết luận trust region lớn phải thu hẹp lại giải lại toán tối ưu Thơng thường trust region hình cầu định nghĩa p ≤ ∆ với ∆ > gọi bán kính trust region 12 Trust region strategy Ở bước k ta xây dựng hàm xấp xỉ mk f Hàm xấp xỉ f tốt quanh xk tệ xa Do ta tìm cực tiểu mk miền quanh xk qua việc xét toán mk (xk + p), cho xk + p thuộc trust region p Nếu điểm tạo khơng có giá trị hàm mục tiêu giảm đủ nhiều ta kết luận trust region lớn phải thu hẹp lại giải lại tốn tối ưu Thơng thường trust region hình cầu định nghĩa p ≤ ∆ với ∆ > gọi bán kính trust region mk thường chọn hàm bậc mk (xk + p) = f (xk ) + p T ∇f (xk ) + p T Bk p với ma trận Bk ma trận Hessian ∇2 f (xk ) hay xấp xỉ 12 Line search vs trust region Về mặt coi phương pháp line search trust region khách thứ tự chọn hướng khoảng cách 13 Line search vs trust region Về mặt coi phương pháp line search trust region khách thứ tự chọn hướng khoảng cách Line search chọn hướng trước theo hướng chọn khoảng cách 13 Line search vs trust region Về mặt coi phương pháp line search trust region khách thứ tự chọn hướng khoảng cách Line search chọn hướng trước theo hướng chọn khoảng cách Trust region cố định khoảng cách tối đa trước chọn hướng tốt theo ràng buộc 13 Tài liệu tham khảo Chương 2, J Nocedal and S Wright, Numerical Optimization, Springer Chi tiết Line search: Chương 3, J Nocedal and S Wright, Numerical Optimization, Springer Chi tiết Trust region: Chương 4, J Nocedal and S Wright, Numerical Optimization, Springer 14 .. .Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với... với f : Rn → R hàm trơn (smooth) Định nghĩa x ∗ gọi cực tiểu toàn cục f (x ∗ ) ≤ f (x), ∀x Bài toán tối ưu không ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Định nghĩa x... ) ≤ f (x), ∀x x ∗ gọi cực tiểu địa phương tồn lân cận N x ∗ cho f (x ∗ ) ≤ f (x), ∀x ∈ N Bài tốn tối ưu khơng ràng buộc (unconstrained) f (x) x với f : Rn → R hàm trơn (smooth) Định nghĩa x ∗