Bài giảng Tính toán tiến hóa - Bài 5: Evolution strategy

Bài giảng Tính toán tiến hóa - Bài 5: Evolution strategy. Bài này cung cấp cho học viên những nội dung về: tổng quan Evolution Strategy (ES); các loại ES; chiến lược chọn lọc sinh tồn; chiến lược tiến hóa Gaussian đơn giản;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

Evolution Strategy PGS.TS Huỳnh Thị Thanh Bình Email: binhht@soict.hust.edu.vn Nội dung    Tổng quan Evolution Strategy (ES) Các loại ES Ví dụ minh họa Tổng quan Evolution Strategy     Evolution Strategy (Chiến lược tiến hóa – ES) Thuộc lớp thuật tốn tiến hóa EAs, dựa quần thể Lấy cảm hứng từ chiến lược chọn lọc tự nhiên Rất hiệu cho việc tối ưu số thực Tổng quan Evolution Strategy    Cho hộp đen với hàm mục tiêu cần tối ưu f(x)  Khơng thể tính đạo hàm, không lồi…  f(x) tất định Gọi 𝑝𝜃 (𝑥) phân phối lời giải tốt cho việc tối ưu f(x) Nếu dạng phân phối xác định (giả sử gauss)   𝜃 tham số mang thông tin lời giải tốt 𝜃 cập nhật qua hệ EAs Tổng quan Evolution Strategy  Bắt đầu với giá trị khởi tạo 𝜃, Các thuật toán ES cập nhật 𝜃 theo bước sau:  Bước 1: Sinh quần thể ban đầu P(t) , với N mẫu 𝑃 𝑡 = { 𝑥𝑖 , 𝑓 𝑥𝑖 ,  Bước 𝑥𝑖 ~𝑝𝜃 (𝑥) 2: Đánh giá cá thể P(t)  Bước 3: Chọn tập cá thể có độ thích nghi tốt P(t) cập nhật lại 𝜃  Bước 4: t = t+1 lặp lại bước thỏa mã ĐK dừng Các loại ES  Dựa theo chiến lược chọn lọc sinh tồn (𝜇, 𝜆) − 𝐸𝑆 : Chọn 𝜇 cá thể tốt từ 𝜆 cá thể để sinh tồn hệ  (𝜇 + 𝜆) − 𝐸𝑆 : Chọn 𝜇 cá thể tốt từ tập hợp  𝜆 cá thể  𝜇 cá thể cha trước   Các thuật tốn ES phổ biến: Simple Gaussian Evolution Strategies  Covariance Matrix Adaptation Evolution Strategies (CMAES)  Simple Gaussian Evolution Strategies  Là chiến lược tiến hóa đơn giản cổ điển ES  Phân phối 𝑝𝜃 cá thể phân phối Gauss n-chiều  𝜃 lưu trữ thông tin giá trị trung bình μ độ lệch chuẩn 𝜎 𝜃 = 𝜇, 𝜎 , 𝑝𝜃 𝑥 ~ 𝑁 𝜇, 𝜎 𝐼 = 𝜇 + 𝜎 ∗ 𝑁(0, 𝐼) Các bước thuật toán    Bước 1: Khởi tạo 𝜃 = 𝜃 , 𝑡 = Bước 2: Sinh ngẫu nhiên 𝜆 cá thể từ phân phối 𝑝𝜃 (𝑡+1) 𝑃 𝑡 + = 𝑥𝑖   (𝑡+1) 𝑥𝑖 = 𝜇 (𝑡) + 𝜎 (𝑡) ∗ 𝑁 0, 𝐼 , i = 1, … , 𝜆} Bước 3: Chọn ngẫu nhiên 𝜇 cá thể tốt P(t+1) để cập nhật lại 𝜇 (𝑡+1) 𝜎 (𝑡+1) Bước 4: Lặp lại bước Simple Gaussian Evolution Strategies – Ví dụ Bước 1: Khởi tạo 1- Initial Solution Simple Gaussian Evolution Strategies – Ví dụ Bước 2: Sinh 𝜆 cá thể Simple Gaussian Evolution Strategies – Ví dụ 10 Bước 3: Chọn 𝜇 cá thể tốt Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 13   Để khắc phụ điểm yếu SGES, CMA-ES xây dựng chế thích nghi, điều chỉnh khơng gian khám phá sau hệ Hình dạng phân phối thay đổi cập nhật sau hệ Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 14 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 15  CMA-ES thay đổi hình dạng phân phối thơng qua việc thích nghi hiệp phương sai C Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 16  Hiệp phương sai hướng mà quần thể nên tiến hóa Covarianc e Varianc e Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 17 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 18 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 19 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 20 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 21  Phân phối cá thể xác định theo biểu thức 𝜃 = 𝜇, 𝜎, 𝐶 , 𝑝𝜃 𝑥 ~ 𝑁 𝜇, 𝜎 𝐶 = 𝜇 + 𝜎 ∗ 𝑁(0, 𝐶)  𝜎 điều khiển mức độ scale phân phối, gọi stepsize Stepsize Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 22  Các bước CMA-ES:  Bước 1: Khởi tạo:  Ma trận hiệp phương sai C = I (ma trận đơn vị)  m : vector nx1 chứa giá trị NST trung bình ban đầu quần thể  𝜎: Step size ( vector nx1 chứa độ lệch chuẩn biển NST) 2: Sinh 𝜆 cá thể thông qua chế đột biến vector trung bình 𝑥𝑖 = 𝑁 𝑚, 𝜎 𝐶 = 𝑚 + 𝑁 0, 𝜎 𝐶 = 𝑚 + 𝜎 ∗ 𝑁(0, 𝐶)  Bước Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 23  Bước 3: Đánh giá độ thích nghi cá thể vừa sinh  Bước 4: Sắp xếp cá thể theo thứ tự giảm dần độ thích nghi: 𝑓 𝑥1 ≥ 𝑓 𝑥2 ≥ … ≥ 𝑓(𝑥𝜆 )  Bước 5: Update giá trị trung bình m quần thể 𝜇 𝑚 = ෍ 𝑥𝑖 ∗ 𝑤𝑖 𝜇 𝑖=1  Với 𝜇 𝜇 cá thể tốt quần thể sau xếp  𝑤 vector số ( 𝜇𝑥1): Hệ số đóng góp cá thể vào vector trung bình 𝑤1 ≥ 𝑤2 ≥ … 𝑤𝜇 > Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 24  Bước 6: Cập nhật đường tiến hóa step –size 𝑝𝜎 = 𝑝𝜎 ∗ − 𝑐𝜎 + (1 − − 𝑐𝜎  Với 𝑐𝜎 : tốc độ phân hủy 𝜇𝑤 ∗ 𝐶 ∗ yw  𝜇𝑤 =  C: ma trận hiệp phương sai σ𝜇 𝑤 𝑖 𝑖=1 yw = σ𝜆𝑖=1 𝑦𝑖 ∗ 𝑤𝑖 với 𝑦𝑖 ~N(0, 𝐶) : Vector ngẫu nhiên để đột biến 𝜆 trung bình sinh cá thể i  Bước 7: Cập nhật step-size 𝜎 𝑝𝜎 𝜎 = 𝜎 ∗ exp(𝑐𝜎 ∗ −1 ) 𝑛 Với ||X|| chuẩn Euclid vector X:  𝑋 = 𝑋12 + 𝑋22 + ⋯ + 𝑋𝑛2 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 25  Bước 8: Cập nhật đường tiến hóa ma trận hiệp phương sai C 𝑝𝑐 = 𝑝𝑐 ∗ − 𝑐𝑐 + (1 − − 𝑐𝑐 𝜇𝑤 ∗ yw Với 𝑐𝑐 : tốc độ phân hủy  Bước 9: Cập nhật ma trận C 𝜇 𝐶 = − 𝑐1 − 𝑐𝜇 ∗ 𝐶 + 𝑐1 ∗ 𝑝𝑐 ∗ 𝑝𝑐𝑇 + 𝑐𝜇 * σ𝑖=1 𝑦𝑖 ∗ 𝑦𝑖𝑇 ∗ 𝑤𝑖 Với 𝑐1 = 2/𝑛2 , 𝑐𝜇 = 𝜇𝑤 /𝑛2 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 26  Điểm mạnh CMA-ES  Hội tụ nhanh sau số lượng hệ nhỏ  Giải tốn số chiều cao, khơng gian tìm kiếm rộng lớn, có hàm mục tiêu khơng tính đạo hàm  Điểm yếu: Tốc độ tính tốn, nhiều kiến thức tốn học, lý thuyết 27 Thanks for your attention ...    Tổng quan Evolution Strategy (ES) Các loại ES Ví dụ minh họa Tổng quan Evolution Strategy     Evolution Strategy (Chiến lược tiến hóa – ES) Thuộc lớp thuật tốn tiến hóa EAs, dựa quần... Adaptation Evolution Strategies (CMA-ES) 18 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 19 Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 20 Covariance Matrix Adaptation Evolution. .. Matrix Adaptation Evolution Strategies (CMA-ES) 16  Hiệp phương sai hướng mà quần thể nên tiến hóa Covarianc e Varianc e Covariance Matrix Adaptation Evolution Strategies (CMA-ES) 17 Covariance