Các phương pháp tối ưu không dựa trên đạo hàm

Các phương pháp tối ưu không dựa trên đạo hàm

CÁC PHƯƠNG PHÁP TỐI ƯU KHÔNG DỰA TRÊN ĐẠO HÀM GVHD: THẦY LÊ HOÀI BẮC NỘI DUNG CHÍNH  ĐỊNH NGHĨA TỐI ƯU KHÔNG ĐẠO HÀM  Tối ưu không đạo hàm (Derivative-free Optimization) là gì?  Ứng dụng của tối ưu không đạo hàm  Bốn phương pháp tối ưu không đạo hàm phổ biến  Các đặc điểm chung của 4 phương pháp này  CÁC PHƯƠNG PHÁP TỐI ƯU KHÔNG ĐẠO HÀM  Giải thuật di truyền (GA)  Phương pháp luyện thép (Simulated Annealing – SA)  Tìm kiếm ngẫu nhiên  Tìm kiếm xuống đồi đơn hình (Downhill simplex search) 1. ĐỊNH NGHĨA TỐI ƯU KHÔNG ĐẠO HÀM  Nội dung chính:  Tối ưu không đạo hàm (Derivative-free Optimization) là gì?  Ứng dụng của tối ưu không đạo hàm  Bốn phương pháp tối ưu không đạo hàm phổ biến  Các đặc điểm chung của 4 phương pháp này Tối ưu không đạo hàm (Derivative-free Optimization) là gì?  Không có thông tin về đạo hàm của hàm mục tiêu:  Không thể tính đạo hàm của hàm mục tiêu.  Thời gian tính toán quá dài. Ứng dụng của tối ưu không đạo hàm  Thiết kế công trình.  Tài chính.  Sản xuất.  Sinh học  Bốn phương pháp tối ưu không đạo hàm phổ biến  Giải thuật di truyền (Genetic Algorithm)  Phương pháp luyện thép (Simulated Annealing – SA)  Tìm kiếm ngẫu nhiên  Tìm kiếm xuống đồi đơn hình (Downhill simplex search) Các đặc điểm chung của 4 phương pháp này  Không có đạo hàm (derivative freeness)  Tùy theo trực giác (intuitive guideline)  Chậm (slowness)  Uyển chuyển (flexibility)  Ngẫu nhiên  Tính mờ đục(analytic opacity)  Mô phỏng tự nhiên (interactive nature) 2. CÁC PHƯƠNG PHÁP TỐI ƯU KHÔNG ĐẠO HÀM  Nội dung chính:  Giải thuật di truyền (GA)  Phương pháp luyện thép (Simulated Annealing – SA)  Tìm kiếm ngẫu nhiên  Tìm kiếm xuống đồi đơn hình (Downhill simplex search) Giải thuật di truyền (GA)  Được đề xuất bởi John Holland trường đại học Michigan vào năm 1975.  Dựa trên học thuyết tiến hóa của Darwin.  GA nhanh chóng vượt ra khỏi môi trường học thuật và có nhiều ứng dụng to lớn trong thực tế. Các phép toán trên GA  Mã hóa  Ước lượng độ tương thích  Chọn lọc cha mẹ  Lai ghép  Đột biến [...]...Thuật giải Phương pháp luyện thép (Simulated Annealing – SA)  Đề xuất bởi Scott Kirkpatrick, C Daniel Gelatt and Mario P Vecchi in 1983  Dựa trên mô phỏng quá trình luyện kim Annealing schedule  Nhiệt độ giảm nhanh  Nhiệt độ giảm chậm Hàm sinh-generating function  Hàm sinh g(.,.) là một hàm mật độ xác suất về sự sai khác giữa điểm hiện tại và điềm... bởi hàm chấp nhận h(ΔE,T), trong đó ΔE:=Enew-E  Bước 6: Giảm nhiệt độ T theo annealing schadule (để đơn giản gắn T:=ηT, η la hằng thuộc khoảng (0,1))  Bước 7: Tăng biến đếm k lên 1, nếu k đạt được max, dừng vòng lặp Ngược lại quay lại bước 3 Ví dụ  Tìm min của f(x)=x2 + 2 Tìm kiếm ngẫu nhiên (Ramdom search)  Tìm kiếm trên không gian đối số của hàm mục tiêu một cách ngẫu nhiên để tìm điểm tối ưu. .. Nelder & Roger Mead năm 1965  Áp dụng cho các hàm mục tiêu nhiều biến  Tư tưởng dựa trên hình học:  Kéo dài xuống mặt phẳng nghiêng  Thay đổi hướng khi gặp thung lũng tại góc nào đó  Rút lại ở những cực tiểu lận cận Các phép toán  (a) reflection;  (b) reflection và expand;  (c) contraction;  (d) shrinkage Các phép toán Thuật toán Ví dụ  Tìm min của hàm f(x,y)= x2 + y2 -2  Demo bằng C# CÁM... Đặc biệt là, Δx(=xnew -x) là giá trị ngẫu nhiên với giá trị hàm xác suất g(Δx,T), trong đó T là nhiệt độ g(.,.) thường là một hàm độc lập nhiệt độ T Hàm chấp nhận (accepting function)  c là hằng số  T là nhiệt độ  ΔE là mức chênh lệch năng lượng giữa xnew và x Annealing schedule  Định hướng cách nhiệt độ giảm nhanh chóng, như là một hàm thời gian hoặc đếm vòng lặp  Nghĩa chính xác của cao và... hỏi sự thấu hiểu về vật lý và/hoặc thử và sai  Cách dễ nhất để thiết lập một annealing schedule là giảm nhiệt độ T bởi một lượng phần trăm chắc chắn cho mỗi vòng lặp Thuật toán  Bước 1: Chọn 1 điểm bắt đầu và gắn nhiệt độ cao ban đầu T Gắn biến đếm bằng k:=1  Bước 2: Ước lượng hàm mục tiêu: E:=f(x)  Bước 3: Chọn Δx với xác suất được quyết định bới hàm sinh g(Δx,T) xnew:=x+Δx  Bước 4: Tính Enew:=f(xnew)... Mặt khác, những thất bại theo hướng này thi những lần search sau nên giảm theo hướng này nữa Tìm kiếm ngẫu nhiên cải tiến  Bước 1: Chọn điểm x là điểm hiện tại khởi tạo bias b =0  Bước 2: Ước lượng hàm mục tiêu với điểm mới x+b+dx  Bước 3: if f(x+b+dx) . của tối ưu không đạo hàm  Bốn phương pháp tối ưu không đạo hàm phổ biến  Các đặc điểm chung của 4 phương pháp này  CÁC PHƯƠNG PHÁP TỐI ƯU KHÔNG ĐẠO HÀM  Giải thuật di truyền (GA)  Phương pháp. NGHĨA TỐI ƯU KHÔNG ĐẠO HÀM  Nội dung chính:  Tối ưu không đạo hàm (Derivative-free Optimization) là gì?  Ứng dụng của tối ưu không đạo hàm  Bốn phương pháp tối ưu không đạo hàm phổ biến  Các. CÁC PHƯƠNG PHÁP TỐI ƯU KHÔNG DỰA TRÊN ĐẠO HÀM GVHD: THẦY LÊ HOÀI BẮC NỘI DUNG CHÍNH  ĐỊNH NGHĨA TỐI ƯU KHÔNG ĐẠO HÀM  Tối ưu không đạo hàm (Derivative-free Optimization)