bài giảng tối ưu hóa

Tối ưu hóa (6) TS Đỗ Đức Đơng dongdoduc@gmail.com Các cách tiếp cận Tối ưu tổ hợp Tối ưu liên tục • Các phương pháp truyền thống • Quy hoạch tuyến tính Chứng minh hội tụ tỷ lệ tối ưu • Quy hoạch phi tuyến • Các phương pháp dựa thực nghiệm + Tìm kiếm địa phương + Heuristic kiến trúc (constructive heuristic ) + Tìm kiếm địa phương (local search) + Metaheurisics: - Phương pháp gradient … + Tối ưu toàn cục - Quy hoạch lồi, hiệu lồi - GA (Genetic Algorithms) - Tìm kiếm ngẫu nhiên (Monter-Carlo) - ACO (Ant Colony Optimization) - GA (Genetic Algorithms) - Memetic algorithm … Bài toán tối ưu phi tuyến tổng quát dạng tắc (1) Hàm mục tiêu f(x) hàm ràng buộc gj(x), j=1,2,…,m phi tuyến Ký hiệu D thuộc Rn miền ràng buộc (miền phương án khả thi) xác định ràng buộc (i) (ii), viết gọn lại: f(x)Max(Min), với x thuộc D Nếu D=Rn BTQHPT khơng ràng buộc Bài tốn tối ưu phi tuyến tổng quát dạng tắc (2) Xét tốn Max f(x) • Điểm x* ∈ Rn gọi điểm tối ưu toàn cục (hay phương án tối ưu toàn cục) x* ∈ D f(x*) ≥ f(x), ∀x ∈ D • Điểm x* ∈ Rn gọi điểm tối ưu địa phương(hay phương án tối ưu địa phương) x* ∈ D f(x*) ≥ f(x), ∀x ∈ Nε ∩ D với Nε lân cận đủ nhỏ điểm x • Có nhiều phương pháp giải lớp BTQHPT, chưa có phương pháp tỏ hữu hiệu cho BTQHPT, phân thành hai lớp: phương pháp tất định phương pháp Heuristic • Phương pháp tất định sử dụng tính chất giải tích hàm mục tiêu hàm ràng buộc • Phương pháp Heuristic áp dụng để giải tốn tối ưu tồn cục dạng bất kỳ, khơng đòi hỏi tính chất đặc biệt hàm mục tiêu hay hàm ràng buộc  phương án “gần” tối ưu Cực trị không điều kiện Cực trị hàm biến z=f(x,y) Xét hàm f(x,y) xác định miền D điểm M0(x0, y0) thuộc D • Ta nói M0(x0, y0) cực tiểu (hoặc cực đại) tồn lân cận B(M0, 𝜀) M0 cho: 𝑓(𝑥0, 𝑦0) ≤ 𝑓(𝑥, 𝑦) ∀ 𝑥, 𝑦 ∈ B(M0 , 𝜀) ( Cực đại 𝑓 𝑥0, 𝑦0 ≥ 𝑓(𝑥, 𝑦) ∀ 𝑥, 𝑦 ∈ B(M0 , 𝜀) ) • Hàm số z=f(x,y) đạt cực tiểu (cực đại) M0(x0, y0) nếu: Δ𝑓 𝑥0 , 𝑦0 = 𝑓 𝑥0 + Δ𝑥, 𝑦0 + Δ𝑦 − 𝑓 𝑥0 , 𝑦0 ≥ ≤ ∀Δ𝑥, Δ𝑦 • Nếu Δ𝑓 𝑥0 , 𝑦0 đổi dấu Δ𝑥, Δ𝑦 thay đổi hàm số khơng đạt cực trị M0(x0, y0) Cực trị không điều kiện Cực trị hàm biến z=f(x,y) Ví dụ, xét hàm số z=x3 + y3 có đạt cực trị M(0,0) hay không? Xét N(0 + Δ𝑥, + Δ𝑦) điểm lân cận M(0,0), ta có: Δ𝑓 0,0 = 𝑓 Δ𝑥, Δ𝑦 − 𝑓 0,0 = Δ𝑥 + Δ𝑦 Với Δ𝑥 > 0, Δ𝑦 > Δ𝑓 0,0 > Với Δ𝑥 < 0, Δ𝑦 < Δ𝑓 0,0 < Vậy Δ𝑓 0,0 thay đổi dấu nên hàm f không đạt cực trị điểm M(0,0) Cực trị không điều kiện Cực trị hàm biến z=f(x,y) Điều kiện cần Nếu hàm f(x,y) đạt cực trị địa phương M0(x0, y0) f có đạo hàm riêng M0 thì: 𝜕𝑓 𝜕𝑓 𝑥 ,𝑦 = 𝑥 ,𝑦 = 𝜕𝑥 0 𝜕𝑦 0 Điều kiện đủ Giả sử z=f(x,y) có đạo hàm riêng cấp hai liên tục lân cận điểm dừng M0(x0, y0), đặt 𝜕2 𝑓 𝜕2 𝑓 𝜕2 𝑓 𝐴 = 𝑥0 , 𝑦0 ; 𝐵 = 𝑥0 , 𝑦0 ; 𝐶 = 𝑥0 , 𝑦0 ; 𝜕𝑥 𝜕𝑥𝜕𝑦 𝜕𝑦 • Nếu 𝐴𝐶 − 𝐵2 > A>0 (hay C>0) f đạt cực tiểu M0 • Nếu 𝐴𝐶 − 𝐵2 > A cho 𝑓 𝑥 + 𝜆𝑑 < 𝑓 𝑥 , ∀𝜆 ∈ (0, 𝛿) Bước 1: Chon trước 𝛼 > 𝜀 (0 < 𝜀 < 1), lấy xấp xỉ ban đầu 𝑥0 ∈ 𝑅𝑛 tùy ý Bước 2: Xây dựng dãy 𝑥𝑘 ∈ 𝑅𝑛 ; 𝑘 = 1,2, … , 𝑥𝑘+1 = 𝑥𝑘 − 𝛼𝑘 𝑓 ′ 𝑥𝑘 với 𝛼𝑘 > Trong 𝛼𝑘 chọn sau: Nếu 𝑓 𝑥𝑘 − 𝛼𝑓 ′ 𝑥 < 𝑓 𝑥𝑘 − 𝜀 𝑓 ′ 𝑥𝑘 𝑎𝑘 = 𝑎, ngược lại giảm 𝛼 (chẳng hạn nhân 𝛼 với 𝜆 ∈ (0,1)), lặp thỏa mãn Thuật toán kết thúc 𝑓 ′ 𝑥𝑘 đủ bé 13 Phương pháp Gradient (đường dốc nhất) f x = x12 + 25x22 0.5 Chọn 𝑥0 = , 𝛼 = 0.01 0.5 2𝑥1 ′ 𝑓 𝑥 = ; 𝑓 ′ 𝑥0 = 50𝑥2 25 0.49 0.5 ′ 𝑥1 = 𝑥0 − 𝛼𝑓 𝑥0 = − 0.01 = ; 25 0.25 0.5 … 14 Phương pháp Gradient (đường dốc nhất) Nhận xét: Phương pháp phụ thuộc vào tốc độ học 𝛼 Nếu chọn 𝛼 nhỏ 𝑓 ′ (𝑥) gần trực giao với đường mức 𝑓(𝑥), thuật toán hội tụ chậm đến gần điểm cực tiểu khơng dao động 15 Phương pháp monte-carlo (1) Bài toán quy hoạch mà hàm mục tiêu phức tạp, không cho dạng hiển miền giới nội D phương pháp nêu khơng dùng Khi phương pháp monte-carlo phương pháp có hiệu max 𝑓 𝑥 𝑥 ∈ 𝐷 ; 𝐷 ∈ 𝑅𝑛 Trong 𝑓 hàm liên tục, 𝐷 miền giới nội 𝑅𝑛: 𝐷 ⊂ 𝑛𝑖=1[𝑎𝑖 , 𝑏𝑖 ] 16 Phương pháp monte-carlo (2) Tạo tập đủ lớn 𝑁 véc tơ ngẫu nhiên có phân bố 𝐷 chọn véc tơ có hàm mục tiêu lớn để làm lời giải gần Với số bước lặp 𝑁 cho trước, thuật tốn thực sau • Bước Khởi tạo 𝑗 = ; 𝑓 = 𝑚 đủ nhỏ • Bước Với 𝑖 = 1, , 𝑛 tạo số ngẫu nhiên 𝑟𝑖[0,1], tính 𝑦𝑖 = 𝑎𝑖 + 𝑟𝑖 𝑏𝑖 − 𝑎𝑖 xác định 𝑦 = (𝑦1, … , 𝑦𝑛) • Bước Kiểm tra 𝑦 thuộc 𝐷 tăng j:=j+1 sang bước 4, khơng thuộc 𝐷 trở lại bước • Bước Tính 𝑓(𝑦), 𝑓(𝑦) > 𝑓 gán 𝑥 = 𝑦 𝑓 = 𝑓(𝑦) • Bước Kiểm tra điều kiện kết thúc 𝑗 = 𝑁, thi in kết 𝑥 𝑓 tương ứng, chưa trở lại bước 17 Phương pháp monte-carlo (3) • Nếu ta chạy lại thuật tốn giá tri khởi tạo f lấy kết lần chạy trước • Điều kiện kết thúc thay việc đếm số lần lặp điều kiện khác • Kết lần chạy khơng giống • Sự hội tụ Người ta chứng minh N dần vơ hạn f hội tụ theo xác suất tới giá trị tối ưu không co đánh giá sai số cụ thể 18 Tối ưu đa mục tiêu (1) Bài toán tối ưu đa mục tiêu tổng quát xét dạng sau Cực đại hoá hàm 𝑓𝑖 → max(𝑖 = 1,2, … , 𝑘) với 𝑥 ∈ 𝑋 ⊂ 𝑅𝑛 Nói chung khơng có lời giải đồng thời đạt cực đại 𝑘 hàm 𝑓𝑖 Lời giải tìm theo nghĩa tối ưu pareto sau: Điểm x*  X gọi tối ưu pareto tốn đa mục tiêu tập X khơng tồn điểm y  X cho có i  k mà 𝑓𝑖 𝑦 > 𝑓𝑖 (𝑥 ∗ ) 𝑓𝑖 𝑦 ≥ 𝑓𝑖 (𝑥 ∗ ) với ∀𝑗 ≠ 𝑖 19 Tối ưu đa mục tiêu (2) Cách 1: Đưa mục tiêu thứ yếu vào điều kiện buộc Theo cách này, ta chọn hàm mục tiêu fj mà ta cho quan trọng xét toán 𝑓𝑗 𝑥 → 𝑚𝑎𝑥 𝑓𝑖 𝑥 ≥ 𝑐, ∀𝑖 ≠ 𝑗 với điều kiện 𝑥∈𝑋 Cách 2: Chọn trọng số ưu tiên Chọn 𝑝1 , 𝑝2 , … , 𝑝𝑘 tương ứng với 𝑘 hàm mục tiêu cho 𝑝𝑖 > 𝑝1 + 𝑝2 + ⋯ + 𝑝𝑘 = (độ lớn i phụ thuộc vào mức độ quan trọng hàm mục tiêu fi )   Đi giải toán max   f x  x  X  k i 1 i i 20 ... buộc Bài tốn tối ưu phi tuyến tổng quát dạng tắc (2) Xét tốn Max f(x) • Điểm x* ∈ Rn gọi điểm tối ưu toàn cục (hay phương án tối ưu toàn cục) x* ∈ D f(x*) ≥ f(x), ∀x ∈ D • Điểm x* ∈ Rn gọi điểm tối. .. chứng minh N dần vơ hạn f hội tụ theo xác suất tới giá trị tối ưu không co đánh giá sai số cụ thể 18 Tối ưu đa mục tiêu (1) Bài toán tối ưu đa mục tiêu tổng quát xét dạng sau Cực đại hoá hàm