Bài toán tối ưu thường được phát biểu dưới dạng: Tìm nghiệm tối ưu của bài toán
min
x∈D f(x), (2.1)
trong đó D là một tập con nào đó của không gian định chuẩn X, f là một hàm xác định trên D.
Nếu tìm được điểm x0 ∈ D sao cho
f(x0) ≤f(x), ∀x ∈ D
thì ta viết
f(x0) = min
x∈D f(x)
và gọi x0 là nghiệm tối ưu toàn cục của bài toán (2.1). Nếu tìm được điểm x0 ∈ D sao cho tồn tại lân cận U của x0 để
thì x0 được gọi là nghiệm tối ưu địa phương của bài toán (2.1).
Bài toán (2.1) thường được phân loại theo cấu trúc của tập hợp D
(còn gọi là miền ràng buộc của bài toán) và tính chất của hàm số f (còn gọi là hàm mục tiêu của bài toán) như sau:
Nếu D là tập mở và f là hàm số khả vi thì (2.1) được gọi là bài toán quy hoạch trơn hay bài toán tối ưu trơn. Đối với trường hợp này, sự tồn tại nghiệm của nó được quy về xét các điều kiện thông qua các đạo hàm cấp 1,2 của f. Khi f là hàm khả vi, D (không là tập mở) xác định bởi các đẳng thức hay bất đẳng thức với hàm ràng buộc khả vi thì trong một số điều kiện, chúng ta tìm cách đưa về bài toán tối ưu trơn nhờ phương pháp nhân tử hóa Lagrange hay phương pháp điểm dừng Karush-Kuhn-Tucker.Vấn đề này chúng ta sẽ thảo luận kỹ hơn ngay sau đây.
Nếu f là hàm số không khả vi thì bài toán (2.1) được gọi là bài toán quy hoạch không trơn hay bài toán tối ưu không trơn. Trong lớp bài toán này người ta lại phân thành các lớp bài toán cơ bản sau:
1. Khi D là đa diện và f là hàm tuyến tính, (2.1) được gọi là bài toán quy hoạch tuyến tính.
2. Khi D là đa diện vàf là hàm phân tuyến tính (thương của hai hàm tuyến tính), (2.1) được gọi là bài toán quy hoạch phân tuyến tính.
3. Khi D là miền lồi trong Rn và f là hàm toàn phương, tức là f có dạng f(x) = xTQx + bx + c với Q là ma trận cấp n× n, b ∈ Rn
phương.
4. Khi D là tập lồi và f là hàm lồi thì (2.1) được gọi là bài toán quy hoạch lồi.
5. Khi D là tập đóng và f là hàm Lipschitz thì (2.1) được gọi là bài toán quy hoạch Lipschitz....
Hơn nữa, bài toán (2.1) còn được mở rộng cho trường hợp f là hàm giá trị véc tơ, tức là f là ánh xạ từ D vào một không gian tuyến tính tô pô trên đó có một quan hệ thứ tự từng phần theo nón. Khi đó ta có bài toán tối ưu véc tơ (xem thêm [3, 12]). Thậm chí người ta còn xét cả trường hợp f là ánh xạ đa trị. Khi đó chúng ta cần tới lý thuyết về giải tích đa trị (xem [5]).
Để tiện theo dõi chúng tôi nhắc lại một số kiến thức cơ bản về bài toán tối ưu trơn trong không gian hữu hạn chiều:
Xét bài toán tối ưu (2.1) trong trường hợp miền ràng buộc D ⊂ Rn
xác định bởi đẳng thức g(x) = 0, g là hàm khả vi.
Để giải bài toán này, ta tìm trước điều kiện cần: Giả sử bài toán có nghiệm tại x0 ∈ D. Giả thiết thêm là ∇g(x0) 6= 0 (tại x0, D có mặt phẳng tiếp xúc có một véc tơ pháp tuyến là ∇g(x0)). Khi đó, với một đường (C) khả vi, liên tục trên D bất kì đi qua x0 có phương trình tham số C = C(t), t ∈ I với I là một khoảng nào đó, ta có g(C(t)) = 0 với mọi t∈ I (vì (C) nằm trên D) và tồn tại t0 ∈ I để C(t0) =x0.
tiểu tại x0). Do đó
(f ◦C)0(t0) =∇f(C(t0)).C0(t0) =∇f(x0).C0(t0) = 0.
Nói cách khác ∇f(x0) phải trực giao với miền ràng buộc D. Vậy tồn tại
λ ∈ R sao cho
∇f(x0) = −λ∇g(x0). (adsbygoogle = window.adsbygoogle || []).push({});
Giá trị λ trên đây được gọi là nhân tử Lagrange.
Vậy, nếu x0 là nghiệm tối ưu của hàm f(x) với ràng buộc đẳng thức
g(x) = 0 thì phải tồn tại λ ∈ R sao cho
∇f(x0) +λ∇g(x0) = 0, g(x0) = 0. (2.2)
Ví dụ 2.1. Tìm cực tiểu của hàm f(x, y) := x2 +y2 với ràng buộc
g(x, y) := x+y −10 = 0.
Đặt hàm Lagrange
L(x, y) =f(x, y) +λg(x, y).
Giả sử bài toán trên có nghiệm tại (x, y). Theo (2.2) ta có ∇L(x, y, λ) = 0. Giải hệ này ta nhận được nghiệm
(x, y, λ) = (5,5,−10).
Kiểm tra điều kiện đủ ta có
d2L(5,5,−10) = 2(dx2 + dy2) > 0
Tiếp đến chúng ta xét bài toán tối ưu (2.1) trong trường hợp miền ràng buộc D xác định bởi bất đẳng thức: g(x) ≤ 0, với g là hàm khả vi. Cũng như trên, ta giả sử bài toán có nghiệm tại x0 ∈ D, tức là
g(x0) ≤ 0. Ta xét hai khả năng sau:
i) Nếu g(x0) = 0 thì theo trường hợp vừa nêu x0 cũng là nghiệm của bài toán cực tiểu của f(x) với ràng buộc g(x) = 0 nên phải tồn tại nhân tử Lagrange λ ∈ R sao cho
∇f(x0) = −λ∇g(x0).
Hơn nữa ta thấy λ >0 vì nếu trái lại, tức là λ ≤ 0 thì ta có thể giảm hàm f đến −∞ theo chiều −∇f(x) mà vẫn nằm trong miền ràng buộc. ii) Nếu g(x0) ≤ 0 thì x0 là cực tiểu địa phương của hàm f nên
∇f(x0) = 0. Rõ ràng là tồn tại λ = 0 để
∇f(x0) = −λ∇g(x0).
Như vậy, nếu x0 là nghiệm tối ưu của bài toán cực tiểu hàm f(x) với ràng buộc bất đẳng thức g(x) ≥ 0 thì tồn tại nhân tử Lagrange λ sao cho điều kiện Karush-Kuhn-Tucker sau thỏa mãn
∇f(x0) + λ∇g(x0) = 0 λ ≥0 g(x0) ≤ 0. (2.3)
Tổng quát hơn, cho D ⊂ RN, f0 : D →R là hàm khả vi. Xét bài toán tối ưu
min
với tập ràng buộc D được xác định bởi M ≤ N bất đẳng thức và N−M đẳng thức: fi(x) ≤0, i = 1,2, ..., M fi(x) = 0, i = M + 1, ..., N, trong đó fi là các hàm khả vi.
Giả sử x là nghiệm tối ưu của bài toán (2.4). Lúc này ta chia các ràng buộc bất đẳng thức làm hai loại: hoạt và không hoạt (active/ inactive) tương ứng với tình huống fi(x) = 0 hay fi(x) < 0. Khi đó các ràng buộc hoạt sẽ được xét như các ràng buộc đẳng thức.
Ta định nghĩa hàm Lagrange L : RN ×RN → R bởi
L(x, λ) := f0(x) +
N
X
i=1 (adsbygoogle = window.adsbygoogle || []).push({});
λifi(x), λ = (λ1,· · · , λN).
Định lý 2.2 ([11], Định lý 2.2). Nếu x là nghiệm tối ưu địa phương của bài toán (2.4) và tại đó các đạo hàm ∇fi(x) của các hàm ràng buộc đẳng thức và hàm ràng buộc bất đẳng thức hoạt độc lập tuyến tính, thì tồn tại véc tơ λ (nhân tử Lagrange) thuộc tập
Λ := {λ = (λ1,· · · , λM,· · · , λN) : λi ≥ 0 với i = 1,· · · , M} sao cho ∇xL(x, λ) = 0, ∂L ∂λi(x, λ)
= 0, nếu (1 ≤ i ≤ M và λi > 0) hoặc (M + 1≤ i ≤ N)
≤ 0, nếu 1 ≤ i ≤ M và λi = 0.
Các điều kiện đối với đạo hàm cấp một của hàm Lagrange vẫn được gọi là các điều kiện Karush-Kuhn-Tucker.