Cuốn sách TỐI ƯU PHI TUYẾN – Lý thuyết và phương pháp giải này tập trung trình bày những nội dung cơ bản của lý thuyết tối ưu phi tuyến và các phương pháp thường dùng để giải các bài toán tối ưu phi tuyến có hay không có ràng buộc. Nội dung sách được chia thành bốn phần chính, có thể đọc độc lập với nhau tùy theo nhu cầu học tập, nghiên cứu. Phần cuối liệt kê một số tài liệu tham khảo, đưa ra đáp án các bài tập ở cuối mỗi chương và danh mục từ khóa tra cứu. Sách có thể dùng làm tài liệu giảng dạy cho giáo viên, tài liệu tham khảo, học tập cho sinh viên, học viên cao học, nghiên cứu sinh về một số chuyên đề gần nhau như: Giải tích lồi, Lý thuyết tối ưu, Quy hoạch phi tuyến, v.v..
CƠ BẢN
Chương 3
3.1 Khái niệm và định nghĩa
Trong không gian vécto R”, cho D C R” 1a mot tap khác rỗng và hàm số thực ƒ : D > R” tiy ý Bài toán tối ưu có dạng min { f(x) | a D} (P) là bài toán tìm véctơ (điểm) z* € D sao cho ƒ(#*) < f(x) véi moi z€.D Định nghĩa 3.1 Hàm ƒ gọi là hàm mục tiéu hay ham chi phi, tập D gọi là tập ràng buộc hay miền chấp nhận được Một véctơ
(điểm) z € Ð gọi là một phương dn (Idi giải hay nghiệm) chấp nhận duoc Vộcto ứ* € D sao cho f(x*) < f(x) với mọi z € D gọi là một phương án (lời giải hay nghiệm) tối ưu của bài toán và ƒ(œ*) gọi là giá trị cực tiểu hay giá trị tối ưu của ƒ trên D, thường được ký hiệu là fmin-
Trường hợp D = R”, ta có bài toán tối wu không ràng buộc: min { f(z) | ô €R"} hay min f(z) xeER”*
Ngược lại, (P) là bài toán tối ưu có ràng buộc Khi ấy, tập D thường được cho bởi
D={xER"| gi(x) < h;(x) = 0, j=1, ,p}, (3.1) v6i g;, hj : R" > IR là các hàm số cho trước, gọi là các hàm ràng buộc và bài toán (P) có thể viết dưới dạng (gọi là bài toán dạng chuẩn) f(x) > min với điều kiện
Cỏc hệ thức ứ;(z) < 0 gọi là cỏc ràng buộc bất đẳng thỳc, cỏc hệ thức h;() = 0 gọi là các ràng buộc đẳng thúc Ràng buộc bất đẳng thức dạng z; > 0 (—z; < 0) gọi là ràng buộc không âm hay rang buộc vé déu
Nhận xét 3.1 Ràng buộc bất đẳng thức có thể biến đổi thành ràng buộc đẳng thức và ngược lại Thật vậy, các ràng buộc (3.2) cú thể được biểu diễn nhờ hệ thức ứ;(z) + y? = 0, i=1, , m với
1¡ là các số thực, gọi là các biến bù Ngược lại, mỗi ràng buộc đẳng thức (3.3) tương đương với hai ràng buộc bất đẳng thức h;(œ) < 0,
Với nhận xét vừa nêu, không giảm tính tổng quát, đôi khi ta xét bài toán tối ưu chỉ với ràng buộc đẳng thức hoặc chỉ với ràng buộc bất đẳng thức
Nhận xét 3.2 Do min{ ƒ(z) | x € D} = —max{— ƒ(z)|zc D} nên bài toán tìm cực tiểu đưa được về bài toán tìm cực đại và ngược lại Nếu f(x*) > f(x) với mọi z € D thi f(a*) là giá trị cực dai cia ham ƒ trên D và thường được ký hiệu là fax.
3.1 Khai niém va định nghĩa 73 Định nghĩa 3.2 Diểm z* € 2 được gọi là một nghiệm cực tiểu địa phương của ƒ trên D nếu có e > 0 sao cho f(2*) < f(x) voi moi z € D va ||# — #*|| < e
Nếu ƒ(+*) < ƒ(z) với mọi z € D, z # #* và ||z — z*|| < e thì
#* được gọi là nghiệm cực tiểu địa phương chặt của ƒ trên D Định nghĩa 3.3 Diễm z* € D được gọi là nghiệm cực tiểu toàn cục của ƒ trên D nếu ƒ(z*) < ƒ(+) với mọi z € D Néu f(2*) < f(x) với mọi ô € D, x # z* thỡ z* được gọi là nghiệm cực tiểu toàn cục chặt của ƒ trên D
Các khái niệm nghiệm cực đại địa phương, cực đại địa phương chặt và nghiệm cực đại toàn cục, cực đại toàn cục chặt được định nghĩa tương tự Đồ thị hàm một biến số (Hình 3.1):
#¡ là điểm cực tiểu toàn cục chặt (f khong có cực đại toàn cục),
#s là điểm cực đại địa phương chặt, x3 là điểm cực tiểu địa phương (không chặt), zx là điểm cực đại địa phương (không chặt), +; là điểm cực tiểu địa phương chặt
Hình 3.1 Cực tiểu (cực đại) địa phương (toàn cục) Đối với hàm tùy ý ƒ trên tập D, ta ký hiệu tập tất cả các điểm cực tiểu (cực đại) toàn cục của ƒ trên 7 là arg minzep ƒ() (arg max,ep f(x))
Khi xét một bài toán tối ưu, ta mong muốn tìm nghiệm tối ưu
(cực tiểu, cực dai) todn cục của nó Tuy nhiên, một nghiệm như thế có thể không tồn tại Chẳng hạn, hàm một biến f(x) = x va f(x) = c" không có cực tiểu toàn cục trên tập số thực R Ham f(x) = + giảm vô hạn tới —oo khi x dan tdi —oo, con ham f(x) = e* luôn nhận giá trị dương và giảm tới 0 khi z dần tới —œ
Tập {ƒ(z) |+ € D} được gọi là miễn trị của hàm ƒ Có hai khả năng sau:
(a) Tập {ƒ(z) | + € D} bị chăn dưới, nghĩa là có một số / sao cho < f(x) véi mọi z € D Trong trường hợp này, cận dưới lớn nhất của {ƒ(z) | € D} là một số thực và được ký hiệu là inf„ep ƒ(z) Chẳng hạn, inf„cpg c* = 0
(b) Tap {ƒ(z) | z € DỊ} không bị chặn dưới (tức là tập này chứa các số thực nhỏ tùy ý) Trong trường hợp này, ta viết inf,en f(x) = —oo
Diểm cực tri todn cuc thường được tìm trong số các điểm cực trị địa phương Nhưng việc tìm này nói chung cũng không dễ vì một bài toán có thể có rất nhiều cực trị địa phương giá trị khác nhau, trừ phi có những giả thiết đảm bảo nghiệm tối tưu địa phương cũng là nghiệm tối tu toàn cục Vì vậy, trên thực tế, trong nhiều trường hợp, ta phải bằng lòng với một điểm cực trị địa phương và đôi khi tìm được một điểm cực trị địa phương cũng là đủ
Sau đây là một số ví dụ về bài toán tối ưu không ràng buộc
Vi du 3.1 (Bai todn san xuất) Có một loại sản phẩm được chế tạo từ zm loại vật liệu khác nhau Hàm sản xuất ƒ(#1,#s, , #,„) cho biết số lượng sản phẩm sản xuất được khi sử dụng kết hợp #; đơn vị vật liệu 7, j = 1,2, ,m Giá một đơn vị sản phẩm là và giá một đơn vị các loại vật liệu lần lượt là py, p2, , Pm Dé dat lợi nhuận tối đa, nhà sản xuất cần giải bài toán tối ưu không ràng buộc: qƒ(đ1,#a, , ®m) — (PIđ1 Ð Đa#2 + + Ð Dm„#„) —> max.
lý 4.1)
Tuy nhiên, Định lý 4.4 và 4.5 chưa giúp ta tìm ra điểm cực tiểu toàn cục của một hàm Muốn biết điểm cực tiểu toàn cục, ta cần tới các điều kiện đủ Để đơn giản ký hiệu, đôi khi ta cdn viét H f(a) thay cho V? f(x) dé chi ma tran Hessian cia ham f tai x (ma trận lập nên bởi các đạo hàm riêng cấp hai của ƒ tại z) Diều kiện thứ hai trong Hệ quả 4.3 nói rằng ma trận fƒ(+*) nửa xác định dương Ma trận Hƒ(z*) nảy sinh một cách tự nhiên khi bàn về điều kiện cần tối ưu, đồng thời giữ một vai trò quan trọng trong phân tích các phương pháp giải lặp bài toán tối ưu không ràng buộc
4.2.3 Điều kiện đủ tối ưu cấp 1 và cấp 2 Định lý 4.6 (Điều kiện đủ cấp 1) Giả sử hàm ƒ khả tì liên tục trên tập D CIR" Néu a* € D thỏa mãn điều kiện
(Vf (2*),d) > 0 vdi moi d € Tp(2*), d #0, (4.3) thi x* la diém cuc tiéu dia phuong chặt của ƒ trên D, theo nghĩa cú một số e > 0 sao cho f(2*) < f(x) uới mợi z € D, ứ # +* tà
Chứng minh Giả sử z* € D thỏa mãn (4.3) nhưng z* không phải là điểm cực tiểu địa phương chặt Khi đó, tìm được một dãy điểm x* € D sao cho f(x*) < f(a*) va vk > a*, a® ta" (k = 1,9, )
Dat ty = |la*—a*|| > 0, đ# = pon Do ||d*|| = 1 nên bằng cách lấy day con nộu can, ta c6 thộ gid thiột d* > d Vi v* = ô* + t,d* € D, ty \, 0, nén theo Dinh nghia 4.2, ta cé d € Tp(a*) Tit khai trién Taylor f(a") = flat + thd") = f(a*) + te (VF (e*), d*) + ofte) với o(f,)/t„ —> 0 khi k —> oo, ta thay te (VF (a*), d*) + o(tx) = f(a") — f(a") 0 và qua giới hạn khi k —> oœ, ta nhận được
(Vƒ(œ*), đ) < 0, trái với (4.3) Vì vậy, z* phải là điểm cực tiểu địa phương chặt của ƒ trên D L] Định lý 4.7 (Diều kiện đủ cấp 2) Nếu ứ* € D là một điểm tại dé ham f(x) hai lan kha vi lien tuc va
Vƒ(z*) =0, (d,V?ƒ(z')d) > 0 Vd € Ty(2*), d#0, (44) thà x* la diém cuc tiéu dia phuong chat ctia f trén D
Chứng minh Giả sử trái lại, 2* khong phai là cực tiểu địa phương chặt của ƒ trên D thì có dãy {a*} CD, a # x* (k = 1,2, ) hdi tu tdi z* sao cho f(x") < f(x*) Dat t, = ||+* — z*|| và d® = (x — x*)/t, Do ||d*|| = 1 véi moi k nén ta co thé gid thiét
{d*} hội tụ tới vộctơ nào đú đ € J” Ta thấy ứ# = z* + t,d* thudc D, tk \, 0, d® > d, nén theo Dinh nghia 4.2, ta c6 d € Tp(z*) Vi Vƒ(z*) = 0 nên dùng khai triển Taylor, ta nhận được fla*) = f(a* + ted) = fla") + “ (at, V2Ƒ(a°)d*) + oft?) 2 v6i o(t2)/tZ + 0 khi k > oo Vi thé, i
Chia hai về cho t? > 0 va qua gidi han khi k — oo, ta thay (d, V? f(x*)d) < 0, trai véi (4.4) Vay x* phai 1A diém cuc tiéu dia phương chặt của ƒ trên D L]
4.2 Bài toán tối ưu uới răng buộc tập 103
Hệ quả 4.4 Nếu z* € intD va Vƒ(œ*) = 0 thì điều kiện đủ để œ* là cực tiểu địa phương chặt của ƒ trờn D là V?ƒ(ọ*) sỏc định đương trên R", ttic (d, V7 f(x*)d) > 0 vdi moid ER", d 40
Chứng minh Suy từ Định lý 4.7 và nhận xét Tp(x*) = R” (xem Ví dụ 4.7a) Khi D = IR", hệ quả này trùng với kết luận đã nêu ở Định lý 4.1 L]
Ví dụ 4.8 Xét bài toán tìm cực tiểu hàm ƒ(đi, #2) = #Ÿ + 20a — 2 + 2x Viz, > 0, 2 >0(D= R?)
Có thể thay f dat cuc tiéu toan cuc tai x* = (1;0)' va finin = —1
Ta kiểm tra điều kiện cần cấp 1 và cấp 2 thỏa mãn tại z* Thật vậy, ta có
OF) _ an gan —2, PF) — 2n +3 và Ox,
Các đạo hàm riêng không triệt tiêu tại z* (Of(x*)/dx, = 0, ỉƒ(z*)/ỉz› = 4 # 0), nhưng vỡ hướng đ € IR? chấp nhận được tại
#* phải có dạ > 0 (xem Ví dụ 4.6), nên (Vƒ(z*), d) = 4d; > 0 với mọi đ chấp nhận được tại z* (điều kiện cấp 1) Điều kiện (b) trong Dịnh lý 4.5 chỉ áp dụng khi dạ = 0 Trong trường hợp này, ta có (d, V?f(x*)d) = 2d? > 0, vi thé diéu kién (b) được thỏa mãn
Ví dụ 4.9 Xét bài toán tìm cực tiểu của hàm f (a1, 2) = a} — aay + 2x3 voi x, > 0, ry > 0
Nếu giả sử rằng nghiệm tối ưu nằm ở phần trong của tập ràng buộc D = {z €R? |z¡ >0, z¿ > 0}, tức là nếu zị > 0, x2 > 0, thì điều kiện cần cấp 1 là 3z? — 2z = 0 và — z? + 4z; = 0 Hệ này có nghiệm #¡ = #; = 0 là điểm biên của D va nghiém (khác 0)
#ị = 6, z¿ = 9 là điểm trong của D2 Chú ý là khi cố định z¡ = 6, hàm mục tiêu ƒ đạt cực tiểu địa phương đối với z;¿ tại # = 9
Ngược lại, khi cố định z; = 9, hàm mục tiêu ƒ đạt cực tiểu địa phương đối với z¡ tại z¡ = 6 Mặc dù vậy, điểm #¡ = 6, z¿ = 9 không phải là điểm cực tiểu địa phương của hàm ƒ, bởi vì ma trận Hessian bằng
18 —12 -12 4 thức bằng —72 < 0 nên không nửa xác định duong Diéu kién ở
Hệ quả 4.3 bị vi phạm nên z¡ = 6, #¿ = 9 không thể là điểm cực tiểu của ƒ và tính tại z = (6;9) thì H = Ma trận H có định
& Diéu kién (4.2) chỉ là điều kiện cần, không phải là điều kiện đủ của tối ưu Tuy nhiên, nếu ƒ là hàm lồi và D 1a tap lồi thì (4.2) là điều kiện tối ưu cần và đủ
Dinh lý 4.8 Gia sit f(x) la ham di, kha tì liên tục trên tập lồi D Dé x* € D là cực tiểu của ƒ trên D, điều kiện cần uà đủ là +" thỏa mãn điều kiện (4.2)
Chứng minh Ta chỉ cần chứng minh rằng nếu điều kiện (4.2) được thỏa mãn thì z* là một điểm cực tiểu của ƒ trên 7 Thật vậy, lấy điểm bất kỳ z € D Do ƒ lồi trờn D và ứ—z* € Fp(&*) C Tp(œ*) nên theo Định lý 2.8 (a) và Định lý 4.4, ta có: f(x) — ƒ(œ ”) > (Vƒ(4”),z — z”) > 0 với mọi z € D
Ti do f(x*) < f(x) với mọi # € D, suy ra #* là cực tiểu của ƒ trên D L]
4.2.4 Điều kiện tối ưu cấp 0 đối với bài toán quy hoạch lồi Xét bài toán tìm cực tiểu hàm ƒ(z) với z € D Bài toán này tuy khụng cú ràng buộc hiển dạng ứ(z) < b hay h(#) = e, nhưng vẫn
4.2 Bài toán tối ưu uới răng buộc tập 105 bị ràng buộc bởi tập D Rang buộc này có tác động tới các điều kiện cần và đủ cấp 1 và cấp 2 thông qua mối liên hệ giữa hướng chấp nhận được và đạo hàm của hàm ƒ Tuy nhiên, có một cách tiếp cận khác để xử lý ràng buộc mà không dùng đến đạo hàm
Kết quả là ta nhận được điều kiện tối ưu cấp 0, trong đó điều kiện cần đòi hỏi phải có giả thiết D là một tập lồi và ƒ là một hàm lồi trên R”, còn điều kiện đủ thì không yêu cầu gì Để tìm ra điều kiện cần, ta xét tập
A= {9 |z €RP, £> fl@)} CR Đồ thị hàm ƒ và tập 4 được vẽ ở phần trên Hình 4.2 Như đã biết, Ala tập trên đô thị của ƒ, ký hiệu epi ƒ Dễ kiểm tra lại rang A là tập lồi khi và chỉ khi ƒ là hàm lồi
SÀ1+AT+8== TA
Điểm yên ngựa
5.2.1 Hàm Lagrange và điểm yên ngựa Để tiện cho việc trình bày, sau đây ta sẽ xét bài toán (P) có dạng: min { f(x) | gi(x 0) (5.2) Định nghĩa 5.1 Điểm (z*,u*) € X x IR gọi là một điểm yên ngựa của hàm £(z,u) nêu có hệ thức:
Từ định nghĩa trên suy ra
5.2.2 Lời giải tối ưu và điểm yên ngựa Định lý sau nêu mối liên hệ giữa lời giải tối ưu của bài toán (P) với điểm yên ngựa của hàm Lagrange L(x, wu) Định lý 5.3 Nếu (+*, u*) là một điểm tên ngựa của hàm Lagrange L(a,u) thi x* la mét loi giải tối tu của bài toán (P)
Chứng mỉnh Từ định nghĩa (5.2) của hàm Lagrange, các bất đẳng thức (5.3) có thể viết lại thành f(x") + (u, g(a")) S f(@*) + (u*, g(x")
Khi do, néu g;(a*) > 0 với 2 nào đó, chẳng hạn với i = 1, thì bằng cách lấy u = ge! vdi e! = (1;0; ;0)' €E R™ va g > 0 du Ion, ta SẼ CÓ:
F(a") + (u, g(a") > F(a") + Cu", g(a"), trỏi với bất đẳng thức đầu ở (5.4) Vậy, phải cú ứ(œ*) < 0 với mọi ¿=1, ,m, nghĩa là z* là một phương án của bài toán (P)
Ta còn phải chứng tỏ rằng z* đạt cực tiểu có ràng buộc của ham ƒ(z) Thật vậy, bằng cách đặt w = 0 trong (5.4), ta nhận được (u*, g(a*)) > 0 Mat khac, do u* > 0, g(a*) < 0 nén (u*, g(x*)) < 0
Vậy (u*,g(a*)) = 0 Tit day va ti bat đẳng thức thứ hai trong (5.4), suy ra f(a") = Fa") + u", g(a") < fla) + (u", g(@)) Va € X
Nói riêng, nếu z thỏa mãn g(x) < 0 (ttte x 1a phuong án của bài toan (P)) thi (u*,g(x)) < 0 Do vay, f(a*) < f(a), nghia la x* 1a lời giải tối ưu của bài toán (P) Oo
(a) Có thể chứng minh rằng (5.3) tương đương với £(”,u") = min [max L(c, u)| " max [min L(x, u)]
(b) Trong Dịnh lý 5.3 không có giả thiết gì về các hàm f va gi
Muốn có điều khẳng định ngược lại, ta cần đến tính lồi của cỏc hàm /ƒ và ứ;, cũng như cần đến điều kiện chớnh quy Slater nêu trong định lý sau đây Định lý 5.4 Giả sử
(a) Bài toán (P) có lời giải tối tu;
(b) f vagi, , Gm là các hàm lồi; X là một tập lồi;
(c) Có € X sao cho g,(®) < 0, ¡ = 1, ,m (điều kiện Slater)
Khi đó, uới mỗi lời giải tối tu #* của bài toán (P) có tồn tại vécto u* > 0 sao cho (a*,u*) la một điểm yên ngựa của hàm Lagrange £(œ,u) xác định theo (5.2).
Chitng minh Ta xét hai tap hop A va B gdm cac vécto y € “+, y = (Yo, Vis - yUmỒ ) được xây dựng như sau:
Do ƒ và mọi ứ;Ă lồi nờn 4 là một tập lồi và cũng là một tập lồi ( là tập bị chặn trên bởi các siêu phẳng song song với các trục toa do trong R™*!) Hon nita, do x* là lời giải tối ưu của bài toán
Theo Dinh lý tách I (Định lý 1.8), ta tìm được véctơ khác 0, a = (dg,đ, ,đ„)' và hằng số œ sao cho siờu phẳng (ứ,) = œ tỏch A với ệ, nghĩa là ta cú hệ thức
Vì các thành phần của ? € có thể lấy nhỏ tùy ý nên ta phải cú a > 0 Nếu ta chọn #! = [ƒ(#),ứi(#) ỉm„(#)} và y= [f(2*),0, " ,0] € ðB (biên của Đ), thì do (5.5) cũng thỏa món trờn biờn của ệ nờn ta cú a0 ƒ(#) + aigi(2) + : + đmg0m(#) > aoƒ(d”) Va EX (5.6) ou
Néu ap = 0 thì từ (5.6), ta có với mọi z € X, đ1ỉ1(#) + **+ + đm„gm(#) = 0, trong đó a; > 0 vdi moi i vA >a? > 0, nhưng điều này không ding tai 7 € X (điều kiện (c) hay giả thiét chinh quy Slater) Vay ay > 0 va chia hai vé ctta (5.6) cho ao, ta nhận được f(x) + (u*, g(a) & fla") Va € X, véi u; = a;/ap, i= 1, ,m hay
L(x,u*) > f(a*) Va € X (5.7) Dat xô = 2* trong (5.7), ta duge L(a*,u*) > f(a*) hay
