Nguyên lý Lagrange trong các bài toán cực trị

Trong lý thuyết và ứng dụng ta thường gặp các bài toán cực trị (tìm cực đại và cực tiểu). Khi giải một bài toán cực trị người ta thường tìm cách đưa nó về các bài toán đơn giản hơn: với số biến hoặc số ràng buộc ít hơn, thậm chí không có ràng buộc càng tốt. Ý tưởng này được thể hiện rõ nét trong phương pháp nhân tử Lagrange và trong một số phương pháp tối ưu khác. Nguyên lý Lagrange tạo cơ sở lý thuyết cho phương pháp nhân tử Lagrange giải bài toán cực trị có ràng buộc, đặc biệt là các bài toán với ràng buộc đẳng thức. Mục tiêu của luận văn này là tìm hiểu nguyên lý Lagrange trong lý thuyết các bài toán cực trị, chủ yếu xét trong không gian hữu hạn chiều ℝn và ứng dụng nguyên lý này vào việc tìm nghiệm (cực tiểu và cực đại) của các bài toán cực trị có hay không có ràng buộc, đặc biệt là các bài toán quen thuộc trong số học và hình học, nhằm nâng cao kiến thức và khả năng trong giảng dạy và nghiên cứu về toán tối ưu nói riêng và toán ứng dụng nói chung. Nội dung luận văn được viết trong ba chương. Chương 1 “Bài toán cực trị” trình bày khái quát về bài toán cực trị có hoặc không có ràng buộc, nhắc lại các khái niệm về nghiệm cực tiểu (cực đại) địa phương (toàn cục), sự tồn tại nghiệm của bài toán, các điều kiện đòi hỏi nghiệm bài toán cần thỏa mãn (điều kiện cần và điều kiện đủ), dựa vào đó tìm nghiệm tối ưu của bài toán. Chương 2 “Nguyên lý Lagrange” trình bày kết quả lý thuyết về điều kiện cần tối ưu (cấp 1, cấp 2) và điều kiện đủ tối ưu (cấp 2) cho nghiệm cực tiểu địa phương của bài toán qui hoạch phi tuyến với ràng buộc đẳng thức và trình bày phương pháp nhân tử Lagrange đưa bài toán có ràng buộc đẳng thức về bài toán (không ràng buộc) của hàm Lagrange (bằng hàm mục tiêu ban đầu cộng với các hàm ràng buộc, sau khi đã nhân với các hệ số gọi là các nhân tử Lagrange).

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN THÀNH CÔNG

NGUYÊN LÝ LAGRANGE

TRONG CÁC BÀI TOÁN CỰC TRỊ

LUẬN VĂN THẠC SĨ TOÁN HỌC

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

GS-TS Trần Vũ Thiệu

LỜI NÓI ĐẦU

Trong lý thuyết và ứng dụng ta thường gặp các bài toán cực trị (tìm cực đại

và cực tiểu) Khi giải một bài toán cực trị người ta thường tìm cách đưa nó về các bài toán đơn giản hơn: với số biến hoặc số ràng buộc ít hơn, thậm chí không

có ràng buộc càng tốt Ý tưởng này được thể hiện rõ nét trong phương pháp nhân tử Lagrange và trong một số phương pháp tối ưu khác Nguyên lý Lagrange tạo cơ sở lý thuyết cho phương pháp nhân tử Lagrange giải bài toán cực trị có ràng buộc, đặc biệt là các bài toán với ràng buộc đẳng thức

Mục tiêu của luận văn này là tìm hiểu nguyên lý Lagrange trong lý thuyết các bài toán cực trị, chủ yếu xét trong không gian hữu hạn chiều ℝn và ứng dụng nguyên lý này vào việc tìm nghiệm (cực tiểu và cực đại) của các bài toán cực trị

có hay không có ràng buộc, đặc biệt là các bài toán quen thuộc trong số học và hình học, nhằm nâng cao kiến thức và khả năng trong giảng dạy và nghiên cứu

về toán tối ưu nói riêng và toán ứng dụng nói chung

Nội dung luận văn được viết trong ba chương

Chương 1 “Bài toán cực trị” trình bày khái quát về bài toán cực trị có hoặc không có ràng buộc, nhắc lại các khái niệm về nghiệm cực tiểu (cực đại) địa phương (toàn cục), sự tồn tại nghiệm của bài toán, các điều kiện đòi hỏi nghiệm bài toán cần thỏa mãn (điều kiện cần và điều kiện đủ), dựa vào đó tìm nghiệm tối ưu của bài toán

Chương 2 “Nguyên lý Lagrange” trình bày kết quả lý thuyết về điều kiện cần tối ưu (cấp 1, cấp 2) và điều kiện đủ tối ưu (cấp 2) cho nghiệm cực tiểu địa phương của bài toán qui hoạch phi tuyến với ràng buộc đẳng thức và trình bày phương pháp nhân tử Lagrange đưa bài toán có ràng buộc đẳng thức về bài toán (không ràng buộc) của hàm Lagrange (bằng hàm mục tiêu ban đầu cộng với các hàm ràng buộc, sau khi đã nhân với các hệ số gọi là các nhân tử Lagrange)

Chương 3 “Áp dụng giải bài toán cực trị” trình bày các ứng dụng của nguyên lý Lagrange vào việc tìm nghiệm cực tiểu hay cực đại của một số bài toán cực trị, chủ yếu là bài toán với ràng buộc đẳng thức Đặc biệt xét các bài toán quen thuộc trong số học và hình học, bài toán về chứng minh các bất đẳng thức, bài toán về khoảng cách, bài toán Steiner Đây là những bài toán có ý nghĩa thực tế, được các nhà toán học nổi tiếng đề ra hoặc nêu cách giải Qua đó giới thiệu một số ứng dụng của lý thuyết tối ưu trong thực tiễn

Do thời gian và kiến thức còn hạn chế nên chắc chắn luận văn này còn có những thiếu sót nhất định, kính mong quí thầy cô và các bạn đóng góp ý kiến để tác giả tiếp tục hoàn thiện luận văn sau này

Nhân dịp này tác giả luận văn xin bày tỏ lòng biết ơn sâu sắc tới GS-TS Trần Vũ Thiệu, Viện Toán học - Viện Hàn Lâm Khoa học và Công nghệ Việt Nam đã tận tình chỉ bảo, giúp đỡ tôi trong quá trình làm luận văn

Bên cạnh đó tôi cũng xin bày tỏ lòng biết ơn đến ban giám hiệu trường Đại học Khoa học Thái Nguyên, Khoa Toán - Tin, Trung tâm học liệu Đại học Thái Nguyên đã tận tình động viên, tạo điều kiện giúp đỡ tôi trong thời gian học tập

và làm luận văn

Tôi xin bày tỏ lòng biết ơn sâu sắc đến Viện Toán học - Viện Hàn Lâm Khoa học và Công nghệ Việt Nam đã tạo điều kiện thuận lợi cho tôi trong thời gian học tập nghiên cứu

Tôi xin gửi lời cảm ơn chân thành đến những người thân trong gia đình, bạn bè và đồng nghiệp về những sự quan tâm, động viên và giúp đỡ tôi trong thời gian qua

Thái Nguyên, ngày 09 tháng 3 năm 2014

Học viên

Nguyễn Thành Công

Chương 1 BÀI TOÁN CỰC TRỊ

Chương này nhắc lại một số khái niệm cơ bản về bài toán cực trị có hoặc không có ràng buộc, các khái niệm nghiệm cực tiểu (cực đại) địa phương (toàn cục), sự tồn tại nghiệm của bài toán, các điều kiện đòi hỏi nghiệm bài toán cần thỏa mãn (điều kiện tối ưu cần và đủ) Nội dung của chương được tham khảo chủ yếu từ các tài liệu [1], [2], [4] và [6]

1.1 CÁC KHÁI NIỆM CƠ BẢN

1.1.1 Ví dụ về bài toán cực trị

Các bài toán cực trị đã biết từ bậc phổ thông Để làm ví dụ, ta xét hai bài toán quen thuộc trong hình học phẳng

Bài toán 1 (Bài toán Heron) Tìm trên đường thẳng đã cho một điểm sao

cho tổng khoảng cách từ điểm đó tới hai điểm cho trước là nhỏ nhất? (Hình 1.1)

Bài toán 2 Vẽ nội tiếp trong hình tròn một hình chữ nhật có diện tích lớn

nhất? (Hình 1.2)

Hình 1.1 Hình 1.2 Bài toán 1 tìm cực tiểu (minimum), bài toán 2 tìm cực đại (maximum) Cực

tiểu và cực đại được gọi chung là cực trị (extremum) Đôi khi người ta dùng từ

tối ưu (optimization), nghĩa là tốt nhất hay hoàn hảo nhất Như vậy, bài toán 1

và 2 là các bài toán cực trị hay bài toán tối ưu Lý thuyết các bài toán tìm giá trị nhỏ nhất (lớn nhất) của hàm gọi là lý thuyết bài toán cực trị hay lý thuyết tối ưu

y

r (x, y)

Các bài toán 1 và 2 được mô tả bằng lời, không dùng công thức Các bài toán cực trị nảy sinh từ các lĩnh vực khoa học hay từ thực tiễn thường như vậy: chúng được mô tả bằng lời theo thuật ngữ có nội dung của lĩnh vực nảy sinh ra các bài toán đó Để có thể áp dụng được lý thuyết tối ưu thì cần chuyển bài toán

sang ngôn ngữ toán học Cách làm này gọi là hình thức hóa bài toán Cùng một

bài toán có thể được hình thức hóa theo nhiều cách khác nhau và cách giải có đơn giản và hiệu qủa hay không thường phụ thuộc rất nhiều vào mức độ thành công của sự hình thức hóa đó Ta hình thức hóa bài toán 1 và 2 như sau

Bài toán 1: Vẽ trục Ox dọc theo đường thẳng đã cho và trục Oy vuông góc

đi qua điểm A (xem Hình 1.1) Giả sử tọa độ của hai điểm đã cho là: A = (0,a)

và B = (d,b); tọa độ của điểm cần tìm C = (x,0) Khoảng cách từ A tới C và từ B tới C lần lượt là |AC| = a 2 x2 và |BC| = b2 (dx)2 Từ đó, ta đi đến bài toán: Tìm cực tiểu của hàm một biến

g1(x, y) = x2 + y2 - r2 = 0, g2(x, y) = x ≥ 0, g3(x, y) = y ≥ 0

Có thể thấy điều kiện x ≥ 0, y ≥ 0 là thừa và bài toán tìm cực đại của 4xy với x2 + y2 = r2 tương đương bài toán với điều kiện bất đẳng thức x2 + y2 ≤ r2 Bất kỳ bài toán đã hình thức hóa nào cũng được xây dựng theo cách tương

tự, nó bao gồm các yếu tố sau đây: phiếm hàm f : X → ℝ ∪ {+∞, -∞} (X là

miền xác định của phiếm hàm f) và ràng buộc, tức là tập con D ⊂ X

Ta giải thích một số ký hiệu và thuật ngữ thường gặp trong lý thuyết tối ưu:

R là đường thẳng thực mở rộng, tức là tập các số thực cộng thêm hai giá trị +∞

và -∞; cách viết F : X → Y có nghĩa là ánh xạ F có miền xác định là không gian

X và với mỗi phần tử x ∈ X, phần tử F(x) nằm trong không gian Y; ta dùng từ

phiếm hàm để chỉ ánh xạ vào đường thẳng thực mở rộng R Như vậy, hình thức hóa bài toán cực trị có nghĩa là mô tả chính xác các yếu tố f, X và D

Với bài toán đã hình thức hóa ta dùng cách viết

f(x) → inf (sup), x ∈ D (P)

để chỉ bài toán tìm cực tiểu (cực đại) Khi cần xét cả hai bài toán cực tiểu và cực đại, ta viết

f(x) → extr, x ∈ D

Như vậy, cách viết hình thức cho các bài toán 1 và 2 như sau

Bài toán 1 (X = D = ℝ - đường thẳng thực):

f(x) = a 2 x2 + b2 (dx)2 → inf (P1)

Bài toán 2 (X = ℝ2 - mặt phẳng hai chiều):

f(x, y) = 4xy → sup, x2 + y2 = r2, x ≥ 0, y ≥ 0 (P2) Bài toán (P2), như đã nói ở trên, có cách hình thức hóa khác:

f(x, y) = 4xy → sup, x2 + y2 = r2 (P ) 2

Bài toán (P1) không có ràng buộc, bài toán (P2) có ràng buộc D = {(x,y) ∈

ℝ2

: x2 + y2 = r2, x ≥ 0, y ≥ 0} cho ở dạng đẳng thức và bất đẳng thức, còn bài toán (P ) có ràng buộc D = {(x,2 y) ∈ ℝ2 : x2 + y2 = r2} cho ở đạng đẳng thức

1.1.2 Một số thuật ngữ

Như vậy, bài toán tối ưu

f(x) → inf (sup) với x  D (P)

là bài toán tìm véctơ x*  D sao cho f(x*)  f(x) (f(x*) ≥ f(x)) với mọi x  D, trong đó D ⊂ ℝn là một tập khác rỗng và f : D → ℝ là một hàm số thực tùy ý

Định nghĩa 1.1 Hàm f gọi là hàm mục tiêu, tập D gọi là tập ràng buộc hay

miền chấp nhận được Một véctơ (điểm) x  D gọi là một phương án (lời giải, nghiệm) chấp nhận được Véctơ x*  D sao cho f(x*)  f(x) (hay f(x*) ≥ f(x))

với mọi x  D gọi là một phương án (lời giải, nghiệm) tối ưu của bài toán

Trường hợp D = ℝn ta có bài toán tối ưu không ràng buộc, thường viết là

min {f(x) : x  ℝn} hay

n

R x

với gi, hj : ℝn  ℝ là các hàm số cho trước, gọi là các hàm ràng buộc Khi đó,

bài toán (P) có thể viết dưới dạng tường minh:

min{f(x) : gi(x)  0, i = 1, , m, hj(x) = 0, j = 1, , p}

Các hệ thức gi(x)  0 gọi là các ràng buộc bất đẳng thức, các hệ thức hj(x)

= 0 gọi là các ràng buộc đẳng thức Ràng buộc bất đẳng thức dạng xj  0 (- xj 

0) gọi là ràng buộc không âm hay ràng buộc về dấu

Nhận xét là min{f(x) : x  D} = - max{- f(x) : x  D}, vì thế bài toán tìm cực tiểu có thể đưa được về bài toán tìm cực đại và ngược lại

Định nghĩa 1.2. Ta nói điểm xˆ ∈ D là một nghiệm cực tiểu địa phương

của (P) và viết xˆ ∈ locmin P nếu có số  > 0 sao cho f(xˆ ) ≤ f(x) với mọi x ∈ D

và ||x - xˆ || <  Nếu f(xˆ) < f(x) với mọi x  D, x  xˆ và ||x - xˆ || <  thì xˆ được

gọi là một nghiệm cực tiểu địa phương chặt của (P)

Định nghĩa 1.3 Điểm xˆ  D được gọi là một nghiệm cực tiểu toàn cục hay cực tiểu tuyệt đối của (P) nếu f(xˆ)  f(x) với mọi x  D và ta viết xˆ ∈ abs min P Nếu f(xˆ ) < f(x) với mọi x  D, x  xˆ thì xˆ được gọi là nghiệm cực tiểu

toàn cục chặt của (P)

Các khái niệm nghiệm cực đại địa phương và nghiệm cực đại toàn cục

được định nghĩa tương tự và ta viết xˆ ∈ loc max P hay xˆ ∈ abs max P

Đối với hàm tùy ý f trên tập D, ký hiệu tập tất cả các điểm cực tiểu (cực đại) toàn cục của f trên D là Argmin xD f(x) (Argmax x  D f(x))

Khi xét một bài toán tối ưu ta mong muốn tìm nghiệm cực trị (cực tiểu, cực

đại) toàn cục của nó Tuy nhiên, một nghiệm như thế có thể không tồn tại Chẳng hạn, hàm một biến f(x) = x hay f(x) = ex không có nghiệm cực tiểu toàn cục trên tập số thực ℝ do hàm f(x) = x giảm vô hạn tới -  khi x dần tới - , còn hàm f(x) = ex luôn nhận giá trị dương và giảm tới 0 khi x dần tới - 

Tập {f(x) : x  D} được gọi là miền giá trị của hàm f Có hai khả năng:

a) Tập {f(x) : x  D} bị chặn dưới, nghĩa là có một số m sao cho m  f(x) với mọi x  D Trong trường hợp này cận dưới lớn nhất của {f(x) : x  D} là một số thực và được ký hiệu là

D x

inf

 f(x) Chẳng hạn,

R x

inf

 f(x) = - 

Trong Bài toán 1 cực tiểu tuyệt đối xˆ xác định điểm cần tìm Cˆ = ( xˆ , 0) được đặc trưng bởi sự kiện hình học đã biết là các góc nhọn tạo nên bởi cạnh

ACˆ và Cˆ B với trục Ox phải bằng nhau (góc tới bằng góc phản xạ) và giá trị tối

ưu của bài toán là fmin = (a b)2 d2 ( Cˆ là giao điểm của A'B với trục Ox, xem Hình 1.1)

Trong Bài toán 2 hình chữ nhật cần tìm là hình vuông cạnh bằng 2r/ 2 , tương ứng với nghiệm xˆ = yˆ = r/ 2 và fmax = 2r2 (xem Hình 1.2)

Lý thuyết bài toán cực trị đưa ra các qui tắc tìm nghiệm của bài toán,

thường là tách ra tập các điểm gọi là điểm tới hạn (thường bao gồm các điểm tại

đó đạo hàm theo mọi biến bằng 0, các điểm không có đạo hàm và các điểm biên

của miền ràng buộc .) Tập này có thể rộng hơn tập điểm cực trị địa phương hay toàn cục Sau khi tìm được các điểm tới hạn, sử dụng các điều kiện tối ưu cần và đủ, tìm ra các điểm cực tiểu (hay cực đại)

Để minh họa, ta xét ví dụ tìm các điểm tới hạn, các điểm cực trị địa phương

và cực trị toàn cục của bài toán sau

Bài toán 3 (Hình 1.3) Tìm cực trị của hàm một biến

f(x) = x3(x2 - 1) → extr, - 1 ≤ x ≤ 2 (P3) Cực trị toàn cục của bài toán có thể đạt được tại hai đầu mút của đoạn [-1,2] hoặc tại điểm trong Nếu cực trị đạt tại điểm trong thì tại đó đạo hàm của f phải bằng 0, tức là f'(x) = 0 ⇔ 5x4 - 3x2 = 0 ⇔ x ∈ {- 3/5, 0, 3/5}

Hình 1.3 Các điểm tới hạn Như vậy có 5 điểm tới hạn: x1 = -1, x2 = - 3/5, x3 = 0, x4 = 3/5, x5 = 2, trong đó x2, x3, x4 là các điểm dừng Từ đồ thị của hàm f (Hình 1.3) ta thấy x1, x4

∈ locmin P3; x2, x5 ∈ locmax P3; x4 ∈ absmin P3; x5 ∈ absmax P3 Từ đó

fmin = - 6 0,6/25 ≈ - 0,1859 và fmax = 24

1.2 SỰ TỒN TẠI NGHIỆM TỐI ƯU

Câu hỏi tự nhiên đặt ra là bài toán được xét có hay không có nghiệm tối ưu (cực tiểu hay cực đại toàn cục)? Trả lời cho câu hỏi này là

Định lý 1.1 (Định lý Weierstrass) Một hàm liên tục f trên một tập D

compac, khác rỗng đạt được cực tiểu và cực đại trên D

-1 - 3 / 5

5 / 3

x1 x2 x3 x4 x5

Ta xét một số điều kiện mở rộng bảo đảm cho bài toán có nghiệm tối ưu

Định nghĩa 1.4 Hàm f : D  ℝ gọi là nửa liên tục dưới tại điểm x  D nếu với mỗi  > 0 có một  > 0 sao cho f(x ) -   f(x) với mọi xD, ||x - x || <

 Hàm f gọi là nửa liên tục dưới trên D nếu f nửa liên tục dưới tại mọi điểm x

D Hàm f nửa liên tục trên trên D khi và chỉ khi - f nửa liên tục dưới trên D

Hàm f liên tục trên D nếu nó vừa nửa liên tục dưới, vừa nửa liên tục trên trên D

Định lý 1.2 Một hàm f(x) nửa liên tục dưới trên một tập compac D  

phải đạt cực tiểu trên D Tương tự, một hàm f(x) nửa liên tục trên trên một tập compac D   phải đạt cực đại trên D

Nếu tập D chỉ đóng mà không bị chặn thì một hàm nửa liên tục dưới (nửa liên tục trên) trên D có thể không đạt cực tiểu (cực đại) trên D Tuy vậy ta có

Định lý 1.3 a) Một hàm f : D  ℝ nửa liên tục dưới trên một tập đóng D

  mà bức (coercive) trên D, nghĩa là f(x)  +  khi x  D, ||x||  + , thì f

phải có cực tiểu trên D

b) Một hàm f : D  ℝ nửa liên tục trên trên một tập đóng D   mà - f

bức trên D (tức f(x)  -  khi x  D, ||x||  + ) thì f phải có cực đại trên D

Định lý 1.4 Hàm bậc hai f(x) = 21xTAx + bTx với A  ℝnn đối xứng, b 

ℝn

là bức (trên toàn ℝn) khi và chỉ khi A xác định dương

Ví dụ 1.1 Xét hai hàm toàn phương:

a) f1(x) = L1(x1, x2, x3) = x2

1 + 4x2

2 + 3x2

3 + 2x1x2 b) f2(x) = L2(x1, x2, x3) = 2x2

1 + 3x2

2 - x2

3 + 4x1x2 - 6x1x3 + 10x2x3 Tính toán trực tiếp cho thấy f1(x) = xTAx và f2(x) = xTBx với

041

011

532

322

Có thể thấy A là ma trận xác định dương nên hàm f1(x) là bức, B là ma trận không xác định dương nên hàm f2(x) không bức (x1 = x2 = 0, x3  , f2  - ) Dùng các định lý nêu trên ta có thể xét bài toán có nghiệm tối ưu hay không Chẳng hạn, xét bài toán

min{x12 + + x2n : a1x1 + + anxn = b} với b, ai  0 với mọi i

Đây là bài toán tối ưu dạng min{f(x) : x  D} với f(x) = x12 + + x2n liên

tục và bức (vì f = ||x||2 nên khi ||x||  + thì f  +) Tập D = {x  ℝn : a1x1 +

+ anxn = b} có dạng một siêu phẳng trong ℝn nên D là một tập đóng Dễ thấy

D   vì x1 = b/a1, x2 = = xn = 0 thoả mãn a1x1 + a2x2 + + anxn = b Theo

Định lý 1.3 bài toán có nghiệm cực tiểu toàn cục (nghiệm tối ưu)

1.3 ĐIỀU KIỆN TỐI ƯU

Xét bài toán tối ưu không ràng buộc có dạng:

min{f(x) : x  ℝn}, (P) trong đó f : ℝn  ℝ là một hàm phi tuyến cho trước

Định lý 1.5 Nếu x  ℝn là một điểm cực tiểu địa phương của một hàm f(x) khả vi trên ℝn thì f( x ) = 0 và nếu f(x) hai lần khả vi thì 2f(x ) ≽ 0 (ma

trận 2f(x ) nửa xác định dương)

Ngược lại, nếu x  ℝn là một điểm tại đó f(x) hai lần khả vi và

f( x ) = 0, 2f(x ) ≻ 0 (ma trận 2f(x ) xác định dương)

thì x là một điểm cực tiểu địa phương chặt của f(x) trên ℝn, nghĩa là có một  >

0 sao cho f( x ) < f(x) với mọi x  ℝn, x  x và ||x - x || < 

Do max{f(x) : x  ℝn} = - min{-f(x) : x  ℝn} nên từ Định lý 1.5 suy ra

Hệ quả 1.1 Giả sử hàm f(x) hai lần khả vi trên ℝn:

Một điểm x thoả mãn f( x ) = 0 gọi là một điểm dừng của hàm f Theo

trên để tìm cực trị (cực tiểu hay cực đại) của một hàm f trên ℝn, trước hết ta cần tìm các điểm dừng của f, sau đó nếu tại điểm dừng tìm được, ma trận 2f xác định dương (xác định âm) thì điểm dừng đó là một điểm cực tiểu (cực đại) địa phương Ngoài ra, nếu biết thêm hàm f trên ℝn chắc chắn có cực tiểu hay cực đại toàn cục thì có thể tìm ra các điểm này bằng cách tính và so sánh giá trị hàm f(x) tại tất cả các điểm dừng của f (nếu số điểm dừng không quá lớn)

Định lý sau cho nghiệm cực tiểu (cực đại) toàn cục của một hàm lồi (lõm)

Định lý 1.6 a) Điểm x  ℝn là cực tiểu toàn cục của một hàm lồi khả vi f

trên ℝn khi và chỉ khi f(x ) = 0

b) Điểm x~  ℝn

là cực đại toàn cục của một hàm lõm khả vi f trên ℝn khi

và chỉ khi f(~ ) = 0 x

Trường hợp hàm bậc hai Nếu A là một ma trận cấp nn đối xứng, nửa

xác định dương (nửa xác định âm), b  ℝn.và c  ℝ thì hàm bậc hai f(x) =

2

1xTAx + bTx + c là hàm lồi (lõm) trên ℝn và f(x) = Ax + b Vì thế theo Định lý

1.6, điều kiện cần và đủ để điểm x  ℝn là cực tiểu (cực đại) toàn cục của f(x) trên ℝn.là x nghiệm đúng hệ phương trình tuyến tính Ax + b = 0

Trường hợp hàm không khả vi Với hàm lồi không khả vi, trong Định lý

1.6 cần thay f(x) bởi dưới vi phân f(x) và ta có

Định lý 1.7 Điểm x  ℝn là cực tiểu của hàm lồi f : ℝn  [-, +] khi

và chỉ khi 0  f(x), trong đó

f(x) = {p ∈ ℝn : <p, x - x> + f(x) ≤ f(x), ∀x ∈ ℝn}

Tóm lại, chương này đã đề cập tới bài toán tìm cực trị (cực tiểu hay cực đại) của một hàm trên một tập, nêu các điều kiện đủ đảm bảo cho bài toán có nghiệm cực tiểu hay cực đại và nêu các điều kiện tối ưu cho bài toán không ràng buộc Các điều kiện tối ưu cho bài toán có ràng buộc đẳng thức sẽ được trình bày ở chương sau

Chương 2 NGUYÊN LÝ LAGRANGE

Chương này xét bài toán qui hoạch phi tuyến ràng buộc đẳng thức có dạng

min{f(x) : hj(x) = 0, j = 1, , p}, trong đó f, hj : ℝn → ℝ (j = 1, , p) là các hàm khả vi liên tục cho trước Trình bày các điều kiện cần tối ưu (cấp 1 và cấp 2), điều kiện đủ tối ưu (cấp 2) và phương pháp nhân tử Lagrange tìm nghiệm cực tiểu của bài toán Nội dung của chương được tham khảo chủ yếu từ các tài liệu [2], [4], [5] và [6]

2.1 KHÁI NIỆM VÀ ĐỊNH NGHĨA

Các ràng buộc hj(x) = 0, j = 1, , p có thể viết gọn lại thành h(x) = 0 với h(x) = (h1(x), , hp(x))T : ℝn → ℝp Ràng buộc đẳng thức h(x) = 0 xác định một tập trong ℝp, được xem như một mặt cong (hypersurface) Ký hiệu

S = {x ∈ ℝn : hj(x) = 0, j = 1, , p}

Ta giả thiết hj(x) khả vi và tập S = {x ∈ ℝn : hj(x) = 0, j = 1, , p} được

gọi là đa tạp khả vi (differentiable manifold) hay đa tạp trơn (smooth manifold) Tại mỗi điểm trên đa tạp khả vi có tập tiếp xúc (tangent set) tại điểm đó Để hình thức hóa khái niệm này, ta bắt đầu từ định nghĩa đường cong (curve) trên đa tạp Đường cong  trên đa tạp S là một ánh xạ liên tục  : I ⊂ ℝ → S, tức là tập hợp các điểm (t) ∈ S phụ thuộc liên tục vào tham số t trong khoảng I của ℝ Đường

cong gọi là đi qua điểm x nếu x = (t ) với t nào đó thuộc I Đạo hàm của

đường cong tại t được định nghĩa bằng giá trị sau (nếu nó tồn tại):

)t(

Định nghĩa 2.1. Cho S là một đa tạp khả vi trong ℝn và giả sử x ∈ S Xét

họ tất cả các đường cong khả vi liên tục trên S đi qua x Khi đó, tập tất cả các

véctơ tiếp xúc với các đường cong này tại x được gọi là tập tiếp xúc của S tại

x , ký hiệu là T(x )

Nếu các ràng buộc là chính qui (regular) theo định nghĩa dưới đây thì S có

thứ nguyên (địa phương) bằng (n-p) và T ( x ) tạo nên một không gian con thứ nguyên (n-p) gọi là không gian tiếp xúc (tangent space) của S tại x

Định nghĩa 2.2. Giả sử hj : ℝn → ℝ, j = 1, , p, là các hàm khả vi trên ℝn

và tập S = {x ∈ ℝn : hj(x) = 0, j = 1, , p} Điểm x ∈ S gọi là điểm chính qui

(regular point) nếu các véctơ gradient∇hj( x ), j = 1, , p độc lập tuyến tính, tức

2.2 ĐIỀU KIỆN CẦN TỐI ƯU

Ý tưởng phương pháp Lagrange giải bài toán

min{f(x) : hj(x) = 0, j = 1, , p}

là tìm điểm cực tiểu của f(x) trên đa tạp S = {x ∈ ℝn : hj(x) = 0, j = 1, , p} Ta

sẽ khảo sát giá trị của hàm mục tiêu f dọc theo các đường cong đi qua điểm tối

ưu trên đa tạp S để rút ra điều kiện tối ưu, tức là các điều kiện buộc điểm tối ưu địa phương (do đó cả tối ưu toàn cục) phải thỏa mãn

Định lý sau cho thấy không gian tiếp xúc T (x ) tại điểm cực tiểu (địa phương) chính qui x trực giao với véctơ gradient của hàm mục tiêu f(x) tại x

Sự kiện quan trọng này được minh họa ở Hình 2.1 cho trường hợp chỉ có một ràng buộc đẳng thức

Hình 2.1 Điều kiện cần tối ưu với ràng buộc đẳng thức

Định lý 2.1 (Điều kiện cần dạng hình học cho cực tiểu địa phương) Cho

f : ℝn → ℝ và hj : ℝn → ℝ, j = 1, , p là các hàm khả vi liên tục trên ℝn Giả

sử x* là điểm cực tiểu địa phương của bài toán min {f(x) : h(x) = 0} Khi đó,

∇f(x*) trực giao với không gian tiếp xúc T(x*) của S tại x*, tức là

F0(x*) ∩ T(x*) = ∅ với F0(x*) = {d ∈ ℝn :∇f(x*)T

d < 0}

Chứng minh Giả thiết phản chứng, có d ∈ T (x*) sao cho ∇f(x*)Td ≠ 0

Giả sử  : I = [-a, a] → S, a > 0 là đường cong trơn bất kỳ đi qua x* với (0) = x* và  (0) = d Giả sử  là hàm xác định theo công thức (t) = f((t)),∀t ∈ I

Do x* là cực tiểu địa phương của f trên S = {x ∈ ℝn : h(x) = 0} nên theo định nghĩa cực tiểu địa phương, ta có

Định lý 2.2 (Điều kiện cần cấp 1) Cho f : ℝn → ℝ và hj : ℝn → ℝ, j = 1,

, p là các hàm khả vi liên tục trên ℝn Xét bài toán min {f(x) : h(x) = 0} Nếu x*

là cực tiểu địa phương và x* là điểm chính qui thì tồn tại duy nhất véctơ * ∈

Nói riêng, với d = -

[∇f(x*) + ∇h(x*)] suy ra - [∇f(x*) + ∇h(x*)]2 ≥ 0 và vì thế

∇f(x*) + ∇h(x*) = 0 với (, ) ≠ 0

Cuối cùng, phải có  > 0 vì nếu  = 0 thì đẳng thức trên sẽ mâu thuẫn với giả thiết ∇hj(x*), j = 1, , p, độc lập tuyến tính Bằng cách đặt * = / và để ý

rằng giả thiết độc lập tuyến tính còn kéo theo tính duy nhất của các nhân tử Lagrange, ta suy ra kết luận của định lý ∎

Nhận xét 2.1 Điều kiện cần tối ưu cấp 1

∇f(x*) + ∇h(x*)* = 0 kết hợp với ràng buộc h(x*) = 0 tạo ra hệ (n+p) phương trình (nói chung, phi tuyến) theo (n+p) ẩn số (x*, *) Các điều kiện này là đầy đủ theo nghĩa chúng xác định, ít nhất tại địa phương, một nghiệm duy nhất Tuy nhiên, cũng như trong trường hợp không ràng buộc, một điểm thỏa mãn điều kiện cần cấp 1 không nhất thiết là cực tiểu (địa phương) của bài toán ban đầu mà nó có thể là một điểm cực đại (địa phương) hay một điểm yên ngựa Ví dụ 2.1 nêu dưới đây

sẽ minh họa cho điều nhận xét này

Nhận xét 2.2 Cần chú ý là để cho điểm cực tiểu địa phương thỏa mãn điều

kiện cần cấp 1 nêu trên và hơn nữa, để cho véctơ nhân tử Lagrange tồn tại và duy nhất thì các ràng buộc đẳng thức phải thỏa mãn điều kiện chính qui Nói cách khác, điều kiện cần cấp 1 có thể không đúng tại những điểm cực tiểu địa phương không chính qui, như được chỉ ra ở Ví dụ 2.2 dưới đây

Nhận xét 2.3 Để thuận tiện, ta xét hàm Lagrange L : ℝn× ℝp → ℝ tương ứng với bài toán ràng buộc đẳng thức (liên kết hàm chi phí với hàm ràng buộc)

Ví dụ 2.1 (Trường hợp chính qui) Xét bài toán

min{f(x) = x1 + x2 : h(x) = x + 12 x - 2 = 0} 22Trước hết ta nhận thấy rằng mỗi điểm chấp nhận được x đều là điểm chính qui (do ∇h(x) ≠ 0) Vì thế theo Định lý 2.2, mỗi điểm cực tiểu địa phương là một điểm dừng của hàm Lagrange L(x, ) = x1 + x2 + (x + 12 x - 2) 22

Ta có ∇f(x) = (1, 1)T và ∇h(x) = (2x1, 2x2)T, vì thế điều kiện cần cấp 1 là

1 + 2x1 = 0, 1 + 2x2 = 0, x + 12 x - 2 = 0 22Giải 3 phương trình này theo 3 ẩn số x1, x2,  ta nhận được 2 ứng viên cho điểm cực tiểu địa phương:

(i) x = 1 x = - 1, * = 2 21, tương ứng với f(x*) = - 2;

(ii) x = 1 x = 1, * = - 2 21, tương ứng với f(x*) = 2;

Có thể thấy rằng điểm thứ nhất là cực tiểu địa phương và điểm thứ hai là cực đại địa phương

Ví dụ 2.2 (Trường hợp không chính qui) Xét bài toán

1, ∇h1(x*) = 

0, ∇h2(x*) = 

0 + 2 

1

không được thỏa mãn (hệ vô nghiệm) Ví dụ này cho thấy điểm cực tiểu có thể không là điểm dừng của hàm Lagrange, nếu điểm đó không là điểm chính qui Định lý sau nêu điều kiện cần cấp 2 cho điểm cực tiểu địa phương của bài toán qui hoạch phi tuyến (bài toán NLP) ràng buộc đẳng thức

Định lý 2.3 (Điều kiện cần cấp 2) Cho f : ℝn → ℝ và hj : ℝn → ℝ, j = 1,

, p là các hàm hai lần khả vi liên tục trên ℝn Xét bài toán min{f(x) : h(x) = 0}

Nếu x* là cực tiểu địa phương và x* là điểm chính qui thì tồn tại duy nhất véctơ

j∇2hj(x*)]d ≥ 0,∀d ∈ T(x*)

Chứng minh Để ý là ∇f(x*) + ∇h(x*)* = 0 suy ra từ Định lý 2.2

Giả sử d là một hướng bất kỳ trong T (x*), tức là ∇h(x*)Td = 0 do x* là

điểm chính qui (xem Bổ đề 2.1) Xét đường cong hai lần khả vi bất kỳ  : I =

[-a, a] → S, a > 0, đi qua x* với (0) = x* và  (0) = d Giả sử  là hàm xác định theo công thức (t) = f((t)),∀t ∈ I Do x* là cực tiểu địa phương của f trên S =

{x ∈ ℝn : h(x) = 0} nên t* = 0 là điểm cực tiểu (địa phương) không ràng buộc của  Từ điều kiện cần tối ưu không ràng buộc cấp 2 suy ra

j∇2hj(x*)]d ≥ 0

Do d là một hướng bất kỳ trong T(x*) nên định lý đã được chứng minh

Nhận xét 2.4 Định lý trên đây cho thấy rằng ma trận ∇2xxL(x,) thu hẹp trên không gian con T (x*) có vai trò rất quan trọng Về mặt hình học, thu hẹp của ∇2xxL(x,) trên T(x*) tương ứng với hình chiếu PT (x*)[∇2xxL(x, ] )

Véctơ y ∈ T(x*) gọi là véctơ riêng (eigenvector) của P T (x*)[∇2xxL(x, ] )nếu có số thực  sao cho

PT (x*)[∇2xxL(x, ]) y = y,

số  tương ứng gọi là giá trị riêng (eigenvalue) của P T (x*)[∇2xxL(x, ] Các )định nghĩa này trùng với định nghĩa thông thường về véctơ riêng và giá trị riêng của các ma trận thực Bây giờ để có thể nhận được cách biểu diễn ma trận của hình chiếu PT (x*)[∇2xxL(x, ] thì cần phải xét tới cơ sở của không gian con )tiếp xúc T(x*), chẳng hạn E = (e1, , en-p) Khi đó, các giá trị riêng của ma trận chiếu PT (x*)[∇2xxL(x, ] cũng là giá trị riêng của ma trận E) T∇2xxL(x, E )cấp (n-p)×(n-p) Đặc biệt chúng không phụ thuộc vào cách chọn cơ sở E

Ví dụ 2.3 Xét bài toán cho ở Ví dụ 2.1 Hai ứng viên cho điểm cực tiểu địa

phương nhận được nhờ áp dụng điều kiện cần cấp 1 là

(i) x = 1 x = - 1, * = 2 21, tương ứng với f(x*) = - 2;

(ii) x = 1 x = 1, * = - 2 21, tương ứng với f(x*) = 2

Ma trận Hess của hàm Lagrange xác định bởi

02

và một cơ sở của không gian tiếp xúc tại điểm x ∈ T(x), x ≠ (0, 0) là

Vì thế,

ET∇2xxL(x, E = 2() x + 12 x ) 22Nói riêng, đối với ứng viên cực tiểu (i) ta có

ET∇2 L(x , )xx

ET∇2xxL(x, E = - 2 < 0, )điểm này không thỏa mãn điều kiện cần cấp 2 nên nó không thể là điểm cực tiểu địa phương

2.3 ĐIỀU KIỆN ĐỦ TỐI ƯU

Điều kiện nêu trong các Định lý 2 2 và 2.3 là những điều kiện cần mà mỗi điểm cực tiểu địa phương phải thỏa mãn Tuy vậy, điểm thỏa mãn các điều kiện này chưa chắc đã là điểm cực tiểu địa phương Định lý sau đây nêu điều kiện đủ đảm bảo cho một điểm dừng của hàm Lagrange là điểm cực tiểu (địa phương), miền là ma trận Hess của hàm Lagrange là lồi địa phương dọc theo các hướng trong không gian tiếp xúc của các ràng buộc

Định lý 2.4 (Điều kiện đủ cấp 2) Cho f : ℝn → ℝ và hj : ℝn → ℝ, j = 1,

, p là các hàm hai lần khả vi liên tục trên ℝn Xét bài toán min{f(x) : h(x) = 0}

Nếu x* và * thỏa mãn

∇xL(x*, *) = 0, ∇L(x*, *) = 0

và

yT∇2xxL(x, y) > 0 với mọi y ≠ 0 thỏa mãn ∇h(x*)Ty = 0,

với L(x, ) = f(x) + h(x)T thì x* là điểm cực tiểu địa phương chặt của bài toán

Trước hết ta cần tới Bổ đề sau

Bổ đề 2.2 Cho P, Q là hai ma trận đối xứng nửa xác định dương và P xác

định dương trên hạch của Q (tức là yTPy > 0,∀y ≠ 0, Qy = 0) Khi đó

∃ c > 0 sao cho P + cQ ≻ 0 (xác định dương) ∀c > c Thật vậy, giả sử trái lại Khi đó

∀k > 0, ∃xk

, ||xk|| = 1 sao cho (xk)TPxk + k.(xk)TQxk ≼ 0

Xét dãy con { k q

x } hội tụ tới x với || x || = 1 Chia bất đẳng thức trên cho k

và cho qua giới hạn khi k = kq → ∞ ta nhận được

∃ > 0,  > 0 sao cho L (x, *) ≥ L (x*, *) + 2||x - x*||2 với ||x - x*|| < 

Cuối cùng, do L (x, *) = f(x) khi h(x) = 0 nên

f(x) ≥ f(x*) + 2||x - x*||2 nếu h(x) = 0, ||x - x*|| < 

tức là x* là cực tiểu địa phương chặt ∎

Ví dụ sau minh họa cho cách áp dụng điều kiện đủ để tìm nghiệm tối ưu

Ví dụ 2.4 Xét bài toán

f(x) = - x1x2 - x2x3 - x3x1 → min với điều kiện

h(x) = x1 + x2 + x3 - 3 = 0 Hàm Lagrnge tương ứng với bài toán này là

L(x, ) = - x1x2 - x2x3 - x3x1 + (x1 + x2 + x3 - 3) Điều kiện cần cấp 1 cho bài toán này là

101

110

và cơ sở của không gian tiếp xúc với ràng buộc h(x) = 0 tại x* là

11

20

là ma trận xác định dương Do đó x* = (1, 1, 1)T là điểm cực tiểu địa phương chặt của bài toán cần giải Điều đáng chú ý ở ví dụ này là ma trận Hess của hàm mục tiêu là ma trận không xác định tại x*

2.4 PHƯƠNG PHÁP NHÂN TỬ LAGRANGE

Phương pháp nhân tử Lagrange (gọi tắt phương pháp Lagrange) là phương

pháp chung nhất để tìm cực trị (cực tiểu hay cực đại) của hàm số khi có điều kiện đặt lên các biến số của hàm số đó

Phương pháp này thường được dùng để tìm cực trị của một hàm với các

ràng buộc đẳng thức Giá trị thực tiễn của phương pháp là nó cho phép đưa bài

toán cực trị có điều kiện về bài toán cực trị không điều kiện, nhờ đó có thể vận dụng nhiều phương pháp tìm cực trị khác nhau Tuy nhiên, không phải lúc nào cũng có thể vận dụng được phương pháp này, do việc giải hệ phương trình mà phương pháp đòi hỏi nói chung không đơn giản, trừ khi hệ đó là tuyến tính hoặc đưa được về dạng tuyến tính Vì thế, phương pháp nhân tử Lagrange không phải

là vạn năng và cũng chỉ được áp dụng để giải một lớp hẹp các bài toán

Xét bài toán tối ưu với ràng buộc đẳng thức:

min{f(x1, , xn) : x  S}, (P) trong đó S = {x  ℝn : hj(x) = 0, j = 1, , p} với f, hj : ℝn  ℝ là các hàm khả

vi liên tục (không xét ràng buộc bất đẳng thức) Giả thiết p  n (nếu p > n thì S

có thể bằng rỗng)

Trong các giáo trình giải tích, bài toán (P) dạng trên được gọi là bài toán

cực trị có điều kiện hay bài toán tối ưu cổ điển

Quá trình tìm các điểm cực trị của bài toán (P) gồm các bước sau:

1 Thêm các biến 1, 2, , p, gọi là các nhân tử Lagrange và lập hàm

jhj(x1, x2, , xn)