Một số phương pháp số giải bài toán quy hoạch phi tuyến có ràng buộc

∇f x véc tơ gradient của f tại điểm x ∇2f x ma trận Hesse của f tại điểm x kxk chuẩn Euclid của x hx, yi tích vô hướng của x và y AT ma trận chuyển vị của ma trận A A−1 ma trận nghịch đả

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

NGƯỜI HƯỚNG DẪN KHOA HỌC

PGS TS NGUYỄN HỮU ĐIỂN

Tác giả xin trân trọng cảm ơn Ban giám hiệu trường Đại học Sưphạm Hà Nội 2, phòng sau Đại học, các thầy cô giáo trong nhà trường,gia đình cùng các bạn học viên đã giúp đỡ, động viên và tạo điều kiệnthuận lợi để tác giả hoàn thành khóa học Thạc sĩ và hoàn thành luậnvăn này!

Hà Nội, tháng 12 năm 2016Tác giả luận văn

Đỗ Huy Bình

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này là kết quả nghiên cứu của riêngtôi dưới sự hướng dẫn của PGS TS Nguyễn Hữu Điển

Trong quá trình nghiên cứu và hoàn thành luận văn tôi đã kếthừa những thành quả khoa học của các nhà khoa học và đồng nghiệpvới sự trân trọng và biết ơn

Tôi xin cam đoan rằng các thông tin trích dẫn trong luận văn đãđược chỉ rõ nguồn gốc

Hà Nội, tháng 12 năm 2016Tác giả luận văn

Đỗ Huy Bình

Mục lục

1.1 Không gian EuclidRn 9

1.2 Hàm nhiều biến 10

1.3 Ma trận 14

1.4 Tập lồi, tập affine 15

1.5 Hàm lồi 17

1.6 Bài toán tối ưu 20

1.7 Bài toán tối ưu với ràng buộc tập 21

1.8 Điều kiện cần tối ưu cấp 1 và cấp 2 22

1.9 Điều kiện đủ tối ưu cấp 1 và cấp 2 24

1.10 Bài toán tối ưu với ràng buộc hiển 25

1.11 Điều kiện chính qui 26

1.12 Điều kiện tối ưu cấp 1 28

1.13 Điều kiện tối ưu cấp 2 30

2 Một số phương pháp số giải bài toán quy hoạch phi tuyến có

2.1 Hàm Lagrange và phương pháp nhân tử Lagrange 36

2.2 Các bài toán quy hoạch phi tuyến (NLP) lồi 41

2.3 Tiêu chuẩn điểm yên ngựa 45

2.4 Quy hoạch toàn phương 49

2.5 Quy hoạch toàn phương theo chuỗi 64

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

Rn không gian Euclid n chiều

∇f (x) véc tơ gradient của f tại điểm x

∇2f (x) ma trận Hesse của f tại điểm x

kxk chuẩn Euclid của x

hx, yi tích vô hướng của x và y

AT ma trận chuyển vị của ma trận A

A−1 ma trận nghịch đảo của ma trận khả nghịch Adom f miền xác định hữu hiệu của f

NLP Quy hoạch phi tuyến

SQPT Quy hoạch toàn phương theo chuỗi

KKT Karush - Kuhn - Tucker

Mở đầu

1 Lý do chọn đề tài

Trong xã hội ngày nay, từ cuộc sống đời thường đến các hoạtđộng kinh tế, kỹ thuật, công nghệ và quản lý hiện đại Chúng taphải quan tâm tới bài toán tìm ra cách giải tốt nhất để đạt được mụctiêu mong muốn trong những điều kiện ràng buộc nhất định Đó là

các bài toán tối ưu Chính những cố gắng nhằm giải các bài toán tối

ưu đã giúp cho sự phát triển của Giải tích Toán học thế kỷ XVII XVIII với sự đóng góp to lớn của các nhà toán học: Fermat, Leibniz,Euler, Nhưng phải đến những năm 30, 40 của thế kỷ XX, Quy hoạchtoán học (Mathematical Programming), hay còn gọi là Toán Tối Ưu(Optimization) mới hình thành với tư cách là một lý thuyết độc lập vớinhiều hướng nghiên cứu khác nhau

-Ta xét bài toán tối ưu trong không gian Euclid-Rn:

min f(x)với điều kiện x ∈ D

Trong đó D là tập đóng trong Rn được gọi là miền chấp nhậnđược hay miền ràng buộc của bài toán Một điểm thuộc D gọi là điểmchấp nhận được f là hàm số xác định trên một tập nào đó chứa D vàđược gọi là hàm mục tiêu

Trong trường hợp hoặc là hàm mục tiêu hoặc một trong số các

ràng buộc là phi tuyến thì chúng ta có bài toán quy hoạch phi tuyến.

Khi tập ràng buộc D chính là Rn thì ta có bài toán quy hoạch phi tuyếnkhông ràng buộc, ngược lại ta có bài toán quy hoạch phi tuyến có ràngbuộc

Ngày nay, với sự trợ giúp của máy tính, quy hoạch toán học ngàycàng phát triển mạnh mẽ Các phương pháp tối ưu đã được ứng dụngrộng rãi trong mọi lĩnh vực khoa học, kỹ thuật, công nghệ, quản lý,kinh tế, khai thác dữ liệu (data mining), viễn thông, v.v

Đó chính là lí do để tôi chọn đề tài "Một số phương pháp số giải bài toán quy hoạch phi tuyến có ràng buộc" làm đề tài luận văn caohọc

2 Mục đích nghiên cứu

Vì những lý do trên, để thực hiện luận văn này tôi đã tham khảocác cuốn sách [1], [2], [3] [4],[7], đã sử đụng phương pháp số để giảiquyết bài một vài bài toán Quy hoạch phi tuyến có ràng buộc, có sửdụng phần mềm Maple để hỗ trợ tìm ra kết quả

3 Nhiệm vụ nghiên cứu

Nghiên cứu và tìm hiểu một số phương pháp số giải bài toánquy hoạch phi tuyến có ràng buộc

4 Đối tượng và phạm vi nghiên nghiên cứu

• Đối tượng nghiên cứu:

Bài toán quy hoạch phi tuyến có ràng buộc

• Phạm vi nghiên cứu:

Tập trung vào giải các bài toán quy hoạch phi tuyến lồi

5 Phương pháp nghiên cứu

Tổng hợp, phân tích, hệ thống các kiến thức trong các tài liệu vềbài toán quy hoạch phi tuyến có ràng buộc

Chương 1 Kiến thức chuẩn bị

Trong chương này tôi xin trình bày tóm tắt một số kiến thức cơbản về không gian EuclidRn, tập lồi, hàm lồi, để làm cơ sở để nghiêncứu bài toán quy hoạch phi tuyến ở chương sau

Nội dung chương này chủ yếu được trích dẫn từ các tài liệu[3],[4]

1.1 Không gian Euclid Rn

1.1.1 Điểm hay véc tơ trong Rn

Mỗi điểm x ∈ Rn là một bộ n số thực được sắp có thứ tự và đượcviết dưới dạng cột số

Mỗi số xi, i = 1, n, được gọi là tọa độ thứ i của điểm x Để thuậntiện khi viết, ta qui ước

1.1.2 Tích vô hướng

Tích vô hướngcủa hai véc tơ x := (x1, x2, , xn)T và y := (y1, y2, , yn)T

là một số thực, ký hiệu là hx, yi, được xác định như sau

hx, yi := x1y1 +x2y2+ +xnyn

1.1.3 Chuẩn Euclid của véc tơ

Chuẩn Euclid (hay độ dài) của véc tơ x ∈ Rn, ký hiệu là kxk, làmột số thực xác định bởi

Hàm số f từ Rn vào R là một quy tắc ứng với mỗi điểm x ∈ Rn

với một số thực nào đó và kí hiệu số thực đó là f (x) Cách viết f :

X → R, với X ⊆ Rn, nói rằng f (x) chỉ xác định với các điểm x ∈ X

Khi đó ta gọi X là miền xác định của hàm f Vì biến số ở đây là các phần

tử thuộc Rn nên nó có n thành phần và mỗi thành phần có thể được

xem như một biến độc lập Do đó người ta thường gọi hàm xác định

trên Rn, với n ≥ 2, là hàm nhiều biến.

1.2.2 Tính liên tục

Cho hàm số f xác định trên tập mở X ⊆ Rn Hàm f được gọi

là liên tục tại x0 ∈ X nếu với mọi ε > 0, tồn tại δ > 0 sao cho

f (x) − f x0
< ε với mọi x0 ∈ X thỏa mãn x− x0 < δ Nói cáchkhác, hàm f là liên tục tại x0 ∈ X nếu với mọi dãy {xn} ⊂ X hội tụđến x0, ta có {f (xn)} → f x0

Hàm f được gọi là nửa liên tục dưới (tương ứng, nửa liên tục trên)

tại điểm x0 ∈ X nếu với mọi ε > 0, tồn tại δ > 0 sao cho

f (x) ≥ f x0
− ε, (tương ứng, f (x) ≤ f x0
−ε),với mọi x ∈ X thỏa mãn x− x0 < δ Nói cách khác, hàm f là nửaliên tục dưới (tương ứng, nửa liên tục trên) tại x0 ∈ Xnếu với mọi dãy

{xn} ⊂ X hội tụ đến x0 và dãy{f (xn)} ⊂ R hội tụ, ta có

Giả sử đạo hàm riêng ∂ f( x )

∂xi tồn tại với mọi x ∈ X Khi đó, phéptương ứng x 7→ ∂ f( x )

∂xi xác định một hàm ∂ f

∂xi : X → R Nếu tồn tại x0,đạo hàm riêng theo biến xj của hàm ∂x ∂ f

i tồn tại thì ta gọi đó là đạo hàm

riêng cấp hai theo biến xi và xj của hàm f tại x0 và ký hiệu là ∂2∂xf(x0)

được gọi là gradient của f tại x0 và ký hiệu là ∇f x0

Nếu các đạo hàm riêng cấp hai theo mọi biến của f tại x0 đều tòn tạithì ma trận

Cho hàm số f xác định trên tập mở X ⊆ Rn Hàm f là khả vi tại

x0 ∈ X nếu tồn tại các đạo hàm riêng của hàm f theo mọi biến và vớimọi d ∈ Rn, kdk đủ nhỏ và x0 +d ∈ X, ta có

f x0 +d
= f x0
+ ∇f x0
, d+o(kdk), (1.1)

trong đó o(kdk) là một vô cùng bé bậc cao hơnkdk khikdk → 0

Biểu thức (1.1) tương đương với

f xác định trên tập mở X ⊆ Rn có các đạo hàm riêng tại mọi điểm

x ∈ X và các hàm ∂ f

∂xi : X → R liên tục trên X thì ta nói hàm f khả vi

liên tục trên X

Cho hàm số f xác định trên tập mở X ⊆ Rn ta nói hàm f là khả

vi hai lần tại x0 ∈ X nếu tồn tại các đạo hàm riêng cấp hai của hàm ftheo mọi biến và với mọi d ∈ Rn, kdk đủ nhỏ và x0 +d ∈ X, ta có

Hàm f được gọi là khả vi hai lần trên X nếu f khả vi hai lần tại mọi

điểm x ∈ X Nếu hàm f xác định trên tập mở X ⊆ Rn có đạo hàmriêng cấp một và cấp hai tại mọi điểm x ∈ X và các hàm ∂ f

∂xi : X → R

và ∂2 f

∂xi∂xj : X → R liên tục trên X thì ta nói hàm f khả vi liên tục hai lần

trên X

1.2.6 Đạo hàm theo hướng

Cho hàm f xác định trênRn và một véc tơ d ∈ Rn\ {0} Giới hạn

lim

t → 0 +

f(x0+ td)− f(x0)

nếu tồn tại (hữu hạn hoặc vô cùng), được gọi là đạo hàm theo hướng d

của hàm f tại điểm x0 ∈ Rn và ký hiệu là f0 x0, d

1.2.7 Khai triển Taylor

Khai triển Taylor cho ta xấp xỉ một hàm số khả vi tại một lân cậncủa điểm x0 bởi một hàm đa thức Xét hàm n biến f : Rn → R khả vi

liên tục tại lân cận nào đó của điểm x0 ∈ Rn Khi đó, với p ∈ Rn và

kpk đủ nhỏ, ta có thể khai triển

f x0 + p
= f x0
+ ∇f x0
, p+o(kpk),trong đó o(kpk)là một vô cùng bé bậc cao hơn kpkkhikpk → 0 Khai

triển này được gọi là khai triển Taylor cấp một của hàm f tại x0 Nếu fkhả vi hai lần tại lân cận này của x0 thì đại lượng o(kpk) có thể đánhgiá như sau

Định nghĩa 1.2. Ma trận vuông A = (aij)n×n bằng với ma trận chuyển

vị của nó thì ma trận A được gọi là ma trận đối xứng, tức là: A = AT(với A = (aij)m×n thì ma trận chuyển vị của A là AT = (aji)n×m)

1.3.3 Ma trận xác định dương

Định nghĩa 1.3. Cho A là một ma trận vuông, đối xứng cấp n×n.(a) Ma trận A được gọi là xác định dương nếu

hx, Axi > 0 với mọi x ∈ Rn, x 6= 0

(b) Ma trận A được gọi là nửa xác định dương nếu

hx, Axi ≥ 0 với mọi x ∈ Rn

Ma trận A được gọi là xác định âm (hay nửa xác định âm) nếu

−Alà xác định dương (hay nửa xác định dương)

Một số tính chất cơ bản của tập lồi:

• Giao của một họ bất kỳ các tập lồi cũng là một tập lồi

• Nếu C ⊂ Rn và D ⊂ Rn là tập lồi thì

C+ D = {x+y : x ∈ C, y ∈ D},

αC = {αx : x ∈ C},

C− D = C + (−1)Dcũng là tập lồi

• Nếu C ⊂ Rn và D ⊂ Rn là các tập lồi thì tích Đề-các

C× D = {(x, y) : x ∈ C, y ∈ D} ⊂ Rn ×Rm cũng là tập lồi

• Tập hợp tất cả các tổ hợp lồi của một số hữu hạn điểm trong Rn làmột tập lồi Nếu x1, x2, , xk thuộc một tập lồi C thì mọi tổ hợp lồi củacác điểm này cũng thuộc C, nghĩa là:

C ⊂ Rn không giới nội thì có véc tơ t ∈ Rn (t 6= 0) sao cho với mọi

x ∈ C tia x+λt , λ ≥ 0 nằm trọn trong C Một véc tơ t như thế gọi làmột phương vô hạn của tập lồi C

Cho một tập bất kỳ E ⊂ Rn Giao của tất cả các tập lồi chứa E đượcgọi là bao lồi của E, ký hiệu conv(E) Đó là tập lồi nhỏ nhất chứa E Cóthể thấy:

• conv(E)trùng với tập tất cả các tổ hợp lồi của các phần tử thuộc E

• Bao đóng của một tập lồi cũng là tập lồi

Cho C ⊂ Rn là một tập lồi Điểm x ∈ C được gọi là điểm cực biên của

C nếu x không thể biểu diễn dưới dạng tổ hợp lồi của hai điểm phânbiệt bất kỳ khác của C, nghĩa là không tồn tại hai điểm y, z ∈ C, y 6= zsao cho x = λy = (1−λ)zvới 0 < λ < 1

Tập hợp các điểm cực biên của tập lồi được ký hiệu Ext(C)

1.4.2 Tập affine

Định nghĩa 1.5 ([4]) Một tập A được gọi là tập affine nếu nó chứađường thẳng đi qua hai điểm bất kỳ của nó, tức là

λx+ (1−λ)y ∈ A, ∀x, y ∈ A,∀λ ∈ R

Dễ thấy mội tập affine đều là tập lồi

Định nghĩa 1.6 ([4])Đường thẳng đi qua hai điểm a, b ∈ R là tập hợp

tất cả các điểm x trongRn có dạng x = λa+ (1−λ)b, ∀λ ∈ R.

Đoạn thẳng đi qua hai điểm a, b ∈ Rn ký hiệu là[a, b] là tập

được gọi là không gian con song song với M, số chiều của W được gọi

là số chiều của tập affine M

Định nghĩa 1.8 ([4]) Cho một tập S bất kỳ củaRn Giao của tất cả cáctập affine trong Rn chứa S là một tập affine Ta gọi giao đó là baoaffine của S, ký hiệu là aff S Dễ thấy aff S là tập affine nhỏ nhất chứaS

Định nghĩa 1.9 ([4]) Cho a ∈ Rn a 6= 0 và α ∈ R Ta gọi tập H ={x ∈ Rn : ha, xi = α} là một siêu phẳng (xác định bởi a và α).

siêu phẳng là một tập affine có số chiều(n−1)và có thể chứng minhmột tập affine có số chiều (n−1)đều là siêu phẩm a với α nào đó.

Định nghĩa 1.10 ([4])Cho a ∈ Rn\ {0}, α ∈ R.

Tập X = {(x1, x2, , xn) ∈ Rn : ha, xi ≤ α}được gọi là nửa không gianđóng Tập X = {(x1, x2, , xn) ∈ Rn : ha, xi < α}được gọi là nửa khônggian mở

Định nghĩa 1.12 ([4])Cho D là một tập lồi khác rỗng trong Rn

• Hàm f được gọi là lồi chặt trên D nếu

f (λx+ (1−λ)y) < λ f (x) + (1−λ) f (y) (1.3)

với mọi x, y ∈ D và với mọi λ ∈ (0, 1)

• Hàm f : Rn → R∪ {+∞} được gọi là lồi mạnh trên D với hệ số

η > 0, nếu ∀x, y ∈ D,∀ ∈ (0, 1)ta có

f (λx+ (1−λ)y) ≤ λ f (x) + (1−λ) f (y) −12ηλ(1−λ)kx−yk2

• Hàm f được gọi là hàm lõm trên D nếu −f là hàm lồi trên D

• Hàm f được gọi là tựa lồi trên D nếu ∀λ ∈ R tập mức dưới

1.5.2 Đạo hàm theo hướng của hàm lồi

Định lí 1.2 ([4]) Nếu f : X → R là một hàm lồi xác định trên tập lồi

X ⊆ Rn thì nó có đạo hàm theo mọi hướng d ∈ Rn \ {0} tại mọi điểm

x0 ∈ dom f và

f0 x0, d
≤ f x0 +d
− f x0

Chứng minh: Cho véc tơ d ∈ Rn Do f là hàm lồi nên hàm một biến

ϕ(t) = f x0 +td
là hàm lồi trên t|x0 +td ∈ X Theo định nghĩacủa đạo hàm theo hướng,

t → 0 +

ϕ( t )−ϕ( 0 )

t = ϕ0+(0).Điều đó có nghĩa là với t > 0 ta luôn có

ϕ( t )−ϕ( 0 )

t ≥ ϕ0+(0) = f0 x0, d
Lấy t = 1 ta có ϕ(1) − ϕ(0) = f x0 +d
− f x0
≥ f0 x0, d


1.6 Bài toán tối ưu

1.6.1 Bài toán tối ưu và các khái niệm cơ bản

Bài toán tối ưu tổng quát được phát biểu như sau:

min f (x)với điều kiện x ∈ D, (1.3)

hoặc

max f (x)với điều kiện x ∈ D (1.4)

Trong đó D ⊆ Rn được gọi là tập nghiệm chấp nhận được hay tập

của bài toán đã cho

x∗ ∈ Dđược gọi là nghiệm cực tiểu toàn cục chặt nếu

f (x∗) ≤ f (x),∀x ∈ D, x 6= x∗.Không phải bài toán (1.3) nào cũng có nghiệm cực tiểu toàn cục và nếubài toán có nghiệm cực tiểu toàn cục thì cũng chưa chắc có nghiệm cựctiểu toàn cục chặt

1.6.2 Các loại bài toán tối ưu

Người ta thường chia các bài toán tối ưu thành một lớp dựa trêntính chất của hàm mục tiêu và tập chấp nhận được

-Quy hoạch tuyến tính: hàm mục tiêu f (x) là hàm tuyến tính và tập

chấp nhận được D ⊂ Rn là tập lồi đa diện ( tức là các hàm ràng buộc

gi (x), i = 1, , m, là các hàm afin)

-Quy hoạch phi tuyến: hàm mục tiêu f (x)hoặc một trong các hàm ràngbuộc gi(x), i = 1, , m, không phải hàm afin

Trong các bài toán tối ưu phi tuyến có hai lớp đặc biệt quan trọng, đó

là Quy hoạch lồi và Quy hoạch lõm.

-Quy hoạch lồi: là bài toán cực tiểu một hàm mục tiêu f (x) là hàm lồitrên tập chấp nhận được D ⊆ Rn là tập lồi

Ngoài ra còn có: Quy hoạch nguyên, Quy hoạch đa mục tiêu, Quyhoạch ngẫu nhiên, Quy hoạch tham số,

1.7 Bài toán tối ưu với ràng buộc tập

Xét bài toán tối ưu có dạng

min{f (x) : x ∈ D}, (1.5)

trong đó D ⊆ Rn là một tập tùy ý và f : D → R là một hàm thực tùy

ý Nếu D ≡ Rn thì (1.5) là bài toán tối ưu không ràng buộc; còn nếu D là

tập con thực sự của Rn thì (1.5) là bài toán tối ưu có ràng buộc tập.

Định nghĩa 1.14 ([6])Cho tập D ⊆ Rn và một điểm x0 ∈ D Một véc tơ

d ∈ Rn, d 6= 0 gọi là một hướng chấp nhận được của D tại x0 nếu có một

số t0 > 0 sao cho x0 +td ∈ D,∀t ∈ [0, t0] Về mặt hình học, điều này

có nghĩa là xuất phát từ x0 đi dọc theo hướng d có ít nhất một đoạn ởtrong D

Dễ thấy nếu d là một hướng chấp nhận được của D tại x0 thì

λd(λ > 0)cũng là một hướng chấp nhận được của D tại x0 ∈ D cùng

với véc tơ 0 tạo thành một nón được gọi là nón chấp nhận được của D

tại x0, ký hiệu là FD x0
.

Định nghĩa 1.15 ([6])Cho một tập D ⊆ Rn và một điểm x0 ∈ D ta nóivéc tơ 0 6= d ∈ Rn là một phương tiếp xúc của D tại x0 nếu có một dãyđiểm xk

⊂ D với xk 6= x0, xk → x0 và dãy số dương tk & 0 sao cho

dk = xk− x0
/tk → dkhi k → +∞

Do xk = x0 +tkdk ∈ D nên có thể diễn giải định nghĩa này nhưsau: sát tùy ý x0 và theo phương sát tùy ý d đều có những điểm thuộcD

Định nghĩa 1.16 ([6])Tập tất cả các phương tiếp xúc của D tại x0 cùng

với véc tơ 0 gọi là nón tiếp xúc của D tại x0, ký hiệu là TD x0

Nhận xét 1.1 ([6]) Có thể thấy FD x0
⊆ TD x0
Thật vậy, chọn tùy

ý một d ∈ FD x0
Theo định nghĩa của hướng chấp nhận được, có

số t0 > 0 sao cho x0 +td ∈ D,∀t ∈ [0, t0] Đặt dk = d và tk = t0/2kvới k = 1, 2, thì xk = x0 + tkdk ∈ D với mọi k và dk → d, tk & 0 khi

k → +∞ Vì thế d ∈ TD x0
theo định nghĩa của nón tiếp xúc, vì dđược chọn tùy ý nên FD x0
⊆ TD x0

1.8 Điều kiện cần tối ưu cấp 1 và cấp 2

Định nghĩa 1.17 ([6])

Với ¯x ∈ D ta gọi D(¯x) = {d ∈ R : hd,∇f (¯x)i < 0} là tập hướng giảm

tại ¯x ( f (x)giảm khi x di chuyển đủ nhỏ từ ¯x theo hướng d)

Định lí 1.3 ([6]) (Điều kiện cần cấp 1) Giả sử x∗ ∈ D là một điểm cực tiểu

địa phương của f trên D Nếu f(x)khả vi tại x∗ thì

h∇f (x∗), di ≥ 0 với mọi d ∈ TD(x∗) (1.6)

nghĩa là TD(x∗) ∩D(x∗) = ∅

Chứng minh Giả sử d ∈ TD(x∗) Theo định nghĩa của nón tiếp xúc,

có một dãy số dương tk và dãy véc tơ dk(k = 1, 2, ) sao cho xk =

x∗+tkdk ∈ Dvới mọi k với tk & 0 và dk → d khi k → ∞

Do xk = x∗+tkdk → x∗ và x∗ là cực tiểu địa phương nên với k đủ lớn

Định lí 1.4 ([6])(Điều kiện cần cấp 2) Giả sử f là một hàm hai lần khả vi

liên tục trên một tập D ⊆ Rn Nếu x∗ ∈ D là một điểm cực tiểu địa phương

của f trên D thì với mỗi hướng d ∈ Rn chấp nhận được tại x∗ ta có:a)h∇f (x∗), di ≥ 0;

b)Nếuh∇f (x∗), di =0 thì ∇2f (x∗)d ≥ 0

Điều kiện a) suy ra từ Định lí 1.3 và nhận xét FD x0
⊆ TD x0

Điều kiên b)chỉ đòi hỏi khi ∇f(x∗)Td = 0 Do f (x∗+td), 0 ≤ t ≤ t0,

có cực tiểu địa phương tại x∗ nên với mọi t > 0 đủ nhỏ ta có (chú ý

∇f(x∗)Td = 0);

0 ≤ f (x∗+td) − f (x∗) = t2/2 ∇2f (x∗)d

+o t2
với o t2
/t2 → 0 khi t → 0 Nếu ∇2f (x∗)d, d < 0 thì vế phải củabất đẳng thức trên sẽ âm với t > 0 đủ nhỏ và ta sẽ gặp mâu thuẫn Vậy

∇2f (x∗)d

≥ 0.

1.9 Điều kiện đủ tối ưu cấp 1 và cấp 2

Định lí 1.5 ([6])(Điều kiện đủ cấp 1) Giả sử f khả vi liên tục trên tập

D ⊆ Rn Nếu x∗ ∈ D thỏa mãn điều kiện

h∇f (x∗), di > 0 với mọi d ∈ TD(x∗), d 6= 0, (1.7)

thì x∗ là điểm cực tiểu địa phương chặt của f trên D, theo nghĩa có một số

ε > 0 sao cho f (x∗) < f (x)với mọi x ∈ D, x 6= x∗ và kx−x∗k < ε

Chứng minh Giả sử x∗ ∈ D thỏa mãn (1.7) nhưng x∗ không phải

là điểm cực tiểu địa phương chặt Khi đó tìm được một dãy điểm

xk ∈ D sao cho f xk

≤ f (x∗) và xk → x∗, xk 6= x∗(k = 1, 2, ).Đặt

tk = xk− x∗ > 0, dk = xk− x∗
/tk

Do dk = 1 nên bằng cách lấy dãy con nếu cần, ta có thể giả thiết

dk → d Vì xk = x∗+ tkdk ∈ D, tk & 0 nên theo Định nghĩa 1.15 ta có

d ∈ TD(x∗) Từ khai triển Taylor

f xk

= f x∗+ tkdk

= f (x∗) +tk ∇f (x∗), dk+o xk
với o xk

→ dkhi k → ∞, ta thấy

tk ∇f (x), dk+ o(tk) = f xk
− f (x∗) ≤ 0

Chia hai vế cho tk > 0 và qua giới hạn khi k → ∞, ta nhận được

h∇f (x∗), di ≤ 0, trái với (1.7) Vì vậy x∗ phải là điểm cực tiểu địa

Định lí 1.6 ([6])(Điều kiện đủ cấp 2) Nếu x∗ ∈ D là một điểm tại đó hàm

f(x) hai lần khả vi liên tục và

∇f (x∗) = 0, ∇2f (x∗)d > 0,∀d ∈ TD(x∗), d 6= 0 (1.8)

thì x∗ là điểm cực tiểu địa phương chặt của f trên D.

Chứng minh Giả sử trái lại, x∗ không phải là cực tiểu địa phương chặtcủa f trên D thì có dãy xk

⊆ D , xk 6= x∗ (k = 1, 2, ) hội tụ tới x∗sao cho f xk

Chia hai vế cho t2

k > 0 và qua giới hạn khi k → ∞ ta thấy

∇2f (x∗)d ≤ 0, trái với (1.8) Vậy x∗ phải là điểm cực tiểu địa

Hệ quả 1.3 ([6]) Nếu x∗ ∈ int D và ∇f (x∗) = 0 thì điều kiện đủ để x∗

là điểm cực tiểu địa phương chặt của f trên D là ∇2f (x∗) xác định dương trên Rn, tức ∇2f (x∗)d

> 0, ∀d ∈ Rn, d 6= 0

1.10 Bài toán tối ưu với ràng buộc hiển

Xét bài toán tối ưu có dạng

1.11 Điều kiện chính qui

Cho một điểm x0 ∈ D Giả sử các hàm gi, hj khả vi Ký hiệu

S x0
là tập tất cả các véc tơ d ∈ Rn nghiệm đúng hệ phương trình vàbất phương trình tuyến tính:

Bổ đề 1.1([6]) Cho x0 ∈ D Nếu mọi hàm gi, hj khả vi tại x0 thì

∇hj x0
, d = 0, ∀j = 1, , p, nghĩa là d ∈ S x0
Vì d ∈ TD x0
được chọn tùy ý nên

chặt của bài toán (1.9) - (1.11).

Chứng minhSuy ra trực tiếp từ Định lí 1.5 và Bổ đề 1.1

Định nghĩa 1.18 ([6]) Một điểm x0 ∈ D gọi là điểm chính qui nếu

TD x0
= S x0

Bổ đề 1.2([6])(Bổ đề Farkas) Cho véc tơ p ∈ Rn và ma trận A cấp m×n.

Muốn cho hp, xi ≥ 0 với mọi x nghiệm đúng Ax ≥ 0 điều kiện cần và đủ

là tồn tại véc tơ u ∈ Rn sao cho u ≥ 0 và p = ATu (p biểu diễn dưới dạng

tổ hợp tuyến tính không âm các véc tơ hàng của A

a)hr, y −qi ≥ 0, vì nếu ngược lại thì đoạn thẳng nối liền y với q

sẽ tìm được một điểm nằm gần p hơn q và do điểm này thuộc C nênđiều này trái với q là hình chiếu của p (q là điểm thuộc C gần p nhất)

b)hr, qi = 0, vì nếu ngược lại thì trên đường thẳng nối q với gốctọa độ tìm được một điểm nằm gần p hơn q và do điểm này thuộc Cnên điều này trái với q là hình chiếu của p (q là điểm thuộc C gần pnhất)

Từ a) và b) suy ra hr, yi ≥ 0 với mọi y ∈ C Ký hiệu ai là véc tơcột thứ i của ma trận AT thì ai ∈ C, vì ai = ATei với ei là véc tơ đơn vị

thứ i trongRm Từ đó i

≥ 0 với mọi i = 1, , m, nghĩa là Ar ≥ 0.

Mặt khác,

hp, ri = hq−r, ri = hq, ri − hr, ri < 0 (do hq, ri = 0 và r 6= 0).Vậy r là véc tơ cần tìm

1.12 Điều kiện tối ưu cấp 1

1.12.1 Điều kiện cần cấp 1

Định lí 1.7 ([6])(Định lý Karush-Kuhn-Tucker)

Giả sử các hàm f , gi, hj (i = 1, , m, j = 1, , p) khả vi trên một tập mở chứa D, x∗ ∈ D là một điểm cực tiểu địa phương của bài toán (1.9) - (1.11)

và x∗ là điểm chính qui Khi đó, tồn tại véc tơ λ∗ = (λ∗1, , λ∗m)T, µ∗ =(µ∗1, , µ∗m)T thỏa mãn:

Chứng minh Do x∗là điểm cực tiểu địa phương nên theo Định lí 1.3 ta

có h∇f (x∗), di ≥ 0 với mọi d ∈ TD(x∗) Do x∗ là điểm chính qui (tức

là TD(x∗) = S(x∗)) nên bất đảng thức này đúng với mọi d ∈ S(x∗),nghĩa là với mọi d ∈ Rn nghiệm đúng hệ phương trình (1.12), (1.13)với x∗ thay cho x0

Áp dụng bổ đề Farkas cho ma trận A với ma trận chuyển vị AT

có các cột là

−∇gi(x∗), i ∈ I(x∗), ∇hj(x∗), −∇hj(x∗), j = 1, , p,

ta tìm được các số thực λi∗ ≥ 0 (i ∈ I(x∗)), αj ≥ 0, βj ≥ 0 (j = 1, , p)

Nhận xét 1.2 ([6]) Đối với bài toán (1.9) - (1.11) ta lập hàm số sau đây,

gọi là hàm Lagrange tướng ứng với bài toán:

(x ∈ R, λi ≥ 0 với mọi i và µj tùy ý với mọi j) Khi đó điều kiện KKT

(Karush - Kuhn - Tucker) được viết lại thành

∇xL (x, λ, µ) = 0, λT∇λL (x, λ, µ) = 0,

∇λL (x, λ, µ) ≤ 0, ∇µL (x, λ, µ) = 0,

điều kiện (1.14) gọi là điều kiện dừng, bởi∇xL(x, λ, µ) = 0,

điều kiện (1.15) gọi là điều kiện bù

điều kiện (1.16) gọi là điều kiện chấp nhận được.

1.12.2 Điều kiện đủ cấp 1

Định lí 1.8([6]) Giả sử f , gi, i = 1, , m, là các hàm lồi, khả vi liên tục và

hj, j = 1, , p là các hàm afin Giả sử x∗ là một điểm chấp nhận được thỏa mãn (1.16) của bài toán quy hoạch lồi:

Chứng minh Giả sử trái lại x∗ không phải là nghiệm cực tiểu thì có

x ∈ Dsao cho f (x) < f (x∗) Đặt d = x− x∗ 6= 0 Do hàm f lồi nên tacó

h∇f (x∗), di = h∇f (x∗), x− x∗i ≤ f (x) − f (x∗) < 0 (1.17)

Cũng vậy, do gi lồi nên

h∇gi(x∗), di = h∇gi(x∗), x −x∗i ≤ gi(x) −gi(x∗),∀i = 1, , m.Với i ∈ I(x∗) thì do λ∗i ≥ 0, gi(x∗) = 0 và gi(x∗) ≤ 0 nên

1.13 Điều kiện tối ưu cấp 2

Cho tập D = x ∈ R : gi(x) ≤ 0, hj(x) = 0, i = 1, , m; j = 1, , p Định lí 1.5 cho thấy rằng nếu x∗ ∈ D và nếu

x∗ ∈ D có phải là điểm cực tiểu địa phương hay không Tuy nhiên, takhông thể biết được x∗ có phải là cực tiểu địa phương hay không nếu

cả hai (1.20) và (1.21) đều không thỏa mãn, tức là nếu

h∇f (x∗), di ≥ 0, ∀d ∈ TD(x∗)và

h∇f (x∗), di = 0, ∃0 6= d ∈ TD(x∗)

Trong trường hợp này ta cần dùng đến đạo hàm cấp hai

Giả sử x∗ là một điểm KKT của bài toán (1.9) - (1.11) (tức x∗ thỏa

mãn (1.14) - (1.15)) và λ∗, µ∗ là các véc tơ nhân tử Lagrange tương ứng

Ký hiệu S(x∗)là tập xác định theo (1.12) - (1.13) với x∗ thay cho x0

Ta xây dựng tập con S0(x∗) của S(x∗)như sau:

cấp một ta không thể biết rõ khi đi theo hướng đó giá trị hàm mụctiêu tăng hay giảm.

Định lí 1.9 ([6]) (Điều kiện cần cấp 2) Giả sử x∗ là điểm cực tiểu địa phương của bài toán (1.9) - (1.11) và x∗ là điểm chính qui Giả sử λ∗, µ∗ là các nhân tử Lagrange thỏa mãn điều kiện (1.14) - (1.16) và S0(x∗)được xậy dựng như trên.

Khi đó, với mọi d ∈ S0(x∗) sao cho có dãy dk và tk > 0(k = 1, 2, ) thỏa mãn

xxL (x∗, λ∗, µ∗)d ≥ 0

Do d ∈ S0(x∗)được chọn thỏa mãn (1.22) nên (1.23) đúng., 

Định lí 1.10([6]) (Điều kiện đủ cấp 2) Giả sử x∗ là một điểm KKT của bài toán (1.9) - (1.11) (tức x∗ thỏa mãn (1.14) - (1.16)) Nếu

∇2

xxL(x∗, λ∗, µ∗)d

> 0, ∀d ∈ S0(x∗), d 6= 0 (1.27)

thì x∗ là cực tiểu địa phương chặt của bài toán (1.9) - (1.11)

Chứng minh Giả sử x∗ không phải là cực tiểu địa phương chặt của bàitoán Khi đó, có dãyxk

k và qua giới hạn ta nhận được

∇2

xxL xk, λ∗, µ∗
d ≤ 0,trái với (1.27) Vậy x∗ là cực tiểu địa phương chặt của (1.9) - (1.11)

Hệ quả 1.5([6]) Giả sử x∗ là một điểm KKT của bài toán (1.9) - (1.11) Nếu

∇2

với mọi d 6= 0 thỏa mãn

∇hj(x∗), d = 0, j = 1, , p, (1.33)h∇gi(x∗), di = 0, i ∈ I(x∗), λi∗ > 0 (1.34)

thì x∗ là cực tiểu địa phương chặt của bài toán (1.9) - (1.11)

Chứng minh Chỉ cần chứng tỏ (1.32) - (1.34) là điều kiện đủ để có (1.27).Thật vậy, nếu (1.32) đúng với mọi d 6= 0 thỏa mãn (1.33), (1.34) thì

(1.32) cũng đúng với mọi d 6= 0 thỏa mãn (1.33), (1.34) vàh∇gi(x∗), di ≤

0, i ∈ I (x∗), λ∗i = 0, tức là với mọi d ∈ S0 (x∗) Vậy có (1.27) và hệ quảđược suy ra từ Định lí 1.10

Định lí 1.11 ([6]) Giả sử f(x) là hàm lồi khả vi liên tục, xác định trên tập lồi D và giả sử x0 ∈ D Khi đó, f x0
≤ f (x) với mọi x ∈ D (nghĩa là x0

là điểm cực tiểu của f(x)trên D) khi và chỉ khi ∇f x0
, x−x0

≥ 0 với

mọi x ∈ D

Chứng minh

a) Điều kiện cần Giả sử f x0

≤ f (x) với mọi x ∈ D Nếu x0 là điểmtrong của D thì theo Hệ quả 1.2,∇f x0
= 0 do đó ∇f x0
, x−x0 =

0, còn nếu x0 là một điểm biên của D thì với mọi x ∈ D, d = x− x0 là

hướng chấp nhận được của D tại x0 nên theo Định lí 1.3, x0 thỏa mãn

Chương 2

Một số phương pháp số giải bài toán quy hoạch phi tuyến có ràng buộc

2.1 Hàm Lagrange và phương pháp nhân tử Lagrange

Xét bài toán quy hoạch phi tuyến có ràng buộc dạng tổng quát

x ∈ S là một nghiệm lấy được của (2.1) nếu nó thỏa mãn các điều kiệnràng buộc

Xét bài toán phi tuyến có ràng buộc NLP Công ty sản xuất ConPro:

Công ty sản xuất ConPro là dạng kinh doanh nhỏ các sản phẩm ống bêtông lớn Công ty tìm cách tối đa hóa lợi nhuận mục tiêu của nó bằngcác ràng buộc Giả sử các sản phẩm bê tông là một hàm vật liệu và

nhân công, số lượng đơn vị vật liệu được ký hiệu tương ứng bởi x1 và

Nếu ký hiệu x1 và x2 tương ứng là số đơn vị vật liệu và công việc, thì

ta xét bài toán cực tiểu hóa sau:

Ta sử dụng hàm mục tiêu để giải bài toán NLP không ràng buộc

ở phần trước Các ràng buộc ánh xạ giới hạn về vốn để mua nguyênliệu và thuê nhân công, yêu cầu có đủ nguồn nhân lực để sản xuất cácống dẫn từ các nguyên liệu cần thiết với các ràng buộc trên x1 và x2.Đặt g : S → Rm và h : S → Rp là hàm giá trị véc tơ được xác định bởicông thức

Khi đó (2.1) có thể viết lại như sau

Hàm g là hàm giá trị véc tơ mà các thành phần của nó được thảo luận

ở phần trước Do đó g là hàm khả vi tại x0 trên S khi và chỉ khi từnghàm thành phần gi khả vi, trong đó 1 ≤ i ≤ m khả vi Khi đó, ta cóthể viết:

g(x) = g(x0) + Jg(x0) (x−x0) +kx− x0kR(x; x0), (2.4)trong đó các thành phần của R(x; x0) ∈ Rm tiến đến 0 nếu x → x0

và Jg(x0) là ma trận cấp m ×n, được gọi là Jacobian của g tại x0 Đó

là ma trận mà hàng thứ i được đưa ra theo gradient chuyển vị véc tơ

∇gi(x0)t với 1 ≤ i ≤ m

Ma trận xấp xỉ tuyến tính Jacobian được tính bằng:

g(x) ≈ g(x0) + Jg(x0) (x− x0), x ≈ x0. (2.5)Nếu g được thay thế bằng h với Jh(x0) là ma trận cấp p×n

Trong Maple, thi ma trận Jacobian tính được bằng câu lệnh

Jaco-bian , được đặt trong gói VectorCalculus Có dạng là

Jacobian (biểu thức véc tơ,danh sách biến),

và nó sẽ tính Jacobian của biểu thức véc tơ có liên quan đến các biến được trình bày trong danh sách biến kết quả cho ra là một ma trận.

Dưới đây là cú pháp minh họa cách tính ma trận Jacobian của hàm

g, trong đó g được hình thành bằng cách sử dụng bốn ràng buộc củabài toán (2.2) Trong ví dụ này, ta xây dựng Jacobian như hàm véc tơ

... 2

Một số phương pháp số giải toán quy hoạch phi tuyến có ràng buộc< /b>

2.1 Hàm Lagrange phương pháp nhân tử Lagrange

Xét toán quy hoạch phi tuyến có ràng buộc. ..

Ngoài cịn có: Quy hoạch ngun, Quy hoạch đa mục tiêu, Quyhoạch ngẫu nhiên, Quy hoạch tham số,

1.7 Bài toán tối ưu với ràng buộc tập

Xét toán tối ưu có dạng

min{f... , m, hàm afin

Trong tốn tối ưu phi tuyến có hai lớp đặc biệt quan trọng,

là Quy hoạch lồi Quy hoạch lõm.

-Quy hoạch lồi: toán cực tiểu hàm mục tiêu f (x) hàm