Một số phương pháp giải bài toán quy hoạch phi tuyến

17 2.1 Phương pháp không gian hạt nhân Null Space giải bài toán quy hoạch toàn phương với ràng buộc đẳng thức tuyến tính .... 21 2.2 Phương pháp tập hoạt động Active Set giải bài toá

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-

VŨ MINH TÂM

MỘT SỐ PHƯƠNG PHÁP

LUẬN VĂN THẠC SĨ KHOA HỌC

Toán Công Nghệ

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS Nguyễn Phương Anh

Hà Nội – 2010

LỜI CẢM ƠN

Tôi xin trân trọng cảm ơn TS NGUYỄN PHƯƠNG ANH, người đã tận tình hướng dẫn, chỉ bảo và giúp đỡ tôi trong quá trình tìm hiểu và thực hiện đề tài này Tôi xin trân trọng cảm ơn các thầy, cô trong khoa Toán-Tin ứng dụng, các bạn học viên Toán Công Nghệ khóa 2008-2010 đã giúp tôi lựa chọn đề tài Tôi xin trân trọng cảm ơn anh em phòng kỹ thuật công ty VNNPLUS đã khích lệ động viên, và tạo điều kiện để hoàn thành luận văn Và cuối cùng, tôi xin gửi lời cảm ơn đến vợ tôi, người luôn bên tôi trong mọi khó khăn, giúp tôi có thêm thời gian hoàn thành được bản luận văn này

Hà Nội, ngày 20 tháng 10 năm 2010

MỤC LỤC

LỜI NÓI ĐẦU 4

Chương 1: KIẾN THỨC CƠ SỞ 6

1.1 Khai triển Taylor 6

1.2 Đạo hàm theo hướng 6

1.3 Hàm lồi 6

1.4 Điều kiện tối ưu bài toán không ràng buộc 7

1.5 Định lý Karush-Kuhn-Tucker (KKT) 7

1.6 Phương pháp hướng giảm 9

1.7 Tốc độ hội tụ 12

1.8 Phương pháp Newton 12

1.9 Phương pháp quasi-Newton 14

Chương 2: CÁC PHƯƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH TOÀN PHƯƠNG 17

2.1 Phương pháp không gian hạt nhân (Null Space) giải bài toán quy hoạch toàn phương với ràng buộc đẳng thức tuyến tính 17

2.1.1 Phát biểu bài toán 17

2.1.2 Ý tưởng 17

2.1.3 Phương pháp giải 19

2.1.4 Ví dụ 21

2.2 Phương pháp tập hoạt động (Active Set) giải bài toán quy hoạch toàn phương với ràng buộc bất đẳng thức tuyến tính 23

2.2.1 Phát biểu bài toán 23

2.2.2 Ý tưởng 23

2.2.3 Phương pháp Active Set 24

2.2.4 Thuật toán Active Set 26

2.2.5 Ví dụ 28

2.2.6 Kết quả hội tụ 32

Chương 3: PHƯƠNG PHÁP SQP GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN 36

3.1 Phương pháp Newton-Lagrange 36

3.2 Phương pháp Wilson-Han-Powell 43

3.3 Hiệu ứng Maratos 50

3.4 Bước hiệu chỉnh bậc 2 52

Chương 4: KẾT QUẢ SỐ 57

4.1 Công cụ sử dụng 57

4.2 Kết quả của một số bài toán cụ thể 60

KẾT LUẬN 65

TÀI LIỆU THAM KHẢO 66

LỜI NÓI ĐẦU

Lý thuyết tối ưu là một ngành của Toán học ứng dụng có nhiều ứng dụng hiệu quả và rộng rãi trong các ngành kỹ thuật, quản lý, kinh tế và tài chính

Bài toán quy hoạch phi tuyến đóng vai trò quan trọng trong lý thuyết điều

khiển tối ưu Phương pháp SQP (Sequential Quadratic Programming) là một trong

những phương pháp thông dụng, hiệu quả để giải bài toán quy hoạch phi tuyến và không thể thiếu trong các thư viện tối ưu lớn như NAG, LANCELOT… Ý tưởng của phương pháp là tách bài toán phi tuyến ban đầu thành một dãy các bài toán quy hoạch toàn phương, các bài toán con này được giải quyết bằng phương pháp

Không gian hạt nhân (cho bài toán có ràng buộc đẳng thức) hoặc bằng phương

pháp Tập hoạt động (cho bài toán có ràng buộc bất đẳng thức) Việc nghiên cứu

cải thiện phương pháp này về mặt lý thuyết và tính toán được đề cập đến trong các tài liệu [1], [3], [5],…

Mục đính chính của luận văn là tìm hiểu về cách tiếp cận phương pháp SQP

và các kết quả hội tụ của phương pháp Nội dung luận văn này gồm có 4 chương chính:

Chương I: Nhắc lại một số kiến thức cơ sở

Chương II: Tìm hiểu phương pháp giải quyết bài toán con là bài toán quy

hoạch toàn phương với các ràng buộc tuyến tính, cụ thể là phương pháp Không

gian hạt nhân (Null space) giải các bài toán với ràng buộc đẳng thức và Tập hoạt động (Active set) giải quyết các bài toán với ràng buộc bất đẳng thức

Chương III: Giới thiệu về SQP với các phương pháp Newton-Lagrange,

phương pháp Wilson-Han-Powell Phần sau của chương tập trung vào tìm hiểu tốc

độ hội tụ của thuật toán, và các hiệu ứng không tốt đến thuật toán (hiệu ứng

Maratos) cũng như phương pháp khắc phục (hiệu chỉnh bậc hai)

Chương IV: Trình bày các kết quả số đạt được bao gồm: lập trình thuật toán

SQP, lập trình các bài toán con sử dụng các phương pháp Không gian hạt nhân và

phương pháp Tập hoạt động Một số ví dụ cụ thể cũng được đưa ra

Chương 1 Kiến thức cơ sở

Chương 1 trình bày các kiến thức cơ sở là nền tảng cần thiết để tìm hiểu các phương pháp tối ưu phi tuyến Nội dung của chương được tham khảo từ các tài liệu [2], [7], [8]

1.1 Khai triển Taylor

Xét hàm n biến khả vi liên tục tại lân cận nào đó của điểm Khi đó, với và đủ nhỏ, ta có thể khai triển:

trong đó là một vô cùng bé bậc cao hơn khi Khai triển này

được gọi là khai triển Taylor cấp một của hàm tại

1.2 Đạo hàm theo hướng

Cho hàm xác định trên và một véc tơ Giới hạn

nếu tồn tại được gọi là đạo hàm theo hướng d của hàm f

tại điểm và ký hiệu là

Như đã biết, nếu f khả vi tại thì

1.3 Hàm lồi

Hàm được gọi là hàm lồi xác định trên tập lồi nếu

Đạo hàm theo hướng của hàm lồi: Nếu là một hàm lồi xác định trên tập lồi thì nó có đạo hàm theo mọi hướng tại mọi điểm

1.4 Điều kiện tối ưu của bài toán không ràng buộc

Xét bài toán tối ưu sau:

trong đó là một hàm số trong lớp

Điều kiện cần bậc 1: Cho thuộc lớp Nếu là một cực tiểu địa

Điều kiện đủ bậc 1: Cho thuộc lớp và là một hàm lồi Khi đó

là một điểm cực tiểu địa phương của là một điểm cực tiểu toàn cục của

Điều kiện cần bậc 2: Cho thuộc lớp Nếu là một cực tiểu địa

Điều kiện đủ bậc 2: Cho thuộc lớp và thỏa mãn Nếu ma trận xác định dương thì là cực tiểu địa phương chặt của f

1.5 Định lý Karush-Kuhn-Tucker (KKT)

Xét bài toán quy hoạch phi tuyến:

với điều kiện , ( )

trong đó là tập nghiệm của hệ:

ii) Tồn tại các số i = 1,…,m và các số , j = 1,…,k sao cho

và

1.6 Phương pháp hướng giảm

Xét bài toán quy hoạch không ràng buộc

trong đó là hàm phi tuyến, khả vi trên

Ý tưởng cơ bản của phương pháp hướng giảm để giải bài toán với hàm mục tiêu là: Xuất phát từ một điểm bất kỳ , ta xây dựng một dãy điểm

Trong lược đồ trên, là hướng giảm của tại và số thực là độ

dài bước Sự lựa chọn hướng dịch chuyển và độ dài bước khác nhau cho ta các thuật toán cụ thể tương ứng với các phương pháp giảm khác nhau

b Hướng giảm

Định nghĩa Cho Ta gọi là hướng giảm của hàm tại nếu

Sau đây là các điều kiện để một véc tơ là hướng giảm của hàm khả vi tại

Mệnh đề 1.1 Cho hàm khả vi trên , điểm và hướng Nếu

thì d là hướng giảm của tại

Mệnh đề 1.2 Cho hàm lồi khả vi trên , điểm và hướng Khi

đó, khi và chỉ khi là hướng giảm của tại

Hệ quả 1.1 Cho hàm khả vi trên và điểm Nếu thì

là một hướng giảm của tại

Mệnh đề 1.3 Cho hàm khả vi trên , điểm và véc tơ thỏa

Đầu vào: điểm và hướng giảm của hàm tại điểm ;

1.7 Tốc độ hội tụ

Với các thuật toán sử dụng chiến lược xây dựng một dãy điểm tiến dần đến nghiệm, người ta cần phải xem thuật toán có hội tụ hay không? Và nếu hội tụ thì hội tụ nhanh hay chậm ?

Định nghĩa: Cho dãy hội tụ đến Dãy được gọi là :

- hội tụ đến với tốc độ tuyến tính nếu

Theo giả thiết, tại mọi điểm x k cho trước thì giá trị của và véc tơ gradient

là hoàn toàn xác định Vậy với đủ bé, ta có thể xấp xỉ theo công thức Taylor:

Ta tìm là nghiệm của bài toán xấp xỉ sau:

Áp dụng điều kiện tối ưu bậc 1 đối với hàm số theo biến ta có:

, hay

Đặt , ta thấy phương pháp này tương đương với việc dùng phương pháp Newton để giải phương trình Giả thiết rằng ma trận Hessian

là xác định dương với mọi x nằm trong miền lân cận của , dãy nhận được sẽ hội tụ về , khi nằm trong vùng lân cận của

Thuật toán Newton

Bước khởi tạo: Chọn điểm khởi đầu Đặt k:=0;

Nếu thì dừng thuật toán và đưa ra nghiệm là

Trái lại, k = k+1, quay về bước lặp k

1.9 Phương pháp quasi-Newton

Chúng ta biết rằng phương pháp Newton là phương pháp có tốc độ hội tụ bậc hai Tuy nhiên, phương pháp Newton có độ phức tạp tính toán cao do phải tính ma trận Hessian và giải hệ phương trình tuyến tính Phương pháp

quasi-Newton sẽ chỉ tính gradient mà không tính ma trận Hessian, xây dựng nên

một thuật toán có các bước lặp dễ tính hơn nhưng tốc độ hội tụ chậm hơn Mệnh đề dưới chỉ ra hướng tìm kiếm để thuật toán đạt được tốc độ hội tụ siêu tuyến tính

Mệnh đề 1.4 Gọi là dãy các hướng tìm kiếm sao cho dãy được sinh ra

Mệnh đề 1.5 Với các giả thiết của Mệnh đề 1.4, gọi là ma trận xấp xỉ ma trận

Mối liên hệ giữa , , và được mô tả như sau:

Khai triển xấp xỉ Taylor bậc hai của hàm tại và đặt:

Nhân cả hai vế của (1.2) với ta được: Điều này có nghĩa là

>0 khi và chỉ khi ma trận là xác định dương

Thông thường, để cập nhật ma trận từ ma trận , người ta thường dùng công

thức BFGS (Broyden, Fletcher, Goldfarb, và Shanno) (Xem trong [9])

Thuật toán quasi-Newton

Bước khởi tạo:

Chọn điểm khởi đầu x 0 , ma trận B 0 = I là ma trận đơn vị Đặt k:=0

Bước k:

Tìm các hướng di chuyển theo công thức

Tính độ dài bước theo thủ tục quay lui

Cập nhật ma trận bằng công thức BFGS:

trong đó

Trái lại, gán k := k+1.Quay trở lại bước lặp k

Chương 1 trình bày các kiến thức cơ sở là nền tảng cần thiết để tìm hiểu các

phương pháp tối ưu phi tuyến như các điều kiện tối ưu cho bài toán toán tối ưu có ràng buộc và bài toán tối ưu không có ràng buộc, phương pháp hướng giảm,

phương pháp Newton, phương pháp quasi-Newton,…

Chương 2 Các phương pháp giải bài toán quy hoạch toàn phương

có ràng buộc

Chương 2 trình bày phương pháp Không gian hạt nhân giải bài toán quy hoạch toàn phương với ràng buộc đẳng thức và phương pháp Tập hoạt động giải bài toán quy hoạch toàn phương với ràng buộc bất đẳng thức Nội dung của Chương 2 được tham khảo trong [1], [5] và [6]

2.1 Phương pháp Không gian hạt nhân (Null Space) giải bài toán quy hoạch toàn phương với ràng buộc đẳng thức tuyến tính

2.1.1 Phát biểu bài toán

Xét bài toán quy hoạch toàn phương:

trong đó G là ma trận đối xứng xác định không âm,A là ma trận cấp m n (m n ),

r a n k A m Ta tìm thuật toán xác định nghiệm tối ưu của bài toán (Q )

toán (Q D ) Khi đó điều kiện KKT của bài toán (Q D ) là:

(2.2)

Ta thấy rằng, nếu d x x thì hệ (2.2) chính là điều kiện KKT của bài toán (QD) tương ứng với bài toán gốc (Q ) Do vậy, nếu d là nghiệm của bài toán (QD) với nhân tử Largrange thì x d x là nghiệm của bài toán (Q ) với nhân tử Largrange

Để giải hệ (2.2) ta xét một ma trận cơ sở Z của không gian hạt nhân K e r A của A , như vậy Z là ma trận cấp n (n m) thoả mãn A Z 0

Mệnh đề 2.1 Nếu ma trận A có r a n k A m và nếu ma trận Z G Z (được gọi là

ma trận Hessian rút gọn) xác định dương thì ma trận của hệ (2.2) là không suy biến và tồn tại duy nhất một cặp véc tơ d , là nghiệm của hệ (2.2) Đặc biệt, bài toán ( Q ) có nghiệm duy nhất

(2.4)

Ngoài ra, A u 0 nên u K e r A và như vậy tồn tại R n m sao cho (Vì

Z là ma trận cơ sở của Ker A) Thay u Z vào (2.4) ta được

u Z =0 Khi đó, từ phương trình thứ nhất của hệ (2.3): G u A v T 0 suy ra

Một phương pháp giải hệ (2.2) khi ma trận T

cấp n m sao cho ma trận YZ là ma trận vuông cấp n không suy biến (để đơn

giản phép tính toán ta có thể chọn ma trận Y để bổ sung vào ma trận Z sao cho

m m không suy biến Từ phương trình (2.5) ta sẽ tính được d Y

Tiếp theo, nhân T

Z vào hai vế phương trình thứ nhất của hệ (2.5) ta được:

Theo giả thiết, ma trận Hessian T

giải hệ (2.6) bằng phương pháp Cholesky (xem trong [7] ) để tính được d

Giải phương trình (2.7) ta tìm được (doA Y là ma trận không suy biến) Do đó,

ta sẽ tìm được nghiệm tối ưu của bài toán (Q) là

2.1.4 Ví dụ

Xét bài toán quy hoạch toàn phương:

2.2 Phương pháp Tập hoạt động (Active Set) giải bài toán quy hoạch toàn

phương với ràng buộc bất đẳng thức tuyến tính

2.2.1 Phát biểu bài toán

Xét bài toán:

với G là ma trận đối xứng, xác định dương, và

Giả sử là một điểm chấp nhận được của bài toán Gọi là tập chỉ số các ràng buộc hoạt động (active) của

Ta trình bày phương pháp tập hoạt động (active set method) xác định nghiệm tối

ưu của bài toán

2.2.2 Ý tưởng

Cho x là nghiệm của bài toán Nếu ta biết các ràng buộc active tại x , thì x

là nghiệm của bài toán ràng buộc đẳng thức:

Do chúng ta không biết trước được nên phương pháp Tập hoạt động sẽ cập

nhật từ tập chỉ số

2.2.3 Phương pháp Active Set

Hàm Lagrange tương ứng với bài toán là:

Giả sử là điểm KKT bài toán Khi đó, tồn tại là nhân tử Lagrange (với

) sao cho điều kiện sau được thỏa mãn:

(2.9)

Phương pháp tập hoạt động dựa trên kết quả của mệnh đề sau:

Mệnh đề 2.2 Nếu thỏa mãn các điều kiện của hệ (2.9) với , , và G

là ma trận nửa xác định dương, thì là một nghiệm toàn cục của bài toán

Chứng minh:

Giả sử là một điểm chấp nhận được của , nghĩa là với mọi

Nhân cả hai vế của phương trình thứ nhất của hệ (2.9) với , ta có:

* Do không biết, phương pháp sẽ cập nhật một tập chỉ số làm việc (working

pháp Tập hoạt động để tìm nghiệm của bài toán quy hoạch dạng toàn phương với

ràng buộc bất đẳng thức qua các bước dưới đây

Giả sử là một điểm chấp nhận được của bài toán và giả sử là tập con

0 , W

T

k i

x không là nghiệm của bài toán (Q k)

Vì là điểm chấp nhận được của bài toán , nên giá trị tối ưu của bài toán là không dương (Do là bài toán tìm min)

Nếu thì chuyển sang bước 2 Trái lại, chuyển sang bước 3

Bước 2 Giả sử d k 0

d G d g d (vì giá trị tối ƣu của

Nếu với i W k thì k

x là nghiệm của bài toán vì k

x là điểm chấp nhận được của bài toán

Ngược lại, nếu với một số giá trị j W k thì loại bỏ một chỉ số j ra khỏi W k

và chuyển về bước 1 với k 1 k

x x và W k 1 W k \ j Thông thường ta chọn

Sau đây là thuật toán Active Set để giải bài toán quy hoạch lồi toàn phương

Ta sẽ mô tả bằng giả mã

2.2.4 Thuật toán Active Set

Bước khởi tạo: Chọn là điểm chấp nhận được, chọn

Khi đó 2 0 , 2 , 1

T

Bước khởi đầu:

Chọn là điểm chấp nhận được của bài toán Ta thấy, phương

sẽ suy ra nghiệm là:

Vì , ta sẽ tìm các nhân tử Lagrange và theo công thức sau:

Do là nhân tử lấy giá trị âm nhỏ nhất nên ta loại chỉ số của ràng buộc thứ 3 ra

Do là nhân tử lấy giá trị âm nhỏ nhất nên ta loại chỉ số của ràng buộc thứ 4 ra

Bước lặp 3

Giải bài toán con sau theo phương pháp Không gian hạt nhân:

Từ hai phương trình trên suy ra

Vậy ta tìm được nghiệm để đạt cực tiểu

Vì , ta sẽ tìm các nhân tử Lagrange theo công thức sau:

Do với mọi , Dừng thuật toán và nghiệm tối ưu của bài toán

là Giá trị cực tiểu của hàm mục tiêu là:

2.2.6 Kết quả hội tụ

Mệnh đề sau chứng minh rằng nếu ta khử một ràng buộc j từ W k (bước 3) thì hướng mới k

d thu được ở bước 1 là một hướng giảm của hàm toàn phương Ngoài

ra, a d i T k 0 nếu i W k \ j , và a d T j k 0 nếu các véc tơ