Bài toán quy hoạch phi tuyến không ràng buộc

Mục đích của khóa luận này là nhằm tìm hiểu một số phương pháp đặc trưng để giải các bài toán quy hoạch phi tuyến không ràng buộc.. Ở phương pháp này cho phép ta thu hẹp dần khoảng chứa

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

KHOA TOÁN - CƠ - TIN HỌC

Lê Hồng Nguyên

BÀI TOÁN QUY HOẠCH PHI TUYẾN

KHÔNG RÀNG BUỘC

LUẬN VĂN THẠC SĨ KHOA HỌC

Chuyên ngành: Toán - Giải tích

Mã số: 60.46.01.02

Người hướng dẫn: PGS.TS Nguyễn Hữu Điển

Hà Nội - 2014

LỜI CẢM ƠN

Để hoàn thành bản luận văn này tôi đã nhận được sự giúp đỡ to lớn của Thầy,

Cô giáo, gia đình và bạn bè xung quanh

Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫn PGS.TS Nguyễn Hữu Điển, Khoa Toán- Cơ- Tin học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội Trong quá trình giảng dạy và hướng dẫn đã ân cần động viên, giúp

đỡ chỉ bảo tận tình cho tôi

Tôi cũng gửi lời cảm ơn tới các thầy cô trong Khoa Toán- Cơ- Tin học, Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạy dỗ và giúp

đỡ tôi rất nhiều trong suốt quá trình học tập và nghiên cứu luận văn Đặc biệt là các thầy cô trong Seminar của bộ môn Toán giải tích đã có những ý kiến đóng góp quý báu giúp cho bản luận văn hoàn chỉnh hơn

Ngoài ra tôi cũng gửi lời cám ơn chân thành tới bạn bè, đồng nghiệp đã giúp

đỡ rất nhiều, tạo điều kiện tốt nhất cho tôi có thời gian để hoàn thành luận văn Cuối cùng tôi cũng xin gửi lời cảm ơn tới gia đình nơi đã sinh thành, nuôi nấng, giúp đỡ, động viên tôi rất nhiều trong suốt thời gian qua

Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếu sót

và hạn chế Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn và trân trọng sâu sắc

Hà Nội, ngày 14 tháng 10 năm 2014

Học Viên

Lê Hồng Nguyên

BẢNG KÝ HIỆU

Ký hiệu Ý nghĩa

DFP Davidon- Fletcher- Powell

QHPT Quy hoạch phi tuyến

Rn Không gian thực n chiều

∇f(x) Gradient của f tại x

∇2f(x) Hessian của f tại x

0(x, ε) Lân cận của x với bán kính ε

k.k Chuẩn vector

AT Ma trận chuyển vị của ma trận A

Mục lục

Lời mở đầu 4

Chương 1 Một số kiến thức chuẩn bị 9

1.1 Một số khái niệm giải tích lồi 9

1.2 Một số khái niệm từ giải tích 11

1.3 Tốc độ hội tụ 14

1.4 Điều kiện tối ưu 19

Chương 2 Phương pháp Davidon- Fletcher- Powell 23

2.1 Giới thiệu phương pháp 23

2.2 Nội dung của phương pháp 26

2.3 Sự hội tụ của phương pháp DFP 28

2.4 Ví dụ 36

2.5 Chương trình giải ví dụ thuật toán DFP 39

Chương 3 Phương pháp Hooke- Jewes 44

3.1 Thuật toán 44

3.2 Sự hội tụ của thuật toán Hooke- Jewes 47

3.3 Ví dụ 48

3.4 Chương trình giải ví dụ thuật toán Hooke- Jeeves 51

Kết luận 57

LỜI MỞ ĐẦU

Như L.Euler đã viết: "Vì thế giới được thiết lập một cách hoàn hảo nhất, và vì

nó là sản phẩm của đấng sáng tạo tinh thông nhất, nên không thể tìm thấy cái gì

mà không mang theo tính chất cực đại hay cực tiểu nào đó" Vấn đề đặt ra ở đây

là, các trạng thái của vật thể trong tự nhiên hoạt động tuân theo những quy luật như thế nào Như chúng ta đã biết, thực tế bài toán quy hoạch đã xuất hiện từ khi con người biết lao động, biết suy nghĩ để tìm ra cách làm nhanh và hiệu quả nhất Tuy nhiên các hành động này thay đổi liên tục và buộc con người ta phải tìm cách thích ứng Và ngày nay, mô hình tối ưu hóa được sử dụng trong nhiều lĩnh vực như: Quản lý kinh tế và tài chính, nghiên cứu khoa học và cả trong các lĩnh vực

kỹ thuật cũng được thừa hưởng từ các thành quả ở trên với nguồn tài nguyên vô cùng vô tận và các cơ sở kỹ thuật hiện đại Để giải quyết các vấn đề trên ta nghiên cứu bài toán quy hoạch phi tuyến không ràng buộc có dạng

min{f (x) : x∈ Rn},

trong đóRn là một không gian vector , f :Rn →R là một hàm phi tuyến cho trước

và được gọi là hàm mục tiêu Tập nguồn Rn ứng với bài toán tối ưu không ràng buộc

Mục đích của khóa luận này là nhằm tìm hiểu một số phương pháp đặc trưng

để giải các bài toán quy hoạch phi tuyến không ràng buộc Như chúng ta đã biết tìm kiếm theo tia (line search) hay còn gọi là tìm kiếm một chiều (one dimensional search) là mấu chốt của nhiều thuật toán để giải các bài toán quy hoạch phi tuyến Nội dung chính của chiến lược tìm theo tia như sau : Xuất phát từ một điểm x0

và một hướng d ∈ Rn cho trước, tìm một khoảng ban đầu mà nó chứa điểm cực tiểu, sau đó dùng kỹ thuật chia nhỏ hay nội suy để thu hẹp dần các khoảng chứa nghiệm cho tới khi độ dài của khoảng nhỏ hơn một mức dung sai định trước

Phương đơn giản để tìm khoảng ban đầu là phương pháp tiến và lùi (forward-backward method) Ý tưởng chính của phương pháp này là: Cho trước một điểm ban đầu và một độ dài bước ban đầu, ta thử tìm ba điểm ứng với ba giá trị mục tiêu dạng "cao-thấp-cao" Nếu đi theo chiều tiến (nghĩa là điểm sau ở bên phải điểm trước) không đạt kết quả thì sẽ đi lùi lại (tức là điểm sau ở bên trái điểm trước) Tiếp tục quá trình như thế, ta sẽ nhận được khoảng ban đầu mà nó chứa điểm cực tiểu cần tìm Thứ hai là phương pháp khử liên tiếp với hai phương pháp quen thuộc để tìm cực tiểu của hàm đơn mốt: Phương pháp Fibonaci và phương pháp lát cắt vàng (golden section method) Ở phương pháp này cho phép ta thu hẹp dần khoảng chứa điểm cực tiểu bằng cách tính giá trị hàm tại những điểm chọn trong khoảng này, tuy nhiên phương pháp lát cắt vàng có ưu điểm là một trong hai điểm chia đoạn mới trùng với một điểm chia cũ, do đó ở mỗi bước lặp chỉ cần tính thêm một giá trị hàm ứng với điểm chia mới, nhờ đó tiết kiệm được thời gian tính toán Tiếp theo là phương pháp nội suy, phương pháp này dùng giá trị của hàm cần tìm cực tiểu tại những điểm nhất định để xấp xỉ các hàm đó bởi các đa thức: Tam thức bậc hai (phương pháp Powell) và đa thức bậc ba (phương pháp Davidon), sau đó điểm cực tiểu của hàm ban đầu được thay thế bằng điểm cực tiểu của đa thức xấp xỉ mà nó được tìm đơn giản hơn

Trên đây là một số phương pháp tìm cực tiểu hàm một biến Chúng ta cũng

có thể dùng bất kỳ phương pháp tìm cực tiểu một biến này để tìm cực tiểu dọc theo các trục tọa độ đối với hàm hai biến cũng như hàm nhiều biến Tuy nhiên các phương pháp được giới thiệu ở trên chỉ có hiệu quả trong trường hợp cực tiểu của hàm là duy nhất Song trên thực tế nó tỏ ra ít hiệu quả Vì thế, người ta đã đề ra nhiều phương pháp khác cho phép khai thác nhiều thông tin hơn dựa trên các giá trị hàm đã nhận được, và chúng được chia thành hai nhóm đó là: Phương pháp tìm trực tiếp (chỉ dùng giá trị của hàm) và phương pháp gradient (sử dụng đạo hàm của hàm)

Một trong hai phương pháp tìm kiếm trực tiếp là phương pháp Hooke- Jeeves

do Hooke- Jeeves đề ra năm 1961 Với nội dung : Xuất phát từ một điểm cơ sở tùy ý, việc tìm kiếm bao gồm một dãy bước tìm theo tọa độ quanh điểm cơ sở nhằm đạt tới điểm có giá trị hàm nhỏ hơn (điểm tốt hơn) Nếu thành công sẽ chuyển cơ sở tới điểm mới tốt hơn vừa tìm được và tiếp tục di chuyển theo hướng đó đến một điểm gọi là điểm mẫu Tiến hành tìm theo tọa độ quanh điểm mẫu Nếu tìm được điểm tốt hơn thì tiếp tục dò tìm quanh điểm mẫu mới, nếu không thành công sẽ quay trở lại điểm cơ sở trước đó hoặc giảm độ dài bước dò tìm Thứ hai là phương pháp Neldel- Mead (1965) còn được gọi là phương pháp tìm kiếm theo đơn hình biến thiên được Neldel- Mead đề nghị cải tiến từ phương pháp đơn hình đều Spendley-Hext- Himsworth để có thể sử dụng cho các đơn hình không đều Từ ý tưởng chính của phương pháp Spendley- Hext- Himsworth là so sánh giá trị hàm tại tất cả các đỉnh của đơn hình đều và dịch chuyển đơn hình về hướng điểm tối ưu nhờ một thủ tục lặp Và ở phương pháp Neldel- Mead thì cụ thể đơn hình được dịch chuyển nhờ ba thao tác cơ bản: Phép phản xạ, phép dãn và phép co Đây là một phương pháp tìm trực tiếp đáng tin cậy và là một trong các phương pháp tìm cực tiểu tự

do hiệu quả nhất đối với không gian có số chiều nhỏ hơn 7 Hai phương pháp này đặc biệt thích hợp để tìm cực tiểu của những hàm có cấu trúc phức tạp, thường không khả vi hoặc khó tính đạo hàm Tuy nhiên các phương pháp này nói chung chậm hội tụ hơn so với phương pháp dùng đạo hàm

Cuối cùng là các phương pháp sử dụng đạo hàm của hàm Các phương pháp này đòi hỏi sử dụng tới các đạo hàm riêng bậc nhất hoặc bậc hai của hàm Khoảng những năm 70 của thế kỷ XX, các phương pháp gradient được nghiên cứu rất mạnh và đã thu được những thành tựu đáng kể Nhiều công trình nghiên cứu đã được công bố Có một phương pháp thông dụng để tìm cực tiểu, nó rất đơn giản

và có thể áp dụng cho nhiều lớp hàm rộng, đó chính là phương pháp hướng dốc nhất (Steepest Descent Method) với nội dung như sau: Ta xây dựng một dãy điểm

xk hội tụ tới điểm z khi k → ∞ với đặc điểm giá trị hàm của chúng giảm dần và

∇f(z) = 0 Giả sử ta có điểm xk nằm trong lân cận của điểm z, khi đó để giảm hàm mục tiêu ta sẽ dịch chuyển từ xktheo hướng dktạo với vector gradient∇f(z)

một góc tù, với độ dài bước αk xác định Việc lựa chọn hướng dịch chuyển và độ dài bước khác nhau sẽ cho ta phương pháp gradient khác nhau Và ở phương pháp này ta chọn hướng dk = −∇f(xk)với mọi k Phương pháp gradient chỉ sử dụng xấp xỉ thô của hàm cần tìm cực tiểu (nghĩa là chỉ có số hạng tuyến tính ở khai triển

f(x) thành chuỗi Taylor được dùng để chọn hướng dịch chuyển) Trong khi đó, không giống như phương pháp gradient thông thường, phương pháp Newton có hướng tìm riêng, gọi là hướng Newton, đã dùng đến các đạo hàm riêng cấp hai của hàm f(x)vì thế nó đòi hỏi hàm f(x)hai lần khả vi liên tục và hướng của nó được xác định như sau dk = −[∇f(xk)]−1∇f(xk) Công việc tính ma trận nghịch đảo

[∇f(xk)]−1 ở mỗi bước là một công việc khó khăn Vì thế, phương pháp Newton

ít được sử dụng trong thực tiễn khi n > 1, mặc dầu phương pháp có tốc độ hội tụ bậc hai Bằng cách sử dụng công thức lặp và thay đổi độ dài bước bởi các phương pháp tìm kiếm một chiều theo hướng mới đã cải tiến phép lặp của phương pháp Newton thành phương pháp Newton suy rộng Phương pháp này có tốc độ hội tụ của điểm cũng như hội tụ của hàm nhanh hơn so với phương pháp gradient, cụ thể chúng ta sẽ xét kỹ hơn phương pháp Davidon- Fletcher- Powell ở chương sau

Và đặc biệt khi độ dài bước αk = 1 thì ta có phương pháp Newton Cuối cùng là phương pháp gradient liên hợp Fletcher- Reeves tìm cực tiểu tự do của hàm toàn phương ( hàm lồi bậc hai )bằng phương pháp lặp Như vậy, các phương pháp sử dụng đạo hàm có ưu điểm là hội tụ nhanh, nhưng khi số biến lớn thì gặp khó khăn trong việc tính đạo hàm, mặt khác việc chuẩn bị bài toán để giải tốn nhiều thời gian

Tóm lại không có phương pháp chung nào có hiệu quả để giải bài toán quy hoạch nói chung và quy hoạch phi tuyến nói riêng Mỗi phương pháp đều có

những ưu, nhược điểm riêng Nên luận văn chỉ tìm hiểu sâu về thuật toán, sự hội

tụ cũng như các ví dụ để làm rõ hai phương pháp: Phương pháp chỉ sử dụng giá trị của hàm Hooke- Jeeves và phương pháp sử dụng đạo hàm của hàm Davidon-Fletcher-Powell thuộc lớp chung của phương pháp Newton, trong việc giải quyết các bài toán tối ưu không ràng buộc

Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:

• Tổng quan về các phương pháp tìm cực tiểu tự do

• Tóm tắt kiến thức liên quan

• Trình bày cụ thể hai phương pháp Ví dụ minh họa và chạy kiểm tra kết quả bằng Maple

Do thời gian thực hiện khóa luận không nhiều, kiến thức còn hạn chế nên khi làm khóa luận không tránh khỏi những hạn chế và sai sót Tác giả mong nhận được sự góp ý và những ý kiến phản biện của quý thầy cô và bạn đọc Xin chân thành cảm ơn!

Hà Nội, ngày tháng năm 2014

Học viên

Lê Hồng Nguyên

Chương 1

Một số kiến thức chuẩn bị

Định nghĩa 1.1 [Đoạn thẳng][8] Tập tất cả các điểm x = (1−λ)a+λbvới 0 ≤

λ ≤1, a, b∈ Rnđược gọi là đoạn thẳng nối hai điểm a và b Ký kiệu[a, b]

Định nghĩa 1.2 [Tập lồi][8] Tập D ⊂Rnđược gọi là tập lồi nếu nó chứa trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó Hay nói cách khác D là tập lồi nếu(1−λ)a+

λb∈ Dvới mọi a, b ∈ D, 0≤λ≤1.

Ví dụ 1.1.

Hình 1.1: Tập lồi :a, b, tập không lồi :c

Các tính chất của tập lồi

• Tổng đại số hữu hạn tập lồi là tập lồi

• Giao của họ các tập lồi là tập lồi

Tài liệu tham khảo

[1] Nguyễn Hữu Điển (2006), Một số vấn đề về thuật toán, NXB Giáo dục.

[2] Nguyễn Nhật Lệ (2001), Tối ưu hóa ứng dụng, NXB Khoa học và kỹ thuật [3] Nguyễn Đức Nghĩa - Vũ Văn Thiệu - Trịnh Anh Phúc (2012), Các phương pháp cực tiểu hóa ràng buộc, Bộ môn KHMT, Viện CNTT trường ĐHBK Hà Nội

[4] Bùi Thế Tâm - Trần Vũ Thiệu, Các phương pháp tối ưu hóa, NXB Giao thông vận

tải, (1998)

[5] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo Trinh tối ưu phi tuyến, NXB

Đại học Quốc gia Hà Nội

[6] Nguyễn Hải Thịnh (2006), Tối ưu hóa, NXB Bách khoa Hà Nội.

[7] C.J.Price, B.L.Robertson and M.Reale (2009), AMO-advanced Modeling and Op-timization, Department of Mathermatics and Statistics, University of Canter-bury, Private Bag 4800, Chrischurch, Newzeland

[8] Danzig G.B and Thapa M.N, Linear programming 2 - Theory and Exten-sions,Springer Verlag, New York Berlin, Heideiberg,(2003)

[9] David G.Luenberger - Yingu Ye (2008), Linear and Nonlinear programming,

Dept of Mgmt, Sience and Engineering Stanford University, Stanford, CA, USA

[10] Enrique Dell Castillo - Douglas C.montgomery - Daniel R Mc Carville (1996),

Modified Desirability Function for multiple response optimization, University of Texes, Arizana state University Tenpe, AZ 85287−5906.

[11] Mokhatar S.bazara - Hanif d.Sherali - C.M Shetty (2006), Nonlinear program-ming Theory and Algorithins, John Wiley and Suns, Inc

[12] Wenya sun - Ya-xiang Yuan (2006),Optimization theory and methods , Springer

Science Pusiness Media, LLC,23 street NewYork NY 10013, USA