Một số phương pháp số cơ bản giải bài toán quy hoạch phi tuyến không ràng buộc

Header Page of 132 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI ====== NGUYỄN TRUNG HÀ MỘT SỐ PHƯƠNG PHÁP SỐ CƠ BẢN GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN KHÔNG RÀNG BUỘC Chuyên ngành: Toán Giải tích Mã số: 60 46 01 02 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: PGS TS NGUYỄN HỮU ĐIỂN HÀ NỘI, 2016 Footer Page of 132 Header Page of 132 LỜI CẢM ƠN Để hoàn thành luận văn nhận giúp đỡ to lớn Thầy, Cô giáo, gia đình bạn bè xung quanh Tôi xin bày tỏ lòng kính trọng biết ơn sâu sắc tới thầy giáo hướng dẫn PGS TS Nguyễn Hữu Điển, Khoa Toán - Cơ - Tin học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội Trong trình hướng dẫn ân cần động viên, giúp đỡ bảo tận tình cho Tôi gửi lời cảm ơn tới thầy cô Khoa Toán, Phòng sau đại học, Trường Đại học sư phạm Hà Nội dạy dỗ giúp đỡ nhiều suốt trình học tập nghiên cứu luận văn Cuối xin gửi lời cảm ơn tới gia đình nơi sinh thành, nuôi nấng, giúp đỡ, động viên nhiều suốt thời gian qua Dù cố gắng luận văn tránh khỏi thiếu sót hạn chế Mọi ý kiến đóng góp xin đón nhận với lòng biết ơn trân trọng sâu sắc Hà Nội, tháng 10 năm 2016 Tác giả Nguyễn Trung Hà Footer Page of 132 Header Page of 132 LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu riêng hướng dẫn PGS TS Nguyễn Hữu Điển Trong trình nghiên cứu, kế thừa thành khoa học nhà khoa học với trân trọng biết ơn Các kết trích dẫn luận văn rõ nguồn gốc Hà Nội, tháng 10 năm 2016 Tác giả Nguyễn Trung Hà Footer Page of 132 Header Page of 132 Mục lục MỞ ĐẦU MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1 Một số khái niệm giải tích lồi 1.2 Một số khái niệm từ giải tích 10 1.3 Tổng quan quy hoạch phi tuyến 12 1.4 Tính khả vi điều kiện cần cấp 17 1.5 Điều kiện lồi điều kiện đủ cấp 22 1.6 Điều kiện đủ nghiệm tối ưu địa phương toàn cục 32 CÔNG CỤ SỐ GIẢI CÁC BÀI TOÁN QUY HOẠCH PHI TUYẾN KHÔNG RÀNG BUỘC 44 2.1 Phương pháp hướng dốc 44 2.1.1 Giới thiệu phương pháp 44 2.1.2 Nội dung phương pháp 47 2.1.3 Lập trình Maple Phương pháp hướng dốc Footer Page of 132 49 Header Page of 132 2.1.4 Điều kiện đủ để hội tụ 51 2.1.5 Tốc độ hội tụ 56 2.2 Phương pháp Newton 58 2.2.1 Gới thiệu phương pháp 58 2.2.2 Nội dung phương pháp Newton 60 2.2.3 Lập trình Maple Phương pháp Newton 62 2.2.4 Điều kiện hội tụ 64 2.3 Thuật toán Levenberg-Marquardt 70 2.3.1 Giới thiệu Thuật toán Levenberg-Marquardt 70 2.3.2 Thuật toán Levenberg-Marquardt 71 2.3.3 Ứng dụng Maple Thuật toán LevenbergMarquardt 74 KẾT LUẬN 76 TÀI LIỆU THAM KHẢO 77 Footer Page of 132 Header Page of 132 MỞ ĐẦU Lý chọn đề tài Như ta biết toán quy hoạch xuất từ người biết lao động, biết suy nghĩ để tìm cách làm nhanh hiệu Tuy nhiên hành động thay đổi liên tục buộc người ta phải tìm cách thích ứng Và ngày nay, mô hình tối ưu hóa sử dụng nhiều lĩnh vực như: Quản lý kinh tế tài chính, nghiên cứu khoa học lĩnh vực kỹ thuật thừa hưởng từ thành với nguồn tài nguyên vô lớn sở kỹ thuật đại Để giải vấn đề ta nghiên cứu toán quy hoạch phi tuyến không ràng buộc có dạng { f ( x ) : x ∈ Rn } Trong Rn không gian vector, f : Rn → R hàm phi tuyến cho trước gọi hàm mục tiêu Tập nguồn Rn ứng với toán quy hoạch phi tuyến không ràng buộc Mục đích khóa luận nhằm tìm hiểu phương pháp số để giải toán quy hoạch phi tuyến không ràng buộc Tìm kiếm theo tia (line search) hay gọi tìm kiếm chiều (one dimensional search) mấu chốt nhiều thuật toán để giải toán quy hoạch phi tuyến Tiếp theo phương pháp nội suy, phương pháp dùng giá Footer Page of 132 Header Page of 132 trị hàm cần tìm cực tiểu điểm định để xấp xỉ hàm đa thức: Tam thức bậc hai (phương pháp Powell) đa thức bậc ba (phương pháp Davidon), sau điểm cực tiểu hàm ban đầu thay điểm cực tiểu đa thức xấp xỉ mà tìm đơn giản Trên số phương pháp tìm cực tiểu hàm biến Ta dùng phương pháp tìm cực tiểu biến để tìm cực tiểu dọc theo trục tọa độ hàm hai biến hàm nhiều biến Tuy nhiên phương pháp giới thiệu có hiệu trường hợp cực tiểu hàm Song thực tế tỏ hiệu Vì thế, người ta đề nhiều phương pháp khác cho phép khai thác nhiều thông tin dựa giá trị hàm nhận phương pháp gradient (sử dụng đạo hàm hàm) Các phương pháp đòi hỏi sử dụng tới đạo hàm riêng bậc bậc hai hàm Khoảng năm 70 kỷ XX, phương pháp gradient nghiên cứu mạnh thu thành tựu đáng kể Nhiều công trình nghiên cứu công bố Các phương pháp thường thông dụng để tìm cực tiểu, đơn giản áp dụng cho nhiều lớp hàm, phương pháp hướng dốc (Steepest DescentMethod), Phương pháp Newton thuật toán Levenberg-Marquardt, công nghệ phần mềm máy tính phát triển mạnh đặc biệt chương trình Maple giúp ta nhiều trình tính toán đặc biệt việc giải toán quy hoạch phi tuyến không ràng buộc Tóm lại phương pháp chung có hiệu để giải toán quy hoạch nói chung quy hoạch phi tuyến nói riêng Mỗi phương pháp có ưu, nhược điểm riêng Nên luận văn tìm hiểu sâu thuật toán, hội tụ ví Footer Page of 132 Header Page of 132 dụ có sử dụng Maple để làm rõ ba phương pháp: Phương pháp hướng dốc nhất, phương pháp Newton, thuật toán Levenberg-Marquardt việc giải toán quy hoạch phi tuyến không ràng buộc Nội dung luận văn bao gồm vấn đề sau đây: Tổng quan phương pháp tìm cực tiểu tự Tóm tắt kiến thức liên quan Trình bày cụ thể ba phương pháp Ví dụ minh họa chạy kiểm tra kết Maple Mục đích nghiên cứu Luận văn tìm hiểu sâu thuật toán, hội tụ ví dụ có sử dụng Maple để làm rõ ba phương pháp: Phương pháp hướng dốc nhất, phương pháp Newton, thuật toán Levenberg-Marquardt việc giải toán quy hoạch phi tuyến không ràng buộc Nhiệm vụ nghiên cứu Nghiên cứu ba phương pháp Phương pháp hướng dốc nhất, phương pháp Newton, thuật toán Levenberg-Marquardt việc giải toán quy hoạch phi tuyến không ràng buộc Nghiên cứu Phần mềm Maple 17 máy tính ứng dụng phần mềm việc giải toán quy hoạch phi tuyến không ràng buộc Footer Page of 132 Header Page of 132 Đối tượng phạm vi nghiên cứu Các toán quy hoạch phi tuyến không ràng buộc Phương pháp nghiên cứu Nghiên cứu lý thuyết giải tích lồi, giải tích số Nghiên cứu ba thuật toán: Phương pháp hướng dốc nhất, phương pháp Newton, thuật toán Levenberg-Marquardt Nghiên cứu chương trình Maple máy tính Giả thuyết khoa học Luận văn trình bày chi tiết số phương pháp số giải toán quy hoạch phi tuyến không ràng buộc Footer Page of 132 Header Page 10 of 132 Chương MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1 Một số khái niệm giải tích lồi Định nghĩa 1.1 (Đoạn thẳng) Tập tất điểm x = (1 − λ) a + λb với ≤ λ ≤ a, b ∈ Rn gọi đoạn thẳng nối hai điểm a b Ký kiệu [ a, b] Định nghĩa 1.2 (Tập lồi) Tập D ⊂ Rn gọi tập lồi chứa trọn đoạn thẳng nối hai điểm thuộc Hay nói cách khác D tập lồi (1 − λ) a + λb ∈ D với ≤ λ ≤ a, b ∈ D Các tính chất tập lồi - Tổng đại số hữu hạn tập lồi tập lồi - Giao họ tập lồi tập lồi - Tích đề tập lồi tập lồi Định nghĩa 1.3 (Hàm lồi) Hàm f ( x ) xác định tập lồi D gọi hàm lồi ∀ x, y ∈ D, ∀λ ∈ [0; 1] : f (λx + (1 − λ) y) ≤ λ f ( x ) + (1 − λ) f (y) Footer Page 10 of 132 Header Page 65 of 132 > NewtonsMethod(f(x1,x2), [10,10],5,.01); # Sử dụng giá trị lặp [10,10], of iterations, and tolerance,.01 [87.10975551,101.6262013] > iterates; # In vòng lặp $[[10.,10],28.06287805,29.11130610],[56.81932208,61.72021291], $[80.07576281,91.03969995],[86.73692387,100.9216310], $[87.10975551,101.6262013]] 2.2.4 Điều kiện hội tụ Các ví dụ trước cho thấy Phương pháp Newton rõ ràng có hiệu tạo giá trị xấp xỉ cực tiểu cục hay toàn cục hàm số Phương pháp hướng dốc Tuy nhiên, kết hoàn toàn đúng, Phương pháp Newton có nhược điểm tính toán riêng Cụ thể: Phương pháp Newton giả định hàm mục tiêu phải hàm khả vi hai lần, cần đánh giá ma trận Hessian H f ( xk ) bước lặp Trong Phương pháp hướng dốc cần giải phương trình với biến đơn bước lặp, Phương trình Newton lại cần phải giải hệ phương trình Để giải hệ này, thường cần số lượng phép tính nhiều nhiều Để hệ phương trình cho nghiệm nhất, ta cần H f ( xk ) ma trận khả nghịch, mà xảy Cuối cùng, phương pháp thất bại hoàn toàn Tuy nhiên, chí H f ( xk ) có ma trận khả nghịch nữa, ma trận Footer Page 65 of 132 64 Header Page 66 of 132 “hầu không khả nghịch” đo có độ lớn giá trị riêng nhỏ Kết số sau trở thành lỗi tính toán làm tròn, tượng phổ biến gọi ma trận điều kiện yếu Mặc dù có nhược điểm, Phương pháp Newton có ưu điểm giá trị khai báo gần giá cực tiểu cục tạo dãy bước lặp hội tụ với điểm cực tiểu nhanh nhiều so với dãy hội tụ với điểm cực tiểu mà sử dụng Phương pháp hướng dốc Kết trình bày Định lý 2.4 Để hiểu định lý này, ta cần xem lại định nghĩa chuẩn ma trận tóm tắt Phụ lục B Bất kỳ chuẩn ma trận , thuộc Rn thỏa mãn Ax ≤ A x với x thuộc Rn Do nghiên cứu này, ta chủ yếu tập trung đến trường hợp A đối xứng, nên ta sử dụng A = ρ( A), ρ( A) bán kính phổ, giá trị tuyệt đối lớn giá trị riêng A Do ma trận Hessian, H f ( x ), hàm biến x, nên chuẩn ma trận Ta kết luận H f ( x ) ma trận liên tục Lipschitz chuẩn ma trận có tồn số M, thỏa mãn: H f ( x1 ) − H f ( x2 ) ≤ M x1 − x2 (2.16) Hay nói cách khác, tiêu chuẩn chênh lệch ma trận H f ( x1 ) − H f ( x2 ) bị chặn khoảng cách từ x2 đến x1 không đổi Kết (2.17), mà ta bỏ qua, H f ( x1 ) ma trận xác định dương H f ( x ) ma trận liên tục Lipschitz miền lân cận x1 , H f ( x2 ) ma trận xác định dương bị chặn số m, độc lập với x2 , miễn x1 − x2 nhỏ Với này, ta kết đồng quy quan trọng Footer Page 66 of 132 65 Header Page 67 of 132 Định lý 2.3 Cho S ⊆ Rn khác rỗng, tập mở Cho f : S → Rn vi phân hai lần liên tiếp, có cực tiểu cục x∗ , H f ( x∗ ) dương hữu hạn Giả sử cho x đủ gần với x∗ , H f ( x∗ ) liên tục Lipschitz dạng ma trận, nghĩa tồn số, M, thỏa mãn H f ( x1 ) − H f ( x2 ) ≤ M x1 − x2 (2.17) với tất x1 x2 tịnh tiến tới x∗ Sau đó, x0 đủ gần với x∗ , chuỗi lặp Phương pháp Newton thỏa mãn xk+1 − x∗ ≤ C xk − x∗ , k = 0, 1, 2, (2.18) cho số số C Chứng minh Chọn δ (0, 1) đủ nhỏ để thỏa mãn ba điều kiện sau: Bất đẳng thức (2.17) giữ nguyên x1 − x∗ x2 − x∗ nhỏ δ H f ( x∗ ) dương hữu hạn x − x∗ < δ < m < H f ( x ) x − x∗ < δ Giả sử x0 chọn đủ gần với x∗ x0 − x∗ < δ, 2m δ M (2.19) Theo (2), H f ( x∗ ) khả nghịch nên x1 = x0 − H f ( x0 )−1 ∇ f ( x0 ) xác định Vì ∇ f ( x∗ ) = 0, ta có x − x ∗ = x − H f ( x ) −1 ∇ f ( x ) − x ∗ −1 = x0 − x∗ + H f ( x0 ) (∇ f ( x∗ ) − ∇ f ( x0 )) (2.20) Ta tập trung vào sai phân (∇ f ( x∗ ) − ∇ f ( x0 )) (2.20) đưa vào hàm giá trị φ(0) : [0, 1] → Rn cho φ(t) = ∇ f (tx∗ + (1 − t) x0 ) Footer Page 67 of 132 66 Header Page 68 of 132 Lưu ý φ(0) = ∇ f ( x0 ) φ(1) = ∇ f ( x∗ ) Khai triển quy tắc dây chuyền tạo φ (t) = H f (tx∗ + (1 − t) x0 )( x∗ − x0 ) Có thể khả vi liên tiếp [0, 1] f vi phân hai lần liên tục S Theo Định lý Giải tích, t =1 ∇ f ( x ∗ ) − ∇ f ( x0 ) = t =0 H f (tx∗ + (1 − t) x0 )( x∗ − x0 )dt (2.21) Nếu ta thay (2.21) vào (2.20), ta x1 − x∗ = x0 − x∗ + H f ( x0 )−1 (∇ f ( x∗ ) − ∇ f ( x0 )) = H f ( x0 )−1 H f ( x0 )( x0 − x∗ ) + = H f ( x0 ) t =1 t =0 H f (tx∗ + (1 − t) x0 )( x∗ − x0 )dt t =1 −1 t =0 H f (tx∗ + (1 − t) x0 ) − H f ( x0 ) ( x∗ − x0 )dt (2.22) Giờ ta áp dụng kết từ (2.22) để quy định giới hạn chuẩn cho sai phân vector, x1 − x∗ Trong trình ta tận dụng kiện giá trị riêng H f ( x0 )−1 thuận nghịch giá trị riêng H f ( x0 ) Vì thế, H f ( x0 ) −1 ≤ m Dùng giới hạn này, với tính chất tích phân xác định, tính liên tục Lipschitz H f ( x ), ta chuỗi bất đẳng thức sau: x1 − x ∗ = = H f ( x0 ) −1 ≤ H f ( x ) −1 ≤ H f ( x ) −1 Footer Page 68 of 132 t =1 t =0 H f (tx∗ + (1 − t) x0 ) − H f ( x0 ) ( x∗ − x0 )dt t =1 t =0 t =1 t =0 H f (tx∗ + (1 − t) x0 ) − H f ( x0 ) M (tx∗ + (1 − t) x0 − x0 ) 67 ( x∗ − x0 ) dt ( x∗ − x0 ) dt Header Page 69 of 132 = H f ( x0 ) −1 t =1 t =0 M ( x∗ − x0 ) dt = M ( x ∗ − x0 ) 2m Vì thế, x1 − x ∗ ≤ Vì x0 − x∗ < 2m M δ, M ( x ∗ − x0 ) 2m ta thấy x1 − x∗ ≤ δ2 < δ, nên mệnh đề trước áp dụng lại, lần bắt đầu x1 Lặp lại kết M quả, cuối ta bất đẳng thức (2.18) với C = , hoàn thành 2m chứng minh Vì bất đẳng thức (2.18) suy x k +1 − x ∗ ≤C xk − x∗ Định lý 2.6 hiểu cách khác nói đến chuỗi vòng lặp, bắt đầu x0 , đồng quy x∗ theo bậc hai Vì mẫu số tỉ số bình phương, loại đồng quy nhanh so với đồng quy tuyến tính, xác định theo Định lý 2.2 Không may là, Định lý 2.3 bảo đảm đồng quy hai lần cho sẵn x0 chọn đủ gần với x∗ , chứng không rõ ràng “gần bao nhiêu” đủ Một phần khó khăn bắt nguồn từ kiện ta phải lập H f ( x ) mang tính liên tục Lipschitz định giá trị số Lipschitz, M Trong hầu hết trường hợp, tính liên tục Lipschitz tự than theo sát điều kiện “trơn” f Ví dụ, đạo hàm phần bậc ba f liên tục miền lân cận x∗ , liên tục Lipschitz cố định miền Điều bắt nguồn từ phiên có chiều lớn Định lý Giá trị Trung vị Các giới hạn đạo hàm phần bậc ba dùng để tính M Tuy nhiên thực tế, không cần thực việc đồng quy phép lặp xảy chí x0 xa x∗ Footer Page 69 of 132 68 Header Page 70 of 132 Trong trường hợp chung hàm vi phân hai lần, Phương pháp Newton Phương pháp hướng dốc bổ sung cho Phương pháp Newton đồng quy nhanh phép lặp gần với cực tiểu toàn cục chậm chúng tiến xa Đối với phương pháp hướng dốc nhất, điều ngược lại Tối thiểu hóa hàm mục tiêu ConPro, 1 f ( x1 , x2 ) = −1400x12 x23 + 350x1 + 200x2 , minh họa nguyên lý Bảng 2.5 liệt kê năm phép  lặp  10  hai phương pháp sử dụng giá trị gốc x0 =  10 Cả hai phương pháp minh họa đồng quy vòng lặp tới cực tiểu toàn cục, chúng thực cách khác Đối với k nhỏ, sai số xk − x∗ sử dụng phương pháp Hướng dốc nhỏ nhiều so với sử dụng Phương pháp Newton Bắt đầu k = 4, lại ngược lại Thực tế, ε = 01, Phương pháp hướng dốc yêu cầu chín phép lặp trước ∇ f ( xk ) < ε, đó, Phương pháp Newton yêu cầu năm Một phương pháp hiệu phép lặp xa khỏi cực tiểu toàn cục lại hiệu phép lặp tiến gần đến câu hỏi liệu có khả thi xây dựng quy trình kết hợp Phương pháp hướng dốc Phương pháp Newton nhằm đạt hiệu suất trường hợp Ta thấy trường hợp kết hợp điều tốt hai phương pháp, tạo quy trình gọi Thuật toán Levenberg-Marquardt, thuật toán đặc biệt thích hợp với nghiệm gần Bài toán quy hoạch phi tuyến không ràng buộc, đặc biệt nghiệm miền nghiệm hồi quy phi tuyến Footer Page 70 of 132 69 Header Page 71 of 132 Bảng 2.5: Kết Phương pháp hướng dốc Phương pháp Newton áp dụng cho hàm mục tiêu ConPro Phương pháp hướng dốc Phương pháp Newton k xkt xk − x∗ xkt xk − x∗ [10, 10] 119.76 [10, 10] 119.76 [91.680, 85.907] 16.373 [28.063, 29.111] 93.518 [82.493, 95.792] 7.444 [56.819, 61.720] 50.103 [87.236, 100.200] 1.435 [80.0760, 91.040] 12.714 [86.558, 100.930] 0.892 [86.7370, 100.922] 0.801 [87.125, 101.455] 0.175 [87.110, 101.626] 0.004 2.3 Thuật toán Levenberg-Marquardt 2.3.1 Giới thiệu Thuật toán Levenberg-Marquardt Thuật toán Levenberg-Marquardt kết hợp Phương pháp hướng dốc Phương pháp Newton theo cách mà nhấn mạnh xk tiến xa khỏi cực tiểu cục f xk tiến gần Phương pháp phát triển lần năm 1944 K Levenberg sau D W Marquardt cải tiến vào đầu năm 1960 Giả sử S ⊆ Rn mở, f : S → R khả vi cấp hai, ta giải toán quy hoạch phi tuyến không ràng buộc, f ( x ), x ∈ S Giả sử x0 thuộc S Phương pháp Levenberg bắt đầu với giá trị gốc x0 phép lặp, sử dụng công thức phép lặp thử cho w = xk − [ H f ( xk ) + λIn ]−1 ∇ f ( xk ) , k = 0, 1, 2, (2.23) Trong công thức này, In biểu thị ma trận đơn vị kích thước n × n, λ tham số tắt dần dương, có vai trò tốt việc so sánh Footer Page 71 of 132 70 Header Page 72 of 132 trường hợp điểm cực trị Nếu λ = 0, (2.23) rút gọn tới công thức phép lặp theo Phương pháp Newton Nếu λ lớn, w ≈ xk − λ−1 ∇ f ( xk ), nên w phép lặp Phương pháp hướng dốc cần thiết f xk Ngoài hai trường hợp cực trị ra, λ kiểm soát phạm vi mà phương pháp đóng góp cho phép nội hai trường hợp Tất nhiên, ta giả định λ tạo tổng ma trận, H f ( xk ) + λIn , khả nghịch Đó trường hợp mà λ đủ lớn, H f ( xk ) + λIn ≈ λIn Chìa khóa sử dụng (2.23) hiệu thay đổi tham số tắt dần phép lặp thử có giá trị mục tiêu không nhỏ giá trị mục tiêu xk Ta bắt đầu với giá trị nhỏ λ nên công thức nội suy thiên Phương pháp Newton thế, theo Định lý 2.3, tạo chuỗi đồng quy cực tiểu bậc hai Nếu việc chọn dẫn đến giá trị w, có giá trị mục tiêu nhỏ giá trị mục tiêu xk , ví dụ, f (w) < f ( xk ), ta đạt phép lặp thử đặt xk+1 = w Từ đó, ta rút gọn tham số tắt dần, λ, tính phép lặp thử mới, w, xk+1 thay cho xk (2.23) Mặt khác, f (w) ≥ f ( xk ), ta tăng λ đạt phép lặp thử mới, w, lúc f (w) < f ( xk ) Quá trình lặp lại cần thiết dẫn tới phương pháp Levenberg Ta tổng kết bước thuật toán 2.3.2 Thuật toán Levenberg-Marquardt Với giá trị λ lớn, phép lặp Phương pháp Levenberg phụ thuộc chủ yếu vào gradient ∇ f Ta kết hợp hai thông tin đạo hàm hai lần mà không cần phải thực nhiều việc, phạm vi khả nghịch ma trận quan tâm, ta thay (2.23) với Footer Page 72 of 132 71 Header Page 73 of 132 ma trận chéo ∂2 f  ∂x2     Diag H f ( xk ) =         x = xk ∂2 f ∂x22 x = xk 0            ∂ f ∂xn2 (2.24) x = xk Lưu ý Diag( H f ( xk )) tận dụng giá trị với đường chéo H f ( xk ) Thay (2.23) vào In vào (2.19) công thức nội để tính phép lặp thử: w = xk − [ H f ( xk ) + λDiag( H f ( xk ))]−1 ∇ f ( xk ) (2.25) Giờ ta xem trình định chấp nhận phép lặp thử, tương tự với trình dùng Phương pháp Levenberg, phụ thuộc vào tham số tắt dần ban đầu, λ0 , với hệ số tỷ lệ, ρ > Tại phép lặp, ta tính phép lặp thử dùng phép lặp trước, xk , với giá trị λ phụ thuộc vào λ0 , ρ k Đối với nhiều phép tính, λ0 = 0.001 ρ = 10 đủ [7] Quá trình định dẫn tới Thuật toán Levenberg-Marquardt Thuật toán Levenberg-Marquardt Để có cách giải NLP (2.1) với giả thiết f khả vi cấp hai S: Bước 1: Bắt đầu với giá trị gốc x0 S, tham số tắt dần ban đầu, λ0 , tham số tỷ lệ, ρ Đối với k ≥ thực bước sau: Bước 2: Xác định phép lặp thử, λ = λk ρ−1 , dùng (2.25) với λ = λ k ρ −1 Footer Page 73 of 132 72 Header Page 74 of 132 Bước 3: Nếu f (w) < f ( xk ), w xác định (2), đặt xk+1 = w λ = λk ρ−1 Quay trở lại (2), thay k k + 1, tính phép lặp Bước 4: Nếu f (w) ≥ f ( xk ) (3), xác định phép lặp thử mới, w, dùng (2.25) với λ = λk Bước 5: Nếu f (w) < f ( xk ), w xác định (4), đặt đặt xk+1 = w λk+1 = λk ρ−1 Quay trở lại (2), thay k k + 1, tính phép lặp Bước 6: Nếu f (w) ≥ f ( xk ) (5), xác định giá trị nhỏ m để phép lặp w, tính sử dụng (2.25) với λk+1 = λk ρm , f (w) < f ( xk ) Đặt xk+1 = w λk+1 = λk ρm Quay trở lại (2), thay , tính phép lặp Bước 7: Kết thúc thuật toán ∇ f ( xk ) < ε, ε dung sai xác định Một quan sát quan trọng thấy bước (3), việc đặt λk+1 = λk ρ−1 , ta nhấn mạnh tới phạm vi rộng thành phần Phương pháp Newton công thức nội suy (2.25), với mong muốn chuỗi phép lặp đồng quy cực tiểu bậc hai Nếu trình đưa định đưa ta tới (6), việc đặt λk+1 = λk ρm > λk biểu thị ta bắt buộc phải nhấn mạnh vào thành phần Phương pháp hướng dốc (2.25) Áp dụng Thuật toán Levenberg-Marquardt   cho toán NLP 10  , λ0 = 0.01, ρ = 10 Công ty Sản xuất ConPro (2.23) với x0 =  10 dung sai ε = 0.01 tạo kết Bảng 2.6 Bảng 2.2 cần tám phép lặp Phương pháp hướng dốc Footer Page 74 of 132 73 Header Page 75 of 132 để đạt mức dung sai tương tự Phương pháp Newton yêu cầu năm Vì thế, ví dụ Thuật toán Levenberg-Marquardt cần phép lặp Phương pháp hướng dốc cần số phép lặp với Phương pháp Newton Không nên ngạc nhiên theo điều kiện thích hợp, thuật toán đưa hội tụ bậc hai [46] Bảng 2.6: Kết Thuật toán Levenberg-Marquardt áp dụng toán NLP Công ty Sản xuất ConPro với dung sai ε = 0.01, λ = 0.0001 ρ = 10 2.3.3 k xkt xk − x∗ [10, 10] 119.759 [28.057, 29.105] 93.527 [56.811, 67.711] 51.116396 [80.072, 91.034] 12.721 [86.736, 100.920] 802 [87.111, 101.626] 0.004 Ứng dụng Maple Thuật toán Levenberg-Marquardt Quy trình Levenberg-Marquardt tìm thấy bảng hàm Thuật toán Levenberg-Marquardt.mw theo cách tương tự với Phương pháp hướng dốc Phương pháp Newton Phần 2.1 2.2 theo thứ tự Tuy nhiên, ta phải tính đến lựa chọn khác tham số tắt dần hệ số tỷ lệ Quy trình có dạng LevenbergMarquardt( function, initial, N, tolerace, damp, scale), Trong function biểu thị vi phân hai lần cực tiểu hóa, Footer Page 75 of 132 74 Header Page 76 of 132 initial giá trị ban đầu x0 , (được viết thành danh sách), N số phép lặp lớn nhất, tolerace dung sai cụ thể, damp tham số tắt dần ban đầu, scale hệ số tỷ lệ Thuật toán kết thúc đạt tới số phép lặp chuẩn gradient nhỏ dung sai mong muốn Giá trị trả giá trị cực tiểu xấp xỉ Các phép lặp trung gian dẫn tới cực tiểu xấp xỉ lưu danh sách điểm, iterates, biến số toàn cục đạt quy trình Trong quy trình, ta tận dụng hàm phụ, quay trả lại công thức (2.25) giá trị đầu vào, λ phép lặp Bảng sau xây dựng quy trình tính gần cực tiểu mục tiêu ConPro, f ( x1 , x2 ) = −1400x1 x2 + 350x1 + 200x2 ,   10 , N = dung sai ε = 0.01, tham số tắt dần dùng x0 =  10 0.001, hệ số tỷ lệ 10 Footer Page 76 of 132 75 Header Page 77 of 132 KẾT LUẬN Luận văn hệ thống hóa số kiến thức toán quy hoạch phi tuyến không ràng buộc Mục đích đề tài nghiên cứu công cụ giải toán quy phi tuyến không ràng buộc Luận văn tập trung nghiên cứu công cụ giải toán quy phi tuyến không ràng buộc phương pháp hướng dốc nhất, phương pháp Newton, thuật toán Levenberg-Marquardt Trong trình nghiên cứu không tránh khỏi thiếu sót Mong nhận đóng góp quý thầy cô bạn đồng nghiệp để luận văn hoàn thiện Footer Page 77 of 132 76 Header Page 78 of 132 TÀI LIỆU THAM KHẢO [A] Tài liệu tiếng Việt [1] Nguyễn Hữu Điển (2006), Một số vấn đề thuật toán, NXB Giáo dục [2] Nguyễn Hữu Điển (2015), Thực hành tính toán Maple, NXB Đại Học Quốc Gia Hà Nội [3] Nguyễn Văn Hiền, Lê Dũng Mưu, Nguyễn Hữu Điển (2015), Giáo trình giải tích lồi ứng dụng, NXB Đại Học Quốc Gia Hà Nội [4] Nguyễn Nhật Lệ (2001), Tối ưu hóa ứng dụng, NXB Khoa học kỹ thuật [5] Nguyễn Đức Nghĩa - Vũ Văn Thiệu - Trịnh Anh Phúc (2012), Các phương pháp cực tiểu hóa ràng buộc, Bộ môn KHMT, Viện CNTT trường ĐHBK Hà Nội [6] Bùi Thế Tâm - Trần Vũ Thiệu (1998), Các phương pháp tối ưu hóa, NXB Giao thông vận tải [7] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo trình tối ưu phi tuyến, NXB Đại học Quốc gia Hà Nội [8] Nguyễn Hải Thịnh (2006), Tối ưu hóa, NXB Bách khoa Hà Nội [B] Tài liệu tiếng Anh Footer Page 78 of 132 77 Header Page 79 of 132 [9] C J Price, B L Robertson and M Reale (2009), AMO - ad- vanced Modeling and Optimization, Department of Mathematics and Statistics, University of Canterbury, Private Bag 4800, Chrischurch, Newzeland [10] Danzig G B and Thapa M N (2003), Linear programming Theory and Extension, Springer Verlag, New York Berlin, Heideiberg [11] David G Luenberger - Yingu Ye (2008), Linear and Nolinear programming, Dept of Mgmt, Sience and Engineering Stanford University, Stanford, CA, USA [12] Enrique Dell Castillo - Douglas C Montgomery - Daniel R Mc Carville (1996), Modified Desirability Function for multiple response optimization, University of Texes, Arizana state University Tenpe, AZ 85287 - 5906 [13] Makhatar S Bazara - Hanif D Sherali - C M Shetty (2006), Nolinear programming Theory and Algorithins, John Wiley and Suns, Inc [14] Paul E Fishback (2009), Linear and Nonlinear Programming with Maple- An Interactive, Applications-Based Approach, Chapman and Hall CRC Footer Page 79 of 132 78 ... quy hoạch phi tuyến 1.3.1 Giới thiệu chung quy hoạch phi tuyến Một toán phi tuyến, quy hoạch phi tuyến số toán mà hàm mục tiêu phi tuyến ràng buộc dạng bất đẳng thức phi tuyến Đặc biệt, quy hoạch. .. mục tiêu Tập nguồn Rn ứng với toán quy hoạch phi tuyến không ràng buộc Mục đích khóa luận nhằm tìm hiểu phương pháp số để giải toán quy hoạch phi tuyến không ràng buộc Tìm kiếm theo tia (line... phần mềm việc giải toán quy hoạch phi tuyến không ràng buộc Footer Page of 132 Header Page of 132 Đối tượng phạm vi nghiên cứu Các toán quy hoạch phi tuyến không ràng buộc Phương pháp nghiên cứu