Phương pháp Gradient liên hợp và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC PHẠM THỊ MINH THUẬN PHƯƠNG PHÁP GRADIENT LIÊN HỢP VÀ ỨNG DỤNG LUẬN VĂN THẠC SỸ TOÁN HỌC THÁI NGUYÊN - NĂM 2010 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC PHẠM THỊ MINH THUẬN PHƯƠNG PHÁP GRADIENT LIÊN HỢP VÀ ỨNG DỤNG LUẬN VĂN THẠC SỸ TOÁN HỌC Chuyên ngành: TOÁN ỨNG DỤNG Mã số: 60.46.36 Người hướng dẫn khoa học: GS TS TRẦN VŨ THIỆU THÁI NGUYÊN - NĂM 2010 i Mục lục Mở đầu Cơ sở toán học phương pháp khái niệm liên quan 1.1 Một số khái niệm kết giải tích lồi 1.2 Phương pháp hướng giảm 1.2.1 Điều kiện tối ưu 1.2.2 Hướng giảm 1.2.3 Độ dài bước 1.3 Phương pháp gradient 1.3.1 Thuật toán gradient với thủ tục tìm xác theo tia 1.3.2 Thuật toán gradient với thủ tục quay lui 1.4 Phương pháp Newton Phương pháp gradient liên hợp 2.1 Hướng liên hợp 2.2 Phương pháp gradient liên hợp 2.2.1 Phương pháp Fletcher - Reeves tìm cực tiểu hàm toàn phương (F-R) 2.2.2 Phương pháp Fletcher - Reeves tìm cực tiểu hàm khả vi liên tục 2.2.3 Một số ví dụ áp dụng 2.3 Tốc độ hội tụ phương pháp gradient liên hợp 3 7 11 13 13 14 14 17 17 22 22 35 37 40 ii Mở rộng phương pháp gradient liên hợp 3.1 Phương pháp gradient liên hợp 3-số hạng 3.1.1 Thuật toán tái khởi Beale-Powell 3.1.2 Tính hội tụ toàn cục phương pháp gradient liên hợp 3-số hạng với thủ tục tìm theo tia kiểu Wolfe 3.1.3 Phương pháp gradient liên hợp 3-số hạng Beale 3.2 Phương pháp gradient liên hợp hiệu chỉnh trước số điều kiện Kết luận Tài liệu tham khảo Phụ lục 42 42 42 43 49 51 55 56 63 Mở đầu Trong thực tế nhiều hoạt động kinh tế, xã hội, đòi hỏi người phải quan tâm tới việc tìm phương án tốt để đạt mục tiêu mong muốn Đó toán tối ưu Các toán tối ưu chủ đề hấp dẫn với nhiều kết phong phú thu hút quan tâm nhà nghiên cứu Luận văn đề cập tới phương pháp gradient liên hợp ứng dụng Phương pháp gradient liên hợp Hestenes Stiefel nêu vào năm 1950 để giải hệ tuyến tính Vì việc giải hệ tuyến tính tương đương với tìm cực tiểu hàm toàn phương xác định dương, nên vào năm 1960 Fletcher - Reeves cải biên phát triển thành phương pháp gradient liên hợp cho cực tiểu không ràng buộc Nhờ phương pháp hoàn thiện phương pháp giảm nhanh nhằm làm tăng hiệu độ tin cậy thuật toán Phương pháp gradient liên hợp trung gian phương pháp gradient phương pháp Newton, thay đổi hướng tìm phương pháp gradient cách thêm vào tỷ lệ dương hướng dùng bước trước Phương pháp cần tới đạo hàm riêng bậc lại khắc phục tính hội tụ chậm phương pháp gradient Mục tiêu luận văn tìm hiểu trình bày kết biết liên quan đến phương pháp gradient liên hợp, tính chất tính liên hợp, tính trực giao, tính hội tụ số phương pháp mở rộng phương pháp Nội dung đề cập luận văn trình bày cách chặt chẽ mặt toán học kèm theo số ví dụ minh họa Luận văn chia làm chương: Chương 1: nhắc lại số khái niệm giải tích lồi, tập lồi, hàm lồi hàm toàn phương, hướng giảm phương pháp gradient, phương pháp Newton để phục vụ cho chương Chương 2: trình bày khái niệm, tính chất hướng liên hợp, phương pháp gradient liên hợp giải toán cực tiểu hàm toàn phương, nêu định lý tính hội tụ phương pháp gradient liên hợp mở rộng phương pháp để tìm cực tiểu hàm khả vi liên tục Cuối chương tác giả nêu số ví dụ áp dụng Chương 3: trình bày phương pháp gradient liên hợp 3-số hạng Đó cải tiến phương pháp F-R tìm cực tiểu hàm khả vi liên tục dùng hướng giảm nhanh mức giảm hàm mục tiêu thường so với mức giảm thu không dùng tái khởi; dùng hướng tái khởi tùy ý quan hệ liên hợp đòi hỏi không Ngoài ra, chương nguyên nhân làm cho phương pháp gradient liên hợp kết thúc sau nhiều n lần lặp sai số trình tính toán từ đưa biện pháp khắc phục tình trạng Các kết tính toán thử nghiệm thực chương trình lập môi trường Matlap Mặc dù cố gắng, song luận văn tránh khỏi sai sót Tác giả mong nhận bảo, đóng góp Thầy Cô bạn đồng nghiệp để luận văn thêm hoàn thiện Tác giả luận văn xin bày tỏ lòng biết ơn sâu sắc đến Thầy hướng dẫn GS.TS Trần Vũ Thiệu tận tình hướng dẫn suốt trình làm luận văn Tác giả xin chân thành cảm ơn Thầy Cô, bạn bè, đồng nghiệp gia đình giúp đỡ, động viên, khích lệ suốt trình học tập nghiên cứu Thái Nguyên, ngày 18 tháng 09 năm 2010 Học viên Phạm Thị Minh Thuận Chương Cơ sở toán học phương pháp khái niệm liên quan Trong chương ta giới thiệu số khái niệm kiến thức dùng chương sau 1.1 Một số khái niệm kết giải tích lồi Giải tích lồi đóng vai trò quan trọng việc nghiên cứu xây dựng thuật toán giải toán tối ưu, trước hết ta nhắc lại khái niệm tập lồi hàm lồi Định nghĩa 1.1 (Tập lồi) Cho hai điểm a, b ∈ Rn , tập tất điểm x = (1 − λ)a + λb với ≤ λ ≤ gọi đoạn thẳng đóng nối a b kí hiệu [a, b] Tập C ∈ Rn gọi lồi chứa đoạn thẳng nối hai điểm thuộc Nói cách khác, (1 − λ)a + λb ∈ C, ∀a, b ∈ C ≤ λ ≤ Định nghĩa 1.2 (Hàm lồi) Hàm f : X → [−∞, +∞] xác định tập lồi X ⊆ Rn gọi lồi f (λx1 + (1 − λ)x2 ) ≤ λf (x1 ) + (1 − λ)f (x2 ) với x1 , x2 ∈ X số thực λ ∈ [0, 1] Ta gọi f hàm lồi chặt tập lồi X f (λx1 + (1 − λ)x2 ) < λf (x1 ) + (1 − λ)f (x2 ) với x1 , x2 ∈ X, x1 = x2 số thực λ ∈ (0, 1) Hàm f (x) gọi lõm (hay lõm chặt) X −f (x) lồi (lồi chặt) X Định nghĩa 1.3 Cho hàm số f xác định tập mở X ⊆ Rn Hàm f gọi liên tục điểm x0 ∈ X với ε > 0, tồn δ > cho |f (x) − f (x0 )| < ε với x ∈ X thỏa mãn x − x0 < δ Nói cách khác, hàm f liên tục x0 ∈ X với dãy {xn } ⊂ X hội tụ đến x0 , ta có {f (xn )} → f (x0 ) Hàm f gọi nửa liên tục (t.ư., nửa liên tục trên) điểm x0 ∈ X tồn ε > 0, tồn δ > cho f (x) ≥ f (x0 ) − ε (t.ư., f (x) ≤ f (x0 ) + ε) với x ∈ X thỏa mãn x − x0 < δ Nói cách khác, hàm f nửa liên tục (t.ư., nửa liên tục trên) điểm x0 ∈ X với dãy {xn } ⊂ X hội tụ đến x0 dãy {f (xn )} ⊂ R hội tụ, ta có lim inf f (xn ) ≥ f (x0 ) (t.ư., lim sup f (xn ) ≤ f (x0 )) n→∞ n→∞ Rõ ràng, f nửa liên tục x0 −f nửa liên tục x0 Hàm f vừa nửa liên tục vừa nửa liên tục x0 liên tục điểm Hàm f gọi liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) Xnếu liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) điểm X Định nghĩa 1.4 Giả sử f : Rn → [−∞, +∞] hàm số tùy ý C ⊂ Rn tập tùy ý Điểm x0 ∈ C ∩ domf gọi điểm cực tiểu toàn cục f (x) C −∞ < f (x0 ) ≤ f (x) với x ∈ C Điểm x0 ∈ C gọi điểm cực tiểu địa phương f (x) C, tồn lân cận U (x0 ) x0 cho −∞ < f (x0 ) ≤ f (x) với x ∈ C ∩ U (x0 ) Các khái niệm cực đại địa phương cực đại toàn cục định nghĩa tương tự Đối với hàm f tùy ý tập C, ta ký hiệu tập tất điểm cực tiểu (cực đại) toàn cục f C Argmin f (x) (Argmax f (x)) x∈C x∈C Định nghĩa 1.5 Cho A ma trận vuông cấp n không suy biến Giá trị tích A A−1 gọi số điều kiện A ký hiệu cond(A) Nhận xét 1.1 Chỉ số điều kiện A lớn hay Thật vậy, = AA−1 ≤ A A−1 = cond(A) Định nghĩa 1.6 Cho dãy {xk } ⊂ Rn hội tụ đến x∗ ∈ Rn Dãy {xk } gọi là: hội tụ đến x∗ với tốc độ tuyến tính ∃γ ∈ [0, 1), ∃k0 cho ∀k > k0 : xk+1 − x∗ ≤ γ xk − x∗ , hội tụ đến x∗ với tốc độ tuyến tính ∀k : xk+1 − x∗ ≤ ck xk − x∗ ck → 0, hội tụ đến x∗ với tốc độ hội tụ bậc hai ∃γ > 0, ∃k0 cho xk+1 − x∗ ≤ γ xk − x∗ , ∀k > k0 Mệnh đề 1.1 Cho hàm f xác định Rn điểm x0 ∈ Rn Nếu f khả vi x0 f (x0 , d) = ∇f (x0 ), d , ∀d ∈ Rn \ {0} Chứng minh Vì f khả vi x0 nên với d ∈ Rn \ {0} ta có f (x0 + td) − f (x0 ) − ∇f (x0 ), td lim = t→0+ t d Do f (x0 , d) − ∇f (x0 ), d = 0, d ta nhận điều phải chứng minh Nhận xét Đặt ϕ(t) := f (x0 + td) Khi đó, theo định nghĩa ta có dϕ(t) ϕ (0) = dt t=0 ϕ(t) − ϕ(0) f (x0 + td) − f (x0 ) = lim = lim+ = f (x0 , d) t→0 t→0 t t Như vậy, đạo hàm theo hướng f x0 phản ánh tốc độ biến thiên f x0 theo hướng Hơn nữa, theo bất đẳng thức CauchyBunjakowski-Schwarz tất hướng d ∈ Rn có d = 1, ta có | ∇f (x0 ), d | ≤ ∇f (x0 ) d = ∇f (x0 ) ⇒− ∇f (x0 ) ≤ ∇f (x0 ), d ≤ ∇f (x0 ) Do đó, đạo hàm theo hướng f x0 cho lớn hướng ∇f (x0 ) ∇f (x0 ) d= nhỏ d = − ∇f (x0 ) ∇f (x0 ) Định lí 1.1 (xem [1]) Cho f hàm khả vi hai lần tập lồi mở X ⊆ Rn Khi đó, i) Hàm f lồi X ma trận Hessian ∇2 f (x) nửa xác định dương X, tức với x ∈ X, y T ∇2 f (x)y ≥ 0, ∀y ∈ Rn Hàm f lồi chặt X ∇2 f (x) xác định dương X, tức với x ∈ X, y T ∇2 f (x)y > 0, ∀y ∈ Rn \{0} ii) Hàm f lõm X ma trận Hessian ∇2 f (x) nửa xác định âm X, tức với x ∈ X, y T ∇2 f (x)y ≤ 0, ∀y ∈ Rn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... Phương pháp gradient liên hợp 2.1 Hướng liên hợp 2.2 Phương pháp gradient liên hợp 2.2.1 Phương pháp Fletcher - Reeves tìm cực tiểu hàm toàn phương. .. rộng phương pháp gradient liên hợp 3.1 Phương pháp gradient liên hợp 3-số hạng 3.1.1 Thuật toán tái khởi Beale-Powell 3.1.2 Tính hội tụ toàn cục phương pháp gradient liên hợp. .. triển thành phương pháp gradient liên hợp cho cực tiểu không ràng buộc Nhờ phương pháp hoàn thiện phương pháp giảm nhanh nhằm làm tăng hiệu độ tin cậy thuật toán Phương pháp gradient liên hợp trung