Phương pháp Gradient liên hợp và ứng dụng

Mục lục 1 Cơ sở toán học của phương pháp và các khái niệm liên 1.1 Một số khái niệm và kết quả cơ bản của giải tích lồi.. 42 3.1.2 Tính hội tụ toàn cục của phương pháp gradient liên hợp

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC

PHẠM THỊ MINH THUẬN

PHƯƠNG PHÁP GRADIENT LIÊN HỢP VÀ ỨNG DỤNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

THÁI NGUYÊN - NĂM 2010

TRƯỜNG ĐẠI HỌC KHOA HỌC

PHẠM THỊ MINH THUẬN

PHƯƠNG PHÁP GRADIENT LIÊN HỢP VÀ ỨNG DỤNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

Mục lục

1 Cơ sở toán học của phương pháp và các khái niệm liên

1.1 Một số khái niệm và kết quả cơ bản của giải tích lồi 3

1.2 Phương pháp hướng giảm 7

1.2.1 Điều kiện tối ưu 7

1.2.2 Hướng giảm 9

1.2.3 Độ dài bước 11

1.3 Phương pháp gradient 13

1.3.1 Thuật toán gradient với thủ tục tìm chính xác theo tia 13

1.3.2 Thuật toán gradient với thủ tục quay lui 14

1.4 Phương pháp Newton 14

2 Phương pháp gradient liên hợp 17 2.1 Hướng liên hợp 17

2.2 Phương pháp gradient liên hợp 22

2.2.1 Phương pháp Fletcher - Reeves tìm cực tiểu hàm toàn phương (F-R) 22

2.2.2 Phương pháp Fletcher - Reeves tìm cực tiểu hàm khả vi liên tục bất kỳ 35

2.2.3 Một số ví dụ áp dụng 37

2.3 Tốc độ hội tụ của phương pháp gradient liên hợp 40

3 Mở rộng phương pháp gradient liên hợp 42

3.1 Phương pháp gradient liên hợp 3-số hạng 42

3.1.1 Thuật toán tái khởi Beale-Powell 42

3.1.2 Tính hội tụ toàn cục của phương pháp gradient liên hợp 3-số hạng với thủ tục tìm theo tia kiểu Wolfe 43

3.1.3 Phương pháp gradient liên hợp 3-số hạng Beale 49 3.2 Phương pháp gradient liên hợp hiệu chỉnh trước chỉ số điều kiện 51

Kết luận 55

Tài liệu tham khảo 56

Phụ lục 63

Mở đầu

Trong thực tế rất nhiều hoạt động kinh tế, xã hội, đòi hỏi con ngườiphải quan tâm tới việc tìm phương án tốt nhất để đạt được mục tiêu

mong muốn Đó chính là các bài toán tối ưu Các bài toán tối ưu là một

chủ đề hấp dẫn với nhiều kết quả phong phú luôn thu hút sự quan tâmcủa các nhà nghiên cứu

Luận văn này đề cập tới phương pháp gradient liên hợp và ứng dụngcủa nó Phương pháp gradient liên hợp được Hestenes và Stiefel nêu rađầu tiên vào những năm 1950 để giải hệ tuyến tính Vì việc giải một hệtuyến tính tương đương với tìm cực tiểu của một hàm toàn phương xácđịnh dương, nên vào năm 1960 Fletcher - Reeves đã cải biên và pháttriển nó thành phương pháp gradient liên hợp cho cực tiểu không ràngbuộc Nhờ đó phương pháp này hoàn thiện phương pháp giảm nhanhnhất nhằm làm tăng hiệu quả và độ tin cậy của thuật toán Phương phápgradient liên hợp là trung gian giữa phương pháp gradient và phươngpháp Newton, nó thay đổi hướng tìm trong phương pháp gradient bằngcách thêm vào một tỷ lệ dương của hướng dùng ở bước ngay trước đó.Phương pháp này chỉ cần tới đạo hàm riêng bậc nhất nhưng lại khắcphục được tính hội tụ chậm của phương pháp gradient

Mục tiêu của luận văn là tìm hiểu và trình bày những kết quả cơ bản

đã biết liên quan đến phương pháp gradient liên hợp, các tính chất nhưtính liên hợp, tính trực giao, tính hội tụ và một số phương pháp mở rộngcủa phương pháp này Nội dung đề cập trong luận văn được trình bàymột cách chặt chẽ về mặt toán học kèm theo một số ví dụ minh họa.Luận văn được chia làm 3 chương:

Chương 1: nhắc lại một số khái niệm cơ bản của giải tích lồi, như tậplồi, hàm lồi và hàm toàn phương, hướng giảm và phương pháp gradient,phương pháp Newton để phục vụ cho các chương tiếp theo.

Chương 2: trình bày các khái niệm, tính chất của hướng liên hợp,phương pháp gradient liên hợp giải bài toán cực tiểu hàm toàn phương,nêu các định lý về tính hội tụ của phương pháp gradient liên hợp và mởrộng phương pháp này để tìm cực tiểu của một hàm khả vi liên tục bất

kỳ Cuối chương tác giả nêu ra một số ví dụ áp dụng

Chương 3: trình bày phương pháp gradient liên hợp 3-số hạng Đó là

sự cải tiến phương pháp F-R tìm cực tiểu hàm khả vi liên tục bất kỳ bởi

vì nếu dùng hướng giảm nhanh nhất thì mức giảm hàm mục tiêu thườngkém so với mức giảm có thể thu được khi không dùng tái khởi; còn nếudùng hướng tái khởi tùy ý thì quan hệ liên hợp đòi hỏi có thể khôngcòn đúng Ngoài ra, trong chương này còn chỉ ra nguyên nhân làm cho

phương pháp gradient liên hợp kết thúc sau nhiều hơn n lần lặp là do

sai số trong quá trình tính toán và từ đó đưa ra biện pháp khắc phụctình trạng này

Các kết quả tính toán thử nghiệm được thực hiện bằng các chươngtrình lập trong môi trường Matlap

Mặc dù đã rất cố gắng, song bản luận văn không thể tránh khỏi nhữngsai sót Tác giả rất mong nhận được sự chỉ bảo, đóng góp của các Thầy

Cô và các bạn đồng nghiệp để luận văn thêm hoàn thiện

Tác giả luận văn xin bày tỏ lòng biết ơn sâu sắc đến Thầy hướng dẫnGS.TS Trần Vũ Thiệu đã tận tình hướng dẫn trong suốt quá trình làmluận văn Tác giả cũng xin chân thành cảm ơn các Thầy Cô, các bạn

bè, đồng nghiệp và gia đình luôn giúp đỡ, động viên, khích lệ trong suốtquá trình học tập và nghiên cứu

Thái Nguyên, ngày 18 tháng 09 năm 2010

Học viênPhạm Thị Minh Thuận

Chương 1

Cơ sở toán học của phương pháp và các khái niệm liên quan

Trong chương này ta sẽ giới thiệu một số khái niệm và các kiến thức

cơ bản sẽ dùng ở các chương sau

tích lồi

Giải tích lồi đóng vai trò quan trọng trong việc nghiên cứu và xâydựng các thuật toán giải các bài toán tối ưu, trước hết ta sẽ nhắc lại cáckhái niệm tập lồi và hàm lồi

Định nghĩa 1.1 (Tập lồi)

Cho hai điểm a, b ∈ R n , tập tất cả các điểm x = (1 − λ)a + λb với

0 ≤ λ ≤ 1 gọi là đoạn thẳng đóng nối a và b và được kí hiệu là [a, b].

Tập C ∈ R n được gọi là lồi nếu nó chứa mọi đoạn thẳng nối hai điểm bất kỳ thuộc nó Nói cách khác, nếu (1 − λ)a + λb ∈ C, ∀a, b ∈ C và mọi

Ta gọi f là hàm lồi chặt trên tập lồi X nếu

f (λx1 + (1 − λ)x2) < λf (x1) + (1 − λ)f (x2)

với bất kì x1, x2 ∈ X, x1 6= x2 và mọi số thực λ ∈ (0, 1).

Hàm f (x) gọi là lõm (hay lõm chặt) trên X nếu −f (x) là lồi (lồi chặt) trên X.

Định nghĩa 1.3 Cho hàm số f xác định trên tập mở X ⊆ R n

Hàm f được gọi là liên tục tại điểm x0 ∈ X nếu với mọi ε > 0, tồn tại

δ > 0 sao cho |f (x) − f (x0)| < ε với mọi x ∈ X thỏa mãn k x − x0 k< δ Nói cách khác, hàm f liên tục tại x0 ∈ X nếu với mọi dãy {x n } ⊂ X hội tụ đến x0, ta có {f (x n )} → f (x0).

Hàm f được gọi là nửa liên tục dưới (t.ư., nửa liên tục trên) tại điểm

x0 ∈ X nếu tồn tại ε > 0, tồn tại δ > 0 sao cho

f (x) ≥ f (x0) − ε (t.ư., f (x) ≤ f (x0) + ε)

với mọi x ∈ X thỏa mãn k x − x0 k< δ Nói cách khác, hàm f là nửa liên tục dưới (t.ư., nửa liên tục trên) tại điểm x0 ∈ X nếu với mọi dãy {x n } ⊂ X hội tụ đến x0 và dãy {f (x n )} ⊂ R hội tụ, ta có

thì liên tục tại điểm đó.

Hàm f được gọi là liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) trên Xnếu nó liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) tại mọi điểm của X.

Định nghĩa 1.4 Giả sử f : R n → [−∞, +∞] là hàm số tùy ý và C ⊂ R n

là tập tùy ý.

Điểm x0 ∈ C ∩ domf được gọi là điểm cực tiểu toàn cục của f (x) trên C nếu −∞ < f (x0) ≤ f (x) với mọi x ∈ C.

∀k :k x k+1 − x ∗ k≤ c k k x k − x ∗ k và c k → 0, hội tụ đến x ∗ với tốc độ hội tụ bậc hai nếu

Do đó

f 0 (x0, d) − h∇f (x0), di

và ta nhận được điều phải chứng minh

Nhận xét Đặt ϕ(t) := f (x0 + td) Khi đó, theo định nghĩa ta có

Như vậy, đạo hàm theo hướng của f tại x0 phản ánh tốc độ biến

thiên của f tại x0 theo hướng đó Hơn nữa, theo bất đẳng thức

Cauchy-Bunjakowski-Schwarz trong tất cả các hướng d ∈ R n có k d k= 1, ta

y T ∇2f (x)y > 0, ∀y ∈ R n \{0}.

ii) Hàm f là lõm trên X khi và chỉ khi ma trận Hessian ∇2f (x) là nửa xác định âm trên X, tức là với mỗi x ∈ X,

y T ∇2f (x)y ≤ 0, ∀y ∈ R n

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read