Phương pháp cực tiểu hoá

Nhiệm vụ nghiên cứu Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến.. Đối tượng và phạm vi nghiên cứu “Các phương pháp tìm cực tiểu của hàm n biến”.. g'' tại điểm tới hạn x* khô

LỜI CẢM ƠN

Luận văn được hoàn thành tại trường Đại học sư phạm Hà Nội 2 dưới

sự hướng dẫn của TS Khuất Văn Ninh

Tôi xin bày tỏ lòng biết ơn chân thành, sâu sắc tới TS Khuất Văn Ninh,người đã luôn quan tâm, động viên và tận tình hướng dẫn tôi trong quá trìnhthực hiện luận văn

Tôi xin được gửi lời cảm ơn chân thành tới ban giám hiệu trường Đạihọc sư phạm Hà Nội 2, phòng Sau đại học, các thầy cô giáo trong nhà trường

và các thầy cô giáo dạy cao học chuyên ngành Toán giải tích đã tạo điều kiệnthuận lợi cho tôi trong quá trình học tập và nghiên cứu

Tôi xin bày tỏ lòng biết ơn tới gia đình, người thân đã động viên và tạomọi điều kiện để tôi có thể hoàn thành bản luận văn này

Hà Nội, tháng 6 năm 2011

Lê Thị Hậu

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng tôi dưới

sự hướng dẫn của TS Khuất Văn Ninh

Hà Nội, tháng 6 năm 2011

Lê Thị Hậu

MỤC LỤC

Trang

MỞ ĐẦU……… 1

NỘI DUNG……… 2

Chương 1: Kiến thức bổ trợ……… 2

1.1 Không gian R n ……… 2

1.2 Đạ o hàm và vi phân Frechet……… 6

1.2.1 Khái ni ệ m đạ o hàm và vi phân Frechet ……… 6

1.2.2 Các tính ch ấ t c ủ a đạ o hàm và vi phân Frechet ………… 6

1.2.3 M ộ t s ố ví d ụ ……… 7

1.3.Đạ o hàm và vi phân Gateaux……… 9

1.3.1 Khái ni ệ m đạ o hàm và vi phân Gateaux……… 9

1.3.2 Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu ……… 10

1.4 Các định nghĩa và định lý về cực tiểu, điểm tới hạn và ánh xạ gradient……… 11

1.5.Các đị nh lý v ề tính duy nh ấ t ……… 15

1.6 Các đị nh lý v ề s ự t ồ n t ạ i……… 18

Chương 2: Phương pháp cực tiểu hoá………. 23

2.1 Ph ươ ng pháp paraboloid ……… 23

2.2 Ph ươ ng pháp g ố c ……… ……… 26

2.3 Thu ậ t toán b ướ c dài ……… 32

2.3.1 Nguyên lý c ự c ti ể u hoá ……… 32

2.3.2 Nguyên lý Curry và Altman ……… 33

2.3.3 C ự c ti ể u hoá g ầ n đ úng và tìm ki ế m g ố c ……… 35

2.3.4 Nguyên lý Majorization ……… 37

2.3.5 Nguyên lý bước dài Goldstein……… 40

2.5 Phương pháp Gauss – Newton và các phương pháp liên quan 482.6 Phụ lục 1……… 522.7 Phụ lục 2……… 56

Chương 3: ứng dụng của phương pháp cực tiểu hoá ……… 61

không gian các số thực một chiều

không gian các số thực n chiều

không gian tuyến tính các toán tử tuyến tính từ R n vào

“Phương pháp cực tiểu hoá”

2 Mục đích nghiên cứu

Nghiên cứu Phương pháp cực tiểu hoá và ứng dụng của nó.

3 Nhiệm vụ nghiên cứu

Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến

4 Đối tượng và phạm vi nghiên cứu

“Các phương pháp tìm cực tiểu của hàm n biến”

5 Phương pháp nghiên cứu

Phân tích, tổng kết tài liệu

1.1 Không gian

CHƯƠNG I: KIẾN THỨC BỔ TRỢ

R n 1.1.1.

R n là không gian vectơ.

Thật vậy, ta kiểm tra 8 tiên đề về không gian véctơ

(x1 y1 , x2 y2 , , x n y n ) (z1 , z2 , , z n )

(x1 y1 z1 , x2 y2 z2 , , x n y n z n )

j 1

⎛n

i1 2

z (z1 , z2 , , z n ) ta có:

Do đó hệ thức (1.1.1) thoả mãn tiên đề 3) về mêtric.

Vì vậy hệ thức (1.1.1) xác định một mêtric trên không gian R

n

Không gian mêtric

gọi là mêtric Euclid

R n thường gọi là không gian Euclid Mêtric (1.1.1)

1.1.3. R n là không gian mêtric đầy.

đã cho hội tụ theo toạ

độ tới x Nhưng sự hội tụ trong không gian Euclid R n tương đương với sự hội

j j

0

tụ theo toạ độ, nên dãy cơ bản x (k ) đã cho hội tụ tới x trong không

gian

R n

Vậy không gian Euclid

R n là không gian đầy

Định lý 1.1.2 Cho f là ánh xạ từ không gian metric M ( X , d

)

vào không

gian metric R1 Nếu ánh xạ f liên tục trên tập compact K

X thì f đạt mộtgiá trị lớn nhất và một giá trị nhỏ nhất trên K

Định lý 1.1.3 Trong không gian Euclid

R n là không gian định chuẩn đủ (không gian Banach).

R n là không gian Hilbert.

1.2 Đạo hàm và vi phân Frechet.

1.2.1 Khái niệm đạo hàm và vi phân Frechet.

Cho X,Y là các không gian vectơ định chuẩn, f : X

Ánh xạ f khả vi theo nghĩa trên gọi là ánh xạ khả vi theo nghĩa

Frechet (khả vi theo nghĩa mạnh).

1.2.2 Các tính chất của đạo hàm và vi phân Frechet.

Định lý 1.2.2.1: Cho X,Y là các không gian vectơ định chuẩn, nếu

⎛h ⎞

⎜ 1 ⎟

A(h) (a a a ) ⎜h2 ⎟

a h a h  a h

Vậy A là ánh xạ tuyến tính.

f (x 0 h)  f (x0 ) A(h) (x 0 , h) .Trong đó

1.3 Đạo hàm và vi phân Gateaux.

1.3.1 Khái niệm đạo hàm và vi phân Gateaux.

ChoX,

Y là

1

2

các không gian vectơ định chuẩn,

x 0 X , h X , t R Nếu tồn tại giới hạn

f : X

Y

là ánh xạ,

0 0 lim f ( x   th )    f ( x

x0 (vi phân Gateaux hay vi phân yếu) và kíhiệu là Df (x 0 , h)

1.3.2 Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu.

Định lý 1.3.2.1 Nếu tồn tại vi phân mạnh

df (x0 ,

h) của ánh xạ f tại x0 thì tồntại vi phân yếu Df (x0

,

h)

của ánh xạ f tại x0 và hai vi phân đó bằng nhau

Chứng minh: Giả sử tồn tại vi phân mạnh của ánh xạ f tại x0 Khi đó

0 .

Cho h cố định và t 0 thì th 0 ta có:

x* là cực tiểu địa phương thực sự của g nếu bất đẳng thức (1.4.1) đúng ngặtvới mọi x S D

Định nghĩa 1.4.2 Điểm x* int

* là điểm tới hạn của g và g''(x* ) xác định dương, thì x* là

cực tiểu địa phương thực sự của g Ngược lại, nếu x*

là cực tiểu địa phươngcủa g ,

* ) nửa xác định dương

Chứng minh: Giả sử x* là điểm tới hạn của g và g''(x* ) xác định dương Khi

đủ nhỏ, ta có g(x* th) g(x* ) 0 , mâu thuẫn □

Nói chung, không thể hoán vị vai trò xác định dương và nửa xác địnhdương trong định lý 1.4.4 Ví dụ,

g : R1 R1 , g(x) x 4 , có một cực tiểu địaphương thực sự tại 0, mặc dù g''(0) 0 ; Do vậy, g''(x*

) không cần xác định

dương tại cực tiểu địa phương thực sự Mặt khác, g : R1 R1 , g(x) x3 , chỉ rarằng nửa xác định dương của

x* là cực tiểu địa phương

g'' tại điểm tới hạn x* không đủ để khẳng định

Việc tìm các điểm tới hạn của một hàm một cách chính xác chính làviệc giải hệ phương trình

khả vi liên tục trên tập lồi mở

D 0 D Khi đó F là ánh xạ gradient trên tập D

xứng với mọi x D

0 .Chứng minh: Nếu F là ánh xạ gradient, thì F ' (x) H

g (x) , ở đó

Biểu thức (1.4.3) cho ta cách xây dựng hàm g từ hàm F .

Nguyên lý đối xứng chỉ đưa ra cách giải các hệ phương trình bằng cáchcực tiểu hoá một hàm phi tuyến Tuy nhiên, có thể chuyển sang tìm cực tiểucủa một hàm bằng cách giải hệ phương trình

D thì rõ ràng x* là cực tiểu toàn cục của

g trên D Trong trường hợp

Fx 0 không có nghiệm trong D và x* là cực

1

tiểu toàn cục của g trên D , ta gọi x* là nghiệm nhỏ nhất của Fx 0 Khi

f (x) x T

Ax thì nghiệm nhỏ nhất gọi là nghiệm nhỏ nhất bậc hai

Khái niệm nghiệm nhỏ nhất mở rộng ánh xạ F từ R m vào R n Trongtrường hợp đó g là hàm xác định trên tập D trong

không suy biến Thì x* là điểm tới hạn của g nếu và chỉ nếu Fx* 0

Chứng minh: Áp dụng định lý đạo hàm của hàm hợp, g có đạo hàm tại x* và

chặn của tập mức không cần để hàm g có giá trị cực tiểu.

Định nghĩa 1.5.3 Hàm g : D R n R1 là liên thông trên D0

Hàm g là liên thông ngặt nếu với bất kì

0,1S sao cho p(0) x, p(1) y

Định lý 1.5.4 Hàm g : D R n R1 là liên thông trên D nếu và chỉ nếu mọitập mức của g là thành phần liên thông.

Chứng minh: Giả sử tất cả các tập mức của g là các thành phần liên thông,với bất kì

x, y D , thiết lập maxg(x), g( y), khi đó tồn tại một hàm liên tục

p :

0,1L() sao cho p(0) x, p(1)  y ,

và

g( p(t)) , t 0,1, vì

là tập lồi và liên thông Tổng quát hơn, một hàm mà các tập

mức của nó lồi thì liên thông

Định nghĩa 1.5.5 Hàm

g : D R n R1 là tựa lồi trên tập lồi D0

bất kì x, y D0

, g(tx (1 t) y) maxg(x), g( y), t

0,1

(1.5.2)

Hàm g là tựa lồi ngặt bất đẳng thức (1.5.2) đúng ngặt khi x  y .

Một hàm lồi cũng là hàm tựa lồi, nhưng ngược lại không đúng Ví dụ,hàm

ln

t là tựa lồi trên 0, , nhưng không là hàm lồi Từ chứng minh của

định lý 1.5.4 cho thấy hàm

mọi tập mức của g là lồi.

g : D R n R1 là tựa lồi trên tập D nếu và chỉ nếu

Định lý 1.5.6 Giả sử hàm g : D R n R1 là liên thông trên D , thì g có mộtcực tiểu địa phương thực sự x* , và g(x* ) g(x), x D, x x * Nếu g liênthông nghiêm ngặt thì có một cực tiểu địa phương x* , và

rằng với lân cận mở bất kì của x* có một số t sao cho

Mâu thuẫn với

p(t) S D, p(t) x* , g( p(t) 

x* là cực tiểu địa phương thực sự Suy ra

g(x* ) g(x), x D , và g có cực tiểu địa phương thực sự

Giả sử g liên thông nghiêm ngặt và x*  y* là hai cực tiểu Giả sử

g(x* ) g( y * )  Vì g là hàm liên thông nghiêm ngặt nên có một ánh xạ liêntục p :

p(t) S D Nhưng

g( p(t)) g( y* ) , mâu thuẫn

* là cực tiểu địa phương Do đó g có một cực

tiểu địa phương, vì cực tiểu toàn cục cũng là cực tiểu địa phương nên g có

Rõ ràng hàm tựa lồi ngặt và hàm lồi ngặt là hàm liên thông ngặt

Hệ quả của Định lý 1.5.6 Giả sử hàm

g : D R n R1 là tựa lồi ngặt trên tậplồi D

0 D , khi đó g có một cực tiểu địa phương trong D0 , và mọi cực tiểu

địa phương trong D0 là cực tiểu toàn cục trên D0 .

Định lý 1.5.7 Giả sử hàm g : D R n R1 là lồi và khả vi trên tập lồi mở

D0 là cực tiểu toàn cục của g thì x* là cực tiểu địaphương của g Vì D

0 là tập mở nên g'(x* ) 0 Hiển nhiên, nếu g là hàm lồinghiêm ngặt trên D0

Hệ quả của Định lý 1.5.7 Giả sử hàm g : D R n R1 có đạo hàm cấp haixác định dương tại mỗi điểm của tập lồi mở D

0 D , khi đó g có một điểmtới hạn (hoặc cực tiểu địa phương hoặc cực tiểu toàn cục) trong

1.6.Các định lý về sự tồn tại.

D0

Định lý 1.6.1 Giả sử hàm

g : D R n R1 liên tục trên tập đóng D khi đó g

có một tập mức bị chặn nếu và chỉ nếu tập các cực tiểu toàn cục của g khácrỗng và bị chặn

Chứng minh: Nếu g có một tập mức bị chặn L(

) thì vì tính liên tục của g vàtính đóng của tập D ,

tập mức của g bị chặn nếu và chỉ nếu

Chứng minh: Trước hết ta giả sử mọi tập mức của g bị chặn, khi đó tồn tạidãy x k

x* D Nếu thêm điều kiện là hàm liên thông nghiêm ngặt trên D0 thì x

cũng là cực tiểu địa phương duy nhất, và g(x* ) g(x), x D , x x *

Hệ quả của Định lý 1.6.3 Giả sử hàm g : R n R1 là lồi ngặt (hoặc liên tục vàtựa lồi ngặt)

k  , và mọi tập mức của g là compact.

Chứng minh: Tồn tại một hằng số c 0 sao cho

Khi g khả vi, định lý 1.6.6 chứng tỏ rằng g không chỉ có một điểm tớihạn duy nhất mà g' còn là một đồng cấu trên toàn không gian R n vào chính

k

Chứng minh: Rõ ràng (1.6.2) suy ra F là ánh xạ một -một, và tồn tại F

điểm cực tiểu địa phương x* Do đó, từ định lý 1.4.3 và bổ đề 1.5.8, suy ra x*

là điểm tới hạn duy nhất của

g b , và từ g b ' (x) g'(x) b

,

x* là nghiệm duy

nhất của hệ phương trình Fx b , Nghĩa là, F là ánh xạ một-một từ R n lên R n

Do vậy F là đồng cấu, suy ra tồn tại một hằng số 0

g : R n R1

sao cho Fx g'(x) T , x R n Điều kiện (1.6.3) suy ra g là hàm lồi

CHƯƠNG II: CÁC PHƯƠNG PHÁP CỰC TIỂU HOÁ

là ma trận đối xứng, xác định dương thì g có duy nhất

một giá trị cực tiểu toàn cục x* , đó là nghiệm của hệ phương trình tuyến tính

g k .Trong trường hợp ma trận Hessian H (x k

) suy biến, hoặc không xácđịnh, xét công thức (2.1.3), xấp xỉ hàm bậc hai

Với phương pháp Newton và phương pháp cát tuyến, ta có thể thu đượchàm bậc hai (2.1.7) bằng cách nội suy Điều này cần n 1 n(n

1) 2

với g xác định tại các điểm ở (2.1.9).

Dùng hàm bậc hai nội suy g

(2.1.5), sau đó đã được tái phát hiện nhiều lần Việc chọn k đảm bảo

g

⎤

⎞ 1

k  H

+ Spath đã đưa ra chương trình sử dụng cách tính xấp xỉ (2.1.3)

0 thì tham số k ở (2.2.2) được chọn để (2.2.1) đúng Đây

là hệ quả của bổ đề sau

g'(x k ) p k F (x k

)T F ' (x k )1 Fx k 0 (2.2.4)

Chứng tỏ rằng F (x k ) 0 , tham

0

được chọn sao cho x k 1 ở

(2.2.2) thoả mãn (2.2.1) Nhưng nếu k được lấy duy nhất thì (2.2.1) có thểkhông đúng Thay đổi công thức (2.2.2) với k đủ nhỏ được gọi là phương

pháp Newton tắt dần Công thức (2.2.2) có dạng tổng quát

được chọn sao cho

có thể được chọn sao cho (2.2.1) hợp lệ

Nguyên tắc chung để lựa chọn tổ hợp các vectơ là lựa chọn mang tínhchu kỳ Nghĩa là,

này có thể g'(x k

) p k 0 , mặc dù

g'(x k ) 0 Tuy nhiên, trừ một điểm tới hạn đã

đạt được, tồn tại một chỉ số k m, m n 1

k m ) p k m 0.

g'(x k ) p p

Chú ý, sự lựa chọn tổ hợp các vectơ cơ sở e1

trong không gian Rn và

chọn vectơ p k trong số các vectơ q

Chọn ngẫu nhiên p k sao cho (2.2.3) đúng Khi g'(xk

)

p k g'(x k )T Nghĩa là, hướng của p k là hướng của vectơ gradient của g Các

phương pháp đó được gọi là phương pháp gradient.

Một lớp các phương pháp liên quan chặt chẽ là nếu  p

p 1là compact, suy ra hướng

tốt nhất của p k luôn tồn tại, mặc dù không duy nhất

Hiển nhiên, (2.2.3) đúng đối với các hướng này trừ g'(x k ) 0

Hướng dốc gốc phụ thuộc vào chuẩn cụ thể đang sử dụng Đối với cácchuẩn eliptic ta có các kết quả đơn giản sau

k

Bổ đề 2.2.2 Nếu C L(R n ) đối xứng, xác định dương và g : D R n R1 khả

vi tại x , thì hướng dốc gốc của g tại x theo chuẩn

Chứng minh: Vì C xác định dương, nên có một ma trận thực B đối xứng saocho

Chú ý, khi C là đồng nhất thức thì p g'(x) T Nghĩa là, hướng dốc gốctrong chuẩn l2 là hướng âm của vectơ gradient

0 với vài trường hợp

của k , trong trường hợp

quá

trình dừng), và g(x k 1 ) g(xk ).

Chứng minh: Ta chứng minh bằng phương pháp quy nạp

+ Phương pháp Newton tắt dần được mô tả bởi Crokett và Chernoff,nhưng trước đó có thể đã được sử dụng để tính toán trong thực tế.

+ Cách phân tích (2.2.8) giống như phương pháp dốc gốc trong chuỗicác chuẩn đã được khai thác Mặt khác, sự phân tích của các phương pháp nàydựa trên quan sát nếu 1 là xác định dương thì p k C 1 g'(x k )

T

không trực

giao với hướng gradient g'(x k )T

+ Một cách phân tích khác của thuật toán có dạng

x k 1 x k 

C 1 g'(x k )T ,Với C đối xứng, xác định dương, như phương pháp gradient trong một

số cơ sở khác Trong thực tế, cho

C 1 PP T , và xét biến

k

+ Ý tưởng cơ bản của phương pháp Davidon-Fletcher-Powell được đềxuất bởi Davidon và được trình bày bởi Fletcher và Powell Davidon cũng đã

đề xuất một phương pháp có liên quan có dạng

được chọn phù hợp Trong thực tế, Davidon cho rằng cách chọn k

có thể gây ra lặp theo chu kỳ

2.3 Thuật toán bước dài.

Ta xét các chi tiết khác nhau của việc chọn bước dài

tiểu của hàm g dọc theo tia