Luận văn Thạc sĩ Khoa học: Giải thuật cho bài toán tối ưu không trơn trong chỉnh hóa và ứng dụng

Đề tài Giải thuật cho bài toán tối ưu không trơn trong chỉnh hóa và ứng dụng trình bày các khái niệm, định lý cơ bản về giải tích hàm và giải tích lồi; một số tính chất của hàm phạt có tính chất thưa, toán tử co rút mềm sẽ sử dụng trong luận văn; giải thuật kiểu Gradient và giải thuật cải tiến của Beck. Luận văn tập trung vào chứng minh các tính chất hội tụ của các phương pháp này trong không gian Hilbert và cách chọn kích thước bước của mỗi giải thuật.

Trang 1

DAI HOC DA NANG

TRUONG DAI HOC SU PHAM

NGUYÊN THỊ LIÊU NOA

GIẢI THUẬT

CHO BAI TOAN TOI UU KHONG TRON TRONG CHINH HOA VA UNG DUNG

LUẬN VAN THẠC SĨ TỐN HỌC

Đà Nẵng - 2017

Trang 2

NGUYÊN THỊ LIÊU NOA

GIẢI THUẬT

CHO BÀI TỐN TỐI ƯU KHƠNG TRƠN TRONG CHỈNH HĨA THƯA VÀ ỨNG DỤNG

Chuyên ngành: Giải tích

Mã số: 60.46.01.02

LUẬN VĂN THẠC SĨ TỐN HỌC

Người hướng dẫn khoa học: TS Phạm Quý Mười

Trang 3

LOI CAM DOAN

Toi xin cam doan da

là cơng trình nghiên cứu của riêng tơi

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai cơng bố trong bất kì cơng trình nào khác

Tác giả

Trang 4

Lời đầu tiên tác giả xin gửi lời cảm on đến Ban Giám Hiệu Trường Dai học Sư phạm - Dại học Đà Nẵng đã tạo điều kiện thuận lợi cho tác giả trong suốt quá trình học và làm luận văn này

“Tác giả xin gửi lời cảm ơn sâu sắc tới giáo viên hướng dẫn, TS Phạm Quý Mười, đã tận tình hướng dẫn trong suốt quá trình thực hiện và hồn

thiện luận văn

“Tác giả cũng xin gửi lời cảm ơn chân thành nhất đến các thầy cơ đã

thầy cơ

trong khoa Tốn của Trường Đại học Sư phạm Da Nẵng đã giúp đỡ trong

trực tiếp giảng dạy tác giả trong suốt quá trình học tập và các quý

thời gian qua

Cuối cùng, tác giả cũng xin gửi lời cảm ơn đến các thành viên trong lớp Giải tích K31 đã xây dựng một tập thể lớp đồn kết, gắn bĩ và giúp đỡ lẫn nhau trong tồn bộ khĩa học

Tác giả

Trang 5

MUC LUC 1.1 KHONG GIAN HILBERT 1.2 HE TRỰC CHUAN 1.3 TỐN TU TUYẾN TÍNH LIÊN TỤC VÀ TOAN TU COMPACT 9 14 HẦM SỐ 5 DƯỚI VI PHAN 1.6 HẦM PHẠT CĨ TÍNH CHẤT THƯA .- 15 1.7 TỐN TỦ CO RỨÚT MÈM -c c5 16

CHƯƠNG 2 CÁC GIẢI THUẬT CHO BÀI TỐN TỐI ƯU KHƠNG

TRƠN TRONG CHỈNH HĨA THƯA 19 3.1 DIEU KIÊN CO NGHIEM CUA BAI TOAN 2.2 PHƯƠNG PHÁP KIỂU GRADIENT 2 2.2.1 Tính chất hội tụ

3.3.2 Các tiêu chuẩn chọn kích thước bước 20 2.2.3 Gidi thuat kiéu Gradient ¬ố ằỀằäẶšẶẼ

3.3 GIẢI THUẬT CẢI TIẾN CỦA BECK - 30

CHƯƠNG 3 MỘT SỐ VÍ DỤ VA UNG DUNG

3.1 BÀI TỐN TỐI ƯU KHƠNG TRƠN HAI BIẾN 35

Trang 6

3.1.2 Chương trình Matlab cho giải thuật kiểu Gradient 35

3.1.3 Chương trình Matlab cho giải thuật cải tiến của Beck 36

3.1.4 Sự hội tụ và nghiệm số của các giải thuật 37

3.2 PHƯƠNG TRÌNH TÍCH PHÂN LOẠI 1 - 39

3.2.1 Bài tốn 3.22 Rồi rạc bài toần cành nhìn 30 3.2.3 Ap dung chinh hĩa thưa cho bài tốn ©+ 40

3.2.4 Chương trình Matlab cho giải thuật kiểu Gradient

3.2.5 Chương trình Matlab cho giải thuật cải tiến của Beck 42

3.2.6 Minh họa nghiệm số và sự hội tụ_ - ‹ <- 43 KẾT LUẬN VÀ KIẾN NGHỊ

Trang 7

BANG Ki HIEU : Tập các số thực : Tập các số thực mở rộng : Khơng gian tiền Hilbert hoặc khơng gian Hilbert n chiều : Chuẩn của z

: Chuẩn của tốn tử K

: Khong gian Hilbert : Hàm co rút : Tốn tử co rút mềm : Dữ liệu xắp xỉ của ƒ :# được định nghĩa bằng : Với mọi x : Ton tai x

: Tích vơ hướng của # và 1 : Khơng gian tiền Hilbert : Khơng gian định chuẩn

: Khơng gian của các hàm liên tục trên [a,b]

: Khơng gian gồm tất cả các ánh xạ tuyến tính bị chặn từ X vào Y

: Hình cầu tâm #, bán kính r : Phần trong của \

: Bao đĩng của Af

: Khơng gian các hàm bình phương khả tích trên (a,b)

Trang 8

Số hiệu hình vẽ Tên hình vẽ Trang

21 Đồ thị của hàm O(v), O,(v,u) va J(u) | 22 31 Sự hội tụ của ©(Z") ứng với n=50 37 32 Sự hội tụ của ©(Z") ứng với n=100 38

33 Sự hội tụ của ©(8") 4

Trang 9

MỞ ĐẦU

1 Lịch sử vấn đề và ly do chon dé tai

Tối ưu là một trong những lĩnh vực kinh điển của tốn học, cĩ ảnh hưởng đến hầu hết các lĩnh vực khoa học - cơng nghệ và kinh tế - xã hội Trong thực tế, việc tìm nghiệm tối ưu cho một bài tốn nào đĩ chiếm một vai trị hết sức quan trọng

Bài tốn tối ưu cĩ thể phát biểu như sau: Tìm min f(x) trong đĩ, f(x)

là hàm mục tiêu, z là nghiệm của bài tốn, 7 được biểu diễn như là tập

các ràng buộc thỏa mãn một số tính chất cho trước của bài tốn Khi đĩ,

tồn tại #* € D đem lại giá trị nhỏ nhất cho hàm mục tiêu, lúc này ta nĩi +" là nghiệm tối ưu của bài tốn Để tìm nghiệm số cho bài tốn tối ưu, chúng ta cần cĩ một giải thuật phù hợp Đối với mỗi giải thuật, cần phải xây dựng cơ sở lý thuyết của giải thuật, chứng minh tính hữu hạn hay hội

tụ của nĩ

Ngày nay, do nhu cầu phát triển khơng ngừng của khoa học kỹ thuật,

ngày càng xuất hiện nhiều bài tốn với hàm mục tiêu ƒ(z) là khơng trơn

(khơng cĩ đạo hàm) [10|, [14] Ví dụ như các phương pháp chỉnh hĩa thưa,

chỉnh hĩa biến phân cho bài tốn ngược, đều dẫn đến các bài tốn tối ưu

khong tron [14]

Phương pháp chỉnh hĩa thưa được nghiên cứu trong 10 năm trở lại

đây Phương pháp này đã và đang được ứng dụng trong nhiều lĩnh vực

khác nhau như xử lí ảnh, xác định tham số của phương trình đạo hàm

.{I

Với mong muốn nghiên cứu và tìm hiểu bài tốn tối wu khơng trơn, đặc riên

Trang 10

tại nghiệm, các điều kiện cần và đủ cho nghiệm của bài tốn Đặc biệt, đề

tài dành phần lớn cho việc nghiên cứu hai giải thuật để 2 Mục đích nghiên cứu

¡ bài tốn này

Nghiên cứu và xây dựng giải thuật cho các bài tốn tối ưu khơng trơn trong chỉnh hĩa thưa và chứng mỉnh các tính chất hội tụ của nĩ Từ đĩ, ứng dụng vào để giải một số ví dụ cụ thể

3 Đối tượng và phạm vi nghiên cứu

Bài tốn tối ưu khơng trơn trong chỉnh hĩa thưa

Các giải thuật cho các bài tốn tối ưu khơng trơn: Giải thuật kiểu

Gradient và giải thuật cải tiến của Beck

4 Phương pháp nghiên cứu

Với đề tài: “Giải thuật cho bài tốn tối ưu khơng tron trong chỉnh hĩa thưa ồ ứng dựng” tơi đã sử dụng các phương pháp nghiên

cứu sau:

Thu thập, phân tích và tổng hợp tà Phân loại và hệ thống hĩa lý thuyết Trao đổi với giáo viên hướng dẫn

5 Ý nghĩa khoa học và thực tiễn

Đề tài sẽ trình bày chỉ tiết cở sở lý thuyết và các giải thuật để giải các

bài tốn tối tu khơng trơn trong chỉnh hĩa thưa Luận văn cĩ thể sẽ là tài liệu tham khảo cho các sinh viên, học viên cao học và những người cĩ

nhu cầu tìm hiểu về các bài tốn tối ưu khơng trơn trong chỉnh hĩa thưa 6 Cấu trúc luận văn

Luận văn gồm 3 chương:

Chương 1: Kiến thức cơ sở

Trang 11

3

Chương 2: Các giải thuật cho bài tốn tối ưu khơng trơn trong

chỉnh hĩa thưa

“Trong chương này, luận văn sẽ nghiên cứu hai giải thuật để giải bài tốn tối tu khơng trơn trong chỉnh hĩa thưa: Giải thuật kiểu Gradient va

thuat ci

tiến của Beck Luận văn tập trung vào chứng mỉnh các tính

chất hội tụ của các phương pháp này trong khơng gian Hilbert và cách chọn kích thước bước của mỗi giải thuật

Chương 3: Một số ví dụ và ứng dụng

“Trong chương này, luận văn sẽ áp dụng hai giải thuật để giải một số bài tốn cụ thể và xem xét các tính chất hội tụ đã được nghiên cứu lý thuyết

Trang 12

KIÊN THỨC CƠ SỞ

Trong chương này, chúng tơi nhắc lại một số khái niệm, định lý cơ bản về giải tích hàm và giải tích lồi Các tính chất, định lý được nêu ở day chúng tơi khơng chứng minh và các chứng minh của chúng cĩ thể tham khảo trong các tài liệu cơ bản về giải tích hàm và giải tích lồi, chẳng hạn

như trong [1], [2] [3], [H]:

Chương này cũng đề cập đến một số tính chất của hàm phạt cĩ tính chất thưa, tốn tử co rút mềm Các tính chất này được sử dụng trong

Chương 2 và đã được nghiên cứu trong các tài liệu [10], [H4] 1.1.KHƠNG GIAN HILBERT

Định nghĩa 1.1.1 (Tích vơ hướng) Cho X là khơng gian vectơ trên trường số thực RR Tích vơ hướng xác định trong X là một ánh xa: (,):XxXS+R (x,y) > (x,y) thỏa mãn các điều kiện sau đây: ) (œ,z+) >0, Vz € X và (,z)=0@z=0, đ) @,w) = (w,+) Vz,u € X,

iii) (w +2',y) = (x,y) + @',w),V+,s",u € X, iv) (A,y) =A(,0) Wz,u€ X,VA€R

S6 (x,y) được gọi là tích võ hướng của hai vectơ z và y Một khơng gian

Trang 13

5

Nhận xét 1.1.2 Từ các tính chất ì), ii) ta suy ra được các tính chat:

v) (,w+ ) = (œ,w) + (,), V+,u, € X, vi) (x, Ay) =A(,y) Vz,u€ X,VA €R

Định nghĩa 1.1.3 (Chuẩn) Cho X là khơng gian vectơ trên trường số

thực IR Một chuẩn trên X là ánh xạ I.l|:XR thỏa mãn các tính chất sau đây: ï) llr|| > 0, Ve € X với z # 0, ii) |jax|| = Jal |la||, V2 eX vaa eR,

ii) llr + w|| < llzll + llu|| Yz,y X

Một khơng gian vectơ X trên trường số thực R với chuẩn || || được gọi là khơng gian định chuẩn trên trường R, kí hiệu là (X, |.||) hoặc được viết ngắn gọn lại là X nếu chuẩn đã được xác định rõ

‘Tinh cht (iii) được gọi là bất đẳng thức tam giác Áp dụng đồng nhất

thức # = (# — y) + # và = (w — #) + z từ hai kết quả này ta được bất

đẳng thức tam giác thứ hai ||z — yl] < ||z\| — llw|| Vz e X

Dinh If 1.1.4 Cho (X,(.,.)) là khơng gian tiền Hibert Ánh ze | ||:

X —+R được định nghĩa như sau:

lzl:= V3), Ve eX

Tit Dinh nghia 1.1.3 ta cĩ các tính chất sau:

là một chuẩn

1 Bất đẳng thức Cauchy - Schwarz: |(z,g)| < llz|:|lwll

2 ||z + g|lÊ+ llz — ||? = 2 ( Wall? + ill?) (đẳng thức hình bình hành)

Vi du 1.1.5 1) RR" là khơng gian tiền Hilbert n chiều trên lề với tích vơ

hướng (Z, y) := hà kk

=

Trang 14

tiền Hilbert trén R véi tích vơ hướng b

(x,y) 2 = fe@u(oa, x,y €C [a,b]

Chuẩn tương ứng được gọi là chuan Euclidean và được kí hiệu như sau: % lzllu› := (2.2) 2 = fic ()Pdt, xe C{a,b) “Ta kí hiệu: K(,r) := {w € X : ||u ~ z||< r} là hình cầu tâm z € X, bán kính r

Định nghĩa 1.1.6 Cho X là khơng gian định chuẩn trên trường R

a) Mot tap con M C X được gọi là bị chặn nếu tồn tai r > 0 sao cho Mc K(z,r) Tap M C X duge gọi là tập mở nếu với moi x € M ton tai

£ > 0 sao cho K(x,2) C M Tap M CX được gọi là tập đĩng nếu phần bi X\M la tap mở

b) Dãy (z¿)¿ C X được gọi là bị chặn nếu tồn tại e > 0 sao cho ||zx|| < e

Yk Dãy (z¿)¿ C X được gọi là hội tụ

hội tụ đến 0 trong R Ta kí hiệu lim z¿ = z Dãy (z¿); C X được gọi _¬% u tồn tại z € X sao cho ||# — #¿||

là day Cauchy néu với mỗi e > 0 tồn tại € Đ sao cho ||#„ — #¿|| < £

Ym,k>N

c) Cho (2%), C X là một dãy, # € X được gọi là điểm tụ nếu tồn tại một dãy con (z¿„)„ hội tụ đến z

đ) Tập Aƒ C X được gọi là compact néu mọi dãy trong M đều cĩ điểm

tụ trong M “Ta cĩ các tập:

int(M) := {z € M|3e >0: K (z,e) C M}, được gọi là phần trong của A/ và

cl(M) := {« €M|3(xx), C M :

Trang 15

7

Định lí 1.1.7 Cho X là khơng gian định chuẩn trên R uà M C X

a) M là đĩng nếu tà chỉ nếu M = cl(M) uà M là mở nếu tà chỉ nếu M = int(M)

b) Néu M # X la khong gian con tuyén tinh, khi dé int(M) = 0 va cl(M) cũng là khơng gian con tuyến tính

e) Trong khơng gian hữu hạn chiều, mọi khơng gian con là đĩng

4) Mọi tập compact là đĩng tà bị chặn Trong khơng gian hữu hạn chiều, ngược lại cũng đúng (theo định lí Bolzano- Weierstrass): Trong khơng gian

định chuẩn hữu hạn chiều, mọi tập đĩng va bi chain la compact

Định nghĩa 1.1.8 (Khơng gian Banach, khơng gian Hilbert)

Một khơng gian định chuẩn X trên trường số thực ï* được gọi là đầy đủ hoặc khơng gian Banach nếu mọi dãy Cauchy đều hội tụ trong X Một khơng gian tiền Hilbert đầy đủ được gọi là khơng gian Hilbert

Vi dụ 1.1.9 1) Khơng gian R" là khơng gian Hilbert với tích vơ hướng,

chính tắc

2) Trong 22 voi x = (rx), y = (yx), ta dinh nghia

Lm, kel

thi (.,.) 1a tich vo hướng, (#, (.,.)) là khơng gian Hilbert

Định nghĩa 1.1.10 (Khơng gian tách) Khơng gian định chuẩn X được gọi là tách nếu tồn tại một tập con trù mật đếm được Äƒ C X sao cho

dl(M) = X

Vi du 1.1.11 1) Khơng gian R" là một khơng gian tách và tập con đếm được Af là tập tất cả các vectơ với hệ số hữu tỉ

Trang 16

Định nghĩa 1.2.1 (Hệ trực chuẩn) Một tập đếm được các phần tử

A=tze: ,2,3, } được gọi là hệ trực chuẩn nếu: 1 @,zj) = 0,Vk # j- 2 |zz|| = 1,.Vk EN A duge gọi là đầy đủ hoặc hệ trực chuẩn cực đại nếu khơng cĩ hệ trực chuẩn B với AC B và A # B Cĩ thể sử dụng bổ đề Zorn'

đều cĩ một hệ trực chuẩn cực đại Hơn nữa, từ đại số tuyến tính ta biết rằng mọi tập đếm được các phần tử độc lập tuyến tính của X cĩ thể trực

giao

Cho bất kỳ một tập A C X Khi đĩ

span A := {Sensner ned nent

la khong gian con cita X sinh béi A

chỉ ra rằng mọi khơng gian Hilbert tách

Định Ii 1.2.2 Cho A = {xy : k — 1,3,3, } là hệ trực chuẩn Khi đĩ a) Mọi tập cơn hữu hạn của A đều độc lập tuyến tính

b) Néu A hitu han, A = {xx : k = 1,2,3, ,n} thi vdi moi x € X tồn

tại duy nhất hệ số œ € R,k = 1,2, ,n, sao cho 2 Dare k= hé 86 ax dude cho bdi ay = (x,24) , Vk = c) Va € X, ta c6 bat déng thức Bessel: Ye, ee)? < lll k=l < |la —al|, Va € span A œ

tà chuỗi 3) (z,x¿) xự hội tụ trong X &

4) A là đầu đủ nếu tà chỉ nếu spanA là trù mật trong X

Trang 17

Parseval sau day: x 2 2 3”l@œ.z2)Í = IIelẺ kĩ /)A là đầu đủ nếu tà chỉ nếu ới mọi z € X cĩ một khai triển Fourier oe =o (en) a0 = trong đĩ, sự hội tụ được hiểu theo chuẩn của X Trong trường hợp này, phương trình Parseual là đứng:

(eu) = Do teny) a)

1.3 TOAN TU TUYEN TINH LIÊN TỤC VÀ TỐN TỬ COM-

PACT

Định nghĩa 1.3.1 Cho X,Y là hai khơng gian tuyến tính định chuẩn trên trường i8 Ánh xạ 4 : X —› Y là liên tục tại zọ € X nếu với mọi dãy

(#„) C X ma x, + ap thi Ax, — Axo Anh xa A duge goi là liên tục trên X nếu nĩ liên tục tại mọi điểm z € X

Định lí 1.3.2 Cho X,Y là hai khơng gian tuyến tính định chuẩn tà A la

tốn tử tuyến tinh tit X vao Y Khi đĩ, các mệnh đề sau tương đương: a) A liên tục trên X b) A liên tục tại điểm zụ € X €) A liên tục tại 0 4) Tồn tại một số M dương sao cho tới moi x € X, ta cĩ ||Azl| < AM ||£|| (nghĩa là A bị chặn)

Định nghĩa 1.3.3 Cho 4 là một tốn tử tuyến tính liên tục từ khơng gian tuyến tính định chuẩn X vào V Theo Định lí 1.3.2 luơn tồn tại số

Af > 0 sao cho ||Az|| < A |lz|| với mọi z € X, nên ta định nghĩa chuẩn

4 như sau:

Trang 18

|ell}-Định lí 1.3.4 Cho A là một tốn tử tuyến tính liên tục từ khơng gian

tuyến tính định chuẩn X uào Y Khi đĩ

Az|

LAI = sụp Í GÌ = sp |Arl = súp Aa xz0 |f|Ï s<i Izl=t

Định nghĩa 1.3.5 (Tốn tử compaet) Cho X,Y là hai khơng gian

định chuẩn Tốn tử tuyến tính bị chặn : X —› Y được gọi là tốn tử compact nếu nĩ biến mỗi tap bị chặn Š thành tập compact tương đối

K(S)

Tập Aƒ C X được gọi là tap compact tương đối nếu mỗi dãy bị chặn (yi) C M déu cé diém tu trong cl(M), tite 1a bao déng cl(M) la compact Định Ii 1.3.6 (a) Néu K; va Ky la hai todn ti compact di tit X vao Y, khi dé K, + Ky va XK, citing la compact, Vd € R

(b) Cho K,: X + Y là một dãy của tốn tử compact giữa hai khơng gian Banach X va Y Giả sử K : X —> Y bị chặn uà I„ hội tụ đến K

theo chuẩn của tốn tử Tức là:

UK, — Kl) = sup Mot Bel — Be

khi đĩ, lÍ cũng là compact

(e) Nếu L€ £(X,Y) tà K € £(Y,Z) à L hoặc K la compact thi KL

ciing la compact

(d) Giả sử A, € £(X.Y) hội tụ từng điểm đến A € £(X,Y), tức la

Anz > Ax, Vx € X Nếu K : Z —> X là compaet thà ||A„K — AK|| — 0,

nghĩa là tốn tử A„K hội tụ đến AK trong chuẩn của tốn tử —0 (n — %),

Định lí 1.3.7 (a) Giả sử k € L2((c.d) x (a,b)) Tốn tử K : Lề(a, b) —>

L®(c,d) được định nghĩa như sau:

b

(Kx)(t) : J[ He sialon te(ed), re (a,b) (1.1)

la compact tit L?(a,b) uào L*(c,d)

Trang 19

12

Vi du 1.4.4 Cho f : {c,d} x {a,b] x R > R lien tue va khả vi liên tục với ba đối số Gia sit anh xa T : Cla,b] + Cle, dị được xác định như sau:

b

T (x) (t) = [fe s.e(s))as té [c,d], C |a,b] Khi đĩ, 7 là lien tuc kha vi Fréchet voi đạo hàm b

(T)z) (®) = lãz/tse))4 te |c.d],z e C |a,b]

Định lí 1.4.5 a) Cho T,S : X D U + Y la kha vi Fréchet tai x € U Khi đĩ T + S à AT ciing la kha vi Fréchet vdi moi XE R va

(T+S)(x) =T(x)+S"(x), (XTY(œ) = AT)

b) ChoT : X SU + VCY tà 8: Y 5 VỀ — Z là khả vi Fréchet tai +€U tà T(z) € V Khi đĩ, ST' cũng là khả ơi Fréchet tại tà

(ST(œ) = S{(T(œ)) T'(z) e £(X Z) (w 8'(T(z)) e £(Y.Z) T'(z) e £(X.Y))

©) Trường hợp đặc biệt: Nếu T: X —> Y là khả ơi Fréchet tại ê € X thì Ĩ :IR => Ý được định nghĩa bởi:

() := T8)

cũng khả uỉ Fréchet tại mọi điểm t € R va y(t) = T'(tâ)â € Y

Chú ý rằng ban đầu Ú'(Ð) € £(R,Y) Trong trường hợp nà, ánh xạ

tuyến tính (1) : R —y Y tới U/() € Y:

Định lí 1.4.6 Cho 7: X x Z — V là liên tục khả tỉ Fréchet uới đạo

hàm riêng ‡T (+,z) € £(X,Y) tà ‡T (z,z) € £(Z,Y) Hơn nữa, cho

T(£,) = 0 tà ‡T (ê,2) : Z —> Y là đẳng cự Khi đĩ, tồn tại một lân

cận U của & va mot ham khé vi Fréchet»: U - Z sao cho (Ê) = 4 va

T (x, (x)) =0, Vr € U Dao ham riéng J! € £ (X,Z) cho bởi ự —-[j,T (=0) ggTŒ.06), ze, 1

Trang 20

Cho Z=Y =R.7: X xR => R và 7 (0,Â) = 0 và #7 (2.Â) 40

Khi đĩ, tồn tại lân cận U của ê và ham kha vi Fréchet (2) = Â và T (x, (x))=0, Ve EU va 1 a —¬——m ẤT (z, (a) Ox Với X' là khơng gian đối ngẫu của X u (a) = (.0(z)) €£(X,R) = X', z€U

Cho X là một khơng gian Hilbert Äf là một tập con lồi khác rỗng của X va phiém ham nhận giá trị thực mở rộng trên Àf:

f:M >R:= [-0o, oo] Các tập dưới đây:

domf := {x € M|f (x) < s}:_ epiƒ := {(,+) € M x RỊƒ (z) < +}

lần lượt được gọi là miền hữu hiệu và trên đồ thị của ƒ Ngồi ra, với mỗi

œ<R, ta gọi tập mức dưới của hàm ƒ là:

C (fra) = {x € MIf (x) < a} = {z € MỊ(z,a) € cpi ƒ}

Định nghĩa 1.4.7 (Hàm lồi) Cho X là khơng gian Hilbert, M C X là tập con lồi khác rỗng Khi đĩ, phiếm hàm tuyến tính ƒ : A —› E được gọi

là hàm lồi nếu ep¿ ƒ là tập lồi

Hàm ƒ được gọi là hàm lõm nếu — ƒ là hàm lồi Nhận xét 1.4.8 1 Nếu ƒ lồi thì domƒ lồi

2 Nếu ƒ lồi thì Œ(ƒ:œ) lồi với mọi a € R

3 Néu f : X + RR là hàm lồi và ƒ (zg) > —% với #ạ € intdom f thi f() >—œ Vz€X

Ménh dé 1.4.9 f : X + (—00, +00] Lic dé, ƒ lồi nếu tà chỉ nếu f (Av + (1=A)y) < AF (x) + (1A) f(y), Ve,y € XA € (0,1)

Vi dụ 1.4.10 Cho ham f(x) = ar +a,a€ X,a€R

Vz, € X, VÀ € (0,1) ta cĩ:

[dx + (1 = A)y] = a[Ax + (1 = Ay] 4a

Trang 21

14 = dar + Aa + (1 = A)ay + (L— À)œ = Max +a) + (1 —d)(ay +a) = Af(x) +(1—A)f(y) Vay f la ham Ii tren X Yz,y€ X, VÀ € (0, 1) ta lại cĩ: ~flAz+(1~ A)# = =Aaz — (L— À)ay~= œ = —Aør— Aø— (L— À)ay— (L— À)a = —A(az + œ) — (1— A)(a + a) = -Af(x) = (1~ A)ƒf(w) Vay —f la hàm lồi trên X a[Az + (L— À)w]— œ Suy ra ƒ là một hàm lõm trên X

Định nghĩa 1.4.11 (Hàm nửa liên tục dưới) Một hàm ƒ: X -› R

được gọi là nửa liên tục dưới tai zy néu

liminf f (x) 2 f (0)

ƒ được gọi là nửa liên tục đưới yếu nếu nĩ nửa liên tục dưới tai moi x € X

1.5 DƯỚI VI PHÂN

Định nghĩa 1.5.1 Cho X là khơng gian Hilbert, X* là khơng gian liên hợp của X Giả sử ƒ là một hàm lồi, chính thường trên khơng gian Hilbert

X va xp € dơm ƒ Một phiếm hàm z* € X* được gọi là dưới Gradient của ƒ tai xp néu

J (x) = f (xo) + 2", 2 — x0) Wa € X Về mặt hình học, điều đĩ cĩ nghĩa rằng hàm affine

g(a) =f (to) + (e*,2 — 29) ,.2 EX

cĩ đồ thị là một siêu phẳng tựa của epif tai diém (ro, f (xo)) Tap hop

Trang 22

= 4 (u) = liminf S (2 (yx, u")| +2] (ee, u)| — |@ex.w" — 9)||

keA

Ta cĩ —minf J lee") +2 (Perm) — Kee” — |

< — E limving fs [2 (4 0") +219) ~ Meee ~ a)

Ta lai c6 {u"},,cx hoi tu yéu dén w € H nén (yy, u") (ye, u) VRE A

> ~ % liming [21g u")| +2 |e, u)] — (eu, < u" — u)]]

= =4 |(2x.9)| keA

= lim sup ® (u" — u) < 4® (u) — 4 3 | (yx, u)| = 40 (u) — 40 (u) = 0 &

Vay lim sup ® (w* — u) = 0 ia

1.7 TOAN TU CO RUT MEM Cho hàm co rit S: R>R S, (x) = sgn (ø) max (|x| — 7;0) - (1.3) Định nghĩa 1.7.1 Tốn tử co rút mềm S : # —› ? được xác định bởi: S,(u) = $6; ((,£0)) Si (4) keA

hàm Š; được cho ở (1.3) và {g¿}„cA là cơ sở trực chuẩn của ?í

Bổ đề 1.7.2 Tốn tử co rút mềm được định nghĩa ở (1.4) là khơng dan,

tức là

|Sz (w) — §: (ø)|| < llu — ø||, Vu, e € ?

Chứng minh của bổ đề này cĩ thể xem trong [9, Bổ đề 2.2]

Bổ đề 1.7.3 Cho {u"}, {v"} ,{h"} la céc day trong H va {8"} la day

Trang 23

17 Chứng mình Từ giả thiết, ta cĩ "` hoặc tệ = sgn (0 — 6"hỹ) max (|u — đ"hƑ| — đ",0),Vk€A — (15) Ta dat k€A: lu — 8*hị| < 3* ={k€A: luệ — 8*hị| = 3* Vì 0p — đ"hỆ > uj — đ*hị và |0} — đ"hệ| — Ø" => |u‡ — Ø*hị| — Ø* khi n — oo (È cĩ định), ta cĩ

e Nếu k € T\ thì tƑ—/đ"hÿ, u‡—*hj cùng dầu và |uÿ — đ"hƑ|—" > 0 khi ø đủ lớn và do đĩ hai về của (L5) cĩ giới hạn và

uj, = sgn (uj — Ø*h) max (|uậ — đ*h‡| — 8*,0) „Vk € T\, T LT Tạ f EA: Ju‡ — Ø*hị| > ï hoặc

uj = Ss (uj — Bhi), Vk ET

@ Néu k EP» thi [vp — B"hz| — 6" < 0 khi n dit ln Nhu vay, uf! = 0 khi n dit I6n Khi d6, ta cĩ uj, = 0 va ta cĩ kết luận

uj, = So (uj, — B*h}) Wk € Pa

lớn Như vậy, mm > mi khi n —> se Vì thế, ở cơng thức

(15) ta kết luận rằng znaz (|oÿ — đ"h?| — đ",0) cũng hội tụ và bằng 0 vì

jug — B"hr| — 8" + 0 Khi dé, ta suy ra ring uj = 0 va uj, = S- (uj — B°kj) ,Wk ET Cuối cùng, ta cĩ

tự = Sp: (uj — Bhi) Wk ET; UT2UT3 =A

Điều này, tương đương với u* = Sy (u* — Bh") a B6 dé 1.7.4 Cho {h"} CH bi chan déu va {d"} CH hdi tu yéu dén 0 Néu 8" € [3,3] va lim [Soo (h" +d") — Syn (h") — a" || = 0 ti lld"|| —>

0 khin > oo

Trang 24

® lhạ < (9/2)”.Vn € N Vì Tạ là tập hữu hạn và đ" hội tụ yếu đến 0

k€A ~

TTa kết luận rằng 5 |đ?|? —› Ú khi ø + oo

keTo

Với mỗi n, ta chia Tị := A\Tạ thành hai tap con:

Ti := {E€ A: |hỆ + đệ| < đ") và Êi„ := T.\Fi„ Bổ đề được chứng mình nếu ta chỉ ra rằng, 2 sim, lat? = 0 keTi ® Nếu k € Tị„„ thì Sø (hỆ + đ) = Sz (hÿ) = 0 (vì |hậ| < § < đ") Do đĩ, ta đặt |đệ — Sz» (hệ + đệ) + 8z: (hƑ)| = |d¿| Từ giả thuyết, cho nên DE lee? < YF le — Spo (np + df) + Sm (HB)? 0,2 + 00 k€Ti„ ker) hay lim SO |dz)? = 0 = k€Ti

& Nếu k € Py, thi [dp] > |đ; + hạ| — [hel > $ > [he] Vì vậy, đ; + he và

đ cùng dấu Sử dụng tính chất này va Sg (hi!) = 0 Ta cĩ

ld — San (hi + di) + San (hg)| = |dj — San (dg + hi)] = |di = (dj + hj) + B"sgn (dị + hị)| m mỊ 8 >/#"- || > š- 2 Suy ra ring © |dy — Sy» (hf + df) + Soo (Wg)l? > (3) - ker

Mặt khác, từ giả thuyết, ta kết luận ring D leh Sp (at +09) +8» (HBP < (5) - "

k€eTi

Khi n vượt quá 4Ý, kéo theo rằng Ï„ là rỗng khi ø > 4 Vì vậy y

Trang 25

19

CHƯƠNG 2

CÁC GIẢI THUẬT CHO BÀI TỐN TỐI ƯU

KHƠNG TRƠN TRONG CHỈNH HĨA THƯA

Trong nhiều ứng dụng, thường dẫn đến việc giải bài tốn tìm nghiệm của phương trình: (2.1) trong d6, K : H > H la toan tit (tu chính nĩ Hơn nữa

n tính hoặc phi tuyến) từ ?£ vào về phải khơng được biết chính xác mà chỉ cĩ thể tìm

được một dữ liệu xấp xỉ ƒŠ sao cho:

I/ - #ll, < Š (2.2)

rằng Bài tốn (2.1) — (2.2) là bài tốn đặt khơng chỉnh Khi đĩ,

muốn giải Bài tốn (2.1) — (2.2) ta phải sử dụng một phương pháp chỉnh

hĩa, chẳng hạn như chỉnh hĩa Tikhonov [10] hoặc chỉnh hĩa thưa [5], [7], [Sj Phương pháp chỉnh hĩa than sẽ dẫn đến bài tốn tìm:

Ta gi

min © (u) := 5 (u) — f*\| + ® (u) (2.3) trong d6, (wu) = a Y |(u,yx)| a ham duge dinh nghĩa ở (1.2), ken u= DO Uyy v6i {yx} lA cd sé trực chuẩn trong ?í, k€A œ >0 là tham số chỉnh hĩa Nghiệm tối ưu cho Bài tốn (2.3) được xem là nghiệm xấp xỉ của Bài tốn (2.1) — (2.2), xem [12], [14]

Để giải Bài tốn (2.3) ta cần tìm một giải thuật phù hợp để tìm nghiệm Trong chương này, luận văn sẽ nghiên cứu hai giải thuật để giải bài

tốn tối ưu khơng trơn trong chỉnh hĩa thưa: Giải thuật kiểu Gradient ¡ tiến của Beek [5], [6], [13], [I4] Luận văn tập trung vào

chứng minh các tính chất hội tụ của các phương pháp này trong khơng,

Trang 26

gian Hilbert và cách chọn kích thước bước của mỗi giải thuật Để cho gon, Bài tốn (2.3) được viết lại dưới dang:

min © (u) = F(u) + ® (0) (2.4)

trong d6, F (u) = HJ (u) = ƒ || và (u) = aS Ku el:

2.1 DIEU KIEN CO NGHIEM CUA BAI TOAN

ẻ nhận được kết quả về sự tồn tại nghiệm, điều kiện cần và đủ cho nghiệm của Bài tốn (2.4), cũng như sự hội tụ của các giải thuật Chúng ta cần các giả định sau:

Giả định 2.1.1 (1) F là hàm nửa liên tục dưới yếu tà bị chặn dưới,

khơng mắt tính tổng quát ta giả sử F (u) > 0, Yu € H

(2) F c6 dao ham Fréchet, Lipschitz lién tuc Khi dé, tồn tại hằng số L sao cho

||P’ (u) — F’(u’)|| < Lju =u], Wu eH

(3) Nếu u" hội tụ yếu đến u sao cho © (u") là dãy đơn điệu giảm thì tén tai mot day con (u™) sao cho

P'(w) + F"(u)

Chú ý 2.1.2 Hàm ® trong (2.4) là chính thường, lồi, nửa liên tục dưới yếu và coercive (xem Bồ đề 1.6.1)

Trang 27

2 Hơn nữa, vì Ơ nửa liên tục dưới nên

= ứ* là một điểm cực tiểu của © n Nhận xét 2.1.4 1 Diều kiện (1) của Giả định 2.1.1 kết hợp với tính

coercive của ® ta suy ra rằng Ƒ'+ ® là coereive Tức la F (u) + (u) => oo

khi ||u|| > 00

2 Điều kiện (2) của Giả định 2.1.1 được sử dụng để cĩ được Bồ đề 2.2.2 (ở phần sau) và sự tồn tại của kích thước bước trong phương pháp kiểu Gradient và phương pháp cải tiến của nĩ Từ điều kiện này, ta cĩ: |F (6) — F (w) — (7 (0), — u) | < §||u — v|Ể,Vu, p € 2, với L la hing sé Lipschitz “Thật vậy, ta cĩ |Ƒ() — F(w) = (F7 (0), — w) | 1 (u + (0 — 8), — u) dt — (F” (0) „u — tỳ (w+ t(v—u)) — F’(u),v— u)at| | t Qa E 2 SJ Lljv = u|Ïtdt = Ÿ|| = ul’ 0

3 Điều kiện (3) của Giả định 2.1.1 là cần thiết để cĩ được sự hội tụ mạnh của phương pháp kiểu Gradient (xem Định lý 2.2.6) Từ điều này,

ta cĩ thể suy ra được E, = {u € ?(: ®(u) < t}la compact Vt € R và F’ liên tục Thật vậy, nếu u” hội tụ yếu đến w và ®(u") là đơn điệu giảm thì {® (0")}„„„ bì chặn và như vậy (u") C Eạ với một số £ > 0 Vì , là compaet nên cĩ một dãy con {0} sao cho ø" => œ Vì F” liên tục nên ta

cĩ F'(w%) —y F*(u)

2.2.PHƯƠNG PHÁP KIỀU GRADIENT

Ý tưởng chính của phương pháp kiểu Gradient là thay thế Bài tốn

Trang 28

lồi chặt Trong đĩ, việc tìm nghiệm cực tiểu của Oy» (v,u") dé dang hon

Hơn nữa, dãy cực tiểu u"*! = arg min ©„» (ø,") phải hội tụ đến điểm cực

ueH

tiểu hoặc ít nhất cũng hội tụ đến điểm dừng của Bài tốn (2.4) Để nhận

được kết quả như trên, chúng ta sử dụng phương pháp xắp xỉ bậc hai: Cho

s >0 cố định, ta định nghĩa xắp xỉ bậc hai của © (0) = Ƒ (0) + 8 (9) tại điểm w như sau:

©, (v,u) = F.(w) + (F” (w),ø — 0) + š||p — | + ® (6),

với mỗi w cố định, hàm này cĩ duy nhất một điểm cực tiểu vì © là

chính thường, lồi chặt, bị chặn dưới và nửa liên tục dưới

Gọi ánh xạ: J, : ?( — ?( định nghĩa bởi: Với mỗi ứ € ?í, cho tương ứng, với J„(u) là cực tiểu của hàm ©, (.,) Bằng cách thêm bớt các số hạng, ta cĩ J(u) := arg min {Ơ, (0, 0)} vex sle- («- ie) 2 => J,(u) := arg min {5 +=(u)$ 1 (25) vếM s

Hình 2.1 minh họa đồ thị của hàm O(v), ,(v,u) va J„(u) Sử dụng ánh xa J,(.), chúng ta cĩ thể đưa ra điều kiện cần cho điểm cực tiểu của Bài

tốn (2.4) và Bài tốn (2.5) như trong bổ đề sau:

Trang 29

23

B6 dé 2.2.1 Gid sit F kha vi Fréchet Khi đĩ, ta cĩ

1 Nghiệm duy nhất của Bài tốn (2.5) được cho bởi

J, (u) = 8; (u — $7 (0))

cho u* là

ul = Sya(u" — BF" (u’)), VØ > 0 cĩ định Ngoai ra, néu F la léi thi day cing la diéu kién di

Chứng mảnh 1 Do Bài tốn (3.5) là lồi chặt, bị chặn dưới và nửa liên tục

đưới yếu nên nĩ cĩ nghiệm duy nhất Sử dụng phép tính dưới vi phân và điều kiện cần và đủ cho điểm cực tiểu @ = J,(w) của Bài tốn (2.5) ta cĩ 0€ F?(u) + s(đ — u) + Ø8 (8) > u—1F"(u) € i+ 100 (a) © i= (1+ 106)"(u— 1 F'(u)) Trong [14], người ta đã chứng mình được rằng ¬ = (1 + 29) 3

Vay ta cĩ điều cần chứng minh

0 € F’ (u*) +0 (u') & —F' (u*) € Ơ® (`)

Nhân hai vế cho 6 > 0 va cOng cho u* va nghich dao (J + đØ®), ta

duge:

u’ = (I+ 80)""(u’ — BF’ (u’))

Trang 30

Sử dụng định nghĩa của J,(u), phương pháp kiểu Gradient cho Bài

1

Jen (u") = Sg, (" -mt 62) (2.6) Việc chọn kích thước xắp xỉ ;+ ảnh hưởng đến sự hội tụ của phép lặp Điều

này được sáng tỏ trong Phần 2.2.2 2.2.1 Tính chất hội tụ

n+l

w

Trong phần này, ta xét các điều kiện cho tham số s" dé c6 duge các

tính chất hội tụ của phép lặp trên Để phân tích sự hội tụ của phương

pháp kiểu Gradient ta cần các kết quả sau

Bồ đề 2.2.2 Giả sứ F là khả ơi Fréchet uới đạo ham F' la Lipschitz lien

tục Lay u € H va s > 0 sao cho

(2, (u)) < O, (J, (u) ,u) - (2.7)

Khi d6, vdi méiv € H,

Trang 31

25

600) > F(w) + (F' (w),u — u) + ®(z) — Flv ull? + (y.ø — 2)

(2.11)

Hon nita, vi z = J, (u), ta efing c6

=9(0)—~9(z) > O(v) — F (u) — (F' (w),z — w) — š||z = w|Ê — ® (2) > F (u)+(F" (u),v — u)+@ (2)+(y,0 — u)—Sljo — vi

—F (u) — (F'(u) 2 —u) — š||z ~ ull? ~ 8 (2)

“Ta lại cĩ F’(u) + s(z-u) + > 7 = —F(w) — s(z — 1), thay vào

biểu thức cuối, ta được: = 9(0) = ©(z) > —§||z — w||P + s (w — z,ø — z) — ÿ||p — u|Ẻ 2 gle — w|Ể + s(z — ,w — 0) — Flv — al)” = 9()~9 (2, (w)) > š||J, (w) — ul)?+8 (u = v, J, (w) — w)—§|[t — wÏ|Ÿ Vậy ta cĩ điều phải chứng minh n Nhận xét 2.2.3 1 Từ Nhận xét 2.1.4 ta dễ thấy rằng (2.7) thỏa mãn nếu s > L 2 Ngồi ra, nếu # lồi thì F(0) > F(u) + (F' (0) ,ø — t) (2.13) Tit chimg minh trén va thay bất đẳng thức (2.9) bởi bất đẳng thức (2.13) ta được: ©(0) — ©(2, (0) > š||J, (w) — wilÊ + s (2, (u) — w, — 9)

Bổ đề 2.2.4 Cho F thỏa mãn tính chất 1, 2 của Giả định 2.1.1 Giả sử rằng dãy {u"} được định nghĩa bởi (2.6) uà dãy {s"} thỏa mãn s" €

[s,S] (s > 0,5 > U) à

Trang 32

Ap dung Bé dé 1.7.3, ta duge

1

*=Se (u*-—F'(u’))

w =8s (w- ZF w))

Tiếp theo ta chứng minh dãy {z"}„-„ cĩ dãy con hội tụ mạnh n Định lí 2.2.6 Cho F thỏa mãn Giả định 2.1.1 ồ dã {u"} thỏa mãn các

Chứng mình Ta lấy {u”2},„y là dãy con của {u"} được xác định trong chứng minh của Bổ đề 2.2.5 Do đĩ, w* là điểm dừng của © và từ Bổ đề

2.2.1, ta cĩ:

uh = §az(u` — BF’(u’)), VB >0 (2.15)

Ta dat d= ws — ut va h® = w — 3F'(u’) Do Bổ đề 2.244, ta cĩ

Jim |ứ5+! — #»|| = 0 Từ (2.14) và đ = gy ta cĩ

dy det adh uy tut

Trang 33

2

Kết hợp với ||#! — đ*!|| —› 0 (7 —> ), ta thấy rằng,

lim |S„y (MP + d9) = Sz, (M9) = d9 ||=0

jee

Ap dung Bé dé 1.7.4 va cac day {h",d"} duge thay bai {h,d}, ta

được điều phải chứng minh a

Định lí 2.2.7 Cho Ƒ là lồi va thỏa mãn điều kiện (2) của Giả định 2.1.1 sà cho {u"} thỏa mãn giả thiết trong Bổ đề 2.9.4 Khi đĩ, uới mỗi n > 1,

ta cĩ:

e(#)~eqe) < Yael

Chứng mảnh Ta cĩ F lồi và áp dụng Nhận xét 2.2.3 với 0 = u*, u = uk

và s = sÈ, ta cĩ

& (0 (ut) 6 (ut) > fut — uk + 2 (uk — ut wht <ul)

= fut = wh)? = fur = uh

Do s* € [s,3] va © (u*) — © (w**!) <0, ta suy ra ring 2 È 7 + s(90°)=@ (0221) > lJu" = wh? — lJut = | Với k = 0,1, ,.n — 1, ta được not : (ne (w)-Se we) > lu" — w"|È — ||ut=w)| — (218) ° k=0 Ap dụng Nhận xét 2.2.3 một lần nữa với w = ø = uÈ và s = sẼ, ta được `“ & fut wtf, Do s* € [s,3] va © (wÈ) — © (w**1) > 0, nghĩa là

Nhan 2 vé ctia bat ding thite cho k va lay téng véi k = 0,1, n—1, ta

được

me at

2Š (69 0) — (+ 1) (099) + ð (099) > 3 N|it — äÊ9|Ệ,

Trang 34

nl nt

- (se +3 o (e9) > Yi fjut uk, (2.20)

= k=0 k=0

Cộng (2.18) và (2.20) nhân 2 về cho s/S ta được

2n 5Š (9) + = 9(0")) > |lu* = w*|| +27 hile’ — wht? = jut = wf’, " ¬ ẽẽ Het

+ O(u") — O(w’) > fut — uff

2.2.2 Các tiêu chuẩn chọn kích thước bước

Như đã phân tích ở phần trước, phương pháp xắp xỉ bậc hai hội tụ khi tham số s" thỏa mãn điều kiện trong Bồ đề 2.3.4 Với s > E ta cĩ

|F@) = F(0) = (F7 (0) ,e = w)| < g|p = |

Do đĩ, với s > L, ta cĩ được

O(v) = F(v) + ®(v) < F(u) + (F (u),v—u) + sÍ" — u|Ÿ + đ (0)

vỡ â, (ứ,u) = F (0) + (F' (w),ø — w) + š||p — u|Ÿ + (v) nên ta cĩ:

6) <,(0.u)

Như vậy, các điều kiện trong Bồ đề 2.2.4 luơn thỏa man néu s" > L, Yn Việc chọn s” ảnh hưởng đến sự hội tụ của phương pháp kiểu Gradient

Nếu bỏ qua tốn tử co rút mềm §z,, tham số 1/s” là kích thước bước của

cần tìm kích thước bước trung gian f" bằng cách

t” := arg min F(u" — tF’ (u")) ?>0 (2.21)

Ap đặt một giới hạn trên và dưới cho tham số s*, ta cĩ một lựa chọn đầu tiên cho kích thước bước

s = max (- min (- =)) m

Trang 35

30

khơng cần phải giải chính xác Ta chỉ cần tìm kết quả xắp xỉ đến điểm cực

tiểu Ta sử dụng quy tắc Barzilai-Borwein trong [6], ta cĩ:

(u" =u"! F'(u") — F’(u"))

vs" = max(S, min(s.75)- (2.22)

2.2.3 Giải thuật kiéu Gradient

Để phương pháp kiểu Gradient hội tụ, ta cần áp đặt điều kiện cho các

kích thước bước từ các phân tích ở phần trên, chúng ta cĩ thể chỉ tiết

phương pháp này bởi giải thuật sau:

Algorithm 2.2.1 Giải thuật kiéu Gradient (gt1)

Tnput: Dự đốn ban đầu u : @(u9) < se, € (1,00) va s® € [s,3],0 <3 < pl <3< °° 1: for n = 0 „do 2 repeat

& uM Sa, (u"— ZF (u"))

4 if O(u™) > O, (uw, u") then 5: shes" © endif 7 untill @ (w"*!) < Oy (u"*#,u") or s" 8 Tinh s"*? 9: end for Output: w= limu"

2.3 GIAI THUAT CAI TIEN CUA BECK

Phương pháp kiểu Gradient hội tu khá chậm Để tăng tốc độ hội tụ của phương pháp nhiều nhà nghiên cứu đã đề xuất các phương pháp cải tiến khác nhau Trong phần này, ta nghiên cứu một trong nhiều phương pháp đĩ, cụ thể là phương pháp cải tiến của Beck, phương pháp này được Beck

và cộng sự nghiên cứu trong [5], |6], [13] Sau đĩ, được nghiên c bởi nhiều tác giả khác, ví dụ trong [14] Phương pháp cải được trình bày ở giải thuật sau:

ì mở rộng,

Trang 36

Algorithm 2.3.1 Giải thuật cải tiến của Beck (gt2)

Tnput: dự đốn ban đầu ÿ° € dom®, p € (1,00) ,to = 1 va s° € [3,3], (0<s < pL < F< oo)

1: for n=

2 repeat

3 u" Saga (y" — KF'(y"))

4: @(u") > Oy» (u",y") then 5: shes"u © endif 1: 8 9 „ do untill 6 (u") < Oy (u"y") ors" ¢ [s.5] eying tau + EY wht cu + (teat) (ut — a2) 10: Tinh s&s" 1: end for Output: u = limu" Tinh cht hội tụ của giải thuật được trình bày trong các bổ đề và định lý sau: Bồ đề 2.3.1 Cho các dãy {u","} được sinh bởi (g9) thỏa mãn Ÿn > 1 2 2

ấn h— Trfaitnei > [lensall? — llenll?,

Chứng minh Sử dụng Nhận xét 9.2.3 với (0,u, s

(e,,s) := (w*,y"*1, s"#)) ta được

2

mm (On = esi) > [it — y P42 (ut =y" yt ul) (2.23)

Trang 37

32

Nhân hai về của bất phương trình (2.25) cho t,41 ta cĩ

2 ntl _ ymtly |?

Sot (thier — tnsa)On = Earnest) > [ener (ut = 9") If 3Ð ("$1 — P91 tị = (tar — Iu" =u’)

Ta Ap dung hé thite #2 = #2.) — tay, & bước thit 8 ctia (gt2)

2

— S00 = ft) > |llea (9 = y*9|Ÿ

+ tng (ur? —y"™* trary"! = (tng — Lu" =u") (2.26)

Ap dung dinh If Pi-ta-go

lb — a|Ủ +2(b— a,ø— e) = ||b — e|Ê — lla — e|Ê Xét về phải của bất phương trình (2.26) và đặt ai= buiigPtft, bi tại ft, ez= (tay — 1) h + Khi đĩ, ta được qe( 0 — 18a) 3 lai = (haga Dut wf? = |Itnsry"* — (sài — 1) = |

Vi vay, với "*! (ở bước 9 của gt2) và z„ được xác định bởi

tasty"! = tryiu” + (tn — 1) (u" =u!) va Lp = tau" = (ty —1)u™) =u" 2 2 2 = Far tien — Gheatnet) > |[ẽuel|Ủ — len |Ủ› Vi s"*! > 8", ta suy ra 2 2 2 > mm - n1Đne > llzs+illf — llzn|Í Bồ đề 2.3.2 Cho {an}, {bạ} là các dãy thực dương thỏa mãn

Trang 38

Bồ đề 2 Cho {tn} là dãy dương được sinh bỏi (gt9) thơng qua bước 3 tới tị = 1 thỏa mãn tạ > #‡1, Vn > 1

Định lí 2.3.4 Cho F lồi va thỏa mãn tính chất 1, 2 của Giả định 2.1.1 Cho {u"} được xây dựng ở (g2) à u* là cực tiểu của Bài tốn (2.4) Khi đĩ Yn > 1 ©(")—©(w°) <Š Chứng mình Cho 0„ được xác định ở Bỗ đề 2.3.1 ta đặt = ZR, Oy == [aul e:= lụt = 0 P= [fu — wtf Khi đĩ, từ Bổ đề 2.3.1, Vn > 1 ta cĩ: ty = © (00) — (02) Ta giả sử rằng ai + bị < e, từ Bổ đề 2.3.2 ta được 2ø oe ee oat? Vit, > (n+1)/2 (do Bé dé 2.3.3), ta suy ra <2 2s" ||u? — w*|| NI (n+1}

Trang 39

31

= F{llut — wf? + ll — uP) ẩn < |v will? = jet — wf

Trang 40

CHƯƠNG 3

MOT SO Vi DU VA UNG DUNG

Trong chương này, luận văn sẽ áp dụng hai giải thuật đã nghiên cứu ở Chương 2 để giải một số bài tốn cụ thể và minh họa các tính chất hội tụ

3.1 BÀI TỐN TỐI ƯU KHƠNG TRƠN HAI BIẾN 3.1.1 Bài tốn Tìm cực tiểu của hàm số © : R? —› R xác định bởi: ©(#) = xy + x9! — 4mz¿ + a (|24| + fara), Vari, 22 € R? (3.1) Bài tốn này, cĩ dạng như Bài tốn (2.4) với: F(x) = 214 + 294 — Ariza va (x) = a (|| + ||):

Bài tốn (3.1) mặc dù trơng cĩ vẻ khá đơn giản nhưng việc tìm nghiệm

chính xác của bài tốn thật sự khá khĩ Bằng hai chương trình Matlab như trên, chúng ta cĩ thể tìm được nghiệm xắp xỉ của bài tốn một cách

dé dang

3.1.2 Chương trình Matlab cho giải thuật kiểu Gradient

“Trong phần này, chúng ta trình bày (gt1) được mã hĩa trong mơi trường

Định dạng
Số trang	53
Dung lượng	8,12 MB