LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦUCHƯƠNG MỞ ĐẦU I.Bài toán tối ưu và phương pháp số: Trong thực tế có rất nhiều vấn đế được đưa vẻ việc tìm cải tốt nhất, thời điểm tốt nhất, phương án thu
Trang 1| TRC ‘ONG ĐẠI HỌC SU PHAM - TP HO CHÍ MINH '
KHOA TOÁN - TIN
¬¬**#+#+@~~z+~
“Mu tig
MAI DUC THANH
Luận văn Tốt nghiệp Đại học
Chuyên ngành Toán
- —_—_————_ eee
| TP HCM - 05/2002
Trang 2MOT VAI PHƯƠNG PHÁP SỐ GIẢI BÀI TOÁN TOI UU PHI [i> |
Luận văn Tốt nghiệp Đại học.
Chuyên ngành Toán.
SVTH : Mai Đức Thanh Khóa 1998-2002.
Người hướng dẫn : TS Trịnh Công Diệu.
Người phản biện :TS Nguyễn Chí Long.
Luận văn được bảo vệ tại bộ môn Toán Ung Dune
Khoa Toán — Tin trường Đại học Su Pham TP Ho Cin Xu
Ngày 03 tháng 06 năm 2002.
Trang 3MỤC LỤC
Chương mở đầu
I Bài toán tối tu và phương pháp số.
Il Phương pháp số cho bai toán tối ưu phi tuyến không điều kiện.
Chương I : Phương pháp Gradient
! Phương pháp giảm nhanh.
Il Biến thể phương pháp.
Ill Phương pháp Gradient mở rộng.
Chương II : Phương pháp Newton
| Phương pháp Newton.
Il Biến thể phương pháp.
Chương III : Một số áp dụng
I Cực tiểu hóa ham bậc hai
II Tinh khoảng cách trong không gian Euclit n chiếu
Chương IV : Thuật toán hóa các phương pháp
và một số chương trình máy tính
I Thuật toán hóa các phương pháp
II Một số chương trình bằng ngôn ngữ Pascal
41
Trang 4LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU
CHƯƠNG MỞ ĐẦU
I.Bài toán tối ưu và phương pháp số:
Trong thực tế có rất nhiều vấn đế được đưa vẻ việc tìm cải tốt
nhất, thời điểm tốt nhất, phương án thuận lợi nhất, hay nói cách
khác là chọn đối tượng tối ưu nhất theo một tiêu chuẩn nào đó.Lớp
doi tượng cần chọn cũng thoả man các tiêu chuẩn nao đó Khi ta "mô
hình hoa toán học" những van dé nảy tạo điển giải hình thức cho
lớp các đối tượng, khảo sát cho tiêu chuẩn tổi ưu,ta sẻ có bai todn tối
ưu (toán học) Da có rất nhiều vấn dé toán học được phát triển tren
cách nhu cau thực tế va kết quả lý thuyết (trifu tượng) được áp dụng
trở lại thực tế thành công như bải toán vận tải, bài toán kế hoạch
Bai toán tối wu được chia làm hai loại: bai toán tối uu tuyến
tính nếu hàm mục tiêu va các rang buộc được biểu diễn ở dạng tuyển
tính.bải toán tối ưu phi tuyến nếu bài toán không có diéu kiện trên
Ta cũng có thể chia dạng bai toán tối ưu theo kiểu khác : bai
toán có điều kiện va bai toán không điều kiện tuỳ theo cỏ rang buộctrên hay không.
Phương pháp số là phương pháp tỉnh toán dùng để tính giả trị
của một đối tượng nảo đó, phương pháp phổ biến lả xây dựng một
day xấp xi các đối tượng hội tụ vẻ đối tượng cản tìm dé thong qua
day nay chọn một đối tượng thay thế cho đối tượng được khảo sát,
điều quan trọng của cách lam này la nhờ đó có thé chỉ ra được độ sai
khác của việc thay thể nảy
Trong luận văn nay chúng ta chỉ khảo sát bài toán quy hoạch
phi tuyến khỏng rang buộc, nghĩa la ham f la ham phi tuyến và ta
cần tim minif{x) : xeIR"|
Luận van được chia lam 4 chương (khong tinh chương mở dau) :
Chương 1 : Giới thiệu vé phương pháp gradient các biến
thé, các tính chất của phương pháp.
Trang |
Trang 5LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU
Chương 4 : Thuật toán hoá các phương pháp vả một số
chương trình may tinh tương ứng.
Trong luận văn ta sử dụng một số ký hiệu khái niệm sau :
2 Định nghĩa 1.1 : Cho D ia tập mở trong IR" vả f : D > IR ,giả sử f
khả vi tại mọi x thuộc D , dao hàm f là anh xạ tuyến tính từ IR"
vào IR f(x) = [2 @\, See ey |.
ô, Ox, ox,
a Chuẩn của f(x) 1 f(x) l= DEON
a Dinh nghĩa 1.2: Cho ham f: IR" —> IR
x —+»f[x)
Ham f được gọi la dat cực tiểu tai x nếu f{x’) < fx).Vxe IR"
Ham f được gọi la dat cực tiểu địa phương tai x’ nếu tổn tại một
lan cận U của x’ sao cho fix) < fix) ¥xeU.
2 Cho x,yelR" ta ký hiệu tích võ hướng x,y la <x.y> = Yxy,
bet
a Chuẩn của xeIR° la:|xl= (x,x)
a Với xe IR”,ta coi x la một vectơ nếu sử dung trong tích vô hướng
và xem x la ma trận cột nếu sử dụng trong phép tinh ma tran
2 Định nghĩa 1.3: Ma trận vuông đối xứng A được gọi là xác định
dương nếu <Ax,X> > 0 ,VXzO ,xe IR”
o Mệnh để 1.1: Ma trận vuõng đối xứng A = [ay]a„ xác định dương
khi va chỉ khi định thức của mọi ma trận con [au]„„ déu là số
dương.
2 Định nghĩa 1.4: Cho hàm f: IR° —> IR
x —> f(x)
Ham f được gọi là lôi nếu với mọi x) x2 e IR": mọi A), Ag € IR
thod 2; + Ag=1 thi: {0 x1 +222) S Ay flx)) + A2flxa)
Ham f được gọi la Idi nghiêm ngặt nếu với mọi x;, x2 e IR" : mọi
Ay A2 € IR thoa A) + Ag=l thi: f¡X¡+^zX:Ì} < 2¡fxi) + Aallxa)
¡u Mệnh để 1.2: Giả sử ham f có dao ham cấp hai liên tục khi đó
các phát biểu sau la tương đương:
(a) Hàm f là ham lôi,
(b) fxg) - í(x¡) = <f(X\) x2 - X:> ,VXvy.XzelR”.
Trang 2
Trang 6LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU
———————————-—_— ẮmmCC.
(c) Ma trận dao ham bậc hai fˆ(x) thoả man:
<f (x)p.p> > 0 Vx, peIR".
4 Ménh để 1.3: Nếu ham f có đạo hàm cấp hai liền tục va có một
hằng số meIR, m > O dé ma trận dao ham bậc hai f”(x) thoả man:
<f(x)p.p> > m lpÍ? vx, pelR°
thi ham f lỗi nghiêm ngặt
I.Phương pháp số của bài toán tối ưu phi tuyến không điều
kiện:
Trong đẻ tải này chúng ta chỉ xét đến bải toán tối ưu phi tuyến
không điều kiện Như ta biết mọi bài toán tối ưu déu có thể đưa vẻ
bài toán tìm cực tiểu một ham số, nên bai toán ta xét có dang:
Tìm cực tiểu ham số f: IR`"—>IR ,với x =(xÌ,x?, x").x' € IR
x —— fix) Bai toán nay đã được giới thiệu trong bộ mòn Vi Tịch Phan với
gid thiết ham f khả vi cùng phương pháp kiểm tra tinh xác định
đương của ma tran đạo ham bac hai tại điểm dừng.
Tuy nhiên việc giải hệ f(x) = O chưa có thuật toản, phương pháp
tổng quát Trong khi đó, thực tế chỉ yêu cầu tính giá trị gản dung của
cực tiểu va điểm đạt cực tiểu Đồng thời thực tế yêu cảu cản có thuật
toán phương pháp cụ thể với sự hỗ trợ máy tinh trong quả trình giải.
Phương pháp số giải bài toán cực tiểu hoá thưởng xây dựng một
day {xy} hội tụ về x’ sao cho f[xx„p} < fq) Dảy (x) có dang:
Xk+i “ Xk + Ax Pr
Với px € IR" là vectơ định chiéu giảm của f tại một lan cận của
X„ & € IR là hệ số dương bảo đảm cho f[xx.1)) < fxd
a)Cách chon véctơ p,:
Trong lân cận của x, có nhiều vectơ xác định chiều giảm của
ham f tại f(x„) Dé chọn một vectơ p„ như vay ta chỉ cản chọn p„ thỏa
man BDT <f(xy¿Ì.p„> < 0.
Thật vay,theo khai triển Taylor ta co:
MXico1) = Í(xy) + <Íf(Xv),Xk.ị — Xx> + KL (Xue Xkor — Ke) ker — Xe>
VỚI Xe = Xx + O.( Xx.i — Xk) : O € [O,1].
œ fixer) - Mi) = av.<f(Xx).Ðv> + ay2/2.<f”/(Xx‹)-Px
:Px>-Vậy nếu <f(X¿).p„> < O thì với một số a, khá nhỏ nao do ta có
fix.) <flx,), nghĩa la tổn tại một lan cận của x, để ham f giảm theo
phương px tại f(x;)
Trang 3
Trang 7LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU
SD
b)Cách chon hệ số a:
Khi đã chọn p„ thỏa man BĐT <f(x,).px> < 0, ta chỉ cần chon a,
trong lan cận của x, ma ham f giảm tại flx,) theo phương px tức là
chọn a, thỏa BĐT f(xy.;) - flxy) < e.ax.<f (Xx).px> với e là hằng số
O<c<].
Ta cũng có thể chọn cách khác dé day | f(xy)l giảm là a, thỏa
điều kiện: f(xx.¡) = [x + ax.px) = min {xx + a.px)
với cách nay cách chon ay lại trở thành bài tóan cực tiểu hàm một biến gla) = fix, + a.ph).
c)ÌCác vấn dé cần giải quyết của phương pháp:
i) Với cách chọn p, va ay như trên ta đã xảy dựng được day (xx!sao cho day | f{x,)) giảm nhưng chưa thể khẳng định được day (xu) có
hội tụ hay khong vả nếu hội tu thì có hội tụ vẻ điểm x’ đạt cực tiểu
hay không Sự hội tụ này chỉ đúng với từng phương pháp ứng với một
lớp ham nhất định
ii) Gia sử day Ixy! được xây đựng da hội tụ thi day (x„| sé hội
tụ với tốc độ nào Tốc độ hội tụ nay trong thực tế rất quan trọng vi
nếu sự hội tụ quá cham thi với dung lượng bộ nhở có hạn, máy tinh
khó có thể thực hiện được quá trinh xáy đựng dãy (xx) gắn vẻ điểm
hoi tụ.
Định nghĩa 1.5: Cho day số (xx! hội tụ vé x’, ta nói:
+ Day số (xy) hội tụ với tốc độ một cấp số nhăn (linear rate)
công bội q nếu ta có: Íxx.¡-x«Í< q.Ìx„-x«Í hoặc Ïx„-x‹Í< q*.C
với O <q< 1; C<z.
+ Day số (xy) hội tụ với tốc độ trên cấp số nhan (superlinear
rate) nếu ta có:
lxx.¡-x-Í< que Íxu-x-|Í hoặc Íx„-x-Ï< q›.q2 qx.C
với day |qxÌ + O khi k + œ ; € < z,
+ Day số (xy!) hội tụ với tốc độ bac hai (quadratic rate) nếu tacó: Ïxu¿¡-x«Í< C Íx„-x‹ | *.
Hi) Khối lượng phép tính được tiến hành của thuật toán củng
rất quan trọng vì nó ảnh hưởng đến thời gian làm việc của máy tính.
Do đó ta cản cải tiến các phương pháp nhằm giảm bớt khối lượng
công việc của máy tính.
Trang 4
Trang 8LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
CHƯƠNG 1: PHƯƠNG PHÁP GRADIENT
LPhuong pháp giảm nhanh;
TY cách chon vectơ px thoả man <f(x„).px> < 0, trong phương
pháp này ta chọn px = - f(x).
Day {xxl có dang Xx-1 = Xk ~ ax Ẩ(Xy).
Để chon a, thoả man BDT:
f(Xx„:) — fad < av<f(X¿).Ðx> = -e.ax 1 f(xa) 17.
Ta đùng thuật toán sau (gọi la phương pháp lặp chọn a,):
Cho a một giá trị cho trước (vd: lấy a = 1)
+Bước 1:Tính x = x, - a f(xy).
+Bước 2:Tinh fix) = fix, - a (x;)).
+Bước 3:Kiém tra BĐT: flx) - fix) <-e.a | f(x |?
+Bước 4:Nếu bước 3 kiểm tra BĐT cho kết quả sai Ta
giảm a bằng cách nhân a với t (O<t<1) rối lặp lại các bước cho
đến khi BĐT bước 3 đúng Khi kiểm tra BĐT bước 3 đã đúng, tachon a, = a.
Phương pháp chon vectd p„ như trên được gọi là phương pháp
giảm nhanh hay phương pháp gradient.
Định lý 1.1: Giả sử ham f bị chặn dưới, đạo ham f thoả man diéu kiện: |f(x)- f(y) ls R Íx- yÌ vx.yeIR°
Khi đó với phương pháp giảm nhanh, có a, được chọn bang
Trang 9LUẬN VAN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
ee
= -a If (x, |? + Ra? | f(x„) |?
= -a Í f(x) |?(1 - R.a) Vay để BĐT fx) - fix,) <-c.a Íf(xy) Í?, ta cản chọn a sao cho:
(1 ~ Ra) >e ca < =
Điều nảy chứng tỏ sau một số bước hữu hạn giảm a thuật toản
chon ax sẽ đứng tức là thuật toán thực hiện được.
«
Mặt khác do a chon ban đầu ban đấu là | va doa < = thi ở
bước 3 BĐT được kiểm tra là đúng, nén a, > min[1.tL.` Êi
Ta có: fxx.i) — fla) <-e.ax Ì f(xy) |?
=lf@)I2< 55.)-x.„)
x
Do ham f{x) bị chặn dưới nên day [f(xy)| bị chan dưới, ma day
\{{x,)) là day giảm nén hội tu.
=> Í[Xy) - Í(Xe.¡) ~O khi k-»œ
Định lý 1.1 khẳng định sự thực hiện được của thuật toán chọn
a, và dây {xx} hội tụ tại điểm đừng x” (ma trận đạo ham f(x’) bang 0).
Kết quả thu được có thể là điểm cực tiểu địa phương điểm yên ngựa
(nếu có) chứ không phải là điểm cực tiểu Tuy nhiên trong thực tế ta
chỉ cắn biết giá trị hàm mục tiêu khá bé so với giá trị đã biết ban đảu
la đã sử dụng được Do đó phương pháp trên có thể áp dụng được vào
thực tế.
Khi ham f bị chặn dưới Điều kiện I f(x)- f(y)|< R.Íx- yl chỉ
cần đúng với mọi x.y nằm trong một lan can rất lớn của x, vì dãy (xy!
sé hội tụ trước khi vượt ra khỏi lan cận đó Do đó lớp ham áp dụng
được phương pháp này khá rộng
Trang 6
Trang 10LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
pháp lập thi với mọi giá trị ban đầu của x, các day |xạl, |f(xx)l hội tụ
vẻ x’ f[x) (x` là điểm đạt cực tiểu duy nhất của ham mục tiêu f ) với
tốc độ được ước lượng bởi các BĐT:
tiểu x" là điểm dừng Do đó theo định lý 1.1 thì dãy (xx! hội tụ vé x”
va day [f(x¿)| hội tụ vê f{x).
Theo công thức Taylor ta có:
Trang 11LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
Tử fix) - fix’) < six x1? = Ix- xl? 2 2 (ft - fx)) (3)
=> ÍXw.¡) — 1X) <-c.ay mÍ1 + m (Ea) - fix’)
=> fXw.i) - fix’) < [1 - e.ay m{1 + ME) -fx) — t4)
Với thuật toán thi x - x, = -a f(x;),ta có:
fix) - fxd = < F+).X — Xu> + >< fˆ(Xw-)(x — Xạ).x — Xạ>
2
= -a.1f{x,) 1? + >< f(xke) f (xi) f(xx)>
s -a(l-TM) | roa?
Vay khi a-S) >cœa< _— thi BĐT chon a, thoả man do
đó nếu —8 < 1 thì tương tự định lý 1.1 ta chứng minh được:
=> fix.) - fix’) < q*.(f,) - fix’)
Mã = Ix„- x1? < fix) - fix’)
=lxx- x |? < 2 fx) - fx)) < q" 2 (fix,) - fix)
m m
=lxe- x 1s LỄ (hed - fhe')1'7.4" = C.a*2
Trang 8
Trang 12LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
Vậy định lý da được chứng minh
+Nhận xét:
Định lý 1.1 chỉ chứng minh sự thực hiện được của thuật toản
nhưng chưa chỉ ra được tốc độ hội tụ của các day (xx) (f(x) đồng thời
chưa khẳng định được sự hoi tụ của day |x„j vẻ điểm đạt cực tiểu.
Định lý 1.2 tuy áp dụng cho lớp ham hẹp hơn so với định ly 1.1
nhưng đã khắc phục được các nhược điểm nảy Tốc độ hội tụ của các
day (xx) (fx„)\ được đánh giá là tốc độ một cấp số nhân với công bội
x 1/2 2r(l-e)m m
là q ““ và q ,ở đáy q=] -t.— rr (1 + um
Nếu ta coi t, M, m là những hằng số cho trước thi khi đó gia trị
q nhỏ nhất khi c.(1-e) lớn nhất Tử BĐT Cosi ta có #1—£) < F nén
Nếu ta coi t, e là những hằng số do ta chon thi q cảng nhỏ khi
ti số = cảng gan 1 Nếu tỉ số = << | thi q rất gan 1, khi dé
phương pháp không hiệu quả vi tốc độ hội ty rất cham.
Ở phản | ta đã đưa ra thuật toản chọn p„=-f(xx) và cách chon
a, thoả BĐT : f(xx.1) ~ fix, < -e.ax 1 f(xy) |? bằng phương pháp lặp.
Nhung ở định lý 1.1 và 1.2 ta đã chứng minh được BĐT trên luôn
thỏa man khi a, < x hoặc a,< ae °) Như vậy nếu ta xác định
trước hang số R hoặc M thì ta có thé chon a, là hằng số a với a <
na hoặc as *{~®), với cách chon ay là hằng số nay số lượng phép
tính may tính cắn làm sẽ giảm đi rất nhiều so với phương pháp ban
đâu.
Ixu| được ước lượng bởi:
Ix¿- x`Í< q* lxo- x`Í với q=maxt! 1-a.m1, | 1-a.MII
M-m 2
va q nhỏ nhất 1a: Qmin= HN đạt được khi NET mm
Trang 13LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
=Ìxw.¡- xD? =<xụ - x" - a.f (Xcel xe-X) Xw.¡-X” >
=<(I - a.f”(xwe))( Xie") Xx.;-X` >
SUT - a.f (xe) | Ix-x” Í Í x„„¡-x` |
©lx„„ị- x`[<Íl1 - a.f'&)Í Ix„-x`Í.
Đặt quell - a.ffx)Ï thì Íxu¿¿- x 1s q Íx„-x Í.
= | xx - x`Ís q" | xo-x' Ì
Vi q=Í1 - a.f (xx) |= maxi! 1-a.ml, | 1-a.MI|
= nể In) 3 | M.(1 - ma) - m.(I - Ma) | - M-m
M+m M+m M+m
Dấu bằng xảy ra khi va chỉ khi 1-m.a = -{1-M.a]) © a =
ts —:
M+m M+m Vậy định ly đã được chứng minh.
fixy) : fixe.) = fix, — ax.f(xx)) = min f{x„ — a.f'(x,)), như vay để chon ax
ta lại đưa về bai toán cực tiểu hoá ham gla) = f(x, - a.f(xy)) Ta có
thể dùng ngay phương pháp giảm nhanh để chọn ay.
khi k-> », với mọi điểm x, ban dau.
Chứng minh :
Như định lý 1.1 ta đã chứng minh được
fix) - flxx) < -a 1 f(x„)Í? + Ra? | f(x„) | ?
Ham số hía) = -a Ì f(x) |? + Ra? | f(xy) Í? là ham bác hai theo a
đạt giá trị nhỏ nhất tại ane
Trang 10
Trang 14LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
ma f(xw.i)- {xd = min (f(x, - a.F(x¿))- foe) < min h(a)
ia ‘
=> Í(Xw„¡)- Í(Xy) s his? iR IftxJl* <0
=> 0< lft(xu)Í? < 4.R (fxy)- fx.)
Vi day {flx,)} là day giảm ,bị chan nên hội tụ
=> Í[xy)- f(Xy.¡) => O khi ko
= lf(xujÍ +» 0 khi kx
Vay định ly đã được chứng minh.
Định lý 1.5 Nếu ham f thoả điểu kiện định lý 1.2 với phương
pháp Gradient có ay được chọn sao cho :
Fixer) = [Ấx, — ay.F(xi)) = min fÍxy — af (x) thì day [xạ] hội tụ với
= fWx.i) -flx) < -fa - = m(1 + ).(fbx) - fix)
= fyx.) -f) < [I-(a - =) m{1 + HH - fixe)
= —— (fx) - fx‹))
= fxw.i) fx) < flyxer) fx) < woos (fx) - fixe)
Tương tự định lý 1.2 ta chứng minh được:
Trang 11
Trang 15LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
Ixkei- xb s —— Dx xe
Tứ đó ta có diéu phải chứng minh.
III.Phương Pháp Gradient mở rộng:
Cho F la một ma trận đối xứng tuỷ ý thỏa man điều kiện :
3p>0: plyl? < <Fy y>s Plyl? ,V yeIR° (e)
Tử cách chọn vectơ px, ta cỏ thể chon px = -F.f (x) vi:
<f(X¿).pu> = -<f(Xạ) F.F(xx)> < -p If (xl? < 0 vậy ta có thể xay dung day |xx| dạng :
Xksi = Xe — Ay.Fx.(Xx)
Với [Fy] là một dãy ma trận thỏa man tinh chất (¢) Khi đó day
1
(Fy '| thỏa man : mlyl? < <Fy ,y> s Milyl? với my = ¬ M, = 7
Vay ta cùng có thé xáy đựng day (xy) với py = -Fy' f(x :
Xker = Xk — 8w Fx '.f(Xụ).
Day là phương pháp Gradient mở rộng vi khi ta lấy Fy = | thì sé
trở thanh phương pháp Gradient.
Vẻ cách chon a, ta vẫn làm tương tự như phương pháp Gradient
với các cách :
« Chon a, bằng phương pháp lặp thỏa man BDT :
f[xx.y) - fad < £ ay<f(Xx).Px>
« Chon a bằng hang số thỏa BĐT trên
« Chon a, sao cho fixx+:) đạt cự tiểu của ham f theo phương px
tại fix.
Định lý 1.6 : Với phương pháp Gradient mở rộng va ax được
chon bằng phương pháp lặp định lý 1.1 van đúng.
Trang 16LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
—
= (1- = ) a.<f(xy).px>
(vi px=Fx '.f(Xu) © P(x) = Fxpx ).
Tương tự định lý 1.1 taco:
với ay < ee thi BDT: f(xx.;) - f xa) < © ax<f(x,).px> đúng va ta
chứng minh được Íf(x„)Ï—» O khi k + © theo BDT :
Dinh lý 1.7 : Với phương pháp mở rộng định lý 1.2 van đúng
Chứng minh :
Nếu X = Xx + ap, ma py = -Fy'.f(x,) khi đó :
2
fix) - fix) = a<f(x,).px> + >< '(Xwc}Px.Px>
< a<f(xu).Px> (a+ ea, )
ma <f(Xy).px> = -< Fxpx.Px > < -p| px Ì?
=> f(x) - fad < a<f(Xx),p„> (1- = )
vậy BDT fixx.:) - fx) < e ax<f(x,),p.> van thỏa man khi
1 TMM :c@œa« Mì tương tự định lý 1.1 ta chứng minh
2.p
2p(l - £)
t.
được ay 2 M
vậy với điều kiện của định lý 1.7 thuật toán chon a, vẫn thực
hiện được tức lả a, thỏa mãn :
Trang 17LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT
“———ễ Ầ XFXF F_
=> flxx.) - fix) < -£ ay mym(1+ m } Iftxy) - fx")
=> fxx.i) - fix") < Í1-£ ay m;m(1+ = )) Iftx¿) - ftx)]
a Với phương pháp Gradient mở rộng ta thấy kết quả các định
ly 1.1, 1.2 vẫn đúng nghĩa là tính chất của phương pháp này
cũng giống như phương pháp trước Tuy nhiên tốc độ hội tụcủa day (xx) |f(x„)| trong phương pháp này là cấp số nhân ti
số q bé nhất khi Eel Nghia là với phương pháp nay trong
trưỡng hợp dãy {F¿| tuỳ ý thỏa diéu kiện đả cho thì tốc độ
hội tụ còn chậm hơn so với phương pháp trước.
a Ta cũng có hai biến thể chon a, là hằng số khi biết R hoặc
M là: a, < TP ¡ 8ụ s 2(1-e).p va bién thé chon a, theo diéu
kiện : {Xk + 4x.px) = min (f(xx) + a.p„)
Hoàn toản tương tự định lý 1.4 ,1.5 ta chứng minh được định lý
sau :
thi day {x,J hội tụ về điểm đạt cực tiểu x’ với tốc độ một cấp số
nhân.
Trang 14
Trang 18LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON
CHƯƠNG 2: PHƯƠNG PHÁP NEWTON
Giả sử ham f lôi nghiêm ngặt và đủ trơn Khi đó:
3 m»0: <f”(x)y,y> = mÏy|? vx.yeIR”
Ta chon vectd py, sao cho: <f(Xxy).Ppy> =-<Í”(XxÌÐx.px> < O
3 M>m>0: mÌy |? < <fˆ(x)y.y> < MlyÍ?, vx,yeIR"
Vậy phương pháp Newton là trưởng hợp riêng của phương pháp
Gradient mở rộng nếu lấy Fy f (x„) Vì vay sự hội tụ của dãy [x,| về
điểm cực tiểu duy nhất x đã đúng ta chỉ cỏn đánh giá tốc độ hội tụ
của các day |xạÌ |fxx)] trong phương pháp.
Định lý 2.1: Với hàm f thoả man các điều kiện trên.với phương
pháp Newton vả cách chon a, thoả man BĐT ;
fX ¡) - fix) < e.a<f(Xx).Px>
là:
1 Xie: = x I< C.AN- Ane} Anes
với N.C < œ tAnay <1, VI 2 Or, + 0 khil > œ
Trang 19LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON
= Dxne-xkl = OD xix 1+ 0 khi ko
Do f là ham liên tục = If" (xxel-fM G1 + O@ khi kom
Vậy với mọi hằng số e sao cho O<e<1/2 có một số Na(c} sao
a a Jf"(x,.)-f"(x, ){
cho với mọi k > Nofe) thì diéu kiện : 1-—* -—>
2 2 m thoả khi a, = 1 Nghia là khi đó với ay = 1 thi:
= Ixxa-x'l< £1 ted - Pb bbe x’
Dat y = ~ Vf (xa) - ff(xx:;)Ï ma DP (xud-f(x 1 +O khi ko
nén với một số N nào đó thì 2x < 1, với ¡ > O vả A; +0 khi io
Trang 20LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON
thì khi đó với phương pháp Newton, va cách chon a, thoả man BDT :
Vay day [xy] hội tụ về x” với tốc độ bac hai.
+Nhân xét: Với điều kiện định lý 1.2:
ml yl? < <f(x)y.y> < Ml yl? M>m>0, vx,yeIR"
thi với phương pháp Gradient tốc độ hội tụ của day (x,y) chi được
ước lượng là tốc độ một cấp số nhán nhưng với phương pháp Newtonday (x,| được xảy dựng lại có tốc độ hội tụ trên cấp số nhán Hơn
nữa, khi điều kiện:
If'@d- f'(y)l< R.Ix-yl vx y e IR"
thoả man thi dãy |x,| được ước lượng hội tụ với tốc độ bac hai
Vậy so với phương pháp Gradient thì tốc độ hội tụ của day |x;Ì
được cải tiến nhanh hơn rất nhiều.
II.Biến thể của phương pháp:
Với phương pháp Newton, ta cũng có một biến thể khác mà a,
được chọn thoả man điều kiện:
f[xx,\) =Íxx - axl God)! (xạ) = min ffxy - al (xd) f(x,))
Vậy ở mỗi bước chọn a, ta có thé coi như mọt lan cực tiểu hoá
hàm số gla) = fIxx - a(f”(xa))}` f(x).
Khi đó tốc độ hội tụ của day {x¿) được ước lượng theo định ly
sau:
Trang 17
Trang 21LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON
Định lý 2.3: Với biến thể của phương pháp Newton mà ay thoả
Chứng minh:
Dat x,,, = Xx - ( (x¿))” fxs) Với một số N nao đỏ khi k 2 N
thì x,., chính là cách xây đựng tif x, theo phương pháp Newton ban
đầu nên ta có: | x,.,-x`Í< Age Xa xT với A„ = - Vf (xq) - f(x„.;) |
Ma theo chứng minh của định lý 1.2 ta có:
3 Ix- x 1? < ffx) - fix’) < six a
> = I xsi x1? < fxw.i) - f(x)
< flx,,,) - fix’)
M,;— |.
sy Ix.„- xI?
Ixxer- x'Í< (Mya X.-xÍ< (EY a be x’ |
Với điều kiện định lý 2.1 thi (Sy O nén day |xy| hội tụ
nhanh kơn bất kì cấp số nhân nảo.
Với điều kiện định lý 2.2 ta có: 3x < ` xe: x'Í
Trang 22LUẬN VĂN TỐT NGHIỆP MỘT SỐ ÁP DỤNG
CHƯƠNG 3: MỘT SỐ ÁP DỤNG
L.Cuc tiểu hoá hàm bậc hai :
Ham số đi từ IR" vào IR có dang :
c) Khi A xác định dương thi tôn tại các hằng số M > m > 0 sao
cho: mlyl? < < f(x)y.y> s MÌyÍ? ;V x,yeIR"
That váy, vì f 161 nghiêm ngặt nên theo tính chất hàm lôi thì
m tốn tại.
Mat khác, ta có: với i z j thi ay = ay
=> ay Vy) + ay-Yy-yi = 2 ay yey;