Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 37 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
37
Dung lượng
269,98 KB
Nội dung
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI II
KHOA TOÁN
****************
ĐÀO THỊ HẬU
PHƯƠNG PHÁP MIỀN TIN CẬY
CHO CÁC BÀI TOÁN TỐI ƯU
KHÔNG CÓ RÀNG BUỘC
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Giải tích
Người hướng dẫn khoa học
Th.S. Phùng Đức Thắng
Hà Nội - 2015
2
LỜI CẢM ƠN
Em xin chân thành cảm ơn Th.S Phùng Đức Thắng đã tận tình
hướng dẫn, giúp đỡ em trong suốt thời gian thực hiện khóa luận.
Em cũng xin được cảm ơn thầy Bùi Ngọc Mười đã góp ý chi tiết
về cách trình bày một số kết quả trong khóa luận.
Em xin chân thành cảm ơn các thầy, các cô trong tổ giải tích- khoa
Toán, trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiện giúp đỡ
em hoàn thành khóa luận này.
Em xin chân thành cảm ơn gia đình và bạn bè đã tạo mọi điều
kiện thuân lợi cho em trong quá trình thực hiện khóa luận.
Em xin chân thành cảm ơn.
Hà Nội, tháng 05 năm 2015
Sinh viên
Đào Thị Hậu
1
LỜI CAM ĐOAN
Em xin cam đoan, dưới sự hướng dẫn của Th.S Phùng Đức Thắng
khóa luận "Phương pháp miền tin cậy cho bài toán tối ưu không
có ràng buộc" được hoàn thành không trùng với bất kỳ đề tài nào
khác.
Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành
tựu của các nhà khoa học với sự trân trọng và biết ơn.
Hà Nội, tháng 05 năm 2015
Sinh viên
Đào Thị Hậu
2
Mục lục
Lời mở đầu
1
1 Thuật toán miền tin cậy cơ bản
3
1.1. Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . .
3
1.2. Một số giả thiết với hàm mục tiêu và hàm xấp xỉ . . . .
6
1.2.1. Giả thiết cho hàm mục tiêu . . . . . . . . . . . .
6
1.2.2. Giả thiết cho hàm xấp xỉ . . . . . . . . . . . . . .
7
1.3. Điểm và một hàm xấp xỉ giảm . . . . . . . . . . . . . . .
9
1.3.1.
Phương Cauchy . . . . . . . . . . . . . . . . . .
1.3.2. Điểm Cauchy cho hàm xấp xỉ dạng toàn phương
2 Sự hội tụ
9
10
15
2.1. Sự hội tụ đến điểm tới hạn bậc nhất . . . . . . . . . . .
15
2.2. Sự hội tụ đến điểm tới hạn bậc hai . . . . . . . . . . . .
23
Tài liệu tham khảo
31
3
Khóa luận tốt nghiệp
Đào Thị Hậu
Lời mở đầu
Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như
trong đời sống. Nó được nghiên cứu một cách toàn diện nhờ các phương
pháp định tính và định lượng như phương pháp gradient, phương pháp
gradient chiếu, phương pháp Newton, phương pháp nhân tử Lagrange...
Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo
ra những thuật toán hữu hiệu giúp ta giải các bài toán tối ưu một cách
hiệu quả nhất. Và phương pháp miền tin cậy được xem là một trong số
đó.
Xét bài toán tìm cực tiểu hàm f : Rn −→ R, được giả thiết là khả
vi liên tục đến cấp hai và bị chặn dưới ở trên Rn . Với mỗi điểm khởi đầu
x0 ∈ Rn được chọn tùy ý, phương pháp miền tin cậy (thuật ngữ tiếng
Anh là Trust-Region Method) cho phép tạo ra dãy lặp {xk } mà, tại mỗi
bước k, việc chuyển từ điểm xk sang điểm xk+1 làm giảm hàm mục tiêu
xấp xỉ, được ký hiệu bởi mk (x), của f (x). Một trong những cách xấp xỉ
thông dụng nhất là thay hàm số f (x) bởi phần tuyến tính-toàn phương
trong khai triểu Taylor bậc hai của nó tại điểm xk . Ở mỗi bước k, thay
cho Rn người ta xét một hình cầu tâm xk với bán kính ∆k thích hợp.
Quy tắc chọn ∆k , nhằm đảm bảo tốc độ tính toán cao nhất có thể được,
là một phần nội dung quan trọng của phương pháp này. Cụ thể, tỷ số
giữa độ giảm hàm mục tiêu f (x) và độ giảm của hàm xấp xỉ của nó tại
bước k − 1, tức là hàm mk−1 (x), là cơ sở để xác định bán kính ∆k . Dưới
một số điều kiện, dãy lặp {xk } hội tụ đến một điểm tới hạn bậc nhất
của bài toán. Thuật toán miền tin cậy là thuật toán làm giảm hàm mục
tiêu, tức là ta có f (xk+1 ) ≤ f (xk ) với mọi k.
1
Khóa luận tốt nghiệp
Đào Thị Hậu
Cuốn chuyên khảo [1] của các tác giả A. R. Conn, N. I. M. Gould,
và P. L. Toint là một cẩm nang khá đầy đủ và chi tiết về lý thuyết
phương pháp miền tin cậy. Lịch sử phát triển của phương pháp miền tin
cậy và một số ứng dụng của các thuật toán miền tin cậy đã được giới
thiệu ở [1, tr. 8-12].
Khi nghiên cứu phương pháp miền tin cậy, em quan tâm đến tính
ổn định và sự hội tụ địa phương của dãy lặp, ở đây em cũng đã chứng
minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy
lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài
toán không có ràng buộc.
Khóa luận gồm hai chương.
Chương 1: "Thuật toán miền tin cậy cơ bản" trình bày thuật toán
miền tin cậy BTR và một số giả thiết cho hàm mục tiêu và hàm xấp xỉ
trong [1, Chương 6].
Chương 2: "Sự hội tụ" chính là lời giải cho vấn đề tính ổn định
và tốc độ hội tụ địa phương của dãy lặp {xk } được sinh ra bởi thuật
toán miền tin cậy trong trường hợp bài toán không có ràng buộc [1,
Chương 6].
2
Chương 1
Thuật toán miền tin cậy cơ bản
1.1.
Một số khái niệm cơ bản
Trước hết ta xét bài toán tối ưu không có ràng buộc (P)
Bài toán.
(P ) : minn f (x).
x∈R
(1.1)
trong đó f : Rn −→ R là hàm khả vi liên tục cấp hai và bị chặn dưới
trong Rn .
Định nghĩa 1.1. Tập điểm tới hạn bậc nhất của (P), được kí hiệu S(P),
là:
S(P ) = {x∗ ∈ Rn |
ở đây
x f (x∗ )
x
f (x∗ ) = 0},
(1.2)
là gradient của hàm f (x) tại điểm x∗
Chúng ta xem xét kĩ thuật để sinh ra một dãy lặp {xk }, mà ta hi
vọng nó hội tụ tới điểm tới hạn bậc nhất của bài toán (1.1).
Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành
như sau. Với mỗi bước lặp xk , chúng ta xác định một hàm mục tiêu xấp
xỉ mk (x) trong một lân cận thích hợp của xk , mà ta gọi là miền tin cậy.
3
Khóa luận tốt nghiệp
Đào Thị Hậu
Định nghĩa 1.2. Miền tin cậy là tập hợp các điểm
Bk = {x ∈ Rn | ||x − xk || ≤ ∆k }.
(1.3)
∆k được gọi là bán kính miền tin cậy và tại mỗi bước lặp ||.||k là một
chuẩn phụ thuộc vào k.
Cho hàm xấp xỉ này và miền tin cậy của nó, chúng ta tìm một
bước thử sk tới một điểm thử xk + sk với mục đích giảm hàm xấp xỉ
trong đó thỏa mãn tính bị chặn ||sk ||k ≤ ∆k . Ở đây, ta sẽ tính tỉ số giữa
độ giảm hàm mục tiêu và độ giảm hàm xấp xỉ. Nếu tỉ số đủ lớn, tức hàm
mục tiêu f (x) giảm nhanh chóng, khi đó điểm thử được chấp nhận và
được chuyển sang bước lặp tiếp k+1. Ở bước k+1, điểm thử được xác
định xk+1 = xk + sk và miền tin cậy sẽ được tăng lên hoặc giữ nguyên.
Ngược lại nếu tỉ số nhỏ, thậm chí là một số âm, khi đó điểm thử bị bác
bỏ và ở bước lặp tiếp theo vẫn giữ nguyên điểm thử này nhưng miền tin
cậy sẽ bị thu hẹp. Khi đó, thuật toán miền tin cậy cơ bản (được viết tắt
là thuật toán BTR), được mô tả như sau.
Thuật toán 1.1. Thuật toán miền tin cậy cơ bản (BTR)
Bước 0: Khởi chạy. Cho trước một điểm x0 ban đầu và một
bán kính miền tin cậy ban đầu ∆0 . Các hằng số η1 , η2 , γ1 và γ2 cho trước
thỏa mãn
0 < η1 ≤ η2 < 1 và 0 < γ1 ≤ γ2 < 1
(1.4)
Tính f (x0 ) và đặt k = 0.
Bước 1: Xác định hàm xấp xỉ mẫu.Chọn ||.||k và xác định
một hàm mk xấp xỉ với hàm f tại xk trong Bk .
Bước 2: Bước tính toán. Tính một bước sk : "đủ làm giảm hàm
xấp xỉ" mk , sao cho xk + sk ∈ Bk .
4
Khóa luận tốt nghiệp
Đào Thị Hậu
Bước 3: Chấp nhận điểm thử. Tính f (xk + sk ) và xác định
ρk =
f (xk ) − f (xk + sk )
mk (xk ) − mk (xk + sk )
(1.5)
nếu ρk ≥ η1 , sau đó xác định xk+1 = xk + sk ; ngược lại nếu ρk < η1 thì
xk+1 = xk .
Bước 4: Cập nhật bán kính miền tin cậy. Tập
∆k , ∞
nếu ρk ≥ η2 ,
∆k+1 ∈
γ2 ∆k , ∆k
nếu ρk ∈ [η1 , η2 ),
γ1 ∆k , γ2 ∆k
nếu ρk < η1 .
(1.6)
Tăng k thêm 1 và quay trở lại bước 1.
Ta có thể lấy ví dụ, các hằng số thỏa mãn điều kiện (1.4) là
1
η1 = 0.01, η2 = 0.9, γ1 = γ2 = ,
2
(1.7)
nhưng những giá trị khác vẫn có thể phù hợp. Tại bước lặp mà ρk ≥ η1 ,
và do đó những lặp mà xk+1 = xk + sk , được gọi là bước lặp chấp nhận
được, và chúng ta kí hiệu tập các chỉ số bởi kí hiệu S, tức là
S = {k ≥ 0 | ρk ≥ η1 }.
Tương tự, chúng ta cũng định nghĩa
V = {k ≥ 0 | ρk ≥ η2 },
là tập các bước lặp chấp nhận được tốt. Chú ý rằng V ⊂ S. Sự lặp mà
các chỉ số của nó không thuộc S được gọi là không chấp nhận được.
Trong thực hành, thường chọn hàm xấp xỉ toàn phương dạng
mk (xk + s) = mk (xk ) + gk , s +
5
1
s, Hk s ,
2
(1.8)
Khóa luận tốt nghiệp
Đào Thị Hậu
ở đây
mk (xk ) = f (xk ) và gk =
và Hk là một ma trận đối xứng xấp xỉ
x f (xk )
xx f (xk ).
Nếu Hk = 0, chúng ta
nói rằng (1.8) là một hàm xấp xỉ bậc hai. Một cách cụ thể để tìm bước
thử sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở đây.
Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng
có một chuỗi vô hạn {xk } được tạo ra. Nếu thuật toán BTR được thực
hiện như một chương trình máy tính, nó sẽ dừng lại ngay khi bước lặp
xk được đánh giá là "đủ gần điểm tới hạn". Trong trường hợp không có
ràng buộc, tiêu chuẩn đơn giản nhất là chuẩn của gradient của hàm mục
tiêu tại xk , ||
1.2.
x
f (xk )||.
Một số giả thiết với hàm mục tiêu và hàm xấp
xỉ
Để thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ,
chúng ta nhóm tất cả chúng lại trong một phần; phân biệt giữa giả thiết
cho hàm mục tiêu và giả thiết cho hàm xấp xỉ.
1.2.1.
Giả thiết cho hàm mục tiêu
Ta có các giả thiết cho hàm mục tiêu
AF.1 f (x) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn .
AF.2 f (x) bị chặn dưới trong Rn , nghĩa là, tồn tại một hằng số κlbf sao
cho với mọi x ∈ Rn ,
f (x) ≥ κlbf .
6
Khóa luận tốt nghiệp
Đào Thị Hậu
AF.3 Ma trận Hessian của hàm mục tiêu bị chặn đều; tức là, tồn tại
một hằng số dương κuf h sao cho, với mọi x ∈ Rn ,
t||
xx
f (x)|| ≤ κuf h .
Ta thấy giả thiết cuối cùng thì quá mạnh. Thực tế, ta thường cần tính
bị chặn của ||
xx
f (x)|| với giá trị x nằm giữa hai lần lặp liên tiếp
của thuật toán cơ bản. Yêu cầu yếu hơn này tự động được thỏa mãn
nếu những lần lặp vẫn trong một tập con bị chặn của Rn , như là, tập
{x ∈ Rn |f (x) ≤ f (x0 )} với x0 tùy ý. Không mất tính tổng quát, chúng
ta cũng có thể giả sử rằng
κuf h ≥ 1.
Cụm từ "lbf" và "ufh" xuất phát từ "lower bound on the objective
function" và "upper bound on the objective function’s Hessian".
1.2.2.
Giả thiết cho hàm xấp xỉ
Ta sẽ giả thiết rằng hàm mk tại bước lặp thứ k xấp xỉ với hàm
mục tiêu trong miền tin cậy Bk là một xấp xỉ bậc một trơn tốt của hàm
mục tiêu. Do đó, chúng ta bù lại những giả thiết sau.
AM.1 Với mọi k, hàm xấp xỉ mk là khả vi hai lần trong Bk .
AM.2 Giá trị của hàm mục tiêu và hàm xấp xỉ phù hợp tại một dòng
lặp; tức là, với mọi k,
mk (xk ) = f (xk )
(1.9)
AM.3 Gradient của mô hình tại xk bằng gradient của hàm mục tiêu;
tức là, với mọi k,
def
gk =
x mk (xk )
7
=
x f (xk )
(1.10)
Khóa luận tốt nghiệp
Đào Thị Hậu
AM.4 Ma trận Hessian của hàm xấp xỉ cũng bị chặn trong miền tin
cậy; tức là,
||
xx
mk (x)|| ≤ κumh − 1
(1.11)
với mọi k, khi κumh ≥ 1 là hằng số phụ thuộc vào k.
Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xem xét một
miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newton
trên miền bị chặn đóng, tức là, nếu chúng ta chọn mk sao cho (1.9) và
(1.10) được thỏa mãn, như tốt hơn
xx mk (xk
+ s) =
xx f (xk )
(1.12)
với mọi s sao cho xk + s ∈ Bk . Nếu ta giả thiết rằng hàm mục tiêu khả
vi hai lần (ví dụ, AF.1), phương trình (1.11) sau đó kết quả từ (1.12) và
AF.3. Điều này chưa được rõ ràng nếu (1.12) được giả sử khắp. Chúng
ta cũng chú ý rằng AM.1-AM.4 cho phép trường hợp mà hàm mục tiêu
không thể gần tới một hàm xấp xỉ. Ví dụ, chúng ta có thể xem xét trường
hợp mà trong đó hàm mục tiêu có dạng
f (x) = f0 (x, y(x))
(1.13)
ở đó f0 (x, y) là một hàm số từ Rn × Rp vào R nó tương đối đơn giản
để tính toán, nhưng y(x) thì phức tạp từ Rn vào Rp . Ví dụ, f0 có thể
là một tiêu chí đơn giản cho một hệ thống được kí hiệu y(x) chỉ có thể
được tính toán nhờ sử dụng một công cụ tính toán như là giải phương
trình vi phân từng phần hoặc chạy một mô phỏng chuyên dụng. Trong
trường hợp này, có thể xây dựng một hàm xấp xỉ myk (x) thích hợp của
y(x) trong lân cận của xk và khi đó xác định
mk (x) = f0 (x, myk (x))
(1.14)
Những điều kiện AM.1- AM.4 của hàm xấp xỉ mk có thể được trình bày
như là điều kiện của myk và f0 .
8
Khóa luận tốt nghiệp
Đào Thị Hậu
Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ rõ
mối liên hệ giữa các chuẩn ||.||k khác nhau xác định hình dạng của miền
tin cậy trong (1.3).
AN.1 Tồn tại một hằng số κune ≥ 1 sao cho, với mọi k,
1
κune
||x||k ≤ ||x|| ≤ κune ||x||k .
với mọi x ∈ Rn
Cụm từ "umh" và "une" xuất phát từ "upper bound on the model’s
Hessian" và "uniform norm equivalence".
1.3.
Điểm và một hàm xấp xỉ giảm
Điểm cốt yếu trong thuật toán của ta là sự xác định bước k, để
hàm xấp xỉ giảm trong miền tin cậy. Trong phần này, chúng ta đưa ra
cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản.
1.3.1.
Phương Cauchy
Định nghĩa 1.3. Phương Cauchy được xác định bởi
def
xCk (t) = {x | x = xk − tgk , t ≥ 0 và x ∈ Bk }
Chú ý rằng xCk (t) = xk với mọi t ≥ 0 khi đó gk = 0.
Trong phần này,
def
βk = 1 + max ||
x∈Bk
xx
mk (x)||
(1.15)
được xem như là cận trên của độ cong. Sự xác định này và AM.4 cũng
có nghĩa là
βk ≤ κumh
với mọi k.
9
(1.16)
Khóa luận tốt nghiệp
1.3.2.
Đào Thị Hậu
Điểm Cauchy cho hàm xấp xỉ dạng toàn phương
Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn
phương, tức là, nó có dạng (1.8), khi đó nó có thể có cực tiểu nằm trên
phương Cauchy.
Định nghĩa 1.4. Điểm Cauchy, kí hiệu là xCk (t), là điểm cực tiểu (duy
nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức
xCk (t) = xk − tCk gk = {arg min mk (xk − tgk ) | t ≥ 0 và xk − tgk ∈ Bk },
(1.17)
Nếu gk = 0.
xk − tgk ∈ Bk
tức
||x − xk || ≤ ∆k .
Khi đó,
||xk − tCk gk − xk || ≤ ∆k ,
suy ra
t||gk || ≤ ∆k .
Do đó,
t≤
∆k
.
||gk ||
Từ đó, điều kiện (1.17) có thể viết lại thành
tCk =
arg min mk (xk − tgk ) | 0 < t ≤
∆k
||gk ||
Định lý 1.1. ([1, Theorem 6.3.1, p.125]) Nếu hàm xấp xỉ được cho bởi
(1.8) và điểm Cauchy được xác định bởi (1.17), khi đó chúng ta có
1
||gk || C
, νk ∆k ,
mk (xk ) − mk (xCk ) ≥ ||gk || min
2
βk
10
(1.18)
Khóa luận tốt nghiệp
Đào Thị Hậu
trong đó βk được xác định bởi (1.15) và
νk =
||gk ||
.
||gk ||k
(1.19)
Chứng minh. Với mọi t ≥ 0 ta có:
mk (xk − tgk ) = mk (xk ) − t||gk ||2 +
1
gk , Hk gk
2
(1.20)
Trường hợp 1:
gk , Hk gk > 0
(1.21)
Khi đó ta tính toán giá trị của tham số t tại điểm cực tiểu của (1.20),
kí hiệu tham số tối ưu là t∗k . Lấy vi phân theo tham số t của (1.20), ta
được
0 = ||gk ||2 − t∗k gk , Hk gk
từ đó suy ra
t∗k
||gk ||2
=
gk , Hk gk
(1.22)
Nếu t∗k ||gk || ≤ ∆k (tức điểm cực tiểu nằm trong miền tin cậy). Khi đó
tCk = t∗k và thay vào (1.20) ta được
1
mk (xk ) − mk (xCk ) = t∗k ||gk ||2 − (t∗k )2 gk , Hk gk
2
4
||gk ||
1 ||gk ||4
=
−
gk , Hk gk
2 gk , Hk gk
1 ||gk ||4
=
,
2 gk , Hk gk
Theo bất đẳng thức Cauchy- Schwarz ta có
| gk , Hk gk | ≤ ||gk ||||Hk gk || ≤ ||gk ||2 βk .
Vì vậy
mk (xk ) −
mk (xCk )
11
||gk ||2
≥
.
2βk
(1.23)
Khóa luận tốt nghiệp
Đào Thị Hậu
Nếu
t∗k ||gk || > ∆k
(1.24)
(đường cực tiểu nằm ngoài miền tin cậy). Khi đó, ta có:
tCk ||gk || = ∆k .
(1.25)
Kết hợp (1.22), (1.24) và (1.25) ta thấy
tCk ||gk ||k < t∗k ||gk ||k
hay
t∗k
||gk ||2
> tCk .
=
gk , Hk gk
Điều này dẫn tới
gk , Hk gk <
||gk ||2
.
tCk
Ta có
1
mk (xk ) − mk (xCk ) = tCk ||gk ||2 − (tCk )2 gk , Hk gk
2
1 C 2 ||gk ||2
C
2
> tk ||gk || − (tk )
2
tCk
1
= νkC ||gk ||∆k − νkC ||gk ||∆k ,
2
do đó
1
mk (xk ) − mk (xCk ) > νkC ||gk ||∆k
2
với νkC được cho bởi (1.19). Nếu
(1.26)
gk , Hk gk < 0.
Khi đó, ta có
1
mk (xk − tgk ) = mk (xk ) − t||gk ||2 + t2 gk , Hk gk
2
2
≤ mk (xk ) − t||gk ||
12
(1.27)
Khóa luận tốt nghiệp
Đào Thị Hậu
với t ≥ 0. Trong trường hợp này, điểm Cauchy phải nằm trên biên của
miền tin cậy, do đó (1.25) vẫn đúng. Có
mk (xk ) − mk (xCk ) ≥ ||gk ||2
∆k
||gk ||k
= νkC ||gk ||∆k .
Vì vậy
1
mk (xk ) − mk (xCk ) ≥ νkC ||gk ||∆k .
2
Từ (1.23), (1.26) và (1.28) ta có điều phải chứng minh.
(1.28)
Định lí 1.1 là một trường hợp đặc biệt của kết quả tổng quát cho
bài toán tìm cực tiểu hóa của hàm toàn phương
q(s) = f + g, s +
1
s, Hs
2
(1.29)
với tất cả các điểm nằm dọc theo arcs = −tg trong miền
||s||α ≤ ∆,
(1.30)
chuẩn ||.||α cho trước tùy ý. Từ đây ta có hệ quả
Hệ quả 1.1. ([1, Corollary 6.3.2, p.127]) Giả sử rằng sC là cực tiểu của
hàm toàn phương (1.29) trong miền tin cậy (1.30) cho mọi điểm nằm
dọc theo arcs = −tg. Khi đó chúng ta có
||g||
1
, νC ∆ ,
q(0) − q(sC ) ≥ ||g|| min
2
1 + ||H||
khi
νC =
||g||
||g||α
Chứng minh. Điều này được suy ra từ Định lí 1.1 nếu chúng ta chọn
q(s) = mk (xk + s), f = mk (xk ), g = g(xk ), H = Hk , ∆ = ∆k và
||.||α = ||.||k và thay βk bởi cận trên.
13
Khóa luận tốt nghiệp
Đào Thị Hậu
Chúng ta thấy hàm xấp xỉ giảm tại điểm Cauchy phụ thuộc vào
giá trị của νkC , ít nhất là bán kính miền tin cậy ∆k . Ở mỗi bước lặp ta
thường sử dụng chuẩn Eclidean ||.||2 , khi đó νk = 1. Đối với các chuẩn
khác thì AN.1 đảm bảo rằng
νkC ≥
1
κune
>0
Khi đó, điểm Cauchy thỏa mãn
AA.1
mk (xk ) − mk (xk + sk ) ≥ κmdc ||gk || min
||gk ||
, ∆k
βk
(1.31)
với mọi k và hằng số κmdc ∈ (0, 1).
Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điểm Cauchy.
Chữ A thứ hai trong cụm từ AA có nguồn gốc từ "accept", cụm từ ”mdc”
là viết tắt của "model decrease".
14
Chương 2
Sự hội tụ
2.1.
Sự hội tụ đến điểm tới hạn bậc nhất
Bây giờ chúng ta sẽ đi chứng minh rằng, với hệ thống những giả
thiết đã nêu trong phần trước, tất cả các điểm giới hạn x∗ của chuỗi lặp
{xk } được tạo ra bởi thật toán BTR là điểm tới hạn bậc nhất của bài
toán (1.1), tức là, chúng thỏa mãn
x f (x∗ )
=0
không phụ thuộc vào vị trí vủa vecto x0 ban đầu và sự lựa chọn bán kính
miền tin cậy ∆0 ban đầu.
Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm
xấp xỉ tại điểm xk + sk ∈ B.
Định lý 2.1. ([1, Theorem 6.4.1, p.133]) Giả sử các điều kiện AF.1,
AF.3, và AM.1- AM.4 được thỏa mãn. Khi đó chúng ta có
|f (xk + sk ) − mk (xk + sk )| ≤ [νks ]2 max[κuf h , κumh ]∆k 2 ,
khi xk + sk ∈ Bk và
νks =
||sk ||
.
||sk ||k
15
(2.1)
(2.2)
Khóa luận tốt nghiệp
Đào Thị Hậu
Hơn nữa, nếu AN.1 vẫn đúng, khi đó
|f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k 2
(2.3)
ở đây
def
κubh = κune 2 max[κuf h , κumh ].
(2.4)
Chứng minh. Với các giả thiết AF.1 và AM.1, chúng ta có thể áp dụng
định lí giá trị trung bình cho hàm mục tiêu và hàm xấp xỉ. Ta có
f (xk + sk ) = f (xk ) + sk ,
x f (xk )
+
1
sk ,
2
xx f (ξk )sk
(2.5)
với mọi ξk ∈ [xk , xk + sk ], và tương tự
mk (xk + sk ) = mk (xk ) + sk , gk +
1
sk ,
2
xx mk (ζk )sk
(2.6)
với ζk ∈ [xk , xk + sk ]. Trừ vế với vế của cho và lấy giá trị tuyệt đối, với
chú ý rằng mk (xk ) = f (xk ) và
x f (xk )
1
|f (xk + sk ) − mk (xk + sk )| = | sk ,
2
1
≤ | sk ,
2
1
+ | sk ,
2
= gk , ta được
xx f (ξk )sk
− sk ,
xx f (ξk )sk
|
xx mk (ζk )sk
xx mk (ζk )sk
|
|.
Theo bất đẳng thức Cauchy- Schwarz, có
1
|f (xk + sk ) − mk (xk + sk )| ≤ (|| xx f (ξk )|| + || xx mk (ζk )||)||sk ||2
2
1
≤ (κuf h + κumh − 1)||sk ||2
2
1
= (κuf h + κumh − 1)[νks ]2 ||sk ||k 2
2
với xk + sk ∈ Bk thì ||sk || ≤ ∆k , do đó
1
|f (xk + sk ) − mk (xk + sk )| ≤ (κuf h + κumh − 1)[νks ]2 ∆k 2
2
16
(2.7)
Khóa luận tốt nghiệp
Đào Thị Hậu
Vậy định lí đã được chứng minh, trong đó (2.3) được suy ra từ AN.1 và
cách xác định (2.2), (2.4).
Định lí cho thấy mối liên hệ giữa sai số giữa hàm mục tiêu và hàm
xấp xỉ với bán kính miền tin cậy. Khi bán kính này đủ nhỏ thì hàm xấp
xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc
làm giảm hàm xấp xỉ cũng sẽ làm giảm hàm mục tiêu.
Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp
hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ.
Định lý 2.2. ([1, Theorem 6.4.2, p.134]) Giả sử AF.1, AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa, chúng ta giả sử thêm
||gk || = 0 và
κmdc ||gk ||(1 − η2 )
κubh
khi đó bước lặp k là chấp nhận được tốt và
∆k ≤
∆k+1 ≥ ∆k .
(2.8)
(2.9)
Chứng minh. Với η2 ∈ (0.1) và 0 < κmdc < 1 thì
κmdc (1 − η2 ) < 1
Khi đó
κmdc ||gk ||(1 − η2 ) ||gk ||
<
.
κubh
κubh
Mặt khác, với những điều kiện (1.16) và (2.4) ta có:
∆k ≤
κubh > κumh > βk ,
do đó
∆k <
||gk ||
βk
(2.10)
Kết hợp với AA.1 ta có
mk (xk )−mk (xk +sk ) ≥ κmdc ||gk || min
17
||gk ||
, ∆k = κmdc ||gk ||∆k . (2.11)
βk
Khóa luận tốt nghiệp
Đào Thị Hậu
Mặt khác,
|ρk − 1| =
f (xk + sk ) − mk (xk + sk )
.
mk (xk )m( xk + sk )
Theo Định lí 2.1 thì
|f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k
Do đó
|ρk − 1| ≤
κubh
∆k ≤ 1 − η2 .
κmdc ||gk ||
(2.12)
Từ đây ta thấy ρk ≥ η2 và bước lặp là chấp nhận được tốt. Ngoài ra
(1.6) đảm bảo cho (2.9) là đúng.
Từ tính chất này, chúng ta có thể chứng minh bán kính không thể
trở nên quá nhỏ.
Định lý 2.3. ([1, Theorem 6.4.3, p.135]) Giả sử rằng AF.1- AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng tồn tại
một hằng số κlbg > 0 sao cho ||gk || ≥ κlbg với mọi k. Khi đó tồn tại một
hằng số κlbd > 0 sao cho
∆k ≥ κlbd
(2.13)
với mọi k.
Chứng minh. Giả sử k là bước lặp đầu tiên thỏa mãn
∆k+1 ≤
γ1 κmdc κlbg (1 − η2 )
.
κubh
(2.14)
Khi đó theo cách xác định bán kính miền tin cậy (1.6) thì γ1 ∆k ≤ ∆k+1 ,
và do đó
γ1 ∆k ≤
γ1 κmdc κlbg (1 − η2 )
κmdc κlbg (1 − η2 )
hay ∆k ≤
κubh
κubh
Với giả thiết về ||gk || thì khi đó
∆k ≤
κmdc ||gk ||(1 − η2 )
κubh
18
Khóa luận tốt nghiệp
Đào Thị Hậu
và do đó theo định lí (2.2) ta có
∆k+1 ≥ ∆k .
Do đó
∆k ≤
γ1 κmdc κlbg (1 − η2 )
.
κubh
(2.15)
Điều này mâu thuẫn với điều giả sử lúc đầu k là bước lặp đầu tiên để
(2.14) là đúng.
Vậy chỉ có thể xảy ra trường hợp
κlbd =
γ1 κmdc κlbg (1 − η2 )
.
κubh
Cụm "lbg", "lbd" lần lượt có nguồn gốc từ "lower bound on the
gradient", "lower bound on delta".
Hai kết quả có trước đủ để chứng minh tính tới hạn của điểm giới hạn
của dãy các bước lặp khi chỉ có hữu hạn các bước lặp chấp nhận được.
Định lý 2.4. ([1, Theorem 6.4.4, p.136]) Giả sử rằng AF.1, AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng có hữu
hạn các bước lặp chấp nhận được. Khi đó xk = x∗ với k đủ lớn và x∗ là
điểm tới hạn bậc nhất của bài toán (1.1).
Chứng minh. Theo giả thiết thì tồn tại chỉ số k0 của bước lặp chấp nhận
được cuối cùng. Khi đó theo thuật toán thì
xk0 +1 = xk0 +j với mọi j > 1
Đặt
x∗ = xk0 +1 .
19
Khóa luận tốt nghiệp
Đào Thị Hậu
Khi đó,
x∗ = xk với mọi k ≥ k0 + 1
tức x∗ là giới hạn của dãy {xk }.
x f( x∗ )
Ta đi chứng minh
= 0.
Theo (1.4) và (1.6) thì dãy ∆k là đơn điệu giảm, hội tụ về 0. Nếu
||gk0 +1 || > 0 ta có
||gk0 +1 || = ||
x
f( xk0 +j )|| = ||
x
f( xk0 +1 )|| = gk0 +1
(j ≥ 1).
Khi đó tồn tại số k1 > k0 sao cho
∆k1 ≤
κmdc ||gk+1 ||(1 − η2 ) κmdc ||gk1 ||(1 − η2 )
=
.
κubh
κubh
Theo Định lí 2.2 thì bước lặp k1 chấp nhận được tốt. Điều này mâu
thuẫn với giả sử ban đầu k0 là bước lặp chấp nhận được tốt cuối cùng.
Do đó, ||gk0 +1 || = 0 và x∗ là điểm tới hạn bậc nhất.
Định lý 2.5. ([1, Theorem 6.4.5, p.136]) Giả sử rằng AF.1- AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Khi đó ta có
lim inf ||
k→∞
x
f (xk )|| = 0.
(2.16)
Chứng minh. Trường hợp 1: nếu có hữu hạn bước lặp chấp nhận được
thì theo Định lí 2.4 ta có
||
x
f (xk )|| = 0
do đó (2.16) là đúng.
Trường hợp 2: có vô hạn bước lặp chấp nhận được. Giả sử (2.16) là
không đúng. Khi đó, tồn tại > 0 và chỉ số k0 > 0 thỏa mãn
||
x
f (xk )|| = ||gk || ≥
20
(2.17)
Khóa luận tốt nghiệp
Đào Thị Hậu
với mọi k > k0 .
Xét bước lặp chấp nhận được k, tức k ∈ S = {k ≥ k0 | ρk ≥ η1 }. Khi đó,
với AA.1 và các điều kiện (1.16), (2.17), (2.13) ta có
f (xk ) − f (xk+1 ) ≥ η1 [mk (xk ) − mk (xk + sk )]
≥ κmdc η1 min
κumh
(2.18)
, κlbd .
Lấy tổng tất cả các bước lặp từ k0 đến k, ta được
k
[f (xj ) − f (xj+1 )] ≥ σk κmdc min
f (xk0 ) − f (xk+1 ) =
j=0,j∈S
κumh
, κlbd
trong đó σk là tổng số bước lặp chấp nhận được cho đến bước thứ k.
Vì có vô hạn các bước lặp chấp nhận được nên
lim σk = +∞.
k→∞
Khi đó
, κlbd ≥ f (xk+1 )
κumh
do đó dãy {f (xk+1 )} không bị chặn dưới. Điều này mâu thuẫn với AF.2.
f (xk0 ) − σk κmdc min
Vậy điều giả sử là sai. Từ đó ta có điều phải chứng minh.
Định lý 2.6. ([1, Theorem 6.4.6, p.137]) Nếu AF.1- AF.3, AN.1, AM.1AM.4 và AA.1 vẫn thỏa mãn thì
lim ||
k→∞
x
f (xk )|| = 0.
(2.19)
Chứng minh. Giả sử (2.19) là không đúng. Khi đó, tồn tại > 0 và một
dãy con các bước lặp chấp nhận được {xti }, ti ∈ S sao cho
||
x
f (xti )|| = ||gti || ≥ 2 > 0
(2.20)
với mọi i.
Theo Định lí 2.5 thì với mỗi ti tồn tại một bước lặp chấp nhận được đầu
tiên l(ti ) > ti sao cho
||gl(ti ) <
21
Khóa luận tốt nghiệp
Đào Thị Hậu
def
Kí hiệu li = l(ti ), khi đó chúng ta thu được một dãy con khác xl(ti ) của
S sao cho
||gk || ≥ vớiti ≤ k < li và ||gli || <
(2.21)
Từ (2.20) và (2.21) ta có
||gti − gk || ≥ ||gti || − ||gk || ≥
(2.22)
Ta kí hiệu tập các chỉ số k thỏa mãn (2.21) là tập
def
K = {k ∈ S | ti ≤ k < li }
và dễ thấy K ∈ S Theo AA.1 và (2.21) và (1.16) ta có
f (xk ) − f (xk+1 ) ≥ η1 [mk (xk ) − mk (xk + sk )]
≥ κmdc η1 min
κumh
, ∆k
(2.23)
với mọi k ∈ K. Tuy nhiên, theo AF.2 thì dãy {f (xk } là đơn điệu giảm
và bị chặn. Do đó nó hội tụ và vế trái của (2.23) tiến dần về 0 khi k tiến
tới vô cùng. Điều này dẫn tới vế phải của (2.23) cũng tiến tới 0, khi đó
∆k ≤
κumh
hay
lim
k→∞,k∈K
∆k = 0.
Khi đó ta có
∆k ≤
1
κmdc η1
[f (xk ) − f (xk+1 )]
(2.24)
với k ∈ K đủ lớn. Từ AN.1 và (2.2), với i đủ lớn
li −1
||xti − xli || ≤
||xj − xj+1 ||
j=ti ,j∈K
li −1
υjs ∆j
≤
j=ti ,j∈K
≤
κune
[f (xti − f (xli ].
κmdc η1
22
(2.25)
Khóa luận tốt nghiệp
Đào Thị Hậu
Vì AF.2 và dãy {f (xk )} là đơn điệu giảm nên vế phải của bất đẳng thức
này phải hội tụ về 0, và khi đó chúng ta có ||xti − xli || cũng hội tụ về 0
khi i tiến tới vô cùng. Do tính liên tục của gradient AF.1, chúng ta suy
ra ||
x f (xti ) −
x f (xli )||,
và theo AM.3, ||gti − gli || cũng sẽ hội tụ về 0.
Điều này mâu thuẫn với (2.22). Do đó, không tồn tại dãy con nào thỏa
mãn (2.20). Vậy định lý đã được chứng minh.
2.2.
Sự hội tụ đến điểm tới hạn bậc hai
Định nghĩa 2.1. Nếu hàm f(x) khả vi liên tục cấp 2 thì ma trận Hessian
xx f (x)
được gọi là nửa xác định dương khi
s,
xx f (x∗ )s
≥ 0
(2.26)
với mọi s ∈ Rn .
Định nghĩa 2.2. Điểm x∗ được gọi là điểm tới hạn bậc hai nếu nó thỏa
mãn:
(i)
(ii)
x f (x∗ )
=0
xx f (x)
là nửa xác dịnh dương
Bổ đề 2.1. ([1, lemma 6.5.1, p.140]) Nếu AM.1 được thỏa mãn và
λmin [
với mọi x ∈ [xk , xk + sk ] và với
xx mk (x)]
≥
(2.27)
> 0 thì
2
||sk || ≤ ||gk ||.
(2.28)
Chứng minh. Xét hàm mục tiêu giảm tại điểm xk + sk
mk (xk ) − mk (xk + sk ) = − gk , sk −
23
1
sk ,
2
xx mk (ξk )sk
Khóa luận tốt nghiệp
Đào Thị Hậu
với mọi ξ ∈ [xk , xk + sk ].
Nếu mk (xk + sk ) = mk (xk )
Khi đó theo AM.3 thì gk =
x f (xk )
= 0, do đó sk ,
xx mk (ξk )sk
= 0.
Mặt khác, theo (2.27) thì
< sk ,
xx mk (ξk )sk
> ≥ ||sk ||2
từ đây suy ra sk = 0. Và hiển nhiên (2.28) là đúng.
Nếu mk (xk + sk ) < mk (xk ) ta có sk = 0.
Đặt
1
def
φ(t) = mk (xk ) − mk (xk + tsk ) = −t gk , sk − t2 sk ,
2
xx mk (ξk )sk
(2.29)
với t > 0. Do (2.27) và sk = 0 nên sk ,
xx mk (ξk )sk
> 0.
Hơn nữa, φ(0) = 0 và φ(1) > 0.
Theo tính chất đối xứng của hàm toàn phương, ta có
t∗ = arg max φ(t) ≥
t
1
.
2
(2.30)
Mặt khác,
t∗ =
| gk , sk |
||gk ||
≤
.
sk , xx mk (ξk )sk
||sk ||
Kết hợp điều này với (2.30) ta có (2.28)
Vậy bổ đề đã được chứng minh.
Định lý 2.7. ([1, theorem 6.5.2, p.141]) Giả sử AF.1- AF.3, AM.1AM.4 và AA.1 được thỏa mãn, hơn nữa dãy con các bước lặp {xki } hội
tụ đến điểm tới hạn bậc nhất x∗ và tồn tại một hằng số κsmh > 0 sao
cho
min λmin [
x∈Bk
xx mk (x)]
khi xk đủ gần x∗ . Cuối cùng giả sử
≥ κsmh
xx f (x∗ )
các bước lặp {xk } hội tụ tới điểm x∗ .
24
(2.31)
không suy biến. Khi đó dãy
Khóa luận tốt nghiệp
Đào Thị Hậu
Chứng minh. Nếu chỉ có hữu hạn các bước lặp chấp nhận được, thì theo
Định lý 2.4 và2.6 dãy các bước lặp {xk } sẽ hội tụ đến x∗ .
Xét trường hợp có vô hạn các bước lặp chấp nhận được. Không mất tính
tổng quát ta giả sử dãy con {ki , i ∈ N} là dãy chỉ số của các bước lặp
chấp nhận được, tức là
xki +1 = xki + sk
(2.32)
với mọi i ∈ N. Chọn δ > 0 đủ nhỏ để (2.31) được thỏa mãn mọi k sao
cho ||xk − x∗ || ≤ 0 và
||
xx
f (x) −
xx f (x∗ )||
≤
1
min[σ, 1, κsmh ]
4
trong đó σ > 0 là giá trị riêng nhỏ nhất của ma trận
xx f (x∗ ).
(2.33)
Bất đẳng
thức (2.33) có được là do tính liên tục của Hessian của hàm mục tiêu
(theo AM.1). Đặt
1
min[σ, 1, κsmh ]
4
Vì dãy {xki } hội tụ đến x∗ ta có thể chọn i1 > 0 đủ lớn sao cho
δ0 :=
||xki − x∗ || ≤
κsmh δ
= δ1
2δ0 + κsmh
(2.34)
với mọi i ≥ i1 và
||gk || ≤ δ0 δ1 < δ
(2.35)
với mọi k ≥ ki1 . Bất đẳng thức (2.34) có được là do giả sử {xki } hội tụ
đến x∗ và (2.35) là do Định lý 2.6 và bất đẳng thức δ0 < 1 và δ1 < δ.
Áp dụng Bổ đề 2.1 tại bước lặp ki với = κsmh ta có
||ski || ≤
2
κsmh
||gki ||.
(2.36)
Kết hợp (2.32), (2.34), (2.35) và (2.36) có
||xki +1 − x∗ || ≤ ||xki +1 − xki || + ||xki − x∗ ||
= ||xki − x∗ || + ||ski ||
2δ0
≤ 1+
δ1 = δ.
κsmh
25
(2.37)
Khóa luận tốt nghiệp
Đào Thị Hậu
Bây giờ ta giả sử
||xki +1 − x∗ || > δ1 .
(2.38)
Ta có
gki +1 =
x f (xki +1 )
=
x f (x∗ )
− G∗ (xki +1 − x∗ )
trong đó
1
G∗ =
xx f (xki +1
+ t(x∗ − xki +1 ))dt.
(2.39)
0
Vì x∗ là điểm tới hạn bậc nhất nên
x f (x∗ )
= 0.
Do đó
||gki +1 || = ||
xx
f (x∗ )(xki +1 − x∗ ) + (G∗ −
≥ ||
xx
f (x∗ )(xki +1 − x∗ )|| − ||G∗ −
> σδ1 − ||G∗ −
xx f (x∗ ))(xki +1
xx f (x∗ )||
− x∗ )||
||(xki +1 − x∗ )||
xx f (x∗ )||δ.
(2.40)
Mặt khác, từ (2.39) và (2.33) ta có
1
||G∗ −
xx f (x∗ )||
=
[
xx f (xki +1
+ t(x∗ − xki +1 )) −
xx f (x∗ )]dt
0
≤ max ||
t∈[0,1]
xx
f (xki +1 + t(x∗ − xki +1 )) −
xx f (x∗ )||
≤ δ0 .
(2.41)
Kết hợp (2.40), (2.41), định nghĩa δ1 trong (2.34) và định nghĩa δ0 trong
(2.33) ta có
||gki +1 || > σδ1 − δ0 δ
2δ0 + κsmh
κsmh
δ0 δ1 (3κsmh − 2δ0 )
=
κsmh
≥ 4δ0 δ1 − δ0 δ1
> δ0 δ1 .
26
Khóa luận tốt nghiệp
Đào Thị Hậu
Điều này là không thể vì (2.35), và do đó
||xki +1 − x∗ || ≤ δ1 < δ.
Tất cả các đều kiện được thỏa mãn tại điểm xki cũng vẫn được thỏa mãn
tại điểm xki +1 , và với mọi j ≥ 1 ta cũng có
||xki +j − x∗ || ≤ δ1 < δ.
Khi δ nhỏ tùy ý thì dãy {xk } sẽ hội tụ tới điểm x∗ .
Ở đây, cụm từ "smh" có nguồn gốc từ "smallest eigenvalue of the
model’ s Hessian".
Chúng ta sẽ đưa thêm giả thiết về hàm mục tiêu và hàm xấp xỉ.
AM.5 Giả sử
lim ||
k→∞
xx
f (xk ) −
xx mk (xk )||
= 0 khi lim ||gk || = 0.
k→∞
(2.42)
Bổ đề 2.2. ([1, lemma 6.5.3, p.144]) Giả sử AF.1- AF.3, AM.1- AM.3
và AM.5 được thỏa mãn. Giả sử tồn tại một dãy con {ki } và hằng số
κmqd > 0 sao cho
mki (xki ) − mki (xki + ski ) ≥ κmqd ||ski ||2
(2.43)
với mọi i đủ lớn. Cuối cùng giả sử
lim ||ski || = 0.
i→∞
Khi đó
ρki ≥ η2
với i đủ lớn.
Chứng minh. Với mọi k đủ lớn và với mọi ξki , ζki ∈ [xki , xki + ski ] ta có
|ρki − 1| =
f (xki + ski ) − mki (xki + ski )
.
mki (xki ) − mki (xki + ski )
27
Khóa luận tốt nghiệp
Đào Thị Hậu
Có
|f (xki + ski ) − mki (xki + ski )| ≤ | ski ,
xx f (ξki )ski
− ski ,
|.
xx mki (ζki )ski
Và theo (2.43) thì
1
1
≤
|mki (xki ) − mki (xki + ski )| κmqd ||ski ||2
do đó
1
| ski ,
κmqd ||ski ||2
1
| ski , [
=
κmqd ||ski ||2
|ρki − 1| ≤
xx f (ξki )ski
xx f (ξki )
− ski ,
−
|
xx mki (ζki )ski
xx mki (ζki )]ski
|
Theo bất đẳng thức Cauchy- Schwarz thì
| ski , [
xx f (ξki )
−
xx mki (ζki )]ski
| ≤ ||ski ||2 ||
−
xx
f (ξki )
xx mki (ζki )||
suy ra
1
||ski ||2 || xx f (ξki ) −
2
κmqd ||ski ||
1
≤
|| xx f (ξki ) − xx f (xki )||
κmqd
|ρki − 1| ≤
+ ||
xx
f (xki ) −
+ ||
xx
mki (xki ) −
xx mki (ζki )||
(2.44)
xx mki (xki )||
xx mki (ζki )||
.
Do giả thiết ||ski || tiến dần tới 0 khi i dần tới vô cùng và
||ξki − xki || ≤ ||ski || và ||ζki − xki || ≤ ||ski ||
nên
||
xx
f (ξki ) −
xx f (xki )||
→ 0 và ||
xx
mki (xki ) −
xx mki (ζki )||
→0
khi i → 0.
Mặt khác, theo AM.5 và Định lý 2.6 thì ||
28
xx
f (xki ) −
xx mki (xki )||
sẽ
Khóa luận tốt nghiệp
Đào Thị Hậu
nhỏ tùy ý.
Vì vậy ρki → 1 khi i → ∞.
Vậy với i đủ lớn thì ρki ≥ η2 .
Ở đây, cụm từ "mqd" có nguồn gốc từ "model quadratic decrease".
Bổ đề 2.3. ([1, lemma 6.5.4, p.145]) Giả sử AF.1- AF.3, AM.1- AM.3
và AM.5 được thỏa mãn và tồn tại một hằng số κmqd > 0 sao cho
mk (xk ) − mk (xk + sk ) ≥ κmqd ||sk ||2 > 0
(2.45)
với k đủ lớn. Cuối cùng giả sử
lim ||sk || = 0.
k→∞
Khi đó tất cả các bước lặp đều chấp nhận được tốt và ∆k bị chặn khỏi 0.
Chứng minh. Áp dụng Bổ đề 2.2, với k đủ lớn, thì các bước lặp là chấp
nhận được tốt. Theo thuật toán BTR, trong mỗi bước lặp chấp nhận
được, bán kính miền tin cậy ∆k là không giảm; tức nó bị chặn khỏi 0.
Định lý 2.8. ([1, theorem 6.5.5, p.146]) Giả sử AF.1- AF.3, AN.1,
AM.1- AM.5 và AA.1 được thỏa mãn và thuật toán BTR tạo ra một dãy
con của dãy các bước lặp {xki } hội tụ đến điểm tới hạn bậc nhất x∗ . Hơn
nữa giả sử thêm sk = 0 với mọi k đủ lớn. Cuối cùng giả sử
xx f (x∗ )
là ma trận xác định dương. Khi đó dãy các bước lặp chấp nhận được tốt
{xk } sẽ hội tụ tới x∗ và bán kinh miền tin cậy ∆k bị chặn khỏi 0.
Chứng minh. Vì dãy {xki } hội tụ tới điểm x∗ với
gki =
x f (xki )
x f (x∗ )
nên dãy {||gk ||} sẽ hội tụ về 0. Do ma trận
là xác định dương nên λmin (
xx f (x∗ ))
tồn tại một hằng số λ2 sao cho λmin (
đó, theo AM.5 thì
xx mki (x)
= 0, và vì
xx f (x∗ )
=0
> 0. Mặt khác, vì xki → x∗ nên
xx f (x∗ ))
> λ2 với i đủ lớn. Do
là xác định dương với i đủ lớn và x ∈ Bk .
29
Khóa luận tốt nghiệp
Đào Thị Hậu
Đồng thời, tồn tại một hằng số κsmh > 0 sao cho (2.31) được thỏa mãn.
Theo Định lý 2.7 thì toàn dãy {xk } sẽ hội tụ tới x∗ . Mặt khác, theo Bổ
đề 2.1 thì
||gk || ≥
κsmh
||sk || > 0
2
(2.46)
với k đủ lớn.
Do AA.1 và các bất đẳng thức ||sk || = υks ||sk ||k ≤ υks ∆k , βk ≤ κumh và
υks ≤ κune (được xác định bởi AN.1), với k đủ lớn, ta có
1
κsmh ||sk ||
mk (xk ) − mk (xk + sk ) ≥ κsmh κmdc ||sk || min
, ∆k
2
2βk
κsmh 1
1
,
≥ κsmh κmdc ||sk ||2 min
2
2βk κune
≥ δ||sk ||2 .
trong đó
1
κsmh 1
.
δ = κsmh κmdc min
,
2
2βk κune
Hơn nữa, dãy {||gk ||} sẽ hội tụ về 0. Từ (2.46) ta thu được
lim ||sk || = 0.
k→∞
Áp dụng Bổ đề 2.4 với κmqd = δ ta có điều phải chứng minh.
30
(2.47)
Kết luận chung
Khóa luận đã trình bày một số kiến thức về phương pháp Miền
tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn
định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả
về tính ổn định và sự hội tụ địa phương của các dãy lặp {xk } được sinh
ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng
buộc, dựa theo cuốn chuyên khảo [1].
31
Tài liệu tham khảo
[1] A. R. Conn, N. I. M. Gould, and P. L. Toint, Trust-Region
Methods, MPS-SIAM Series on Optimization, Philadelphia, 2000.
[2] J. Nocedal, S. J. Wright, Numerical Optimization, SpringerVerlag, New York, 1999.
[3] B. T. Polyak, Introduction to Optimization, Optimization Software, Inc., New York, 1987.
[4] N. N. Tam, N. D. Yen, Continuity properties of the KarushKuhn-Tucker point set in quadratic programming problems, Math.
Program., 2 (1999), 193–206.
32
[...]... δ ta có điều phải chứng minh 30 (2.47) Kết luận chung Khóa luận đã trình bày một số kiến thức về phương pháp Miền tin cậy cho các bài toán tối ưu phi tuyến không có ràng buộc; tính ổn định và sự hội tụ địa phương của dãy lặp, và chứng minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc,... (2.2), (2.4) Định lí cho thấy mối liên hệ giữa sai số giữa hàm mục tiêu và hàm xấp xỉ với bán kính miền tin cậy Khi bán kính này đủ nhỏ thì hàm xấp xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc làm giảm hàm xấp xỉ cũng sẽ làm giảm hàm mục tiêu Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ Định... trong miền tin cậy; tức là, || xx mk (x)|| ≤ κumh − 1 (1.11) với mọi k, khi κumh ≥ 1 là hằng số phụ thuộc vào k Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xem xét một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newton trên miền bị chặn đóng, tức là, nếu chúng ta chọn mk sao cho (1.9) và (1.10) được thỏa mãn, như tốt hơn xx mk (xk + s) = xx f (xk ) (1.12) với mọi s sao cho xk... nằm trên biên của miền tin cậy, do đó (1.25) vẫn đúng Có mk (xk ) − mk (xCk ) ≥ ||gk ||2 ∆k ||gk ||k = νkC ||gk ||∆k Vì vậy 1 mk (xk ) − mk (xCk ) ≥ νkC ||gk ||∆k 2 Từ (1.23), (1.26) và (1.28) ta có điều phải chứng minh (1.28) Định lí 1.1 là một trường hợp đặc biệt của kết quả tổng quát cho bài toán tìm cực tiểu hóa của hàm toàn phương q(s) = f + g, s + 1 s, Hs 2 (1.29) với tất cả các điểm nằm dọc... tất cả các điểm giới hạn x∗ của chuỗi lặp {xk } được tạo ra bởi thật toán BTR là điểm tới hạn bậc nhất của bài toán (1.1), tức là, chúng thỏa mãn x f (x∗ ) =0 không phụ thuộc vào vị trí vủa vecto x0 ban đầu và sự lựa chọn bán kính miền tin cậy ∆0 ban đầu Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm xấp xỉ tại điểm xk + sk ∈ B Định lý 2.1 ([1, Theorem 6.4.1, p.133]) Giả sử các. .. thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tất cả chúng lại trong một phần; phân biệt giữa giả thiết cho hàm mục tiêu và giả thiết cho hàm xấp xỉ 1.2.1 Giả thiết cho hàm mục tiêu Ta có các giả thiết cho hàm mục tiêu AF.1 f (x) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn AF.2 f (x) bị chặn dưới trong Rn , nghĩa là, tồn tại một hằng số κlbf sao cho với mọi... xấp xỉ bậc hai Một cách cụ thể để tìm bước thử sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở đây Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng có một chuỗi vô hạn {xk } được tạo ra Nếu thuật toán BTR được thực hiện như một chương trình máy tính, nó sẽ dừng lại ngay khi bước lặp xk được đánh giá là "đủ gần điểm tới hạn" Trong trường hợp không có ràng buộc, tiêu chuẩn đơn... f + g, s + 1 s, Hs 2 (1.29) với tất cả các điểm nằm dọc theo arcs = −tg trong miền ||s||α ≤ ∆, (1.30) chuẩn ||.||α cho trước tùy ý Từ đây ta có hệ quả Hệ quả 1.1 ([1, Corollary 6.3.2, p.127]) Giả sử rằng sC là cực tiểu của hàm toàn phương (1.29) trong miền tin cậy (1.30) cho mọi điểm nằm dọc theo arcs = −tg Khi đó chúng ta có ||g|| 1 , νC ∆ , q(0) − q(sC ) ≥ ||g|| min 2 1 + ||H|| khi νC = ||g|| ||g||α... và AM.4 cũng có nghĩa là βk ≤ κumh với mọi k 9 (1.16) Khóa luận tốt nghiệp 1.3.2 Đào Thị Hậu Điểm Cauchy cho hàm xấp xỉ dạng toàn phương Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó nó có thể có cực tiểu nằm trên phương Cauchy Định nghĩa 1.4 Điểm Cauchy, kí hiệu là xCk (t), là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy,... model’s Hessian" và "uniform norm equivalence" 1.3 Điểm và một hàm xấp xỉ giảm Điểm cốt yếu trong thuật toán của ta là sự xác định bước k, để hàm xấp xỉ giảm trong miền tin cậy Trong phần này, chúng ta đưa ra cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản 1.3.1 Phương Cauchy Định nghĩa 1.3 Phương Cauchy được xác định bởi def xCk (t) = {x | x = xk − tgk , t ≥ 0 và x ∈ Bk } Chú ý rằng xCk ... tiết lý thuyết phương pháp miền tin cậy Lịch sử phát triển phương pháp miền tin cậy số ứng dụng thuật toán miền tin cậy giới thiệu [1, tr 8-12] Khi nghiên cứu phương pháp miền tin cậy, em quan... } sinh thuật toán miền tin cậy trường hợp toán ràng buộc [1, Chương 6] Chương Thuật toán miền tin cậy 1.1 Một số khái niệm Trước hết ta xét toán tối ưu ràng buộc (P) Bài toán (P ) : minn f (x)... mở đầu Bài toán tối ưu có ứng dụng rộng rãi toán học đời sống Nó nghiên cứu cách toàn diện nhờ phương pháp định tính định lượng phương pháp gradient, phương pháp gradient chiếu, phương pháp Newton,