Phương pháp hướng gradient liên hợp cho bài toán tối ưu lồi trên tập điểm bất động của ánh xạ không giãn

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ HỒNG XUYÊN PHƯƠNG PHÁP HƯỚNG GRADIENT LIÊN HỢP CHO BÀI TOÁN TỐI ƯU LỒI TRÊN TẬP ĐIỂM BẤT ĐỘNG CỦA ÁNH XẠ KHƠNG GIÃN Chun ngành: Tốn ứng dụng Mã số: 8460112 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Song Hà Thái Nguyên - 2020 ii LỜI CẢM ƠN Luận văn hồn thành Khoa Tốn - Tin, Trường Đại học Khoa học, Đại học Thái Nguyên hướng dẫn tận tình Thầy giáo, Tiến sĩ Nguyễn Song Hà Tơi xin bày tỏ lịng kính trọng lòng biết ơn sâu sắc tới Thầy, người theo sát, hướng dẫn, bảo cho suốt trình từ lựa chọn đề tài thực hoàn thiện luận văn Qua đây, xin gửi lời cảm ơn đến Thầy, Cơ giáo thuộc Khoa Tốn - Tin, trường Đại học Khoa Học, Đại học Thái Nguyên tận tình giảng dạy giúp đỡ tơi hồn thành khóa học Cuối cùng, xin gửi lời cảm ơn tới Ban giám hiệu, tập thể Thầy, Cô giáo trường Trung học phổ thông Lương Thế Vinh nơi công tác, động viên tạo điều kiện cho suốt thời gian học tập thực đề tài Tác giả Nguyễn Thị Hồng Xuyên iii Mục lục Trang bìa phụ Lời cảm ơn i ii Mục lục iii Danh mục ký hiệu chữ viết tắt Danh sách bảng v vi Mở đầu Chương Kiến thức chuẩn bị 1.1 Một số vấn đề không gian Hilbert 3 1.2 Tập lồi hàm lồi 1.3 Ánh xạ đơn điệu 15 1.4 Ánh xạ không giãn điểm bất động 17 Chương Phương pháp hướng gradient liên hợp cho lớp toán tối ưu lồi 24 2.1 Mơ hình tốn 24 2.2 Phương pháp hướng gradient liên hợp 2.2.1 Mô tả phương pháp 2.2.2 2.2.3 26 26 Sự hội tụ phương pháp Ví dụ minh họa 27 34 2.3 Phương pháp hướng gradient liên hợp lai ghép 37 2.3.1 2.3.2 Mô tả phương pháp Sự hội tụ phương pháp 37 37 iv 2.3.3 Ví dụ minh họa 43 Kết luận chung đề nghị 44 Tài liệu tham khảo 45 v Danh mục ký hiệu chữ viết tắt H Không gian Hilbert thực H Rn Không gian thực n chiều ∇f Gradient hàm f ∇2 f Hessian hàm f x, y Tích vơ hướng hai véctơ x y x Chuẩn véctơ x PC (x) xn Phép chiếu mêtric phần tử x lên tập C x Dãy {xn } hội tụ yếu đến x xn → x Dãy {xn } hội tụ mạnh đến x (CGM) Phương pháp hướng gradient liên hợp (HCGM) Phương pháp hướng gradient liên hợp lai ghép vi Danh sách bảng 2.1 Kết tính tốn phương pháp (CGM) với µ = 36 2.2 Kết tính tốn phương pháp (CGM) với µ = 1/100 36 2.3 2.4 Một số kết tính tốn khác cho phương pháp (CGM) Kết tính tốn phương pháp (HCGM) với µ = 36 43 2.5 Một số kết tính toán khác cho phương pháp (HCGM) 43 Mở đầu Nhiều mơ hình tốn lí thuyết thực tiễn quy mơ hình tốn tối ưu có dạng: Tìm x∗ ∈ C cho: f (x∗ ) = f (x), x∈C (0.1) đó, C tập khác rỗng khơng gian Hilbert thực H f : C → R hàm số xác định C Việc vận dụng lí thuyết tốn vào thực tiễn địi hỏi phải có phương pháp thuật tốn giải số hữu hiệu Đó hướng nghiên cứu quan trọng dành quan tâm sâu sắc nhiều nhà toán học giới Việc đề xuất phương pháp cải tiến hiệu nhiều phương pháp có giải tốn (0.1) chủ đề nghiên cứu cấp thiết mang tính thời Cho đến nay, người ta thiết lập nhiều kĩ thuật tìm nghiệm xấp xỉ toán (0.1) Chẳng hạn, phương pháp lặp điển hình giải tốn (0.1) phương pháp chiếu gradient Trường hợp đặc biệt H = Rn , phương pháp giải tốn (0.1) có lịch sử lâu đời có nhiều nghiên cứu mở rộng phương pháp Newton, phương pháp tựa Newton, phương pháp đường dốc hay phương pháp gradient liên hợp Các phương pháp có cấu trúc chung xk+1 = xk + αk dk , k = 0, 1, 2, đó, xk nghiệm xấp xỉ thứ k, αk kích thước bước lặp dk hướng tìm kiếm Mục đích luận văn trình bày lại có hệ thống số phương pháp hướng gradient liên hợp tìm nghiệm xấp xỉ cho lớp tốn tối ưu lồi khơng gian Hilbert thực Cụ thể, lớp tốn "Bài tốn tối ưu tập điểm bất động ánh xạ không giãn" Nội dung tham khảo từ nghiên cứu Iiduka cộng công bố năm 2009 Với mục tiêu vậy, lời mở đầu, luận văn gồm có hai chương, kết luận tài liệu tham khảo Chương 1, dành để hệ thống lại kiến thức giải tích lồi, tốn tử đơn điệu, ánh xạ không giãn điểm bất động nhằm phục vụ cho việc cụ thể hóa nội dung chương sau luận văn Chương dùng để trình bày hai phương pháp hướng gradient liên hợp giải toán nêu ví dụ số minh họa Chương Kiến thức chuẩn bị Trong chương này, hệ thống lại số kiến thức phục vụ cho việc trình bày nội dung phần sau luận văn Cấu trúc chương chia thành bốn phần: Mục 1.1 dành để nhắc lại vài khái niệm tính chất khơng gian Hilbert thực H Mục 1.2 trình bày vài vấn đề cần thiết tập lồi hàm lồi Một số nội dung toán tử loại đơn điệu đề cập đến Mục 1.3 Cuối cùng, Mục 1.4 dùng để giới thiệu lớp ánh xạ không giãn, phép chiếu mêtric lên tập đóng lồi khơng gian Hilbert tính chất cốt yếu 1.1 Một số vấn đề không gian Hilbert Định nghĩa 1.1 Cho H không gian véctơ thực Hàm số , : H × H → R (x,y) → x,y gọi tích vơ hướng hai véctơ x y điều kiện sau thỏa mãn: i) x, y = y, x với x, y ∈ H, ii) x + y, z = x, z + y, z với x, y, z ∈ H, iii) αx, y = α x, y với x, y ∈ H, α ∈ R, iv) x, x ≥ với x ∈ H x, x = ⇔ x = Không gian véctơ thực H với tích vơ hướng xác định gọi khơng gian tiền Hilbert Ví dụ 1.1 Trong không gian hữu hạn chiều Rn , tích vơ hướng hai véctơ x = (x1 , x2 , , xn ) ∈ Rn y = (y1 , y2 , , yn ) ∈ Rn xác định x, y = x1 y1 + x2 y2 + + xn yn Không gian Rn với tích vơ hướng xác định khơng gian tiền Hilbert Ví dụ 1.2 Xét L2 [a, b] không gian hàm số thực bình phương khả tích [a, b] ⊂ R, tức b |x(t)|2 dt < ∞ ∀x = x(t) ∈ L2 [a, b] a Hàm số , : L2 [a, b] × L2 [a, b]→R xác định b x(t)y(t)dt ∀x = x(t), y = y(t) ∈ L2 [a, b], x, y = a tích vơ hướng L2 [a, b] L2 [a, b] không gian tiền Hilbert Mệnh đề 1.1 (Bất đẳng thức Schwarz) Trong khơng gian tiền Hilbert H ta ln có | x, y |2 ≤ x, x y, y , ∀x, y ∈ H Chứng minh Hiển nhiên y = bất đẳng thức Giả sử y = với λ ∈ R ta có x + λy, x + λy ≥ Điều dẫn đến x, x + 2λ x, y + λ2 y, y ≥ Chọn λ = − x, y thay vào bất đẳng thức ta nhận y, y x, x − | x, y |2 ≥ y, y Từ suy điều cần chứng minh Mệnh đề 1.2 Cho H không gian tiền Hilbert Hàm số : H → R xác định x = x, x x ∈ H, (1.1) chuẩn H chuẩn gọi chuẩn sinh tích vơ hướng Chứng minh Hiển nhiên, từ (1.1) điều kiện iv) định nghĩa tích vơ hướng, ta có x ≥ x = ⇔ x = Tiếp theo, với x ∈ H λ ∈ R ta thấy λx = λx, λx = |λ| x, x = |λ| x 31 τ + 2µM αn−1 βn−1 σ ≤ (1 − τ αn ) xn − xn−1 + 2µM |αn−1 − αn | + 2µM τ αn βn + 2µM τ βn−1 , ∀n ≥ Từ B6) suy với ε > 0, tồn n1 ∈ N cho ε βn ≤ , ∀n ≥ n1 Khi đó, với n ≥ n1 + ta có xn+1 − xn ≤ (1 − τ αn ) xn − xn−1 + 2µM |αn−1 − αn | + 2µM ε(1 − (1 − τ αn )) Từ quy nạp ta nhận xm+n+1 − xm+n ≤ (1 − τ αn+m ) xm+n − xm+n−1 + 2µM |αm+n − αm+n−1 | + µM ε(1 − (1 − τ αm+n )) ≤ ··· n+m−1 ≤ (1 − τ αk+1 ) xm+1 − xm k=m n+m−1 |αk+1 − αk | + 2µM k=m n+m−1 + µM ε − (1 − τ αk+1 ) k=m Điều kiện B2, B3) suy ∞ (1 − τ αk+1 ) → k=m Do đó, ta có n+m−1 lim sup xm+n+1 − xm+n n→∞ ≤ 2µM lim sup n→∞ |αk+1 − αk | + µM ε k=m 32 Kết hợp với B4) ta có lim sup xn+1 − xn = lim sup xm+n+1 − xm+n n→∞ n→∞ ≤ µM ε Vì ε > bé tùy ý nên suy lim xn+1 − xn = n→∞ Ngoài ra, từ ước lượng xn − T (xn ) ≤ xn − xn+1 + xn+1 − T (xn ) ta nhận lim xn − T (xn ) = n→∞ (iv) Trước hết, ta chứng minh lim sup x∗ − xn , ∇f (x∗ ) ≤ (2.4) n→∞ Lấy {xnk } dãy dãy {xn } thỏa mãn lim sup x∗ − xn , ∇f (x∗ ) = lim x∗ − xnk , ∇f (x∗ ) k→∞ n→∞ Vì {xnk } bị chặn nên tồn dãy {xnkj } hội tụ yếu H Giả sử lim xnkj , w = xˆ, w , j→∞ xˆ ∈ H Để ý rằng, xˆ = T (ˆ x) lim inf xnkj − xˆ < lim inf xnkj − T (ˆ x) j→∞ j→∞ = lim inf xnkj − T (xnkj ) + T (xnkj ) − T (ˆ x) j→∞ ≤ lim inf [ xnkj − T (xnkj ) + T (xnkj ) − T (ˆ x) ] j→∞ = lim inf T (xnkj ) − T (ˆ x) j→∞ ≤ lim inf xnkj − xˆ , j→∞ mâu thuẫn Do đó, ta phải có xˆ = T (ˆ x) Mặt khác, x∗ nghiệm tốn (2.1) nên ta có ∇f (x∗ ), xˆ − x∗ ≥ 33 Từ suy lim sup x∗ − xn , ∇f (x∗ ) = lim x∗ − xnk , ∇f (x∗ ) k→∞ n→∞ ≤ lim sup x∗ − xnkj , ∇f (x∗ ) j→∞ = x∗ − xˆ, ∇f (x∗ ) ≤ Điều kiện B6) tính bị chặn dãy {zn }, {dn } bảo đảm lim sup βn zn − x∗ , dn−1 ≤ n→∞ Điều kiện B2) dẫn đến với ε > tồn số m0 ∈ N cho ε µ2 αn dn , −∇f (x∗ ) ≤ , τ µ ε x∗ − xn , ∇f (x∗ ) ≤ , τ µβn ε zn − x∗ , dn−1 ≤ , τ với n ≥ m0 Cuối cùng, ta có ước lượng sau xn+1 − x∗ = T (xn + µαn dn ) − T (x∗ ) ≤ xn + µαn dn − x∗ 2 = xn + µαn (−∇f (xn ) + βn dn−1 ) − x∗ = [xn − µαn ∇f (xn )] − [x∗ − µαn ∇f (xn )] + µαn βn dn−1 − µαn ∇f (xn ) ≤ (1 − τ αn ) xn − x∗ 2 + 2αn (xn + µαn dn ) − x∗ , µβn dn−1 − µ∇f (xn ) ≤ (1 − τ αn ) xn − x∗ + 2τ αn + 2τ αn + 2τ αn µβn zn − x∗ , dn−1 τ µ x∗ − xn , ∇f (x∗ ) τ µ2 αn dn , −∇f (x∗ ) τ 34 Kết hợp với đánh giá phía ta nhận xn+1 − x∗ ≤ (1 − τ αn ) xn − x∗ + τ αn ε, ∀n ≥ m0 Bằng quy nạp, ∀n ≥ m0 , ta có n xn+1 − x∗ n ≤ (1 − τ αk ) xm0 − x∗ +ε 1− k=m0 (1 − τ αk ) k=m0 Từ B3) suy lim sup xn+1 − x∗ ≤ ε ≤ n→∞ Do ε > bé tùy ý nên ta nhận lim sup xn+1 − x∗ n→∞ Điều suy lim xn+1 − x∗ n→∞ = Hay nói cách khác dãy {xn } hội tụ mạnh đến nghiệm x∗ 2.2.3 Ví dụ minh họa Trong phần này, xét H không gian hữu hạn chiều Rn có tích vơ hướng hai véctơ x = (x1 , x2 , , xn ) ∈ Rn y = (y1 , y2 , , yn ) ∈ Rn xác định x, y = x1 y1 + x2 y2 + + xn yn , chuẩn tương ứng sinh tích vơ hướng x = x21 + x22 + + x2n Cho b = (b1 , b2 , , bn ) ∈ Rn Q : Rn → Rn tốn tử tuyến tính bị chặn, tự liên hợp với hệ số α xác định ma trận vng thực cỡ n × n xác định dương Ta xác định hàm toàn phương f : Rn → R sau: f (x) := x, Q(x) + b, x , ∀x ∈ Rn Khi đó, ∇f (x) = Q(x) + b λmin -đơn điệu mạnh λmax -liên tục Lipschitz với λmin λmax giá trị riêng nhỏ lớn Q 35 n Cho C = Ci với i=1 Ci = {x = (x1 , x2 , , xn ) ∈ Rn : ei , xi ≥ 0, }, i = 1, 2, , n, đây, ei ∈ Rn có tọa độ trừ tọa độ thứ i Để ý rằng, PCi ánh xạ không giãn Ci = Fix(PCi ) Ta đặt T (x) = n n ∀x ∈ Rn PCi (x) , i=1 Khi đó, T ánh xạ khơng giãn hiển nhiên Fix(T ) = ∅ Hơn nữa, ta thấy n Fix(T ) = C := Ci i=1 Xét tốn (OP) tìm x∗ ∈ C cho: f (x∗ ) = f (x) x∈C (2.5) Ví dụ 2.2 Xét mơ hình tốn (2.5) với thông tin sau: n = 2, Q= 0 , b = (1, 2) T = (PC1 + PC2 ) với C1 = {x = (x1 , x2 ) ∈ R2 : x1 ≤ 0}, C2 = {x = (x1 , x2 ) ∈ R2 : x2 ≤ 0} x, x + b, x , ∀x ∈ Rn ∇f (x) = x+b 1-đơn điệu mạnh 1-liên tục Lipschitz Ngoài ra, ta thấy Trong trường hợp ta có f (x) := Fix(T ) = {x = (x1 , x2 ) ∈ R2 : x1 ≤ 0, x2 ≤ 0} = R2− Dễ thấy x∗ = (−1, −2) nghiệm toán (2.5) Chọn tham số thỏa mãn điều kiện Định lí 2.1 sau 1 αn = √ , βn = , µ ∈ (0, 2) (n + 1)2 n+1 36 Với điểm ban đầu x0 = (3, 4), áp dụng thuật toán nêu Mục 2.2.1, ta nhận bảng kết tính tốn số cho nghiệm xấp xỉ thứ k xk = (k) (k) (u1 , u2 ) đây: k (k) (k) u1 u2 (k) k (k) u1 u2 0.085786437 -0.242640687 20 -0.999883737 -1.999768714 -0.946666102 -1.896827181 40 -0.999998013 -1.999996048 -0.986447733 -1.973043702 60 -0.999999906 -1.999999813 -0.994757726 -1.989571298 80 -0.999999992 -1.999999985 10 -0.997651003 -1.995327029 100 -0.999999999 -1.999999998 Bảng 2.1: Kết tính tốn phương pháp (CGM) với µ = Với giá trị tham số µ = 1/100 ta nhận k (k) (k) u1 u2 k (k) (k) u1 u2 100 -0.125221845 -0.253708106 103 -0.432398958 -0.866916036 200 -0.194683834 -0.392372871 104 -0.855383818 -1.711307302 300 -0.244249719 -0.491319677 105 -0.998085387 -1.996177919 500 -0.316691531 -0.635932970 106 -0.999999997 -1.999999995 800 -0.393018940 -0.788302955 107 -0.999999999 -1.999999999 Bảng 2.2: Kết tính tốn phương pháp (CGM) với µ = 1/100 Ngồi ra, tính tốn với số giá trị µ khác ta có µ k (k) u1 (k) u2 1/1000 105 -0.464619251 -0.929409024 199/100 50 -0.999999999 -1.999999999 1999/1000 20 -0.999999998 -1.999999998 Bảng 2.3: Một số kết tính tốn khác cho phương pháp (CGM) Kết cho thấy tham số µ ảnh hưởng lớn đến hội tụ phương pháp Tốc độ hội tụ chậm tham số gần giá trị tốt tham số thuộc [1, 2) 37 2.3 Phương pháp hướng gradient liên hợp lai ghép 2.3.1 Mô tả phương pháp Cho f : H → R T : H → H thỏa mãn giả thiết A1), A2) A3) Cho µ, αn ∈ (0, 1] βn ∈ [0, ∞) thỏa mãn điều kiện từ B1) đến B6) Khi đó, để tìm nghiệm xấp xỉ tốn (2.1) ta thực theo thủ tục lặp (viết tắt (HCGM)) nh sau: ã Bc Ly > tha mãn B1) Chọn x1 ∈ H α1 ∈ (0, 1] tùy ý Chúng ta tính d1 := −∇f (x1 ) gán n := • Bước Với xn ∈ H, dn ∈ H, chọn αn ∈ (0, 1] thỏa mãn B2)-B5) xác định xn+1 ∈ H xn+1 := T (xn ) + µαn dn • Bước Chọn βn+1 ∈ [0, ∞) thỏa mãn B6) cập nhật hướng tìm kiếm sau dn+1 := −∇f (T (xn+1 )) + βn+1 dn • Bước Đặt n := n + thực Bước 2.3.2 Sự hội tụ phương pháp Sự hội tụ phương pháp hướng gradient liên hợp lai ghép đề cập đến phát biểu chứng minh thơng qua định lí sau Định lí 2.2 [3] Cho f : H → R T : H → H thỏa mãn giả thiết A1), A2) A3) Cho µ, αn ∈ (0, 1] βn ∈ [0, ∞) thỏa mãn điều kiện từ B1) đến B6) Khi đó, {dn } bị chặn dãy lặp {xn } xác định thủ tục lặp (HCGM) Mục 2.2.1 nêu thỏa mãn: (i) {xn }, {T (xn )} {∇f (xn )} bị chặn; (ii) lim xn+1 − T (xn ) = 0; n→∞ 38 (iii) lim xn+1 − xn = 0; n→∞ (iv) {xn } hội tụ mạnh đến nghiệm toán (2.1) Chứng minh (i) Lấy tùy ý x∗ ∈ Fix(T ) nghiệm (2.1) Ta đặt K1 := sup{ βn+1 dn − ∇f (T (x∗ )) } < ∞, n∈N K := max{K1 , ∇f (x∗ ) } Áp dụng Mệnh đề 1.15 ta nhận xn+1 − x∗ = T (xn ) + µαn dn − x∗ = T (xn ) + µαn (−∇f (T (xn )) + βn dn−1 ) − T (x∗ ) = [T (xn ) − µαn ∇f (T (xn ))] − [T (x∗ ) − µαn ∇f (T (x∗ ))] + µαn [βn dn−1 − ∇f (T (x∗ )) = [T (xn ) − µαn ∇f (T (xn ))] − [T (x∗ ) − µαn ∇f (T (x∗ ))] + µαn βn dn−1 − ∇f (T (x∗ )) ≤ (1 − τ αn ) T (xn ) − T (x∗ ) + µαn βn dn−1 − ∇f (T (x∗ )) ≤ (1 − τ αn ) xn − x∗ + µαn βn dn−1 − ∇f (T (x∗ )) ≤ (1 − τ αn ) xn − x∗ + µαn K µK µK ≤ max{ xn − x∗ , }, = (1 − τ αn ) xn − x∗ + τ αn τ τ đó, τ := − − µ(2α − µL2 ) ∈ (0, 1] Bằng quy nạp, suy xn+1 − x∗ ≤ max{ x1 − x∗ , µK } τ Do đó, dãy {xn } bị chặn Mặt khác, T ánh xạ không giãn ∇f (x) L-liên tục Lipschitz nên {T (xn )} {∇f (xn )} dãy bị chặn (ii) Từ B2) tính bị chặn {dn } suy lim sup xn+1 − T (xn ) = lim sup µαn dn = µ lim sup αn dn ≤ n→∞ n→∞ Do đó, ta có lim xn+1 − T (xn ) = n→∞ n→∞ 39 (iii) Ta đặt M1 := sup{| xn+1 xn , ∇f (T (xn−1 )) |}, n≥2 sup{| xn+1 xn , dn−1 |}, τ n≥2 σ M3 := sup{| xn+1 xn , dn−2 |}, τ n≥3 M2 := M := max{M1 , M2 , M3 } Ta có ước lượng sau xn+1 − xn = T (xn ) + µαn dn − T (xn−1 ) − µαn−1 dn−1 = T (xn ) + µαn (−∇f (T (xn )) + βn dn−1 ) − [T (xn−1 ) − µαn ∇f (T (xn−1 ))] − µαn ∇f (T (xn−1 )) − µαn−1 dn−1 = [T (xn ) − µαn ∇f (T (xn ))] − [T (xn−1 ) − µαn ∇f (T (xn−1 ))] + µ[αn βn dn−1 − αn ∇f (T (xn−1 )) − αn−1 dn−1 ] ≤ [T (xn ) − µαn ∇f (T (xn ))] − [T (xn−1 ) − µαn ∇f (T (xn−1 ))] + 2µ αn βn dn−1 − αn ∇f (T (xn−1 )) − αn−1 dn−1 , xn+1 − xn ≤ (1 − τ αn )2 T (xn ) − T (xn−1 ) + 2µ αn βn dn−1 − αn ∇f (T (xn−1 )) − αn−1 dn−1 , xn+1 − xn ≤ (1 − τ αn ) xn − xn−1 + 2µ αn βn dn−1 − αn ∇f (T (xn−1 )) − αn−1 (−∇f (T (xn−1 )) + βn−1 dn−2 ), xn+1 − xn ≤ (1 − τ αn ) xn − xn−1 + 2µ(αn−1 − αn ) ∇f (T (xn−1 )), xn+1 − xn + 2µαn βn dn−1 , xn+1 − xn + 2µαn−1 βn−1 −dn−2 , xn+1 − xn ≤ (1 − τ αn ) xn − xn−1 + 2µ|αn−1 − αn |M + 2µαn βn M τ + 2µαn βn−1 M τ, ∀n ≥ 40 Từ B6) suy với ε > 0, tồn n1 ∈ N cho ε βn ≤ , ∀n ≥ n1 Khi đó, với n ≥ n1 + ta có xn+1 − xn 2 ≤ (1 − τ αn ) xn − xn−1 + 2µ|αn−1 − αn |M + µM ε(1 − (1 − τ αn )) Khi đó, với n, m ≥ n1 ta có đánh giá xm+n+1 − xm+n ≤ (1 − τ αm+n ) xm+n − xm+n−1 + 2µM |αm+n − αm+n−1 | + µM ε(1 − (1 − τ αm+n )) ≤ ··· n+m−1 ≤ (1 − τ αk+1 ) xm+1 − xm k=m n+m−1 |αk+1 − αk | + 2µM k=m n+m−1 + µM ε − (1 − τ αk+1 ) k=m Điều kiện B2, B3) suy ∞ (1 − τ αk+1 ) → k=m Do đó, ta có n+m−1 lim sup xm+n+1 − xm+n ≤ 2µM lim sup n→∞ n→∞ |αk+1 − αk | + µM ε k=m Kết hợp với B4) ta có lim sup xn+1 − xn n→∞ = lim sup xm+n+1 − xm+n n→∞ ≤ µM ε Vì ε > bé tùy ý nên suy lim xn+1 − xn = n→∞ 41 Ngoài ra, từ ước lượng xn − T (xn ) ≤ xn − xn+1 + xn+1 − T (xn ) ta nhận lim xn − T (xn ) = n→∞ (iv) Trước hết, ta chứng minh lim sup x∗ − xn , ∇f (x∗ ) ≤ (2.6) n→∞ Lấy {xnk } dãy dãy {xn } thỏa mãn lim sup x∗ − xn , ∇f (x∗ ) = lim x∗ − xnk , ∇f (x∗ ) k→∞ n→∞ Vì {xnk } bị chặn nên tồn dãy {xnkj } hội tụ yếu H Giả sử lim xnkj , w = xˆ, w , j→∞ xˆ ∈ H Để ý rằng, xˆ = T (ˆ x) x) lim inf xnkj − xˆ < lim inf xnkj − T (ˆ j→∞ j→∞ x) = lim inf xnkj − T (xnkj ) + T (xnkj ) − T (ˆ j→∞ x) ] ≤ lim inf [ xnkj − T (xnkj ) + T (xnkj ) − T (ˆ j→∞ x) = lim inf T (xnkj ) − T (ˆ j→∞ ≤ lim inf xnkj − xˆ , j→∞ mâu thuẫn Do đó, ta phải có xˆ = T (ˆ x) Mặt khác, x∗ nghiệm tốn (2.1) nên ta có ∇f (x∗ ), xˆ − x∗ ≥ Từ suy lim sup x∗ − xn , ∇f (x∗ ) = lim x∗ − xnk , ∇f (x∗ ) n→∞ k→∞ ≤ lim sup x∗ − xnkj , ∇f (x∗ ) j→∞ = x∗ − xˆ, ∇f (x∗ ) ≤ 42 Điều kiện B6) tính bị chặn dãy {xn }, {dn } bảo đảm lim sup βn xn+1 − x∗ , dn−1 ≤ n→∞ Điều kiện B2) dẫn đến với ε > tồn số m0 ∈ N cho µ ε x∗ − xn , ∇f (x∗ ) ≤ , τ ε µβn xn+1 − x∗ , dn−1 ≤ , τ với n ≥ m0 Cuối cùng, ta có ước lượng sau xn+1 − x∗ = T (xn ) + µαn dn − T (x∗ ) = T (xn ) + µαn (−∇f (T (xn )) + βn dn−1 ) − T (x∗ ) = [T (xn ) − µαn ∇f (T (xn ))] − [T (x∗ ) − µαn ∇f (T (x∗ ))] + [µαn βn dn−1 − µαn ∇f (T (x∗ ))] ≤ [T (xn ) − µαn ∇f (T (xn ))] − [T (x∗ ) − µαn ∇f (T (x∗ ))] + 2µαn βn dn−1 − ∇f (T (x∗ )), xn+1 − x∗ ≤ (1 − τ αn )2 T (xn ) − T (x∗ ) + 2µαn βn dn−1 − ∇f (T (x∗ )), xn+1 − x∗ ≤ (1 − τ αn ) xn − x∗ µβn dn−1 , xn+1 − x∗ + ∇ − f (T (x∗ )), xn+1 − x∗ τ + 2τ αn Kết hợp với đánh giá phía ta nhận xn+1 − x∗ ≤ (1 − τ αn ) xn − x∗ + τ αn ε, ∀n ≥ m0 Bằng quy nạp, ∀n ≥ m0 , ta có n xn+1 − x∗ ≤ n (1 − τ αk ) xm0 − x∗ +ε 1− k=m0 (1 − τ αk ) k=m0 Từ B3) suy lim sup xn+1 − x∗ n→∞ ≤ ε 43 Do ε > bé tùy ý nên ta nhận lim sup xn+1 − x∗ ≤ n→∞ Điều suy lim xn+1 − x∗ n→∞ = Hay nói cách khác dãy {xn } hội tụ mạnh đến nghiệm x∗ 2.3.3 Ví dụ minh họa Ví dụ 2.3 Ta xét toán (2.3) với giả thiết kí hiệu trình bày Ví dụ 2.2 Mục 2.2.3 Với điểm ban đầu x0 = (3, 4), áp dụng thuật toán nêu Mục 2.3.1, ta nhận bảng kết tính tốn số cho nghiệm xấp xỉ thứ k (k) (k) xk = (u1 , u2 ) đây: k (k) (k) u1 u2 k (k) (k) u1 u2 -1.328427124 -2.242640687 12 -1.005061468 -2.006493080 -1.201330418 -2.256976912 14 -1.059289567 -2.076057612 16 -1.001476606 -2.001894257 -1.022950752 -2.029442258 18 -1.000852498 -2.001093623 1.002664477 -2.003418112 10 -1.010283950 -2.013192715 20 -1.000508997 -2.000652965 Bảng 2.4: Kết tính tốn phương pháp (HCGM) với µ = Tính tốn với số giá trị µ khác ta có bảng tính tốn sau µ k (k) u1 (k) u2 100 -1.000000003 -2.000000004 1/100 105 -0.998091979 -1.996191042 1/1000 105 -0.464769669 -0.929722856 199/100 50 -1.000000000 -2.000000000 1999/1000 20 -1.000000003 -2.000000003 Bảng 2.5: Một số kết tính tốn khác cho phương pháp (HCGM) Tương quan kết tính tốn với Ví dụ 2.2, ta thấy ảnh hưởng tham số µ tới tốc độ hội tụ hai phương pháp tương đồng 44 KẾT LUẬN Luận văn nghiên cứu trình bày lại có hệ thống số vấn đề sau đây: Một là, trình bày lại số kiến thức giải tích hàm, giải tích lồi khơng gian Hilbert thực Chương 1, nhằm phục vụ cho việc chi tiết hóa nội dung luận văn Chương Hai là, trình bày mơ hình toán tối ưu tập điểm bất động ánh xạ không giãn không gian Hilbert thực Ba là, trình bày chi tiết phương pháp, hội tụ ví dụ số minh họa cụ thể tương ứng cho phương pháp hướng gradient liên hợp phương pháp hướng gradient liên hợp lai ghép 45 Tài liệu tham khảo Tiếng Việt [1] Hoàng Tụy (2003), Hàm thực Giải tích hàm (Giải tích đại), Nhà xuất Đại học Quốc gia Hà Nội Tiếng Anh [2] Bauschke H H., Combettes P L (2010), Convex Analysis and Monotone Operator Theory in Hilbert Spaces, Springer [3] Iiduka H (2009), "Hybrid conjugate gradient method for a convex optimization problem over the fixed point set of a nonexpansive mapping", J Optim Theory Appl., 140, pp 463-475 [4] Iiduka H., Yamada I (2009), "A use of conjugate gradient direction for the convex optimization problem over the fixed point set of a nonexpansive mapping", SIAM J Optim., 19, pp 1881-1893 [5] Yamada I (2001), "The hybrid steepest descent method for the variational inequality problem over the intersection of fixed point sets of nonexpansive mappings", Inherently Parallel Algorithms in Feasibility and Optimization and Their Applications, Chapter 8, pp 473-504 ... 24 Chương Phương pháp hướng gradient liên hợp cho lớp toán tối ưu lồi Trong chương chúng tơi trình bày hai phương pháp tìm nghiệm xấp xỉ toán tối ưu lồi tập điểm bất động ánh xạ không giãn Iiduka... C → C ánh xạ xác định C Điểm x ∈ C gọi điểm bất động T T (x) = x Tập tất điểm bất động ánh xạ T kí hiệu Fix(T ), tức Fix(T ) = {x ∈ C : T (x) = x} Tính chất điểm bất động ánh xạ không giãn phát... Chương Phương pháp hướng gradient liên hợp cho lớp toán tối ưu lồi 24 2.1 Mơ hình tốn 24 2.2 Phương pháp hướng gradient liên hợp 2.2.1 Mô tả phương pháp