Chặn sai số và vấn đề hội tụ của một số thuật toán trong tối ưu hóa

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH LÊ DUY HOÀNG HỮU CHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN TRONG TỐI ƯU HĨA LUẬN VĂN THẠC SĨ TỐN HỌC Nghệ An, 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH LÊ DUY HOÀNG HỮU CHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN TRONG TỐI ƯU HĨA LUẬN VĂN THẠC SĨ TỐN HỌC Chun ngành: Tốn Giải tích Mã số: 46 01 02 Người hướng dẫn khoa học TS Nguyễn Thị Quỳnh Trang Nghệ An, 2018 LỜI CẢM ƠN Để hoàn thành luận văn xin chân thành cảm ơn thầy cô giáo tận tình hướng dẫn, giảng dạy suốt trình học tập nghiên cứu trường Đại học Vinh Xin chân thành cảm ơn thầy cô giáo Bộ mơn Giải tích, Viện Sư phạm Tự nhiên, Trường Đại học Vinh Đặc biệt, xin chân thành cảm ơn Cô giáo TS Nguyễn Thị Quỳnh Trang trực tiếp tận tình hướng dẫn, cung cấp tài liệu tận tình giúp đỡ suốt trình thực hoàn thành luận văn Mặc dù có nhiều cố gắng luận văn khơng tránh khỏi thiếu sót Rất mong nhận góp ý, bổ sung quý thầy, cô bạn học viên Tôi xin chân thành cảm ơn! MỤC LỤC Mục lục Mở đầu Chặn sai số số vấn đề liên quan 1.1 Kiến thức chuẩn bị 1.2 Chặn sai số bất đẳng thức Kurdyka-Lojasiewic 11 Sự hội tụ thuật toán giải toán tối ưu lồi 19 2.1 Sự hội tụ thuật toán giải toán tối ưu lồi không ràng buộc 19 2.2 Một số áp dụng 25 Kết luận kiến nghị Tài liệu tham khảo 28 29 MỞ ĐẦU Lý chọn đề tài Khái niệm chặn sai số cho hệ tuyến tính A J Hoffman đưa từ năm 1950 Sau đó, khái niệm nghiên cứu cho hệ hàm lồi số tác S M Robinson, O L Mangasarian, A Auslender, J.-P Crouzeix Đến nay, khái niệm chặn sai số mở rộng cho hệ hàm khơng lồi Khác với hệ tuyến tính, hệ hàm cịn lại muốn có tính chất chặn sai số phải thỏa mãn số điều kiện định Có nhiều kết đưa điều kiện đủ khác để hệ có tính chất chặn sai số (xem [8]) Chặn sai số đóng vai trị quan trọng tối ưu số Chẳng hạn, dùng để chứng minh tốc độ hội tụ thuật toán (xem [7],[8]) Bất đẳng thức Lojasiewicz xuất vào cuối thập niên 1950 lĩnh vực hình học nửa đại số Tuy nhiên, phải đến năm 1990, kết cộng đồng nhà toán học lĩnh vực tối ưu hóa ý đến Tương tự khái niệm chặn sai số, bất đẳng thức Lojasiewicz sử dụng để thiết lập kết tốc độ hội tụ phương pháp giải toán tối ưu (xem [6],[8]) Gần đây, J Bolte cộng (xem [4]) chứng minh rằng, số giả thiết, bất đẳng thức Kurdyka-Lojasiewicz tương đương với tính chất chặn sai số Hiện nay, nghiên cứu chặn sai số bất đẳng thức Lojasiewicz cho hệ có cấu trúc đặc biệt với ứng dụng vào lý thuyết thuật toán giải toán tối ưu toán liên quan hướng nghiên cứu có tính thời lĩnh vực tối ưu hóa Một số kết gần theo hướng xem tài liệu tham khảo [2], [4] [5] Nhằm tìm hiểu chặn sai số, bất đẳng thức Lojasiewicz số ứng dụng chúng vào tối ưu số, chọn đề tài cho luận văn "Chặn sai số vấn đề hội tụ số thuật tốn tối ưu hóa" Mục đích tổng hợp, phân tích trình bày lại số kết gần theo hướng nghiên cứu Mục đích nghiên cứu Mục đích trình bày cách chi tiết có hệ thống kết có chặn sai số vấn đề ứng dụng chặn sai số để phân tích hội tụ, đánh giá độ phức tạp phương pháp giảm bậc giải tốn tối ưu lồi khơng ràng buộc Trên sở tìm hiểu phân tích cơng trình nghiên cứu, tạo tài liệu hữu ích theo hướng sử dụng chặn sai số công cụ để tiếp cận toán khảo sát hội tụ thuật toán tối ưu Đối tượng, khách thể phạm vi nghiên cứu Luận văn tập trung nghiên cứu chặn sai số, bất đẳng thức Kurdyka- Lojasiewicz, hội tụ thuật toán giải toán tối ưu lồi Phạm vi nghiên cứu mối quan hệ chặn sai số bất đẳng thức Kurdyka-Lojasiewicz, hội tụ thuật toán giảm bậc cho hàm lồi Giả thuyết khoa học Khi yêu cầu xác định thông số cần thiết chặn sai số cho toán tối ưu đáp ứng, câu hỏi nảy sinh cách tự nhiên thơng số có liên hệ với độ phức tạp phương pháp giải Bất đẳng thức Kurdyka-Lojasiewicz dùng để phân tích tốc độ hội tụ cho số thuật tốn quan trọng tối ưu hóa Hơn nữa, tình hàm nửa đại số Rn , chặn sai số tương đương với bất đẳng thức Kurdyka-Lojasiewicz Điều dẫn đến vấn đề đặt khảo sát mối liên hệ chặn sai số với bất đẳng thức Kurdyka-Lojasiewicz, vận dụng mối liên hệ để đánh giá độ phức tạp thuật toán tối ưu Nhiệm vụ nghiên cứu Dựa việc tổng hợp phân tích tài liệu tham khảo để khảo sát giả thuyết khoa học nêu Phương pháp nghiên cứu Trong trình nghiên cứu nội dung luận văn này, sử dụng phương pháp nghiên cứu lý thuyết phương pháp phân tích tổng hợp lý thuyết, phương pháp phân loại hệ thống hóa lý thuyết, phương pháp nghiên cứu lịch sử Cấu trúc luận văn Ngoài phần Mở đầu, Kết luận Danh mục tài liệu tham khảo, luận văn trình hai chương Chương dành để trình bày khái niệm, tính chất đối tượng nghiên cứu Mục 1.1 gồm có khái niệm, ký hiệu tính chất cần thiết Mục 1.2 dành để trình bày vấn đề chặn sai số đồng thời phân tích mối liên hệ chặn sai số bất đẳng thức Kurdyka-Lojasiewicz Chương có nội dung kết việc đánh giá hội tụ phương pháp giảm giải tốn tối ưu lồi khơng ràng buộc, áp dụng kết vào số thuật toán Mục 2.1 dành cho kết việc sử dụng chặn sai số để thiết lập điều kiện hội tụ thuật toán giảm bậc Mục 2.2 phần áp dụng kết thu vào số thuật toán bản: thuật toán chiếu tâm tỷ cự, thuật toán chiếu luân phiên CHƯƠNG CHẶN SAI SỐ VÀ MỘT SỐ VẤN ĐỀ LIÊN QUAN Chương dành để trình bày khái niệm chặn sai số, bất đẳng thức Kurdyka-Lojasiewicz số vấn đề liên quan Đồng thời, nhắc lại số khái niệm, tính chất từ giải tích lồi, giải tích biến phân (xem [1]) 1.1 Kiến thức chuẩn bị Trong mục này, chúng tơi trình bày khái niệm, ký hiệu tính chất cần dùng luận văn 1.1.1 Định nghĩa ([1]) Cho H không gian Hilbert thực hàm f : H → R := R ∪ {±∞} (i) Miền hữu hiệu đồ thị f tương ứng domf := {x ∈ H|f (x) < ∞} epif := {(x, α) ∈ H × R|α ≥ f (x)} (ii) Ta nói f thường domf = ∅ f (x) > −∞ với x ∈ H (iii) Hàm f gọi nửa liên tục x lim inf f (u) ≥ f (x) u→x (iv) Nếu f nửa liên tục x f gọi nửa liên tục 1.1.2 Chú ý Hàm f nửa liên tục epif tập đóng H × R Nếu f (x) ∈ R f nửa liên tục quanh x epif tập đóng địa phương quanh điểm x, f (x) ∈ H × R 1.1.3 Định nghĩa ([1]) (i) Tập X ⊂ H gọi tập lồi x1 , x2 ∈ X t ∈ (0, 1) (1 − t)x1 + tx2 ∈ X (ii) Hàm số nhận giá trị thực suy rộng f : H → R gọi hàm lồi epif tập lồi khơng gian H × R 1.1.4 Chú ý Hàm f : H → R lồi với x1 , x2 ∈ X t ∈ (0, 1), ta có f (1 − t)x1 + tx2 ≤ (1 − t)f (x1 ) + tf (x2 ) 1.1.5 Định nghĩa ([3]) (i) Tập S ⊂ Rn gọi tập nửa đại số S có dạng sau p S= q {x ∈ Rn : fij (x) = 0, gij (x) > 0} j=1 i=1 fij , gij : Rn → R hàm đa thức với ≤ i ≤ q, ≤ j ≤ p (ii) Hàm số f : Rn → (−∞, +∞] gọi hàm nửa đại số đồ thị tập nửa đại số Rn+1 1.1.6 Định nghĩa ([1]) Cho f : H → (−∞, +∞] hàm thường (i) Dưới vi phân f ánh xạ đa trị ∂f : H → 2H : x → {u ∈ H : f (y) ≥ f (x)+ u, y−x với y ∈ H}, 2H tập tất tập H (ii) Với x ∈ H, tập ∂f (x) gọi vi phân f x 1.1.7 Mệnh đề ([1, Corollary 16.3]) Cho f : H → R hàm thường x ∈ domf Khi ∂f (x) tập lồi, đóng Tiếp theo quy tắc tổng cho vi phân hàm lồi, kết phiên Định lý Moreau-Rockafellar 1.1.8 Mệnh đề ([1, Corollary 16.38]) Cho fi : H → R (i = 1, 2) hàm lồi, thường, nửa liên tục domf1 ∩ intdomf2 = ∅ Khi đó, ∂(f1 + f2 )(x) = ∂f1 (x) + ∂f2 (x), ∀x ∈ H Trong luận văn này, khơng giải thích thêm ta ln xét H khơng gian Hilbert thực f : H → (−∞, +∞] hàm lồi, thường, nửa liên tục Giả sử tập điểm cực tiểu f không rỗng ký hiệu arg f S Không tính tổng quát, ta giả sử f = Cực tiểu tồn cục hàm thường đặc trưng nguyên lý sau đây, gọi Quy tắc Fermat cho vi phân 1.1.9 Mệnh đề ([1, Theorem 16.2]) Cho f : H → (−∞, +∞] hàm thường Khi arg f = {x ∈ H| ∈ ∂f (x)} Với x ∈ dom∂f, ký hiệu ∂ f (x) phần tử có chuẩn bé ∂f (x) Véctơ ∂ f (x) hình chiếu ∈ H lên tập lồi đóng khác rỗng ∂f (x) Như ∂ f (x) = dist 0, ∂f (x) Trường hợp x không thuộc dom∂f, ta đặt ∂ f (x) = +∞ Chúng ta quy ước s × (+∞) = +∞ với s > Với x ∈ H, hàm fx xác định fx (y) = f (y) + y − x , y ∈ H, có điểm cực tiểu Điểm cực tiểu ký hiệu proxf (x) Theo Mệnh đề 1.1.9, ∈ ∂fx proxf (x) Sử dụng Mệnh đề 1.1.8, ta có · −x ) proxf (x) = ∂f proxf (x) + proxf (x) − x ∈ ∂fx proxf (x) = ∂f proxf (x) + ∂( Điều chứng tỏ proxf (x) nghiệm bao hàm thức x − proxf (x) ∈ ∂f proxf (x) Nói riêng ra, proxf (x) ∈ dom∂f ⊂ domf ⊂ H Ánh xạ proxf : H → H gọi toán tử gần kề liên kết với f Hơn nữa, proxf ánh xạ liên tục Lipschitz với hệ số Ví dụ sau cho thấy phép chiếu trực giao lên tập lồi đóng trường hợp đặc biệt tốn tử gần kề 15 1.2.10 Hệ ([4, Corollary 9]).Cho f : Rn → R hàm lồi, đa thức mảnh có argf = ∅ Khi f có tính chất Lojasiewicz [f ≤ r], với số mũ θ = − (deg(f )−1)n +1 Cho f : Rn → R xác định f (x) = Ax − b 22 + µ x , x = |x1 | + + |xn |, x = (x1 , , xn ) ∈ Rn , y = |y1 |2 + + |ym |2 , y = (y1 , , ym ) ∈ Rm , µ > 0, b ∈ Rm A ma trận cỡ m × n Khi f hàm lồi, đa thức mảnh bậc Do f hàm bức, nên S = arg f = ∅ Theo Mệnh đề 1.2.9 Hệ 1.2.10, f − f nhận θ = số mũ Lojasiewicz Trong phần tiếp theo, chúng tơi trình bày số kết chặn sai số 1.2.11 Định nghĩa ([4, Definition 1]) (Chặn sai số Hoffman) Cho số nguyên dương m, n, r, A ∈ Rm×n , a ∈ Rm , E ∈ Rr×n , e ∈ Rr Xét hai đa diện X = {x ∈ Rn : Ax ≤ a}, Y = {x ∈ Rn : Ex = e}, giả sử X ∩ Y = ∅ Chặn sai số Hoffman thỏa mãn tồn số ν = ν(A, E) ≥ 0, phụ thuộc vào cặp (A, E) gọi số Hoffman cho cặp (A, E), cho dist(x, X ∩ Y ) ≤ ν Ex − e , ∀x ∈ X Tập S = argRn f lồi, compact không rỗng Với x∗ ∈ S, f (x∗ ) ≤ b Vì S ⊂ {x ∈ Rn : x ≤ R} với f (0) = b dẫn đến x∗ ≤ 2µ b R > cố định Đối với cận R vậy, ta có 2µ f = Ax − b 22 + µ x : x ∈ Rn n R = Ax − b 22 + µy : (x, y) ∈ Rn × R, x ≤ R, y = x 16 Ax − b ˜ = A˜ x − ˜b = 2 + µy : (x, y) ∈ Rn × R, x 2 ˜ + µ ˜, x˜ : x˜ = (x, y) ∈ Rn × R, M x˜ ≤ R − y ≤ 0, y ≤ R  • A˜ = [A, 0Rm×1 ] ∈ Rm×(n+1) , ˜b = (b1 , , bm , 0) ∈ Rm+1 ,     ˜ = (0, , 0, R) ∈ Rn+1 , ãà = (0, , 0, à) Rn+1 , R E 1R2n ì1 ãM = l ma trận cỡ (2n + 1) × (n + 1), 1×n  R     với E ma trận cỡ 2n × n có dòng vectơ phân biệt cỡ n   dạng ei = (±1, , ±1), i = 1, , 2n Thứ tự ei tùy ý Đặt ˜ := x˜ ∈ Rn+1 : M x˜ ≤ R ˜ , X ˜ S˜ := arg f˜(˜ x) := A˜ x − ˜b ˜ x ˜∈X 2 + µ ˜, x˜ Ta có (x∗ , y ∗ ) ∈ S˜ (x∗ ∈ S y ∗ = x∗ ) Theo [2, Lemma 2.5], ˜ ≤ ν2 µ ˜ dist2 (˜ x, S) ˜ D + 3GDA + 2G2 + f˜(˜ x) − f˜(˜ x∗ ) , ∀˜ x∈X ˜ • x˜∗ = (x∗ , y ∗ ) điểm tối ưu thuộc S, • ν số Hoffman liên kết với cặp (M, [A˜T , µ ˜T ]T ) Định nghĩa 1.2.11 ˜ = (x, y) ∈ Rn+1 : x • D đường kính đa diện X ≤ y ≤ R , nghĩa khoảng cách lớn hai đỉnh Do D = 2R • G chuẩn lớn gradient · −˜b 2 ˜ X), ˜ thế, G ≤ A( R A + b ˜ X), ˜ DA = max A(x1 −x2 ) ≤ 2R A • DA đường kính tập A( xi ∈X 17 Bất đẳng thức viết sau Ax − b dist2 (x, S) + (y − y ∗ )2 ≤ κR − Ax∗ − b 2 +µ x ∗ 2 + µy (1.2) ˜ , ∀(x, y) ∈ X, κR = ν 2Rµ + 6(R A + b )R A + 2(R A + b )2 + Bằng cách lấy y = x , (1.2) trở thành dist2 (x, S) + (y − y ∗ )2 ≤ κR f (x) − f (x∗ ) , ∀x ∈ Rn , x ≤ R b Khi 1.2.12 Bổ đề ([4, lemma 10]) Cố định R > 2µ f (x) − f (x∗ ) ≥ 2γR dist2 (x, S) với x ∈ Rn cho x ≤ R, γR = 4ν + µR + (R A + b )(4R A + b ) Dẫn đến f hàm KL hình cầu bán kính R l1 có ϕ(s) = 2γR−1 s Xét tập lồi đóng C1 , , Cm , m ≥ 2, H có phần giao chứa hình cầu mở khác rỗng 1.2.13 Mệnh đề ([4, Proposition 11]) Giả sử có x ¯ ∈ H R > cho m B(¯ x, R) ⊂ Ci i=1 Khi x − x¯ dist(x, ∩ Ci ) ≤ + i=1 R m m−1 max {dist(x, Ci ), i = 1, , m} , ∀x ∈ H (1.3) 18 Chứng minh Giả sử m = Đặt C := C1 ∩ C2 , d := max{dist(x, C1 ), dist(x, C2 )}, cố định x ∈ H Hàm dist(·, C2 ) liên tục Lipschitz với hệ số Do đó, |dist PC1 (x), C2 − dist(x, C2 )| ≤ x − PC1 (x) dist PC1 (x), C2 ≤ dist(x, C1 ) + dist(x, C2 ) ≤ d R PC1 (x) − PC2 (x) , y ∈ B(¯ x, R) ⊂ C1 ∩ C2 Đặt d R d y+ PC PC (x) z := R+d R+d R Ta có z ∈ C2 , ta thay y z x ¯ + PC1 (x) − PC2 PC1 (x) , d R d x¯ + PC (x) ∈ C1 , z= R+d R+d điều dẫn đến z ∈ C1 ∩ C2 Lấy y := x ¯+ Vì dist(x, C) ≤ x − z ≤ x − PC1 (x) + z − PC1 (x) , và, x ¯ ∈ C1 ∩ C2 , d x¯ − PC1 (x) R+d d d = PC1 (¯ x) − PC1 (x) ≤ x¯ − x R+d R+d d d x − x¯ , dẫn đến Kết hợp kết trên, ta có dist(x, C) ≤ + R+d x − x¯ dist(x, C) ≤ + max {dist(x, C1 ), dist(x, C2 )} (1.4) R z − PC1 (x) = m Đối với m ≥ tùy ý, áp dụng (1.4) cho hai tập C1 ∩ Ci , ta có i=2 m x − x¯ max dist(x, C1 ), dist(x, ∩ Ci ) i=2 i=1 R Lặp lại quy trình (m − 1) lần, thu (1.3) m dist(x, ∩ Ci ) ≤ + 19 CHƯƠNG SỰ HỘI TỤ CỦA THUẬT TOÁN GIẢI BÀI TOÁN TỐI ƯU LỒI Chương dành để trình bày kết việc đánh giá hội tụ phương pháp giảm giải toán tối ưu lồi khơng ràng buộc Các kết này, sau đó, áp dụng cho thuật toán chiếu tâm tỷ cự thuật toán chiếu luân phiên 2.1 Sự hội tụ thuật toán giải toán tối ưu lồi không ràng buộc Giả sử hàm mục tiêu f : H → (−∞, +∞] hàm lồi, thường, nửa liên tục dưới, S = arg f = ∅, f = 2.1.1 Định nghĩa ([4]) Dãy (xk )k∈N ⊂ H dãy giảm gradient f x0 ∈ domf tồn a, b > cho (H1) (Điều kiện giảm đủ) Với k ≥ 1, f (xk ) + a xk − xk−1 ≤ f (xk−1 ) (H2) (Điều kiện sai số tương đối) Với k ≥ 1, tồn ωk ∈ ∂f (xk ) cho ωk ≤ b xk − xk−1 2.1.2 Nhận xét Nếu f trơn có gradient liên tục Lipschitz với hệ số L, dãy thỏa mãn (H2’) ∇f (xk−1 ) ≤ b xk − xk−1 , với k ≥ 20 thỏa mãn (H2) Thật vậy, với k ≥ 1, ∇f (xk ) ≤ ∇f (xk−1 ) + ∇f (xk ) − ∇f (xk−1 ) ≤ b xk − xk−1 + L xk − xk−1 = (b + l) xk − xk−1 2.1.3 Ví dụ (Phương pháp tách tiến-lùi.) Cho g : H → (−∞, +∞] hàm lồi, thường, nửa liên tục dưới, h : H → R hàm trơn, lồi có gradient liên tục Lipschitz với hệ số L Xét toán (g + h)(x) x∈H Từ điểm xuât phát x0 ∈ H, phương pháp tách tiến-lùi sinh dãy (xk )k∈N sau xk+1 ∈ arg g(z) + ∇h(xk ), z − xk + z − xk 2λk :z∈H :z∈H (2.1) với k ≥ Bao hàm thức (2.1) tương đương với xk+1 ∈ arg g(z) + z − xk − λk ∇h(xk ) 2λk Hay xk+1 = proxλk g xk − λk ∇h(xk ) , (2.2) proxλk g tốn tử gần kề liên hợp với λk g Phương pháp tiến-lùi sinh dãy giảm gradient bước lặp chọn cách phù hợp Mệnh đề sau cho điều kiện để dãy sinh phương pháp tiến-lùi dãy giảm gradient với L k ∈ N Phương pháp tách tiến-lùi (2.2) sinh dãy thỏa mãn (H1) 2.1.4 Mệnh đề ([4, Proposition 13]) Giả sử < λ− ≤ λk ≤ λ+ < (H2) với L − b = + L λ+ λ− Nếu f = g + h có tính chất KL, Định lý 2.1.5 sau đảm bảo tính hội a= tụ mạnh dãy sinh phương pháp tiến-lùi 21 2.1.5 Định lý ([4, Theorem 14]) Giả sử f : H → (−∞, +∞] hàm lồi, thường, nửa liên tục có tính chất KL [0 < f < r¯] với ϕ ∈ K(0, r¯) Xét dãy giảm gradient (xk )k∈N thỏa mãn f (x0 ) ≤ r0 ≤ r¯ Khi đó, xk hội tụ mạnh x∗ ∈ arg f b xk − x∗ ≤ ϕ f (xk ) + a f (xk−1 ) , ∀k ≥ a Chứng minh Từ (H1), ta suy dãy f (xk ) k∈N không tăng, xk ∈ [0 ≤ f < r¯] Trước tiên ta chứng minh ϕ f (xk ) − ϕ f (xk+1 ) ≥ a xk − xk+1 − xk−1 − xk b , ∀k ≥ (2.3) Trường hợp xk − xk−1 = 0, (H2), ta có ωk = 0, suy f (xk ) = Điều kéo theo f (xk+1 ) = xk+1 = xk Như (2.3) Nếu f (xk ) = 0, lập luận tương tự ta có (2.3) Trường hợp f (xk ) > xk − xk−1 > Kết hợp (H1), (H2) tính lõm ϕ ta có ϕ f (xk ) − ϕ f (xk+1 ) ≥ ϕ f (xk ) f (xk ) − f (xk+1 ) a xk − xk+1 ≥ b xk−1 − xk a xk − xk+1 xk − xk−1 − xk−1 − xk ≥ , b xk − xk−1 a ≥ xk − xk+1 − xk−1 − xk b Bây giờ, (2.3) nên b ϕ f (x1 ) − ϕ f (xk+1 ) a k + x0 − x1 ≥ xi − xi+1 , ∀k ∈ N, i=1 k xi − xi+1 hội tụ, theo tiêu chuẩn Cauchy, suy dãy đó, chuỗi i=1 (xk )k∈N hội tụ điểm x∗ ∈ H Theo (H2), tồn dãy ωk ∈ ∂f (xk ) hội tụ Giả thiết f lồi, nửa liên tục nên gphf đóng H × H Do 22 ∈ ∂f (x∗ ) Theo (2.3), ta có k+m b ϕ f (xk ) − ϕ f (xk+m ) a xi − xi+1 , ∀k, m ∈ N + xk−1 − xk ≥ i=k Kết hợp với (H1), b ϕ f (xk ) − ϕ f (xk+m ) a f (xk−1 ) − f (xk ) ≥ a + k+m xi − xi+1 , i=k với k, m ∈ N Cho m → ∞ ta b ϕ f (xk ) + a f (xk−1 ) − f (xk ) ≥ a xk − x∗ , ∀k ∈ N, f (xk−1 ) ≥ a b ϕ f (xk ) + a xk − x∗ , ∀k ∈ N Trong phần tiếp theo, dành để trình bày độ phức tạp phương pháp giảm bậc Cho < r0 < r¯, giả sử f có tính chất KL [0 < f < r¯] với hàm ϕ ∈ K(0, r¯), ϕ f (x) ∂ f (x) ≥ với x ∈ [0 < f < r¯] Đặt α0 := ϕ(r0 ) xét hàm lồi, đơn điệu tăng ψ = ϕ|[0,r0 ] −1 : [0, α0 ] → [0, r0 ] Giả thiết sau sử dụng phần sau (A) Hàm ψ liên tục Lipschitz [0, α0 ] với hệ số l > ψ (0) = Chúng ta tập trung vào thuật toán sinh dãy giảm gradient tuân theo (H1) (H2) Đặt √ + 2lab−2 − ζ := > 0, (2.4) l a > 0, b > 0, l > cho tương ứng (H1), (H2) (A) Bắt đầu từ α0 , ta xác định dãy αk+1 = arg ψ(u) + (u − αk )2 : u ≥ 2ζ (2.5) 23 với k ≥ Ta có αk > 0, ∀k ≥ Hơn αk+1 = (I + ζψ )−1 (αk ) = proxζψ (αk ), với k ≥ I ma trận đơn vị R Dãy αk giảm hội tụ không, ψ liên tục, lim ψ(αk ) = Để trình bày kết chính, cần đến k→∞ số kết bổ trợ 2.1.6 Bổ đề ([4]) Cho hai dãy dương (λ0k )k∈N , (λ1k )k∈N cho λ0k > λ1k với k ≥ Xác định hai dãy βk+1 := (I + λ0k ψ )−1 (βk0 ), βk+1 := (I + λ1k ψ )−1 (βk1 ), với β00 = β01 ∈ (0, r0 ] Khi βk0 ≤ βk1 với k ≥ Bổ đề 2.1.7 sau công cụ phân tích hội tụ phương pháp bậc 2.1.7 Bổ đề ([1]) Cho f : H → (−∞, +∞] hàm lồi, thường, nửa liên tục Giả sử f khả vi có ∇f liên tục Lipschitz với hế số l > Khi f (y) ≤ f (x) + ∇f (x), y − x + l x−y 2 với x, y ∈ H Kết mục độ phức tạp dãy giảm cho hàm lồi có tính chất KL phát biểu sau 2.1.8 Định lý ([4, Theorem 16]) Cho f : H → (−∞, +∞] hàm lồi, thường, nửa liên tục có arg f = ∅ f = Giả sử f có tính chất KL [0 < f < r¯] Cho (xk )k∈N dãy giảm gradient với f (x0 ) = r0 ∈ (0, r¯) giả thiết (A) [0, α0 ], ψ(α0 ) = r0 Dãy (αk )k∈N xác định (2.4) (2.5) Khi đó, (xk )k∈N hội tụ mạnh điểm cực tiểu x∗ , f (xk ) ≤ ψ(αk ), ∀k ≥ 0, b xk − x∗ ≤ αk + a ψ(αk−1 ) , ∀k ≥ a (2.6) (2.7) 24 Chứng minh Cho k ≥ 1, đặt rk := f (xk ) Nếu rk = ta có điều phải chứng minh Giả sử rk > 0, rj > với j = 1, , k Đặt βk−1 − βk > βk thỏa mãn βk = ψ −1 (rk ) > sk := ψ (βk ) βk = (1 + sk ψ )−1 (βk−1 ) Ta chứng minh sk ≥ ζ Do tính chất KL (H2) ta có b2 ϕ (rk )2 xk − xk−1 ≥ ϕ (rk )2 ωk ≥ 1, ωk xác định (H2) Do (H2) công thức đạo hàm hàm ngược ta, từ bất đẳng thức dẫn đến a ψ(βk−1 ) − ψ(βk ) ≤ ϕ (r ) (r − r ) = k k−1 k b2 ψ (βk )2 Theo Bổ đề 2.1.7, ta lại có a βk−1 − βk l(βk−1 − βk )2 l ≤ + = sk + s2k 2 b ψ (βk ) 2ψ (βk ) Như √ + 2lab−2 − sk ≥ = ζ l Bất đẳng thức với k ≥ cho rk > Nhận xét rằng, dãy αk+1 = (I + ζψ )−1 (αk ), βk+1 (I + sk ψ )−1 (βk ), có sk ≥ ζ, nên theo Bổ đề 2.1.6, αk ≥ βk Do ψ(α) ≥ ψ(βk ) = rk Kết luận (2.7) Định lý 2.1.5 2.1.9 Hệ ([4, Corollary 20]) Giả thiết ký hiệu Định lý 2.1.8, l thêm vào f có tính chất KL với ψ(x) = s2 [0 < f < r¯] Đặt −2 σ = lb Trường hợp này, đánh giá Định lý 2.1.8 có dạng f (xk ) ≤ xk − x ∗ f (x0 ) , ∀k ≥ 0, + 2aσ)k a f (x0 ) ≤ 1= aσ 1+ 2aσ (1 + 2aσ) k−1 , ∀k ≥ 25 2.2 Một số áp dụng Cho {Ci }i∈{1, ,m} họ tập lồi đóng H, tồn R > x¯ ∈ H cho m B(¯ x, R) ⊂ C := Ci i=1 Thuật toán chiếu tâm tỷ cự Xuất phát từ điểm x0 ∈ H, phương pháp tạo dãy (xk )k∈N m xk+1 = αi PCi (xk ), i=1 m αi > αi = i=1 2.2.1 Định lý ([4, Theorem 22]) Dãy chiếu tâm tỷ cự (xk )k∈N hội tụ mạnh điểm x∗ ∈ C f (xk ) ≤ f (x0 ) 1+ M k , ∀k ≥ 0, xk − x∗ ≤ + M 1+ 2f (x0 ) M (1 + M k−1 ) , ∀k ≥ 1, M cho x0 − x¯ 2−2m 1+ αi (2.8) i=1, ,m R Chứng minh Tìm điểm thuộc C tương đương với tìm cực tiểu hàm M= lồi f= m αi dist2 (·, Ci ), i=1 m αi > với i = 1, , m αi = Ta có i=1 C = arg f = {x ∈ H : f (x) = 0} Với x0 ∈ H, theo Mệnh đề 1.2.13, f có chặn sai số x0 − x¯ dist(x, C) ≤ + R m−1 αi i=1, ,m f (x) 26 với x ∈ B(¯ x, x0 − x¯ ) Kết hợp với Định lý 1.2.5, ta suy f thỏa mãn bất đẳng thức KL B(¯ x, x0 − x¯ ) ∩ [0 < f ] với ϕ(s) = s, M s ≥ M cho (2.8) Mặt khác, ta có m ∇f (x) m αi x − PCi (x) = x − i=1 αi PCi (x) i=1 với x ∈ H Như vậy, dãy (xk )k∈N mơ tả xk+1 = xk − ∇f (xk ), k ≥ Hơn nữa, ∇f liên tục Lipschitz với hệ số L = Điều kéo theo (xk )k∈N ˆ ∈ C, thỏa mãn điều kiện (H1)và (H2) với a = , b = Với x dãy xk − x ˆ giảm, suy xk ∈ B(¯ x, x0 − x¯ ), với k ≥ Như giả thiết Hệ 2.1.9 thỏa mãn, với a = , b = 2, l = M M ψ(s) = s2 , nên ta dẫn đánh giá nêu Thuật toán chiếu luân phiên Xét trường hợp m = Xuất phát từ x0 ∈ H, phương pháp sinh dãy lặp xk+1 = PC1 PC2 (xk ) ∀k ≥ 2.2.2 Định lý ([4, Theorem 23]) Khơng tính tổng qt, giả sử x0 ∈ C1 Dãy sinh phương pháp chiếu luân phiên hội tụ điểm x∗ ∈ C Hơn nữa, xk ∈ C1 với k ≥ 1, dist(xk , C2 ) ≤ dist(x0 , C2 ) 1+ M k , ∀k ≥ 0, xk − x∗ ≤ + M 1+ dist(x0 , C2 ) M 1+ M k−1 , ∀k ≥ 1, 27 M xác định M = 1 x0 − x¯ 1+ R −2 Chứng minh Đặt g := δC1 + dist2 (·, C2 ), g(x) ≥ dist2 (x, C1 ) + dist2 (x, C2 ) với x ∈ H Ta có dist(x, C) ≤ + x0 − x¯ R g(x), với x ∈ B(¯ x, x0 − x¯ ) Suy g thỏa mãn bất đẳng thức KL B(¯ x, x0 − x¯ ) ∩ [0 < g] với ϕ(s) = s M Hàm h := 12 dist2 (·, C2 ) khả vi, ∇h = I − PC2 liên tục Lipschitz với hệ số Dãy (xk )k∈N diễn tả theo phương pháp tách tiến-lùi sau xk+1 = proxiC1 xk − ∇h(xk ) = PC1 xk − ∇h(xk ) Dãy (xk )k∈N thỏa mãn điều kiện (H1)và (H2) với a = , b = Với k ≥ 0, xk ∈ B(¯ x, x0 − x¯ ) Như giả thiết Hệ 2.1.9 thỏa mãn, với a = , b = 2, l = M ψ(s) = M s, nên ta có đánh giá Định lý 2.2.2 28 KẾT LUẬN VÀ KIẾN NGHỊ Dựa việc nghiên cứu, tìm hiểu từ tài liệu tham khảo, luận văn trình bày lại cách có hệ thống vấn đề sau: Tổng hợp, trình bày cách chi tiết chặn sai số bất đẳng thức Kurdyka-Lojasiewicz Đánh giá bất đẳng thức KL cho hàm lồi đa thức mảnh hàm bình phương tối thiểu với qui hóa l1 Trình bày mối quan hệ bất đẳng thức KL chặn sai số (Định lý 1.2.5) Trình bày kết hôi tụ phương pháp giảm gradient (Định lý 2.1.5), đánh giá độ phức tạp phương pháp giảm bậc cho toán tối ưu lồi không ràng buộc (Định lý 2.1.8) Áp dụng kết đánh giá hội tụ độ phức tạp vào thuật toán chiếu tâm tỷ cự (Định lý 2.2.1) thuật toán chiếu luân phiên (Định lý 2.2.2) Theo hướng nghiên cứu luận văn, ứng dụng bất đẳng thức Kurdyka-Lojasiewicz vào khảo sát hội tụ phương pháp giảm bậc tốn tối ưu khơng lồi 29 TÀI LIỆU THAM KHẢO [1] Bauschke, H.H, Combettes, P.L (2011),Convex Analysis and Monotone Operator in Hilbert Spaces, Springer, New York [2] Beck, A., Shtern S (2017), "Linearly convergent away-step conditional gradient for non-strongly convex functions", Math Program (164), 127 [3] Bochnak, J., Coste, M., Roy, M.-F., (1998),Real Algebraic Geometry, Springer, Berlin [4] Bolte, J., Nguyen, T.P., Peypouquet, J (2017), "From error bounds to the complexity of first-order descent methods for convex functions", Math Program (165), 471-507 [5] Li, G (2013), "Global error bounds for piecewise convex polynomials", Math Program (137), 37-64 [6] Luo, Z.-Q., Pang, J S (1994), "Error bounds for analytic systems and their application", Math Program (67), 1-28 [7] Luo, Z.-Q., Tseng, P (1993), "Error bounds and convergence analysis of feasible descent methods: ageneral approach", Ann Oper Res (46-47), 157-178 [8] Pang, J S (1997), "Error bounds in mathematical programming", Math Program (79), 299-332 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH LÊ DUY HOÀNG HỮU CHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN TRONG TỐI ƯU HĨA LUẬN VĂN THẠC SĨ TỐN HỌC Chun ngành: Tốn Giải tích Mã số: 46 01 02... dụng kết vào số thuật toán Mục 2.1 dành cho kết việc sử dụng chặn sai số để thiết lập điều kiện hội tụ thuật toán giảm bậc Mục 2.2 phần áp dụng kết thu vào số thuật toán bản: thuật toán chiếu... tối ưu hóa Một số kết gần theo hướng xem tài liệu tham khảo [2], [4] [5] Nhằm tìm hiểu chặn sai số, bất đẳng thức Lojasiewicz số ứng dụng chúng vào tối ưu số, chọn đề tài cho luận văn "Chặn sai