Một số phương pháp chiếu gradient hiệu quả giải bất đẳng thức biến phân đơn điệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC ——————————————– PHẠM VĂN THÁP MỘT SỐ PHƯƠNG PHÁP CHIẾU GRADIENT HIỆU QUẢ GIẢI BẤT ĐẲNG THỨC BIẾN PHÂN ĐƠN ĐIỆU LUẬN VĂN THẠC SĨ TOÁN HỌC THANH HÓA, NĂM 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC ——————————————— PHẠM VĂN THÁP MỘT SỐ PHƯƠNG PHÁP CHIẾU GRADIENT HIỆU QUẢ GIẢI BẤT ĐẲNG THỨC BIẾN PHÂN ĐƠN ĐIỆU LUẬN VĂN THẠC SĨ TỐN HỌC Chun ngành: Tốn Giải Tích Mã số: 8460102 Người hướng dẫn khoa học: GS TSKH Phạm Kỳ Anh THANH HÓA, NĂM 2019 Danh sách hội đồng chấm thi luận văn thạc sĩ theo Quyết định số 1896/QĐĐHHĐ ngày 21 tháng 11 năm 2019 Hiệu trưởng Trường Đại học Hồng Đức: Học hàm, học vị Họ tên Cơ quan công tác Viện GS TSKH Đinh Dũng GS TS Đặng Quang Á PGS TS TS TS Nguyễn CNTT-ĐHQG Hà Nội Viện hàn lâm KH-CN Việt Nam Minh Trường ĐH GD- Chức danh hội đồng Chủ tịch Phản biện Phản biện Tuấn ĐHQGHN Mai Xuân Thảo Trường ĐH Hồng Đức Ủy viên Trường ĐH Hồng Đức UV, Thư ký Nguyễn Lương Văn Xác nhận người hướng dẫn Học viên chỉnh sửa theo ý kiến hội đồng Ngày tháng năm 2019 (ký ghi rõ họ tên) i LỜI CAM ĐOAN Tôi xin cam đoan luận văn không trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu cơng bố Người cam đoan Phạm Văn Tháp ii LỜI CẢM ƠN Luận văn hoàn thành Khoa Tự Nhiên, Trường Đại học Hồng Đức - Thanh Hóa hướng dẫn Thầy GS TSKH Phạm Kỳ Anh Tôi xin chân thành bày tỏ lòng biết ơn sâu sắc tới dạy Thầy Tôi xin cảm ơn tất thầy cô giảng dạy cảm ơn tất bạn bè giúp đỡ chân tình người Tôi xin gửi lời cảm ơn tới phòng Sau đại học, Trường Đại học Hồng Đức - Thanh Hóa giúp đỡ mặt thủ tục để hồn thiện luận văn Tơi xin gửi lời cảm ơn tới ban giám hiệu trường THPT Nguyễn Thị Lợi - Sầm Sơn tạo điều kiện tốt cho tơi hồn thành khóa học Thanh Hóa, tháng 11 năm 2019 Phạm Văn Tháp iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii MỞ ĐẦU Chương : KIẾN THỨC CHUẨN BỊ 1.1 Khơng gian Hilbert số tính chất 1.2 Tập lồi, hàm lồi 1.3 Đạo hàm vi phân hàm lồi 11 1.4 Các khái niệm đơn điệu toán tử 12 1.5 Toán tử chiếu 17 Chương : PHÁT BIỂU BÀI TOÁN 22 2.1 Phát biểu toán 22 2.2 Mối quan hệ với toán khác 23 2.2.1 Bài toán tối ưu 23 2.2.2 Bài toán bù phi tuyến 23 2.2.3 Bài toán điểm bất động 24 2.2.4 Hệ phương trình 25 2.3 Sự tồn nghiệm 26 Chương : MỘT SỐ PHƯƠNG PHÁP CHIẾU GRADIENT GIẢI BÀI TOÁN BẤT ĐẲNG THỨC BIẾN PHÂN 28 3.1 Phương pháp lần chiếu 28 3.1.1 Phương pháp chiếu với cỡ bước cố định 28 iv 3.1.2 Phương pháp chiếu với cỡ bước tự thích nghi 33 3.1.3 Phương pháp chiếu Malitsky 36 3.2 Phương pháp hai lần chiếu 43 3.2.1 Phương pháp Kopelevich 43 3.2.2 Phương pháp chiếu gradient 46 3.2.3 Phương pháp Popov 51 3.2.4 Phương pháp Popov với cỡ bước tự thích nghi 54 KẾT LUẬN 57 Tài liệu tham khảo 59 MỞ ĐẦU Lí chọn đề tài Nhiều tốn lĩnh vực khác toán học, quy hoạch tốn học, phương trình đạo hàm riêng, điều khiển tối ưu, lý thuyết trị chơi, tốn bù phi tuyến, tốn điểm bất động, tốn giải phương trình bất phương trình, tốn cân Nash, tốn vận tải, vv đưa toán bất đẳng thức biến phân (Variational Inequality Problems, VIP) Trong phương pháp giải bất đẳng thức biến phân, phương pháp chiếu gradient tỏ hiệu đơn giản Như vậy, việc nghiên cứu số phương pháp chiếu gradient hiệu có ý nghĩa khoa học thực tiễn, nhiều nhà khoa học quan tâm Mục đích nghiên cứu Tìm hiểu số phương pháp chiếu gradient hiệu giải bất đẳng thức biến phân Phân tích ưu nhược điểm phương pháp so sánh chúng với để từ đưa khuyến nghị sử dụng chúng Nhiệm vụ đề tài Ngoài việc tổng hợp kiến thức phục vụ cho việc trình bày nội dung luận văn, luận văn cịn trình bày số phương pháp chiếu gradient hiệu giải bất đẳng thức biến phân Đối tượng phạm vi nghiên cứu Nghiên cứu tài liệu chuyên khảo báo liên quan nhằm tổng hợp kiến thức sở phương pháp giải vấn đề, từ chứng minh kết toán nghiên cứu luận văn Ý nghĩa khoa học thực tiễn đề tài Tìm hiểu số phương pháp chiếu gradient hiệu giải bất đẳng thức biến phân Phân tích ưu nhược điểm phương pháp so sánh chúng với để từ đưa khuyến nghị sử dụng chúng Cấu trúc luận văn Ngoài lời cảm ơn, mở đầu, phần kết luận tài liệu tham khảo, luận văn chia thành ba chương: Chương 1: Trình bày số kiến thức chuẩn bị Giải tích hàm Giải tích lồi, bao gồm khái niệm tập lồi, hàm lồi, nón pháp tuyến, đạo hàm, toán tử chiếu, số khái niệm liên tục đơn điệu tốn tử khơng gian Hilbert vơ hạn chiều Chương 2: Phát biểu tốn bất đẳng thức biến phân trình bày mối liên hệ toán với số toán quan trọng khác Toán học, toán quy hoạch toán học, toán điểm bất động, toán bù phi tuyến, toán cân Nash, vv , giới thiệu số kết tồn nghiệm bất đẳng thức biến phân Chương 3: Giới thiệu hai nhóm phương pháp chiếu gradient: phương pháp lần chiếu phương pháp gradient tăng cường sử dụng hai lần chiếu Trình bày phương pháp chiếu phản xạ thuật toán tỷ lệ vàng Malitsky kỹ thuật chọn độ dài bước tự thích nghi Chương 1.1 KIẾN THỨC CHUẨN BỊ Khơng gian Hilbert số tính chất Trong chương chúng tơi trình bày lại số kiến thức Giải tích hàm Giải tích lồi theo tài liệu [1, 15, 16] Định nghĩa 1.1.1 Cho X khơng gian tuyến tính K ⊂ {R, C} Ánh xạ k k :X → R x 7→ kxk thỏa mãn: Xác định dương kxk ≥ 0, ∀x ∈ X; kxk = ⇔ x = Thuần dương kλ xk = |λ | kxk , ∀x ∈ X, λ ∈ K Bất đẳng thức tam giác kx + yk ≤ kxk + kyk Khi ánh xạ k k gọi chuẩn X Khơng gian tuyến tính X với chuẩn X gọi không gian tuyến tính định chuẩn kxk gọi chuẩn x Nhận xét 1.1.1 Nếu X không gian tuyến tính định chuẩn, với x, y thuộc X đặt d (x, y) := kx − yk d khoảng cách X Như vậy, khơng gian tuyến tính định chuẩn không gian mêtric Định nghĩa 1.1.2 Cho X khơng gian tuyến tính định chuẩn dãy {xn } ⊂ X Ta nói dãy xn hội tụ mạnh tồn x0 thuộc X cho: n x − x0 → n → ∞ Hay lim xn = x0 n→∞ Kí hiệu: xn → x0 Định nghĩa 1.1.3 Dãy xn gọi dãy nếu: Với ε > 0, tồn n0 ∈ N cho với m, n ta có 47  dãy yn − xn+1 dãy {kyn − xn k} hội tụ Do dãy {kxn − x∗ k} hội tụ nên xn bị chặn Suy ra, tồn dãy {xni } ⊂ {xn } hội tụ tới x ∈ C Trong (3.21), thay n ni cho i tiến vô cùng, sử dụng tính liên tục ánh xạ F, tính bị chặn yn yni → x i → +∞ , ta thu hF (x) , z − xi ≥ 0, ∀z ∈ C Suy ra, x ∈ Sol (F,C) Lập luận tương tự trên, thay x∗ x ta có {kxn − xk} hội tụ Do lim kxn − xk = lim kxni − xk = n→∞ i→∞ Vậy dãy xn hội tụ x Định lý chứng minh 3.2.2 Phương pháp chiếu gradient Thuật toán chiếu gradient [8] tiến hành sau: Bước Xuất phát từ điểm x0 ∈ H τ > n = Bước Tại bước lặp thứ n ta có xn , ta tính yn , xây dựng Tn tính xn+1 theo cơng thức     yn = PC (xn − τF (xn )) ;    (3.23) Tn := {w ∈ H : hxn − τF (xn ) − yn , w − yn i ≤ 0} ;       xn+1 = PT (xn − τF (yn )) n Trong Tn siêu phẳng tựa C yn Bước Nếu xn = yn dừng lại Ngược lại đặt n = n + quay lại bước Ta biểu diễn thuật toán chiếu gradient sau Để chứng minh hội tụ dãy lặp tạo thành từ thuật tốn (3.23) ta có bổ đề sau: Bổ đề 3.2.1 Nếu xn = yn thuật tốn (3.23) xn ∈ Sol (F,C) Chứng minh Nếu xn = yn xn = PC (xn − τF (xn )), xn ∈ C Do yn ∈ Tn nên xn ∈ Tn Dựa vào tính chất biến phân phép chiếu lên C, ta có hxn − τF (xn ) − xn , w − xn i ≤ 0, ∀w ∈ C 48 Điều tương đương với τ hF (xn ) , w − xn i ≥ 0, ∀w ∈ C Do τ > nên hF (xn ) , w − xn i ≥ 0, ∀w ∈ C Suy ra, xn ∈ Sol (F,C) Điều phải chứng minh Bổ đề 3.2.2 [8] Giả sử xn yn hai dãy lặp tạo thành thuật toán (3.23) u ∈ Sol (F,C) Giả sử điều kiện sau thỏa mãn: Sol (F,C) 6= ∅ F ánh xạ đơn điệu tren C hF (x) − F (y) , x − yi ≥ 0, ∀x, y ∈ C F ánh xạ L - Lipschitz C kF (x) − F (y)k ≤ L kx − yk , ∀x, y ∈ C Khi ta có n+1
x − u 2 ≤ kxn − uk2 − − τ L2 kyn − xn k , ∀n ≥ Chứng minh Do u ∈ sol (F,C), yn ∈ C F ánh xạ đơn điệu nên ta có hF (yn ) − F (u) , yn − ui ≥ 0, ∀n ≥ Điều tương đương với 49 hF (yn ) , yn − ui ≥ hF (u) , yn − ui ≥ 0, ∀n ≥ Do F (yn ) , yn − xn+1 + xn+1 − u ≥ Suy F (yn ) , xn+1 − u ≥ F (yn ) , xn+1 − yn (3.24) Sử dụng tính chất biến phân phép chiếu lên Tn , ta có n+1 x − yn , (xn − τF (yn )) − yn = 0, ∀n ≥ Như vậy, n+1 x − yn , (xn − τF (yn )) − yn = xn+1 − yn , xn − τF (xn ) − yn + τ xn+1 − yn , F (xn ) − F (yn ) Hay n+1 x − yn , (xn − τF (yn )) − yn = τ xn+1 − yn , F (xn ) − F (yn ) (3.25) Đặt zn = xn − τF (yn ) ta thu n+1 x − u 2 = kPT (zn ) − uk2 n = kPTn (zn ) − zn + zn − uk2 = kPTn (zn ) − zn k2 + kzn − uk2 + hPTn (zn ) − zn , zn − ui Do 2kzn − PTn (zn )k2 + hPTn (zn ) − zn , zn − ui = hzn − PTn (zn ) , u − PTn (zn )i ≤ 0, ∀n ≥ 0, nên kzn − PTn (zn )k2 + hPTn (zn ) − zn , zn − ui ≤ −kzn − PTn (zn )k2 , ∀n ≥ Từ n+1 x − u 2 ≤ kzn − uk2 − kzn − PT (zn )k2 n 2 = kxn − τF (yn ) − uk − xn − τF (yn ) − xn+1 = kxn − uk2 − xn − xn+1 + 2τ u − xn+1 , F (yn ) Do (3.24) n+1 x − u 2 ≤ kxn − uk2 − xn − xn+1 + 2τ u − xn+1 , F (yn ) 50 Suy ra, n+1 x − u 2 ≤ kxn − uk2 − xn − xn+1 + 2τ yn − xn+1 , F (yn ) = kxn − uk2 − xn − yn + yn − xn+1 + 2τ yn − xn+1 , F (yn ) = kxn − uk2 − kxn − yn k2 − yn − xn+1 + 2τ xn+1 − yn , xn − τF (yn ) − yn Do (3.25) nên n+1 x − u 2 ≤ kxn − uk2 − kxn − yn k2 − yn − xn+1 + 2τ xn+1 − yn , F (xn ) − F (yn ) Sử dụng bất đẳng thức Cauchy – Swartz điều kiện F ánh xạ L - Lipschitz ta suy 2τ xn+1 − yn , F (xn ) − F (yn ) ≤ 2τL xn+1 − yn kxn − yn k  n  n n n+1 Trong phép cộng τL kx − y k − y − x ≥ Điều tương đương với τ L2 kxn − yn k − 2L kxn − yn k yn − xn+1 + yn − xn+1 ≥ Suy ra, 2L kxn − yn k yn − xn+1 ≤ τ L2 kxn − yn k2 + yn − xn+1 Suy ra, n+1 x − u 2 ≤ kxn − uk2 − kxn − yn k2 − yn − xn+1 + τ L2 kxn − yn k2 + yn − xn+1 ⇒ xn+1 − u ≤ kxn − uk2 − kxn − yn k2 + τ L2 kxn − yn k2 Từ ta nhận n+1
x − u 2 ≤ kxn − uk2 − − τ L2 kxn − yn k2 Điều phải chứng minh Định lý 3.2.2 [8] Giả sử H khônggianHilbert hữu hạn chiều F ánh xạ đơn điệu, L - Lipschitz C, τ ∈ 0; Khi đó, dãy xn dãy yn tạo L thành thuật toán (3.23) hội tụ đến nghiệm toán V I(F,C) 51 Chứng minh Giả sử u nghiệm toán V I(F,C)   nên < − τ L2 < Do τ ∈ 0; L Theo Bổ đề 3.2.2 ta có n+1
x − u 2 ≤ kxn − uk2 − − τ L2 kxn − yn k2 Suy ra,
− τ L2 kxn − yn k2 ≤ kxn − uk2 − xn+1 − u Do đó, ≤ kxn − uk2 − xn+1 − u Hay n+1 x − u 2 ≤ kxn − uk2 n o n Suy dãy kx − uk đơn điệu giảm bị chặn nên hội tụ, tồn giới hạn lim kxn − uk2 (3.26) n→∞ Hơn nữa,   n+1 n kx − uk − x − u ≤ 2 1−τ L n o Suy ra, dãy kxn − uk2 hội tụ tới n → ∞ Do (3.26) nên dãy xn hội tụ kxn − yn k2 Suy dãy xn bị chặn, tồn dãy {xni } ⊂ {xn } hội tụ tới điểm x ∈ C Do yn = PC (xn − τF (xn )), sử dụng tính chất ánh xạ chiếu ta có hyn − z, yn − xn i ≤ τ hz − yn , F (xn )i , ∀z ∈ C Trong công thức thay n ni cho i → +∞, sử dụng tính liên tục hàm F, tính bị chặn yn yni → +∞ i → ∞, ta có hz − x, − 0i ≤ τ hz − x, F (x)i , ∀z ∈ C Do τ > nên hz − x, F (x)i ≥ 0, ∀z ∈ C Vậy x ∈ Sol (F,C) Lập luận tương tự trên, thay u x ta có dãy {kxn − xk} hội tụ Do đó, lim kxn − xk = lim kxni − xk = n→∞ Vậy, dãy xn hội tụ tới x Điều phải chứng minh i→∞ 52 3.2.3 Phương pháp Popov Ta nhận thấy thuật toán Kopelevich thuật toán chiếu gradient, bước lặp ta phải tính giá trị ánh xạ F hai lần Điều ảnh hưởng tới tốc độ thuật tốn ánh xạ F có dạng phức tạp Để khắc phục điều này, Popov [9] đề xuất thuật toán cho bước lặp, giá trị ánh xạ F phải tính lần Cụ thể, thuật toán Popov tiến hành sau: Bước Chọn y0 = x0 ∈ C, λ > Bước Tại bước lặp thứ n, có xn , yn , ta tính xn+1 yn+1 theo công thức    xn+1 = P (xn − λ F (yn )) , C (3.27)   yn+1 = P xn+1 − λ F (yn )
C Ta biểu diễn thuật tốn Popov hình vẽ sau Tiếp theo ta chứng minh dãy xn sinh thuật toán (3.27) hội tụ tới nghiệm toán V I(F,C) Định lý 3.2.3 [19] Giả sử H không gian  Hilberthữu hạn chiều F ánh xạ giả đơn điệu, L - Lipschitz C, λ ∈ 0; Khi đó, dãy xn sinh 3L thuật toán (3.27) hội tụ tới nghiệm toán V I(F,C) Chứng minh Tương tự định lý trước, ta có n+1 x − z, xn+1 − xn ≤ λ z − xn+1 , F (yn ) (3.28) 53 Và n+1 y − z, yn+1 − xn+1 ≤ λ z − yn+1 , F (yn ) (3.29) Gọi x∗ nghiệm toán V I(F,C) Xét n+1 x − x∗ = xn+1 − yn + kyn − x∗ k2 + xn+1 − yn , yn − x∗ = kyn − x∗ k2 − xn+1 − yn + xn+1 − yn , xn+1 − x∗ = kxn − x∗ k2 − kxn − yn k2 + hyn − xn , yn − x∗ i − xn+1 − yn + xn+1 − yn , xn+1 − x∗ = kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn + yn − xn , yn − xn+1 + xn+1 − xn , xn+1 − x∗ Từ (3.28) (3.29) suy n+1 x − x∗ ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λ F yn−1 , xn+1 − yn + 2λ F (yn ) , x∗ − xn+1 = kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λ F yn−1 , xn+1 − yn + 2λ hF (yn ) , x∗ − yn i + 2λ F (yn ) , yn − xn+1 Do x ∈ Sol (F,C) nên hF (x∗ ) , yn − x∗ i ≥ Sử dụng tính giả đơn điệu F ta suy hF (yn ) , yn − x∗ i ≥ ⇒ hF (yn ) , x∗ − yn i ≤ Từ n+1 x − x∗ ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λ F yn−1 − F (yn ) , xn+1 − yn ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λ F yn−1 − F (yn ) xn+1 − yn Do F liên tục Lipschitz với số L nên
F yn−1 − F (yn ) ≤ L yn−1 − yn 54 Suy n+1 x − x∗ ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn + 2λ L yn−1 − yn xn+1 − yn ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn   n−1 n n+1 n +λL y −y + x −y ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn   n−1 n n n n+1 n +λL y −x + 2kx − y k + x − y Vậy n+1 x − x∗ + 2λ L xn+1 − yn ≤ kxn − x∗ k2 + 2λ L yn−1 − xn 2 − (1 − 2λ L) kxn − yn k2 − (1 − 3λ L) xn+1 − yn   n n−1 o n ∗ n Với giả thiết λ ∈ 0; , ta có dãy kx − x k + 2λ L y − x giảm 3L bị chặn Do đó, tồn giới hạn  n−1  n ∗ n lim kx − x k + 2λ L y − x n→∞ Hơn nữa, lim kxn − yn k = lim xn+1 − yn = n→∞ n→∞ Suy ra, tồn giới hạn lim kxn − x∗ k = c n→∞ xn Từ suy dãy bị chặn, tồn dãy {xni } ⊂ {xn } hội tụ tới x ∈ C Trong (3.29) thay n ni cho i → +∞ Sử dụng tính liên tục ánh xạ F tính chặn dãy xn xn+1 − xn ≤ xn+1 − yn + kyn − xn k → Ta có ≤ λ hz − x, F (x)i , ∀z ∈ C Suy x ∈ Sol (F,C) Lặp lại chứng minh trên, thay x∗ x ta có lim kxn − xk n→∞ tồn lim kxn − xk = lim kxni − xk = n→∞ Định lý đước chứng minh i→∞ 55 3.2.4 Phương pháp Popov với cỡ bước tự thích nghi Thuật tốn Popov trình bày mục trước phương pháp giải hiệu trường hợp hàm F giả đơn điệu liên tục Lipschitz Nhược điểm phương pháp (và phương pháp Kopelevich) việc chọn cỡ bước phụ thuộc vào số Lipschitz ánh xạ F Trong thực tế, việc tính số khơng phải lúc đơn giản Hơn nữa, việc chọn cỡ bước λ cố định không tận dụng hết khoảng biến thiên cho phép tham số Để khắc phục nhược điểm trên, ta xây dựng phiên khác thuật tốn Popov khơng u cầu biết số Lipschitz ánh xạ F Trong thuật toán mới, cỡ bước thuật toán thay đổi tùy thuộc vào kết bước lặp trước Ta gọi phương pháp Popov với cỡ bước tự thích nghi Cụ thể, thuật tốn Popov với cỡ bước tự thích nghi (SPM)   tiến hành sau: Bước Chọn x0 = y0 ∈ C, ρ 0; Tính    x1 = P x0 − F y0

, C   y1 = P x1 − F y0

C Bước Tại bước lặp n ≥ 1, có xn , yn yn−1 Ta tính 
   F (yn ) = F yn−1 , n •λn = n−1
y − y  n ) 6= F yn−1  F (y  ρ kF (yn ) − F (yn−1 )k •xn+1 = PC (xn − λn F (yn ))
•yn+1 = PC xn+1 − λ F (yn ) Tương tự phần trước, ta chứng minh dãy xn sinh thuật toán SPM hội tụ tới nghiệm toán bất đẳng thức biến phân Định lý 3.2.4 Cho H không gian Hibert hữu hạn chiều F ánh xạ giả đơn điệu, liên tục Lipschitz C (với số Lipschitz chưa biết) Khi đó, dãy xn sinh thuật tốn SPM hội tụ tới nghiệm toán bất đẳng thức biến phân 56 Chứng minh Chứng minh tương tự định lý trước, ta có n+1 x − x∗ ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λn F yn−1 − F (yn ) , xn+1 − yn ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn
+ 2λn F yn−1 − F (yn ) xn+1 − yn ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn + 2ρ yn−1 − yn xn+1 − yn ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn  2  + ρ yn−1 − yn + xn+1 − yn Ta có n−1
y − yn = yn−1 − xn + (xn − yn ) 2 = yn−1 − xn + kxn − yn k2 + yn−1 − xn , xn − yn ≤ 2 yn−1 − x2 + 2kxn − yn k2 Suy n+1 x − x∗ ≤ kxn − x∗ k2 − kxn − yn k2 − xn+1 − yn   n n n+1 n n−1 n + 2kx − y k + x − y +ρ y −x Cộng hai vế bất đẳng thức với 2ρ xn+1 − yn ta thu n+1 x − x∗ + 2ρ xn+1 − yn ≤ kxn − x∗ k2 + 2ρ yn−1 − xn 2 − (1 − 2ρ) kxn − yn k2 − (1 − 3ρ) xn+1 − yn   n n o n ∗ n−1 Với giả thiết ρ ∈ 0; , ta có dãy kx − x k + 2ρ x − y dãy giảm bị chặn Do đó, tồn giới hạn  n  n ∗ n−1 lim kx − x k + 2ρ x − y n→∞ Hơn nữa, lim kxn − yn k = lim xn+1 − yn = n→∞ n→∞ Do đó, tồn giới hạn lim kxn − x∗ k = c n→∞ 57 Từ suy dãy xn bị chặn tồn dãy {xni } ⊂ {xn } hội tụ tới x ∈ C Chứng minh tương tự định lý ta có n+1 x − z, xn+1 − xn ≤ λn z − xn+1 , F (yn ) (3.30) Do F ánh xạ liên tục Lipschitz nên tồn số L > cho
F (yn ) − F yn−1 ≤ L yn − yn−1 Nên n n y − yn−1 y − yn−1 ≥ = kF (yn ) − F (yn−1 )k L kyn − yn−1 k L Suy n ρo , ∀n ≥ (3.31) λn ≥ 1; L Trong (3.30) thay n ni cho i → +∞ Sử dụng tính liên tục ánh xạ F, tính bị chặn dãy xn xn+1 − xn ≤ xn+1 − yn + kyn − xn k → ta thu hz − x, F (x)i ≥ 0, ∀z ∈ C Suy ra, x ∈ Sol (F,C) Lặp lại chứng minh trên, thay x∗ x, ta có lim kxn − xk tồn n→∞ lim kxn − xk = lim kxni − xk = n→∞ n→∞ Vậy dãy xn sinh thuật toán SPM hội tụ tới nghiệm toán bất đẳng thức biến phân Định lý chứng minh 58 KẾT LUẬN Luận văn trình bày lại số phương pháp chiếu gradient hiệu sau để giải toán bất đẳng thức biến phân (2.1): Phương pháp lần chiếu lên tập chấp nhận lần tính giá trị toán tử bước - Nếu toán tử F đơn điệu mạnh giả đơn điệu mạnh liên tục Lipschitz thuật tốn lần chiếu với bước lưới cố định hội tụ mạnh - Nếu F đơn điệu mạnh ngược liên tục Lipschitz thuật toán lần chiếu với bước lưới cố định hội tụ yếu -Nếu F liên tục bị chặn tập bị chặn para-đơn điệu thuật tốn lần chiếu với bước lưới thích nghi, khơng khả tổng bình phương khả tổng, hội tụ yếu -Phương pháp Malitsky, phương pháp lần chiếu lần tính giá trị tốn tử với bước lưới cố định, hội tụ yếu với giả thiết tính liên tục Lipschitz tính đơn điệu tốn tử F -Ngồi ra, phương pháp chiếu đạo hàm Censor-Gibali-Reich coi phương pháp lần chiếu, phép chiếu lên nửa khơng gian tính theo cơng thức Nếu toán tử F đơn điệu liên tục Lipschitz thuật tốn lần chiếu với bước lưới cố định khơng hội tụ Vì người ta quan tâm đến thuật toán cần nhiều lần chiếu lên tập chấp nhận Phương pháp lần chiếu lên tập chấp nhận bước -Phương pháp Korpelevich với lần chiếu lên tập chấp nhận lần tính giá trị tốn tử F bước cho toán bất đẳng thức biến phân với toán tử F đơn điệu liên tục Lipschitz hội tụ yếu -Phương pháp Popov với lần chiếu lần tính giá trị F hội tụ yếu với giả thiết F giả đơn điệu liên tục Lipschitz -Trong trường hợp khơng biết số Lipschitz, thuật tốn Popov với bước lưới tự thích nghi hội tụ yếu Các hướng nghiên cứu Phương pháp Malitsky coi tối ưu theo nghĩa bước lặp cần thực phép chiếu lên tập chấp nhận lần tính giá trị tốn tử F, cần đòi hỏi F đơn điệu liên tục Lipschitz Tuy nhiên, phương 59 pháp Malitsky có nhược điểm cần giả thiết tính liên tục Lipschitz F, nữa, đòi hỏi phải biết tường minh hệ số Lipschitz Đã có nhiều mở rộng cho phương pháp chiếu gradient giải toán bất đẳng thức biến phân Chúng xin điểm qua vài kết gần đây: -Trong [5, 9], giả thiết tính liên tục Lipschitz tốn tử F giải phóng Đặc biệt hơn, giả thiết tính para-đơn điệu [5] loại bỏ [9] Tuy nhiên nhược điểm phương pháp [5, 9] độ dài bước dần khơng Điều làm thuật tốn trở nên đắt đỏ -Một thuật toán tương tự thuật toán Malitsky, song không cần biết số Lipschitz đề xuất [11] Ý tưởng sử dụng độ dài bước tự thích nghi, bị chặn số dương Một số thuật toán biết cho bất đẳng thức biến phân mở rộng cho bất đẳng thức biến phân hai cấp [7] tốn tìm nghiệm chung bất đẳng thức biến phân toán điểm bất động [12, 14] hay toán cân [2, 3, 4, 10, 13, 21] Thuật toán chiếu gradient giải toán chấp nhận tách ứng dụng xử lý ảnh nghiên cứu [6] Như vậy, hướng nghiên cứu chúng tơi hướng liệt kê trên, ví dụ ứng dụng thuật tốn chiếu gradient hiệu xử lý ảnh 60 Tài liệu tham khảo [1] Nguyễn Văn Hiền, Lê Dũng Mưu, Nguyễn Hữu Điển (2015), "Giải tích lồi ứng dụng", NXB Đại học Quốc gia Hà Nội [2] P.K Anh, T.N Hai (2017), "Spliting extragradient-like algorithms for strongly pseudomonotone equilibrium problems", Numer Algor, 76 6791 [3] P.K Anh, T.N Hai (2019), "Novel self-adaptive algorithms for nonLipschitz equilibrium problems with applications, J Global Optim".73(3) 637-654 [4] P.K Anh, T.N Hai (2018), ", A splitting algorithm for equilibrium problem given by the difference of two bifunctions, J Fixed Point Theory Appl " DOI 10.1007/s11784-018-0532-7 [5] P.K Anh, N.T Vinh (2019), "Self-adaptive gradient projection algorithms for variational inequalities involving non-Lipschitz-continuous operators, Numer Algor., " 81(3) 983-1001 [6] P.K Anh, N.T Vinh, and V.T Dung (2018), "A new self-adaptive CQ algorithm with an application to the LASSO problem, J Fixed Point Theory Appl., " DOI: 10.1007/s11784-018-0620-8 [7] P.K Anh, T.V Anh, and L.D Muu (2017), "On bilevel split pseudomonotone variational inequality problems with applications, Acta Math Viet.,", 42 413-429 [8] Censor, Y., Gibali, A., Reich, S (2011), "The subgradient extragradient method for solving variational inequalities in Hilbert space" J Optim Theory Appl 148 (2011) 318–335 [9] A.N Iusem, W Sosa (2003), "New existence results for equilibrium problems", Nonlinear Anal.: Theory, Methods Appl., 52 621-635 61 [10] T.N.Hai (2017), "Contraction of the proximal mapping and applications to the equilibrium problem", Optimization, 66(3) 381-396 [11] D.V Hieu, P.K Anh, L.D Muu (2019), "Modified extragradient-like algorithms with new stepsizes for variational inequalities, Comput" Optim Appl DOI: 10.1007/s10589-019-00093-x [12] D.V Hieu, P.K Anh, L.D Muu (2017), "Modified hybrid projection methods for finding common solutions to variational inequality problems, Comput" Optim Appl., 66 75-96 [13] D.V Hieu, L.D Muu, and P.K Anh (2016), "Parallel hybrid extragradient methods for pseudomonotone equilibrium problems and nonexpansive mappings", Numer Algor., 73 (2016) 197-217 [14] D.V Hieu, D X Son, P K Anh, and L D Muu (2018), "A two-step extragradient-viscosity method for variational inequalities and fixed point problems, Acta Math Viet " DOI: 10.1007/s40306-018-0290-z [15] D Kinderlehrer, G Stampachia (1980), "An Introduction to Variational Inequalities and Their Applications Academic Press", New York, 1980 [16] I V Konnov (2007), "Equilibrium Models and Variational Inequalities, Elsevier", Amsterdam, 2007 [17] G M Korpelevich (1976), "An extragradient method for finding saddle points and for other problems", Ekonomika i Mat Metody, 12(4) 747756 [18] Yu Malitsky (2019), "Golden ratio algorithms for variational inequalities, Mathematical Programming", Series A, DOI:10.1007/s10107-019-01416w [19] L D Popov (1980), "A modification of the Arrow-Hurwicz method for searching for saddle points", Mat Zametki, 28(5) 777-784 [20] P Santos , S Scheimberg (2011), "An inexact subgradient algorithm for equilibrium problems, Comput" Applied Math 30 91-107 [21] L.Q Thuy, P.K Anh, L.D Muu, T.N Hai (2017), "Novel hybrid methods for pseu-domonotone equilibrium problems and common fixed point problems", Numer Funct Anal Optim., 38(4) 443-465