Một số thuật toán chiếu điểm gần kề giải phương trình với toán tử đơn điệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HUỆ MỘT SỐ THUẬT TOÁN CHIẾU ĐIỂM GẦN KỀ GIẢI PHƯƠNG TRÌNH TỐN TỬ VỚI TOÁN TỬ ĐƠN ĐIỆU LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HUỆ MỘT SỐ THUẬT TỐN CHIẾU ĐIỂM GẦN KỀ GIẢI PHƯƠNG TRÌNH VỚI TỐN TỬ ĐƠN ĐIỆU Chun ngành: Tốn học tính toán Mã số: 604630 LUẬN VĂN THẠC SĨ KHOA HỌC Giáo viên hướng dẫn: GS TSKH Phạm Kỳ Anh Hà Nội 2011 Mục lục Lời cảm ơn Bảng ký hiệu Lời nói đầu Kiến thức chuẩn bị 1.1 Một số khái niệm 1.2 Phép chiếu không gian Hilb Phương pháp chiếuđiểm gần kề 2.1 Giới thiệu 2.2 Sự hội tụ mạnh phương phá 2.2.1 2.2.2 2.3 Phương pháp chiếuđiểm gần kề Phương pháp CQ 3.1 Các bổ đề quan trọng 3.2 Một số thuật tốn CQ khơn 3.3 Một số thuật tốn CQ khơn Áp dụng 4.1 Bài tốn khơi phục ảnh 4.1.1 4.1.2 4.2 Giải hệ phương trình đại số tuyế 4.2.1 ii 4.2.2 Phương pháp CQ song song 48 Kết luận 49 Tài liệu tham khảo 51 Bảng ký hiệu φ(, ) ∂f E∗ F(T) F(T) I J P C( ) ri(D) , ⇀Hội tụ yếu Tích đối ngẫu tích vơ hướng S T Tập không điểm hay tập nghiệm T Kết thúc chứng minh Lời nói đầu Nhiều vấn đề khoa học kỹ thuật toán chấp nhận lồi có ứng dụng lý thuyết tối ưu, khơi phục ảnh, phương pháp xử lý xạ, , đưa tốn tìm nghiệm hệ phương trình với tốn tử đơn điệu tìm điểm bất động họ hữu hạn ánh xạ không giãn (tương đối) Thuật tốn điểm gần kề tìm khơng điểm toán tử đơn điệu cực đại Rockafellar [8] đề xuất vào năm 1976 trải qua nhiều lần cải biên Tuy nhiên thuật tốn nói chung cho kết hội tụ yếu Năm 2000, M V Solodov B F Svaiter [11] kết hợp thuật toán điểm gần kề với phép chiếu đơn giản lên giao nửa không gian để thu kết hội tụ mạnh Gần đây, P K Anh C V Chung [3] thực song song hóa thuật tốn chiếuđiểm gần kề để tìm nghiệm hệ phương trình tốn tử đơn điệu Cũng dựa ý tưởng lai ghép, Nakajo Takahashi thu định lý hội tụ mạnh cho ánh xạ không giãn tương đối không gian Hilbert S Matsushita [7] tổng quát kết cho không gian Banach Năm 2011, Liu [6] cải biên thuật toán CQ Qin Su [9] để thu định lý hội tụ mạnh cho thuật tốn lặp xoay vịng tìm điểm bất động chung họ hữu hạn ánh xạ không giãn tương đối không gian Banach Đến năm 2011, P K Anh C V Chung đề xuất phương pháp CQ song song thuật toán tốt thuật toán lặp xoay vòng Liu chạy chế độ Bản luận văn tập trung trình bày thuật tốn lai ghép với phép chiếu để giải hệ phương trình với tốn tử đơn điệu khơng gian Hilbert tìm điểm bất động họ ánh xạ không giãn tương đối khơng gian Banach Ngồi phần Mở đầu, kết luận tài liệu tham khảo, luận văn gồm chương: Chương 1: "Kiến thức chuẩn bị" trình bày số khái niệm tốn tử đơn Lời nói đầu vi điệu, hình học khơng gian Banach vài tính chất quan trọng phép chiếu dùng luận văn Chương 2: "Phương pháp chiếuđiểm gần kề " trình bày hai thuật toán lai ghép phương pháp chiếu phương pháp điểm gần kề không gian Hilbert, phần Chương trình bày thuật tốn chiếuđiểm gần kề tìm khơng điểm tốn tử đơn điệu cực đại (đơn trị đa trị) định lý hội tụ mạnh; phần Chương trình bày thuật tốn chiếuđ iểm gần kề song song tìm nghiệm hệ phương trình tốn tử đơn điệu định lý hội tụ mạnh Chương 3: "Phương pháp CQ" trình bày định lý hội tụ mạnh phương pháp CQ cho toán tử khơng giãn tương đối, phương pháp CQ xoay vịng phương pháp CQ song song cho họ toán tử không giãn tương đối không gian Banach Phần Chương trình bày ứng dụng phương pháp CQ cải biên CQ song song không gian Hilbert Chương 4: "Áp dụng", áp dụng phương pháp song song luận văn để giải tốn khơi phục ảnh khơng gian Hilbert giải hệ phương trình đại số tuyến tính Trong chương chúng tơi đưa ví dụ số thực mơi trường Matlab minh họa hình học cho phương pháp chiếuđiểm gần kề song song Hà nội, ngày tháng 12 năm 2011 Chương Kiến thức chuẩn bị 1.1 Một số khái niệm Cho H không gian Hilbert thực, E không gian Banach E∗ đối ngẫu E Tập lồi: Tập C ⊂ H (hoặc E) gọi lồi C chứa đoạn thẳng nối hai điểm Tức C lồi ∀x, y ∈ C, ∀α ∈ [0, 1] ⇒ αx + (1 − α)y ∈ C Toán tử đơn điệu: Ánh xạ T : E → E∗ gọi đơn điệu T x − T y, x − y ≥ ∀x, y ∈ E, ký hiệu f, x tích đối ngẫu Trường hợp E = E∗ = H ta có tích vơ hướng H Bổ đề 1.1.1 Giả sử S tập không điểm T , tức S = {x ∈ H | T x = θ} Nếu T toán tử đơn điệu S = ∅ S tập lồi Chứng minh Với x1, x2 ∈ S t ∈ (0, 1) đặt x = tx1 + (1 − t)x2 Vì T tốn tử đơn điệu nên ta có ≤ T x − T x1, x − x1 = T x, tx1 + (1 − t)x2 − x1 = (1 − t) T x, x2 − x1 Chương Kiến thức chuẩn bị ≤ T x − T x2, x − x2 = T x, tx1 + (1 − t)x2 − x2 = t T x, x1 − x2 Từ điều suy T x, x1 − x2 = Vậy T x = θ nghĩa x ∈ S Toán tử ngượcđơn điệu mạnh: T gọi đồng với số c > hay cngược đơn điệu mạnh H T x − T y, x − y ≥ c T x − T y ∀x, y ∈ H Toán tử đơn điệu cực đại: Toán tử T gọi đơn điệu cực đại đơn điệu đồ thị khơng phải tập thực đồ thị toán tử đơn điệu khác Toán tử J : E → E∗ xác định ∗ J(x) = {f ∈ E | f, x = x E = f E∗ } gọi ánh xạ đối ngẫu chuẩn tắc Hàm số φ : E × E → R cho φ(y, x) = y − y, Jx + x với x, y ∈ E, J ánh xạ đối ngẫu chuẩn tắc từ E vào E∗ Đại lượng φ(x, y) gọi khoảng cách suy rộng E Ánh xạ không giãn ánh xạ không giãn tương đối: Cho C tập lồi đóng E T ánh xạ từ C vào Ký hiệu F (T ) tập điểm bất động T Một điểm p C gọi điểm bất động tiệm cận T C chứa dãy {xn} hội tụ yếu tới p cho lim (xn − T xn) = Ký n→∞ hiệu tập tất điểm bất động tiệm cận T F (T ) Ánh xạ T gọi không giãn T x − T y ≤ x − y ∀ x, y ∈ C T ánh xạ không giãn tương đối F (T ) = F (T ) φ(p, T x) ≤ φ(p, x) với x ∈ C p ∈ F (T ) Nếu T tốn tử khơng giãn khơng gian Hilbert A = I − T tốn tử đơn điệu, I tốn tử đồng Thật vậy, với x, y ∈ H ta có Tx−Ty≤ x−y Chương Kiến thức chuẩn bị Do 2 ≤ Ax − Ay = x − y − x − y, T x − T y + T x − T y ≤ x−y 2 − x − y, T x − T y = Ax − Ay, x − y Không gian Banach lồi đều: Không gian Banach E gọi lồi với ε > tồn δ(ε) > cho với x, y ∈ E, x ≤ 1, y ≤ x − y ≥ ε ta ln có x + y < 2(1 − δ(ε)) Chú ý Có thể thay đổi sau: với x, y ∈ E, d > tồn δ(dε ), x ≤ ε d, y ≤ d, x − y ≥ ε ta có x + y ≤ 2d(1 − δ(d )) Chú ý Mọi không gian Hilbert không gian lồi Thật vậy, giả sử ε > 0, x ≤ 1, y ≤ cho suy 2 x+y =2 x + y 2 − x−y ≤4−ε Do x+y Chú ý Mọi không gian Banach lồi không gian phản xạ, tức E ∗∗ = E Không gian Banach lồi chặt: Không gian Banach E gọi lồi chặt với x, y ∈ E, x = y, x ≤ 1, y ≤ ta có x + y < Khơng gian Banach trơn trơn đều: Đặt U = {x ∈ E | x = 1} hình cầu đơn vị E Khi khơng gian Banach E gọi trơn giới hạn lim t→0 Chương Áp dụng 4.1 Bài tốn khơi phục ảnh Bài tốn Tìm vector x ∈ H, biết hướng quan sát vi ∈ H hình chiếu Gọi Pi(x) phép chiếu trực giao x lên siêu phẳng Hi = {ξ ∈ H | ξ, vi = i} Ta có Với x, y ∈ H ta có ⇒ 2 ⇒ Pi(x) − Pi(y) ≤ x−y ⇒ x − y = Pi(x) − Pi(y) + x − y, vi v i2 Do Pi ánh xạ khơng giãn Đặt Ai = I − Pi, I tốn tử đồng Khi ta có Ai(x) = x, vi − i vi vi Chương Áp dụng Ai(x) − Ai(y), x − y = x − y − Pi(x) − Pi(y), x − y Hơn nữa, Ai(x) − Ai(y) = 2 x − y + Pi(x) − Pi(y) − x − y, Pi(x) − Pi(y) Vì Pi(x) − Pi(y) ≤ x − y nên Ai(x) − Ai(y), x − y ≥ Vậy Ai toán tử ngược đơn điệu mạnh 4.1.1 Phương pháp chiếuđiểm gần kề song song Bài tốn khơi phục ảnh phát biểu lại thành tốn giải hệ phương trình với tốn tử đơn điệu Ai(x) = i = 1, 2, , n (4.1) Áp dụng Thuật toán chiếu điểm gần kề song song để giải hệ phươn g trình (4.1) Cho trước x0 ∈ H i k > Bước Giả sử bước lặp thứ k ≥ ta có xk Tìm yki ∈ H thỏa mãn phương trình Nhân vơ hướng hai vế phương trình với vi ta i i ⇒ + y ,v− k i k i ⇒ y ,v k = i i + k i Đặt αi = yk , vi , ta thu k i yk = xk − 1+ αi − i i k vi i i yk , vi − Chương Áp dụng =x =x Bước Tìm số tối ưu ik: i n i n i i Hk = {z ∈ R | z − yk , Ai(yk ) ≤ 0} i = {z ∈ R | z − yk , xk − yk ≤ 0} i Với z ∈ Hk ta có i i z − yk , xk − yk ≤ i i ⇒ z − x k + xk − yk , xk − yk ≤ i ⇒ xk − yk i ⇒ xk − yk suy P i i (xk) = y Hk suy xk Bước Tính xk+1 Đặt Ta có P Chương Áp dụng = x0 − = x0 − i xk − yk k , x0 − xk i xk − y k k vik , x0 − xk vik = x0 − Nếu PHkik (x0) ∈ Wk, tức (1 + k ik ) vik , x0 − (1 + PHkik (x0) − xk, x0 − ⇔ x Nếu khơng xk+1 xác định sau λ1, λ2 thỏa mãn hệ phương trình λ1 λ1 4.1.2 Thử nghiệm số Xét hệ phương trình nghiệm xác tốn x∗(t) = t Ta có Chương Áp dụng k Tính tốn thực chế độ với x0 = 104 × t Bảng 4.1: Thu 4.2 Giải hệ phương trình đại số tuyến tính Xét hệ phương trình Ax = b, A ma trận thực kích thước m × n b vectơ không gian m R Đặt a T i = (ai1, , ain) vector hàng thứ i ma trận A Viết lại hệ phương trình dạng = (ai1 T a x i Gọi Pi(x) phép chiếu trực giao x lên siêu phẳng n T Hi = {z ∈ R | z = bi} Ta có Chương Áp dụng Đặt Ai = I − Pi Tương tự Bài tốn khơi phục ảnh, ta có P i ánh xạ khơng giãn Ai toán tử ngược đơn điệu mạnh Bài toán giải hệ phương trình (4.2) tương đương với tốn giải hệ phương trình với tốn tử đơn điệu Ai(x) = 4.2.1 i = 1, , m Phương pháp chiếuđiểm gần kề song song n Đây Bài tốn khơi phục ảnh với H = R , vi = i = bi Áp dụng Thuật toán chiếu điểm gần kề song song ta thu thuật tốn g iải hệ phương trình (4.2) sau n Cho trước x0 ∈ R • Tính (đồng thời) i k > lần lặp thứ k ≥ ta có xk • Đặt Tìm • Tính P Hk Nếu x − x k+1 =P i Hk k (x ) Nếu khơng tìm λ1 λ2 thỏa mãn hệ phương trình i k A (y ik k λ1 λ1 i Ai (y k ) k k Chương Áp dụng tính i xk+1 = x0 + λ1Aik (yk k ) + λ2(x0 − xk) Ý nghĩa hình học • Ta có i Ai(yk ) + i i k (yk − xk) = i i i i k (yk − xk i i Pi(yk ) + k ⇔ yk − Pi(yk ) + ⇔ (1 + i i k )yk = ⇔ yk = i Do > nên phương trình (4.4) cho thấy rằn i k [xk , Pi(yi )] Hơn nữa, từ (4.4) (4.3) ta thu k i i i i k )yk − k xk i ) xk Pi(yk ) = (1 + =(1+ k xk, − bi = Pi(xk) = xk − i Như vậy, điểm yk nằm đoạn thẳng [xk, Pi(xk)] • Xét siêu phẳng Điều cho thấy Hk′i song song với Hi • Xét siêu phẳng ′ n Wk = {z ∈ R | z − xk, x0 − xk = 0} n = {z ∈ R | z, x0 − xk = xk, x0 − xk} Vậy Wk′ siêu phẳng qua điểm xk vng góc với vector x0 − xk Chương Áp dụng • Minh họa hình học trường hợp n = 2, m = ik = với k, i giả sử hệ phương trình có nghiệm Trong trường hợp này, Hi đường thẳng với ik = yki trung điểm đoạn thẳng [x k, Pi(xk)] (với k, i) Hình 4.1: Minh họa hình học thuật tốn chiếuđiểm gần kề song song 4.2.2 Phương pháp CQ song song Giải hệ phương trình (4.2) tương đương với tốn tìm điểm bất động họ tốn tử khơng giãn Pi(x) từ Rn vào Với k ≥ 0, hình chiếu x k lên C = Rn nó, tức z k = PRn (xk) = xk Hơn nữa, ta có yi k Viết lại Ck dạng xk =αx Chương Áp dụng Nếu PCk ∩Qk (x0) Qk hình chiếu x0 lên Ck ∩ Qk viết dạng PCk ∩Qk (x λ1, λ2 thỏa mãn hệ phương trình λ1 xk − Pik (xk) + λ2 xk − Pik (xk), x0 − xk = λ1 xk − (4.3) Tóm lại, áp dụng Thuật tốn CQ song song giải hệ phương trình (4.2) sau n Cho x0 ∈ R dãy {αk} ⊂ (0, 1) Giả sử lần lặp thứ k ≥ ta có xk • Tính (đồng thời) i y k • Tìm • Tìm xk+1: x = PCk (x0) k+ xk x0 λ1, λ2 nghiệm hệ phương trình (4.3) P Ck k Pik (xk), x0 −x Kết luận Luận văn trình bày lại cách hệ thống thuật toán hội tụ mạnh giải phương trình, hệ phương trình tốn tử đơn điệu tìm điểm bất động họ hữu hạn ánh xạ không giãn tương đối không gian Hilbert dựa phương pháp lai ghép thuật toán điểm gần kề với phép chiếu lên giao tập lồi nửa không gian Luận văn đề cập đến vấn đề sau: Hệ thống lại số phương pháp điểm gần kề cải biên khơng gian Hilbert Khái niệm nghiệm gần với sai số cho phép số tính chất quan trọng; Trình bày thuật tốn chiếuđiểm gần kề để tìm khơng điểm tốn tử đơn điệu cực đại định lý hội tụ mạnh đến điểm tập không điểm; Trình bày thuật tốn song song chiếuđiểm gần kề CQ tương ứng để giải hệ phương trình với tốn tử đơn điệu tìm điểm bất động họ ánh xạ không giãn tương đối không gian Hilbert Banach; Trình bày định lý hội tụ mạnh cho tốn tử khơng gian tương đối không gian Banach định lý hội tụ mạnh phương pháp CQ xoay vòng CQ song song cho họ hữu hạn ánh xạ không giãn tương đối không gian Banach; Áp dụng thuật toán chiếuđiểm gần kề song song cho toán k phục ảnh khơng gian Hilbert ví dụ số minh họa cho hội tụ thuật toán này; Áp dụng thuật toán chiếuđiểm gần kề song song phương phá p CQ song song để giải hệ phương trình với số ẩn số phương trình khơng thiết Minh họa hình học cho thuật toán chiếuđ iểm gần kề song song R2 Tài liệu tham khảo [1] Lê Dũng Mưu Nguyễn Văn Hiền (2009), Nhập mơn giải tích lồi ứng dụng, Nhà xuất Khoa học tự nhiên Công nghệ, Hà Nội [2] P K Anh and C V Chung (2011), A parallel CQ method for a finite family of relatively nonexpansive mappings (Submitted for publication) [3] P K Anh and C V Chung (2011), On strongly convergent parallel prox imal point algorithms, Journal of Science, VNU, 27(2) [4] O Guler (1991), On the convergence of the proximal point algorithm for convex minimization, SIAM J Optim., 2, 649664 [5] S Kamimura and W Takahashi (2002), Strong convergence of a proximal type algorithm in a Banach space, SIAM J Optim., 13, 938945 [6] X F Liu (2011), Strong convergence theorems for a finite family of rela tively nonexpansive mappings, Vietnam J Math., 39, 6369 [7] S Matsushita and W Takahashi (2005), A strong convergence theorem for relatively nonexpansive mappings in a Banach space, J Approx Theory, 134, 257266 [8] R T Rockafellar (1976), Monotone operators and proximal point algo rithm, SIAM J Contr Optim., 14, 877897 [9] X L Qin and Y F Su (2007), Strong convergence theorems for relatively nonexpansive mappings in a Banach space, Nonlinear Anal., 67, 19581965 [10] M V Solodov and B F Svaiter (1999), A hybrid projectionproximal point algorithm, J Conv Anal., 6, 5970 Tài liệu tham khảo [11] M V Solodov and B F Svaiter (2000), Forcing strong convergence of proximal point iterations in a Hilbert space, Math Program., Ser A, 87, 189202 ... Phương pháp chiếu? ?iểm gần kề 2.3 Phương pháp chiếu? ?iểm gần kề song song Xét hệ phương trình toán tử Ai(x) = 0, i = 1, , N, H khơng gian Hilbert A i : H → H toán tử đơn điệu cực đại Thuật toán. .. khơng điểm tốn tử đơn điệu cực đại không gian Hilbert vô hạn chiều Thuật toán thu cách lai ghép phương pháp điểm gần kề phương pháp chiếu Trong thuật toán này, giữ lại ưu điểm phương pháp điểm gần. .. mạnh phương pháp chiếu? ?iểm gần kề 2.2.1 Thuật toán chiếu? ?iểm gần kề Thuật toán 2.2.1 ([11]) Cho x0 ∈ H xấp xỉ ban đầu σ ∈ [0, 1) Giả sử bước lặp thứ k có xk Chương Phương pháp chiếu? ?iểm gần kề