MỘT số PHƯƠNG PHÁP HIỆU CHỈNH GIẢI hệ PHƯƠNG TRÌNH TOÁN tử

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐẶNG VĂN HIẾU MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐẶNG VĂN HIẾU MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ Chuyên ngành: Toán học tính toán Mã số: 604630 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS.TSKH Phạm Kỳ Anh Hà Nội - 2011 LỜI CẢM ƠN Để hoàn thành luận văn nhận giúp đỡ to lớn Thầy, Cô giáo, gia đình bạn bè xung quanh Tôi xin bày tỏ lòng kính trọng biết ơn sâu sắc tới thầy giáo hướng dẫn GS.TSKH Phạm Kỳ Anh, Khoa Toán - Cơ - Tin học, Trường đại học khoa học tự nhiên, ĐHQG Hà Nội Trong trình giảng dạy hướng dẫn, thầy ân cần, động viên, giúp đỡ bảo tận tình cho Tôi gửi lời cảm ơn tới Thầy, Cô Khoa Toán - Cơ - Tin học, Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội dạy dỗ, giúp đỡ suốt trình học tập, đặc biệt Thầy, Cô Seminar Bộ môn Toán học tính toán có ý kiến đóng góp quý báu giúp cho luận văn hoàn chỉnh Ngoài xin gửi lời cảm ơn tới bạn đồng nghiệp giúp đỡ, động viên trình thực luận văn Cuối cùng, xin gửi lời cảm ơn tới gia đình sinh thành, nuôi dưỡng động viên nhiều thời gian qua Dù cố gắng luận văn tránh khỏi thiếu sót Mọi ý kiến đóng góp xin đón nhận với lòng biết ơn chân thành Hà Nội, ngày 23 tháng 11 năm 2011 Học Viên Đặng Văn Hiếu Mục lục Lời cảm ơn Bảng kí hiệu Mở đầu Hiệu chỉnh đa tham số - hội tụ tốc độ hội tụ 1.1 Đặt toán 1.2 Các kết tính ổn định 1.3 Tốc độ hội tụ 12 1.4 Hiệu chỉnh đa tham số không gian Hilbert 16 1.5 Mối liên hệ phương pháp nhân tử Lagrange phương pháp hiệu chỉnh đa t Phương pháp hiệu chỉnh đa tham số Tikhonov 22 2.1 Nhắc lại toán 22 2.2 Một số kết 23 2.3 Ví dụ minh họa 34 Phương pháp chỉnh lặp song song dạng Gauss - Newton 3.1 Giới thiệu 37 3.2 Sự hội tụ 40 3.3 Ví dụ minh họa 46 Kết luận 53 Tài liệu tham khảo 54 37 BẢNG KÍ HIỆU ∆u Toán tử Laplace u L2(Ω) Không gian hàm bình phương khả tích Ω H k(Ω) Không gian Sobolev D(F ) Miền xác định toán tử F ∂Ω Biên Ω J(x) Phiếm hàm ổn định M Tập phần tử chấp nhận D(x, x) Khoảng cách Bregman x x Br(x†) Hình cầu mở tâm x† bán kính r Chuẩn Euclid < , > Tích vô hướng không gian X < , >X ∗,X Tích đỗi ngẫu X Y j∗ Không gian liên hợp không gian Y j F ∗ Toán tử liên hợp toán tử F L(X ,Y ) Không gian ánh xạ tuyến tính từ X vào Y L(x,  ) Hàm Lagrange F (x) Đạo hàm Fréchet toán tử F x T〈 (x) Phiếm hàm làm trơn Tikhonov IRGNM Phương pháp lặp Gauss-Newton PIRGNM Phương pháp lặp song song dạng Gauss-Newton ′ MỞ ĐẦU Nhiều toán khoa học kĩ thuật dẫn đến việc giải phương trình F (x) = y, F : X → Y toán tử (tuyến tính phi tuyến), X ,Y không gian Banach Bài toán gọi đặt chỉnh, Phương trình có nghiệm với y ∈ Y Nghiệm phụ thuộc liên tục vào liệu F, y Khi ta có nhiều phương pháp giải toán Tuy nhiên thực tế lúc toán đặt chỉnh, tức Tồn lại y ∈ Y để phương trình vô nghiệm có nhiều nghiệm Nghiệm không phụ thuộc liên tục vào liệu F, y Các toán đặt không chỉnh khó giải có sai số liệu phải tính toán gần máy tính Khi ta cần có chiến lược hiệu chỉnh để giải toán Nói nôm na, ta thay toán đặt không chỉnh họ toán đặt chỉnh phụ thuộc tham số mà nghiệm chúng hội tụ đến nghiệm toán đặt không chỉnh tham số hiệu chỉnh dần tới không Trong toán nhận dạng đa tham số, ta phải xác định x, biết liệu gần yi yi, tức phải giải hệ phương trình (thông thường đặt không chỉnh) Fi(x) = yi , i = 1, , l Nếu xem y véc tơ y = (y1 , y2 , , yl ), với yi ∈ Yi,  véctơ nhiễu  = (1, 2, , l )T ∈ Rl (mức nhiễu) hệ phương trình toán tử đưa phương trình toán tử không gian tích F (x) = y Trong nhiều trường hợp việc xét hệ phương trình thay cho phương trình không gian tích với tham số hiệu chỉnh cho kết khả quan Sau hai ví dụ đưa hệ phương trình toán tử đặt không chỉnh Ví dụ (Bài toán khôi phục hệ số phương trình từ ánh xạ Dirichlet Neumann) Ứơc lượng hệ số q ≥ từ phương trình vi phân riêng −∆u + qu = 0, x ∈ Ω ⊂ Rd , với điều kiện biên Neumann g = ∂ u giá trị Dirichlet u biên ∂ Ω f0, f1, , f p−1 đo đạc giá trị Neumann gi = ∂ ui ∂ v biên ∂ Ω tương ứng Khi ta viết lại toán Fi(q) = gi, i = 0, , p − 1, Fi : D(Fi) ⊂ L2(Ω) → H −1/2(∂ Ω) toán tử phi tuyến ánh xạ q tới ∂ ui i i  −∆u + qu = 0, x ∈ Ω ⊂ Rd Bài toán ước lượng q ui từ hệ trên∂ Ωđặt không chỉnh (xem [5]) ≥ = fi, x ∈ Ví dụ (Bài toán ước lượng mômen phi tuyến) Bài toán ước lượng mômen phi tuyến tìm hàm u ∈ L2(Ω) miền bị chặn Ω ⊂ Rd thỏa mãn hệ phương trình tích phân phi tuyến gi = Ω ki(x, u(x))dx ∈ Rm, i = 1, , p, với nhân trơn ki : Ω × R → Rm véctơ gi cho trước (i = 1, , p) Ta đưa toán Fi(u) = gi, i = 1, , p, Fi : L2(Ω) → Rm toán tử phi tuyến đưa u vào Ω ki(x, u(x))dx Đây toán đặt không chỉnh (xem [5]) Đã có nhiều phương pháp giải hệ phương trình toán tử đặt không chỉnh Ngoài phương pháp lặp xoay vòng Landweber - Kaczmarz, Newton Kaczmarz, đường dốc Kaczmarz, nhóm nhà khoa học Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đề xuất phương pháp chỉnh lặp song song: Newton hiệu chỉnh song song, Gauss - Newton hiệu chỉnh song song, phương pháp chiếu điểm gần kề song song, phương pháp CQ - song song giải hệ phương trình toán tử Đăc điểm phương pháp hai trình hiệu chỉnh phân rã song song thực đồng thời tương thích với Luận văn trình bày ba phương pháp giải hệ phương trình toán tử đặt không chỉnh: Phương pháp cực tiểu phiếm hàm ổn định với hạn chế độ lệch mức sai số cho phép Phương pháp cực tiểu phiếm hàm làm trơn Tikhonov phương pháp Gauss - Newton hiệu chỉnh song song Nội dung luận văn bao gồm vấn đề sau đây: Thiết lập tính đặt chỉnh toán tối ưu có ràng buộc liên kết với hệ phương trình toán tử đặt không chỉnh Đánh giá tốc độ hội tụ phương pháp hiệu chỉnh đa tham số trường hợp tổng quát Thiết lập mối liên hệ phương pháp nhân tử Lagrange phương pháp hiệu chỉnh đa tham số Nghiên cứu phương pháp hiệu chỉnh đa tham số Tikhonov đánh giá tốc độ hội tụ Trình bày phương pháp chỉnh lặp song song dạng Gauss - Newton Các vấn đề − trình bày báo Torsten Hein [2] Phần nghiên cứu công trình Phạm Kỳ Anh Vũ Tiến Dũng [1] Phần kết học viên phát triển dựa theo tài liệu Torsten Hein [2], Nguyễn Bường Nguyễn Đình Dũng [3] Chương Hiệu chỉnh đa tham số - hội tụ tốc độ hội tụ Trong chương này, đề cập tới phương pháp hiệu chỉnh đa tham số Torsten đề xuất dựa việc cực tiểu phiếm hàm ổn định với điều kiện độ lệch phương trình nằm giới hạn sai số cho phép, bao gồm bổ đề tính ổn định định lý tốc độ hội tụ Cuối chương, giới thiệu hai thuật toán giải toán tối ưu mối liên hệ phương pháp hiệu chỉnh đa tham số phương pháp nhân tử Lagrange Nội dung chương trình bày theo dựa theo tài liệu [2] 1.1 Đặt toán Cho X ,Y j, ( j = 1, , l) không gian Banach phản xạ Để đơn giản, chuẩn không gian X ,Y j kí hiệu Fj : D(Fj) ⊂ X → Y j( j = 1, , l) nói chung toán tử phi tuyến Đặt D = lj=1 D(Fj), giả sử D = ∅ Nếu vế phải cho xác ta có hệ sau Fj(x) = y j ( j = 1, , l), x ∈ D (1.1.1) Tuy nhiên liệu y j thường bị nhiễu yj : ||yj − y j|| ≤  j ta có phương trình Fj(x) = yj ( j = 1, , l), x ∈ D (1.1.2) Trong ứng dụng toán (1.1.2) thường toán đặt không chỉnh Ngay hệ (1.1.1) (1.1.2) giải nghiệm (1.1.2) không phụ thuộc liên tục vào liệu Nghĩa x† nghiệm (1.1.1) x nghiệm (1.1.2) ||x† − x || lớn tùy ý  j( j = 1, , l) đủ nhỏ Chiến lược hiệu chỉnh Xét phiếm hàm ổn định J : D ⊂ X → R mà tính chất liệt kê mục 1.2 thay (1.1.2) toán tối ưu có ràng buộc sau (1.1.3) x∈ D  J(x) j → minj j F (x) −Tikhonov, y ≤  , ta j =thay 1, ,(1.1.2) l Trong lý thuyết hiệuchỉnh toán cực tiểu phiếm hàm l ∑  j Fj (x) − yj Yj j=1 + J (x) → min, x∈D (1.1.4)  j > 0( j = 1, , l) tham số hiệu chỉnh Khi dùng phương pháp Lagrange để giải toán (1.1.3) ta xem tham số  j > 0( j = 1, , l) nhân tử Lagrange Các số 〈 j = chỉnh đa tham số 1.2 Các kết tính ổn định Ta tính đặt chỉnh toán (1.1.3) Cụ thể ta thiết lập số điều kiện để toán (1.1.3) có nghiệm x phụ thuộc liên tục vào liệu yj , j = 1, , l Ta cách tiếp cận toán (1.1.3) gần giống việc chứng minh tồn tại, tính ổn định hội tụ điểm cực tiểu x〈 phiếm hàm Tikhonov F (x) − y Y + 〈 J(x), (1.2.1) Ta xét hai trường hợp sau: Trường hợp 1: < ∝ ≤ Ta có (A∗i Ai + nI)−1 − (A∗inAin + nI)−1 = = −(A∗inAin + nI)−1 [(A∗i − A∗in) Ai + A∗in (Ai − Ain)] (A∗i Ai + nI)−1 Khi ein+1 = −n(A∗i Ai + nI)−1(A∗i Ai)∝ vi− n(A∗inAin + nI)−1 [A∗in (Ai − Ain) + (A∗i − A∗in) Ai] (A∗i Ai + nI)−1(A∗i Ai)∝ vi (3.2.7) − (A∗inAin + nI)−1 A∗in Fi(xn ) − yi − Ainen Chú ý, ta có số đánh giá quen thuộc sau [7, 5, 12] 1− wni( ) := n (A∗i Ai + nI)−1(A∗i Ai) vi ≤   (1 −  )1− vi ≤ vi , ∀ ∈ (0; 1] (A∗inAin + nI)−1 ≤ −1 (A∗inAin + nI)−1A∗in ≤ 12 n Ai(A∗i Ai + nI)−1(A∗i Ai)1/2 ≤ ′ ′ A∗in − A∗i = Ain − Ai = Fi (xn ) − Fi (x†) ≤ L en Ta có Fi(xn ) − yi − Ainen ≤ Yi = Fi(xn ) − Fi(x†) − Fi′(xn )en + Fi(x†) − yi Fi (xn − ten) − Fn(xn ) endt +  ≤ L2 en ′ ′ Yi + Do 1 (A∗inAin + nI)−1 A∗in Fi(xn ) − yi − Ainen ≤ 2n− 42 L en + (3.2.8) Hơn nữa, đặt T1 := n (A∗inAin + nI)−1 [A∗in (Ai − Ain) + (A∗i − A∗in) Ai] (A∗i Ai + nI)−1(A∗i Ai)∝ vi ≤ n (A∗inAin + nI)−1A∗in Ai − Ain (A∗i Ai + nI)−1(A∗i Ai)∝ vi + + n (A∗inAin + nI)−1 A∗i − A∗in Ai(A∗i Ai + nI)−1(A∗i Ai)1/2 (A∗i Ai)∝ −1/2vi Do , nw−1/2 i T ≤ L en  ∝ ni(∝ ) + (A∗Ai)∝ −1/2vi (3.2.9) cuối ∝ Từ (3.2.6)-(3.2.10) ta có ∝ n wni(∝ ) + (A∗i Ai)∝ −1/2vi ein+1 ≤ n wni(∝ ) + L en ∝ −1/2 1 + n− 2 L en +  Từ (3.1.7) đánh giá ta có en+1 = N ∑ ein+1 N i=1 ≤ ∝ ≤ 1NNi=1 ∑ n wni(∝ ) + L en ∝ −1/2 n wni(∝ ) + (A∗i Ai)∝ −1/2vi + n− 2 L en + Chọn n := en , ý điều kiện dừng 3.2.4 ta có  <  n∝ +1/2 n ∝ 43 ,0≤n< N Kết hợp với bất đẳng thức cuối cùng, suy ∝ N n n+1 ≤ N L en N n∝ ∝ N n+1 ∝N i=1  ∝ −1/2 ∝ i + = ∝ n+1  n i i=1 i=1 i=1  ∝ ≤〉 1N  + N i = a + L〉 ∝ 2N  ∝ −1/2 N i=1 vi + ∑ (A∗Ai)∝ −1/2vi N i=1 n + L  ∝ 〉 ∝ n c b Vậy N i=1 n+1 ≤ a + bn + cn2 (3.2.11) ∝ Nếu x0 đủ gần x† ∝ ∝ ∑ n+1 ∑ wni(∝ ) + L en 2N n∝ ∑ wni(∝ )+ n (A∗i Ai)∝ −1/244 vi + Ln∝ −1/2 en + Ln ∝ N ∑ wni(∝ )+ N 〉 ∑ (A∗i Ai)∝ −1/2vi ≤ 1N 2N∝ N L∝ + −1/2 〉 n∝+2 〉 ∝ ∑ vi + ∑ N i −1/2 √ Nếu ∑ vi  đủ nhỏ a, b nhỏ, b + ac ≤ 2a0 ≤ r − b + (1 − b)2 − 4ac (3.2.12) 2c Theo Bổ đề 3.2.1 suy n := en ∝ ≤ l := max {0, M−} = Chú ý M− = 1−b− √ (21c−b)2−4ac 1−b+ ∝ (1−b) √ 2a −4ac ∝ Đặc biệt xn+1 − x† = en+1 = n+1n+1 ≤ l0 ∝ Ngoài 00 = x0 − x† ≤ r, từ (3.2.12) suy ∝= M−0 ∝ 2a0 − b + (1 − b) − 4ac ≤ r ∝ Do l0 ≤ r Vậy xn+1 ∈ Br(x†) ∝ Vậy trường hợp < ∝ ≤ en ≤ ln = Trường hợp 2: < ∝ ≤ Ta thấy ∝ l〈n N∝ = O 〈n ′ ′ Fi(xn ) − yi − Fi (xn )(xn − x†) = ′ Fi (x† + t(xn − x†)) − Fi (xn ) (xn − x†)dt = Fi ′ (xn )h′tidt = Fi (xn ) htidt 0 hti := hi x† + t(xn − x†), xn , xn − x† Từ (3.2.6), ta có htidt Yi ≤ K20 xn − x† ein+1 ≤ n (A∗inAin + nI)−1 x0 − x† + (A∗inAin + nI)−1A∗in yi − yi + (A∗inAin + nI)−1A∗inAin K0 xn − x† Từ suy ein+1 ≤ n (A∗inAin + nI)−1 x0 − x† + n  −1/2 + K0 2 xn − x† Kết hợp bất đẳng thức với điều kiện nguồn (3.2.1) đánh giá [10] n (A∗inAin + nI)−1 − (A∗i Ai + nI)−1 ≤ 2K0 xn − x† , 45 ta suy  −1/2 ein+1 ≤ n (A∗i Ai + nI)−1(A∗i Ai)∝ vi + 2K0 xn − x† x0 − x† + n + K0 xn − 2 x† Đặt n = en n∝ ≤ n wni(∝ )+ 2K0 en (A∗i Ai)∝ vi + n + K0 xn − x† , kết hợp với bất đẳng thức cuối cùng, suy 1N n+1 = en+1 ∑ N i=1 n ∑ + 2K0 en N  ∝n n+1 i=1 ∝ ein+1 ≤ N∑ n+1 ∝ n+1 N i=1 wni(∝ )+ (A∗i Ai)∝ vi + n ∝ + 22 K0 en 2∝ ∝ ∝ Kết hợp với điều kiện dừng (3.2.4), ta suy N N N i=1 i=1 K0 ∝ ∝ +   n−1/2  ∝n+1/2∝1 Do n+1 ≤ a + bn + cn2, a = 〉 ∝ N ∑ wni(∝ ) + ; b = 2K0〉 i =1 i =1 N N ∑ (A∗i Ai) vi ; c = K0〉 ∝ 0 N Tương tự trường hợp 1, ∑ vi Nvà  đủ nhỏ x0 đủ gần x† xn+1 ∈ Br x† xn − x† ∝ = i=1 ∝ O 〈n với n ≥ 3.3 Ví dụ minh họa Giải hệ phương trình Fi(x1, , xm) = yi, i = 1, 2, , N 46 (3.3.1) với m ẩn số x1, , xm N phương trình m >> N Fi : Rm → R khả vi Fréchet lân cận nghiệm x† hệ (3.3.1), lấy x0 = Ta viết lại dạng véctơ F (x) = y (3.3.2) F : Rm → RN , F = (F1, , FN ) khả vi Fréchet, x = (x1, , xm)T , y = (y1, , yN )T Giả sử ta có hệ thống máy tính gồm N xử lý Theo (3.1.6) (3.1.7), ta tính toán đồng thời ′ T xn+1,i = xn − Fi (xn ) Fi(xn ) − yi + nxn Fi ′(xn ) + n , i = 1, · · · , N (3.3.3) đặt xn+1 = N x N i∑ n+1,i = (3.3.4) Cụ thể, với N = m = 104 m = 5.107 Xét hàm Fi(x) sau F1 (x) = x21 + x22 + + x2m = xT A1x F2 (x) = x1x2 + x2x3 + + xm−1xm = xT A2x F3 (x) = x1x3 + x2x4 + + xm−2xm = xT A3x F4 (x) = x1x4 + x2x5 + + xm−3xm = xT A4x A1 = I Al = (ali j)m×m, l = 2, 3, với alij= nếu|i−j|=l−1 1 |i − j| = l − 1, l = 2, 3, 0 Bây ta kiểm tra giả thiết điều kiện nguồn G1 G2 thuật toán song song PA Rõ ràng không gian X = Rm,Y j = R, j = 1, 2, 3, không gian Hilbert Trên ta xác định chuẩn Euclid Giả thiết G1 Với liệu xác y = (1, 0, 0, 0)T hệ có nghiệm xác x† = (1, 0, , 0)T , hàm Fj khả vi liên tục Rm 47 Giả thiết G2 Trong trường hợp với ∝ = x0 = 0, hàm Fj ′ liên tục Lipschitz Thật hàm Fj(x), ≤ j ≤ hàm đa thức nên khả vi Fréchet đến cấp ta có ′ Fj (x) = 2A jx F ”j (x) = 2A j, ≤ j ≤ (3.3.5) F ”j (x) = 2A j = 2, ≤ j ≤ Do theo định lý giá trị trung bình, ta có ′ ′ ′′ Fj (x) − Fj (y) ≤ sup t∈[0;1] Fj (y + t(y − x)) x − y = x − y Mặt khác Fj (x †) ∗Fj′ (x ) = A jx ′ † †2 =  j = (3.3.6)  1nếu jchọn x v1 ==11 † v2 = v3 = Do điều kiện nguồn (3.2.1) nghiệm v4 = x† Sau ta so sánh phương pháp IRGNM phương pháp song song PIRGNM Các tính toán thực máy IBM1350 với node, node chứa hai nhân Intel Xeon dual core 3.2 GHz, 2GBRam Theo (3.2.5) tốc độ hội tụ thuật toán PIRGNM O(〈n), tốc độ hội tụ tương tự thuật toán IRGNM Tuy nhiên bước lặp IRGNM ta phải giải hệ tuyến tính cấp m × m, tính toán tốn nhiều thời gian m lớn Trong thành phần xn+1,i tính toán song song cách dễ dàng theo (3.3.2) Do thuật toán (3.3.2), (3.3.3) cho ta kết với thời gian tính toán tiết kiệm Sau ta tính toán cấp xác thuật toán IRGNM PIRGNM dùng sai số tương đối (the relative error norm (REN)), nghĩa err := xn − x† / x† Trong ví dụ x† = 1, err := xn − x† Một số kí hiệu m : số ẩn hệ phương trình (3.3.1) 48 Tpi : thời gian tính toán thuật toán PIRGNM (một phần triệu giây) Ti : thời gian tính toán thuật toán IRGNM (một phần triệu giây) Tp : thời gian tính toán song song tính theo giây hệ thống máy tính có p vi xử lý Ts : thời gian tính toán tính theo giây S p = Ts Tp : Sự tăng tốc Ep =Sp p : hiệu tính toán song song dùng hệ thống máy tính có p vi xử lý Trường hợp 1: m = 104, 〈n = 0.1 ∗ 0.25n Bảng 3.1 cho ta sai số tương đối thuật toán PIRGNM IRGNM thời gian tính toán song song 〈n = 0.1 ∗ 0.25n m  xn − x† p xn − x† s Tpi Ti 0.0026753 0.0033257 17.5 2540 0.0003565 0.0003905 26.25 5070 0.000085 0.000097 45 6340 0.0000047 0.0000061 57.5 8240 10000 0.00000041 0.00000043 66.2 95.10 0.00284 0.00316 22.5 2600 0.00168 0.00172 25 3500 0.001 0.000576 0.000606 31.2 5210 0.000354 0.000362 37.5 6510 0.000313 0.000315 43.7 7810 Bảng 3.1: Sai số tương đối thuật toán PIRGNM IRGNM Hình 3.1 3.2 cho ta mối liên hệ sai số tương đối thời gian tính toán thuật toán IRGNM PIRGNM  =  = 0.001 tương ứng Trên hình vẽ ta thấy thực thuật toán PIRGNM tốt nhiều thuật toán IRGNM kể trường hợp có nhiễu nhiễu Hình 3.3 cho ta mối liên hệ sai số tương đối thời gian tính toán thuật toán PIRGNM mức nhiễu  khác 49 10000 9000 8000 Thoi gian (phan trieu giay) 7000 IRGNM 6000 5000 4000 3000 2000 1000 PIRGNM 0 0.5 1.5 2.5 + ||xn−x || 3.5 x 10−3 Hình 3.1: So sánh PIRGNM IRGNM với  = Trường hợp 2: m = ∗ 107, 〈n = 0.1 ∗ 0.25n Bảng 3.2 cho ta tốc độ hiệu suất tính toán thuật toán PIRGNM 50 8000 7000 6000 Thoi gian (phan trieu giay) IRGNM 5000 4000 3000 2000 1000 PIRGNM 0 0.5 1.5 2.5 + ||xn−x || 3.5 x 10−3 Hình 3.2: So sánh PIRGNM IRGNM với  = 0.001 Tốc độ hiệu suất thuật toán PIRGNM m Processors Thời gian S p E p 178 50000000 124 1.4 0.7 90 0.5 Bảng 3.2: Tốc độ hiệu suất thuật toán PIRGNM 51 −3 x 10 2.5  =0  =0.001 n ||x −x+|| 1.5 0.5 10 20 30 40 50 60 70 Thoi gian (phan trieu giay) Hình 3.3: Đồ thị sai số tương đối REN thời gian thực PIRGNM 52 KẾT LUẬN Luận văn nghiên cứu ba phương pháp hiệu chỉnh giải hệ phương trình toán tử, bao gồm: i Phương pháp hiệu chỉnh đa tham số Torsten Hein đề xuất, dựa việc cực tiểu phiếm hàm ổn định J(x) với điều kiện độ lệch phương trình nằm giới hạn sai số cho phép ii Phương pháp hiệu chỉnh đa tham số Tikhonov, phiếm hàm làm trơn Tikhonov chứa tham số hiệu chỉnh 〈 tham số - trọng số i, i = 1, , l Trong phần học viên dựa vào hướng tiếp cận tổng quát Torsten Hein để mở rộng kết biết GS Nguyễn Bường NCS Nguyễn Đình Dũng iii Phương pháp chỉnh lặp song song Gauss - Newton tác giả Phạm Kỳ Anh Vũ Tiến Dũng đề xuất Luận văn phát triển theo hướng sau: a Thiết lập hội tụ số phương pháp song song giải hệ phương trình toán tử giả thiết tổng quát Torsten Hein b Tìm ứng dụng cách tiếp cận Torsten Hein cho số toán đặt không chỉnh thường gặp thực tế 53 Tài liệu tham khảo [1] P K Anh, V T Dung, A parallel version of the iteratively regularized Gauss - Newton method Submitted for publication [2] T Hein, Convergence rates for multi - parameter regularization in Banach spaces Int J Pure Appl Math 43(4)(2008) 593-614 [3] N Buong, N D Dung, Regularization for a common solution of a system of nonlinear ill-posed equations, Int J Math Anal., 34(3)(2009) 1693-1699 [4] D D¨uvelmeyer, B Hofmann, A multi-parameter regularization approach for estimating parameters injump diffusion processes J Inverse ill-posed Probl., 14(9)(2006) 861-880 [5] M Burger, B Kaltenbacher, Regularizing Newton-Kaczmarz methods for nonlinear ill-posed problems, SIAM J Numer Anal., 44 (2006) 153182 [6] A B Bakushinskii, The problem of the convergence of the interatively regularized Gauss-Newton mehtod, Comput Math Math Phys., 32 (1992) 1353-1359 [7] B Blaschke, A Neubauer and O Sherzer, On convergence rates for the iteratively regularized Gauss-Newton method, IMA J Numer Anal., 17 (1997) 421-436 54 [8] P Deuflhard, H.W Engl and O Scherzer, A convergence analysis of iterative methods for the solution of nonlinear ill-posed problems under affinely invariant conditions, Inverse Problems, 14 (1948) 1081-1106 [9] T Hohage, Logarithmic convergence rates of the iteratively regularized Gauss-Newton mehtod for an inverse potential and inverse scattering problem, Inverse Problems, 13 (1997) 1279-1299 [10] Q N Jin, On the iteratively regularized Gauss-Newton mehtod for solving nonlinear ill-posed problems, Math Comput., 69(2000) 1603-1623 [11] H W Engl, K Kunisch and A Neubauer, Convergence rates for Tikhonov regularization of nonlinear ill-posed problems, Inverse Problems, 5(1989) 523-540 [12] B Kaltenbacher, A Neubauer, and O Scherzer, Iterative regularization methods for nonlinear ill-posed problems, Walter de Gruyter, Berlin New York, 2008 [13] O Sherzer, H W Engl and K Kunisch, Optimal a posteriori parameter choice for Tikhonov regularization for solving nonlinear ill-posed problems, SIAM J Numer Anal., 30 (1993) 1796-1838 [14] K Kunisch, W Ring, Regularization of nonlinear ill-posed problems with closed operators, Numer Funct Anal Optimization (1993) [15] T Lu, P Neittaanmaki, X C Tai, A parallel splitting up method for partial differential equations and its application to Navier - Stokes equations, RAIRO Math modell Numer Anal., 26(1992) 673-708 [16] B Hofmann : Regularization for applied inverse and ill-posed problems Teubner Verlag Leipzig (1986) 55 [...]... 9, 10] Trong chương 3, sẽ trình bày kĩ hơn về phương pháp chỉnh lặp song song Gauss - Newton [1] 1.5 Mối liên hệ giữa phương pháp nhân tử Lagrange và phương pháp hiệu chỉnh đa tham số Ta sẽ chỉ ra rằng Thuật toán 1 liên quan mật thiết với phương pháp nhân tử Lagrange cho bài toán tối ưu với ràng buộc bất đẳng thức Cho X là không gian Banach, ta xét bài toán  J(x) → min  g j(x) ≤ 0, j = 1, , l, (1.5.1)... thiết lập tính đặt chỉnh của bài toán (2.1.3) với các điều kiện (A1)-(A5), tức là chứng minh bài toán (2.1.3) luôn có duy nhất nghiệm x〈 phụ thuộc liên tục vào dữ liệu đã cho Ngoài ra thêm một vài điều kiện bổ sung về hàm Fj(x) và J(x) ta sẽ có đánh giá tốc độ hội tụ của phương pháp theo khoảng cách Bregman 2.2 Một số kết quả Sau đây là một số kết quả chính thu được cho phương pháp hiệu chỉnh Tikhonov...            ∑ = 0 Kết quả này trùng với (1.4.3) khi 21    −  j Chương 2 Phương pháp hiệu chỉnh đa tham số Tikhonov Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham số Tikhonov dựa trên việc cực tiểu phiếm hàm làm trơn Tikhonov, trong đó phiếm hàm có chứa tham số 〈 và các tham số -  j, ( j = 1, , l) Phần này tôi phát triển dựa theo cách tiếp cận tổng quát của Torsten... 1.4 Hiệu chỉnh đa tham số trong không gian Hilbert Ta xét bài toán (1.1.3) với X ,Y j là các không gian Hilbert Giả sử J(x) := P(x) 2 trong đó P : X → Z là toán tử phi tuyến Ta sử dụng phương pháp nhân tử Lagrange giải bài toán (1.1.3) Xét hàm Lagrange l L(x,  ) := J(x) + ∑j=1 j( Fj(x) − yj 2 Yj −  j2), (1.4.1) hoặc hàm Tikhonov l T (x) := J(x) + ∑j=1 j Fj(x) − yj 2 Yj (1.4.2) Ta có thuật toán. .. Nhắc lại bài toán Cho X ,Y j, ( j = 1, 2, , l) là các không gian Banach phản xạ, Fj : D(Fj) ⊂ l D(Fj) = ∅ Ta cần giải hệ sau X → Y j là các toán tử (phi tuyến), D := j=1 Fj(x) = y j, x ∈ D, ( j = 1, 2, , l) (2.1.1) Trong trường hợp dữ liệu có nhiễu, yj : yj − y j ≤  j, ( j = 1, 2, , l) ta có hệ mới (2.1.2) Fj(x) = yj , x ∈ D, ( j = 1, 2, , l) 22 Phương pháp hiệu chỉnh đa tham số Tikhonov... nhân tử Lagrange  = (1, , l )T ∈ Rl , ( j ≥ 0) và hằng số c > 0, đặt M(x,  , c) := J(x) + 1 l 2c ∑ max 0,  j + cg j(x) j=1 2 −  j2 (1.5.2) Sau đây là phương pháp nhân tử Lagrange Cho  k ≥ 0; ck > 0 Ta tìm nghiệm xk của bài toán M(x,  k, ck) → min, x ∈ X (1.5.3) Và cập nhật nhân tử Lagrange (k) Với ck được chọn theo một quy tắc nào đó (thông thường ta chọn là dãy tăng: ck+1 ≥ ck) Ta có một số. .. thiết của Hệ quả 1.3.1 giống các giả thiết trong phương pháp hiệu chỉnh Tikhonov, trong đó G j = F ′(x†) : X → Y j là liên tục Lipschitz Điều này chứng tỏ (1.3.1) là khái quát hóa của các giả thiết quen biết để chứng minh tốc độ hội tụ Mặt khác tính liên tục Lipschitz của đạo hàm Fréchet không phải là điều kiện cần để phương pháp hiệu chỉnh hội tụ Do đó nó có thể được thay bởi các giả thiết khác Hệ quả...ở đây J(x) = ||x − x∗| |2 hoặc J(x) = ||D(x − x∗)| |2, trong đó D là toán tử tuyến tính đóng Sau đây là một số giả thiết đối với toán tử Fj, ( j = 1, , l) và phiếm hàm ổn định J(x): A1 Với dữ liệu chính xác thì hệ (1.1.1) có nghiệm x†, tức là Fj(x†) = y j, ( j = 1, , l) A2 Fj, ( j = 1, , l) là các toán tử liên tục và đóng yếu (xn ∈ D(Fj), xn ⇀ x, Fj(xn) ⇀ y j thì x ∈ D(Fj) và Fj(x) =... thuật toán 2 (0) (0) 1 Cho x0 ∈ X ,  (0) = (1 , , l ) ≥ 0; k := 0 2 Giải (1.4.4) tìm ∆x Đặt xk+1 = xk + ∆x (k+1) (k+1) 3 Tìm  (k+1) = (1 , , l ) theo công thức (1.4.3) 4 Nếu  (k+1) −  (k) < T OL1 và ∆x X < T OL2 thì dừng thuật toán, ngược lại, đặt k := k + 1 và quay lại bước 2 19 Sự hội tụ của phương pháp chỉnh lặp Gauss - Newton được nghiên cứu trong [7, 8, 9, 10] Trong chương 3, sẽ trình. .. thỏa k→∞ mãn Áp dụng Bổ đề 1.4.2, Định lý 1.4.1 được chứng minh ⊠ Nhược điểm của thuật toán 1 1 Phải giải bài toán tối ưu phi tuyến trên mỗi bước lặp 2 Do phép lặp (1.4.3) hội tụ chậm nên cần thực hiện nhiều bước lặp Sau đây ta trình bày thuật toán lặp Gauss - Newton để tìm nghiệm xấp xỉ của bài toán (1.1.3) Xét bài toán x∈ D  J(x) j = P(x)j 2Z j → min Ta dựng hàm Tikhonov  F (x) − y ≤  , j = 1,