Giải hệ phương trình kích thước lớn và điều kiện xấu trên bó máy tính 62 46 35 01

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BĨ MÁY TÍNH LUẬN ÁN TIẾN SĨ TỐN HỌC Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BĨ MÁY TÍNH Chun ngành: Bảo đảm tốn học cho máy tính hệ thống tính tốn Mã số: 62 46 35 01 LUẬN ÁN TIẾN SĨ TOÁN HỌC Người hướng dẫn khoa học: GS.TSKH PHẠM KỲ ANH Hà Nội - 2014 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn GS Phạm Kỳ Anh Các số liệu, kết trình bày luận án trung thực chưa công bố công trình khác Nghiên cứu sinh Vũ Tiến Dũng i LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn chân thành sâu sắc tới Thầy hướng dẫn, GS TSKH Phạm Kỳ Anh Trong suốt trình thực luận án, nhận giúp đỡ tận tình, quý báu Thầy Nhờ ý tưởng mà Thầy gợi ý, góp ý, hướng dẫn Thầy, tài liệu bổ ích mà Thầy cung cấp trao đổi thú vị Thầy cơng việc nghiên cứu, tơi hồn thành đề tài Và cả, suốt trình học tập trước trình thực luận án, tơi ln cảm nhận tình thương quý, tin yêu thầy giành cho tôi, động viên khích lệ thầy tơi gặp khó khăn tạo động lực cho vững tin thực q trình nghiên cứu Đối với cá nhân tơi, thầy không đơn người hướng dẫn khoa học mà cịn người cha thứ hai tơi Tơi xin chân thành cảm ơn thầy cô anh chị em Bộ mơn Tin học, Khoa Tốn-Cơ-Tin học, đặc biệt GS TS Đặng Huy Ruận, PGS TS Nguyễn Hữu Ngự, PGS TS Đỗ Trung Tuấn, PGS TS Lê Trọng Vĩnh, TS Nguyễn Thị Minh Huyền, chia sẻ, động viên, tạo điều kiện thu xếp công việc thuận lợi, giúp đỡ tơi nhiều việc hồn thành luận án Tôi xin chân thành cảm ơn thầy cô, anh chị bạn Xemina "Tốn học tính tốn" thảo luận góp ý buổi Xemina Đặc biệt, tơi xin chân thành cảm ơn GS TSKH Nguyễn Hữu Công, PGS TSKH Vũ Hoàng Linh, PGS TS Nguyễn Hữu Điển, GS TS Đặng Quang Á, PGS TSKH Phạm Huy Điển, PGS TS Nguyễn Minh Tuấn, TS Nguyễn Trung Hiếu giúp đỡ, góp ý kiến xác đáng để luận án hồn thiện Tơi xin chân thành cảm ơn thầy anh chị em Trung tâm Tính toán Hiệu cao, ĐHKHTN, ĐHQG Hà Nội Trong suốt thời gian học tập trước trình nghiên cứu sinh, Trung tâm tạo điều kiện cho tìm hiểu tiếp cận phương tiện, máy móc tạo môi trường làm việc thuận lợi để thực đề tài Tơi biết ơn Trường ĐHKHTN, ĐHQG Hà Nội Công tác quản lý đào tạo môi trường nghiên cứu Trường góp phần khơng nhỏ luận án hoàn thành dự định Xin chân thành cảm ơn TS Cao Văn Chung, Lê Trung Kiên, Nguyễn Trung ii Kiên, Nguyễn Thị Thanh Lan, Vũ Anh Mỹ, Đặng Văn Hiếu bạn khác, người chia sẻ, giúp đỡ nhiều mặt, để tơi hồn thành q trình nghiên cứu Tơi xin gửi lời cảm ơn tới Quỹ Phát triển Khoa học Công nghệ Quốc gia Việt Nam (NAFOSTED) Luận án hỗ trợ phần mặt tài Quỹ, khuôn khổ Đề tài Nghiên cứu khoa học mã số 101.02.4209 Cuối cùng, muốn bày tỏ lòng biết ơn sâu sắc tới mẹ người thân gia đình, người cảm thơng chia sẻ khó khăn tơi suốt năm tháng qua để tơi hồn thành luận án Luận án này, tơi cố gắng thực hiện, để gửi tới cha, mẹ, vợ người thân gia đình, với tất lòng biết ơn sâu sắc iii Mục lục Lời cam đoan i Lời cảm ơn ii Danh mục ký hiệu chữ viết tắt viii Danh mục bảng x Danh mục hình vẽ xi Mở đầu Chương Kiến thức chuẩn bị 12 1.1 Ngun lý tính tốn song song 12 1.1.1 Kiến trúc máy tính song song 13 1.1.2 Lập trình song song 21 1.1.3 Đánh giá hiệu tính tốn song song 23 1.2 Bài tốn kích thước lớn, điều kiện xấu tốn đặt khơng chỉnh 24 1.2.1 Bài tốn kích thước lớn 24 1.2.2 Bài tốn đặt khơng chỉnh toán điều kiện xấu 27 1.2.3 Một số phương pháp hiệu chỉnh 30 1.2.4 Quy trình giải tốn kích thước lớn điều kiện xấu bó máy tính 32 1.2.5 Một số phương pháp song song giải hệ phương trình tốn tử 33 iv Chương Phương pháp song song giải hệ phương trình tốn tử tuyến tính ứng dụng 35 2.1 Phương pháp chỉnh lặp song song 36 2.2 Giải hệ phương trình đại số tuyến tính q xác định ứng dụng tốn khôi phục ảnh 38 2.2.1 Phương pháp chỉnh lặp song song chỉnh lặp ẩn song song cho hệ phương trình đại số tuyến tính q xác định 39 2.2.2 Ước lượng sai số phương pháp 43 2.3 Thử nghiệm số 46 2.3.1 Giải hệ phương trình đại số tuyến tính q xác định 46 2.3.2 Bài tốn khơi phục ảnh đa cấp xám 52 2.4 Phương pháp song song toàn phần giải lớp phương trình đạo hàm riêng đại số 61 2.4.1 Phân rã toán biên cho phương trình đạo hàm riêng đại số thành tốn biên cho phương trình elliptic phương trình parabolic 62 2.4.2 Phương pháp phân rã song song giải tốn biên cho phương trình elliptic parabolic 67 2.4.3 Thử nghiệm số 70 Chương Phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình tốn tử phi tuyến ứng dụng 75 3.1 Phương pháp chỉnh lặp Gauss-Newton phương pháp chỉnh lặp Gauss -Newton song song 76 3.2 Sự hội tụ phương pháp chỉnh lặp Gauss-Newton song song 80 3.3 Áp dụng cho hệ phi tuyến xác định 86 3.4 Hệ phương trình có cấu trúc thưa 92 v 3.5 Mối liên hệ phương pháp chỉnh lặp Gauss-Newton song song phương pháp chỉnh lặp song song 95 Kết luận 97 Danh mục cơng trình khoa học tác giả liên quan đến luận án 99 Tài liệu tham khảo 100 101 [19] Bauschke H H., Borwein J M (1996), "On projection algorithms for solv-ing convex feasibility problems", SIAM Rev., 38, pp 367-426 [20] Bauschke H H., Borwein J M and Lewis A S (1997), "The method of cyclic projections for closed convex sets in Hilbert space", Contemp Math., 204, pp 1-38 [21] Bernstein A J (1966), "Program Analysis for Parallel Processing", IEEE Trans on Electronic Computers, EC-15, pp 757–62 [22] Blaschke B., Neubauer A and Scherzer O (1997), "On convergence rates for the iteratively regularized Gauss-Newton method", IMA Journal of Nu- meriacal Analysis, 17, pp 421-436 [23] N Buong, N D Dung (2009), "Regularization for a common solution of a system of nonlinear ill-posed equations", Int J Math Anal., (34), pp 1693-1699 [24] N Buong, P V Son (2008), "An explicit iteration method for convex fea-sibility problems in Hilbert spaces", Appl Math Sci (Hikari), (15), pp 725-734 [25] Burger M and Kaltenbacher B (2006), "Regularizing Newton-Kaczmarz methods for nonlinear ill-posed problems", SIAM Numer Anal., 44, pp 153-182 [26] Calvetti D and Reichel L (2002), "Tikhonov regularization of large linear problems", BIT, 43 (2), pp 1-14 [27] Campbell S L and Marszalek W (1996), "The index of an infinite dimen-sional implicit system", Math Modelling Syst., (1), pp 1-25 [28] Campbell S L and Marszalek W (1997), "DAEs arising from traveling wave solutions of PDEs", J Comput Appl Math., 82 (1-2), pp 41-58 [29] Censor Y (2001), "On sequential and parallel projection algorithms for feasibility and optimization" (Keynote Paper) in: Visualization and Optimization Techniques (Editors: Censor Y and Ding M.), Proceedings of SPIE (SPIE: The International Society for Optical Engineering, Bellingham, WA, USA), 4553, pp 1-9 102 [30] Censor Y., Gordon D and Gordon R (2001), "Component averaging: An efficient iterative parallel algorithm for large and sparse unstructured prob-lems", Parallel Comput., 27, pp 777-808 [31] Censor Y., Gordon D and Gordon R (2001), "BICAV: An inherently par-allel algorithm for sparse systems with pixel-dependent weighting", IEEE Trans Medical Imaging, 20, pp 1050-1060 [32] Combettes P L (2004), "Solving monotone inclusions via compositions of nonexpansive averaged operators", Optimization, 53, pp 475–504 [33] Cunha R.D da, Hopkins T.R (1991), "Parallel Over relaxation Algorithms for systems of Linear Equations", World Transputer user group conference, Sunnyvale transputing ’91 Amsterdam: IOS Press, Vol 1, pp 159-169 [34] De Cezaro A., Haltmeier M., Leitão A., and Scherzer O (2008), "On steepest-descent-Kaczmarz method for regularizing systems of nonlinear ill-posed equations", Appl Math Comput., 202, pp 596-607 [35] Deuflhard P (1974), "A Modified Newton Method for the Solution of Ill-Conditioned Systems of Nonlinear Equations with Application to Multiple Shooting", Numerische Mathematik, 22, pp 289-316 [36] Deuflhard P., Engl H W and Scherzer O (1948), "A convergence analysis of iterative methods for the solution of nonlinear ill-posed problems under affinely invariant conditions", Inverse Problems, 14, pp 1081-1106 [37] Diniz-Ehrhardt M A., Martinez J M (1993), "A parallel projection method for overdetermined nonlinear systems of equations", Numer Algo-rithms, 4, pp 241-262 [38] Diniz-Ehrhardt M A., Martinez J M and Santos S A (1994), "Paral-lel projection methods and the resolution of ill-posed problems", Comput Math Appl., 27, pp 11-24 [39] Eggermont P P B., HermanG T and Lent A (1981), "Iterative algorithms for large partitioned linear systems, with applications to image reconstruc-tion", Linear algebra and its Appl., 40, pp 37-67 103 [40] Engl H W., Hanke M., and Neubauer A (1996), Regularization of Inverse Problems, Kluwer, Dordrecht [41] Engl H W., Kunisch K and Neubauer A (1989), "Convergence rates for Tikhonov regularization of nonlinear illposed problems", Inverse Problems, 5, pp 523-540 [42] Evans D.J (1984), "Parallel SOR iterative methods", Parallel Computing, 1, pp 3-18 [43] Gallivan K A., Heath M T., Ng E., Ortega J M, Peyton B W., Plem-mons R J., Romine C H., Sameh A H and Voigt R G (1990), "Parallel Algorithms for Matrix Computations", SIAM, Philadelphia [44] Galo J R., Albarreal I., Calzada M C., Cruz J L (2005), "Stability and Convergence of a Parallel Fractional Step Method for the Solution of Lin-ear Parabolic Problems", Applied Mathematics Research eXpress, 4, pp 117-142 [45] Golub G.H., Van Loan C.F (1996), "Matrix Computations", The John Hop- kins University Press, Second Edition [46] Grindrod P (1996), "The Theory and Applications of Reaction-diffusion Equations", Clarendon Press, Oxford [47] Haltmeier M., Kowar R., Leitão A., and Scherzer O (2007), "Kaczmarz methods for regularizing nonlinear ill-posed equations, I Convergence analysis", Inverse Probl Imaging, (2), pp 289-298 [48] Haltmeier M., Kowar R., Leitão A., and Scherzer O (2007), "Kaczmarz methods for regularizing nonlinear ill-posed equations, II Applications", Inverse Probl Imaging, (3), pp 507-523 [49] Hanke M (1991), "Accelerated Landweber iterations for the solution of ill-posed equations", Numer Math, 60, pp 341-373 [50] Hansen P C., Nagy J G (2006), Deblurring images: matrices, spectra, and filtering, SIAM 104 [51] Hansen P C (2002), "Deconvolution and regularization with Toeplitz ma-trices", Numer Algorithms, 29, pp 323-378 [52] Hohage T (1997), "Logarithmic convergence rates of the iteratively regu-larized Gauss-Newton method for an inverse potential and inverse scatter-ing problem", Inverse Problems, 13, pp 1279-1299 [53] Jin Q N (2000), "On the iteratively regularized GaussNewton method for solving nonlinear ill-posed problems", Mathematics of Computation, 69, pp 1603-1623 [54] Kaltenbacher B., Neubauer A and Scherzer O (2008), Iterative Regular- ization Methods for Nonlinear Ill-Posed Problems, Walter de Gruyter, Berlin - New York [55] Kennett B L N, Williamson P R (1998), "Subspace Methods for Large Scale Nonlinear Inversion", Mathematical Geophysics: a Survey of Recent De- velopments in Seismology and Geodynamics, pp 139-154 [56] Kowar R and Scherzer O (2002), "Convergence analysis of a Landweber-Kaczmarz method for solving nonlinear ill-posed problems", Ill-posed and inverse problems (book series), 23, pp 69-90 [57] Krejic´ N., Luzaninˇ Z., Radeka I (2007), "Newton-like method for nonlin-ear banded block diagonal system" , Applied Mathematics and Computation, 189 (2), pp 1705-1711 [58] Lavrentiev M M (1967), Some improperly posed problems in mathematical physics, Springer, New-York [59] Landweber L (1951), "An Iteration Formula for Fredholm Integral Equa-tions of the first kind", Amer J Math, 73, pp 615-624 [60] Lin P (1997), "A sequential regularization method for timedependent incompressible Navier-Stokes equation", SIAM J.Numer Math., 34 (3), pp 1051-1071 [61] Liu F., Nashed M Z (1998), "Regularization of nonlinear illposed vari-ational inequalities and convergence rates", Set-Valued Analysis, 6, pp 313-344 105 [62] Leung A W (1989), "Systems of Nonlinear Partial Differential Equa-tions", Kluwer Academic Publishers, Dordrecht [63] Lewis B and Reichel L (2003), "Parallel deconvolution methods for three dimensional image restoration", Proc SPIE 5205, Advanced Signal Processing Algorithms, Architectures, and Implementations XIII, 291 , doi:10.1117/12.507894 [64] Lu T., Neittaanmakiă P and Tai X.-C (1992), "A parallel splitting up method for partial differential equations and its application to NavierStokes equations", RAIRO Math Model Numer Anal., 26 (6), pp 673-708 [65] Lucht W., Strehmel K and Eichler-Liebenow C (1997) , "Linear Partial Differential Algebraic Equation", Report No 18 , pp 430-450 [66] Lucht W., Strehmel K and Eichler-Liebenow C (1999), "Indexes and Spe-cial Discretization Methods for Linear Partial Differential Algebraic Equa-tions", BIT, 39 (3), pp 484-512 [67] Mai G.C and De Rose C.A.F (2000), "Low Cost Cluster Architectures for Parallel and Distributed Processing", CLEI Electonic Journal (1), pp 1-9 [68] Marszalek W (1997), "Analysis of partial differential algebraic equations", PhD thesis, North Carolina State University, Raleigh, NC [69] Marszalek W ,Trzaska Z (2002), "A Boundary-value problem for linear PDAEs", Int.J.Appl.Math.Comput.Sci, 12 (4), pp 487-491 [70] Nair M.T and Pereverzev S.V (2007), "Regularized collocation method for Fredholm integral equations of the first kind", J Complexity , 23, pp 454-467 [71] Niethmmer W (1989), "The SOR method on parallel computers", Numer Math., 56, pp 247-254 [72] Oldenburg D.W., McGillvary P.R., Ellis R.G (1993), "Generalized Sub-space Methods for Large Scale Inverse Problems", Geophys J Int., 114, pp 12-20 106 [73] Oldenburg D W., Li Y (1994), "Subspace Linear Inverse Method", Inverse Problems, 10, pp 915-935 [74] Paige C C., Saunder M A (1982), "LSQR: an Algorithm for Sparse Lin-ear Equations and Sparse Least Squares", ACM Trans Math Software, 8, pp 195-209 [75] Saad, Y and van der Vorst, H.A (2000), "Iterative solution of linear sys-tems in the 20th century", J Comput Appl Math., 123, pp 133 [76] Scherzer O., Engl H W and Kunisch K (1993), "Optimal a posteriori pa-rameter choice for Tikhonov regularization for solving nonlinear ill-posed problems", SIAM Journal on Numerical Analysis, 30, pp 1796-1838 [77] Scherzer O., Grasmair M., Grossauer H., Haltmeier M., Lenzen F (2008), "Variational Methods in Imaging", Applied Mathematical Sciences, 167, Springer [78] Simeon B (1996), "Modelling a flexible slider crank mechanism by mixed system of DAEs and PDEs", Math Modelling Syst., 2(1), pp 118 [79] Tautenhahn U (2002), "On the method of Lavrentiev regularization for nonlinear ill-posed problems", Inverse Problems, 18, pp 191-207 [80] Varah J M (1983), "Pitfalls in Numerical Solutions of Linear Ill-Posed Problems", Siam J Sci Comp., 4, pp 164-176 [81] Van Huffel, S., Vandewalle, J (1991), The Total Least Square Problem, SIAM Philadelphia [82] Vogel C R (2002), Computational Methods for Inverse Problems, SIAM Philadelphia [83] Weickert J (1996), "Navier-Stokes equations as a differential-algebraic system", Preprint SFB 393/96-08, Technische Universitată Chemnitz-Zwickau [84] Xie D and Adams L (99), "New parallel method by domain partitioning", SIAM J Sci Comput, 20 (6), pp 2261-2281 107 [85] Zhang C , Hong Lan, Yang Y E , Estrade B D (2005), "Parallel SOR Iterative Algorithms and Performance Evaluation on a Linux Cluster", Proceedings by the International Conference on Parallel and Distributed Processing Techniques and Applications (PDDTA 2005), CSREA Press, 1, pp 263-268 [86] Zilli G and Bergamaschi L (1999), "Parallel Newton methods for sparse systems of nonlinear equations", Rend Circ Mat Palermo (II), 58, pp 247-257 Tiếng Nga [87] Бакушинский А Б., Гончарский А В (1989), Некорректные задачи: Численные методы и приложения, Издательство Московского университета [88] Тихонов А Н (1963), "O решении некорректно поставленных задач и методе регуляризации", Доклады Академии наук СССP, 151 (3), C 501- 504 [89] Тихонов А Н (1963), "О регуляризации некорректных задач", Доклады Академии наук СССP, 153, C 49-52 Tiếng Pháp [90] Hadamard J (1932), Le probléme de Caushy et les équations aux dérivées par-tielles linéaires hyperpoliques , Hermann, Paris 108 ... tốn điều kiện xấu, tốn đặt khơng chỉnh Những tốn dẫn đến việc giải hệ phương trình tuyến tính phi tuyến kích thước lớn điều kiện xấu ii Quy trình giải tốn kích thước lớn điều kiện xấu bó máy tính. .. trình giải tốn kích thước lớn điều kiện xấu bó máy tính Để giải tốn kích thước lớn điều kiện xấu bó máy tính cần qua bước sau: Bước 1: Đề xuất phương pháp song song phù hợp để giải tốn kích thước. .. cho bó máy tính Một hệ phương trình điều kiện xấu kích thước lớn hiểu theo nghĩa sau: Hệ phương trình tuyến tính gọi điều kiện xấu sai số nhỏ vế phải ma trận hệ số gây nên sai số lớn nghiệm Hệ phương