Phương pháp lặp dừng và phương pháp gradient liên hợp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2 =======***======= ĐÀM THỊ PHƯƠNG PHƯƠNG PHÁP LẶP DỪNG VÀ PHƯƠNG PHÁP GRADIENT LIÊN HỢP LUẬN VĂN THẠC SĨ TOÁN HỌC HÀ NỘI - 2012 ĐÀM THỊ PHƯƠNG CHUYÊN NGÀNH: TOÁN GIẢI TÍCH KHÓA: 2010 - 2012 LỜI CẢM ƠN Tác giả xin bảy tỏ lòng biết ơn sâu sắc của mình tới Tiến sĩ Nguyễn Văn Hùng, người thầy đã hướng dẫn, chỉ bảo tận tình để tôi hoàn thành luận văn này. Tác giả xin chân thành cảm ơn sự giúp đỡ tạo điều kiện của Ban Giám hiệu Trường ĐHP Hà Nội 2. Tác giả xin chân thành cảm ơn các ý kiến đóng góp xác đáng của các thầy giáo phản biện để luận văn hoàn thiện hơn. Tác giả xin chân thành cảm ơn sự động viên, khích lệ của gia đình và bạn bè trong suốt quá trình làm luận văn. Hà Nội, tháng 12 năm 2012 Tác giả Đàm Thị Phương LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được của luận văn là trung thực, chưa từng được công bố trong các công trình nghiên cứu nào khác. Hà Nội, tháng 12 năm 2012 Tác giả Đàm Thị Phương MỤC LỤC Trang MỞ ĐẦU 1 NỘI DUNG 3 Chương 1. Một số kiến thức chuẩn bị 3 1.1. Không gian Metric 3 1.2. Không gian định chuẩn 4 1.3. Không gian Banach 5 1.4. Không gian Hilbert 11 1.5. Hội tụ yếu trong không gian Banach và không gian Hilbert 15 1.6. Toán tử trong các không gian 16 1.7. Sai số, số xấp xỉ Chương 2. Phương pháp lặp dừng 19 23 2.1. Tổng quan và kí hiệu 23 2.2. Bổ dề Banach và nghịch đảo xấp xỉ 25 2.3. Bán kính phổ 28 2.4. Tách ma trận và phương pháp lặp dừng cổ điển 29 Chương 3. Phương pháp Gradient liên hợp 32 3.1. Phương pháp Krylov 32 3.2. Các hệ quả của tính cực tiểu hoá 34 3.3. Vòng lặp Gradient liên hợp 37 3.4. Phương pháp lặp Gradient liên hợp đối với phương trình thường 43 KẾT LUẬN 46 TÀI LIỆU THAM KHẢO 47 1 MỞ ĐẦU 1. Lý do chọn đề tài Như đã biết, hệ phương trình tuyến tính và phương trình phi tuyến là cơ sở cho nhiều mô hình khoa học và kỹ thuật. Phương pháp giải số của chúng là rất quan trọng để nghiên cứu các lĩnh vực khoa học này. Trong toán học tính toán, phương pháp lặp tạo ra một dãy các nghiệm xấp xỉ tiến dần tới nghiệm gần đúng của bài toán. Trong việc tìm kiếm nghiệm của phương trình, phương pháp lặp sử dụng dự đoán ban đầu để tạo ra các xấp xỉ có thể hội tụ tới nghiệm của bài toán. Cách làm này là cách làm ngược so với phương pháp trực tiếp và cố gắng giải quyết các vấn đề bằng dãy hữu hạn các phép tính. Khi không có sai số thì phương pháp trực tiếp sẽ đưa ra nghiệm chính xác nhưng với phương pháp lặp ta vẫn chỉ có nghiệm gần đúng. Tuy nhiên, phương pháp trực tiếp sẽ rất tốn kém (và trong một số trường hợp là không thể) ngay cả với khả năng tính toán tốt nhất có sẵn. Có lẽ phương pháp lặp để giải hệ phương trình tuyến tính xuất hiện sớm nhất là trong một bức thư của Gauss viết cho một học sinh của mình. Ông đề xuất giải quyết một hệ phương trình bằng cách liên tục. Lý thuyết của phương pháp lặp dừng đã được đưa ra bởi DM.Young, khởi đầu vào những năm 1950. Phương pháp Gradient liên hợp cũng được phát minh vào những năm 1950, dưới sự phát triển độc lập của Cornelius Lanczos, Magnus Hestenes và Eduard Stiefel, nhưng tính chất và ứng dụng của nó được hiểu lầm vào thời điểm đó cho đến tận năm 1970. Các phương pháp lặp dừng để giải hệ phương trình tuyến tính với một toán tử mà xấp xỉ với toán tử gốc với một sai số nào đó và được điều chỉnh liên tục. 2 Với mong muốn tìm hiểu sâu hơn về vấn đề này, nhờ sự hướng dẫn của TS. Nguyễn Văn Hùng, tôi mạnh dạn chọn đề tài nghiên cứu “Phương pháp lặp dừng và phương pháp Gradient liên hợp”. 2. Mục đích nghiên cứu Nghiên cứu một cách có hệ thống về phương pháp lặp dừng và phương pháp Gradient liên hợp. 3. Nhiệm vụ nghiên cứu Hệ thống một số kết quả đã đạt được về phương pháp lặp dừng và phương pháp Gradient liên hợp. 4. Đối tượng và phương pháp nghiên cứu Nghiên cứu về phương pháp lặp dừng và phương pháp Gradient liên hợp trong phạm vi các hệ phương trình tuyến tính và phi tuyến. 5. Phương pháp nghiên cứu Đọc, dịch, nghiên cứu tài liệu. Tổng hợp kiến thức, vận dụng cho mục đích nghiên cứu. 6. Dự kiến đóng góp mới Đây sẽ là một bài tổng quan về phương pháp lặp dừng và phương pháp Gradient liên hợp. Giúp người đọc hiểu những khái niệm cơ bản về phương pháp lặp dừng và phương pháp Gradient liên hợp, đặc biệt là các phương pháp Krylov và tính chất cực tiểu hoá. 3 NỘI DUNG Chương 1 MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1. Không gian Metric Định nghĩa 1.1. Một tập X   được gọi là một không gian metric, nếu với mỗi cặp phần tử x và y của X (viết tắt là ,x y X ) tồn tại một số thực, ký hiệu là ( , ) x x y  , hai biến có các tính chất: 1) ( , ) 0, ( , ) 0 x x x y x y x y       ; 2) ( , ) ( , ) x x x y x y    3) ( , ) ( , ) ( , ), , , x x x x y x z z y x y z X        Tập tất cả phần tử x X thoả mãn điều kiện 0 ( , ) x x x r   , được gọi là hình cầu mở trong X tâm x 0 bán kính r. Phần tử x 0 của không gian metric X được gọi là điểm dính của tập M X , nếu mọi hình cầu mở bất kỳ   0 0 ( , ) : ( , ) S x r x X x x r     tâm x 0 bán kính r > 0 chứa ít nhất một phần tử thuộc M khác x 0 . Tập tất cả các điểm dính của M và M được gọi là bao đóng của M và ký hiệu bằng M . Một dãy   n x gồm các phần tử n x X được gọi là hội tụ đến phần tử 0 x X , và viết 0 lim n n x x   , nếu 0 lim ( , ) 0 x n n x x    . Không gian metric X được gọi là đầy đủ, nếu mọi dãy cơ bản (dãy Cauchy) trong X hội tụ đến phần tử thuộc X. Một tập con M của không gian metric X được gọi là compact trong X, nếu từ một dãy bất kỳ   n x M luôn tìm được một dãy con hội tụ đến một phần tử của X. 4 1.2. Không gian định chuẩn Định nghĩa 1.2. Chuẩn của một không gian tuyến tính X là một hàm, ký hiệu là . , xác định trên toàn không gian X, nhận các giá trị hữu hạn và thoả mãn các tính chất sau: 1) 0, , 0 0 x x X x x       . 2) Với mọi 1 2 1 2 1 2 , , x x X x x x x    (bất đẳng thức tam giác). 3) Với mọi số K   và một phần tử bất kỳ , x X x x     . Không gian tuyến tính X cùng với chuẩn . được gọi là không gian định chuẩn. Ta có x y x y   với mọi x, y X . Không gian định chuẩn bất kỳ X có thể trở thành không gian metric, khi lấy ( , ) x x y x y    . Dãy điểm   n x của không gian định chuẩn X gọi là hội tụ tới điểm x X , nếu lim 0 n n x x    , kí hiệu lim n n x x   . Dãy điểm   n x của không gian định chuẩn X gọi là dãy cơ bản. nếu , lim 0 n m m n x x    . Ví dụ 1.1 a) Không gian n p R với 1 2 ( , , , ) n x x x x  và chuẩn 1 1 n p p i p i x x          trong đó p là một số thực bất kỳ: 1 p   . Khi p = 2, ta thường ký hiệu n R và gọi là không gian Euclid n chiều. 5 b) Cho không gian vectơ 2 l . Đối với vectơ bất kỳ   2 n x x l  ta đặt 2 1 n n x x     Từ công thức ( ,0)x d x và hệ tiên đề metric suy ra công thức trên cho ta một chuẩn trên 2 l . c) Không gian   , p L a b , trong đó mỗi phần tử là các hàm x(s) đo được trên [a, b] có ( ) p x s khả tích với chuẩn được xác định như sau: 1 ( ) b p p Lp a x x s ds               . d) Không gian   ,a b C các hàm x(s) liên tục trên [a,b] và     , s a,b ax ( ) C a b x m x s   . 1.3. Không gian Banach Không gian tuyến tính định chuẩn   , . X đầy đủ đối với metric xác định bởi ( , ) x y x y    gọi là một không gian Banach. Nếu không sợ nhầm lẫn thì ta thường ký hiệu không gian Banach   , . X là X. Ví dụ 1.2. R và C là những không gian Banach với chuẩn xác định bởi x , x x R  hoặc x C . Ví dụ 1.3. n R và n C là những không gian Banach với chuẩn 1 2 2 n i i l x           với   1 , , n n x K     . 6 Ví dụ 1.4. Cho B(T) là tập hợp tất cả các hàm số x(t) giới nội trên tập hợp T  R. B(T) là một không gian Banach với chuẩn sup ( ) t T x x t   . Chứng minh Dễ dàng thấy rằng hàm số thực vừa nêu là một chuẩn trên không gian tuýen tính B(T). Ta chứng minh rằng với metric xác định bởi chuẩn đó, B(T) là một không gian đầy đủ. Thật vậy, giả sử   n x là một dãy Cauchy trong không gian B(T). Khi đó, với một số dương  bất kì, tồn tại một số tự nhiên n 0 sao cho m n x x    với mọi 0 0 , n n m n  , cũng tức là sup ( ) ( ) n m t T x t x t     với mọi 0 0 , n n m n  . Do đó, với mỗi phần tử cố định t của T ta có (1.1) ( ) ( ) n m x t x t    với mọi 0 0 , n n m n  . Vậy với mỗi   , ( ) n t T x t là một dãy Cauchy trong K. Vì K là một không gian đầy đủ nên   ( ) n x t hội tụ trong K. Đặt ( ) lim ( ); n n x t x t t T    , ta được một hàm số x xác định trên tập hợp T. Để kết thúc chứng minh ta chỉ ra rằng x là một hàm số giới nội trên T và lim n n x x   trong B(T). Thật vậy, giả sử t là một phần tử bất kỳ của T. Ta có bất đẳng thức (1.1) với mọi 0 0 , n n m n  . Cố định n và cho m   , ta được (1.2) ( ) ( ) n x t x t    với mọi 0 n n , và với mọi t T . Vậy với 0 n n , n x x là một hàm số giới nội trên T. Do đó ( ) n n x x x x   cũng là một hàm số giới nội trên T. [...]... PHƯƠNG PHÁP LẶP GRADIENT LIÊN HỢP 3.1 Phương pháp Krylov Chương này mô tả một số phương pháp không gian Krylov cho phương trình tuyến tính Không giống như các phương pháp lặp dừng, phương pháp Krylov không có ma trận lặp Ở đây chúng ta sẽ thảo luận sâu phương pháp Gradient liên hợp và phương pháp GMRES, cực tiểu ở lần lặp thứ k, một số đo lường của sai số trên x0  K k , với x0 là xấp xỉ ban đầu và K k... N  N không suy biến và đặt x*  A1b Một số phương pháp Krylov khác không được hiểu sâu như CG hay GMRE Mô tả tóm tắt của một số phương pháp này và tính chất của chúng có trong §3.6 Vòng lặp Gradient liên hợp (CG) được phát minh vào những năm 1950 như là một phương pháp trực tiếp Nó được sử dụng rộng rãi trong nhiều năm qua như một phương pháp lặp Nhớ rằng A đối xứng nếu A  AT và xác định dương nếu... quả của định lý 2.3.1, bổ đề 2.2.1 là một đặc trưng của phương pháp lặp dừng Định lý 2.3.2 Giả sử M là ma trận N  N Phép lặp (2.7) hội tụ với tất cả c  R N nếu và chỉ nếu   M   1 29 2.4 Tách ma trận và phương pháp lặp dừng cổ điển Có nhiều cách để chuyển phương trình Ax = b thành một phép lặp điểm bất động tuyến tính khác (2.5) Các phương pháp như Jacobi, Gauss – Seidel dựa trên các phép tách... giới thiệu định nghĩa của một số mũ liên hợp và một bất đẳng thức mà ta cần trong chứng minh Hai số dương p và q gọi là một cặp số mũ liên hợp nếu 1 1   1 Từ p q đẳng thức này suy ra 1  p   và 1  q   Một trường hợp riêng quan trọng là p = q = 2 Khi p  1 thì q   Vì vậy ta cũng coi 1 và q là một cặp số mũ liên hợp Giả sử p và q là một cặp số mũ liên hợp 1  p   Khi đó, nếu x   n ... dựng để có phương trình với A1 là ma trận có hệ số dễ giải Khi đó phương trình Ax  b được chuyển thành bài toán điểm bất động x  A11  b  A2 x  Các phân tích của phương pháp này được dựa trên ước lượng của bán kính phổ của ma trận lặp M   A11  A2 Để có mô tả chi tiết phương pháp lặp dừng cổ điển người đọc có thể tham khảo ở một số tài liệu khác Phương pháp này ít hiệu quả hơn phương pháp Krylov... và sử dụng (2.9) Vòng lặp Richardson, với nghịch đảo gần đúng có dạng (2.12) xk 1   I  BA  xk  Bb Nếu chuẩn của I  BA là nhỏ, thì vòng lặp sẽ hội tụ nhanh, mà bổ đề 2.1.1 còn chỉ ra việc kết thúc phép lặp dựa trên phần dư Bb  BAx sẽ phản ánh sai số thực tế tốt hơn Phương pháp này là một kỹ thuật hiệu quả để giải các phương trình vi phân, tích phân, phương trình và các vấn đề liên quan Các phương. .. nhất để phép lặp của hệ phương trình tuyến tính (2.1) có điểm bất động Để giải phương trình (2.1) ta viết lại phương trình (2.1) dưới dạng (2.5) x   I  A x  b , Và xác định vòng lặp Richardson (2.6) xk 1   I  A  xk  b Chúng ta sẽ thảo luận về phương pháp tổng quát hơn, trong đó  xk  được cho bởi (2.7) xk 1  Mxk  c Trong (2.7) M là ma trận N  N gọi là ma trận lặp Phép lặp đơn này được... chương sau hoặc các phương pháp dừng hiện đại dựa trên ý tưởng đa lưới Ví dụ đầu tiên chúng ta xét phép lặp Jacobi sử dụng sự phân tách A1  D, A2  L  U , trong đó D là phần chéo của A và L và U là phần ma trận tam giác trên và dưới Điều này dẫn đến vòng lặp ma trận M IAC   D 1  L  U  , Gọi  xk i biểu thị các thành phần thứ i của lần lặp thứ k, chúng ta có thể biểu diễn vòng lặp Jacobi cụ thể... lặp Jacobi, vòng lặp Gauss - Seidel phụ thuộc vào sự sắp đặt chưa biết Vòng lặp Gauss- Seidel lùi với toạ độ thứ N thay vì toạ độ đầu, là kết quả của sự phân tách A1  D  U , A2  L , và ma trận lặp 1 M BGS    D  U  L 31 Phép lặp đối xứng Gauss - Seidel là hợp của phép lặp Gauss - Seidel tiến và phép lặp Gauss - Seidel lùi Điều này dẫn đến phép lặp ma trận 1 1 M SGS  M BGS M GS   D  U... p  N p     x i   j 1  Khi giải bài toán (2.1) bằng phương pháp lặp, phương pháp này dừng lại khi r  b  Ax là đủ nhỏ 24 Một tiêu chuẩn nữa để phép lặp dừng lại là rk  r0 (2.2) mà sai số e  x  x* có liên quan đến số điều kiện của ma trận Ta có bổ đề sau Bổ để 2.1.1 Cho b, x, x0  R N Giả sử A là ma trận không suy biến và giả sử x*  A1b , khi đó (2.3) e r  k  A e0 r0 Chứng minh . về phương pháp lặp dừng và phương pháp Gradient liên hợp. 4. Đối tượng và phương pháp nghiên cứu Nghiên cứu về phương pháp lặp dừng và phương pháp Gradient liên hợp trong phạm vi các hệ phương. phương pháp lặp dừng và phương pháp Gradient liên hợp. Giúp người đọc hiểu những khái niệm cơ bản về phương pháp lặp dừng và phương pháp Gradient liên hợp, đặc biệt là các phương pháp Krylov và. trận và phương pháp lặp dừng cổ điển 29 Chương 3. Phương pháp Gradient liên hợp 32 3.1. Phương pháp Krylov 32 3.2. Các hệ quả của tính cực tiểu hoá 34 3.3. Vòng lặp Gradient liên hợp