phương pháp lặp mới giải hệ phương trình tuyến tính lớn và thưa

Có những bài toán do kích cỡ số liệu tưởng chừng như chỉ có thể sử dụng các phương pháp lặp, nhưng rồi sự tiến bộ về khả năng tính toán và lưu trữ vượt trội của máy tính đã cho phép các

ĐẠI HỌC THÁI NGUYÊN

ĐẠI HỌC THÁI NGUYÊN

MỤC LỤC

MỞ ĐẦU 1

1.Lý do chọn đề tài 1

2.Mục đích của đề tài 2

3 Phạm vi nghiên cứu 2

4 Nội dung nghiên cứu của đề tài 3

5 Phương pháp nghiên cứu 3

6 Bố cục của đề tài 3

CHƯƠNG I: CÁC PHƯƠNG PHÁP GIẢI HỆ PHƯƠNG TRÌNH TUYẾN TÍNH 5 I.1 Hệ phương trình tuyến tính 5

I.1.1 Hệ phương trình tuyến tính tổng quát 5

I.1.2 Nghiệm của hệ phương trình tuyến tính 6

I.1.3 Các hệ phương trình tương đương 6

I.1.4 Các dạng ma trận, dạng véctơ của hệ phương trình tuyến tính 7

I.2 Phương pháp tìm nghiệm của hệ phương trình tuyến tính 8

CHƯƠNG II : PHƯƠNG PHÁP LẶP 12

II.1 Các phương pháp giải trực tiếp 12

II.1 Sự thay đổi thuật toán trong tính toán cỡ lớn 12

II.2 Những khó khăn của các phương pháp giải trực tiếp 13

II.2.1 Phương pháp khử Gauss 13

II.2.2 Phương pháp nhân tử hóa Cholesky 14

II.2.3 Vấn đề Fill – in ( suy giảm độ thưa ) 15

II.2.4 Vấn đề truy cập đối với ma trận 18

II 3 Các phương pháp lặp cơ bản 18

II.3.1 Tách ma trận 19

II 3.2 Phép lặp Jacobi 22

II.3.3 Phép lặp Gauss-Seidel 24

II.4 Phương pháp nới lỏng 25

II.4.1 Phương pháp trên – nới lỏng liên tiếp 25

II.5 Các phương pháp lặp dựa trên phép chiếu 26

II.5.1 phép chiếu song song 26

II.5.2 Phương pháp chiếu Kaczmarz 27

II.5.3 Phương pháp chiếu đồng thời của Cimmino 30

CHƯƠNG III PHƯƠNG PHÁP LẶP MỚI TÌM NGHIỆM HỆ PHƯƠNG TRÌNH TUYẾN TÍNH 33

III.1 Phương pháp lặp cho hệ phương trình tuyến tính 33

III.2 Phát biểu bài toán 35

III.3 Cơ sở lý thuyết của thuật toán 36

III.4 Mô tả thuật toán 41

III.5 Tính toán thử nghiệm 43

Kết luận 45

TÀI LIỆU THAM KHẢO 47

PHỤ LỤC 49

b Tính chất của phép chiếu: Phép chiếu xác định như trên có các tính chất quan trọng

C là orthan không âm: C x X x: 0 Khi đó P C x = x +

C là siêu phẳng: C x X a x; , b , ở đây a 0 và b R Khi đó

C là không gian con: C span a1, ,a n , ở đó a i là các véc tơ cột độc lập

C

P x A A A A x

Các trường hợp còn lại với 1 < m < n -1 là bài toán khó tương đương với việc giải

một hệ đại số tuyến tính

DANH MỤC HÌNH VẼ - BẢNG BIỂU

Hình 1: Phép chiếu Kaczmarz trong không gian 2 chiều

Hình 2: Mô tả ý tưởng thuật toán

Hình 3: Minh họa bài toán bổ trợ

Bảng 1: Kết quả tính toán trên một vài bộ dữ liệu chuẩn

MỞ ĐẦU 1.Lý do chọn đề tài

Trong suốt thời gian qua luôn luôn có cuộc cạnh tranh liên tục giữa các phương pháp lặp và các phương pháp giải trực tiếp các bài toán cỡ lớn xuất hiện trong thực tiễn Ở một lớp bài toán này thì phương pháp giải trực tiếp chiếm ưu thế,

ở một lớp bài toán khác, các phương pháp lặp lại tỏ ra hiệu quả hơn Có những bài toán do kích cỡ số liệu tưởng chừng như chỉ có thể sử dụng các phương pháp lặp, nhưng rồi sự tiến bộ về khả năng tính toán và lưu trữ vượt trội của máy tính đã cho phép các phương pháp trực tiếp đua tranh

Nhu cầu tìm kiếm lời giải của hệ phương trình tuyến tính như một công đoạn tính toán, xuất hiện rất thường xuyên trong quá trình tìm lời giải cho nhiều bài toán

lý thuyết và thực tiễn trong khoa học kỹ thuật, trong các công trình nghiên cứu khoa học, bài toán xử lý ảnh, bài toán tối ưu trong kỹ thuật, trong kinh tế, … Bởi vậy, nghiên cứu cải tiến các phương pháp giải hệ phương trình tuyến tính lớn và thưa xuất hiện trong các tính toán ứng dụng thực tế là một vấn đề quan trọng trong khoa học tính toán Do đó việc tìm kiếm các thuật toán hữu hiệu giải các hệ tuyến tính đặc thù này thực sự là một yêu cầu cấp thiết

Về mặt lý thuyết thuần túy, việc giải hệ phương trình tuyến tính là không khó Tuy nhiên về mặt tính toán thực tiễn, việc thực hiện liên tục các phép tính với

sự sai số, có thể biến một bài toán đơn giản thành một bài toán rất phức tạp nhiều khi là không thể thực hiện được

Phương pháp truyền thống giải hệ phương trình tuyến tính không suy biến là rất hoàn hảo về mặt lý thuyết Song trong thực tế các bài toán trong các lĩnh vực

khoa học kỹ thuật, cũng như trong lĩnh vực kinh tế đòi hỏi ngày một cao và cả tính

ổn định trong tính toán

Đặc biệt các phương pháp trực tiếp áp dụng cho các hệ tuyến tính lớn và thưa

có thể dẫn đến các “fill-in” cao làm tràn bộ nhớ trong quá trình tính toán Hơn nữa, ngày nay không có kỹ thuật hữu hiệu nào để tính “fill-in” cực tiểu Gần đây, có một thuật toán xấp xỉ cho bài toán “fill-in” cực tiểu đã được đề xuất nhưng chưa rõ tính hiệu quả thực sự của nó Mặt khác do sự tích lũy sai số trong quá trình tính toán nên các phương pháp giải trực tiếp thường kém ổn định Trong các trường hợp như vậy, phương pháp lặp chiếm ưu thế và được sự dụng rộng rãi hơn

Thông thường thì các phương pháp lặp tận dụng được tốt hơn tính thưa và tính đường chéo của ma trận đầu vào, cho phép bỏ qua các phần tử bằng 0 không cần thiết để giảm yêu cầu lưu trữ ở bộ nhớ, nhằm tăng cường khả năng tính toán cả

về độ lớn và thời gian cho lớp các bài toán siêu kích cỡ và ma trận hệ số thưa Để giải quyết những yêu cầu trên, em đã tìm một hướng tiếp cận mới để giải hệ phương trình tuyến tính cỡ lớn và sử dụng phương pháp lặp

4 Nội dung nghiên cứu của đề tài

- Tìm hiểu sự phát triển các phương pháp lặp như: phương pháp gradient liên hợp, Lanczos, phương pháp lặp Krylov,…

- Nghiên cứu các phương pháp chiếu trực giao liên tiếp của Cimmino, Kaczmarz,

- Tiến hành xây dựng thuật toán chiếu lặp mới, ứng dụng cho việc tìm nghiệm hệ phương trình tuyến tính cỡ lớn và các hệ gần thoái hóa

- Lập trình theo các modul của thuật toán đã xây dựng

- Tính toán chạy thử nghiệm trên các bộ dữ liệu chuẩn, đánh giá kết quả cụ thể

5 Phương pháp nghiên cứu

- Nghiên cứu các kiến thức cơ sở về hệ phương trình tuyến tính

- Nghiên cứu lý thuyết về các phương pháp lặp

- Nghiên cứu lý thuyết về các phương pháp chiếu liên tiếp

- Nghiên cứu, xây dựng thuật toán lặp mới ứng dụng giải hệ tuyến tính lớn

và thưa

- Ngôn ngữ lập trình C/C++ trên môi trường Windows

6 Bố cục của đề tài

Luận văn được trình bày trong 50 trang, được chia làm 3 chương:

Chương I: Các phương pháp giải hệ phương trình tuyến tính

Chương II: Phương pháp lặp

Chương III: Phương pháp lặp mới tìm nghiệm hệ phương trình tuyến tính Kết luận

Tài liệu tham khảo

Phụ lục

CHƯƠNG I: CÁC PHƯƠNG PHÁP GIẢI HỆ PHƯƠNG TRÌNH TUYẾN

TÍNH

I.1 Hệ phương trình tuyến tính

I.1.1 Hệ phương trình tuyến tính tổng quát

Hệ m phương trình tuyến tính n ẩn x x1, 2, ,x n hệ số thuộc không gian véc tơ

Hệ phương trình (1.2) được gọi là hệ phương trình tuyến tính thuần nhất

I.1.2 Nghiệm của hệ phương trình tuyến tính

Mỗi nghiệm của hệ phương trình (1.1) là một véc tơ 1, , n của không gian véc tơn sao cho khi thay ẩn x k bởi thành phần k, k 1, ,n vào hệ (1.1) ta được m đẳng thức

- Nếu hệ (1.1) có một nghiệm duy nhất thì gọi là hệ xác định

- Nếu hệ (1.1) có nhiều nghiệm thì gọi là hệ không xác định

- Nếu hệ (1.1) không có nghiệm thì gọi là hệ vô nghiệm

Dễ thấy rằng véc tơ 0, ,0 luôn luôn là một nghiệm của hệ thuần nhất (1.2);

nghiệm này được gọi là nghiệm tầm thường

I.1.3 Các hệ phương trình tương đương

Hai hệ phương trình tuyến tính

Các phép biến đổi tương đương

Mỗi phép biến đổi không làm thay đổi tập nghiệm của các hệ phương trình gọi là phép biến đổi tương đương

Dễ dàng chứng minh được rằng các phép biến đổi sau đây là các phép biến

đổi tương đương:

a) Thay đổi thứ tự các phương trình của hệ (1.1)

b) Loại khỏi hệ (1.1) các phương trình có các hệ số của các ẩn và hệ số tự do đều bằng 0

c) Nhân hai vế của một phương trình với một phần tử k 0

d) Cộng hai vế của một phương trình vào các vế của một phương trình khác

I.1.4 Các dạng ma trận, dạng véctơ của hệ phương trình tuyến tính

Tương ứng với hệ phương trình (1.1) ta có các ma trận sau:

Hệ thức (1.3) gọi là dạng ma trận của hệ phương trình tuyến tính (1.1)

Nếu coi các véc tơ cột trong ma trận mở rộng A là:

Hệ thức (1.1) được gọi là dạng véc tơ của hệ phương trình tuyến tính (1.1)

I.2 Phương pháp tìm nghiệm của hệ phương trình tuyến tính

Định lý 1.1.Hệ phương trình tuyến tính (1.1) có nghiệm khi và chỉ khi hạng của ma

Như vậy là một tổ hợp tuyến tính của hệ véc tơ 1, 2, , n

Suy ra L( 1, 2, , n, ) L( 1, 2, , n) Điều đó chứng tỏ r(A) r A( )

Điều kiện đủ: Giả sử r(A) r A( ) điều đó có nghĩa là hạng của hệ véc tơ

1 , 2 , , n, bằng hạng của hệ véc tơ 1, 2, , n

Suy ra dim( 1, 2, , n, ) dim( 1, 2, , n)

Từ đó suy ra L( 1, 2, , n, ) L( 1, 2, , n) và do đó L( 1, 2, , n) hay tồn tại các phần tử ( , , , )c c1 2 c n R n sao cho :

1 1c 2 2c n n c Vậy hệ phương trình tuyến tính (1.1) có nghiệm

I.2.1 Hệ Cramer : Hệ phương trình tuyến tính (1.1) được gọi là hệ Cramer nếu ma

trận A là ma trận vuông khả nghich tức là m n và det( )A 0

Vì định thức det( )A 0 nên ma trận A có ma trận nghịch đảo 1

A Nhân bên trái

hai vế của đẳng thức (b) với ma trận 1

k kn k

b A x

x

b A

Suy ra:

1 1

Vậy công thức Cramer đƣợc chứng minh

CHƯƠNG II : PHƯƠNG PHÁP LẶP

II.1 Các phương pháp giải trực tiếp

II.1 Sự thay đổi thuật toán trong tính toán cỡ lớn

Khi ma trận hệ số lớn và thưa, phương pháp Gauss thường khó áp dụng được trong quá trình tính toán đòi hỏi không gian lưu trữ và thời gian tính toán được tích lũy quá lớn Mặt khác nói đến “thưa”là sự ưu việt số lượng và vị trí các phần tử khác 0 Giả sử cho trước ma trận A cỡ m n và véctơ x có n chiều, nếu ma trận thưa thì việc tính toán ma trận véctơ Ax chỉ cần số các phép tính số học rất nhỏ, cỡ

n phép tính khi ma trận đầy ( Lưu ý rằng tuy có thể là ma trận đầy, nhưng có những ma trận được xây dựng , chẳng hạn ma trận Toepliz, mà

tích ma trận véc tơ có thể it hơn (nlogn) lần, thậm chí tốt hơn )

Ta xét hệ phương trình tuyến tính

Với A là ma trận không suy biến ( detA 0 ) Ở đây chúng ta tập trung trường hợp

A không đối xứng (với A đối xứng, xác định dương đã được nghiên cứu bằng

phương pháp Conjugate Gradient ) Và ta chỉ ra nguyên nhân tại sao trong các tính

toán cỡ lớn, có sự thay đổi từ các phương pháp trực tiếp Gauss sang các phương pháp lặp

II.2 Những khó khăn của các phương pháp giải trực tiếp

Các phương pháp giải trực tiếp tạo thành một trong hai lớp kỹ thuật để giải hệ phương trình Ax b Trong những phương pháp này, nghiệm đúng * 1

được sau một số bước biến đổi đã biết Bộ nhớ dành cho ma trận hệ số thường bị tràn trong quá trình thao tác chi tiết với các hàng và các cột của ma trận Hai ví dụ nổi bật của phương pháp trực tiếp đối với hệ số không đối xứng dương là phương pháp khử Gauss và phương pháp nhân tử hóa Cholesky tương ứng

II.2.1 Phương pháp khử Gauss

Là một cách tiếp cận trực tiếp điển hình đối với các hệ tuyến tính phi – Hecmit Giai đoạn đầu tiên của quá trình giải là tính biểu thức nhân tử hóa dạng :

L là ma trận tam giác dưới cấp n n với các phần tử trên đường chéo bằng đơn vị,

và U là ma trận tam giác trên cùng cấp

Trong giai đoạn hai, bài toán (2.1) được pháp biểu lại theo ngôn ngữ các nhân

tử L và U bằng phương trình (2.2) Vì các ma trận hoán vị là trực giao, có nghĩa là

Do độ phức tạp thời gian của phương pháp khử Gauss được cho bởi

2n / 3 ( )n các phép toán số học Phần tính toán chính của phương pháp là tính

phân tích (2.1), cụ thể là tính L và U Phương pháp Gauss có thể được thực hiện tại chỗ theo cách thay các phần tử của A bởi các phần tử L và U Vậy đòi hỏi không

gian của phương pháp là n2 ( )n

II.2.2 Phương pháp nhân tử hóa Cholesky

Với những hệ xác định Hecmit, phương pháp khử Gauss được đơn giản hóa thành phương pháp nhân tử hóa Cholesky Trong giai doạn đầu phương pháp Cholesky, ta tính toán các nhân tử của tích

Với các phần tử trên đường chéo là các số thực l ii 0 Khi có thể gây nhầm lẫn, ta

sẽ dùng ký hiệu L A cho tam giác Cholesky của A thay cho L trong (2.3)

Trong giai đoan tiếp theo, bài toán (2.1) được giải dựa trên các phần tử tam giác Cholesky:

L A b và L x n y

Cũng như trong phương pháp khử Gauss, phần tính toán chủ yếu của phương pháp Cholesky là tính toán phân tích (2.3), nghĩa là phần tính của các ma trận tam giác

Cholesky L Độ phức tạp tính toán của toàn bộ quá trình giải là n3 / 3 ( ) n2 các

phép toán số học Có thể cải tiến phương pháp Cholesky theo cách viết L thay vào phần tam giác dưới của A Như vậy đòi hỏi không gian bộ nhớ của phương pháp là 2

n n Lưu ý rằng so với phương pháp Gauss đối với các ma trận tổng quát, việc nhân tử hóa các ma trận xác định dương Hecmit chỉ cần xấp xỉ một nửa số lượng các phép toán cũng như một nửa bộ nhớ

Như vậy, các phương pháp trực tiếp thường gồm 2 giai đoạn Số các phép tính

số học và nhu cầu bộ nhớ tương ứng là lũy thừa cấp 3 và cấp 2 của bậc ma trận hệ

số Những điều này rất khó chấp nhận trong quá trình tính toán cỡ lớn với cấp của

ma trận tăng rất nhanh theo thời gian Trong 4 có trình bày một số cải tiến của thuật toán này cho việc giải các bài toán cỡ lớn hơn

II.2.3 Vấn đề Fill – in ( suy giảm độ thưa )

Ví dụ sau sẽ giải thích rõ sự khó khăn của các phương pháp trực tiếp trong

trường hợp các ma trận thưa Giả sử hệ xác định dương, đối xứng cấp n với ma trận

hệ số thưa

Mà phần thưa có dạng mũi tên Do A đối xứng, lược đồ lưu trữ thưa chỉ cần lưu trữ

2n 1 các phần tử khác 0 của A Tam giác Cholesky tương ứng là

Và bao gồm ( )n2 các phần tử khác 0 So sánh tính thưa của phần tử tam giác dưới

của A và L A có số các phần tử khác không nhiều hơn của A Hiện tượng biến phần

tử 0 của ma trận thưa A, thành phần tử khác 0 trong quá trình nhân tử hóa được gọi

là “fill-in” Sự biến đổi đó không thể tránh được đối với phương pháp phân tích Cholesky cũng như lược đồ phân tích nhân tử hóa khác Fill-in là một hiện tượng chung của các phương pháp trực tiếp và có thể dẫn đến các vấn đề bộ nhớ trong trường hợp tính toán với số chiều lớn Nếu A có kích thước lớn sẽ khó giữ được biểu diễn thưa của nó do giới hạn dung lượng của bộ nhớ Có thể xem “fill-in” như thước đo bộ nhớ cần thiết thêm vào dung lượng bộ nhớ cực đại được dùng trong quá trình tính toán

Liệu phần thưa của ma trận A có ảnh hưởng đến lượng fill-in trong quá trình phân tích? Các phần thưa khác nhau khi ta đánh số lại các ẩn và đổi chỗ các

phương trình (đổi cột và hàng của ma trận ) có thể biểu diễn bởi phép toán hoán vị

được xác định như sau Cho ma trận A và ma trận hoán vị P, ma trận T

P AP được gọi là “hoán vị đối xứng” của A Một ma trận hoán vị đối xứng của A trong công thức (2.4) được cho bởi

chỉ ra rằng với ma trận hoán vị bất kỳ P thì hoán vị đối xứng P AP T của A cũng là

xác định dương và đối xứng Nói cách khác hoán vị đối xứng bảo toàn tính chất đối xứng và xác định dương Vậy phương pháp nhân tử hóa Cholesky có thể áp dụng cho ma trận P AP trong (2.6) và cho ta ma trận tam giác Cholesky T

So sánh các tam giác Cholesky L A trong (2.5) và L AP P T trong (2.7), ta thấy

rằng phép nhân tử hóa Cholesky không ảnh hưởng đến phần thưa của ma trận

T

khác 0 trong T

P

L AP Tiếc rằng việc tìm ra phép hoán vị đối xứng cho phép cực tiểu

hóa của “fill-in” là một bài toán tối ưu tổng hợp có độ khó cao Chính xác hơn, có

thể chỉ ra rằng vấn đề tìm “fill-in” cựu tiểu có độ phức tạp là NP đầy đủ, có nghĩa

là không thể có thuật toán thời gian đa thức theo bậc của ma trận để xác định nó 5

Tóm lại, các phương pháp trực tiếp áp dụng cho các hệ tuyến tính cỡ lớn và thưa có thể dẫn đến khối lượng các “fill-in” cao làm tràn bộ nhớ Hơn nữa, ngày nay không có kỹ thuật hữu hiệu nào để tính “fill-in” cực tiểu Gần đây, có một thuật toán xấp xỉ cho bài toán “fill-in” cực tiểu đã được đề xuất nhưng chưa rõ tính hiệu quả thực sự của nó 7

II.2.4 Vấn đề truy cập đối với ma trận

Các phương pháp trực tiếp làm việc với các hàng và các cột của ma trận hệ số

Vì vậy cần nhập vào một cách tường minh Các phương pháp trực tiếp đòi hỏi phải tính toán các bộ các hệ số của ma trận này Điều này thường cần rất nhiều cho các phép toán số học, trong đó có những thủ tục hữu hiệu để tính trực tiếp tích của ma trận hệ số với một véctơ cho trước mà không cần lưu trữ toàn bộ ma trận 2 , 6 Đây là một điểm yếu nữa của phương pháp trực tiếp

Các phương pháp lặp được phát triển trong năm gần đây đã giải quyết khá tốt vấn đề fill-in cũng như vấn đề truy cập ma trận hệ số

II 3 Các phương pháp lặp cơ bản

Trong mục chúng này ta nghiên cứu các phương pháp lặp để giải hệ tuyến tính

Ax b Các phương pháp lặp bắt đầu với xấp xỉ đầu tiên ( 0 )

x của nghiệm và qua một bước lặp bắt đầu với bước lặp cho phép xác định xấp xỉ x(1)tốt hơn Quá trình

này được lặp lại với (1)

x và tạo nên xấp xỉ tốt hơn x( 2 )… Quá trình lặp kết thúc khi đạt được độ chính xác mong muốn

Các phương pháp lặp là hữu hiệu nhất để giải các hệ cỡ lớn và thưa

Số các phép toán cần thiết để giải hệ cỡ n n , bằng phương pháp lặp tỉ lệ với n2, trong khi bằng phương pháp trực tiếp Gauss thì tỷ lệ với n3 Vậy với n rất lớn, các

phương pháp lặp cung cấp một phương pháp thực hành để giải quyết các hệ tuyến

tính Hơn nữa, số lượng bộ nhớ đòi hỏi đối với ma trận hệ số A thưa tỷ lệ với n,

trong khi phương pháp khử Gauss và các phương pháp trực tiếp khác thường dẫn

đến hiện tượng fill-in đối với các phần tử 0 của A, do đó đòi hỏi số lượng bộ nhớ

lưu trữ tỷ lệ với 2

n Điều này có thể nảy sinh vấn đề khi n rất lớn, chẳng hạn 20000

n

Các phương pháp lặp mà ta sẽ mô tả chỉ đòi hỏi một điều là trong mỗi bước

lặp có thể nhân A với véc tơ trong n Nếu A thưa thì ta chỉ cần nạp bộ nhớ một tỷ

lệ nhỏ các phần tử của A Điều bất tiện của các phương pháp lặp là sau khi Ax b1, nếu muốn tìm nghiệm của Ax b2 (chỉ thay đổi hệ số tự do b) ta buộc phải tiến hành lại từ đầu quá trình tính toán

II.3.1 Tách ma trận

Cho hệ Ax b , ta viết ma trận A dưới dạng A C M , trong đó C là ma

trận không suy biến, dễ tính nghịch đảo (ví dụ ma trận đường chéo hoặc tam giác)

Sự biểu diễn A = C – M gọi là tách ma trận.Hệ có thể viết lại dưới dạng:

,

Chứng minh: Ta chỉ chứng minh cho trường hợp B có n véc tơ riêng độc lập tuyến

tính Trường hợp Bkhông chéo hóa được, ta không xét ở đây

Nếu v 1 , …v n là n véc tơ riêng độc lập tuyến tính của B, ta có thể viết:

Khi và chỉ khi 1 1 với i 1, , n Vậy x( )k x khi và chỉ khi ( ) 1B

Sự lựa chọn đơn giản nhất là chọn C là ma trận đường chéo, các phần tử trên đường chéo là các phần tử đường chéo của A Lược đồ lặp với cách chọn C này được gọi là phép lặp Jacobi

II 3.2 Phép lặp Jacobi

Cho

11 22

0

a a C

n

nn

b a b a c

b a

Tại bước lặp thứ (i+1), véc tơx (i+1) được tính bởi:

Véc tơx (i) được dùng để tính x (i+1), hai véc tơ này phải được lưu trữ riêng biệt

Nếu các phần tử đường chéo của A lớn hơn nhiều các phần tử ngoài đường chéo, thì bắt buộc tất cả các phần tử của B phải nhỏ và phép lặp Jacobi phải hội tụ

Ta nói rằng A trội theo đường chéo nếu:

1 1

n

ii j j