N 60 120 180 240 300
RB_SOR (giây) 1 2 7 12 19
Jacobi (giây) 4 45 200 720
Phương pháp Red/Black SOR rõ ràng là phương pháp tốt nhất trong số các phương pháp trên về thời gian thực hiện cũng như số lượng phép lặp.
Bảng dữ liệu 2.9, 2.11, 2.12 chỉ ra rằng hệ số tăng tốc tỷ lệ thuận với số bộ xử lý. Hệ số tăng tốc thực nhỏ hơn so với hệ số lý tưởng do có chi phí truyền thông giữa các bộ xử lý trên các bó máy tính Linux Cluster 1350 và AIX Cluster 1600. Bên cạnh đó các Bảng dữ liệu này cũng chỉ ra rằng số lượng bộ xử lý cũng tỷ lệ thuận với chi phí truyền thông và tỷ lệ nghịch với hiệu suất tăng tốc.
KẾT LUẬN CHƯƠNG
Trong chương này chúng tôi áp dụng một số phương pháp chỉnh lặp song song giải hệ tuyến tính quá xác định trong trường hợp dữ liệu có nhiễu và áp dụng phương pháp chỉnh lặp hiện song song một bước cho bài toán khôi phục ảnh. Chúng tôi đề xuất phương pháp cải tiến bằng cách kết hợp phương pháp chỉnh lặp song song với phép biến đổi nhanh Fourier. Thực nghiệm chỉ ra rằng trong một số trường hợp phương pháp chỉnh lặp ẩn song song cho kết quả tốt hơn phương pháp chỉnh lặp hiện song song, tuy nhiên, nó cũng đòi hỏi nhiều thời gian hơn. Kết quả lý thuyết và thực nghiệm cũng chỉ ra hiệu quả của phương pháp cải tiến so với phương pháp chỉnh lặp một bước khi áp dụng cho bài toán khôi phục ảnh.
Cuối chương, chúng tôi đề xuất một phương pháp song song toàn phần giải hệ đại số thu được khi rời rạc hóa một lớp phương trình đạo hàm riêng đại số. Một thử nghiệm số được thực hiện để minh họa kết quả lý thuyết.
Trong chương tiếp theo, ta nghiên cứu phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình toán tử phi tuyến và ứng dụng. Phương pháp song song được trình bày trong chương tiếp theo có thể được sử dụng để giải quyết các bài toán tuyến tính trong chương 2 và mối liên hệ giữa phương pháp này với phương pháp chỉnh lặp ẩn song song sẽ được trình bày cuối chương 3.
Chương 3
Phương pháp chỉnh lặp
Gauss-Newton song song giải hệ phương trình toán tử phi tuyến và ứng dụng
Trong chương này, chúng tôi đề xuất một phiên bản song song cho phương pháp chỉnh lặp Gauss-Newton để giải một hệ phương trình toán tử đặt không chỉnh
Fi(x) =yi, 1≤i≤N, (3.1)
trong đóFi :X →Yi, 1≤i≤N, là các toán tử phi tuyến từ không gian Hilbert X vào không gian HilbertYi.
Ý tưởng chính của phương pháp là sự kết hợp giữa các kỹ thuật chỉnh hóa, phân rã song song và lặp Gauss-Newton.
Trong toàn bộ chương này, chúng tôi giả thiết hệ (3.1) có nghiệm, tức là S:={z∈X :Fi(z) =0,i=1,N} 6= /0.
Với một số giả thiết nhất định, chúng tôi sẽ đánh giá được tốc độ hội tụ của phương pháp. Ngoài ra, các thử nghiệm số chỉ ra hiệu quả của phương pháp chỉnh hóa Gauss-Newton song song trong việc giải hệ phương trình phi tuyến
dưới xác định.
Chương này được chia thành ba phần chính. Phần một nhắc lại một số kết quả đã biết về phương pháp Gauss-Newton và trình bày phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình. Phần hai dành cho chứng minh sự hội tụ của phương pháp. Phần cuối là một số kết quả tính toán thử nghiệm và so sánh giữa phương pháp chỉnh lặp Gauss-Newton song song (PIRGNM) với phương pháp chỉnh lặp Gauss-Newton tuần tự (IRGNM).
Các kết quả trong chương này được công bố trong [4], (xem Danh mục các công trình khoa học của tác giả liên quan đến luận án).
3.1 Phương pháp chỉnh lặp Gauss-Newton và phươngpháp chỉnh lặp Gauss -Newton song song pháp chỉnh lặp Gauss -Newton song song
Nhiều bài toán xác định tham số dẫn đến hệ phương trình toán tử:
Fi(x) =yi, 1≤i≤N, (3.2)
trong đó Fi, 1≤ i ≤N, là các toán tử phi tuyến từ không gian Hilbert X của tham số cần xác định x vào không gian HilbertYi của các đại lượng quan sát yi, i=1, . . . ,N. Trong trường hợp dữ liệu có sai số yδ
i với kyδ
i −ykYi ≤δ, ta có hệ chịu nhiễu
Fi(x) =yδ
i , 1≤i≤N. (3.3)
Dễ thấy hệ (3.2) và (3.3) có thể viết lại dưới dạng phương trình toán tử trong không gian tích F(x) =y, (3.4) và F(x) =yδ, (3.5) trong đó F :X →Y =Y1×Y2×...×YN, F(x) = (F1(x), ...,FN(x)), và y= (y1, ...,yN), yδ = (yδ1, ...,yδN).
Cho u= (u1, ...,uN)∈Y và v= (v1, ...,vN)∈Y. Khi đó tích vô hướng và chuẩn trongY được định nghĩa như sau:
hu,viY = N ∑ i=1 hui,viiYi còn kukY = ( N ∑ i=1 kuik2Y i)12.
Một trong các phương pháp hiệu chỉnh giải hiệu quả bài toán đặt không chỉnh phi tuyến là phương pháp chỉnh lặp Gauss-Newton (IRGNM), được Bakushin- skii đề xuất năm 1992 trong [16]
xδn+1=xδn−(F0(xnδ)∗F0(xδn) +αnI−1 F0(xδn)∗(F(xδn)−yδ) +αn(xδn−x0). (3.6) Chúng ta giả thiết rằng:
Giả thiết 3.1. Hệ (3.4) có một nghiệm đúng x† ∈ Br(x0) với Br(x0) = {x ∈ X :
kx−x0k ≤r} và F có các đạo hàm liên tục trong hình cầu B2r(x0) với r>0 đủ lớn.
Giả thiết 3.2. Điều kiện nguồn sau đây [25, 70] thỏa mãn
x†−x0= (F(x†)∗F(x†))µv, (3.7)
với0<µ ≤1vàv∈X. Hơn nữa, giả sử:
i. Nếu 0<µ ≤ 1
2, thì đạo hàm FréchetF0 thỏa mãn các điều kiện sau 1. F0(xe) =R(ex,x)F0(x) +Q(ex,x),
2. kI−R(ex,x)k ≤cR,
3. kQ(ex,x)k ≤cQkF0(x†)(ex−x)k,
với mọiex,xthuộcB2r(x0), trong đócR vàcQ là các hằng số dương. ii. Nếu 1
2 <µ ≤1, thì Fi0 là liên tục Lipschitz
kFi0(x)−Fi0(ex)k ≤Lkx−xek, 1≤i≤N, (3.8)
với mọix,exthuộcB2r(x0).
iii. Các tham số αn được chọn sao cho:
αn >0,αn→0 và 1≤ αn
αn+1
Nếu Giả thiết 3.1 và 3.2 thỏa mãn thì với chỉ số dừngN∗ được chọn là số nguyên dươngnnhỏ nhất thỏa mãn điều kiện η αµ+
1 2 n ≤δ, nghĩa là η αµ+ 1 2 N∗ ≤δ <η αµ+ 1 2 n , 0≤n<N∗. (3.9)
Ta thu được kết quả sau về tốc độ hội tụ của phương pháp IRGNM [22, 54]:
kxδ N∗−x†k= o(1), µ =0, O(δ 2µ 2µ+1), 0<µ ≤1.
Trong trường hợp dữ liệu chính xác(δ =0,η =0)ta nhận được
kxN−x†k= o(αNµ), 0≤µ <1, O(αN), µ =1.
Như chúng ta đã biết, tốc độ hội tụ của nghiệm hiệu chỉnhxδ
n vềx† trong trường hợp tổng quát có thể chậm tùy ý. Để đánh giá được tốc độ hội tụxδ
n →x† ta cần một số điều kiện bổ sung. Một dạng điều kiện (3.11) được thiết lập dựa trên tính trơn của nghiệm gọi là điều kiện "nguồn". Nhiều tác giả như Hohage [52], Deuflhard [36], Jin Quinia [53] và các nhà toán học khác [41,76] đã nghiên cứu về sự hội tụ của phương pháp IRGNM dựa trên điều kiện nguồn.
Gần đây phương pháp IRGN-Kaczmarz được Burger và Kaltenbacher đề xuất [25]. Ý tưởng chính của phương pháp này là phân rã bài toán không chỉnh ban đầu thành một số hữu hạn các bài toán con, và thực hiện giải xoay vòng các bài toán con này bằng phương pháp chỉnh lặp Gauss-Newton. Như vậy, thay vì giải một bài toán lớn trên mỗi bước lặp, ta giải một số bài toán nhỏ hơn và điều này làm đơn giản hóa quá trình tính toán. Ngoài ra các điều kiện đặt lên toán tử phi tuyến có thể được giảm nhẹ. Tuy vậy, khi số lượng các phương trình lớn, phương pháp kiểu Kaczmarz tỏ ra không hiệu quả trên siêu máy tính vì tại mỗi thời điểm chỉ sử dụng một bộ xử lý. Cùng với những thành tựu gần đây trong việc thiết kế phần cứng máy tính, các nhà khoa học có thể dễ dàng tiếp cận các cụm tính toán hiệu năng cao, hoặc tối thiểu với các máy tính cá nhân với các bộ xử lý đa lõi. Do đó, việc xây dựng các phương pháp song song hiệu quả để giải hệ phương trình phi tuyến được các nhà khoa học và công nghệ đặc biệt quan tâm. Theo xu hướng phát triển trên, một số phương pháp song song giải bài toán đặt không chỉnh đối với toán tử đơn điệu đã được nghiên cứu [7, 9].
Trong chương này chúng tôi đề xuất một phiên bản song song của phương pháp chỉnh lặp Gauss-Newton (IRGNM) cho hệ các phương trình toán tử đặt không chỉnh (3.2).
Sau đây ta luôn giả thiết rằng:
Hệ (3.2) có nghiệm x† không phụ thuộc liên tục vào vế phải y. Khi đó bài toán (3.2) nói chung đặt không chỉnh. Các toán tửFi, 1≤i≤N, khả vi liên tục theo Fréchet trong một tập mở chứax† vàx0 là một xấp xỉ ban đầu củax†.
Gọi xδ
n là nghiệm xấp xỉ thứ n của x†. Theo phương pháp chỉnh lặp Gauss- Newton (IRGNM), với mỗi n cố định ta tuyến tính hóa phiếm hàm làm trơn Tikhonov Jδ n :=kF(x)−yδkY2+αnkx−x0k2 = N ∑ i=1 kFi(x)−yδ i k2Y i+αnkx−x0k2 trong lân cậnxδ
n và xét bài toán tối ưu không ràng buộc, trong đó Fi0(xδ
n)là đạo hàm theo nghĩa Fréchet củaFi(x)tại điểm xδ
n Φδn(∆x):= N ∑ i=1 kFi(xnδ)−yδi +Fi0(xδn)∆xkY2 i+ N ∑ i=1 kxδn −x0+∆xk2→ min ∆x∈X. Tìm∆xtừ phương trình ∂Φδn ∂(∆x) =0và xác định xấp xỉ tiếp theoxδ n+1 =xδ n+∆xhay xδ n+1=xδ n− N ∑ i=1 Fi0(xδ n)∗Fi0(xδ n) +αnI−1 N ∑ i=1 Fi0(xδ n)∗(Fi(xδ n)−yδ i ) +αn(xδ n −x0). (3.10) Tuy nhiên, trong một số trường hợp tính toán sẽ hiệu quả hơn nhiều khi ta áp dụng IRGNM một cách đồng bộ cho các bài toán con (3.3).
xδn+1,i=xδn−(Fi0(xδn)∗Fi0(xδn) +βnI)−1 Fi0(xδn)∗(Fi(xδn)−yδi ) +βn(xnδ −x0i), (3.11) i=1, . . . ,N, vớiβn:=αn/N và định nghĩa xấp xỉ tiếp theo bằng trung bình cộng của các xấp xỉ trung gianxδ
n+1,i xδ n+1= 1 N N ∑ i=1 xδ n+1,i. (3.12)
Rõ ràng, (3.11) bao gồm đúng một bước lặp IRGNM áp dụng cho mỗi bài toán con (3.3). Tuy vậy, sự hội tụ của của phương pháp PIRGNM (3.11)-(3.12) không suy ra được từ sự hội tụ của phương pháp tuần tự IRGNM (3.10).
Điểm khác biệt giữa phương pháp tuần tự IRGNM (3.10) và phương pháp PIRGNM (3.11) - (3.12) chính là, việc tính toán các bước trung gian xδ
n+1,i là hoàn toàn độc lập và có thể được tính toán một cách đồng thời trênN bộ xử lý. Ngoài ra, việc tính toán ma trận(Fi0(xδ
n)∗Fi0(xδ
n) +βnI)−1 đôi khi dễ dàng hơn rất nhiều so với tính toán ma trận ∑N
i=1
Fi0(xδ
n)∗Fi0(xδ
n) +αnI−1. Phần tiếp theo ta xét điều kiện dừng và sự hội tụ của phương pháp PIRGNM.
3.2 Sự hội tụ của phương pháp chỉnh lặp Gauss-Newton song song Newton song song
Trong toàn bộ phần này, ta đặt M+:= 1−b+p(1−b)2−4ac
2c , M−:=
1−b−p(1−b)2−4ac
2c .
Để chứng minh sự hội tụ của phương pháp PIRGNM ta cần đến một số kết quả bổ trợ. Chúng ta bắt đầu bằng một kết quả sau. Bổ đề này là một trường hợp riêng của Bổ để 2.4 [22].
Bổ đề 3.1. Cho{γn}là một dãy các số không âm thỏa mãn
γn+1≤a+bγn+cγn2,
vớin≥0, a,b,c>0.
Nếub+2√
ac<1vàγ0≤M+, thì ta có γn ≤l :=max{γ0,M−}với mọi n≥0.
Chứng minh. Ta chứng minh theo phương pháp quy nạp. Dễ thấy,γ0 ≤l. Giả thiết γk ≤l,ta có
γk+1−l≤a+bγk+cγk2−l ≤a+ (b−1)l+cl2 ≤0, vìl∈[M−,M+]. Từ đây, ta suy ra γk+1 ≤l.
Bằng quy nạp, ta đã chứng minh được rằngγn ≤l vớin≥0.
Bổ đề 3.2. ChoAlà một toán tử tuyến tính liên tục, bị chặn trong một không gian Hilbert
H. Khi đó, với mọiβ >0, ta có các đánh giá sau [54]:
i) β1−ν||(A∗A+βI)−1(A∗A)νv|| ≤ νν(1−ν)1−ν||v|| ≤ ||v||, với bất kỳ số cố định
ii) ||(A∗A+βI)−1|| ≤ 1 β. iii) ||(A∗A+βI)−1A∗|| ≤ 1 2β− 1 2. iv) ||A(A∗A+βI)−1(A∗A)12|| ≤1.
Các tham số αn được chọn sao cho: αn>0,αn→0 và 1≤ αn
αn+1
≤ρ với ρ>1. Trước khi bắt đầu định lý hội tụ, ta sử dụng một số giả thiết sau:
Giả thiết 3.3. Hệ (3.2) có một nghiệm chính xácx†∈Br(x0)vàFi, i=1,2, . . . ,N, có các đạo hàm Fréchet liên tục trong hình cầuB2r(x0).
Giả thiết 3.4. Điều kiện nguồn thành phần [25] thỏa mãn
x†−x0i = (Fi0(x†)∗Fi0(x†))µvi, (3.13)
với0<µ ≤1vàvi∈X, 1≤i≤N. Hơn nữa, giả thiết rằng
i) Nếu0<µ ≤ 12, thìFi, i=1,2, . . . ,N, thỏa mãn điều kiện sau [15, 53], với mọi
{x,z}thuộcB2r(x0)và với mọivthuộcX, thì tồn tại hi(x,z,v)thuộcX sao cho
(Fi0(x)−Fi0(z))v=Fi0(z)hi(x,z,v), khi(x,z,v)k ≤K0kx−zkkvk. (3.14) ii) Nếu 1
2 <µ ≤1, thì Fi0 là liên tục Lipschitz
kFi0(x)−Fi0(xe)k ≤Lkx−exk, 1≤i≤N, (3.15)
với mọix,exthuộcB2r(x0).
Giả thiết (3.13) tương đối chặt và yêu cầu cần phải chọn các giá trị ban đầu x0i, i=1,2, . . . ,N, thích hợp. Tuy nhiên, bởi vì các véctơvi trong (3.13) không tham gia vào các quá trình lặp (3.11)-(3.12) nên chúng không cần phải xác định hiển. Mục đích chính của điều kiện nguồn thành phần đảm bảo tính trơn của nghiệm cần tìm.
Chỉ số dừng Nδ trong phương pháp (3.11)-(3.12) là số nguyên dương n nhỏ nhất thỏa mãn điều kiệnη βµ+
1 2 n ≤δ, tức là η βµ+ 1 2 Nδ ≤δ <η βµ+ 1 2 n , 0≤n<Nδ, (3.16) vớiβn =αn/N và η>0là một số cố định.
lý thuyết bởi sự phụ thuộc của nó vào tham số µ, thường không có sẵn trong thực tế. Tuy nhiên, cho tới nay vẫn chưa có quy tắc dừng hậu nghiệm hiệu quả cho phương pháp hiệu chỉnh song song.
Phương pháp song song PIRGNM gồm các bước sau: 1. Khởi tạoxδ
0 và đặt n:=0.
2. Tính toán song song các thành phần thứ i, xδ
n+1,i,1≤ i ≤N theo công thức (3.11).
3. Xác địnhxδ
n+1 theo (3.12).
4. Nếu n>Nδ (trong đó Nδ được xác định bởi (3.16)), thì dừng quá trình lặp, ngược lại đặt n:=n+1 và trở về bước 2.
Định lý 3.6. Giả sử các điều kiện trong Giả thiết 3.3 và Giả thiết 3.4 thỏa mãn và số
bước lặpn∗=Nδ được chọn tiên nghiệm theo công thức (3.16). Khi đó, nếu
N ∑ i=1 kvikvà η đủ bé cònxδ 0 =x0 đủ gầnx†, ta có đánh giá kxδ n∗−x†k=O δ 2µ 2µ+1. (3.17)
Chứng minh. Các kỹ thuật chứng minh được sử dụng trong chương này tương tự [22, 25, 53, 54]. Tuy nhiên để tiện theo dõi, chúng tôi sẽ trình bày một cách đầy đủ kỹ thuật chứng minh cho hệ phương trình (3.2).
Giả thiếtxδ n ∈Br(x†)và ta ký hiệu Ai:=Fi0(x†), Ain :=Fi0(xδ n), en:=xδ n −x† và ein+1:=xδ n+1,i−x†. Từ (3.11) ta nhận được ein+1=en−(A∗inAin+βnI)−1(A∗in(Fi(xδ n)−yδ i ) +βn(xδ n −x0i)), hay ein+1= (Ain∗Ain+βnI)−1[βn(x0i −x†) +A∗in(yδ i −yi)−A∗in(Fi(xδ n)−yi−Ainen)]. (3.18) Tùy thuộc vào giá trị củaµ, ta xét hai trường hợp sau:
Trường hợp 1: Choµ ∈(12,1]. Sử dụng điều kiện nguồn (3.11) và nhận thấy
(A∗iAi+βnI)−1−(A∗inAin+βnI)−1= − (A∗inAin+βnI)−1[(A∗i −A∗in)Ai
khi đó, ta có thể viết lạiein+1 như sau: ein+1=−βn(A∗iAi+βnI)−1(A∗iAi)µvi−
−βn(A∗inAin+βnI)−1[A∗in(Ai−Ain) + (A∗i −A∗in)Ai](A∗iAi+βnI)−1(A∗iAi)µvi
−(A∗inAin+βnI)−1A∗in(Fi(xnδ)−yδi −Ainen) + (A∗inAin+βnI)−1A∗in(yδi −yi). (3.19) Áp dụng các đánh giá của bổ để 3.2 đối vớiAi, Ain ta có
ωni(µ):=βn1−µk(A∗iAi+βnI)−1(Ai∗Ai)µvik ≤µµ(1−µ)(1−µ)kvik ≤ kvik, vớiµ ∈(0,1], k(A∗inAin+βnI)−1k ≤ 1 βn, k(A∗inAin+βnI)−1A∗ink ≤ 1 2β −1 2 n , kAi(A∗iAi+βnI)−1(A∗iAi)12k ≤1 và kAin−Aik=kFi0(xδ n)−Fi0(x†)k ≤Lkenk, kFi(xδn)−yi−AinenkYi =kFi(xδn)−Fi(x†)−Fi0(xδn)enkYi ≤ 1 2Lkenk2. Từ đó ta có k(A∗inAin+βnI)−1A∗in(Fi(xδ n)−yδ i −Ainen)kYi ≤ 1 2β −1 2 n (1 2Lkenk2). (3.20) Hơn nữa, đặt T1:=βnk(A∗inAin+βnI)−1)[A∗in(Ai−Ain) + (Ai∗−A∗in)Ai](A∗iAi+βnI)−1(A∗iAi)µvik, thì ta có đánh giá T1 ≤ βnk(A∗inAin+βnI)−1A∗inkkAi−Ai,nkk(A∗iAi+βnI)−1(A∗iAi)µvik + βnk(A∗inAin+βnI)−1kkA∗i −A∗inkkAi(A∗iAi+βnI)−1(A∗iAi)21)kk(A∗iAi)µ−12vik. Do đó, T1≤Lkenk 1 2β µ−12 n ωni(µ) +k(A∗iAi)µ−12vik . (3.21) Ta dễ nhận thấy βnk(A∗iAi+βnI)−1(Ai∗Ai)µvik=βnµωni(µ). (3.22)
Từ (3.18) - (3.22) ta có