Chương 1 Kiến thức chuẩn bị
2.10 Thời gian thực thi phương pháp PSU
Thời gian thực hiện (giây) 120 180 300
Để tăng tốc độ hội tụ, ta sử dụng một số phương pháp song song như phương pháp song song Jacobi, phương pháp song song Red/Black SOR (RB_SOR) [42, 71, 85]. Phương pháp song song Jacobi và phương pháp song song Red/Black SOR được thử nghiệm bằng ngơn ngữ C và MPI trên bó máy tính 1600 với 5 node tính tốn.
Dưới đây là một số kết quả thử nghiệm cho phương pháp song song Jacobi với bước không gianh=1/240 và phương pháp song song Red/Black SOR với bước không gianh=1/1200.
Bảng 2.11: Tốc độ và hiệu suất trên một node tính tốn
Phương pháp song song Jacobi
Số bộ xử lý 1 2 4 6 8
Thời gian thực hiện (giây) 937 484 232 191 155
Hệ số tăng tốc 1.94 4.0 4.9 6.05
Hiệu suất 0.97 1 0.81 0.75
Để cùng đạt một sai số cho trước, phương pháp song song Jacobi sử dụng ít thời gian hơn so với phương pháp phân rã song song.
Bảng 2.12: Tốc độ và hiệu suất trên một node tính tốn
Phương pháp song song Red/Black SOR
Số bộ xử lý 1 2 4 6 8
Thời gian thực hiện (giây) 275 154 83 64 54
Hệ số tăng tốc 1.79 3.31 4.3 5.1
Hiệu suất 0.9 0.83 0.72 0.64
Số phép lặp tối thiểu, thời gian tính tốn của phương pháp Red/Black SOR (RB_SOR) và Jacobi để đạt cùng một sai số được cho bởi các bảng sau:
Bảng 2.13: Số các phép lặp
N 60 120 180 240 300
RB_SOR 284 565 836 1101 1351
Bảng 2.14: Thời gian thực hiện
N 60 120 180 240 300
RB_SOR (giây) 1 2 7 12 19
Jacobi (giây) 4 45 200 720
Phương pháp Red/Black SOR rõ ràng là phương pháp tốt nhất trong số các phương pháp trên về thời gian thực hiện cũng như số lượng phép lặp.
Bảng dữ liệu 2.9, 2.11, 2.12 chỉ ra rằng hệ số tăng tốc tỷ lệ thuận với số bộ xử lý. Hệ số tăng tốc thực nhỏ hơn so với hệ số lý tưởng do có chi phí truyền thơng giữa các bộ xử lý trên các bó máy tính Linux Cluster 1350 và AIX Cluster 1600. Bên cạnh đó các Bảng dữ liệu này cũng chỉ ra rằng số lượng bộ xử lý cũng tỷ lệ thuận với chi phí truyền thơng và tỷ lệ nghịch với hiệu suất tăng tốc.
KẾT LUẬN CHƯƠNG
Trong chương này chúng tôi áp dụng một số phương pháp chỉnh lặp song song giải hệ tuyến tính q xác định trong trường hợp dữ liệu có nhiễu và áp dụng phương pháp chỉnh lặp hiện song song một bước cho bài tốn khơi phục ảnh. Chúng tôi đề xuất phương pháp cải tiến bằng cách kết hợp phương pháp chỉnh lặp song song với phép biến đổi nhanh Fourier. Thực nghiệm chỉ ra rằng trong một số trường hợp phương pháp chỉnh lặp ẩn song song cho kết quả tốt hơn phương pháp chỉnh lặp hiện song song, tuy nhiên, nó cũng địi hỏi nhiều thời gian hơn. Kết quả lý thuyết và thực nghiệm cũng chỉ ra hiệu quả của phương pháp cải tiến so với phương pháp chỉnh lặp một bước khi áp dụng cho bài tốn khơi phục ảnh.
Cuối chương, chúng tơi đề xuất một phương pháp song song tồn phần giải hệ đại số thu được khi rời rạc hóa một lớp phương trình đạo hàm riêng đại số. Một thử nghiệm số được thực hiện để minh họa kết quả lý thuyết.
Trong chương tiếp theo, ta nghiên cứu phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình tốn tử phi tuyến và ứng dụng. Phương pháp song song được trình bày trong chương tiếp theo có thể được sử dụng để giải quyết các bài tốn tuyến tính trong chương 2 và mối liên hệ giữa phương pháp này với
Chương 3
Phương pháp chỉnh lặp
Gauss-Newton song song giải hệ phương trình tốn tử phi tuyến và ứng dụng
Trong chương này, chúng tôi đề xuất một phiên bản song song cho phương pháp chỉnh lặp Gauss-Newton để giải một hệ phương trình tốn tử đặt khơng chỉnh
Fi(x) =yi, 1≤i≤N, (3.1)
trong đóFi :X →Yi, 1≤i≤N, là các tốn tử phi tuyến từ khơng gian Hilbert X vào không gian HilbertYi.
Ý tưởng chính của phương pháp là sự kết hợp giữa các kỹ thuật chỉnh hóa, phân rã song song và lặp Gauss-Newton.
Trong tồn bộ chương này, chúng tơi giả thiết hệ (3.1) có nghiệm, tức là S:={z∈X :Fi(z) =0,i=1,N} 6= /0.
Với một số giả thiết nhất định, chúng tôi sẽ đánh giá được tốc độ hội tụ của phương pháp. Ngoài ra, các thử nghiệm số chỉ ra hiệu quả của phương pháp chỉnh hóa Gauss-Newton song song trong việc giải hệ phương trình phi tuyến
dưới xác định.
Chương này được chia thành ba phần chính. Phần một nhắc lại một số kết quả đã biết về phương pháp Gauss-Newton và trình bày phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình. Phần hai dành cho chứng minh sự hội tụ của phương pháp. Phần cuối là một số kết quả tính tốn thử nghiệm và so sánh giữa phương pháp chỉnh lặp Gauss-Newton song song (PIRGNM) với phương pháp chỉnh lặp Gauss-Newton tuần tự (IRGNM).
Các kết quả trong chương này được công bố trong [4], (xem Danh mục các cơng trình khoa học của tác giả liên quan đến luận án).
3.1 Phương pháp chỉnh lặp Gauss-Newton và phươngpháp chỉnh lặp Gauss -Newton song song pháp chỉnh lặp Gauss -Newton song song
Nhiều bài toán xác định tham số dẫn đến hệ phương trình tốn tử:
Fi(x) =yi, 1≤i≤N, (3.2) trong đó Fi, 1≤ i ≤N, là các tốn tử phi tuyến từ khơng gian Hilbert X của tham số cần xác định x vào không gian HilbertYi của các đại lượng quan sát yi, i=1, . . . ,N. Trong trường hợp dữ liệu có sai số yδ
i với kyδ
i −ykYi ≤δ, ta có hệ chịu nhiễu
Fi(x) =yδ
i , 1≤i≤N. (3.3)
Dễ thấy hệ (3.2) và (3.3) có thể viết lại dưới dạng phương trình tốn tử trong khơng gian tích F(x) =y, (3.4) và F(x) =yδ, (3.5) trong đó F :X →Y =Y1×Y2×...×YN, F(x) = (F1(x), ...,FN(x)), và y= (y1, ...,yN), yδ = (yδ 1, ...,yδN).
Cho u= (u1, ...,uN)∈Y và v= (v1, ...,vN)∈Y. Khi đó tích vơ hướng và chuẩn trongY được định nghĩa như sau:
hu,viY = N ∑ i=1 hui,viiYi còn kukY = ( N ∑ i=1 kuik2Y i)12.
Một trong các phương pháp hiệu chỉnh giải hiệu quả bài tốn đặt khơng chỉnh phi tuyến là phương pháp chỉnh lặp Gauss-Newton (IRGNM), được Bakushin- skii đề xuất năm 1992 trong [16]
xδn+1=xδn−(F0(xδ n)∗F0(xδ n) +αnI−1 F0(xδ n)∗(F(xδ n)−yδ) +αn(xδ n−x0). (3.6) Chúng ta giả thiết rằng:
Giả thiết 3.1. Hệ (3.4) có một nghiệm đúng x† ∈ Br(x0) với Br(x0) = {x ∈ X :
kx−x0k ≤r} và F có các đạo hàm liên tục trong hình cầu B2r(x0) với r>0 đủ lớn.
Giả thiết 3.2. Điều kiện nguồn sau đây [25, 70] thỏa mãn
x†−x0= (F(x†)∗F(x†))µv, (3.7) với0<µ ≤1vàv∈X.
Hơn nữa, giả sử: i. Nếu 0<µ ≤ 1
2, thì đạo hàm FréchetF0 thỏa mãn các điều kiện sau 1. F0(x) =e R(ex,x)F0(x) +Q(ex,x),
2. kI−R(ex,x)k ≤cR,
3. kQ(ex,x)k ≤cQkF0(x†)(ex−x)k,
với mọiex,xthuộcB2r(x0), trong đócR vàcQ là các hằng số dương. ii. Nếu 1
2 <µ ≤1, thì Fi0 là liên tục Lipschitz
kFi0(x)−Fi0(x)k ≤e Lkx−xk,e 1≤i≤N, (3.8) với mọix,exthuộcB2r(x0).
iii. Các tham số αn được chọn sao cho:
αn >0,αn→0 và 1≤ αn
Nếu Giả thiết 3.1 và 3.2 thỏa mãn thì với chỉ số dừngN∗ được chọn là số nguyên dươngnnhỏ nhất thỏa mãn điều kiện η αµ+
1 2 n ≤δ, nghĩa là η αµ+ 1 2 N∗ ≤δ <η αµ+ 1 2 n , 0≤n<N∗. (3.9)
Ta thu được kết quả sau về tốc độ hội tụ của phương pháp IRGNM [22, 54]:
kxδ N∗−x†k= o(1), µ =0, O(δ 2µ 2µ+1), 0<µ ≤1.
Trong trường hợp dữ liệu chính xác(δ =0,η =0)ta nhận được
kxN−x†k= o(αNµ), 0≤µ <1, O(αN), µ =1.
Như chúng ta đã biết, tốc độ hội tụ của nghiệm hiệu chỉnhxδ
n vềx† trong trường hợp tổng quát có thể chậm tùy ý. Để đánh giá được tốc độ hội tụxδ
n →x† ta cần một số điều kiện bổ sung. Một dạng điều kiện (3.11) được thiết lập dựa trên tính trơn của nghiệm gọi là điều kiện "nguồn". Nhiều tác giả như Hohage [52], Deuflhard [36], Jin Quinia [53] và các nhà toán học khác [41,76] đã nghiên cứu về sự hội tụ của phương pháp IRGNM dựa trên điều kiện nguồn.
Gần đây phương pháp IRGN-Kaczmarz được Burger và Kaltenbacher đề xuất [25]. Ý tưởng chính của phương pháp này là phân rã bài tốn khơng chỉnh ban đầu thành một số hữu hạn các bài toán con, và thực hiện giải xoay vịng các bài tốn con này bằng phương pháp chỉnh lặp Gauss-Newton. Như vậy, thay vì giải một bài tốn lớn trên mỗi bước lặp, ta giải một số bài toán nhỏ hơn và điều này làm đơn giản hóa q trình tính tốn. Ngồi ra các điều kiện đặt lên tốn tử phi tuyến có thể được giảm nhẹ. Tuy vậy, khi số lượng các phương trình lớn, phương pháp kiểu Kaczmarz tỏ ra khơng hiệu quả trên siêu máy tính vì tại mỗi thời điểm chỉ sử dụng một bộ xử lý. Cùng với những thành tựu gần đây trong việc thiết kế phần cứng máy tính, các nhà khoa học có thể dễ dàng tiếp cận các cụm tính tốn hiệu năng cao, hoặc tối thiểu với các máy tính cá nhân với các bộ xử lý đa lõi. Do đó, việc xây dựng các phương pháp song song hiệu quả để giải hệ phương trình phi tuyến được các nhà khoa học và công nghệ đặc biệt quan tâm. Theo xu hướng phát triển trên, một số phương pháp song song giải bài tốn
Trong chương này chúng tôi đề xuất một phiên bản song song của phương pháp chỉnh lặp Gauss-Newton (IRGNM) cho hệ các phương trình tốn tử đặt khơng chỉnh (3.2).
Sau đây ta ln giả thiết rằng:
Hệ (3.2) có nghiệm x† không phụ thuộc liên tục vào vế phải y. Khi đó bài tốn (3.2) nói chung đặt khơng chỉnh. Các toán tửFi, 1≤i≤N, khả vi liên tục theo Fréchet trong một tập mở chứax† vàx0 là một xấp xỉ ban đầu củax†.
Gọi xδ
n là nghiệm xấp xỉ thứ n của x†. Theo phương pháp chỉnh lặp Gauss- Newton (IRGNM), với mỗi n cố định ta tuyến tính hóa phiếm hàm làm trơn Tikhonov Jδ n :=kF(x)−yδkY2+αnkx−x0k2 = N ∑ i=1 kFi(x)−yδ i k2Y i+αnkx−x0k2 trong lân cậnxδ
n và xét bài tốn tối ưu khơng ràng buộc, trong đó Fi0(xδ
n)là đạo hàm theo nghĩa Fréchet củaFi(x)tại điểm xδ
n Φδn(∆x):= N ∑ i=1 kFi(xδ n)−yδi +Fi0(xδ n)∆xkY2 i+ N ∑ i=1 kxδ n −x0+∆xk2→ min ∆x∈X. Tìm∆xtừ phương trình ∂Φδn ∂(∆x) =0và xác định xấp xỉ tiếp theoxδ n+1 =xδ n+∆xhay xδ n+1=xδ n− N ∑ i=1 Fi0(xδ n)∗Fi0(xδ n) +αnI−1 N ∑ i=1 Fi0(xδ n)∗(Fi(xδ n)−yδ i ) +αn(xδ n −x0). (3.10) Tuy nhiên, trong một số trường hợp tính tốn sẽ hiệu quả hơn nhiều khi ta áp dụng IRGNM một cách đồng bộ cho các bài toán con (3.3).
xδn+1,i=xδn−(Fi0(xδ n)∗Fi0(xδ n) +βnI)−1 Fi0(xδ n)∗(Fi(xδ n)−yδi ) +βn(xδ n −x0i), (3.11) i=1, . . . ,N, vớiβn:=αn/N và định nghĩa xấp xỉ tiếp theo bằng trung bình cộng của các xấp xỉ trung gianxδ
n+1,i xδ n+1= 1 N N ∑ i=1 xδ n+1,i. (3.12) Rõ ràng, (3.11) bao gồm đúng một bước lặp IRGNM áp dụng cho mỗi bài toán con (3.3). Tuy vậy, sự hội tụ của của phương pháp PIRGNM (3.11)-(3.12) không suy ra được từ sự hội tụ của phương pháp tuần tự IRGNM (3.10).
Điểm khác biệt giữa phương pháp tuần tự IRGNM (3.10) và phương pháp PIRGNM (3.11) - (3.12) chính là, việc tính tốn các bước trung gian xδ
n+1,i là hoàn toàn độc lập và có thể được tính tốn một cách đồng thời trênN bộ xử lý. Ngồi ra, việc tính tốn ma trận(Fi0(xδ
n)∗Fi0(xδ
n) +βnI)−1 đơi khi dễ dàng hơn rất nhiều so với tính tốn ma trận ∑N
i=1
Fi0(xδ
n)∗Fi0(xδ
n) +αnI−1. Phần tiếp theo ta xét điều kiện dừng và sự hội tụ của phương pháp PIRGNM.
3.2 Sự hội tụ của phương pháp chỉnh lặp Gauss-Newton song song Newton song song
Trong toàn bộ phần này, ta đặt M+:= 1−b+p(1−b)2−4ac
2c , M−:=
1−b−p(1−b)2−4ac
2c .
Để chứng minh sự hội tụ của phương pháp PIRGNM ta cần đến một số kết quả bổ trợ. Chúng ta bắt đầu bằng một kết quả sau. Bổ đề này là một trường hợp riêng của Bổ để 2.4 [22].
Bổ đề 3.1. Cho{γn}là một dãy các số không âm thỏa mãn
γn+1≤a+bγn+cγn2,
vớin≥0, a,b,c>0.
Nếub+2√
ac<1vàγ0≤M+, thì ta có γn ≤l :=max{γ0,M−}với mọi n≥0.
Chứng minh. Ta chứng minh theo phương pháp quy nạp. Dễ thấy,γ0 ≤l. Giả thiết γk ≤l,ta có
γk+1−l≤a+bγk+cγk2−l ≤a+ (b−1)l+cl2 ≤0,
vìl∈[M−,M+]. Từ đây, ta suy ra γk+1 ≤l.
Bằng quy nạp, ta đã chứng minh được rằngγn ≤l vớin≥0.
Bổ đề 3.2. ChoAlà một tốn tử tuyến tính liên tục, bị chặn trong một khơng gian Hilbert
H. Khi đó, với mọiβ >0, ta có các đánh giá sau [54]:
ii) ||(A∗A+βI)−1|| ≤ 1 β. iii) ||(A∗A+βI)−1A∗|| ≤ 1 2β− 1 2. iv) ||A(A∗A+βI)−1(A∗A)12|| ≤1.
Các tham số αn được chọn sao cho: αn>0,αn→0 và 1≤ αn
αn+1 ≤ρ với ρ>1.
Trước khi bắt đầu định lý hội tụ, ta sử dụng một số giả thiết sau:
Giả thiết 3.3. Hệ (3.2) có một nghiệm chính xácx†∈Br(x0)vàFi, i=1,2, . . . ,N,
có các đạo hàm Fréchet liên tục trong hình cầuB2r(x0).
Giả thiết 3.4. Điều kiện nguồn thành phần [25] thỏa mãn
x†−x0i = (Fi0(x†)∗Fi0(x†))µvi, (3.13)
với0<µ ≤1vàvi∈X, 1≤i≤N. Hơn nữa, giả thiết rằng
i) Nếu0<µ ≤ 12, thìFi, i=1,2, . . . ,N, thỏa mãn điều kiện sau [15, 53], với mọi
{x,z}thuộcB2r(x0)và với mọivthuộcX, thì tồn tại hi(x,z,v)thuộcX sao cho
(Fi0(x)−Fi0(z))v=Fi0(z)hi(x,z,v), khi(x,z,v)k ≤K0kx−zkkvk. (3.14) ii) Nếu 1
2 <µ ≤1, thì Fi0 là liên tục Lipschitz
kFi0(x)−Fi0(x)k ≤e Lkx−exk, 1≤i≤N, (3.15) với mọix,exthuộcB2r(x0).
Giả thiết (3.13) tương đối chặt và yêu cầu cần phải chọn các giá trị ban đầu x0i, i=1,2, . . . ,N, thích hợp. Tuy nhiên, bởi vì các véctơvi trong (3.13) khơng tham gia vào các q trình lặp (3.11)-(3.12) nên chúng khơng cần phải xác định hiển. Mục đích chính của điều kiện nguồn thành phần đảm bảo tính trơn của nghiệm cần tìm.
Chỉ số dừng Nδ trong phương pháp (3.11)-(3.12) là số nguyên dương n nhỏ nhất thỏa mãn điều kiệnη βµ+
1 2 n ≤δ, tức là η βµ+ 1 2 Nδ ≤δ <η βµ+ 1 2 n , 0≤n<Nδ, (3.16) vớiβn =αn/N và η>0là một số cố định.
lý thuyết bởi sự phụ thuộc của nó vào tham số µ, thường khơng có sẵn trong thực tế. Tuy nhiên, cho tới nay vẫn chưa có quy tắc dừng hậu nghiệm hiệu quả cho phương pháp hiệu chỉnh song song.
Phương pháp song song PIRGNM gồm các bước sau: 1. Khởi tạoxδ
0 và đặt n:=0.
2. Tính tốn song song các thành phần thứ i, xδ
n+1,i,1≤ i ≤N theo cơng thức (3.11).
3. Xác địnhxδ
n+1 theo (3.12).
4. Nếu n>Nδ (trong đó Nδ được xác định bởi (3.16)), thì dừng quá trình lặp, ngược lại đặt n:=n+1 và trở về bước 2.
Định lý 3.6. Giả sử các điều kiện trong Giả thiết 3.3 và Giả thiết 3.4 thỏa mãn và số
bước lặpn∗=Nδ được chọn tiên nghiệm theo cơng thức (3.16). Khi đó, nếu
N ∑ i=1 kvikvà