Chương 1 Kiến thức chuẩn bị
1.2. Bài tốn kích thước lớn, điều kiện xấu và bài tốn đặt khơng chỉnh
tốn đặt khơng chỉnh
1.2.1 Bài tốn kích thước lớn
Nhiều bài tốn của khoa học, cơng nghệ, kinh tế, sinh thái, vv... đưa về hệ phương trình vi phân thường, phương trình đạo hàm riêng và phương trình tích phân. Bằng phương pháp rời rạc hóa, trong đó tích phân được thay bởi các tổng hữu hạn nhờ cơng thức cầu phương, tốn tử vi phân được thay bằng các toán tử sai phân, chúng ta quy bài tốn giải phương trình trong khơng gian hàm về giải hệ phương trình đại số tuyến tính hoặc phi tuyến. Kích thước của các hệ phương trình này thường rất lớn do ta sử dụng các bước lưới nhỏ để tăng độ chính xác của các cơng thức cầu phương hoặc của các lược đồ sai phân. Sau đây là một số ví dụ cụ thể.
Ảnh ba chiều xuất hiện trong một số ứng dụng của khoa học và công nghệ, như sử dụng kính hiển vi tiêu cự chập (confocal microscopy), xử lý ảnh y-sinh học (biomedical imaging), vv... Hiện tượng một ảnh bị mờ trong quá trình xử lý được mơ tả bởi phương trình tích chập:
Z
R3
h(ξ−ξ0,η−η0,γ−γ0)f(ξ0,η0,γ0)dξ0dη0dγ0=g(ξ,η,γ), (1.1) trong đó f biểu diễn ảnh rõ, còn gbiểu diễn ảnh bị làm mờ. Nhân hlà một hàm trơn, được gọi là hàm trải điểm (point-spread funtion). Bài tốn tìm hàm f biết hvà g bằng cách giải phương trình tích chập (1.1) là bài tốn đặt khơng chỉnh, vì nghiệm f nếu tồn tại cũng khơng phụ thuộc liên tục vào dữ liệu g.
Giả sử các hàm f,g triệt tiêu ngồi hình hộp đơn vị Ω⊂R3. Sử dụng lưới đều với bước1/m để rời rạc hóa phương trình (1.1) ta thu được hệ phương trình sau:
Ax=b, A∈Rm3×m3, x,b∈Rm3, (1.2)
trong đó các véctơ x và b là rời rạc hóa của các hàm f và g tương ứng và chứa cấp độ xám của các điểm ảnh được xếp theo thứ tự từ điển. Ma trận Alà rời rạc hóa của tốn tử tích phân trong (1.1), xác định bởi hàm trải điểmhvà cơng thức cầu phương để tính gần đúng tích phân. Ma trận A có nhiều giá trị kỳ dị gần khơng với những thang bậc khác nhau, bởi vậy nó quá điều kiện xấu (severely ill-conditioned) và có thể suy biến. Mặt khác trong thực tế, vế phảib chỉ được cho với sai số, tức là thay vì chobta chỉ biết véctơb˜ :=b+d, trong đódlà véctơ nhiễu với các thành phần chứa sai số đo đạc và sai số truyền ảnh.
Hệ (1.2) thơng thường là một hệ kích thước rất lớn. Ví dụ với ảnh xám 3 chiều cóm=100, cịn cấp độ xám của ảnh là một số nguyên nằm trong khoảng
[0,255] thì ma trận của hệ (1.2) đã có kích thước106×106.
Ví dụ 2.Giải gần đúng hệ phương trình tích phân bằng phương pháp trùng khớp. Xét hệ phương trình tích phân loại 1
b
Z
a
Ki(t,s)x(s)ds= fi(t) i=1,2, . . . ,N, (1.3)
trong đóKi(t,s)và fi(t)tương ứng là các nhân và hàm liên tục cho trước. Xét công thức cầu phương
b R a h(t)dt= M ∑ l=0 γlh(tl) +r,trong đóa≤t0<t1< . . . < tM ≤blà các điểm lưới,γ0, . . . ,γM là các trọng số và rlà sai số của công thức cầu phương. Đặtxil:=xi(tl), fij:= fi(tj),áp dụng phương pháp trùng khớp (collocation
method) cho hệ (1.3) và sử dụng cơng thức cầu phương nói trên chúng ta nhận được hệN(M+1)phương trình tuyến tính với M+1ẩn.
M
∑
l=0
γlKi(tj,tl)xil = fij j =0,1, . . . ,M,i=1,2, . . . ,N, (1.4) NếuM lớn thì hệ phương trình (1.4) thu được có kích thước lớn và q xác định.
Ví dụ 3. Bài tốn biên cho phương trình vi phân thường và phương trình đạo hàm riêng.
Để đơn giản chúng ta xét bài toán biên hai điểm cho phương trình vi phân thường
f(t,x,x0,x00) =0, t0<t <T, g(x(t0),x0(t0)) =0, h(x(T),x0(T)) =0.
Thay đạo hàm cấp 1 và cấp 2 bằng các tỷ sai phân tương ứng, ta đưa bài toán biên hai điểm trên về hệ 3 đường chéo các phương trình phi tuyến có dạng
F1(x1,x2) =y1, Fi(xi−1,xi,xi+1) =yi, i=2, . . . ,N−1 FN(xN−1,xN) =yN. (1.5) Hệ (1.5) là thưa và kích thước lớn.
Tương tự như vậy, việc giải bài toán biên hai điểm bằng phương pháp bắn bội (multiple shooting method) dẫn đến hệ phương trình phi tuyến kích thước lớn. Vấn đề này sẽ được trình bày kĩ hơn khi đề cập đến bài toán điều kiện xấu. Trong mục 2.4 chúng ta sẽ đưa bài tốn biên cho phương trình đạo hàm riêng- đại số tuyến tính về hai hệ phương trình kích thước lớn.
Ví dụ 4.Mơ hình thương mại quốc tế [57]
Giả sử có mnướcCi, i=1, . . . ,mbn bán với nhau. Mỗi nướcCi sản xuất ni mặt hàng quốc nội trong nhóm hàng Gi chỉ để tiêu thụ trong nước. Ngồi ra cón0 mặt hàng quốc tế trong nhóm hàngG0được các nước cùng sản xuất và tiêu thụ. Gọi n= ∑mi=0ni là số hàng hóa tiêu thụ trên thị trường nội địa và quốc tế. Mỗi nước đều có nhu cầu sản xuất và tiêu thụ cho các mặt hàng quốc nội, quốc tế của mình. Nhu cầu của thị trường đối với các mặt hàng quốc nội trong nhóm Gi bằng tổng các nhu cầu trong mỗi nướcCi, còn nhu cầu đối với hàng quốc tế
hàng. Khi đó ta sẽ biểu diễn véctơ giáx= (x0,x1, . . . ,xm),vớixi∈Rni
+ là các véctơ giá của các mặt hàng trong nhómGi.
ĐặtF:Rn+\{0} →Rnlà tồn thể lượng cầu vượt cung, thìF(.) = (F0(.), . . . ,Fm(.))
cịn Fi(x) =Fi(x0,xi), i=1, . . . ,m là toàn thể lượng cầu vượt cung của nước Ci đối với véctơ giá x. Lưu ý rằng F0(x) =F0(x0, . . . ,xm) vì nhóm hàng quốc tế G0 bao gồm tất cả hàng quốc tế của các nước.
Bài tốn cân bằng là tìm véctơ giá x∗= (x∗0, . . . ,x∗m)∈Rn để thị trường sạch, nghĩa làF(x∗) =0.
Như vậy ta thu được hệ phương trình phi tuyến kích thước lớn F0(x0, . . . ,xm) =0, Fi(x0,xi) =0, i=1, . . . ,m. (1.6)
1.2.2 Bài tốn đặt khơng chỉnh và bài toán điều kiện xấu
Từ giữa thế kỷ 20 đến nay, các thuật ngữ "bài tốn đặt khơng chỉnh" và "bài toán điều kiện xấu" đã trở nên quen thuộc và được thường xuyên nhắc đến trong nhiều lĩnh vực của khoa học, công nghệ và kinh tế. Nhiều bài tốn khơng chỉnh có nguồn gốc vật lý (cơ học lượng tử, âm học, vật lý thiên văn, điện động học, vv...), địa vật lý (thăm dò địa chấn, thăm dò trọng lực, dò siêu âm, vv..) y học (chụp quang phổ, chụp cắt lớp máy tính, vv...), sinh thái học (quản lý chất lượng khơng khí và nước, giám sát khơng gian, vv...), kinh tế (tốn tài chính, điều khiển tối ưu, vv...), vv... đã được tập trung nghiên cứu. Ngay trong toán học, một số vấn đề của đại số tính tốn, phương trình vi phân thường, phương trình đạo hàm riêng, phương trình tích phân, giải tích hàm, vv... cũng dẫn đến những bài tốn đặt khơng chỉnh. Đặc điểm của những bài tốn này là lời giải có thể khơng tồn tại hoặc khơng duy nhất, hoặc lời giải không phụ thuộc liên tục vào dữ liệu của bài toán. Những bài tốn đặt khơng chỉnh như vậy rất khó giải trong thực tế vì những sai số nhỏ của dữ liệu và sai số trong q trình tính tốn trên máy tính (sai số làm trịn, sai số tính tốn với dấu phẩy động, vv...) dẫn đến những sai số lớn của nghiệm gần đúng, khiến nó khác xa nghiệm đúng.
Xét phương trình tốn tử
trong đó F là ánh xạ từ khơng gian metric (X,d) vào khơng gian metric (Y,ρ), cịny∈Y là dữ liệu đã cho.
Bài toán (1.7) được gọi là đặt chỉnh theo nghĩa J. Hadamard [90], nếu nó giải được duy nhất với mọi vế phảiyvà nghiệm phụ thuộc liên tục vàoy.
Bài toán (1.7) gọi là đặt khơng chỉnh, nếu nó khơng phải là bài tốn đặt chỉnh, tức là nó có thể vơ nghiệm hoặc vơ định và nghiệm có thể khơng phụ thuộc liên tục vào dữ liệu y. Để giải số bài tốn đặt khơng chỉnh một cách ổn định, người ta phải sử dụng q trình chỉnh hóa, hay hiệu chỉnh bài toán, tức là thay bài tốn đặt khơng chỉnh bằng một họ bài toán đặt chỉnh phụ thuộc vào tham số, sao cho nghiệm của những bài toán đặt chỉnh hội tụ đến nghiệm của bài tốn đặt khơng chỉnh, khi tham số hiệu chỉnh dần tới không.
Một số kết quả về phương pháp hiệu chỉnh bài toán đặt khơng chỉnh sẽ được trình bày ở mục 1.2.3.
Xét hệ phương trình tuyến tính
Ax=y, (1.8)
trong đó A là ma trận cấp m×n, x và y là các véctơ n và m chiều tương ứng. Giả sử hạng của ma trận A, rankA = min(m,n). Nếu m<n phương trình (1.8) có vơ số nghiệm cịn nếu m>n phương trình này có thể vơ nghiệm. Khi m=n phương trình (1.8) giải được với mọi vế phải nếu detA6=0. Trong trường hợp
này tồn tại toán tử (ma trận) ngược A−1 và nó bị chặn do khơng gian đang xét hữu hạn chiều. Như vậy trong trường hợp m=n bài tốn (1.8) có thể đặt chỉnh theo nghĩa Hadamard. Bây giờ ta sẽ phân tích sự phụ thuộc của nghiệm vào vế phải phương trình (1.8) trong trường hợp ma trậnAkhơng suy biến.
Trừ từng vế của phương trình bị nhiễu động
A(x+δx) =y+δy (1.9)
với phương trình (1.8) ta được Aδx = δy, từ đó suy ra δx= A−1δy và do đó
kδxk ≤ kA−1kkδyk. Mặt khác,kyk=kAxk ≤ kAkkxk.
Từ đây ta nhận được ước lượng tốt nhất cho sai số tương đối của nghiệm
kδxk
kxk ≤ kAkkA
−1kkδyk
kyk . (1.10)
Nếu ma trậnAsuy biến, hoặcm6=nta có thể định nghĩa cond(A):=kAkkA†k,
trong đóA† là nghịch đảo suy rộng theo nghĩa Moore-Penrose của A. Hệ (1.8) (hay ma trận A) được gọi là điều kiện xấu nếu cond(A)1.
Trong trường hợp ma trậnAchịu nhiễu δA, ta có đánh giá sai số sau
kδxk
kxk ≤
cond(A)kδAk/kAk
1−cond(A)kδAk/kAk, (1.11) với điều kiệnkA−1kkδAk<1.
Như vậy nếu hệ (1.8) là điều kiện xấu thì mặc dù trên lý thuyết nó vẫn đặt chỉnh theo nghĩa Hadamard, song một sai số nhỏ của vế phải hoặc/và của ma trận hệ số có thể gây nên sai số rất lớn ở nghiệm. Người ta nói những bài tốn này là "thực tế đặt không chỉnh" (practically ill-posed) và các phương pháp hiệu chỉnh cũng được sử dụng để giải những bài toán điều kiện xấu.
P. Deuflhard [35] gọi hệ phương trình phi tuyến là điều kiện xấu, nếu ma trận Jacobi của vế phải "gần suy biến" tại một số bước lặp nào đó. Ta sẽ trình bày rõ hơn về vấn đề này cho bài toán biên hai điểm
x0= f(x,t), t ∈[a,b], x:[a,b]→Rn, r(x(a),x(b)) =0. (1.12)
Bài toán (1.12) được giải bằng phương pháp bắn bội, tức là xét m−1 bài toán giá trị ban đầu
x0= f(x,t), t ∈[ti,ti+1], i=1, . . . ,m−1,
x(ti,ti,si) =si,
(1.13)
trong đó phân hoạcha=t1< . . . <tm =bđã cho và ta cần tìm véctơ bắnn(m−1)
chiềusT = (sT1, . . . ,sTm)thỏa mãn các điều kiện:
1. Điều kiện liên tục (m>2), tức là Fi(si,si+1):=x(ti+1,ti,si)−si+1 =0,
i=1, . . . ,m−1,
2. Điều kiện biên Fm−1(s1,sm−1):=r(s1,x(tm,tm−1,sm−1)) =0.
Bây giờ ta sẽ dùng phương pháp Newton để giải hệ phương trình phi tuyến kích thước lớn thu được. Gọi∆s(k) là lượng hiệu chỉnh theo phương pháp Newton tại
bước lặp thứs(k). Khi đó ta sẽ tìm s(k+1)theo sơ đồ cải biên sau:
s(k+1)=s(k)+λk∆s(k), 0<λk≤1. (1.14)
Tham sốλk chọn sao cho
T(s(k+1))<T(s(k)),
trong đóT(s):=∑m−1i=1 kFi(s)k2.
Trong nhiều bài tốn ứng dụng, do ma trận Jacobian suy biến hoặc điều kiện xấu tại một số bước lặp nên ta phải chọn bướcλk rất nhỏ. Điều này làm tăng thời gian tính tốn, thậm chí làm thuật tốn khơng hội tụ. Vì vậy ta cần nghiên cứu các thuật tốn Newton hiệu chỉnh cho hệ phương trình phi tuyến thu được.
1.2.3 Một số phương pháp hiệu chỉnh
i. Phương pháp hiệu chỉnh Tikhonov trong không gian Hilbert
Giả sử X và Y là các khơng gian Hilbert và tốn tử F trong phương trình (1.7) xác định trên tồn khơng gian X. Ta thay bài tốn đặt khơng chỉnh (1.7) bằng một họ bài tốn tìm cực tiểu phiếm hàm làm trơn Tikhonov
Tα,δ(x):=kF(x)−yδk2+αkx−x0k2−→minx∈X, (1.15) trong đó α >0 là tham số hiệu chỉnh, x0 ∈X là phần tử cho trước cố định, cịn yδ là dữ liệu có nhiễu của vế phải (1.7), sao cho ky−yδk ≤δ.
Liên quan đến bài toán cực tiểu hóa (1.15), người ta quan tâm đến 5 tính chất quan trọng sau đây:
1. Tồn tại:Với mỗi tham sốα >0cố định và mọiyδ ∈Y tồn tại duy nhất điểm
cực tiểuxα,δ của phiếm hàm Tikhonov Tα,δ(x).
2. Ổn định: Với mỗi α >0cố định, nghiệm hiệu chỉnh xα,δ phụ thuộc liên tục
vàoyδ.
3. Hội tụ:Có thể chọn tham số hiệu chỉnh α =α(δ)phụ thuộc vào mức sai số
δ sao cho nghiệm hiệu chỉnhxα,δ hội tụ về một nghiệm nào đó của (1.7) khi δ dần tới khơng (với giả thiết phương trình (1.7) có nghiệm).
5. Ước lượng ổn định: Đánh giá khoảng cách giữa xα,δ và xα- là điểm cực tiểu của phiếm hàm (1.15), trong đóyδ được thay bởiy.
Hai tính chất 1 và 2 liên quan đến tính đặt chỉnh của bài tốn biến phân (1.15). Tính chất 3 liên quan đến sự hội tụ của nghiệm bài toán đặt chỉnh tới nghiệm của bài tốn đặt khơng chỉnh. Đánh giá tốc độ hội tụ của nghiệm hiệu chỉnh là nội dung của Tính chất 4. Tính chất 5 được sử dụng để thiết lập các tính chất 3 và 4.
Các điều kiện đảm bảo cho 5 tính chất nêu trên được thỏa mãn có thể tìm trong [77].
Giả sử toán tửF khả vi theo Frechet và ký hiệuF0(x)là đạo hàm Frechet của nó. Khi đó dễ thấyxα,δ là nghiệm của phương trình chuẩn hóa (normal equation) F0(x)∗[F(x)−yδ] +α(x−x0) =0. (1.16) Ngồi ra nghiệm hiệu chỉnh xα,δ có thể tính gần đúng bằng phép lặp Gauss- Newton áp dụng cho (1.16)
xk+1 =xk− F0(xk)∗F0(xk) +αI−1F0(xk)∗[F(xk)−yδ] +α(xk−x0) .
Hơn nữa, tham số hiệu chỉnhα có thể thay đổi theo bước lặpα =αk→0(k→∞).
Khi đó ta thu được phép chỉnh lặp Gauss-Newton xδ k+1=xδ k − F0(xδ k)∗F0(xδ k) +αkI−1F0(xδ k)∗[F(xδ k)−yδ] +αk(xδ k −x0) , mà sự hội tụ của nó và của các phương án song song sẽ được trình bày kỹ trong Chương 3 của luận án.
ii. Phương pháp hiệu chỉnh Lavrentiev
Giả sử toán tử F trong phương trình (1.7) xác định trên tồn khơng gian HilbertX, ngồi ra giả sửY =X. Tốn tửF được gọi là đơn điệu nếu
hF(x1)−F(x2),x1−x2i ≥0,∀x1,x2∈X. (1.17)
Trong trường hợp này, ta sử dụng phương pháp hiệu chỉnh Lavrentiev, hay còn gọi là phương pháp nhiễu kỳ dị (singular pertubation method), tức là thay phương trình (1.7) bằng phương trình
Tautenhahn [79] đã chứng minh rằng nếu bài tốn (1.7) có nghiệmx† cịnF:X→
X là đơn điệu và khả vi trong hình cầu tâm x† với bán kính r=kx0−x†k+δ/α thì phương trình hiệu chỉnh (1.18) có nghiệm duy nhất trong hình cầu nói trên.
Nghiệm của phương trình (1.18) có thể tìm gần đúng bằng phương pháp Newton
xk+1=xk− F0(xk) +αI−1[F(xk)−yδ] +α(xk−x0)
và tham số α có thể chọn phụ thuộc vào k như trong phương pháp chỉnh lặp Gauss-Newton.
1.2.4 Quy trình giải một bài tốn kích thước lớn và điều kiệnxấu trên bó máy tính xấu trên bó máy tính
Để giải một bài tốn kích thước lớn và điều kiện xấu trên bó máy tính cần qua các bước sau:
Bước 1: Đề xuất phương pháp song song phù hợp để giải bài tốn kích thước lớn và điều kiện xấu. Chứng minh sự hội tụ của phương pháp và đánh giá sai số. Cần chú ý đến đặc điểm dung lượng bộ nhớ trong trên mỗi node cũng như khả năng tính tốn trên mỗi bộ xử lý của bó máy tính là hạn chế. Bài tốn kích thước lớn và điều kiện xấu có khối lượng tính tốn lớn và địi hỏi bộ nhớ lưu trữ rất lớn. Ngoài ra, việc xử lý hệ điều kiện xấu bằng phương pháp hiệu chỉnh dẫn đến phải giải một họ các bài toán đặt chỉnh, điều này dẫn đến khối lượng tính tốn khổng lồ.
Bước 2: Cài đặt, thử nghiệm các phương pháp song song đề xuất với các ví dụ số trên bó máy tính.
Nhằm thử nghiệm các phương pháp song song trên bó máy tính, ta sử dụng ngơn ngữ lập trình C kết hợp với thư viên truyền thông điệp MPI để cài đặt các thuật