Bài viết trình bày một cách có hệ thống phương pháp trung bình thành phần để giải hệ phương trình tuyến tính thưa, kích thước lớn. Kết quả cho thấy phương pháp trung bình thành phần và các kết quả hội tụ của nó không phụ thuộc vào hệ tương thích hay không tương thích.
KHOA HỌC CƠNG NGHỆ THUẬT TỐN TRUNG BÌNH THÀNH PHẦN GIẢI PHƯƠNG TRÌNH THƯA, KÍCH THƯỚC LỚN Phạm Kim Phượng* ABSTRACT This study is a literature review of parallel iterative algorithms, with emphasis on the component averaging (CAV) algorithm as well as its numerical testing The results show that: i) Instead of orthogonal projections and scalar weights are used in Cimino algorithm by oblique projection and diagonal weight matrix system ii) The convergence of the component mean method does not depend on whether the system is compatible or not iii) A numerical test illustrating the convergence of CAV using Matlab software Keywords: The Cimmino Algorithm, the CAV Algorithm Received: 8/11/2021; Accepted: 23/11/2021; Published: 12/12/2021 Đặt vấn đề Ta biết tốn chấp nhận lồi: “Tìm điểm thuộc tương giao tập lồi đóng khơng gian Hilbert, biết giao chúng khác rỗng” tốn có nhiều ứng dụng lý thuyết tối ưu, xử lý ảnh, lý thuyết trò chơi… Khi tập lồi đóng siêu phẳng, Kaczmarz (1937) Cimmino (1938) đề xuất thuật toán chiếu song song kinh điển để giải tốn nói Von Neumann (1933) xét tốn tìm giao hai khơng gian đóng phương pháp chiếu xoay vòng Censor (2000) đề xuất phương pháp chiếu tổng quát cho toán chấp nhận lồi với siêu phẳng Giải hệ phương trình đại số tuyến tính trường hợp đặc biệt toán chấp nhận lồi Nếu số phương trình số ẩn, phương pháp lặp truyền thống Jacobi, Gauss-Seidel, lặp giảm dư, vv tỏ hữu hiệu việc tìm gần nghiệm hệ phương trình Phương pháp trung bình thành phần (CAV) kỹ thuật lặp song song để giải hệ Nội dung nghiên cứu 2.1 Tổng quan lý thuyết thuật toán trung * ThS Bộ mơn Tốn, Khoa Cơ sở-Cơ bản, Đại Học Hàng Hải Việt Nam bình thành phần Trong thuật tốn song song, Cimmino phương pháp Trước hết, ta xét thuật toán Cimmino sau Thuật toán Cimmino Chiếu x k ∈ R n lên tập Ci , ta thu điểm trung gian x k +1,i = Pi ( x k ) , với i = 1,2,3, , m (1.1) m x k +1 = x k + λk ∑ w i x k +1,i − x k i =1 (1.2) Công thức lặp thu Trong trường hợp hệ phương trình tuyến tính, với z ∈ R n , phép chiếu trực giao z lên Hi Pi ( z )= z + bi − a i , z ai Ở thuật toán Cimmino, ta xét với w i = 1/ m , bước lặp x k +1 trung bình phép chiếu x k lên tập lồi Ci Các bước thuật toán sau Bước : Cho x ∈ R n Bước thứ k+1 : Cho x k ta thu m x k +1 = x k + λk ∑ x k +1,i − x k i =1 m TẠP CHÍ QUẢN LÝ VÀ CƠNG NGHỆ - Số 19 Quý 4/2021 55 KHOA HỌC CÔNG NGHỆ Để chứng minh hội tụ (1.5), phần tiếp theo, ta thay phép chiếu trực giao lên siêu phẳng phép chiếu xiên theo ma trận trọng số Phép chiếu xiên tổng quát lên siêu phẳng Giả sử G ma trân n×n, đối xứng, xác định dương, ta đặt x G = x,Gx Phép chiếu xiên m x k + λk ∑ Pi x k − x k = i =1 m ( ) m k b − , x k x i i k x k + λk ∑ a x = + − m i =1 m i k m b − a ,x m xk i k =x + λk ∑ − x + λk ∑ i m i = i 1= m a phần tử z lên H ứng với ma trận G điểm z ) argmin { x − z G / x ∈ H } PHG ( z ) ∈ H với PHG (= k m bi − a , x i =1 m = x + λk ∑ k i Nhận xét Ta thấy thuật toán Cimmino với phép chiếu xiên theo ma trận đối xứng, xác định dương G với hệ Ax = b tương đương với thuật toán Cimmino với phép chiếu trực giao hệ A G −1/ x ’ = b (với x ’ = G1/ x ) Thật k a i Vậy i k λk m bi − a , x i x= x + ∑ a m i =1 m a i 2 k +1 k Với j = 1,2, , m Phương trình siêu phẳng H ≡ Hi hệ λk m bi − a , x i aj ∑ m i =1 m a i 2 i +1 x kj = x kj + k tọa độ ( x1, x2 , , xn ) a i , x = bi Phép chiếu trực giao z’ lên hệ tọa độ Viết dạng ma trận, ta thu x k +1 T k ( bi ) ∈ R m = b với D= ( = x + λk A D b − x k ( x , x , , x ) ' ), ' ' n − ( ) P z' = z' + 1 , , , diag 2 m m a a a 2 2 bi − G a i , z ' − − G G (1.3) Mà z = G1/ z nên − Trong trường hợp A ma trận thưa tức bi − G a i , z ' 1 − số phần tử a1 j , a j , , a m j khác nhỏ, m lại i P G 2= z G2z + G a − số lớn nên ta thay 1/ m thừa số i G a phụ thuộc vào phần tử khác tập {a1j ,a2j , , amj } Với j = 1,2, , n , s j số phần bi − a i , z ' − i G 2a tử khác cột j ma trận A , thay 1/ m = G z + G công thức (1.3) ta i k m b − a ,x Do λ i +1 x kj = x kj + k ∑ a ij 1 (1.4) bi − a i , z −1 i i − − 21 s j i =1 m a 2 G PG z = G P G z = z + G a ( ) i −1 Phép lặp công thức (1.3) trường hợp đặc biệt m m bi − a , x i =1 x = x + λk ∑ w i k +1 k i k 56 Suy − a i (1.5) ∑w i =1 a = PHG ( z ) G −1 G PG = PHG với trọng số {w i }i =1 với i m i = Vậy PHG P tương đương Với ma trận đường chéo G = diag {g1, g , , g n } TẠP CHÍ QUẢN LÝ VÀ CÔNG NGHỆ - Số 19 Quý 4/2021 KHOA HỌC CƠNG NGHỆ ,với phần tử đường chéo 0, ta xét phép chiếu xiên lên H theo G Nếu có phần tử đường chéo khơng thỏa điều kiện cơng thức (1.4) Vì thế, ta có định nghĩa sau Định nghĩa 2.1 Cho G = diag {g1, g , , g n } với Khi ( ) x k +1 = x k + λk AT DS b − Ax k (1.7) Sự hội tụ thuật toán CAV Ta chứng minh với λk = 1; ∀k > , dãy {x } hội tụ khơng phụ thuộc vào giá trị ban đầu k k ≥0 g j > 0∀j =1,2, , n H = { x ∈ R | ha, x i = b} x , hệ tương thích hay khơng tương thích n siêu phẳng với a =( a j ) ∈ R n , b ∈ R Giả sử g j = a j = Khi đó, phép chiếu xiên tổng quát z ∈ R n lên H theo ma trận G định nghĩa sau ( Ta xét bổ đề sau Bổ đề 2.1 Nếu {Gi }i =1 SPO theo ma trận A ∀x, z ∈ R m ta có m m m 2 PHGi i ( z ) −= x PHGi i ( z ) − T ( z ) + T ( z ) − x ∑ ∑ Gi Gi =i 1=i aj b − a, z m gj = 0, PHG ( z )= z j + m j g Chứng minh al2 / g j j ∑ =l 1,g j ≠ Xét biểu thức ) ( m ) 2 Thuật toán CAV PHG ( z ) − x − PHG ( z ) − T ( z ) ∑ G G Thuật toán CAV đề xuất Y Censor; i =1 D Gordon R Gordon (2001), có ba đặc điểm = ∑ { P ( z ) − x,G ( P ( z ) − x ) − P ( z ) − T ( z ) ,G ( P ( z ) − T ( z ) ) } sau: m = phép chiếu xiên theo ma trận Gi = Các trọng số vô hướng {wi} thay ma ∑{ x m i =1 m i ∑ i i Gi Hi i =1 Mỗi phép chiếu trực giao lên Hi t) thay i i i Gi Gi Hi Gi Hi Gi Hi i − T ( z ) G + Gi PHGi i ( z ) ,T ( z ) − x i m } m x,Gi x −∑ T ( z ) ,Gi PHGi i − + 2∑ Gi PHGi i ( z ) ,T ( z ) − x =i 1=i trận đường chéo có trọng số {Gi } Các trọng số tỷ lệ nghịch với số phần tử khác cột i =i =− x, x T ( z ) ,T ( z ) + T ( z ) ,T ( z ) − x + T ( z ) ,T ( z ) − x =− x, x T ( z ) ,T ( z ) + T ( z ) ,T ( z ) − x Các bước thuật tốn trung bình = x − T ( z ) , x + T ( z ) ,T ( z ) − x thành phần: = T ( z ) − x,T ( z ) − x= T ( z ) − x Bước : Cho x o ∈ R n Suy Bước thứ k+1 : Khi x k +1 tính theo m m 2 x PHG ( z ) − T ( z ) + T ( z ) − x công thức ∑ PHG ( z ) − = ∑ G G i i i x k +1 j bi − a i , x k i = x + λk ∑ n a j ≠ (1.6) i i =1 ∑ aj s j k j n l =1,g il ≠0 i i =i 1= i Bổ đề 2.2 Với dãy {x k }k ≥0 thuật toán ( ) {λk }k > tham số giảm dư, {s j } n định nghĩa l =1 Ta đặt { không tăng lim x k +1 − x k= Chứng minh Ta có m ( ) ∑ P (x ) − x s } 1.3.1 với λk =1∀k > , dãy F ( x k ) F= xk S = diag ( s1, s2 , , sn ) , 1 Ds = diag , , , 2 m a a a s s i i =1 Lại có Gi Hi m k k Gi ( ) m i =1 dãy 0, x → ∞ ( ) + T xk − xk m 2 ( x k +1 = x k + λk ∑ Gi PHGi i x k −∑ Gi x k λk = T x k +1 =i 1=i TẠP CHÍ QUẢN LÝ VÀ CƠNG NGHỆ - Số 19 Q 4/2021 ) 57 2 KHOA HỌC CÔNG NGHỆ Ta kí hiệu tập giá trị cực tiểu hàm F m ∑G (vì i i =1 Φ= =I) Từ PHG = argmin x − x k + i m ( ) ≥ ∑ P (x ) − x F x k Gi Hi i =1 ( k +1 ) = F x k +1 + x k +1 − x k G k +1 + x k +1 − x k Gi ( đến giá trị cực tiểu F Chứng minh ) ≥ F x k +1 Suy {F ( x k )} dãy không tăng, bị chặn Do F ( x k ) → F (k → ∞ ) = Vì {x k }k ≥0 bị chặn nên có điểm hội tụ.Ta điểm hội tụ ≤ z − y G + z − PHG ( y ) G ( ) PHGi i x * − x * m Gi ≤ PHGi i ( x ) − x * Suy Gi + PHGi i ( x ) − PHGi i x * ( ) + ∑ PHGi i ( x ) − PHGi i x * m m 2 Gi Gi * * * Hi Hi Gi Gi =i = i 1= i ∑ P (x ) − x Chứng minh 2 Xét hàm E ( u ) = u − y G + u − PH G ( y ) G ≤∑P (x) − x m m F x * ≤ ∑ PHGi i ( x ) − T ( x ) − ∑ PHGi i ( x ) − PHGi i x * , ( ) ( ) Gi =i 1= i n E ( u ) =hu,α i + β với α ∈ R , β ∈ R ( ) ) P PHG ( y ) − y ( ) G G − y G − PHG ( y − y ) λ (y ) − y G 2 G ) − λ1 u G H ≤ z−y G + z−P x − x k +1 x − x k Khi đó, dãy Fejér {x 58 + T ( x ) − x* 2 ( ) − T x* ( ) 2 Vì lim x k =x * ,T ( x k ) =x k +1 ⇒ T ( x * ) =x * k →∞ G Suy F ( x * ) ≤ F ( x ) − PHG ( y ) λ G (y ) G Định nghĩa 2.2 Dãy {x k }k ≥0 dãy Fejér theo tập Ω, Ω ⊆ R n với x ∈ Ω , ta có F x* + T x* ≤ F ( x ) + T ( x ) − x* (vì vế phải bất đẳng thức → λ → +0 ) Suy G H 2 Gi z − y G z − PHG ( y ) − PHG ( y ) − y u λ( Gi Vậy Suy Do F x* ≤ F ( x ) + T ( x ) − x* Nên E ( u ) hàm lồi Đặt uλ = λ z + (1 − λ ) PHG ( y ) Theo bất đẳng thức Jensen 2 E ( uλ ) ≤ λ z − y G − z − PHG ( y ) + (1 − λ ) G ( ) Gi Nên Khi E ( u ) viết dạng ≥ i 2 ( k ≥0 * = y x= ,G G= H= PHG ( x ) dụng bổ đề 3.1 với i ,H i ,z ta có điểm thuộc H Khi đó, với y ∈ R n ta có G k i Bổ đề 2.3 Giả sử H ∈ R n siêu phẳng G ma trận đường chéo, không âm Cho z PHG ( y ) − y {x } điểm cực tiểu Giả sử x* điểm hội tụ Lấy x ∈ Φ Áp * Khi đó, lim x k +! − x k k →∞ n Định lý 2.1 Nếu hàm F đạt giá trị cực tiểu, Φ6 = ϕ dãy {x k } với λk = 1∀k > hội tụ k ≥0 | ∀x ∈ Hi o ta có i {x ∈ F ( x ) ≤ F ( x ) ∀x ∈ } k } k ≥0 với k > (1.8) bị chặn Vậy dãy {x k }k ≥0 với hội tụ đến giá trị cực tiểu F Thử nghiệm số Bài tốn: Tính ∫ K ( t,s ) x ( s ) ds = y ( t ) t+s Với K (t ; s ) =+ + ts Suy 1 t 1 y (t ) = + a + + t b 3 2 2 1 0 với a = ∫ x( s )ds b = ∫ sx( s )ds Phương pháp: Ta chia đoạn [0;1] thành N TẠP CHÍ QUẢN LÝ VÀ CÔNG NGHỆ - Số 19 Quý 4/2021 KHOA HỌC CÔNG NGHỆ phần sử dụng phương pháp trùng khớp lớn Kết luận ∫0 K ( ti ,s ) x ( s ) ds = y ( ti ) Bài báo trình bày cách có hệ thống phương Tính tích phân cơng thức hình thang, pháp trung bình thành phần để giải hệ phương trình tuyến tính thưa, kích thước lớn Kết cho ta có thấy phương pháp trung bình thành phần ; t N )tụxNcủa K ( ti ; t0 ) x0 + K ( ti ; t1 ) x1 + + K ( ti ; t N −1 ) xNkết K ( tihội yi không phụ thuộc vào hệ { }= −1 +quả 2N tương thích hay khơng tương thích Ví dụ minh yi họa phép lặp song song thử nghiệm số ( ti ; t1 ) x1 + + K ( ti ; t N −1 ) xN −1 + K ( ti ; t N ) xN } = môi trường Matlab Trong tương lai, tác giả tập Ta viết phương trình dạng sau trung vào nghiên cứu, tính tốn, thử nghiệm N số phương pháp song song để giải toán đại số ∑ aij x j = Nyi tuyến tính kích thước lớn điều kiện xấu j =0 i = 0,1, , N Tài liệu tham khảo K ij ; j = 0; N Y.Censor, D.Gordon, R.Gordon (2001), Với aij = An efficient iterative parallel algorithm for 2 K ij ;1 ≤ j ≤ N − large sparse unstructured problems, Parallel 1 ij i j Computing 777-808 Và K ij = + ( i + j ) + ; ti = ; t j = 2N N N N Y.Censor, T.Elfving (2002), Block - iterative Thử nghiệm số với algorithms with diagonally scaled oblique * projections for the linear feasibility problem, x ( t ) = sin ( 2π t ) a = 0, b = − 2π SIAM Suy P.P.B Eggermont, G.T.Herman, A.Lent 2t + * (1981), Iterative algorithms for large partitioned y = − 4π linear systems, with applications to image Áp dụng thuật toán CAV, ta thu bảng kết reconstruction, Linear Algebra Appl 37-67 sai số nghiệm gần hệ phương H.H.Bauschke, J.M.Borwein (1996), trình tuyến tính nghiệm tích phân On projection algorithms for solving convex sau feasibility problems, SIAM 367-426 Thử nghiệm số= với λ = 1.00, x 0 , sai số E.John (2005), Handbook of parallel −4 phép lặp CAV 10 , tức phép lặp dừng computing and statistics, 199 - 220 T T Vo, N T Luong, and D Hoang, x ( k +1) − x ( k ) ≤ 10−4 “MLAMAN: a novel multi-level authentication Bảng: Kết thử nghiệm số model and protocol for preventing wormhole 100 300 500 1000 1500 N attack in mobile ad hoc network,” Wireless Sai số 7.0342 12.2262 15.7949 22.3491 27.3766 Networks, vol 25, no 7, pp 4115–4132, 2019 L Sánchez-Casado, G Maciá-Fernández, Nhận xét: Bài tốn tính tích phân P García-Teodoro, and N Aschenbruck, tốn đặt khơng chỉnh Đây tốn khó Trong việc tính tốn ví dụ có sai số rời rạc “Identification of contamination zones for hóa sai số phép lặp Vì kết tính Sinkhole detection in MANETs,” Journal of sai số nghiệm gần hệ đại số tuyến Network and Computer Applications, vol 54, pp tính nghiệm phương trình tích phân 62–77, 2015 TẠP CHÍ QUẢN LÝ VÀ CƠNG NGHỆ - Số 19 Quý 4/2021 59 ... báo trình bày cách có hệ thống phương Tính tích phân cơng thức hình thang, pháp trung bình thành phần để giải hệ phương trình tuyến tính thưa, kích thước lớn Kết cho ta có thấy phương pháp trung. .. tác giả tập Ta viết phương trình dạng sau trung vào nghiên cứu, tính tốn, thử nghiệm N số phương pháp song song để giải toán đại số ∑ aij x j = Nyi tuyến tính kích thước lớn điều kiện xấu ... x( s )ds b = ∫ sx( s )ds Phương pháp: Ta chia đoạn [0;1] thành N TẠP CHÍ QUẢN LÝ VÀ CƠNG NGHỆ - Số 19 Q 4/2021 KHOA HỌC CÔNG NGHỆ phần sử dụng phương pháp trùng khớp lớn Kết luận ∫0 K ( ti ,s