tính toán song song

- 1 - TÍNH TOÁN SONG SONG Mục đích: Tổng quan về xử lý song song Các phương pháp thiết kế thuật toán song song Các vấn đề trong xử lý song song Một số công cụ xử lý song song (Pthread POSIX, MPI, …) Yêu cầu: Có kiến thức cơ bản về hệ thống: HĐH và mạng; Có khả năng tư duy thuật toán Biết sử dụng ngôn ngữ lập trình C++. Tài liệu tham khảo: [1] Al Geist, Adam Bequelin, et al., PVM: Parallel Virtual Machine, A User's Guide and Toturial for NetWorked Parallel Computing, http://www.netbib.org/pvm3/book/pvm-book.html [2] Introduction to Parallel computing http://www.llnl.gov/computing/tutorials/parallel_comp/index.html [3] IBM Parallel Enviroment Manuals http://www_1.ibm.com/servers/eserver/pseries/library/sp_books [4] MPI Tutorial http://www.llnl.gov/computing/mpi [5] Programming with POSIX pthreads http://www.awl.com/cseng/titles/0-201-63392-2 [6] POSIX pthreads programming http://www.llnl.gov/computing/tutorials/pthreads [7]Al Geist, Adam Bequelin, et al., PVM: Parallel Virtual Machine, A User's Guide and Toturial for NetWorked Parallel Computing, http://www.netbib.org/pvm3/book/pvm-book.html - 2 - Chương 1: Tổng quan về tính toán song song I. Phân loại kiến trúc máy tính song song 1) Giới thiệu chung Tại sao phải xử lý song song? Yêu cầu thực tế cần thực hiện khối lượng tính toán lớn: bài toán xử lý ảnh 3D, thăm dò dầu khí, dự báo thời tiết, (máy tính xử lý tuần tự kiểu von Neumann là không đáp ứng yêu cầu) Xử lý song song là quá trình xử lý gồm nhiều tiến trình được kích hoạt đồng thời và cùng tham gia giải quyết một bài toàn, nói chung xử lý song song được thực hiện trên những hệ thống đa bộ xử lý. Phân biệt xử lý song song với tuần tự: Trong tính toán tuần tự với một BXL thì tại mỗi thời điểm chỉ thực hiện được một phép toán. Trong tính toán song song thì nhiều BXL cùng kết hợp với nhau để giải quyết cùng một bài toán cho nên giảm được thời gian xử lý vì mỗi thời điểm có thể thực hiện đồng thời nhiều phép toán. Mục đích của xử lý song song: là thực hiện tính toán nhanh trên cơ sở sử dụng nhiều BXL đồng thời. Cùng với tốc độ xử lý nhanh hơn, việc xử lý song song cũng sẽ giải được những bài toán phức tạp yêu cầu khối lượng tính toán lớn Ba yếu tố chính dẫn đến việc xây dựng các hệ thống xử lý song song: Tốc độ xử lý của các BXL theo kiểu von Neumann đã dần tiến tới giới hạn, không thể cải tiến thêm được do vậy dẫn tới đòi hỏi phải thực hiện xử lý song song. Hiện nay giá thành của phần cứng (CPU) giảm mạnh, tạo điều kiện để xây dựng những hệ thống có nhiều BXL với giá thành hợp lý. Sự phát triển của công nghệ mạch tích hợp (VLSI) cho phép tạo ra những hệ thống có hàng triệu transistor trên một chip. Vấn đề xử lý song song liên quan trực tiếp đến: kiến trúc máy tính, phần mềm hệ thống (hệ điều hành), thuật toán và ngôn ngữ lập trình, v.v. Hệ thống tính song song: là một tập các BXL (thường là cùng một loại) kết nối với nhau theo một kiến trúc nào đó để có thể hợp tác với nhau trong hoạt động và trao đổi dữ liệu được với nhau. Chúng ta dễ nhận thấy là độ phức tạp của xử lý song song sẽ lớn hơn xử lý tuần tự rất nhiều, và tập trung chủ yếu ở phương diện trao đổi dữ liệu và đồng bộ các tiến trình. Để cài đặt các thuật toán song song trên các máy tính song song chúng ta phải sử dụng những ngôn ngữ lập trình song song. Nhiều ngôn ngữ lập trình song song đang được sử dụng như: Fortran 90, Pthread với Fortran/C++, MPI với C/C++, PVM với C/C++, OpenMP với C/C++, v.v. - 3 - 2) Kiến trúc của máy tính Máy tính được xây dựng từ các khối cơ sở: Bộ nhớ: để lưu trữ dữ liệu Các đơn vị logic và số học: thực hiện các phép toán được ký hiệu là ALU Các phần tử điểu khiển:Bộ điều khiển CU và các thiết bị vào/ra dữ liệu Các Bus trao đổi dữ liệu. Cách thức liên kết các khối trên với nhau cho ta biết kiến trúc của máy tính. Trong các hệ thống máy tính thông thường có hai khối quan trọng nhất là bộ nhớ và BXL. BXL xử lý dữ liệu được lưu trữ trong bộ nhớ thông qua các chỉ thị (các câu lệnh). Các câu lệnh cũng được lưu trong bộ nhớ. Trong hệ thống dữ liệu được thực hiện theo cả hai chiều, đọc và ghi vào bộ nhớ. Hình 1-1 mô tả hoạt động của mô hình máy tính kiểu von Neumann. Hình 1-1 Sự liên kết giữa bộ nhớ và bộ xử lý 3) Phân loại kiến trúc máy tính Dựa vào các đặc tính về số lượng BXL, số chương trình thực hiện, cấu trúc bộ nhớ, v.v., Michael Flynn (1966) đã phân máy tính thành 4 loại sau: Mô hình SISD (Simple Instruction Simple Data): Đơn chỉ lệnh, đơn dữ liệu Máy tính loại SISD chỉ có một CPU, ở mỗi thời điểm thực hiện một chỉ lệnh và chỉ đọc, ghi một mục dữ liệu. Tất cả các máy tính SISD chỉ có một thanh ghi register được gọi là bộ đếm chương trình (program counter) được sử dụng để nạp địa chỉ của lệnh tiếp theo và kết quả là thực hiện theo một thứ tự xác định của các câu lệnh. Hình 1-2 mô tả hoạt động của máy tính theo mô hình SISD. Hình 1-2. Mô hình của kiến trúc SISD Bộ nhớ Bộ xử lý Ghi dữ liệu Đọc dữ liệu Câu lệnh Đơn vị đi ều khiển Bộ nhớ BXL Luồng lệnh Luồng dữ liệu Luồng kết quả Tín hiệu điều khiển - 4 - Mô hình SISD còn được gọi là SPSD (Simple Program Simple Data), đơn chương trình và đơn dữ liệu. Đây chính là mô hình máy tính kiểu von Neumann. Mô hình SIMD (Simple Instruction Multiple Data ): Đơn chỉ lệnh, đa dữ liệu Máy tính loại SIMD có một đơn vị điều khiển để điều khiển nhiều đơn vị xử lý (nhiều hơn một đơn vị) thực hiện theo một luồng các câu lệnh. CU phát sinh tín hiệu điều khiển tới tất cả các phần tử xử lý, những BXL này cùng thực hiện một phép toán trên các mục dữ liệu khác nhau, nghĩa là mỗi BXL có luồng dữ liệu riêng. Hình 1-3 mô tả hoạt động của máy tính theo mô hình SIMD, còn được gọi là SPMD. Hình 1-3. Mô hình của kiến trúc SIMD Mô hình SIMD còn được gọi là SPMD, đơn chương trình và đa dữ liệu. Đây chính là mô hình máy tính phổ biến có trên thị trường như: DAP và Connection Machine CM-2. Đơn vị điều khiển (CU) Phần tử xử lý 1 Tín hiệu điều khiển Phần tử x ử lý n Phần tử xử lý 2 . . . Tín hiệu điều khiển - 5 - Mô hình MISD (Multiple Instruction Simple Data): Đa chỉ lệnh, đơn dữ liệu Máy tính loại MISD là ngược lại với SIMD. Máy tính MISD có thể thực hiện nhiều chương trình (nhiều lệnh) trên cùng một mục dữ liệu, nên còn được gọi là MPSD (đa chương trình, đơn dữ liệu). Kiến trúc kiểu này có thể chia thành hai nhóm: Lớp các máy tính gồm nhiều đơn vị xử lý (PU) khác nhau có thể nhận được những chỉ lệnh khác nhau để thực hiện trên cùng một mục dữ liệu. Đây là kiến trúc khó và hiện nay chưa có loại máy tính nào được sản xuất theo loại này. Mô hình của kiến trúc MISD được mô tả như hình 1-4. Hình 1-4. Mô hình của kiến trúc MISD Lớp các máy tính có các luồng dữ liệu được gửi tuần tự theo dãy các CPU liên tiếp. Đây là loại kiến trúc hình ống, xem xét như sau: Nguyên lý hình ống (pipelined) dựa vào phương pháp phân đoạn hoặc chia nhỏ một tiến trình tính toán thành một số đoạn nhỏ hơn để thực hiện trong các pha liên tiếp. Tất cả các giai đoạn của một tiến trình được thực hiện tuần tự, khi thực hiện xong thì bắt đầu thực hiện của tiến trình tiếp theo. Mỗi pha thực hiện xong sẽ gửi kết quả cho pha tiếp theo. Như vậy, trong cách thực hiện theo nguyên lý hình ống, khi một giai đoạn công việc đang thực hiện thì một giai đoạn khác có thể nạp dữ liệu vào, và dữ liệu vào của giai đoạn này có thể là kết quả của giai đoạn trước nó. Ví dụ, hình 1-5 mô tả một tiến trình được phân thành 4 giai đoạn thực hiện tuần tự, nhưng có thể thực hiện song song theo nguyên lý hình ống để tăng tốc độ tính toán khi phải thực hiện nhiều tiến trình như thế. Một tiến trình được chia thành 4 giai đoạn: Thực hiện tuần tự hai tiến trình phải qua 8 giai đoạn: Pha 1 Pha 2 Pha 3 Pha 4 Pha 1 Pha 2 Pha 3 Pha 4 Pha 1 Pha 2 Pha 3 Pha 4 CU 1 Phần tử xử lý 2 Luồng lệnh 1 Phần tử x ử lý n Phần tử xử lý 1 . . . CU 2 CU n . . . Luồng lệnh 2 Luồng lệnh n Luồng dữ liệu - 6 - Thực hiện theo hình ống hai tiến trình trên chỉ cần trải qua 5 giai đoạn: Hình 1-5 Thực hiện tuần tự và hình ống của hai tiến trình gồm 4 giai đoạn Nếu ký hiệu S i là thời gian cần thiết để thực hiện giai đoạn thứ i thì: Tổng thời gian tính toán tuần tự là: 2*(S 1 + S 2 + S 3 + S 4 ) Tổng thời gian tính toán hình ống là: S 1 + S 2 + S 3 + S 4 + S 4 Hình 1-6 Xử lý hình ống theo ALU *) Các bộ xử lý mảng tâm thu SAP (Systolic Array Processor) Năm 1978 Kung và Leiserson đề xuất một loại kiến trúc được gọi là mảng tâm thu (Systolic Array) cho những tính toán đặc biệt. Mảng tâm thu viết tắt là SA, là một mảng các đơn vị xử lý được kết nối cục bộ với nhau. Trong mảng tâm thu SA, mỗi PE (Processing Element) được xem như một tế bào (một ô trong mảng) bao gồm: Một số thanh ghi (register) Một bộ cộng (adder) Các mạch điều khiển Đơn vị logic-số học ALU. Các ô lân cận có thể trao đổi dữ liệu với nhau. Dựa vào SA người ta xây dựng kiến trúc SAP Pha 1 Pha 2 Pha 3 Pha 4 Pha 1 Pha 2 Pha 3 Pha 4 CU ALU ALU . . . ALU B ộ nhớ - 7 - Hình 1-7. Kiến trúc bộ xử lý mảng tâm thu Trong kiến trúc SAP nêu trên: bộ điều khiển (Controller) làm nhiệm vụ giao diện cho BXL chính (Host Processor) và gửi các tín hiệu điều khiển quá trình vào/ra dữ liệu cho SA. Hoạt động của hệ thống theo từng nhịp và lặp lại một cách đều đặn để tận dụng được khả năng song song của tất cả các phần tử xử lý. SA có thể tổ chức theo nhiều cấu hình tôpô khác nhau. Hình 1-8 mô tả một số cấu hình phổ biến của SA. (a) (c) (b) Hình 1-8. Một số cấu hình phổ biến của mảng tâm thu: (a) mảng tuyến tính, (b) mảng hình tam giác, (c) mảng hai chiều hình vuông Hiệu quả của SA phụ thuộc rất nhiều vào các đặc tính vào/ra của dữ liệu. Nó sẽ rất hiệu quả đối với những bài toán mà số liệu đọc/ghi thực hiện với nhịp độ cao, đều đều và liên tục như các bài toán xử lý ảnh, qui hoạch tuyến tính, v.v. Ví dụ, xét bài toán nhân hai ma trận cỡ 2 × 2: A * B = C a 11 a 12 b 11 b 12 c 11 c 12 a 21 a 22 b 21 b 22 c 21 c 22 Hiển nhiên Cij = ∑a ik *b kj (k=1,2) Systolic Array Controller Host Processor Tín hiệu Dữ liệu vào Kết quả * = - 8 - Chúng ta có thể thiết kế SA có 9 PE () để thực hiện nhân hai ma trận trên như sau: Nhập theo hàng Nhập theo cột Hình 1-9. Kiến trúc SA để thực hiện nhân hai ma trận. Năm 1986 Intel kết hợp với Kung đã xây dựng một hệ máy tính kiểu SAP đặt tên là iWrap System, version sau được cải tiến vào năm 1990. Trong những năm 1990 còn có seri máy tính loại mini-super của Convex Computer Corporation được xây dựng từ những bộ CPU 64 bit được gắn với bộ nhớ chung. Mô hình MIMD (Multiple Instruction Multiple Data): Đa luồng lệnh, đa luồng dữ liệu Máy tính loại MIMD còn gọi là đa BXL, trong đó mỗi BXL có thể thực hiện những luồng lệnh (chương trình) khác nhau trên các luồng dữ liệu riêng. Hầu hết các hệ thống MIMD đều có bộ nhớ riêng và cũng có thể truy cập vào được bộ nhớ chung (global) khi cần, do vậy giảm thiểu được thời gian trao đổi dữ liệu giữa các BXL trong hệ thống. Đây là kiến trúc phức tạp nhất, nhưng nó là mô hình hỗ trợ xử lý song song cao nhất và đã có nhiều máy tính được sản xuất theo kiến trúc này, ví dụ: BBN Butterfly, Alliant FX, iSPC của Intel, v.v. Mô hình của kiến trúc MIMD được mô tả như hình 1-10 Hình 1-10. Mô hình của kiến trúc MIMD CU 1 Phần tử xử lý 2 Luồng lệnh 1 Phần tử x ử lý n Phần tử xử lý 1 . . . CU 2 CU n . . . Luồng lệnh 2 Luồng lệnh n Luồng dữ liệu 1 Luồng dữ liệu 2 Luồng dữ liệu n 1 2 4 5 3 9 6 7 8 a 11 a 21 a 12 a 22 b 22 b 12 b 21 b 11 c 11 c 12 c 21 c 22 - 9 - 4) Song song hóa trong máy tính tuần tự Các hệ thống bộ nhớ phân cấp Tốc độ thực hiện các phép toán trong BXL nhanh hơn rất nhiều so với việc truy cập vào bộ nhớ; Tốc độ truy cập vào bộ nhớ trong (RAM) nhanh hơn rất nhiều so với việc truy cập vào bộ nhớ ngoài. Hệ thống bộ nhớ phân cấp như thế có thể mô tả như hình 1-11 Hình 1-11. Hệ thống bộ nhớ phân cấp Các thanh ghi được sử dụng trực tiếp cho ALU. Bộ nhớ cache được xem như vùng đệm giữa BXL và bộ nhớ chính. Sự song song hóa trong sự trao đổi dữ liệu theo cấu trúc phân cấp là cách khai thác chung để cải tiến hiệu quả xử lý của hệ thống. Ví dụ, trong khi dữ liệu được lấy từ bộ nhớ ngoài vào bộ nhớ chính thì đồng thời có thể gửi dữ liệu từ cache vào cho CPU. Đa chương trình và chia sẻ thời gian Các hệ điều hành của máy tính đơn bộ xử lý cho phép thực hiện song song dựa vào cách tiếp cận phần mềm. Trong cùng một khoảng thời gian, có nhiều tiến trình cùng truy cập vào dữ liệu từ những thiết bị vào/ra chung (VD:Cổng giao tiếp, Đĩa cứng, CD, …). Chúng ta biết rằng phần lớn các chương trình đều có hai phần: phần vào/ra và các thành phần tính toán trong quá trình xử lý. Các hệ điều hành đa chương trình luân phiên thực hiện các chương trình khác nhau. Để thực hiện việc này HĐH sử dụng Bộ lập lịch chia sẻ thời gian làm nhiệm vụ phân chia CPU cho mỗi tiến trình một khoảng thời gian cố định theo phương pháp quay vòng tròn. Bằng cách đó, tất cả các tiến trình đều được sẵn sàng để thực hiện trên cơ sở được phép sử dụng CPU và những tài nguyên khác của hệ thống. CPU (Registers) Cache Main Memory Fixed Disks Magnetic Tapes Tăng khả năng lưu trữ Tăng về tốc độ truy cập - 10 - Do vậy, về nguyên tắc việc phát triển những chương trình song song trên máy đơn BXL thực hiện được nếu có hệ điều hành cho phép nhiều tiến trình thực hiện, nghĩa là có thể xem hệ thống như là đa bộ xử lý Bài tập 1.1 Nêu đặc trưng cơ bản của kiến trúc máy tính tuần tự của von Neumann 1.2 Các kiến trúc máy tính có thể được phân loại như thế nào? dựa vào những yếu tố nào để phân loại? 1.3 Một hệ thống như thế nào được gọi là máy tính song song? 1.4 Máy tính kiểu MIMD khác với mạng các máy tính như thế nào? 1.5 Nêu nguyên lý xử lý theo hình ống. Những bài toán có những tính chất gì thì thích hợp với kiến trúc xử lý hình ống? 1.6 Cần bao nhiêu nhịp để thực hiện nhân hai ma trận 100×100 trên SAP có 100×100 phần tử xử lý? Nếu sử dụng hệ 1000×1000 PE thì hệ nào tốt hơn (nhanh hơn)? 1.7 Một công việc được chia thành m công việc con, mỗi công việc con đòi hỏi một đơn vị thời gian để thưc hiện. Hỏi cần bao nhiêu đơn vị thời gian để hệ thống hình ống gồm k-bộ xử lý tuyến tính (gồm m-pha thực hiện) thực hiện được n nhiệm vụ cho trước? [...]...II Thiết kế thuật toán song song 1 Nguyên lý thiết kế thuật toán song song Như trên đã nêu ở trên, khi xử lý song song ta phải xét cả kiến trúc máy tính và các thuật toán song song Những thuật toán, trong đó có một số thao tác có thể thực hiện đồng thời được gọi là thuật toán song song Để thiết kế được các thuật toán song song cần phải thực hiện: - Phân chia dữ liệu cho... tập 2.1 Dựa vào thuật toán Dijsktra để xây dựng thuật toán song song tìm đường đi ngắn nhất trong đồ thị 2.2 Dựa vào thuật toán Prim để xây dựng thuật toán song song tìm cây bao trùm (cây khung) cực tiểu của đồ thị 2.3 Xây dựng thuật toán song song tìm kiếm trên đồ thị theo chiều rộng 2.4 Xây dựng thuật toán song song tìm kiếm trên đồ thị theo chiều sâu 2.5 Xây dựng thuật toán song song để thực hiện phép... thiết kế thuật toán song song ta còn phải chú ý đến kiến trúc của hệ thống tính toán: Kiến trúc tính toán nào sẽ phù hợp với bài toán? Những bài toán loại nào sẽ xử lý hiệu quả trong kiến trúc song song cho trước? Ví dụ: Những máy tính kiểu SIMD không thích hợp để giải các bài toán, trong đó có nhiều tiến trình dị bộ Ngược lại, máy tính kiểu MIMD lại không hiệu quả để giải quyết những bài toán trong đó... thuật toán song song bằng phân rã phụ thuộc dữ liệu Quay trở lại vấn đề đặt ra ban đầu, muốn tận dụng được khả năng tính toán song song trên nhiều máy tính, điều quan trọng nhất là tìm được thuật toán thích hợp Nhiều khi sự phụ thuộc tính toán “giá trị sau được tính dựa vào giá trị trước” có vẻ rất “bền”, nhưng ta vẫn “tách” nó ra để chia cho nhiều máy cùng thực hiện Sau đây là một ví dụ minh họa: Bài toán: ... printf("%5.3f",(float) 4*c/20000); } 5) Song song hóa một thuật toán tuần tự Vẫn là mục tiêu tính giá trị số π nhưng thông qua giới hạn π = lim 1/ ∆ ∑ 4∆ ∆ → 0 k = 0 1 + ( k∆ ) 2 , Cho biết thiết bị tính toán của chúng ta là một mạng gồm 3 máy tính 1/ ∆ Chúng ta sẽ giao cho mỗi máy tính tính một phần của tổng ∑ 4∆ 2 k = 0 1 + ( k∆ ) , rồi nhận lại kết quả Giả thiết hệ thống có 3 BXL Máy thứ nhất tính tổng các số hạng... send(&A, Pi+1); recv(&A, Pi-1); recv(&B, Pi+1); send(&B, Pi-1); if(A > B) A = B; if(A > B) B = A; } } Thuật toán này có độ phức tạp O(n) Bài tập: Song song thuật toán sx trộn, sx nhanh 4 Ví dụ vê thiết kế thuật toán song song bằng phương pháp chia để trị Tính toán số PI trên nhiều máy Người ta có thể tính được gần đúng giá trị của số π bằng cách đếm số điểm rơi vào trong hình tròn đơn vị, mà các điểm này... là chỉ mất một bước tính là biết được tất cả các giá trị λ n (Tính các λ n trên nhiều máy) Như vậy Tm = 2 + Tm −1 (2 bước tính: a2m , a2m −1 ) Từ đây suy ra Tm = 2m Như vậy chúng ta không cần đến 2 m bước tính, mà chỉ cần có 2m bước Bài tập 1: Thiết kế thuật toán song song tính giá trị tại điểm x của đa thức Pn ( x ) = α n x n + α n −1x n −1 + + α 0 với n = 2 m - 12 - 3 Thuật toán sắp xếp so sánh... trong thiết kế thuật toán song song: Các nguyên lý lập lịch: mục đích là giảm tối thiểu các bộ xử lý sử dụng trong thuật toán sao cho thời gian tính toán là không tăng (xét theo khía cạnh độ phức tạp) Nguyên lý hình ống: Nguyên lý này được áp dụng khi bài toán xuất hiện một dãy các thao tác {T1, T2, , Tn}, trong đó Ti+1 thực hiện sau khi Ti kết thúc Nguyên lý chia để trị: Chia bài toán thành những phần... Nguyên lý chia để trị: Chia bài toán thành những phần nhỏ hơn tương đối độc lập với nhau và giải quyết chúng một cách song song Nguyên lý đồ thị phụ thuộc dữ liệu: Phân tích mối quan hệ dữ liệu trong tính toán để xây dựng đồ thị phụ thuộc dữ liệu và dựa vào đó để xây dựng thuật toán song song Nguyên lý điều kiện tranh đua: Nếu hai tiến trình cùng muốn truy cập vào cùng một mục dữ liệu chia sẻ thì chúng... (chỉ mất 1 bước tính để tìm ra an = α nα n −1an − 2 + λn (*) Công thức (*) cho thấy là: chỉ cần biết a 0 là chúng ta có thể tính ra được tất cả các giá trị a 2 , a 4 , a 6 , , a m , và như vậy chỉ thêm 1 bước tính nữa (sử dụng 2 nhiều máy cùng tính) là tính ra được tất cả các giá trị với chỉ số lẻ Cụ thể là, từ (1) => a2 n +1 = α 2 n +1a2 n + β 2 n +1 Ký hiệu Tm là số bước tính cần để tính ra tất cả . - 1 - TÍNH TOÁN SONG SONG Mục đích: Tổng quan về xử lý song song Các phương pháp thiết kế thuật toán song song Các vấn đề trong xử lý song song Một số công cụ xử lý song song (Pthread. quan về tính toán song song I. Phân loại kiến trúc máy tính song song 1) Giới thiệu chung Tại sao phải xử lý song song? Yêu cầu thực tế cần thực hiện khối lượng tính toán lớn: bài toán xử. thuật toán song song ta còn phải chú ý đến kiến trúc của hệ thống tính toán: Kiến trúc tính toán nào sẽ phù hợp với bài toán? Những bài toán loại nào sẽ xử lý hiệu quả trong kiến trúc song song