Trong hai công đoạn đầu của quá trình thiết kế đã phân rã tính toán cần thực hiện thành một tập các tác vụ và đa ra truyền thông giữa các tác vụ có trao đổi dữ liệu với nhau. Tuy nhiên những kết quả đạt đợc trong hai công đoạn đầu vẫn chỉ mang tính lý thuyết, cha chỉ ra thực hiện có hiệu quả trên một máy tính song song. Trong thực tế, sự phân chia trong hai công đoạn đầu có thể có hiệu quả cao, ví dụ nh sự phân chia ban đầu tạo ra quá nhiều tác vụ so với số bộ xử lý trên máy tính đích và máy tính này lại không thiết kế để thực hiện có hiệu quả các tác vụ có khối lợng tính toán nhỏ.
Trong công đoạn tích tụ này, ta sẽ chuyển thiết kế có tính lý thuyết vào thực tế. Xem xét lại các quyết định đã tạo ra trong pha phân rã và truyền thông để đạt đợc một giải thuật sẽ thực hiện hiệu quả trên một lớp máy tính song song nào đó. Đặc biệt là xem xét việc tích tụ các tác vụ nhỏ đã tạo ra trong pha phân rã thành các tác vụ có kích thớc lớn hơn đợc gọi là các tác vụ grain-coarsed. Khi tích tụ các tác vụ nhỏ thành tác vụ lớn hơn, chí phí truyền thông sẽ giảm đi nhng đồng nghĩa với việc làm giảm tiềm năng thực hiện đồng thời và khả năng linh động của giải thuật.
Hình 2. 11 Các ví dụ minh hoạ cho công đoạn tích tụ.
(a) Kích thớc của tác vụ đợc gia tăng bằng cách rút gọn chiều phân rã từ 3 xuống 2.
(b) Các tác vụ ban đầu đợc kết hợp lại dẫn đến phân rã theo 3 chiều với kích thớc lớn hơn.
(c) Các cây con trong cấu trúc chia và trị đ“ ” ợc hợp lại (d) Các nút trong một giải thuật cây đợc kết hợp
Số lợng tác vụ trong pha tích tụ, mặc dù đợc rút gọn nhng vẫn phải lớn hơn số bộ xử lý. Trong trờng hợp này, việc thiết kế của ta vẫn có phần lý thuyết bởi vì các vấn đề liên qua đến ánh xạ vẫn còn cha đợc giải quyết. Vấn đề này sẽ đợc đề cập đến trong công đoạn ánh xạ. Nhng, nếu pha tích tụ giảm số tác vụ xuống bằng với số bộ xử lý thì mỗi tác vụ sẽ tơng ứng với một bộ xử lý và quá trình thiết kế có thể dừng ở công đoạn này.