Một trong những khía cạnh quan trọng của các máy tính song song là cơ chế trao đổi thơng tin giữa các BXL. Hai kiến trúc phổ biến là kiến trúc chia sẻ bộ nhớ (shared memory) và kiến trúc truyền thơng điệp (message passing).
a. Chia sẻ bộ nhớ chung
Các hệ máy tính dạng này sử dụng một bộ nhớ chia sẻ tồn cục (global shared memory) mà tất cả các BXL đều cĩ thể truy cập đến. Một BXL cĩ thể trao đổi với một BXL khác bằng cách ghi vào bộ nhớ tồn cục và BXL thứ hai sẽ đọc tại cùng vị trí đĩ trong bộ nhớ. Điều này cho phép giải quyết vấn đề trao đổi thơng tin giữa các BXL, tuy nhiên nĩ dẫn tới vấn đề truy nhập đồng thời các vị trí khác nhau trong bộ nhớ bởi nhiều BXL. Cĩ hai cách tiếp cận chủ yếu để xử lý vấn đề truy nhập bộ nhớ là sử dụng hệ thống chuyển mạch (switching systems) hoặc các BXL truy nhập bộ nhớ thơng qua bus hệ thống.
Đối với các hệ thống truy nhập bộ nhớ thơng qua bus chung, việc thiết lập tương đối đơn giản, song nếu cĩ nhiều BXL cùng truy nhập bộ nhớ thì bus cĩ thể trở thành nút cổ chai. Bởi vậy số lượng BXL trong các hệ thống này thường tương đối nhỏ và cao nhất chỉ khoảng vài chục BXL.
Một khĩ khăn khác của các hệ thống này là thời gian truy nhập bộ nhớ sẽ khơng cao và khơng đồng bộ. Tuy nhiên việc sử dụng kiến trúc này khiến cho việc thiết kế giải thuật trở nên đơn giản bởi hệ thống được xử lý như là tất cả các BXL đều được nối trực tiếp với nhau.
b. Truyền thơng điệp
Ngược lại với các máy tính chia sẻ bộ nhớ chung là các máy tính song song cĩ bộ nhớ phân tán, mỗi BXL cĩ bộ nhớ cục bộ riêng. Với kiến trúc này, việc mở rộng các
Bộ xử lý 1 Bộ xử lý 2 ... Bộ xử lý n
BỘ NHỚ CHUNG
máy tính trong hệ thống là khá dễ dàng, các nhà thiết kế cĩ thể đưa ra các hệ thống với hàng nghìn BXL mà khơng phải thay đổi nhiều trong cấu trúc thiết kế. Trong các hệ máy tính song song cĩ bộ nhớ phân tán, các BXL liên lạc với nhau bằng các thơng điệp (message) qua một mạng liên kết (interconnection network) gồm các liên kết truyền thơng trực tiếp giữa một số cặp BXL.