2. 2. 1. 2. Nguyên lý thiết kế thuật toán song song
Khi nói đến xử lý song song là phải xét cả kiến trúc máy tính lẫn các thuật toán song song. Những thuật toán, trong đó có một số thao tác có thể thực hiện đồng thời đƣợc gọi là thuật toán song song. Tổng quát hơn, thuật toán song song là một tập các tiến trình hoặc các tác vụ có thể thực hiện đồng thời và có thể trao đổi dữ liệu với nhau để kết hợp cùng giải một bài toán đặt ra. Thuật toán song song có thể xem nhƣ là một tập hợp các đơn thể độc lập, một số trong số chúng có thể thực hiện tƣơng tranh trên máy tính song song [1].
Có năm nguyên lý chính trong thiết kế thuật toán song song:
1. Các nguyên lý lập lịch: Giảm tối thiểu các bộ xử lý sử dụng trong thuật toán
sao cho thời gian tính toán là không tăng (xét theo khía cạnh độ phức tạp).
2. Nguyên lý hình ống: Nguyên lý này đƣợc áp dụng khi bài toán xuất hiện một
dãy các thao tác {T1, T2,... Tn}, trong đó Ti + 1 thực hiện sau khi Ti kết thúc.
3. Nguyên lý chia để trị: Chia bài toán thành những phần nhỏ hơn tƣơng đối độc
lập với nhau và giải quyết chúng một cách song song.
4. Nguyên lý đồ thị phụ thuộc dữ liệu: Phân tích mối quan hệ dữ liệu trong tính
toán để xây dựng đồ thị phụ thuộc dữ liệu và xây dựng thuật toán song song.
5. Nguyên lý điều kiện tranh đua: Nếu hai tiến trình cùng muốn truy cập vào cùng
một mục dữ liệu chia sẻ thì cúng phải tƣơng tranh với nhau, nghĩa là chúng có thể cản trở lẫn nhau.
Ngoài những nguyên lý nếu trên, khi thiết kê thuật toán song song còn một số điểm cần quan tâm:
Hiệu quả thực hiện của thuật toán song song có thể rất khác nhau và yếu tố quan trọng nhất ảnh hƣởng tới độ phức tạp tính toán là cấu hình tôpô liên kết mạng.
Thuật toán song song phải đƣợc thiết kế dựa trên những kiến trúc về kiến trúc máy tính, ngôn ngữ lập trình song song và các phƣơng pháp tính toán.
2. 2. 1. 3. Các cách tiếp cận trong thiết kế thuật toán song song
Có ba cách tiếp cận để thiết kế thuật toán song song là [1]:
1. Thực hiện song song hóa những thuật toán tuần tự, biến đổi những cấu trúc tuần tự để tận dụng đƣợc những khả năng song song tự nhiên của tất cả các thành phần trong hệ thống xử lý.
2. Thiết kế những thuật toán song song mới phù hợp với kiến trúc song song. 3. Xây dựng những thuật toán song song từ những thuật toán song song đã đƣợc xây dựng cho phù hợp với cấu hình tôpô và môi trƣờng song song thực tế.
Nhƣ vậy, cách làm khá thông dụng là biến đổi các thuật toán tuần tự về song song, hay chuyển từ một dạng song song về dạng song song phù hợp hơn sao cho vẫn bảo toàn tính tƣơng đƣơng trong tính toán.
2. 2. 1. 4. Kiến trúc bộ nhớ của máy tính song song 2. 2. 1. 4. 1. Bộ nhớ chia sẻ (Shared Memory)
Các bộ xử lý có thể hoạt động độc lập nhƣng truy nhập chung bộ nhớ. Các bộ xử lý khác có khả năng nhìn thấy các thay đổi trong bộ nhớ do một bộ xử lý tác động. Các máy tính có bộ nhớ chia sẻ có thể đƣợc chia thành 2 loại chính:UMA (Uniform Memory Access ) và NUMA (Non Uniform Memory Access).
Mô hình đa bộ xử lý truy xuất bộ nhớ đồng nhất (Uniform Memory Access (UMA) multi processor) -bộ nhớ chia sẻ tập trung.
Mô hình đa bộ xử lý truy xuất bộ nhớ không đồng nhất (Non Uniform Memory Access (NUMA) multi processor) -bộ nhớ chia sẻ phân tán.