Thiết Kế Và Phân Rã Giải Thuật Song Song

Thiết kế Giải Thuật song song

Phép toán gửi là không đồng bộ, dữ liệu đợc gửi đi ngay lập tức, trong khi đó phép toán nhận thì đồng bộ, bởi vậy việc thực hiện tác vụ sẽ dừng lại cho đến khi message đợc nhận. Khi phân rã một giải thuật, ngời thiết kế đầu tiên thờng chú trọng nhất về dữ liệu kết hợp với một bài toán, sau đó xác định một phân rã thích hợp cho dữ liệu và công việc cuối cùng là kết hợp tính toán với dữ liệu nh thế nào. Với phơng pháp phân chia truyền thông nh trên, các tổng trong cùng một mức có thể thực hiện đồng thời, bởi vậy toàn bộ công việc tính tổng N số có thể đạt trong logN bớc tính toán.

Trong thực tế, sự phân chia trong hai công đoạn đầu có thể có hiệu quả cao, ví dụ nh sự phân chia ban đầu tạo ra quá nhiều tác vụ so với số bộ xử lý trên máy tính đích và máy tính này lại không thiết kế để thực hiện có hiệu quả các tác vụ có khối lợng tính toán nhỏ. Khả năng linh động này cũng trở lên hữu ích khi mã hoá giải thuật vào một máy tính cụ thể, bởi vì cho phép ta luôn có thể tạo ra số tác vụ lớn hơn số bộ xử lý, khả năng xen kẽ giữa truyền thông và tính toán có thể thực hiện. Rất nhiều giải thuật đợc phát triển sử dụng các kỹ thuật phân rã theo miền, nét nổi bật là số lợng cố định các tác vụ kích thớc ngang nhau và truyền thông giữa các tác vụ tạo lên đồ thị có cấu trúc.

Trong các giải thuật dựa trên phân rã theo miền phức tạp với khối lợng công việc biến đổi cho mỗi tác vụ và truyền thông giữa các tác vụ tạo lên đồ thị bất kỳ, các chiến lợc ánh xạ và tích tụ hiệu quả không trở lên rõ ràng cho ngời thiết kế. Bởi vậy, ta có thể cung cấp các giải thuật cân bằng nạp động, tìm kiếm để nhận ra các chiến lợc tích tụ và ánh xạ thích hợp, thông thờng ng- ời ta sử dụng các kỹ thuật mang tính chất kinh nghiệm( heuristic techniques). Đối với các giải thuật dựa trên phân rã chức năng thờng dẫn đến tính toán bao gồm nhiều tác vụ có thời gian thực hiện ngắn và thờng liên kết với các tác vụ khác chỉ tại thời điểm bắt đầu và kết thúc thực hiện, các yêu cầu cục bộ ít.

Đợc sử dụng để phân rã miền bài toán thành các miền nhỏ có thời gian tính toán xấp xỉ nhau trong khi cố gắng cực tiểu hoá chi phí truyền thông, các kênh truyền thông sẽ ngang qua đờng biên tác vụ.

Mạng kết nối

Mạng Mesh 2 chiều đã trở thành kiến trúc phổ biến cho mô hình dãy bộ xử lý, chẳng hạn nh các máy Goodyear Aerospace s MPP’ TM , AMT DAPTM , và MasPar s MP 1’ TM. Mạng hypertree thể hiện một cách tiếp cận để xây dựng một mạng kết hợp đợc bán kính thấp của mạng cây nhị phân nhng lại tăng đợc độ rộng phân đôi. Đờng kính của một mạng có 2k nút là k, và độ rộng phân đôi có kích thức mạng là 2k -1, tổ chức mạng hypercube có bán kính mạng thấp và độ rộng phân đôi cao nh ngợc lại phải trả giá bằng số lợng cạnh cho mỗi nút và chiều dài của cạnh dài nhất.

Thông thờng, nút (i, j) đợc kết nối tới nút nút (i, m) khi và chỉ khi m là kết quả của việc đảo bit ý nghĩa nhất thứ i trong dạng biểu diẽn nhị phân của j. Chú ý rằng những kết nối này khác nhau một chút so với những nút trong mạng Butterffly, đó là nếu nút (i, j) đợc kết nối tới nút (i-1, m) trong mạng Butterffly, ở đây j ≠ m. So sánh với mạng kết nối hình khối, phơng pháp tổ chức theo mạng này có một u điểm là số lợng cạnh mỗi nút là 3 ( đối với mạng 24 phần tử) là hằng số độc lập với kích thớc mạng.

Kết nối shuffle hoàn chỉnh (perfect shuffle) liên kết nút i với nút có số hiệu 2i chia lấy phần d cho n-1, với trờng hợp ngoại lệ rằng nút n-1 đợc kết nối tới chính nó. Bởi vì đồ thị tác vụ đợc hình thành khi phân rã không phải lúc nào cũng hợp với kiến trúc mạng kết nối, do đó ta phải có sự nghiên cứu việc ánh xạ đề có thể đánh giá đợc đúng hiệu năng của giải thuật. Các mô hình tính toán dữ liệu của một giải thuật có thể đợc trình bày nh một đồ thị ( graph) trong đó mỗi đỉnh thay thế một tập con dữ liệu định vị tại cùng bộ nhớ cục bộ, và mỗi cung thay thế cho một tính toán liên quan đến dữ liệu từ hai tập dữ liệu.

Lấy ví dụ nh, giả sử chúng ta thực thi giải thuật song song trên mô hình multicomputer sử dụng kỹ thuật định đ- ờng store and forward và hai đỉnh kết nối trong đồ thị giải thuật ánh xạ sang hai nút xa nhau (Hình a ). Khi truyền một message từ một bộ xử lý tới bộ xử lý khác sẽ yêu cầu thời gian xấp xỉ gấp hai lần thời gian truyền giữa hai bộ xử lý cạnh nhau hoặc giả sử chúng ta thực thi một giải thuật song song trên mô hình multicomputer với kỹ thuật chuyển mạch và các đỉnh khác nhau trong đồ thị giải thuật ánh xạ sang một liên kết chung trên máy ( Hình b). Do đó ở đây ta chỉ xem xét bốn đồ thị giải thuật quan trọng là cây nhị phân hoàn chỉnh, cây nhị thức( Binomial Tree), Ring và Mesh sang mạng bộ xử lý thờng đợc ứng dụng là Mesh hai chiều và Hypercube.

Tuy nhiên, bài toán nhúng của một đồ thị kết nối G vào trong một mạng hypercube với n nút tồn tại khi và chỉ khi có thể gán nhãn các cạnh của G theo các số nguyên {1,. Mã Gray ngợc đợc định nghĩa nh sau ; G−1(i) = j khi và chỉ khi G(j) =i Chúng ta sử dụng cả mã Gray và mã Gray ngợc để chuyển đồ thị Ring và Mesh vào trong hypercube. Chơng này đã tìm hiểu về kiến trúc các mạng kết nối và đánh giá ảnh h- ởng của mạng đến độ trễ và băng thông trong chi phí thời gian truyền thông, cũng nh việc ánh xạ tĩnh từ đồ thị tác vụ vào trong kiến trúc mạng kết nối.