THUYẾT TRÌNH THUẬT TOÁN SONG SONG

THUYẾT TRÌNH THUẬT TOÁN SONG SONG

Trường Đại học công nghệ thông tin Khoa Kỹ Thuật Máy Tính THUYẾT TRÌNH: THUẬT TOÁN SONG SONG GVHD: Ths Thiều Xuân Khánh Thuật Toán Song Song  Giới Thiệu Sự Phát Triển Thuật Toán Song Song  Reduction algorithms (Thuật Toán Giảm Thiểu)  Broadcast algorithms (Thuật Toán Quảng Bá)  Prefix sums algorithms (Thuật Toán Sắp Xếp Tổng) I. Giới Thiệu Sự Phát Triển Thuật Toán Song Song  Thuật toán song song chủ yếu là phụ thuộc vào nền tảng và cấu trúc song song.  Phân loại thuật toán MIMD o Các thuật toán dữ liệu song song được lập lịch trước. o Các thuật toán dữ liệu song song tự lập lịch. o Các thuật toán điều khiển song song.  Theo M.J.Quinn (1994), có 7 thiết kế chiến lược cho các thuật toán song song. • 3 vấn đề cơ bản được xem xét o Reduction o Broadcast o Prefix sums • Mục tiêu kiến trúc o Mô hình Hypercube SIMD o Mô hình lưới 2D SIMD o Mô hình đa xử lý UMA o Đa máy tính Hypercube Reduction Problem  Mô tả: Cho n giá trị a0, a1, a2 an-1, một phép kết hợp , ⊕ hãy sử dụng những bộ xử lý p để tính tổng: S = a0 a1 a2 an-1⊕ ⊕ ⊕ ⊕  Chiến lược thiết kế 1 - " Nếu có chi phí tối ưu giải thuật CREW PRAM tồn tại và cách thức xử lý PRAM tương tác thông qua các biến chia sẻ ánh xạ vào mục tiêu kiến trúc, giải thuật PRAM là điểm khởi đầu hợp lý " Cost optimal pram algorithm for the reduction problem  Phí tối ưu phức tạp thuật toán PRAM: O (logn) (sử dụng n chia 2 bộ xử lý)  Ví dụ với n = 8 và p = 4 bộ vi xử lý) Cost Optimal PRAM Algorithm for the Reduction Problem(cont’d)  Sử dụng p = n chia 2 bộ xử lý để thêm số lượng n: Ghi chú: các bộ xử lý giao tiếp trong một mô hình cây biominal Solving Reducing Problem on Hypercube SIMD Computer Solving Reducing Problem on Hypercube SIMD Computer (cond’t) Sử dụng p bộ xử lý để thêm n số lượng(p << n) Solving Reducing Problem on Hypercube SIMD Computer (cond’t) [...]... Model(cont’d)  Độ phức tạp thuật toán 0(n/p + p)  Ưu điểm của thuật toán này là gì so với một số khác sử dụng kiểu thành phần quan trọng để tính tổng ?  Chiến lược thiết kế 2: o  Hãy tìm một thuật toán dữ liệu song song trước khi xem xét một thuật toán điều khiển song song Trên máy tính MIMD, chúng ta nên khai thác cả hai dữ liệu song song và điều khiển song song (nổ lực phát triển chương trình SPMD nếu có... liên kết sử dụng đồng thời là plogp, lớn hơn nhiều so với các thuật toán trước đó Prefix SUMS Problem  Mô tả: Cho một thao tác liên kết ⊕ và một mảng A chứa n phần tử, chúng ta hãy tính số lượng n  A[0]  A[0] ⊕ A[1]  A[0] ⊕ A[1] ⊕ A[2]  …  A[0] ⊕ A[1] ⊕ A[2] ⊕ … ⊕ A[n-1] Chi phí tối ưu thuật toán PRAM: tính toán song song: Lý thuyết và thực tiễn ", mục 2.3.2, p 32 Prefix SUMS Problem on Multicomputers... trên cao và thời gian truyền tải dữ liệu Broadcast Algorithm on Hypercube SIMD  Nếu số lượng dữ liệu nhỏ, thuật toán tốt nhất mất logp bước trên p nút hypercube  Ví dụ: một số quảng bá trên hypercube 8 nút Broadcast Algorithm on Hypercube SIMD Broadcast Algorithm on Hypercube SIMD  Các thuật toán trước đó - Sử dụng tối đa p/2 trong số plogp các liên kết của hypercube - Yêu cầu thời gian Mlogp để... thuật toán mà thực hiện logp lần nhanh hơn bằng cách: - Phá bỏ thông điệp vào các bộ phận logp - Quảng bá mỗi phần đến tất cả các nút khác thông qua điểm khác nhau ở cây mở rộng biominal Johnsson and Ho’s Broadcast Algorithm on Hypercube SIMD • Thời gian quảng bá một thông điệp chiều dài M là Mlogp / LogP = M • Số lượng tối đa của các liên kết sử dụng đồng thời là plogp, lớn hơn nhiều so với các thuật. ..Solving reducing problem on 2D-Mesh SIMD computer  Một lưới 2D với p * p bộ ​xử lý cần ít nhất 2(p-1) bước gửi dữ liệu giữa hai nút xa nhất  Các ràng buộc thấp hơn tính phức tạp của bất kỳ thuật toán tổng cắt giảm là 0(n/p2 + p) Ví dụ:một lưới 4 * 4 cần 2 * 3 bước để có được tổng phụ từ bộ xử lý góc Solving Reducing Problem on 2D-Mesh SIMD Computer(cont’d)  Ví dụ: tính tổng của lưới 4*4 Solving... Problem on Multicomputers  Tìm kiếm các tổng tiền tố của 16 giá trị Prefix SUMS Problem on Multicomputers(cont’d) Bước (a) - Mỗi bộ xử lý được cấp phát chia sẻ của giá trị Bước (b) - Mỗi bộ xử lý tính toán tổng hợp các phần tử nội bộ của nó Bước (c) - Các tổng tiền tố của các tổng nội bộ được tính và phân bổ cho tất cả các bộ xử lý Bước (d) - Mỗi bộ xử lý tính tổng tiền tố các yếu tố riêng của mình . tin Khoa Kỹ Thuật Máy Tính THUYẾT TRÌNH: THUẬT TOÁN SONG SONG GVHD: Ths Thiều Xuân Khánh Thuật Toán Song Song  Giới Thiệu Sự Phát Triển Thuật Toán Song Song  Reduction algorithms (Thuật Toán Giảm. cấu trúc song song.  Phân loại thuật toán MIMD o Các thuật toán dữ liệu song song được lập lịch trước. o Các thuật toán dữ liệu song song tự lập lịch. o Các thuật toán điều khiển song song.  Theo. Thiểu)  Broadcast algorithms (Thuật Toán Quảng Bá)  Prefix sums algorithms (Thuật Toán Sắp Xếp Tổng) I. Giới Thiệu Sự Phát Triển Thuật Toán Song Song  Thuật toán song song chủ yếu là phụ thuộc