Parallel computing (c2)

TS Ngô Văn Thanh, Viện Vật lý Chuyên ngành : Công nghệ thông tin http://iop.vast.ac.vn/~nvthanh/cours/parcomp/ Chương 2: Các vấn đề hệ thống tính tốn song song 2.1 Hiệu suất hệ thống xử lý song song 2.2 Tốc độ (speedup) hiệu (efficiency) xử lý song song 2.2.1 Tốc độ (speedup) xử lý song song 2.2.2 Hiệu (efficiency) xử lý song song 2.2.3 Định luật Amdhal Gustafson-Barsis tốc độ hiệu xử lý song song 2.3 Ánh xạ liệu máy tính song song 2.4 Vấn đề cân tải động hệ thống nhiều máy tính (multicomputers) 2.5 Vấn đề lập lịch biểu hệ thống nhiều máy tính (multicomputers) 2.5.1 Giải thuật Graham's List Scheduling 2.5.2 Giải thuật Coffman-Graham Scheduling 2.6 Vấn đề deadlocks @2009, Ngô Văn Thanh - Viện Vật Lý 2.1 Hiệu suất hệ thống xử lý song song   So sánh hiệu suất hệ thống xử lý song song Tìm giải pháp tối ưu nhất:  Tiết kiệm thời gian  Tiết kiệm chi phí cho phần cứng Định nghĩa ký hiệu:    Tổng số vi xử lý: Tổng số đơn vị phép tính thực processors:  Đại lượng liên quan đến cơng lượng tính tốn Thời gian chạy processors:  với  với  Tốc độ (speed-up):  Hiệu (efficiency): @2009, Ngô Văn Thanh - Viện Vật Lý  Phần dư (redundance):  Phần sử dụng (utilization):  Chất lượng (quality):  Các biểu thức liên hệ: @2009, Ngô Văn Thanh - Viện Vật Lý  Ví dụ: phép tính tổng 16 số chạy processors  Tổng số phép tính : tính thời gian thực phép cộng:  Tổng số phép tính processors: p1  Thời gian tính (chu trình): p1 Tốc độ: p1   Hiệu  Phần dư chất lượng: p2 p3 p3 p4 p5 p5 p6 p7 p7 p5 p1 @2009, Ngô Văn Thanh - Viện Vật Lý p8 Tổng số phép tính kể thời gian thực phép cộng thời gian truyền liệu processors: 22   Kết tính processor 2,4,6 chuyển đến processor 1,3,5 cách tương ứng Các thao tác thể mũi tên màu đỏ Các mũi tên vàng không thời gian chạy  Tổng số phép tính: p1  Thời gian tính (chu trình): p1  Tốc độ: p1  Hiệu quả:  Phần dư chất lượng: p2 p3 p3 p4 p5 p5 p6 p7 p7 p5 p1 @2009, Ngô Văn Thanh - Viện Vật Lý p8 2.2 Tốc độ hiệu xử lý song song 2.2.1 Tốc độ (speedup) xử lý song song  So sánh thời gian tính cho tác vụ chạy máy tính đơn đa processor  Một tác vụ chia thành tác vụ con, tác vụ thực processor  Thời gian chạy toàn tác vụ processor:  Thời gian chạy tác vụ processor:  Các tác vụ thực đồng thời processors thời gian thực toàn tác vụ  Định nghĩa hệ số tốc độ:  Nếu xét thời gian truyền thông tin cho processor @2009, Ngô Văn Thanh - Viện Vật Lý 2.2.2 Hiệu (efficiency) xử lý song song  Để chuyển đơn vị tỷ lệ cho hệ số tốc độ nằm khoảng từ đến 1, người ta định nghĩa đại lượng khác gọi "hiệu " Chương trình có đoạn tính  Giả thiết ta có f phần tác vụ khơng thể chia thành tác vụ để chạy song song, lúc ta có (1 – f ) phần tác vụ tính song song For i=1,n c(i)=a(i)+b(i) Tính song song For j=1,n sum=sum+c(j) Tính For k=1,n a(k)=a(k)/sum b(k)=b(k)/sum Tính song song @2009, Ngơ Văn Thanh - Viện Vật Lý  Thời gian thực toàn tác vụ:  Tốc độ:  Hiệu quả:  Nếu xét thời gian truyền thông tin cho processor:  Tốc độ cực đại:  Hiệu quả: @2009, Ngô Văn Thanh - Viện Vật Lý 2.2.3 Định luật Amdhal Gustafson-Barsis tốc độ hiệu xử lý song song Định luật Amdhal  Xét trường hợp  Ta có: giá trị f khơng phụ thuộc vào số lượng processor hệ song song (kích thước chương trình khơng đổi) Nếu f = 1: khơng có tăng tốc độ chạy hệ song song Tốc độ cực đại hệ song song tỷ lệ nghịch với hệ số f   Tốc độ hệ song song có p processor tăng tăng số processor bị giới hạn số phần tác vụ tính chương trình Hiệu quả: @2009, Ngơ Văn Thanh - Viện Vật Lý Ví dụ:  Ánh xạ (block,block): với mảng liệu A(6,6) processor P(2,2)  P(1,1) P(1,2) P(2,1) P(2,2)  chứa chứa chứa chứa các các phần phần phần phần tử: tử: tử: tử: A(1,1:3), A(1,4:6), A(4,1:3), A(4,4:6), A(2,1:3), A(2,4:6), A(5,1:3), A(5,4:6), A A(3,1:3) A(3,4:6) A(6,1:3) A(6,4:6) P(1,2) P(2,1) P(2,1) Ánh xạ (cyclic,cyclic) A P(1,1) P(1,1) P(1,2) P(1,1) P(1,2) P(1,1) P(1,2) P(2,1) P(2,2) P(2,1) P(2,2) P(2,1) P(2,2) P(1,1) P(1,2) P(1,1) P(1,2) P(1,1) P(1,2) P(2,1) P(2,2) P(2,1) P(2,2) P(2,1) P(2,2) P(1,1) P(1,2) P(1,1) P(1,2) P(1,1) P(1,2) P(2,1) P(2,2) P(2,1) P(2,2) P(2,1) P(2,2) @2009, Ngô Văn Thanh - Viện Vật Lý 2.4 Vấn đề cân tải động hệ thống nhiều máy tính (multicomputers)      Cân tải node trình chạy chương trình cách tự động Phân bố tác vụ processor để nâng cao hiệu tốc độ hệ máy tính song song Mỗi toán chia thành tác vụ thực chu trình Các chu trình ánh xạ lên processor cho processor làm việc liên tục Thông thường người ta ánh xạ tác vụ lên processor @2009, Ngô Văn Thanh - Viện Vật Lý Các thuật toán  Thuật toán cân tải từ trung tâm (Centralized load balancing algorithms)  Thuật tốn có kiểu cấu trúc chủ-khách (master-slave)  Thuật toán áp dụng tốt cho trường hợp có processor khách  Một processor chủ nắm giữ điều khiển tất tác vụ cần thực  Processor chủ gửi tác vụ cần thực đến processor khách (slave) Khi processor khách thực xong tác vụ gửi u cầu đến processor chủ để nhận tác vụ @2009, Ngô Văn Thanh - Viện Vật Lý  Thuật toán cân tải phân bố (distributed load balancing algorithms)  Các chu trình tự tác động lẫn để thực tác vụ chương trình Cuối cùng, chu trình đưa chu trình  Một processor trao đổi thơng tin với processor bên cạnh  Mỗi processor nhận tác vụ từ processor khác gửi tác vụ đến processor xung quanh @2009, Ngô Văn Thanh - Viện Vật Lý  Thuật tốn chuyển tác vụ chu trình  Sender initiated load balancing algorithm Một chu trình gửi tác vụ đến chu trình khác mà có nhiều tác vụ cần phải thực Để chuyển tác vụ phải chu trình nhận cho phép, tức chu trình nhận phải trống Thuật tốn áp dụng tốt cho hệ có tải thấp  Receiver initiated load balancing algorithm Một chu trình có tác vụ khơng có tác vụ gửi u cầu đến chu trình khác để nhận thêm tác vụ Thuật toán áp dụng tốt cho hệ có tải cao, nhiên hạn chế thuật tốn khó xác định tải chu trình @2009, Ngơ Văn Thanh - Viện Vật Lý 2.5 Vấn đề lập lịch biểu hệ thống nhiều máy tính (multicomputers)     Xác định thứ tự gán tác vụ lên phần tử xử lý để có hiệu cao tối ưu Hiệu năng: liên quan đến chất lượng việc gán tác vụ Thời gian thực chương trình ngắn hiệu cao Hiệu (hiệu suất): liên quan đến thuật giải việc lập lịch biểu, tính dựa mức độ phức tạp thuật toán Thuật toán đơn giản hiệu cao Một chương trình lập lịch biểu bao gồm:  Các tác vụ chương trình (program tasks)  Máy tính mục tiêu (target machine)  Lập lịch biểu (schedule)  Tác vụ chương trình: ký hiệu  Tập hợp tác vụ cần phải thực  Thứ tự thực tác vụ: "