6. Bố cục của luận án
1.4.1 Các nguồn gây trễ trong tính toán song song
Trong các hệ thống tính toán song song, luôn tồn tại các trễ và chi phí phát sinh [61]. Cho dù thuật toán nào được áp dụng đi nữa thì các thành phần xử lý vẫn phải có ít nhiều sự phụ thuộc vào dữ liệu hay kết quả tính toán trung gian của nhau. Do đó, luôn có sự tồn tại các truyền thông giữa các phần tử xử lý và việc xác định các trễ này là một công việc quan trọng để hiểu rõ hiệu năng của hệ thống song song đó [61].
Các nguồn gây trễ trong các tính toán song song bao gồm: Quá trình khởi tạo kết nối, quá trình đồng bộ, truyền thông giữa các tiến trình, phân chia công việc cho các tiến trình hay cho các phần tử tính toán,...
19
Hình 1.11 Minh họa chi phí về thời gian trong xử lý song song [61]
Hình 1.11 minh họa 8 đơn vị tính toán (P0,..,P7) cùng tham gia thực hiện chương trình song song. Thời gian thực hiện tính toán trên hệ thống song song bao gồm thời gian tính toán cơ bản và thời gian tính toán dư thừa và trễ truyền thông giữa các đơn vị tính toán:
- Thời gian tính toán cơ bản (Essential) là thời gian để xử lý các nhiệm vụ chính của bài toán.
- Thời gian tính toán dư thừa (Excess): Trong hệ thống tính toán song song, các phần tử ngoài phần tính toán chính thì còn phải thực hiện thêm các tính toán khác so với khi thực hiện giải thuật tuần tự. Một ví dụ cho việc này đó là bài toán biến đổi Fourier nhanh (Fast Fourier Transform). Ở bài toán này, trong phiên bản giải thuật tuần tự có thể sử dụng lại được một số kết quả biến đổi trước đó, tuy nhiên sang giải thuật song song không thể sử dụng được kết quả này vì chúng được sinh ra ở các phần tử xử lý khác nhau. Như vậy, nếu cùng một khối lượng công việc thì thời gian một đơn vị xử lý phải thực hiện trong giải thuật song song sẽ lớn hơn thời gian mà chính đơn vị xử lý đó thực hiện với giải thuật tuần tự và thời gian này gọi là thời gian tính toán dư thừa (Excess computation).
- Trễ truyền thông giữa các đơn vị tính toán: Là thời gian cần phải truyền thông dữ liệu hoặc chuyển kết quả giữa các đơn vị tính toán với nhau hay cũng có thể là thời gian chờ đợi và đồng bộ hóa.