6. Bố cục của luận án
1.4.2. Trễ truyền thông trong hệ thống tính toán song song
Giữa các tiến trình thường có sự trao đổi dữ liệu trung gian với nhau, do đó sẽ xuất hiện trễ truyền thông giữa chúng (hay giữa các bộ xử lý qua mạng liên kết).
Truyền thông giữa các đơn vị xử lý có thể bị tạm dừng (hay tạm bị khóa) (processor idle) do nhiều lý do của điều khiển song song như: cân bằng tải, đồng bộ hóa và có thể phải thực hiện các thành phần tuần tự trong chương trình. Trong nhiều ứng dụng song song, không thể hoặc là rất khó khăn để dự đoán kích thước của các nhiệm vụ nhỏ gán cho các bộ xử lý khác nhau. Do vậy, có thể các đơn vị xử lý chịu tải khác nhau, dẫn đến, một số đơn vị xử lý chịu tải thấp có thời gian tính toán nhanh hơn sẽ phải chờ đợi các đơn vị xử lý đối tác truyền dữ liệu chịu tải lớn có thời gian tính toán chậm hơn.
20
Trong điều kiện lý tưởng, thuật toán áp dụng cho thực hiện chương trình song song đảm bảo có sự cân bằng tải cho tất cả các đơn vị xử lý, thì sự cân bằng tải và đồng bộ đảm bảo không có thời gian nghỉ của các đơn vị xử lý trong quá trình thực hiện tính toán song song. Khi đó trễ chỉ chi phí cho truyền dữ liệu giữa các đơn vị xử lý và trễ lúc này phụ thuộc vào kích thước dữ liệu (gói tin) mà các đơn vị xử lý chuyển cho nhau, công nghệ và cấu hình mạng liên kết các đơn vị xử lý.
Ảnh hưởng của công nghệ mạng, của cấu hình mạng liên kết các đơn vị xử lý trong các kiến trúc song song: chip đa xử lý, hệ thống nhiều máy tính (multicomputer system) như siêu máy tính cho đến trễ truyền thông là một vấn đề được nhiều nghiên cứu quan tâm [16,24, 57, 64]. Bởi nó là yếu tố chính làm thay đổi tốc độ tính toán và qua đó là ảnh hưởng đến hiệu năng của các hệ thống tính toán song song.