Như đã lưu ý ở trên, làm giảm tương tác quá mức giữa các tiến trình là một điều quan trọng cho một chương trình song song hiệu quả. Nguyên nhân xảy ra điều này cĩ thể do nhiều yếu tố, như kích thước của dữ liệu dùng trong quá trình tương tác, tần số tương tác…
Trong phần này chúng ta sẽ xem xét một vài phương pháp tổng quát để làm hạn chế quá tải do tương tác xảy ra trong các chương trình song song. Tất cả các kỹ thuật này cĩ thể khơng thích hợp cho mơ hình lập trình song song và một vài trong sốđĩ cần sự hỗ trợ của phần cứng bên dưới.
từng tác vụ thực hiện tính tốn từng phần tử của vector y và cần phải truy cập đến các phần tử của vector nhập b. Các kỹ thuật nhằm gia tăng sử dụng dữ liệu cục bộ bao gồm một pham vi rộng lớn các cách thức nhằm giảm thiểu tối đa kích thước của các dữ liệu truyền tải, tối đa hĩa việc sử dụng lại các dữ liệu vừa được truy cập, và cực tiểu số lần truy cập.
• Cực tiểu dữ liệu trao đổi
Một phương pháp cơ bản nhằm làm giảm sự tương tác quá mức là làm giảm đến mức tối đa dữ liệu chia sẽ cần để truy cập bởi nhiều tiến trình cùng một lúc. Điều này tương tự với việc tối đa hĩa sử dụng dữ liệu cục bộ một cách tạm thời, nghĩa là thực hiện tham chiếu liên tục đến càng nhiều dữ liệu càng tốt. Rõ ràng càng nhiều bước tính tốn trên dữ liệu cục bộ cĩ sẵn sẽ gĩp phần xĩa đi yêu cầu chuyển dữ liệu vào vùng đệm cho các tiến trình xử lý. Như đã nĩi ở trên để đạt được điều này cần áp dụng các phương pháp phân hoạch và ánh xạ thích hợp. Ví dụ như trong bài tốn nhân ma trận nếu ta áp dụng ánh xạ 2 chiều thì kích thước dữ liệu chia sẽ cần được truy cập chỉ là p n2 2 , cịn nếu áp dụng ánh xạ 1 chiều thì kích thước sẽ lên tới 2 2 n p n +
. Nĩi tĩm lại, phân bố với số chiều càng cao thì càng làm giảm khối lượng của dữ liệu cần chia sẽ.
Một cách khác để làm giảm sự truy cập của các tiến trình đến dữ liệu chia sẽ là sử dụng dữ liệu cục bộđể lưu kết quả trung gian, và chỉ thực hiện truy cập đến dữ liệu chia sẽ tại nơi sẽ tính tốn kết quả cuối cùng.
• Cực tiểu tần số tương tác
Đây là một phương pháp quan trọng trong việc làm giảm sự quá tải tương tác trong các chương trình song song bởi vì trong nhiều kiến trúc thì chi phí kích hoạt cho từng tương tác là khá lớn. Ta cĩ thể làm giảm tần số tương tác bằng cách tái cấu trúc lại các thuật tốn sao cho các dữ liệu chia sẽđược truy cập và sử dụng thành các phần lớn.
Phần bàn luận của chúng ta cho đến bây giờ chỉ là tập trung làm giảm tương tác quá mức chủ yếu bằng cách trực tiếp hay gián tiếp làm giảm tần số và dụng lượng dữ liệu trao đổi. Tuy nhiên mơ hình tương tác giữa các tác vụ thường dẫn đến tranh chấp làm gia tăng sự tương tác. Nĩi chung, tranh chấp xảy ra khi nhiều tác vụ cùng truy cập đồng thời vào tài nguyên. Nhiều luồng trao đổi dữ liệu trên cùng một đường liên kết, nhiều sự truy cập cùng lúc vào cùng một khối nhớ, hay nhiều tiến trình thực hiện gửi những thơng điệp đến cùng một tiến trình vào cùng một thời điểm, tất cả cĩ thể dẫn đến sự xung đột. Điều này bởi vì chỉ một trong nhiều thao tác cĩ thể được thực thi tại một thời điểm cịn những thao tác cịn lại phải được sắp xếp và thực hiện tuần tự.
Xem lại bài tốn nhân hai ma trận C = AB, sử dung phương pháp phân hoạch theo 2 chiều như hình bên trên (Hình 2.16). Gọi p là số lượng các tác vụđược ánh xạ 1-1 vào trong các tiến trình. Mỗi tác vụ sẽ chịu trách nhiệm tính tốn một phần tử Ci,j của ma trận kết quả C, với 0≤i, j < p. Phần tửCi,jđược tính theo cơng thức (viết theo ký hiệu ma trận khối):
∑− = = 1 0 , , , * p k j k k i j i A B C
Xem cách truy cập vào bộ nhớ của cơng thức trên, chúng ta thấy rằng bất cứ tại bước pnào, thì pcác tác vụ cũng sẽ truy cập vào cùng một khối của ma trận A và B. Trong trường hợp đặc biệt, tất cả các tác vụ làm việc trên cùng một dịng của C cũng sẽ truy cập lên cùng một khối của A. Ví dụ như tất cả ptiến trình tính C0,0, C0,1, …, C0, p−1cũng sẽ cùng đọc A0,0 cùng một lúc. Tương tự như vậy tất cả các tác vụ làm việc trên cùng một cột của C cũng sẽ truy cập lên cùng một khối của B. Nhu cầu truy
Một cách để làm giảm tranh chấp này là thiết kế lại thuật tốn song song để nĩ truy cập vào dữ liệu theo các mẩu khơng xung đột. Ví dụ như thuật tốn nhân ma trận, chúng ta cĩ thể hiệu chỉnh thứ tự các khối ma trận được nhân với nhau bằng cách sử dụng cơng thức:
∑− = + + + + = 1 0 ,( )% ( )% , , * p k i i j k p i j k p j j i A B C Bằng cách sử dụng cơng thức này tất cả các tác vụ P*,j làm việc trên cùng một dịng của C sẽ truy cập vào khối nhớ A*, (*+j+k)% p, khác nhau cho từng tác vụ. Vì vậy chỉ bằng cách sắp xếp lại thứ tự nhân các khối với nhau, ta cĩ thể loại bỏ tranh chấp. Ví dụ như trong các tiến trình tính tốn khối dịng của C, thì tiến trình tính tốn C0,j sẽ truy cập A0,j từ khối dịng đầu tiên của ma trận A thay vì A0,0.
Việc sử dụng ánh xạ động thường là nguồn gốc của những tranh chấp trên cấu trúc dữ liệu chia sẽ hay là từ các kênh giao tiếp dẫn đến tiến trình chính.
2.4.3.3. Đan xen các phép tính và tương tác
Thời gian mà các tiến trình chờ các dữ liệu chia sẽđến hay nhận thêm một cơng việc sau khi tương tác cĩ thể được làm giảm xuống, thơng thường là theo từng phần, bằng cách thực hiện một số phép tính tiện ích trong suốt thời gian chờđợi.
Một cách đơn giản để đan xen là khởi gán tương tác đủ sớm để nĩ hồn tất trước khi cần cho tính tốn. Đềđạt được điều này, chúng ta phải cĩ thể nhận ra các phép tính cĩ thể trước khi thực hiện tương tác. Sau đĩ trong chương trình song song phải được cấu trúc sao cho thực hiện khởi gán tương tác trước thời điểm mà nĩ thực hiện trong thuật tốn gốc. Về cơ bản, điều này là cĩ thể nếu cĩ nhiều tác vụ sẵn sàng thực thi cĩ sẵn trên cùng một tiến trình sao cho nếu cĩ một khối chờ cho việc tương tác hồn tất thì tiến trình vẫn cĩ thể thực thi các tác vụ khác.
phần cứng. Mơ hình lập trình phải cung cấp một cách thức cho phép tương tác và tính tốn được tiến hành đồng thời. Cách thức này phải được hỗ trợ bởi phần cứng bên dưới. Mơ hình và kiến trúc khơng gian địa chỉ khơng liên kết thường cung cấp sự hỗ trợ này thơng qua truyền thơng điệp ưu tiên dạng non-blocking. Mơ hình lập trình cung cấp các hàm cho việc gửi và nhận thơng điệp cho phép trả quyền điều khiển cho chương trình người dùng trước khi nĩ thực sự hồn tất. Vì thế chương trình cĩ thể sử dụng các hàm ưu tiên này để khởi tạo những tương tác và sau đĩ thực hiện các phép tính tốn. Nếu phần cứng cho phép tính tốn được thực hiện song song với trao đổi thơng điệp, thì sự tương tác cĩ thể giảm đáng kể.
2.4.3.4. Tạo bản sao dữ liệu hay các phép tính tốn
Trong một vài thuật tốn song song, nhiều tiến trình cĩ thể địi hỏi truy cập chỉ đọc thường xuyên vào một cấu trúc dữ liệu chia sẽ, như là bảng băm. Ví thế trừ khi khơng được phép yêu cầu thêm bộ nhớ, cịn khơng thì nên tạo một bản sao cấu trúc dữ liệu chia sẽ cho mỗi tiến trình để sau khi khởi gán tương tác, tất cả các những truy cập tiếp theo vào cấu trúc dữ liệu này sẽ khơng gây quá tải do tương tác.
Trong mơ hình chia sẽ khơng gian bộ nhớ, việc tạo bản sao của các dữ liệu chỉ đọc, được truy cập thường xuyên thì thường bị chịu tác động bởi những cache mà khơng phải do sự can thiệp tường minh của lập trình viên. Nhân bản dữ liệu một cách tường minh thường thích hợp cho các kiến trúc và mơ hình lập trình mà gặp phải những chi phí đáng kể khi truy cập vào dữ liệu chia sẽ. Vì thế mơ hình truyền thơng điệp là được lợi nhất khi ta thực hiện tạo bản sao dữ liệu ở các tiến trình, điều này cĩ thể làm giảm đáng kể sự quá tải do tương tác và cũng làm đơn giản hơn khi viết các chương trình song song.
một máy tính song song đã cho. Vì lý do này mà sao lưu dữ liệu phải được sử dụng một cách lựa chọn cho số lượng dữ liệu tương đối nhỏ.
Bên cạnh dữ liệu nhập, các tiến trình trong một chương trình song song cũng thường chia sẽ kết quả trung gian. Trong những trường hợp như vậy, để cho các tiến trình tự tính tốn kết quả trung gian sẽ hiệu quả hơn so với lấy chúng từ những tiến trình khác.