Tính toán song song là quá trình tính toán trong đó nhiều phép tính được thực hiện đồng thời. Tính toán song song hoạt động dựa trên nguyên tắc phân rã
bài toán lớn thành những bài toán nhỏ hơn độc lập, và giải chúng trên máy tính song song.
Cho Pi và Pj là hai đoạn của chương trình thể hiện thuật toán giải bài toán i và j. Với Pi ta đặt Ii là tất cả các biến đầu vào, Oi là biến đầu ra, tương tự ta cũng làm như vậy vớiPj. Ta nói rằng,Pi vàPj là độc lập theo Bernstein [21], nếu chúng thỏa mãn: Ij \ Oi= /0,Ii \ Oj= /0,Oi \ Oj= /0.
Khi đó, ta có thể hiểu bài toán i và j độc lập theo nghĩa như sau: Cho Pi và Pj là hai đoạn của chương trình thể hiện thuật toán giải bài toán i và j. Khi đó bài toáni và j được gọi là độc lập nếu Pi vàPj độc lập.
Tính toán song song là một trong những lĩnh vực nghiên cứu của khoa học máy tính. Mục đích của tính toán song song là giảm thời gian tính toán bằng cách sử dụng đồng thời nhiều bộ xử lý. Xu hướng này xuất phát từ yêu cầu cần có một lời giải nhanh cho bài toán có kích thước lớn trong các ứng dụng như dự báo thời tiết, mô phỏng các hệ thống lớn, xử lí và truy xuất thông tin, xử lí ảnh, vv...
Tính toán song song liên quan đến các yếu tố sau: kiến trúc máy tính song song, thuật toán song song, ngôn ngữ lập trình song song và đánh giá hiệu năng.