Parallel computing (c1)

TS Ngô Văn Thanh, Viện Vật lý Chuyên ngành : Công nghệ thông tin  Michael J Quinn Parallel Computing, theory and practice, 2nd edition Oregon State University, USA McGraw Hill Inc  Dimitri P Bertsekas and John N Tsitsiklis Parallel and Distributed Computation, Numerical Methods Massachusets Institute of Technology Prentice Hall Press  Enrico P The lecture notes on Parallel Computing (CS 491) Computer Science Dept New Mexico State University, USA Spring 2004   Thomas H Cormen, Charles E Leiserson, Ronald L Rivest and Clifford Strein Introduction to Algorithms, 2nd edition Massachusets Institute of Technology The MIT Press David A Patterson and John L Hennessy Computer Organization & Design, the hardware/software interface, 2nd edition Stanford University & University of California at Berkeley, 2002  Charles Leiserson The lecture notes on Theory of Parallel Systems Massachusets Institute of Technology, Open Course Ware www.ocw.mit.edu  Michel Cosnard & Denis Trystram, Parallel Algorithms and Architectures International Thomson Computer Press 1995 @2009, Ngô Văn Thanh - Viện Vật Lý Chương 1: Các kiến trúc song song 1.1 Tổng quan tính toán song song 1.2 Các kiến trúc song song đồng 1.2.1 Máy tính dòng lệnh, dòng liệu (SISD) 1.2.2 Máy tính dòng lệnh, nhiều dòng liệu (SIMD) 1.2.3 Máy tính vector 1.3 Các kiến trúc song song khơng đồng 1.3.1 Máy tính nhiều dòng lệnh, dòng liệu (MISD hay Reduction) 1.3.2 Máy tính nhiều dòng lệnh, nhiều dòng liệu (MIMD) 1.4 Tổ chức vi xử lý 1.5 Các mảng vi xử lý (processor arrays) 1.6 Máy tính nhiều vi xử lý (multiprocessor) 1.6.1 Nhiều vi xử lý truy cập nhớ đồng (Uniform Memory Access Multiprocessors) 1.6.2 Nhiều vi xử lý truy cập nhớ không đồng (Non Uniform Memory Access) 1.7 Hệ thống nhiều máy tính (Multicomputers) 1.8 Giới thiệu máy tính CM-200 (Connection Machine 200 by Thinking Machine Corp) @2009, Ngô Văn Thanh - Viện Vật Lý Chương 1: Các kiến trúc song song 1.1 Tổng quan tính tốn song song Hạn chế máy tính    Tốc độ vi xử lý máy tính (processor) Dung lượng nhớ RAM Giải tốn lớn nhiều thời gian Tính tốn song song  Phần cứng:  Siêu máy tính: SIMD, MIMD máy tính có nhiều vi xử lý (multi-processor), có nhiều lõi vi xử lý (multi-core)  Cụm máy tính (cluster): kết nối máy tính PC với tạo thành cụm máy tính, máy tính giao tiếp với thơng qua mạng  Máy tính ảo song song (PVM = parallel vitual machine): Chia CPU thành nhiều CPU ảo mà có khả hoạt động tương tự CPU thực thụ @2009, Ngô Văn Thanh - Viện Vật Lý  Phần mềm lập trình (C/C++ Fortran):  OpenMP : hoạt động hệ máy tính chia sẻ nhớ (shared memory), có kiến trúc kiểu SIMD  MPI (message passing interface): thực câu lệnh song song CPU khác giao thức gửi nhận thơng điệp  High performance (HPF/HPC): tính tốn song song phần tử mảng liệu Hay nói cách khác, mảng liệu phân bố CPU khác (Data distribution) MPI HPF/HPC sử dụng máy tính multi-processor (SIMD /MIMD), cụm máy tính máy tính ảo song song  Thuật tốn song song  Thuật toán song song nhân hai ma trận  Thuật tốn xếp  Thuật tốn song song tìm kiếm tổ hợp @2009, Ngô Văn Thanh - Viện Vật Lý 1.2 Các kiến trúc song song đồng 1.2.1 Máy tính dòng lệnh, dòng liệu (SISD - Single Instruction - Single Data)  Máy tính (scalar computer): thực thị (một dòng lệnh) chu trình  Ví dụ phép tính cộng hai số a b: cần phải thực chu trình Nhận thị Đọc giá trị a Đọc giá trị b Tính a+b Ghi kết  Trong thực tế chu trình kết hợp nhiều chu trình  Máy tính loại SISD máy tính PC thơng thường, có vi xử lý Khơng có cấu trúc song song khơng có liệu song song @2009, Ngô Văn Thanh - Viện Vật Lý   Kênh tuyến (pipeline): chia bước tính khác thành đơn vị chức để đưa kết trung gian Bộ vi xử lý tạo nhiều kênh tuyến gọi máy tính siêu (superscalar computer) Chu trình Đọc lệnh Ghi kết Tính a+b Tính a+b Đọc giá trị b Đọc giá trị b Đọc giá trị b Đọc giá trị a Đọc giá trị a Đọc giá trị a Đọc giá trị a Đọc lệnh Đọc lệnh Đọc lệnh Đọc lệnh Thời gian @2009, Ngô Văn Thanh - Viện Vật Lý  Kỹ thuật kênh tuyến:  Ví dụ phép tính cộng hai số bi: cần phải thực chu trình Lệnh Lệnh Lệnh Lệnh CT1 CT2 CT3 CT4 CT5 Đọc lệnh Đọc số a1 Đọc số b1 Tính a1+b1 Ghi kết Đọc lệnh Đọc số a2 Đọc số b2 Tính a2+b2 Ghi kết Đọc lệnh Đọc số a3 Đọc số b3 Tính a3+b3 Ghi kết Đọc lệnh Đọc số a4 Đọc số b4 Tính a4+b4 Ghi kết Đọc lệnh Đọc số a5 Đọc số b5 Tính a5+b5 Lệnh CT6 CT7 CT8 CT9 Ghi kết  Ưu điểm: tăng tốc độ xử lý liệu  Nhược điểm: Chỉ hoạt động tốt cho số kiểu liệu đặc thù Cấu trúc vi xử lý phức tạp Khó điểu khiển @2009, Ngơ Văn Thanh - Viện Vật Lý 1.2.2 Máy tính dòng lệnh, nhiều dòng liệu (SIMD - Single Instruction - Multiple Data)     Đối với liệu lớn, tính tốn số thường thực với phép tính với liệu khác SIMD: thực dòng lệnh nhiều phần liệu khác Các toán sử dụng hệ SIMD cần phải vector hóa Máy tính vector sử dụng rộng rãi lĩnh vực tính tốn hiệu cao Tuy nhiên , máy tính vector có cấu trúc phức tạp giá thành cao @2009, Ngô Văn Thanh - Viện Vật Lý SIMD – own local memory @2009, Ngô Văn Thanh - Viện Vật Lý Bộ điều khiển vi chương trình: điều khiển tác vụ lệnh mã máy thực chuỗi vi lệnh  Mỗi vi chương trình xử lý vi máy tính nằm bên điều khiển  Bộ xử lý xử lý tập lệnh phức tạp mà lệnh có chiều dài khác @2009, Ngơ Văn Thanh - Viện Vật Lý 1.5 Các mảng vi xử lý (processor arrays)     Thuộc kiểu kiến trúc SIMD Các vi xử lý phân bố dạng mảng chiều hai chiều Mỗi vi xử lý có truy cập với nhớ nội Chỉ giao tiếp liệu với vi xử lý lân cận thông qua kết nối mạng Tất vi xử lý thực đồng thời câu lệnh @2009, Ngô Văn Thanh - Viện Vật Lý 1.6 Máy tính nhiều vi xử lý (multiprocessor)     Máy tính nhiều vi xử lý có vi xử lý kết nối với để thực đồng thời công việc khác Phân loại theo kiểu giao tiếp:  Nhiều vi xử lý (2-256)  Nhiều máy tính (8-256) Phân loại theo kiểu kết nối vật lý:  Kết nối Bus (2-32)  Kết nối qua mạng (8-256) Phân loại kiểu Flynn: phân loại theo khả xử lý câu lệnh liệu  Máy tính dòng lệnh, dòng liệu (SISD)  Máy tính dòng lệnh, nhiều dòng liệu (SIMD)  Máy tính nhiều dòng lệnh, dòng liệu (MISD)  Máy tính nhiều dòng lệnh, nhiều dòng liệu (MIMD) @2009, Ngơ Văn Thanh - Viện Vật Lý Kết nối bus @2009, Ngô Văn Thanh - Viện Vật Lý Kết nối đầy đủ nhiều bus @2009, Ngô Văn Thanh - Viện Vật Lý Kết nối đơn nhiều bus @2009, Ngô Văn Thanh - Viện Vật Lý Kết nối phần nhiều bus @2009, Ngô Văn Thanh - Viện Vật Lý Kết nối phân lớp @2009, Ngô Văn Thanh - Viện Vật Lý 1.6.1 Nhiều vi xử lý truy cập nhớ đồng (Uniform Memory Access Multiprocessors)       Máy tính có kiến trúc kiểu MIMD với nhớ chia sẻ (shared memory) Bao gồm vi xử lý độc lập với Tất vi xử lý truy cập đến nhớ chung, thời gian truy cập đến nhớ vi xử lý Mỗi vi xử lý có ghi, đệm, nhớ riêng Các vi xử lý kết nối với thông qua kiểu kết nối mạng (interconnection network),  kết nối kiểu Bus  kết nối kiểu nhiều Bus  Kết nối kiểu ngang  Kết nối kiểu nhớ đa cổng Nhược điểm: gặp khó khăn việc nâng cấp nhớ giải tốn lớn @2009, Ngơ Văn Thanh - Viện Vật Lý 1.6.2 Nhiều vi xử lý truy cập nhớ không đồng (Non Uniform Memory Access Multiprocessors)     Tương tự kiến trúc nhiều vi xử lý truy cập nhớ đồng Mỗi vi xử lý gắn với nhớ riêng Ưu điểm: tăng tốc độ truy cập vao nhớ Nhược điểm: thời gian giao tiếp vi xử lý phụ thuộc vào tốc độ truyền qua mạng @2009, Ngô Văn Thanh - Viện Vật Lý 1.7 Hệ thống nhiều máy tính (Multicomputers)      Hệ thống cluster: máy tính độc lập kết nối với thông qua hệ thống kết nối tốc độ cao Mỗi máy tính hệ cluster gọi node Các máy tính độc lập máy PC thơng thường có nhiều vi xử lý Hệ thống kết nối máy tính với dạng mạng LAN cáp thường cáp quang Hệ thống cluster có ưu điểm:  Tốc độ cao: Với hỗ trợ phần mềm tính tốn song song, cluster có khả xử lý mạnh máy tính đơn lẻ  Dễ nâng cấp: nâng cấp cho node thêm node  Độ tin cậy cao: Hệ thống hoạt động ổn định có nút (node) hệ thống bị hư hỏng  Giá thành thấp: cluster kết nối máy tính PC thơng thường @2009, Ngô Văn Thanh - Viện Vật Lý 1.7 Hệ thống nhiều máy tính (Multicomputers)      Hệ thống cluster: máy tính độc lập kết nối với thông qua hệ thống kết nối tốc độ cao Mỗi máy tính hệ cluster gọi node Các máy tính độc lập máy PC thơng thường có nhiều vi xử lý Hệ thống kết nối máy tính với dạng mạng LAN cáp thường cáp quang Hệ thống cluster có ưu điểm:  Tốc độ cao: Với hỗ trợ phần mềm tính tốn song song, cluster có khả xử lý mạnh máy tính đơn lẻ  Dễ nâng cấp: nâng cấp cho node thêm node  Độ tin cậy cao: Hệ thống hoạt động ổn định có nút (node) hệ thống bị hư hỏng  Giá thành thấp: cluster kết nối máy tính PC thơng thường @2009, Ngơ Văn Thanh - Viện Vật Lý 1.8 Giới thiệu máy tính CM-200 (Connection Machine 200 by Thinking Machine Corp)     Ra đời vào năm 1987, kết thúc vào năm 1991 Thuộc kiểu kiến trúc SIMD Số processor: 2048  65536 Tốc độ lý thuyết: 31 Gflop/s @2009, Ngô Văn Thanh - Viện Vật Lý @2009, Ngô Văn Thanh - Viện Vật Lý @2009, Ngô Văn Thanh - Viện Vật Lý ... Michael J Quinn Parallel Computing, theory and practice, 2nd edition Oregon State University, USA McGraw Hill Inc  Dimitri P Bertsekas and John N Tsitsiklis Parallel and Distributed... Methods Massachusets Institute of Technology Prentice Hall Press  Enrico P The lecture notes on Parallel Computing (CS 491) Computer Science Dept New Mexico State University, USA Spring 2004   Thomas... Leiserson The lecture notes on Theory of Parallel Systems Massachusets Institute of Technology, Open Course Ware www.ocw.mit.edu  Michel Cosnard & Denis Trystram, Parallel Algorithms and Architectures