Bài giảng Kiến trúc máy tính (GV Nguyễn Thanh Sơn) Chương 7

Computer Architecture Computer Science & Engineering Chương Đa lõi, Đa xử lý & Máy tính cụm BK TP.HCM Dẫn nhập  Mục tiêu: Nhiều máy tính nối lại  hiệu cao    Song song mức cơng việc (q trình)   Hiệu xuất đầu cao cơng việc độc lập Chương trình xử lý song song có nghĩa   Đa xử lý (multiprocessors) Dễ mở rộng, sẵn sàng cao, tiết kiệm lượng Chương trình chạy nhiều xử lý Xử lý đa lõi (Multicores)  Nhiều xử lý Chip BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Phần cứng & Phần mềm  Phần cứng    Phần mềm    BK Đơn xử lý (serial): e.g., Pentium Song song (parallel): e.g., quad-core Xeon e5345 Tuần tự (sequential): ví dụ Nhân ma trận Đồng thời (concurrent): ví dụ Hệ điều hành (OS) Phần mềm tuần tự/đồng thời chạy phần đơn/song song  Thách thức: sử dụng phần cứng hiệu TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Lập trình song song   Phần mềm song song: vấn đề lớn Phải tạo cải thiện hiệu suất tốt   Khó khăn    BK Vì khơng dùng đơn xử lý nhanh, khơng phức tạp! Phân rã vấn đề (Partitioning) Điều phối Phí tổn giao tiếp TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Định luật Amdahl   Phần hạn chế khả song song (speedup) Ví dụ: 100 Bộ xử lý, tốc độ gia tăng 90?  Tnew = Tparallelizable/100 + Tsequential BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Khả phát triển (Scaling)  Bài toán: Tổng 10 số, Tổng ma trận [10 × 10]    Đơn xử lý (1 CPU): Time = (10 + 100) × tadd 10 xử lý    Time = 10 × tadd + 100/10 × tadd = 20 × tadd Speedup = 110/20 = 5.5 (55% of potential) 100 xử lý    Tăng tốc độ từ 10 đến 100 xử lý Time = 10 × tadd + 100/100 × tadd = 11 × tadd Speedup = 110/11 = 10 (10% of potential) Với điều kiện tải phân cho xử lý BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Scaling (tt.)    Kích thước Ma trận: 100 × 100 Đơn Xử lý (1 CPU): Time = (10 + 10000)×tadd 10 xử lý    100 xử lý    Time = 10 × tadd + 10000/10 × tadd = 1010 × tadd Speedup = 10010/1010 = 9.9 (99% of potential) Time = 10 × tadd + 10000/100 × tadd = 110 × tadd Speedup = 10010/110 = 91 (91% of potential) Giả sử tải chia cho tất CPU BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Strong vs Weak Scaling  Strong scaling: ứng dụng & hệ thống tăng dẫn đến speedup tăng   Như ví dụ Weak scaling: speedup khơng đổi  10 xử lý, ma trận [10 × 10]   100 xử lý, ma trận [32 × 32]   Time = 20 × tadd Time = 10 × tadd + 1000/100 × tadd = 20 × tadd Hiệu suất không đổi BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Mơ hình chia sẻ nhớ (SMP)  SMP: shared memory multiprocessor    Phần cứng tạo không gian địa chung cho tất xử lý Đồng biến chung dùng khóa (locks) Thời gian truy cập nhớ  UMA (uniform) vs NUMA (nonuniform) BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính Ví dụ: Cộng dồn (Sum reduction)  Tính tổng 100,000 số 100 xử lý UMA     Bộ xử lý đánh số Pn: ≤ Pn ≤ 99 Giao 1000 số cho xử lý để tính Phần code xử lý sum[Pn] = 0; for (i = 1000*Pn; i < 1000*(Pn+1); i = i + 1) sum[Pn] = sum[Pn] + A[i]; Tính tổng 100 tổng đơn lẻ CPU    Nguyên tắc giải thuật: divide and conquer ẵ s CPU cng tng cp, ẳ, 1/8 Cn đồng bước BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 10 Đa luồng (Multithreading)  Thực luồng lệnh đồng thời    Đa luồng mức nhỏ (Fine-grain)     Chuyển luồng sau chu kỳ Thực lệnh xen kẽ Nếu luồng thực thi bị “khựng”, chuyển sang thực luồng khác Đa luồng mức lớn (Coarse-grain)   BK Sao chép nội dung ghi, PC, etc Chuyển nhanh ngữ cảnh luồng Chuyển luồng có “khựng” lâu (v.d L2-cache miss) Đơn giản phần cứng, khó tránh rủi ro liệu (eg, data hazards) TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 17 Tương lai “đa luồng”   Tồn tại? Dạng nào? Năng lương tiêu thụ  Kiến trúc đơn giản & Hiệu suất cao   Giảm thiểu thời gian cache-miss   BK Sử dụng dạng đơn giản đa luồng Chuyển luồng  hiệu Đa lõi chia sẻ chung tài nguyên hiệu (Floating Point Unit or L3 Cache) TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 18 Luồng lệnh & Dữ liệu  Cách phân loại khác Data Streams Single Instruction Single Streams Multiple  Multiple SISD: Intel Pentium SIMD: SSE instructions of x86 MISD: No examples today MIMD: Intel Xeon e5345 SPMD = Single Program Multiple Data   Cùng chương trình kiến trúc MIMD Cấu trúc điều kiện cho xử lý thực BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 19 SIMD  Hoạt động phần tử vector liệu  Ví dụ: MMX and SSE instructions in x86   Tất xử lý thực lệnh liệu khác     BK TP.HCM Các thành phần liệu chứa ghi 128 bit Dữ liệu lưu trữ địa khác Cơ chế đồng đơn giản Giảm phí tổn điều khiển Phù hợp với ứng dụng song song liệu 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 20 Bộ xử lý vector   Cấu tạo từ phận hoạt động theo chế ống Dòng liệu từ/đến ghi vector vào phận thực tác vụ    Dữ liệu gom từ nhớ vào ghi Kết chứa ghi đưa vào nhớ Ví dụ: Mở rộng tập lệnh MIP cho hệ thống vector   32 × 64-element registers (64-bit elements) Lệnh Vector tương ứng     lv, sv: load/store vector addv.d: add vectors of double addvs.d: add scalar to each element of vector of double Giảm đáng kể việc nạp lệnh BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 21 Kiến trúc GPUs  Trước dùng cho video cards   Xử lý hình 3D      BK Originally high-end computers (e.g., SGI) Moore’s Law  lower cost, higher density 3D graphics cards for PCs and game consoles Graphics Processing Units  TP.HCM Frame buffer memory with address generation for video output Processors oriented to 3D graphics tasks Vertex/pixel processing, shading, texture mapping, rasterization 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 22 Đồ họa hệ thống BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 23 Kiến trúc GPU  Xử lý dạng song song liệu   GPUs are highly multithreaded Use thread switching to hide memory latency     Heterogeneous CPU/GPU systems CPU for sequential code, GPU for parallel code Ngơn ngữ lập trình/APIs   BK Graphics memory is wide and high-bandwidth Hướng tới GPU đa   Less reliance on multi-level caches  DirectX, OpenGL C for Graphics (Cg), High Level Shader Language (HLSL) Compute Unified Device Architecture (CUDA) TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 24 Mạng kết nối  Cấu hình kết nối mạng (Network topologies)  Cấu hình máy với kết nối đường truyền Bus Ring N-cube (N = 3) 2D Mesh BK Fully connected TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 25 Mạng đa lớp (Multistage) BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 26 Đặc tính mạng  Hiệu suất   Thời gian truyền thông điệp Hiệu xuất đầu        Băng thông đường truyền Tổng số băng thông mạng kết nối Băng thông chiều Trễ mật độ đường truyền Chi phí Nguồn tiêu thụ Định tuyến mạch BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 27 Đánh giá Benchmarks   Linpack: matrix linear algebra SPECrate: parallel run of SPEC CPU programs   SPLASH: Stanford Parallel Applications for Shared Memory   computational fluid dynamics kernels PARSEC (Princeton Application Repository for Shared Memory Computers) suite  BK Mix of kernels and applications, strong scaling NAS (NASA Advanced Supercomputing) suite   Job-level parallelism Multithreaded applications using Pthreads and OpenMP TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 28 Ví dụ: hệ thống hành × quad-core Intel Xeon e5345 (Clovertown) × quad-core AMD Opteron X4 2356 (Barcelona) BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 29 Các hệ thống hành (tt.) × oct-core Sun UltraSPARC T2 5140 (Niagara 2) × oct-core IBM Cell QS20 BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 30 Kết luận   Mục tiêu: Hiệu suất cao cách sử dụng đa xử lý Khó khăn    Lý để lạc quan    Phát triển phần mềm song song Kiến trúc đa dạng Phát triển phần mềm môi trường ứng dụng Đa xử lý cấp độ chip nhằm giảm thời gian đáp ứng tăng băng thông kết nối Đang nhiều thách thức Kiến trúc MT BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 31 ... Khoa học & Kỹ thuật Máy tính 15 Tính tốn lưới  Các máy tính riêng biệt kết nối qua mạng rộng    Ví dụ: kết nối qua internet Cơng việc phát tán, tính tốn gom kết lại, ví dụ tính thời tiết … Tận... = Single Program Multiple Data   Cùng chương trình kiến trúc MIMD Cấu trúc điều kiện cho xử lý thực BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 19 SIMD  Hoạt động phần tử vector... mapping, rasterization 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 22 Đồ họa hệ thống BK TP.HCM 25-Aug-16 Khoa Khoa học & Kỹ thuật Máy tính 23 Kiến trúc GPU  Xử lý dạng song song liệu   GPUs are highly