Xử lý song song và đa lõi (Bài giảng Kiến trúc máy tính)

Kiến trúc máy tính Xử lý song song đa lõi NGUYỄN Ngọc Hố Bộ mơn Hệ thống thơng tin, Khoa CNTT Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội December 2015 Hoa.Nguyen@vnu.edu.vn Nội dung  Một số mơ hình tổ chức đa CPU     SISD SIMD MISD MIMD  Kiến trúc hiệu cao: SMP Cluster  Mơ hình tổ chức hệ thống máy tính đa lõi (multicores)   Core i7 ARM11 MPCore Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá Tổ chức đa chip CPU  Single instruction, single data stream – SISD   Single instruction, multiple data stream – SIMD   CPU: luồng lệnh, nhiều luồng liệu: phục vụ máy tính xử lý liệu kiểu vector, array Multiple instruction, single data stream – MISD   CPU: luồng lệnh luồng liệu  nhớ Nhiều CPU: nhiều luồng lệnh, luồng liệu  không cài đặt Multiple instruction, multiple data stream- MIMD  Nhiều CPU: nhiều luồng lệnh, nhiều luồng liệu, triển khai nhiều thực tế Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá SISD SIMD  SISD  SIMD Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá MIMD Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá Phân loại Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá Multiprogramming Multiprocessing Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hố Symmetric Multiprocessors  Hệ thống máy tính có đặc trưng sau:   Hai hay nhiều VXL giống Các VXL chia sẻ chung MM I/O      Thời gian truy cập nhớ tương đương VXL I/O chia truy cập (cùng kênh khác kênh) Các VXL kết nối riêng, bên Các VXL có chức (cùng tập lệnh, lý tên “symmetric”) Hệ thống kiểm soát OS: OS hỗ trợ tương tác VXL Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá Ưu điểm SMP  Performance   Availability   Các VXL thực chức  VXL có lỗi hệ thống hoạt động Incremental growth   Tạo khả thực xử lý song song Hiệu cải thiện bổ xung thêm VXL Scaling  Tạo lớp sản phẩm dựa số lượng VXL Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá Tổ chức SMP Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 10 Kiến trúc Cluster Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 16 Cluster Middleware  Unified image to user             Single system image Single point of entry Single file hierarchy Single control point Single virtual networking Single memory space Single job management system Single user interface Single I/O space Single process space Checkpointing Process migration Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 17 Blade Servers   Hệ thống cài đặt thơng dụng kiểu cluster Mơ đun hố servers (được gọi blade), tích hợp hệ thống tủ rack    Tiết kiệm không gian vật lý Cải thiện việc cài đặt, vận hành, bảo trì hệ thống cluster Mỗi blade hoạt động server (có processor, memory, disk) Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 18 100-Gbps Ethernet Configuration for Massive Blade Server Site Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 19 Cluster SMP  Cả hai hỗ trợ kiến trúc đa VXL theo yêu cầu thực tiễn  SMP:   Dễ quản lý kiểm soát Gần với hệ thống đơn VXL     Chỉ khác phần lập lịch Không gian vật lý bé hớn Tiêu thụ lượng Clustering:   Superior incremental & absolute scalability Superior availability  Redundancy Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 20 Thực trạng VXL  Hiệu cải thiện đáng kể    Do cải tiến kiến trúc/tổ chức Tăng xung nhịp clock Nâng cao khả thi hành song song    Pipelining Superscalar Simultaneous multithreading (SMT) Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 24 Tương quan lượng nhớ Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 25 Số transistors CPU Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 26 Tổ chức đa lõi – multicore  Mỗi VXL (chip)     Chứa số lõi (core) Có nhiều mức cache Có vùng cache chia sẻ chung cho lõi Minh hoạ:     (a) ARM11 MPCore (b) AMD Opteron (c) Intel Core Duo (d) Intel Core i7 Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 28 Intel x86 Multicore Organization Core Duo (1)    2006 Two x86 superscalar, shared L2 cache Dedicated L1 cache per core   Thermal control unit per core     32KB instruction and 32KB data Manages chip heat dissipation Maximize performance within constraints Improved ergonomics Advanced Programmable Interrupt Controlled (APIC)    Inter-process interrupts between cores Routes interrupts to appropriate core Includes timer so OS can interrupt core Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 29 Intel x86 Multicore Organization Core Duo (2)  Power Management Logic     Monitors thermal conditions and CPU activity Adjusts voltage and power consumption Can switch individual logic subsystems 2MB shared L2 cache    Dynamic allocation MESI support for L1 caches Extended to support multiple Core Duo in SMP   L2 data shared between local cores or external Bus interface Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 30 Intel x86 Multicore Organization Core i7      November 2008 Four x86 SMT processors Dedicated L2, shared L3 cache Speculative pre-fetch for caches On chip DDR3 memory controller    Three byte channels (192 bits) giving 32GB/s No front side bus QuickPath Interconnection      Cache coherent point-to-point link High speed communications between processor chips 6.4G transfers per second, 16 bits per transfer Dedicated bi-directional pairs Total bandwidth 25.6GB/s Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 31 Intel Core i& Block Diagram Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 32 Hiệu đa lõi Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 33 Tổng kết    Cần nắm vững bốn mơ hình tổ chức đa CPU: SISD, SIMD, MISD MIMD Một số kiến trúc hệ thống tính tốn hiệu cao điển hình : SMP Cluster Khuynh hướng ưu điểm kiến trúc đa lõi (multicores)   Core i7 ARM11 MPCore Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 34 ...Nội dung  Một số mơ hình tổ chức đa CPU     SISD SIMD MISD MIMD  Kiến trúc hiệu cao: SMP Cluster  Mô hình tổ chức hệ thống máy tính đa lõi (multicores)   Core i7 ARM11 MPCore... machines Song song hoá  Cho phép thi hành song song nodes cluster Computer Architecture – –Department Department of ofInformation Information Systems Systems @ @Hoá NGUYỄN NGUYEN Ngọc Hoá 15 Kiến trúc. .. hình tổ chức đa CPU: SISD, SIMD, MISD MIMD Một số kiến trúc hệ thống tính tốn hiệu cao điển hình : SMP Cluster Khuynh hướng ưu điểm kiến trúc đa lõi (multicores)   Core i7 ARM11 MPCore Computer