tính toán song song thoại nam parallelprocessing 04 05 flynn pararchitectures sinhvienzone com

om Si nh Vi en Zo ne C Parallel Computer Architectures SinhVienZone.com Thoai Nam https://fb.com/sinhvienzonevn om Outline Flynn’s Taxonomy  Classification of Parallel Computers Based on Architectures Si nh Vi en Zo ne C  SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM  Zo ne SISD (a Single Instruction stream, a Single Data stream ) SIMD (Single Instruction stream, Multiple Data streams ) MISD (Multiple Instruction streams, a Single Data stream) MIMD (Multiple Instruction streams, Multiple Data stream) nh Vi en – – – – C Based on notions of instruction and data streams Popularity – MIMD > SIMD > MISD Si  om Flynn’s Taxonomy SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C SISD ne – Conventional sequential machines nh Vi en Zo IS : Instruction Stream CU : Control Unit MU : Memory Unit I/O Si  om SISD SinhVienZone.com CU IS Khoa Khoa học Kỹ thuật Máy tính DS : Data Stream PU : Processing Unit IS PU DS MU https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM SIMD C  om SIMD Zo ne – Vector computers, processor arrays – Special purpose computations nh Vi en PE : Processing Element PE1 IS CU Si Program loaded from host DS LM : Local Memory LM1 DS IS PEn DS LMn DS Data sets loaded from host SIMD architecture with distributed memory SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C MISD IS Memory (Program, Data) I/O nh Vi en IS Zo ne – Systolic arrays – Special purpose computations DS Si  om MISD CU1 IS PU1 CU2 DS IS PU2 CUn IS DS PUn MISD architecture (the systolic array) SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính DS https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C MIMD I/O nh Vi en Zo ne – General purpose parallel computers IS IS DS CU1 PU1 I/O Si  om MIMD CUn IS PUn DS Shared Memory IS MIMD architecture with shared memory SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM   C ne Zo  nh Vi en  Pipelined Computers Dataflow Architectures Data Parallel Systems Multiprocessors Multicomputers Si  om Classification based on Architecture SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C ne Zo nh Vi en  Instructions are divided into a number of steps (segments, stages) At the same time, several instructions can be loaded in the machine and be executed in different steps Si  om Pipeline Computers (1) SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM Pipeline Computers (2) Zo ne C om IF – instruction fetch ID – instruction decode and register fetch EX- execution and effective address calculation MEM – memory access WB- write back Instruction # Instruction i IF Instruction i+2 ID EX IF ID EX IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM Instruction i+3 Instruction i+4 SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính Cycles Si Instruction i+1 nh Vi en – – – – – MEM WB MEM WB https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM WB  C ne Zo  C1 C2 P1 P2 nh Vi en  Uses a central switching mechanism to reach a centralized shared memory All processors have equal access time to global memory Tightly coupled system Problem: cache consistency Cn Pn … Pi Processor i Ci Cache i Si  om UMA Multiprocessor (1) Switching mechanism I/O Memory banks SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C Crossbar switching mechanism ne Mem Zo Mem nh Vi en Mem Mem Si  om UMA Multiprocessor (2) SinhVienZone.com Cache Cache P P Khoa Khoa học Kỹ thuật Máy tính I/O I/O https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM Mem nh Vi en Zo Mem SinhVienZone.com ne C Shared-bus switching mechanism Cache Cache P P Si  om UMA Multiprocessor (3) Khoa Khoa học Kỹ thuật Máy tính Mem I/O Mem I/O https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM Mem Mem nh Vi en Zo ne Mem C Packet-switched network Network Si  om UMA Multiprocessor (4) SinhVienZone.com Cache Cache Cache P P P Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM  SinhVienZone.com Cache Mem Cache Zo ne Mem P C P nh Vi en  Distributed shared memory combined by local memory of all processors Memory access time depends on whether it is local to the processor Caching shared (particularly nonlocal) data? Si  om NUMA Multiprocessor Khoa Khoa học Kỹ thuật Máy tính Network Mem Cache Mem P Cache P Distributed Memory https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM  om Current Types of Multiprocessors PVP (Parallel Vector Processor) SMP (Symmetric Multiprocessor) Zo  ne C – A small number of proprietary vector processors connected by a high-bandwidth crossbar switch DSM (Distributed Shared Memory) – Similar to SMP – The memory is physically distributed among nodes Si  nh Vi en – A small number of COST microprocessors connected by a high-speed bus or crossbar switch SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM om PVP (Parallel Vector Processor) VP VP nh Vi en VP Zo ne C VP : Vector Processor SM : Shared Memory Si Crossbar Switch SM SinhVienZone.com SM Khoa Khoa học Kỹ thuật Máy tính SM https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM om SMP (Symmetric Multi-Processor) Zo P/C P/C nh Vi en P/C ne C P/C : Microprocessor and Cache SM: Shared Memory Si Bus or Crossbar Switch SM SinhVienZone.com SM Khoa Khoa học Kỹ thuật Máy tính SM https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C P/C LM LM DIR DIR NIC NIC Zo Si nh Vi en MB P/C ne MB: Memory Bus MB P/C: Microprocessor & Cache LM: Local Memory DIR: Cache Directory NIC: Network Interface Circuitry om DSM (Distributed Shared Memory) Custom-Designed Network SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C ne Zo  P/C: Microprocessor & Cache M: Memory nh Vi en  Consists of many processors with their own memory No shared memory Processors interact via message passing  loosely coupled system Message-passing Interconnection Network Si  om Multicomputers SinhVienZone.com P/C P/C P/C M M M Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM  om Current Types of Multicomputers MPP (Massively Parallel Processing) Cluster Zo  ne C – Total number of processors > 1000 Constellation – Each node in system has more than 16 processors Si  nh Vi en – Each node in system has less than 16 processors SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM om MPP (Massively Parallel Processing) MB: Memory Bus ne NIC: Network Interface Circuitry C P/C: Microprocessor & Cache P/C nh Vi en P/C MB Zo MB LM: Local Memory LM NIC NIC Si LM Custom-Designed Network SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM .C MB MB P/C M M Bridge Bridge ne P/C Zo nh Vi en MB: Memory Bus P/C: Microprocessor & Cache M: Memory LD: Local Disk IOB: I/O Bus NIC: Network Interface Circuitry om Clusters LD IOB NIC IOB NIC Si LD Commodity Network (Ethernet, ATM, Myrinet, VIA) SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM Constellations nh Vi en P/C Si SM LD NIC om MB: Memory Bus SM: Shared Memory LD: Local Disk >= 16 P/C IOC Hub SM Zo >= 16 P/C C ne P/C: Microprocessor & Cache NIC: Network Interface Circuitry IOC: I/O Controller P/C IOC Hub SM SM Custom or Commodity Network SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM LD NIC MPPs Constellations SMPs ne 350 Zo 300 nh Vi en 250 200 150 100 Si Number of HPCs Clusters C 400 om Trend in Parallel Computer Architectures 50 1997 1998 1999 2000 2001 Years SinhVienZone.com Khoa Khoa học Kỹ thuật Máy tính https://fb.com/sinhvienzonevn – ĐH Bách Khoa TP.HCM 2002 ...om Outline Flynn s Taxonomy  Classification of Parallel Computers Based on Architectures Si nh Vi en Zo ne C  SinhVienZone. com Khoa Khoa học Kỹ thuật Máy tính https://fb .com/ sinhvienzonevn... different steps Si  om Pipeline Computers (1) SinhVienZone. com Khoa Khoa học Kỹ thuật Máy tính https://fb .com/ sinhvienzonevn – ĐH Bách Khoa TP.HCM Pipeline Computers (2) Zo ne C om IF – instruction... Multiprocessor (2) SinhVienZone. com Cache Cache P P Khoa Khoa học Kỹ thuật Máy tính I/O I/O https://fb .com/ sinhvienzonevn – ĐH Bách Khoa TP.HCM Mem nh Vi en Zo Mem SinhVienZone. com ne C Shared-bus