tính toán song song thoại nam parallelprocessing 01 intro sinhvienzone com

om nh Vi en Zo ne C Parallel Processing & Distributed Systems Thoai Nam Si Faculty of Computer Science and Engineering HCMC University of Technology SinhVienZone.com https://fb.com/sinhvienzonevn  om Chapter 1: Introduction Introduction Zo nh Vi en  Applications Parallelism Si  ne C – What is parallel processing? – Why we use parallel processing? SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C om Supercomputers: TOP500 K computer – petaflops (548.352 cores) nh Vi en Zo ne Titan – 17,59 petaflops (560.640 cores) Si Tianhe-2 (MilkyWay-2) – 33,8 petaflops (3.120.000 cores) Sequoia – 17,17 petaflops (1.572.864 cores) SuperMUC – 2,897 petaflops (147.456 cores) SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn Jaguar XT5 – 1,76 petaflops Nebulae – 1,27 petaflops Hopper – 1,054 petaflops Tera-100 – 1,05 petaflops Si nh Vi en Thiên hà 1A – 2,57 petaflops Zo ne C om Supercomputers: TOP500 Tsubame 2.0 – 1,2 petaflops SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn ne C om Supercomputing applications Mô não Zo Khí động học tàu vũ trụ nh Vi en Mơ hình thời tiết PCM Tràn dầu BP Mơ Uranium-235 hình thành từ phân rã Phutonium-239 Si Mô tiểu hành tinh Mô nguyên tử Lithium Tác dụng thuốc mức phân tử Mô Renault F1 Khoa học Kỹ thuật Máy tính SinhVienZone.com - ĐHBK TP.HCM Mô xe va chạm https://fb.com/sinhvienzonevn .C ne Zo nh Vi en  Multi-core Many core Si  om Parallel architecture SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn Si nh Vi en SuperNode I in 1998-2000 Zo ne C om SuperNode I & II SuperNode II in 2003-2005 SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn Si nh Vi en Zo ne C om SuperNode V SuperNode-V project: 2010-2012 SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn HPC center C HPC lab om SuperNode V ne Task Virtual cluster EDAGrid VCL HPC Cloud Cloud-based systems National Grid VN-Grid Core Si Campus Grid nh Vi en Zo Multiple domains Peer-2-peer Connecting campus Grids Single domain Rather fast network Centralized High-speed network Heterogeneous Stable Inter-campus Grid Rather homogeneous Cloud Grid 2007 SinhVienZone.com 2010 Khoa học Kỹ thuật Máy tính 2011 2012 - ĐHBK TP.HCM 2013 https://fb.com/sinhvienzonevn Year Applications Chip design Data mining Airfoid optimization ne C SuperNode II om EDA-Grid & VN-Grid nh Vi en Zo Security User Management Monitoring Campus/VN-Grid (GT) Scheduling Si Resource Management Information Service Data Service SinhVienZone.com POP-C++ Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn om HPC group at HCMUT  Dr + Postdoc C  Research projects: Clusters, Grid and Cloud Computing Si nh Vi en  Solving big problems Zo  HPC Center ne  Region activities: PRAGMA Singapore (http://interactivemap.onemotoring.co m.sg/mapapp/index.html) SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C om How to Si nh Vi en Zo ne Parallel processing & Distributed systems SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C ne Zo  nh Vi en  CPU Simple Big problems??? Si  om Sequential Processing SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn Si nh Vi en Zo ne Modeling C om New Approach Analysis SinhVienZone.com Khoa học Kỹ thuật Máy tính Simulation - ĐHBK TP.HCM https://fb.com/sinhvienzonevn A grand challenge problem is one that cannot be solved in a reasonable amount of time with today’s computers Ex: Zo nh Vi en – Modeling large DNA structures – Global weather forecasting – Modeling motion of astronomical bodies Si  ne C  om Grand Challenge Problems SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn The N2 algorithm:  Zo ne C N bodies N-1 forces to calculate for each bodies N2 calculations in total After the new positions of the bodies are determined, the calculations must be repeated nh Vi en – – – – A galaxy: – – – – 107 stars and so 1014 calculations have to be repeated Each calculation could be done in 1µs (10-6s) It would take 10 years for one iteration But it only takes day for one iteration with 3650 processors Si  om N-body SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn  om Solutions Power processor – Better algorithms nh Vi en Parallel processing Si  ne Smart worker Zo  C – 50 Hz -> 100 Hz -> GHz -> Ghz -> -> Upper bound? SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn  Parallel processing Parallel computer C  om Parallel Processing Terminology  ne – Multi-processor computer capable of parallel processing Throughput:  Speedup S = Time(the most efficient sequential algorithm) / Time(parallel Parallelism: algorithm) Si  nh Vi en Zo – The throughput of a device is the number of results it produces per unit time – Pipeline – Data parallelism – Control parallelism SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn Stage Zo ne C Stage Stage nh Vi en  A number of steps called segments or stages The output of one segment is the input of other segment Si  om Pipeline SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn nh Vi en Zo ne C Applying the same operation simultaneously to elements of a data set Si  om Data Parallelism SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn om Pipeline & Data Parallelism Sequential execution w2 w1 ne C A B C Si Data Parallelism nh Vi en Zo Pipeline SinhVienZone.com Khoa học Kỹ thuật Máy tính A B C w5 w4 w3 w2 w1 A B C w4 w1 A B C w5 w2 A B C w6 w3 - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C ne Zo nh Vi en  Pipeline is a special case of control parallelism T(s): Sequential execution time T(p): Pipeline execution time (with stages) T(dp): Data-parallelism execution time (with processors) S(p): Speedup of pipeline S(dp): Speedup of data parallelism widget T(s) T(p) T(dp) Si  om Pipeline & Data Parallelism 10 12 15 18 21 24 27 30 10 11 12 3 6 9 12 S(p) 1+1/2 1+4/5 2+1/7 2+1/4 2+1/3 2+2/5 2+5/11 2+1/2 S(dp) 2+1/2 2+1/3 2+2/3 2+1/2 SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C om Pipeline & Data Parallelism ne 3.5 Zo 2.5 1.5 Si 0.5 S(p) S(dp) nh Vi en SinhVienZone.com Khoa học Kỹ thuật Máy tính 10 - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C ne nh Vi en Zo Applying different operations to different data elements simultaneously Si  om Control Parallelism SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn .C Data-parallelism algorithms are more scalable than controlparallelism algorithms Si  nh Vi en Zo  An algorithm is scalable if the level of parallelism increases at least linearly with the problem size An architecture is scalable if it continues to yield the same performance per processor, albeit used in large problem size, as the number of processors increases ne  om Scalability SinhVienZone.com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb.com/sinhvienzonevn ... Inter-campus Grid Rather homogeneous Cloud Grid 2007 SinhVienZone. com 2010 Khoa học Kỹ thuật Máy tính 2011 2012 - ĐHBK TP.HCM 2013 https://fb .com/ sinhvienzonevn Year Applications Chip design Data... tính SinhVienZone. com - ĐHBK TP.HCM Mơ xe va chạm https://fb .com/ sinhvienzonevn .C ne Zo nh Vi en  Multi-core Many core Si  om Parallel architecture SinhVienZone. com Khoa học Kỹ thuật Máy tính. .. https://fb .com/ sinhvienzonevn Si nh Vi en SuperNode I in 1998-2000 Zo ne C om SuperNode I & II SuperNode II in 2003-2005 SinhVienZone. com Khoa học Kỹ thuật Máy tính - ĐHBK TP.HCM https://fb .com/ sinhvienzonevn