Parallel Processing & Distributed Systems MT2011 Ho Chi Minh City University of Technology http://www.cse.hcmut.edu.vn/~nam References Scalable Parallel Computing: Technology, Architecture, Programming, Kai Hwang & Zhiwei Xu, McGRAW-HILL, 1997.(*) Parallel Computing – theory and practice, Michael J Quinn, McGRAW-HILL, 1994.(*) Parallel Programming: Techniques and Applications Using Networked Workstations and Parallel Computers, Barry Wilkinson and MiChael Allen, Second Edition, Prentice Hall, 2005 Distributed Systems: Concepts and Design, George Coulouris, Jean Dillimore, Tim Kindberg, AddisonWesley, 2005.(*) Distributed Algorithms, Nancy Lynch, Morgan Kaufmann, 1997 Distributed Operating Systems, Andrew S Tanenbaum, Prentice Hall, 1990 MPI: http://www.mpi-forum.org/docs/docs.html (LAM) PVM: http://www.csm.ornl.gov/pvm/pvm_home.html The GRID2: Blueprint for a New Computing Infrastructure, Ian Foster and Carl Kesselman, Morgan Kaufmann 2004 .C om Lectures Date Topics W1-1 W1-2 W2-1 Lab W2-2 W3-1 Lab W3-2 W4-1 Introduction Lab: Multithread Abstract machine models PRAM, BSP, and parallel phase Lab: MPI – Point-to-point communication Parallel machine architectures: Flynn classifications Pipeline, Processor array, Multiprocessor, Data flow computer Lab: MPI – Collective communication Pipeline Speedup: Amdahl Gustafson Sun and Ni’s law Lab W5-2 W6-1 Lab W6-2 W7-1 Lab W7-2 Midterm: W8-9 W8-1 Lab Lab 10 Lab 10 11 W8-2 W9-1 W9-2 W10-1 W10-2 W11-2 Lab 11 W11-2 12 Lab 12 W12-1 W12-2 SinhVienZone.com Zo en Vi nh W4-2 W5-1 Si Lab References ne Lectures (90 min) Lab Lab: MPI – Collective communication Processor organizations, mapping and Scheduling Lab: Master/slave model Parallel paradigms and programming models Lab: Speedup Algorithms Lab: Matrix algorithms Distributed systems: Introduction & Communication Lab: Programming tools Seminar: Name service Lab: Cluster Seminar: Distributed File Systems Lab: VN-Grid Seminar: Parallel & distributed computing techniques Lab: Parallel & distributed computing techniques MapReduce & Hadoop Lab: MapReduce & Hadoop [1] [3] [1][2] [1] [2] [3] [1][2] [1][2] [3] [7] [1] [2][3] [1] [4] [4] [3] [4] [3] [3] Ref Ref Ref [3] [3] https://fb.com/sinhvienzonevn Notes 13 Lab 13 14 Lab 14 W13-1 W13-2 W14-2 W14-2 Seminar: Time and Global States Lab: Time and Global States Web service Peer-to-peer systems Review Lab: Web service Distributed algorithms (1) Distributed algorithms (2) [4] [3] [4] [4] [3] [5] [5] Ref Ref Ref Ref Ref Evaluation (dự kiến) Midterm exam: 20% Final exam: 50% Exercises + seminar: 30% (project deadline week 13, review week 15) Contact email: hungnq2@cse.hcmut.edu.vn Si nh Vi en Zo ne C om SinhVienZone.com https://fb.com/sinhvienzonevn ĐỀ BÀI TẬP mơn XLSS&HPB KTN2011 Quy định: Mỗi nhóm tối đa sinh viên (trùng với nhóm seminar) Các nhóm đăng ký danh sách đề tài cho Trưởng lớp vòng tuần, hạn cuối 4/9/2013: Ghi rõ họ tên, MSSV, email thành viên nhóm Cuối học kỳ, hạn cuối 02/12/2013, tất nhóm phải nộp: Báo cáo tối đa trang A4 Mã nguồn ne C om Bài 1: Viết chương trình so trùng ảnh dùng “The Skein Hash Function Family” Hadoop Lý thuyết: Tìm hiểu Hadoop Tìm hiểu “The Skein Hash Function Family” Giải pháp loại ảnh trùng tập ảnh lớn Hiện thực: Viết chương trình Đánh giá hiệu suất thực nghiệm Vi en Zo Đề 2: Viết chương trình nhân ma trận kích thước 1.000x1.000, 10.000x10.000 100.000x100.000 dùng multi-thread Lý thuyết: Tìm hiểu viết chương trình nhân ma trận dùng MPI có trao đổi hàng cột Hiện thực: Viết chương trình - Vẽ biểu đánh giá hiệu (speedup) cho trường hợp với số lượng threads khác Si nh Đề 3: Viết chương trình nhân ma trận kích thước 1.000x1.000, 10.000x10.000 100.000x100.000 (có trao đổi hàng/cột xử lý) hệ thống máy tính ảo có giao tiếp 1Gpbs, 10 Gbps, 40 Gbps Lý thuyết: Tìm hiểu viết chương trình nhân ma trận dùng MPI có trao đổi hàng cột Hiện thực: Viết chương trình - Vẽ biểu đồ đánh giá hiệu (speedup) cho trường hợp dùng hệ thống máy tính vật lý máy tính ảo với số lượng máy tính khác Đề 4: MPI Deadlock Lý thuyết: Tìm hiểu Deadlock Hiện thực: - Hiện thực giải pháp phát Deadlock chương trình MPI Đề 5: Viết chương trình nhân ma trận kích thức lớn 1.000x1.000, 10.000x10.000 100.000x100.000 GPUs Lý thuyết: Tìm hiểu lập trình GPU (CUDA) Tìm hiểu giải thuật nhân ma trận SinhVienZone.com https://fb.com/sinhvienzonevn Hiện thực: Viết chương trình Đánh giá hiệu (speedup) với số lượng core khác Bài 6: Tạo vector timestamp cho events MPI_Send(), MPI_Recv() MPI_Barier() chương trình MPI để tìm Causal distributed breakpoints Lý thuyết: Tìm hiểu Virtual clock Hiện thực: Hiện thực việc tạo vector timestamp cho events MPI_Send(), MPI_Recv() MPI_Barier() Phân tích để tìm Causal distributed breakpoints Si nh Vi en Zo ne C om Đề 7: Race condition Lý thuyết: Tìm hiểu race condition Hiện thực: Hiện thực giải pháp phát race condition chương trình MPI SinhVienZone.com https://fb.com/sinhvienzonevn ... email: hungnq2@cse.hcmut.edu.vn Si nh Vi en Zo ne C om SinhVienZone. com https://fb .com/ sinhvienzonevn ĐỀ BÀI TẬP môn XLSS&HPB KTN2011 Quy định: Mỗi nhóm tối đa sinh viên (trùng với nhóm seminar)... GPUs Lý thuyết: Tìm hiểu lập trình GPU (CUDA) Tìm hiểu giải thuật nhân ma trận SinhVienZone. com https://fb .com/ sinhvienzonevn Hiện thực: Viết chương trình Đánh giá hiệu (speedup) với số lượng... condition Hiện thực: Hiện thực giải pháp phát race condition chương trình MPI SinhVienZone. com https://fb .com/ sinhvienzonevn