KIẾN TRÚC CÁC HỆ THỐNG TÍNH TOÁN - CHƯƠNG 4 potx

1 KIẾN TRÚC CÁC HỆ THỐNG TÍNH TOÁN Nguyễn Phú Bình Trần Trung Kiên Bộ môn KTMT - Khoa CNTT Trường ĐH Bách Khoa Hà Nội 2 Lưu ý của tác giả  Không được tự ý sao chép hay quảng bá bài giảng này khi chưa được sự đồng ý của các tác giả.  Địa chỉ liên hệ của các tác giả: Nguyễn Phú Bình Email: ngphubinh@yahoo.com Mobile: 0983533925 Website: http://phubinh.vicosoft.com/ktmt Trần Trung Kiên Email: trankien_bk@yahoo.com Mobile: 0914919392 Bộ môn Kỹ thuật Máy tính Khoa Công nghệ Thông tin Trường Đại học Bách Khoa Hà Nội C1- P322, Tel: 8696125 Website: http://ktmt.shorturl.com 3 Kiến trúc các hệ thống tính toán Chương 4 Hệ thống song song phân cụm và Tính toán lưới ( Cluster and Grid Cumputing) Nguyễn Phú Bình – Trần Trung Kiên Bộ môn Kỹ thuật Máy tính, Khoa Công nghệ Thông tin Trường Đại học Bách Khoa Hà Nội 4 Nội dung chương 4 4.1. Hệ thống song song phâm cụm (Cluster) 4.2. Tính toán lưới ( Grid Computing) 4.3. Ứng dụng hệ thống song song trong mô hình lưới 5 4.1. Hệ thống song song phâm cụm 1. Giới thiệu về Cluster:  Một hệ thống tính toán song song phân cụm (Cluster/bó) là một hệ thống máy tính cục bộ bao gồm một tập các máy tính độc lập và một mạng liên kết giữa các máy tính. 6 4.1. Hệ thống song song phâm cụm  Một hệ thống song song phân cụm/cục bộ với ý nghĩa là toàn bộ các thành phần hệ thống nằm trong một khu vực địa lý hẹp (thường là 1 phòng) và được quản lý tập trung như là một hệ thống thống nhất.  Các nút trong hệ bó có thể là sự kết hợp của các máy tính đơn bộ xử lý với các máy nhiều bộ xử lý (SMP - symmertric multiprocesor 7 4.1. Hệ thống song song phâm cụm  Ưu điểm lớn nhất của hệ thống này là giá thành của hệ thống nhỏ hơn so với các hệ thống sever tương ứng khác. Cùng với sự phát triển nhanh chóng của máy tính cá nhân (PC), hiện nay một hệ thống dựa trên công nghệ LAN và PC có thể đạt được hiệu năng đến vài chục thậm chí là vài trăm Gigaflops trong khi giá thành lại rẻ hơn rất nhiều so với các siêu máy tính.  Ưu điểm thứ hai của hệ thống bó là sự linh hoạt của cấu hình. Số lượng nút, dung lượng bộ nhớ trên mỗi nút, số lượng bộ xử lý trên mỗi nút, và cấu hình mạng và hàng loạt các tham số khác đều mang tính tuỳ biến cao. 8 4.1. Hệ thống song song phâm cụm 2. Các thành phần phần cứng:  Các thiết bị phần cứng của nút tính toán:  Một nút tính toán phải cung cấp chức năng tính toán và  chức năng lưu trữ dữ liệu  Các thiết bị mạng :  Công nghệ mạng thường được sử dụng trong hệ thống // phân cụm là LAN và SAN (System Area Network).  LAN chỉ cho phép tạo nên một hệ thống có bộ nhớ phân tán  SAN lại hỗ trợ bộ nhớ phân tán chia xẻ (distributed shared memory) cho phép tổ chức một bộ nhớ logic chia xẻ trong khi bộ nhớ vật lý phân tán trên các nút.  Giá cả của các thiết bị SAN đắt hơn LAN rất nhiều. 9 4.1. Hệ thống song song phâm cụm 3. Các thành phần phần mềm:  Thư viện và môi trường lập trình  Các phần mềm quản lý tài nguyên và phân tải 10 4.1. Hệ thống song song phâm cụm Thư viện và môi trường lập trình:  Lập trình song song trong các hệ thống tính toán bó là phức tạp hơn các hệ thống máy tính khác  Hệ thống tính toán có bộ nhớ phân tán, do vậy truyền thông giữa các nút trong quá trình tính toán thường là truyền thông điệp  Các thư viện truyền thông điệp dành cho hệ thống bó hiện nay có thể kể đến là: MPI, PVM, Active Message và CMMD (Connected Machine Message )  MPI với nhiều ưu điểm có thể coi là sự lựa chọn tốt cho các hệ thống tính toán bó. ® [...]... cùng với các thư viện lập trình song song như MPI, PVM và HPF Các chương trình có thể được lập lịch để chạy trên các hệ đa bộ xử lý hoặc trên các hệ thống đa máy tính Hỗ trợ tính toán lưới: cung cấp công nghệ siêu tính toán (meta-computing) và tính toán lưới, bao gồm việc hỗ trợ cho GGT (Globus Grid Toolkit) ® Tự động phân tải là cơ chế cho phép phân tải các công việc trên các tài nguyên của hệ thống. .. (workstations) Hỗ trợ sử dụng các điểm kiểm tra (checkpoint) và chuyển giao các công việc giữa các máy trạm 16 4. 1 Hệ thống song song phâm cụm 4 Hệ thống quản lý tài nguyên và phân tải PBS:  PBS hiện nay đã trở thành một hệ phân tải hàng đầu trong các siêu máy tính và trở thành chuẩn cho các hệ thống bó trên Linux  PBS cung cấp rất nhiều chức năng và lợi ích cho các hệ thống tính toán hiệu năng cao  Một...   Dùng cho các hệ thống máy tính máy tính đồng bộ như SMP hoặc các siêu máy tính dạng vector Ngoài ra, còn cung cấp các cơ chế để quản lý các chính sách của hệ thống // phân cụm và cân bằng tải động cho các công việc 15 4. 1 Hệ thống song song phâm cụm Các phần mềm quản lý tài nguyên và phân tải(…):  CONDOR:   Thường dùng để phân tải tài nguyên và lập lịch cho các công việc trên hệ thống máy trạm... các chương trình đặc biệt gọi là hệ đo hiệu năng cơ sở 30 4. 1 Hệ thống song song phâm cụm  Có năm hệ đo hiệu năng cơ sở được dùng trong hệ thống xử lý song song:   Hệ đo năng lực xử lý dùng để đo hiệu năng của bộ vi xử lý khi thực hiện các tính toán mà không truy nhập bộ nhớ như các phép tính số học, các phép tính logic và các phép rẽ nhánh Hệ đo hiệu năng bộ nhớ cục bộ dùng xác định tổ chức, độ trễ,... 12 4. 1 Hệ thống song song phâm cụm Các phần mềm quản lý tài nguyên và phân tải:  Thư viện và các ngôn ngữ lập trình song song tạo cho người lập trình môi trường lập trình  Phần mềm quản lý tài nguyên và phân tải lại tạo ra một môi trường tính toán hiệu quả và ổn định  Phân tải là việc phân bổ các tiến trình tính toán trên tài nguyên hệ thống sao cho hiệu năng hoạt động của hệ thống là tối ưu 13 4. 1.. .4. 1 Hệ thống song song phâm cụm Thư viện và môi trường lập trình (…):  Khi các nút mạng trong hệ thống tính toán bó không chỉ là các máy tính đơn bộ xử lý mà có cả các máy tình nhiều bộ xử lý với bộ nhớ chia xẻ thì cần có sự kết hợp giữa mô hình bộ nhớ chia xẻ và mô hình truyền thông điệp  Thư viện mã nguồn mở OpenMP là một thư viện thích hợp để tạo ra các chưưong trình song song như vậy 11 4. 1 Hệ. .. ra shell nào sẽ được sử dụng để thực hiện script Lệnh 2 đến 4: chỉ ra các yêu cầu tài nguyên sau “-l” Cụ thể là yêu cầu 1 giờ walltime, 40 0 mb bộ nhớ và 4 CPU Lệnh 5: nó yêu cầu PBS hợp nhất các luồng ra stdout và stderr vào một luồng duy nhất (“-j oe”) 25 4. 1 Hệ thống song song phâm cụm  Tương tác giữa các thành phần của OpenPBS: 26 4. 1 Hệ thống song song phâm cụm 1 Sự kiện kích hoạt mô đun quản lý... phép ghi lại tất cả các hoạt động trên của hệ thống theo từng người, từng nhóm người hoặc từng máy Tự động chuyển tệp là cơ chế sao chép các tệp cần thiết cho việc thực hiện một công việc trên các máy trạm tính toán Các tệp cần chuyển có thể là các tệp dữ liệu hoặc các tệp thực thi 18 4. 1 Hệ thống song song phâm cụm  Một số chức năng quan trọng nhất của PBS(…):     Hỗ trợ các công việc song song... gian của các thao tác đọc và viết thoả mãn các cấp độ khác nhau 31 4. 1 Hệ thống song song phâm cụm    Hệ đo hiệu năng vào – ra đo đạc các tính chất của các thao tác vào - ra ví dụ như đọc, ghi đĩa với nhiều tần số và độ dài khác nhau Hệ đo hiệu năng truyền thông đo đạc hiệu năng truyền thông qua các thao tác như gửi và nhận thông điệp hay ghi và đọc từ xa với các loại dữ liệu khác nhau Hệ đo hiệu... các dịch vụ như: -Nhận các công việc lô (batch job), -Chuyển đổi các các công việc giữa các máy, -Bảo vệ công việc khi có sự cố hệ thống và thực hiện công việc (chuyển công việc cho mô đun thực thi công việc) Module này quản lý một hoặc nhiều hàng đợi công việc (queue), một công việc phải thuộc vào một hàng đợi Các hàng đợi được server quản lý bởi một tập thuộc tính như kiểu, tài nguyên, tên … 21 4. 1 . Bách Khoa Hà Nội 4 Nội dung chương 4 4.1. Hệ thống song song phâm cụm (Cluster) 4. 2. Tính toán lưới ( Grid Computing) 4. 3. Ứng dụng hệ thống song song trong mô hình lưới 5 4. 1. Hệ thống song song. 10 4. 1. Hệ thống song song phâm cụm Thư viện và môi trường lập trình:  Lập trình song song trong các hệ thống tính toán bó là phức tạp hơn các hệ thống máy tính khác  Hệ thống tính toán có. chọn tốt cho các hệ thống tính toán bó. ® 11 4. 1. Hệ thống song song phâm cụm Thư viện và môi trường lập trình (…):  Khi các nút mạng trong hệ thống tính toán bó không chỉ là các máy tính đơn bộ