tính toán lưới -chương 4 triển khai môi trường lưới tính toán

Chương 4 Chương 4 Triển khai môi trường Triển khai môi trường lưới tính toán lưới tính toán Giảng viên: TS Đàm Quang Hồng Hải Giảng viên: TS Đàm Quang Hồng Hải TÍNH TOÁN LƯỚI TÍNH TOÁN LƯỚI Nhu cầu triển khai môi trường Nhu cầu triển khai môi trường lưới tính toán lưới tính toán • Ngày nay mạng máy tính phát triển mạnh, nhất là mạng Internet với hàng triệu máy tính kết nối với nhau. Đối với người dùng bình thường công suất tính toán của máy tính thường không được sử dụng hết. • Xây dựng môi trường lưới cho phép khai thác thời gian rỗi của các máy tính trong xã hội để phục vụ các nghiên cứu khoa học phức tạp. Môi trường lưới Môi trường lưới cho phép cho phép khai thác tài nguyên khai thác tài nguyên Những bài toán cần thực thi Những bài toán cần thực thi trên môi trường lưới trên môi trường lưới • Bài toán thu và xử lý những tín hiệu từ bên ngoài trái đất nhằm có thể tìm ra một nền văn minh nào đó bên ngoài trái đất, nếu dùng một máy tính có công suất tính toán lớn cũng phái mất rất nhiều thời gian để xử lý. • Bài toán phá mã với phép thử lần lượt tất cả trường hợp có thể của khóa cho đến khi tìm được khóa đúng. • Dự án nghiên cứu khả năng chống căn bệnh ung thư, cần phân tích số lượng lớn mô ung thư cùng một lúc, nếu dùng một máy tính thông thường mất khoảng 168 năm Khảo sát yêu cầu triển khai Khảo sát yêu cầu triển khai • Trong thiết kế kiến trúc lưới, bước khảo sát yêu cầu là bước rất quan trọng, kết qủa của nó sẽ ảnh hưởng trực tiếp đến tất cả các bước tiếp theo. • Người thiết kế phải đưa ra được những thông tin cần thiết như: – Mục đích của việc xây dựng lưới là gì? – Lưới có những yêu cầu gì về nghiệp vụ, hạ tầng và ứng dụng? • Cuối cùng cần phải tinh chỉnh và xem xét lại xem những yêu cầu này có phù hợp với hạ tầng phần cứng và phần mềm cũng như nguồn nhân lực sẵn có hay không. Thiết kế kiến trúc lưới • Việc xây dựng một hệ thống tính toán lưới không chỉ đơn thuần là cài đặt các phần mềm, các ứng dụng trên các tài nguyên kết nối sẵn có mà phải thiết kế một cách bài bản, chuyên nghiệp. • Cần thiết phải có các phân tích tổng thể bao gồm quy mô, phần mềm, cấu trúc lưới … Các tài nguyên hạ tầng Các tài nguyên hạ tầng triển khai môi trường lưới triển khai môi trường lưới Lựa chọn hạ tầng lưới Lựa chọn hạ tầng lưới • Khái niệm hạ tầng ở đây bao gồm cả phần cứng vật lý và các phần mềm được sử dụng để kểt nối các máy tính của một lưới lại với nhau. Hạ tầng này cung cấp các dịch vụ cho việc kết nối, đảm bảo an toàn và quản trị. • Người quản trị cần nắm được đủ những tài nguyên nào mình có được như: máy tính, máy chủ, đường truyền … nhằm có thể triển khai hệ thống lưới. • Xác định quy mô của hệ thống lưới mình định xây dựng Intragrid Intragrid • Intragrid: thường được triển khai trong các tổ chức hoặc doanh nghiệp. Dựa trên kiến trúc mạng LAN hoặc mạng Intranet dùng riêng của tổ chức, doanh nghiệp đó. • Intragrid có băng thông và mức độ sẵn sàng cao; Cơ chế an toàn, bảo mật riêng rẽ; • Môi trường tác nghiệp độc lập. Topo lưới dạng này rất phù hợp khi triển khai các lưới tính toán hoặc lưới dữ liệu. Quy mô lưới tình toán Quy mô lưới tình toán [...]... phân tán Các mạng lưới tính toán trên thế giới • Hiện nay trên thế giới có nhiều các hệ thống tính toán công cộng bao gồm các lưới tính toán Quốc tế, lưới tính toán Quốc gia, lưới tính toán các trường Đại học và doanh nghiệp • Lưới tính toán Quốc tế: European Middleware Initiative (EMI) Europe, World Community Grid, Berkeley Open Infrastructure for Network Computing (BOINC) • Lưới tính toán quốc gia:... (USA), TeraGrid (USA) Môi trường lưới tính toán công cộng • Có hàng triệu máy tính ở nhiều quốc gia trên thế giới đã tình nguyện tham gia, cho phép các nhà khoa học sử dụng năng lực xử lý trong máy tính của họ những lúc không dùng tới để nghiên cứu • Ví dụ: BOINC (Berkeley Open Infrastructure for Network Computing) là phần mềm trung gian cho tính toán tình nguyện và tính toán lưới, gồm có hai phía:... www.worldcommunitygrid.org Sau đó, mỗi khi máy tính ở trạng thái nghỉ, nó sẽ gửi truy vấn tới một máy chủ của World Community Grid, thực hiện các phép tính rồi gửi trả kết quả cho server Lưới tính toán của Đại học • Các trường Đại học trên thế giới đề hình thành các trung tâm tính toán hiệu năng cao với các lưới tính toán cho phép giảng viên và sinh viên truy cập xử lý các bài toán quy mô lớn • Các trung tâm (High-Performance... và các biện pháp nhằn tăng tính an toàn và bảo mật cho hệ thống • Mức độ an toàn và bảo mật của hệ thống tính toán lưới còn phụ thuộc vào topo lưới và dữ liệu cũng như tài nguyên cần bảo mật • Mức độ bảo mật cũng khác nhau giữa các lưới được dùng trong các công ty có tính chất nghiệp vụ khác nhau Bảo mật cho Lưới • Các mô hình an toàn và bảo mật cho một hệ thống tính toán lưới cũng có những rủi ro... nguyện và các nhà phát triển – Dữ liệu server: phân phối các file dữ liệu đầu vào cho tính toán và tập hợp các file chứa kết quả Dựa vào giao thức HTTP, chương trình CGI với lệnh POST Mạng máy tính cộng đồng toàn cầu (World Community Grid) • Môi trường tính toán lưới của IBM, với hệ thống World Community Grid cho phép các nhà nghiên cứu truy cập vào và sử dụng sức mạnh của siêu máy tính, đã giành giải... trung tâm (High-Performance Computing Center) được trang bị các hệ thống máy tính có tốc độ cao, đường truyền có thông lượng lớn cho phép tích hợp một khả năng tính toán và lưu trữ rất cao University of Florida Quy trình triển khai một hạ tầng lưới tính toán • Danh sách công việc cần thực hiện: Dự kiến và quy định tài nguyên của lưới; • Lựa chọn phần mềm trung gian; • Lựa chọn các công cụ quản trị, •... trong cộng đồng tính toán hiệu năng cao • Community Grid là siêu máy tính ảo lớn nhất thế giới với khả năng tính toán tương đương Siêu máy tính lớn thứ 3 trên thế giới World Community Grid • Hướng tới việc tận dụng năng lực chưa được sử dụng hết của các máy tính tại doanh nghiệp cũng như hộ gia đình bằng cách “tuyển dụng” chúng để phân tích các dữ liệu trong nghiên cứu y khoa, xã hội và môi trường Hoạt... trở lên phổ biến và được sử dụng cho nhiều dự án tính toán khác nhau trong nhiều lĩnh vực như toán học, y học, sinh hoc… • 60 dự án sử dụng mạng lưới Boinc với khả năng xử lý lên tới 2.500 teraflop (gấp hai lần khả năng xử lý của siêu máy tính lớn nhất thế giới hiện nay), • Mạng lưới kết nối những người tình nguyện bằng phần mềm Boinc hiện có 4 triệu máy tính tình nguyện, trong đó có khoảng 20 nghiên... nhiều nghĩa trong dự án Boinc được hiểu là một đơn vị tính toán sẽ được thực hiện BOINC cung cấp các chương trình tiện ích và cả các chương trình C cho việc tạo ra các workunit • Work Unit là một khối lượng thông tin (dữ liệu) cần tính toán có thể có kích thước nhỏ (200-500 KB) tới kích thước lớn vài MB • Work Unit có thể là một tính toán nhỏ của bài toán, được thực hiện trên hệ thống • Một Work Unit... trung gian; • Cài đặt, thử nghiệm, tuỳ chỉnh và phát hành các phần mềm, ứng dụng của lưới; • Thiết lập bộ điều khiển dịch vụ, các công cụ, quy trình kiểm soát, điều khiển an ninh; • Thiết lập các công cụ quản lý lỗi, hiệu năng, hạ tầng mang tính tích hợp Yêu cầu an toàn của lưới • Tính an toàn: lưới sau khi triển khai phải giảm thiểu rủi ro đến mức chấp nhận được, nghĩa là trong bản thiết kế cần phải . Chương 4 Chương 4 Triển khai môi trường Triển khai môi trường lưới tính toán lưới tính. những yêu cầu gì về nghiệp vụ, hạ tầng và ứng dụng? • Cuối cùng cần phải tinh chỉnh và xem xét lại xem những yêu cầu này có phù hợp với hạ tầng phần