slike bài giảng tính toán lưới - nguyễn hữu đức bài 1 tính toán lưới tông quan

Tính tốn lưới Tổng quan Hà nội, 6/2008 Đại học Bách khoa Hà Nội Nguyễn Hữu Đức Center of High Performance Computing Hanoi University of Technology {ducnh@soict.hut.edu.vn} Ứng dụng phân tán Lịch sử hệ phân tán Những hệ phân tán đầu tiên,v.d SABRE & SAGE 1960 Licklider đề xuất mô hình tính tốn chia sẻ nhiều site ARPA net IBM CICS Ethernet TCP Các mạng nghiên cứu với nhiều giao thức khơng tương thích CORBA & DCOM IP-based Internet Academic & Research WWW 1970 1980 1990 2000 1960 Từ hệ phân tán đến tính tốn lưới D-Grid Những hệ phân tán Nhiều lưới nghiên cứu Licklider đề xuất mơ hifnhtisnh tốn chia sẻ sử dụng đa dạng & M/W stacks IBM CICS Web Services EDG EGEE EGEE II Unicore Nhiều mạng nghiên cứuvói thức khơng tương thích Cộng tác dựa chia Các giao Globus sẻ liệu sinh CORBA & DCOM học/hóa học/y học IP-based Internet I-way Academic & Research Condor WWW ARPA net 1970 1980 1990 2000 Lịch sử tính tốn lưới F ‘9 G G SC m s : u h ‘ g r n g hà ộ n Fo in t i đ r id ut p p p hậ hở G r h lậ k P e om tn er C ap àn m A kế er ap ” p th A ru & s o n ” p ogy G up EG m y F v l ru m :S d pea io A-W A & GF i o o o r S ay F at hys S G ur n G GF O d W S E ri IO G rm “A “P OG U G fo 1995 ’96 ’97 ’98 ’99 2000 ’01 ’02 ’03 ’04 ’05 2006 • • Chương trình e-Science (UK) Chương trình e-Science (UK) •• •• •• •• •• DARPA tài trợ Globus Toolkit & Legion DARPA tài trợ Globus Toolkit & Legion EU tài trợ UNICORE project EU tài trợ UNICORE project US DoE cổ vũ tính tốn lưới US DoE cổ vũ tính tốn lưới NSF tài trợ National Technology Grid NSF tài trợ National Technology Grid NASA xây dựng Information Power Grid NASA xây dựng Information Power Grid Chính phủ Nhật tài trợ: Chính phủ Nhật tài trợ: • • Business Grid project Business Grid project • • NAREGI project NAREGI project Hiện nay: Hiện nay: • • TTL giải pháp phổ biến HPC TTL giải pháp phổ biến HPC • • TTL bắt đầu phổ biến kinh TTL bắt đầu phổ biến kinh doanh doanh • • Các chuẩn công nghệ phát triển Các chuẩn công nghệ phát triển Lịch sử tính tốn lưới • Tính toán song song năm 80-90 – Cung cấp kỹ thuật truyền thông xử lý máy tính song song – PVM,MPI,OpenMP • Mơ hình I-WAY (SC95) – Kết nhập tài nguyên phân tán từ 17 site – 60 ứng dụng – Một kiến trúc phần mềm cho việc truy nhập, bảo mật, điều phối tài ngun Lịch sử tính tốn lưới • Các dự án I-WAY – – – – – – Globus Legion Condor (lập lịch thông lượng cao) Mars,Prophet (lập lịch hiệu cao) NWS Môi giới tài nguyên lưu trữ … • Các diễn đàn lưới – Kiến trúc lưới mở OGSA Lưới tính tốn gì? Lưới tính tốn hệ thống bao gồm: Lưới tính toán hệ thống bao gồm: − − − − Các tài nguyên phân tán kết nối với Các tài nguyên phân tán kết nối với Phần cứng phần mềm cho phép truy nhập quản lý tài Phần cứng phần mềm cho phép truy nhập quản lý tài nguyên cách suốt nguyên cách suốt License License Web Web server server Handheld Server Workstation Database Database Supercomputer Cluster Data Center Printer Printer R2AD Lưới mơ hình liên quan Tính tốn phân tán Tính tốn phân tán •• Ràng buộc lỏng Ràng buộc lỏng •• Khơng đồng Khơng đồng •• Một quản trị Một quản trị Tính tốn lưới Tính tốn lưới •• Cỡ lớn Cỡ lớn •• Nhiều tổ chức Nhiều tổ chức •• Phân tán địa lý Phân tán địa lý •• Phân tán quản lý Phân tán quản lý Tính tốn tiện ích Tính tốn tiện ích ••Dịch vụ tính tốn Dịch vụ tính tốn ••Khơng cần tri thức NCC Không cần tri thức NCC ••Sử dụng cơng nghệ lưới Sử dụng cơng nghệ lưới Cụm Cụm •• Ràng buộc chặt Ràng buộc chặt •• Đồng Đồng •• Cộng tác Cộng tác Ứng dụng tính tốn lưới High-performance computing Collaborative design E-Business High-energy physics Financial modeling Data center automation Drug discovery Life sciences E-Science Collaborative data-sharing Một số ví dụ điển hình • •Tích hợp chia sẻ liệu Tích hợp chia sẻ liệu −−Khoa học sống: Chia sẻ data-sets, tổng Khoa học sống: Chia sẻ data-sets, tổng hợp data-sets hợp data-sets −−Thông tin yyhọc: Hệ thống thơng tin bệnh viện tích Thơng tin học: Hệ thống thơng tin bệnh viện tích hợp hợp −−Năng lượng Năng lượng ••Mơ Mơ −−Mơ động đất Mơ động đất ••Tính tốn hiệu cao Tính tốn hiệu cao −−Khoa học đời sống Khoa học đời sống −−Vật liệu Vật liệu −−Thiên văn học Thiên văn học ••Tính tốn thơng lượng cao Tính tốn thơng lượng cao −−Khoa học đời sống: BLAST, CHARMM, drug Khoa học đời sống: BLAST, CHARMM, drug screening screening −−Công nghệ: aircraft design, materials, biomedical Công nghệ: aircraft design, materials, biomedical −−Khoa học: high-energy physics, economic modeling Khoa học: high-energy physics, economic modeling Một số ví dụ điển hình Một số ví dụ điển hình Một số tổ chức lưới • Global Grid Forum – Xây dựng chuẩn cho lưới • OASIS – Tổ chức phi lợi nhuận phát triển chuẩn thương mại • Các tổ chức liên quan khác – DMTF – W3C Kiến trúc lưới • Kiến trúc dịch vụ lưới mở (2002) – Cung cấp đặc tả chuẩn mở ứng dụng lưới – Chuẩn hóa hầu hết dịch vụ mà ứng dụng lưới sử dụng (vd Quản lý công việc, quản lý tài nguyên,…) – Áp dụng kiến trúc hướng dịch vụ (SOA) – Đặc tả dịch vụ cần thiết Một mơ hình lưới cộng đồng Mơ hình lưới cộng đồng • Global Resources – Bao gồm máy tính,mạng, thiết bị lưu trữ, thiết bị hiển thị,… • Common Infrastructure – Các dịch vụ phần mềm cho phép hợp lưới mơi trường thống (OGSA) • User-focus middleware, tools, services – Cho phép sử dụng lưới cách suốt – Kết nối ứng dụng người sử dụng lưới • Các nội dung đề cập đến môn học Hạ tầng – RPC, RMI, SOAP, OGSA, Globus, WSRF • Các dịch vụ – Bảo mật lưới, quản trị lưới • Quản lý cơng việc giao tiếp người sử dụng – Lập lịch lưới, quản lý tài nguyên – Quản lý luồng công việc – Cổng thơng tin lưới • Một số ứng dụng lưới RPC RMI • Triệu gọi từ xa (RPC) – Mở rộng khái niệm client/server cách tạo lập luật định vị dịch vụ truyền tham số • Kích hoạt phương thức từ xa (RMI) – Là RPC cho lập trình đối tượng (Java) Dịch vụ mạng • Là hệ thống Client/Server • Ý tưởng tương tự RPC,chỉ hoạt động giao thức HTTP • Thiếu sót: stateless,non-transient Dịch vụ lưới • Là mở rộng dịch vụ mạng Một số dịch vụ lưới GT OGSI • Chuẩn tính tốn lưới Single sign-on Thực thi từ xa Quản lý tính tốn chuyển dịch liệu Hỗ trợ từ cộng đồng người sử dụng lớn (tính phổ dụng) – Là khung dịch vụ lưới mức cao – – – – WSRF • Các tổ chức hỗ trợ dịch vụ mạng chưa thống với dịch vụ lưới • Globus Alliance đề xuất WSRF để tạo thống với chuẩn cho dịch vụ có trạng thái: – Create, address, inspect, discover, manage ... CORBA & DCOM IP-based Internet Academic & Research WWW 19 70 19 80 19 90 2000 19 60 Từ hệ phân tán đến tính tốn lưới D-Grid Những hệ phân tán Nhiều lưới nghiên cứu Licklider đề xuất mơ hifnhtisnh tốn... Printer R2AD Lưới mơ hình liên quan Tính tốn phân tán Tính tốn phân tán •• Ràng buộc lỏng Ràng buộc lỏng •• Khơng đồng Khơng đồng •• Một quản trị Một quản trị Tính tốn lưới Tính tốn lưới •• Cỡ... Lịch sử tính tốn lưới • Tính tốn song song năm 8 0-9 0 – Cung cấp kỹ thuật truyền thông xử lý máy tính song song – PVM,MPI,OpenMP • Mơ hình I-WAY (SC95) – Kết nhập tài ngun phân tán từ 17 site