Tổng quan tính toán lưới

Tính toán lưới Tổng quan Hà nội, 6/2008 Đại học Bách khoa Hà Nội Nguyễn Hữu Đức Center of High Performance Computing Hanoi University of Technology {ducnh@soict.hut.edu.vn} Ứng dụng phân tán Lịch sử hệ phân tán Những hệ phân tán đầu tiên,v.d SABRE & SAGE 1960 Licklider đề xuất mô hình tính toán chia sẻ nhiều site ARPA net IBM CICS Ethernet TCP Các mạng nghiên cứu với nhiều giao thức không tương thích CORBA & DCOM IP-based Internet Academic & Research WWW 1970 1980 1990 2000 1960 Từ hệ phân tán đến tính toán lưới D-Grid Những hệ phân tán Nhiều lưới toán nghiên cứu Licklider đề xuất mô hifnhtisnh chia sẻ sử dụng đa dạng & M/W stacks IBM CICS Web Services EDG EGEE EGEE II Unicore Nhiều mạng nghiên cứuvói thức không tương thích Cộng tác dựa chia Các giaoGlobus sẻ liệu sinh CORBA & DCOM học/hóa học/y học IP-based Internet I-way Academic & Research Condor WWW ARPA net 1970 1980 1990 2000 Lịch sử tính toán lưới F ‘9 G C s G S m : h ‘ g ru n n g o ộ h t tin đ dF i u p p p ậ Gri ậ l h h r m k P n e nh o r t p e C ế a m A r p k p u e a r ” & GA s p p y o ” u n G g F a S v E F um my olo -W r e : d A & G o to ysi A r i r op S ay F F O a G u S n h G d G W i r O G rm I“A “P OG US E G fo 1995 ’96 ’97 ’98 ’99 2000 ’01 ’02 ’03 ’04 ’05 2006 • • Chương Chươngtrình trìnhe-Science e-Science(UK) (UK) •• •• •• •• •• DARPA DARPAtài tàitrợ trợGlobus GlobusToolkit Toolkit&&Legion Legion EU tài trợ UNICORE project EU tài trợ UNICORE project US USDoE DoEcổ cổvũ vũtính tínhtoán toánlưới lưới NSF tài trợ National Technology NSF tài trợ National TechnologyGrid Grid NASA xây dựng Information Power NASA xây dựng Information PowerGrid Grid Chính Chínhphủ phủNhật Nhậttài tàitrợ: trợ: • • Business Grid project Business Grid project • • NAREGI NAREGIproject project Hiện Hiệnnay: nay: • • TTL TTLlàlàgiải giảipháp phápphổ phổbiến biếntrong trongHPC HPC • • TTL bắt đầu phổ biến TTL bắt đầu phổ biến trongkinh kinh doanh doanh • • Các Cácchuẩn chuẩncông côngnghệ nghệđang đangphát pháttriển triển Lịch sử tính toán lưới • Tính toán song song năm 80-90 – Cung cấp kỹ thuật truyền thông xử lý máy tính song song – PVM,MPI,OpenMP • Mô hình I-WAY (SC95) – Kết nhập tài nguyên phân tán từ 17 site – 60 ứng dụng – Một kiến trúc phần mềm cho việc truy nhập, bảo mật, điều phối tài nguyên Lịch sử tính toán lưới • Các dự án I-WAY – – – – – – Globus Legion Condor (lập lịch thông lượng cao) Mars,Prophet (lập lịch hiệu cao) NWS Môi giới tài nguyên lưu trữ … • Các diễn đàn lưới – Kiến trúc lưới mở OGSA Lưới tính toán gì? Lưới Lướitính tínhtoán toánlà làmột hệ hệ thống thốngbao bao gồm: gồm: −− −− Các Cáctài tàinguyên nguyênphân phântán tánđược đượckết kếtnối nốivới vớinhau Phần Phầncứng cứngvà vàphần phầnmềm mềmcho chophép phéptruy truynhập nhậpvà vàquản quảnlýlýcác cáctài tài nguyên cách suốt nguyên cách suốt License License Web Web server server Handheld Server Workstation Database Database Supercomputer Cluster Data Center Printer Printer R2AD Lưới mô hình liên quan Tính Tínhtoán toánphân phântán tán •• Ràng Ràngbuộc buộclỏng lỏng •• Không đồng Không đồngnhất •• Một Mộtquản quảntrịtrị Tính Tínhtoán toánlưới lưới •• Cỡ Cỡlớn lớn •• Nhiều Nhiềutổtổchức chức •• Phân tán Phân tán vềđịa địalýlý •• Phân Phântán tánquản quảnlýlý Tính Tínhtoán toántiện tiệních ích ••Dịch Dịchvụ vụtính tínhtoán toán ••Không cần tri Không cần trithức thứcvề vềNCC NCC ••Sử dụng công nghệ lưới Sử dụng công nghệ lưới Cụm Cụm •• Ràng Ràngbuộc buộcchặt chặt •• Đồng Đồng •• Cộng Cộngtác tác Ứng dụng tính toán lưới High-performance computing Collaborative design E-Business High-energy physics Financial modeling Data center automation Drug discovery Life sciences E-Science Collaborative data-sharing Một số ví dụ điển hình • •Tích Tíchhợp hợpvà vàchia chiasẻ sẻdữ dữliệu liệu −−Khoa Khoahọc họccuộc cuộcsống: sống:Chia Chiasẻ sẻcác cácdata-sets, data-sets,tổng tổng hợp data-sets hợp data-sets −−Thông Thôngtin tinyyhọc: học:Hệ Hệthống thốngthông thôngtin tinbệnh bệnhviện việntích tích hợp hợp −−Năng Nănglượng lượng ••Mô Môphỏng −−Mô Môphỏng phỏngđộng độngđất đất ••Tính Tínhtoán toánhiệu hiệunăng năngcao cao −−Khoa Khoahọc họcđời đờisống sống −−Vật liệu Vật liệu −−Thiên Thiênvăn vănhọc học ••Tính Tínhtoán toánthông thônglượng lượngcao cao −−Khoa Khoahọc họcđời đờisống: sống:BLAST, BLAST,CHARMM, CHARMM,drug drug screening screening −−Công Côngnghệ: nghệ:aircraft aircraftdesign, design,materials, materials,biomedical biomedical −−Khoa học: high-energy physics, economic Khoa học: high-energy physics, economicmodeling modeling Một số ví dụ điển hình Một số ví dụ điển hình Một số tổ chức lưới • Global Grid Forum – Xây dựng chuẩn cho lưới • OASIS – Tổ chức phi lợi nhuận phát triển chuẩn thương mại • Các tổ chức liên quan khác – DMTF – W3C Kiến trúc lưới • Kiến trúc dịch vụ lưới mở (2002) – Cung cấp đặc tả chuẩn mở ứng dụng lưới – Chuẩn hóa hầu hết dịch vụ mà ứng dụng lưới sử dụng (vd Quản lý công việc, quản lý tài nguyên,…) – Áp dụng kiến trúc hướng dịch vụ (SOA) – Đặc tả dịch vụ cần thiết Một mô hình lưới cộng đồng Mô hình lưới cộng đồng • Global Resources – Bao gồm máy tính,mạng, thiết bị lưu trữ, thiết bị hiển thị,… • Common Infrastructure – Các dịch vụ phần mềm cho phép hợp lưới môi trường thống (OGSA) • User-focus middleware, tools, services – Cho phép sử dụng lưới cách suốt – Kết nối ứng dụng người sử dụng lưới Các nội dung đề cập đến môn học • Hạ tầng – RPC, RMI, SOAP, OGSA, Globus, WSRF • Các dịch vụ – Bảo mật lưới, quản trị lưới • Quản lý công việc giao tiếp người sử dụng – Lập lịch lưới, quản lý tài nguyên – Quản lý luồng công việc – Cổng thông tin lưới • Một số ứng dụng lưới RPC RMI • Triệu gọi từ xa (RPC) – Mở rộng khái niệm client/server cách tạo lập luật định vị dịch vụ truyền tham số • Kích hoạt phương thức từ xa (RMI) – Là RPC cho lập trình đối tượng (Java) Dịch vụ mạng • Là hệ thống Client/Server • Ý tưởng tương tự RPC,chỉ hoạt động giao thức HTTP • Thiếu sót: stateless,non-transient Dịch vụ lưới • Là mở rộng dịch vụ mạng Một số dịch vụ lưới GT OGSI • Chuẩn tính toán lưới Single sign-on Thực thi từ xa Quản lý tính toán chuyển dịch liệu Hỗ trợ từ cộng đồng người sử dụng lớn (tính phổ dụng) – Là khung dịch vụ lưới mức cao – – – – WSRF • Các tổ chức hỗ trợ dịch vụ mạng chưa thống với dịch vụ lưới • Globus Alliance đề xuất WSRF để tạo thống với chuẩn cho dịch vụ có trạng thái: – Create, address, inspect, discover, manage [...]... cácdata-sets, data-sets ,tổng tổng hợp các data-sets hợp các data-sets −−Thông Thôngtin tinyyhọc: học:Hệ Hệthống thốngthông thôngtin tinbệnh bệnhviện việntích tích hợp hợp −−Năng Nănglượng lượng ••Mô Môphỏng phỏng −−Mô Môphỏng phỏngđộng độngđất đất • Tính Tínhtoán toánhiệu hiệunăng năngcao cao −−Khoa Khoahọc họcđời đờisống sống −−Vật liệu Vật liệu −−Thiên Thiênvăn vănhọc học • Tính Tínhtoán toánthông thônglượng... sót: stateless,non-transient Dịch vụ lưới • Là mở rộng của dịch vụ mạng Một số dịch vụ lưới của GT OGSI • Chuẩn tính toán lưới Single sign-on Thực thi từ xa Quản lý tính toán và chuyển dịch dữ liệu Hỗ trợ từ cộng đồng người sử dụng lớn (tính phổ dụng) – Là một khung các dịch vụ lưới mức cao – – – – WSRF • Các tổ chức hỗ trợ dịch vụ mạng chưa thống nhất với dịch vụ lưới • Globus Alliance đề xuất WSRF... hình Một số ví dụ điển hình Một số tổ chức lưới • Global Grid Forum – Xây dựng các chuẩn cơ bản cho lưới • OASIS – Tổ chức phi lợi nhuận phát triển các chuẩn thương mại • Các tổ chức liên quan khác – DMTF – W3C Kiến trúc lưới • Kiến trúc dịch vụ lưới mở (2002) – Cung cấp các đặc tả chuẩn và mở về ứng dụng lưới – Chuẩn hóa hầu hết các dịch vụ mà một ứng dụng lưới có thể sử dụng (vd Quản lý công việc,... vụ cần thiết Một mô hình lưới cộng đồng Mô hình lưới cộng đồng • Global Resources – Bao gồm máy tính, mạng, thiết bị lưu trữ, thiết bị hiển thị,… • Common Infrastructure – Các dịch vụ phần mềm cho phép hợp nhất lưới như một môi trường thống nhất (OGSA) • User-focus middleware, tools, services – Cho phép sử dụng lưới một cách trong suốt – Kết nối ứng dụng và người sử dụng trong lưới Các nội dung sẽ đề... Các nội dung sẽ đề cập đến trong môn học • Hạ tầng – RPC, RMI, SOAP, OGSA, Globus, WSRF • Các dịch vụ cơ bản – Bảo mật lưới, quản trị lưới • Quản lý công việc và giao tiếp người sử dụng – Lập lịch lưới, quản lý tài nguyên – Quản lý luồng công việc – Cổng thông tin lưới • Một số ứng dụng lưới RPC và RMI • Triệu gọi từ xa (RPC) – Mở rộng khái niệm client/server bằng cách tạo lập các luật định vị dịch vụ ... Printer R2AD Lưới mô hình liên quan Tính Tínhtoán toánphân phântán tán •• Ràng Ràngbuộc buộclỏng lỏng •• Không đồng Không đồngnhất •• Một Mộtquản quảntrịtrị Tính Tínhtoán toánlưới lưới •• Cỡ Cỡlớn... cao) NWS Môi giới tài nguyên lưu trữ … • Các diễn đàn lưới – Kiến trúc lưới mở OGSA Lưới tính toán gì? Lưới Lướitính tínhtoán toánlà làmột hệ hệ thống thốngbao bao gồm: gồm: −− −− Các Cáctài tàinguyên... tánquản quảnlýlý Tính Tínhtoán toántiện tiệních ích ••Dịch Dịchvụ v tính tínhtoán toán ••Không cần tri Không cần trithức thứcvề vềNCC NCC ••Sử dụng công nghệ lưới Sử dụng công nghệ lưới Cụm Cụm ••