Tiểu luận môn điện toán lưới và đám mây GRID COMPUTING VS CLOUD COMPUTING

Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ 1 Đặng Thị Mỹ Hạnh – CH1301012 TÊN ĐỀ TÀI: GRID COMPUTING VS CLOUD COMPUTING ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  BÀI TIỂU LUẬN MÔN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY Giảng viên hướng dẫn: PGS. TS. Nguyễn Phi Khứ Họ tên học viên: Đặng Thị Mỹ Hạnh Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ CHƯƠNG 1 NHỮNG VẤN ĐỀ CƠ BẢN VỀ ĐIỆN TOÁN LƯỚI – GRID COMPUTING 1. Định nghĩa về Grid “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization - VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”. (Tiến sỹ Ian Foster) 2. Đặc trưng - Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung. - Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng. - Đáp ứng yêu cầu cao về chất lượng dịch vụ. 3. Tài nguyên của Grid 3.1. Tài nguyên tính toán Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xửlý của các thiết bị trong Grid. Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau. Có 3 cách để khai thác tài nguyên tính toán của Grid: - Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạy trên máy tính cục bộ. - Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau. - Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid. 3.2. Tài nguyên lưu trữ (phần cứng) Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ. Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid. Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các 2 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ thiết bị lưu trữ khác. Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu. 3.3. Tài nguyên phương tiện liên lạc Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Grid trở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng. Ở đây bao gồm việc liên lạc, trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài. Một số công việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máy đang thực thi công việc. Khả năng về băng thông trong những trường hợp như vậy là một tài nguyên then chốt, ảnh hưởng đến khả năng của Grid. Việc giao tiếp với bên ngoài được thực hiện thông qua mạng Internet. Grid có thể sử dụng các kết nối Internet để liên lạc giữa các node. Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cập Internet. Các đường truyền dự phòng đôi khi cần thiết để giải quyết tốt hơn các vấn đề về hư hỏng mạng và truyền dữ liệu lớn. 3.4. Tài nguyên phần mềm, ứng dụng Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid. Các phần mềm này chỉ cần được cài trên một số node. Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi. Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm. 3.5. Tài nguyên các thiết bị đặc biệt Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor),… Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích, xử lý sau này. Ví dụ Một ví dụ về grid được biết đến là ACEnet (Atlantic Computational Excellence Network). Có 9 thành viên tham gia, 9 thành viên này là các trường đại học trong vùng Atlantic có sự phân tán về vị trí địa lý. - Memorial University of Newfoundland, NL - Saint Francis Xavier University, NS - Saint Mary’s University, NS 3 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ - University of New Brunswick, NB - Dalhousie University, NB - Mount Allison University, NB - University of Prince Edward Island, PE - Acadia University, NS - Cape Breton University, NS Tài nguyên phần cứng Tài nguyên phần cứng ACE-net được đặt tại nhiều trường đại học bao gồm những clusters sau: - Brasdor (brasdor.ace-net.ca) tại AtFX - Fundy (fundy.ace-net.ca) tại UNB - Mahone (mahone.ace-net.ca) tại Saint Mary’s - Placenctia (placentia2.ace-net.ca) tại MUN - Glooscap (glooscap.ace-net.ca) tại Dal - Courtenay (courtenay.ace-net.ca) tại UNBSJ Mỗi một cluster bao gồm một số máy tính (gọi là nút), và mỗi một nút có nhiều CPUs với nhiều lõi. Có máy AMD Opteron-based chạy trên Red Hat Enterprise Linux AS 4 (RHEL4) hoặc Avance Platform 5 (RHEL5). Chi tiết 4 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ Tài nguyên phần mềm Một lượng lớn các phần mềm khác nhau được cài đặt trên lưới ACE-net. Dưới đây là một vài ví dụ: - Scientific Computing Packages (Phần mềm tính toán khoa học kỹ thuật): DiVinE-mc, GAUSSIAN, Maple, MATLAB (MATLAB là một môi trường tính toán số và lập trình, được thiết kế bởi công ty MathWorks. MATLAB cho phép tính toán số với ma trận, vẽ đồ thị hàm số hay biểu đồ thông tin, thực hiện thuật toán, tạo các giao diện người dùng và liên kết với những chương trình máy tính viết trên nhiều ngôn ngữ lập trình khác. Với thư viện Toolbox, MATLAB cho phép mô phỏng tính toán, thực nghiệm nhiều mô hình trong thực tế và kỹ thuật), Mathematica, Octave, Spin, v.v… - Graphics và Visualization (Phần mềm đồ họa): feh, ferret, Molden, NCAR graphics, VTK. - Scientific Libraries (Thư viện khoa học kỹ thuật): ACML, PGI, BLAS, FFTW, GMP, GSL, HDF4, HDF5, NetCDF, Sun Performance Library (Sun Performance Library là một bộ tối ưu hóa, các bài toán con với lời giải tối ưu để giải quyết trong đại số tuyến tính và các vấn đề liên quan đến số học khác. Sun Performance Library dựa trên tập hợp các ứng dụng có sẵn từ Netlib tại địa chỉ 5 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ http://www.netlib.org. Sun đã tăng cường các ứng dụng phổ biến và đóng gói chúng lại thành Sun Performance Library), SS12 và szip. - Parallel APIs: BSPonMPI, MPI, OpenMP, pyMPI, BLACS - Compilers và Languages: Portland Group Compilers (C, C++, Fortran), Sun Studio 12 Compilers (C, C++, Fortran), GNU compilers (C, C++, Fortran, Java), Java, 64 bit VM, Mono (.NET), Perl, Python và Ruby. 4. Các thành phần trong kiến trúc Grid tổng quát Tổ chức ảo (VO): là đơn vị cơ bản quan trọng trong hệ thống Grid. Việc thiết lập, quản lý, khai thác các quan hệ chia sẻ tài nguyên giữa các tổ chức ảo đòi hỏi phải có kiến trúc hệ thống mới, kiến trúc Grid. Kiến trúc Grid phải là kiến trúc dựa chuẩn, hướng mở để dễ sử dụng, liên kết hoạt động tốt, có tính khả chuyển (portability) cao. Những protocol chuẩn sẽ giúp định nghĩa các service chuẩn, nhờ đó có thể xây dựng các service cao cấp hơn một cách dễ dàng. 6 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ Kiến trúc Grid tổng quát 4.1. Tầng Fabric Là tầng thấp nhất của kiến trúc lưới, đại diện cho các thiết bị vật lý và toàn bộ tài nguyên của lưới mà các tổ chức, người dùng muốn chia sẻ, sử dụng. Các tài nguyên có thể tồn tại dưới dạng vật lý như các máy tính, hệ thống lưu trữ, các danh mục, tài nguyên mạng, các loại sensor, cũng có thể là các thực thể logic đại diện cho một tập các tài nguyên vật lý, như hệ thống file phân tán, các cluster… 4.2. Tầng Connectivity Định nghĩa các giao thức liên lạc và chứng thực cơ bản cần thiết cho các giao dịch mạng đặc trưng của lưới. Các giao thức liên lạc cho phép trao đổi dữ liệu giữa các tài nguyên tầng Fabric. Các giao thức chứng thực xây dựng trên những dịch vụ liên lạc nhằm cung cấp cơ chế mã hóa, bảo mật, xác minh và nhận dạng người dùng và tài nguyên. Hiện nay, Grid được xây dựng trên các giao thức có sẵn của bộ TCP/IP protocol stack, cụ thể là các tầng Netword (IP và ICMP), Transport (TCP, UDP) và Application (DNS, OSPF,…) 4.3. Tầng Resource Dựa trên các giao thức liên lạc và chứng thực của tầng Connectivity để xây dựng các giao thức, API, và SDK nhằm hỗ trợ việc thương lượng, khởi tạo, theo dõi, điều khiển, tính toán chi phí và chi trả cho các hoạt động chia sẻ trên từng tài nguyên riêng lẻ một cách an toàn. Bản cài đặt các giao thức của tầng Resource sẽ gọi các chức năng của tầng Fabric để truy cập và điều khiển các tài nguyên cục bộ. 4.4. Tầng Collective 7 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ Trong khi tầng Resource tập trung vào các tài nguyên đơn lẻ, tầng Collective chứa các giao thức, dịch vụ, API, SDK không liên hệ đến bất kỳ một tài nguyên cụ thể nào mà thực hiện quản lý toàn cục, tập trung vào các giao tác giữa các tập tài nguyên. 4.5. Tầng Application Tầng trên cùng của kiến trúc lưới bao gồm các ứng dụng của người dùng chạy trong môi trường VO. 5. Kiến trúc Grid trong thực tế Trong thực tế, kiến trúc Grid tổng quan đã được cài đặt và xây dựng gồm 4 tầng tương ứng với các tầng của kiến trúc tổng quát như sau: Kiến trúc Grid trong thực tế với các thành phần 8 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ 5.1. Tầng Fabric (tầng Fabric) Giống như tầng Fabric trong kiến trúc tổng quát. 5.2. Tầng Core Middleware (Connectivity và Resource và nửa dưới của Collective) Cung cấp các dịch vụ như quản lý tiến trình ở xa, kết hợp, phân phối các tài nguyên, quản lý truy cập không gian lưu trữ, đăng ký và tìm kiếm thông tin, bảo mật và các khía cạnh của QoS như đặt trước, mua bán và trao đổi tài nguyên,… Các dịch vụ này là sự trừu tượng hoá tính phức tạp và đa dạng của các tài nguyên bằng cách cung cấp một phương pháp chung để truy cập tài nguyên. 5.3. Tầng User-level Middleware (Collective) Tận dụng các giao diện ở tầng Core Middleware để cung cấp các dịch vụ có mức độ trừu tượng cao hơn. Tầng này bao gồm các môi trường phát triển phần mềm, công cụ lập trình, resource broker, bộ lập lịch,… 5.4. Tầng Application và Portal (Application) Giống như tầng Fabric trong kiến trúc tổng quát. 6. Grid Middleware Grid middleware là gói phần mềm nằm giữa lớp ứng dụng và hệ điều hành. Grid middleware quản lý security, truy cập và trao đổi thông tin: + Cung cấp khả năng kết nối số lượng người dùng lớn. + Che giấu tài nguyên chia sẻ như máy tính, trung tâm dữ liệu, những thiết bị cần thiết khác… + Cung cấp các công cụ để quản lý, khởi tạo các liên kết trao đổi thông tin. 9 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ 6.1. Mục đích và lợi ích của Grid Middleware a. Mục đích - Xây dựng các giao tiếp và các giao thức có tính mục đích chung, tính mở và tính chuẩn. Vì hệ thống lưới được xây dựng trên những giao tiếp và giao thức với rất nhiều mục đích khác nhau. Những giao tiếp và giao thức này đều chỉ ra được những kết quả cơ bản mang tính nền tảng như việc xác thực, khám phá tài nguyên, truy xuất tài nguyên. Do đó, việc xây dựng các giao tiếp, giao thức chuẩn và mở là rất quan trọng, nếu không chỉ xây dựng được những ứng dụng mang tính đặc thù mà thôi. - Định nghĩa những giao thức chuẩn: grid middleware định nghĩa nội dung và chuỗi các sự kiện trao đổi thông điệp sử dụng các thao tác yêu cầu từ xa. Điều này rất quan trọng và cấp thiết để thực hiện tính interoperability (khả năng mà 2 thực thể khác nhau có thể làm việc với nhau và được thực hiện bởi các giao thức thông thường) mà hệ thống lưới phụ thuộc vào. - Cung cấp các API chuẩn: đó là các giao diện lập trình ứng dụng chuẩn, định nghĩa những giao tiếp chuẩn để viết mã thư viện, và cấu trúc các thành phần của Grid bằng cách cho phép những thành phần mã nguồn được sử dụng lại. b. Lợi ích của Grid Middleware - Tránh cho các nhà phát triển ứng dụng không phải lập trình ở mức thấp, tránh được các error-prone flatform như việc lập trình mạng mức socket. - Giảm chi phí thời gian phát triển phần mềm khi tập trung phát triển chuyên môn trước rồi mới phát triển ứng dụng bằng cách tái sử dụng framework chứ không cần xây dựng lại từ đầu. - Cung cấp các trừu tượng hướng mạng ở mức cao gần với yêu cầu ứng dụng cho việc phát triển hệ thống rời rạc. - Cung cấp nhiều dịch vụ phát triển, như đăng nhập và bảo mật giúp cho việc hoạt động hiệu quả trong môi trường mạng. 6.2. Kiến trúc Grid Middleware Grid Middleware nằm giữa 2 tầng là tầng ứng dụng (Applications) và tầng thiết bị (Fabric). Grid middleware gồm 2 tầng chính: a. Tầng các dịch vụ tập hợp (Collective services) Có khả năng quản lý một tập các tài nguyên trong khi lớp tài nguyên chỉ tập trung vào việc tương tác giữa các tài nguyên đơn lẻ. Và nó dựa trên lớp kết nối và 10 Đặng Thị Mỹ Hạnh – CH1301012 [...]... – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ CHƯƠNG 2 NHỮNG VẤN ĐỀ CƠ BẢN VỀ ĐIỆN TOÁN ĐÁM MÂY – CLOUD COMPUTING 1 Định nghĩa về Cloud Theo Ian Foster: Cloud Computing là một mô hình điện toán phân tán có tính co giãn lớn mà hướng theo co giãn về mặt kinh tế, là nơi chứa các sức mạnh tính toán, kho lưu trữ, các nền tảng và các dịch vụ được trực quan, ảo hóa và co giãn linh... tưởng hình thành mô hình Hybrid Cloud 19 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ Kết hợp Public Cloud và Private Cloud Hybrid Cloud là sự kết hợp của Public Cloud và Private Cloud Trong đó doanh nghiệp sẽ “out-source” các chức năng nghiệp vụ và dữ liệu không quan trọng, sử dụng các dịch vụ Public Cloud để giải quyết và xử lý các dữ liệu này Đồng thời,... nhu cầu và chạy ứng dụng đó trên cơ sở hạ tầng Cloud Mô hình này giải phóng người dùng khỏi việc quản lý hệ thống, cơ sở hạ tầng, hệ điều hành… tất cả sẽ do nhà cung cấp dịch vụ quản lý và kiểm soát để đảm bảo ứng dụng luôn sẵn sàng và hoạt động ổn định 17 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ 3.2 Mô hình triển khai a Public Cloud Các dịch vụ Cloud. .. chức năng nghiệp vụ và dữ liệu tối quan trọng trong tầm kiểm soát (Private Cloud) Một khó khăn khi áp dụng mô hình Hybrid Cloud là làm sao triển khai cùng một ứng dụng trên cả hai phía Public và Private Cloud sao cho ứng dụng đó có thể kết nối, trao đổi dữ liệu để hoạt động một cách hiệu quả Triển khai ứng dụng trên Hybrid Cloud 20 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS... yêu cầu của người sử dụng Mô hình Public Cloud Tuy nhiên Public Cloud có một trở ngại, đó là vấn đề mất kiểm soát về dữ liệu và vấn đề an toàn dữ liệu Trong mô hình này mọi dữ liệu đều nằm trên dịch vụ Cloud, do nhà cung cấp dịch vụ Cloud đó bảo vệ và quản lý Chính điều này khiến 18 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ cho khách hàng, nhất là các... việc đặt chỗ và chất lượng dịch vụ) và các thao tác thực hiện như khởi tạo, truy xuất tài nguyên,… 7 Các Grid middleware phổ biến Middleware Thuộc tính Tập trung Lĩnh vực UNICORE GLOBUS LEGION GRIDBUS Mô hình lập trình Các dịch vụ cấp Mô hình lập trình cấp Trừu tượng hóa cấp cao thấp cao và các mô hình thị trường tính toán Tập trung vào Mô hình tính toán Mô hình tính toán Mô hình tính toán 12 Đặng... eScience Project + GriPhyN + EU Data Grid Có broker service Có broker service Thư viện Nexus chung, tổng quát + Dựa trên GSI của Globus + Sử dụng các chức năng bảo mật Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ thực X.509V3 của Microsoft NET Framework (Alchemi) 8 Ưu điểm và hạn chế của Grid 8.1 Ưu điểm - Có thể giải quyết các bài toán lớn hơn và phức tạp hơn trong khoảng thời gian... thể được thực hiện trong hoạt động song song Môi trường lưới phù hợp để chạy các công việc có thể được chia thành những phần nhỏ hơn và chạy đồng thời trên nhiều nút 8.2 Hạn chế - Phần mềm Grid và các chuẩn vẫn đang trong giai đoạn phát triển - Không có sự tương tác trong quá trình gửi tin 14 Đặng Thị Mỹ Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ - Đối với những ứng... đảm nhiệm công việc này Như vậy, mặc dù tốn chi phí đầu tư nhưng Private Cloud lại cung cấp cho doanh nghiệp khả năng kiểm soát và quản lý chặt chẽ những dữ liệu quan trọng Private Cloud và Public Cloud c Hybrid Cloud Public Cloud dễ áp dụng, chi phí thấp nhưng không an toàn Ngược lại, Private Cloud an toàn hơn nhưng tốn chi phí và khó áp dụng Do đó nếu kết hợp được hai mô hình này lại với nhau thì sẽ... Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS Nguyễn Phi Khứ thực thi và kiểm chung, tổng quát soát công việc Kiến trúc Hệ thống đa tầng Bộ toolkit có phân theo chiều sau tầng và module hóa Chuẩn Mới bắt đầu áp OGSA, OGSI dụng OGSA, OGSI vào phiên bản hiện đang phát triển Mô hình triển Abstract Job Mô hình đồng hồ khai Object cát ở mức độ hệ thống Công nghệ cài Java C và Java đặt Nền . NGHỆ THÔNG TIN  BÀI TIỂU LUẬN MÔN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY Giảng viên hướng dẫn: PGS. TS. Nguyễn Phi Khứ Họ tên học viên: Đặng Thị Mỹ Hạnh Grid Computing vs Cloud Computing GVHD: PGS.TS CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ CHƯƠNG 2 NHỮNG VẤN ĐỀ CƠ BẢN VỀ ĐIỆN TOÁN ĐÁM MÂY – CLOUD COMPUTING 1. Định nghĩa về Cloud Theo Ian Foster: Cloud Computing. Hạnh – CH1301012 Grid Computing vs Cloud Computing GVHD: PGS.TS. Nguyễn Phi Khứ Kết hợp Public Cloud và Private Cloud Hybrid Cloud là sự kết hợp của Public Cloud và Private Cloud. Trong đó doanh