Phần dƣới trình bày một số mô hình đa đám mây đã đƣợc triển khai trong thực tiễn. Đa phần các mô hình triển khai này là kết quả của sự chuyển dịch từ mô hình điện toán cũ nhƣ tính toán lƣới lên mô hình điện toán đa đám mây t i các tổ chức nghiên cứu lớn.
2.1.3.1. EGI
Tổ chức phi lợi nhuận European Grid Infrastructure (EGI) thành lập vào n m 2010 với mục đích cung cấp tài nguyên tính toán hiệu n ng cao cho khu vực Châu Âu sử dụng công nghệ tính toán lƣới (Grid Computing). EGI kết nối h tầng tính toán của các trung tâm, viện nghiên cứu từ các nƣớc hâu Âu để hỗ trợ việc nghiên cứu trong các mảng khoa học khác nhau nhƣ vật lý, sinh học, thiên v n học..
N m 2011, EGI bắt đầu nghiên cứu về môi trƣờng đa đám mây và mất 3 n m (2011 – 2014) để thiết kế ra EGI Federated Cloud (h tầng ĐTĐM đồng nhất EGI). Quá trình này bao gồm sự ra đời của FedCloud Task Force, một đơn vị chú trọng vào các công nghệ, thiết kế quanh môi trƣờng đa đám mây. Từ tháng 05 n m 2014, h tầng EGI Federated Cloud chính thức đi vào ho t động với bộ lõi xử lý dựa trên các tiêu chuẩn giao tiếp và mở của ĐTĐM nhƣ O I, DMI, OVF, GLUE2, APEL. Tới n m 2015, EGI đề xuất mô hình đa đám mây mở rộng với mục đích có thể kết hợp nhiều môi trƣờng điện toán đa đám mây l i với nhau một cách đồng nhất và đơn giản. Các giải pháp ĐTĐM nguồn mở đƣợc sử dụng chủ yếu trong EGI là OpenStack, OpenNebula và Synnefo.
Tính đến thời điểm cuối n m 2014, EGI có 26 thành viên tham gia, trong đó có 24 nƣớc Châu Âu và 2 đơn vị EIRO (European Intergovernmental Research Organisation – Tổ chức nghiên cứu liên quốc gia Châu Âu) là CERN và EBI. Các dự án nghiên cứu trọng điểm của EGI có thể kể tên nhƣ: EGI-Engage, AARC, INDIGO, ELI-Trans, BioVeL, FitSM, SCI-BUS, Cloud-SME... Số lƣợng dự án tính đến thời điểm này là hơn 200 dự án nghiên cứu.
Tài nguyên của h tầng điện toán đa đám mây EGI tập trung cung cấp dịch vụ tính toán và lƣu trữ trên nền tảng ĐTĐM. hi tiết về tài nguyên tính toán của EGI nhƣ sau:
340 nhà cung cấp dịch vụ (chủ yếu là nội bộ) đặt t i 54 quốc gia. 550.000 lõi xử lý logic CPU.
Hình 5. Mô hình đa đám mây EGI
2.1.3.2. Grid’5000
Grid’5000 là tổ chức nghiên cứu đƣợc thành lập với mục tiêu xây dựng một nền tảng tính toán phục vụ cho nhu cầu nghiên cứu, thử nghiệm các bài toán về tính toán phân tán, tính toán song song bao gồm cả ĐTĐM, HP và xử lý dữ liệu lớn (Big Data). Grid’5000 đƣợc thử nghiệm từ giữa n m 2003 và chính thức đi vào ho t động vào n m 2005. Thời điểm đầu, Grid’5000 tập trung vào công nghệ tính toán lƣới tƣơng tự nhƣ EGI cho việc xây dựng h tầng đáp ứng nhu cầu nghiên cứu, những n m gần đây, Grid’5000 bắt đầu thử nghiệm, hỗ trợ các nghiên cứu về quá trình chuyển dịch lên h tầng điện toán đa đám mây.
Tính đến thời điểm tháng 09 n m 2014, h tầng của Grid’5000 có 10 trung tâm dữ liệu, trong đó chủ yếu nằm ở Pháp. Cấu hình phần cứng t i các trung tâm của Grid’5000 rất đa d ng và đƣợc bảo trì, thay mới định kỳ. Trung bình hàng n m Grid’5000 có hơn 500 đơn vị tham gia nghiên cứu và sử dụng tài nguyên, dịch vụ tính toán. Tài nguyên tính toán của Grid’5000 nhƣ sau:
24 cụm tính toán (cluster) 02 cụm tính toán dựa vào GPU
02 cụm lƣu trữ 1006 nốt tính toán 8014 lõi xử lý CPU
Hình 6. Mô ì t ử g ệm đa đám mây N mbus tr Gr d'5000
Grid’5000 có các dự án nghiên cứu về môi trƣờng điện toán đa đám mây nhƣ CompatibleOne (hình 6). Trong đó, các trung tâm dữ liệu t i Grid’5000 và FutureGrid đƣợc triển khai sử dụng nền tảng mã nguồn mở Nimbus và OpenNebula.
2.2 Các yếu tố cầ t ết k t ết kế mô trƣờ g đ ệ toá đa đám mây.
Trong môi trƣờng đa đám mây, để đảm bảo tính khả thi cho việc chuyển dịch các ứng dụng và dịch vụ, việc thiết kế giải pháp đa đám mây thƣờng cần giải quyết đƣợc các vấn đề sau:
Tính khả mở
Tính khả chuyển
Phần này của luận v n, tác giã sẽ nêu và phân tích các vấn đề trên, đề xuất các hƣớng giải quyết khả thi.
2.2.1 Tính khả mở (scalability).
Thông thƣờng, các nền tảng ĐTĐM công cộng hay nội bộ khi triển khai đều đảm bảo tính khả mở ở hai khía c nh: h tầng và dịch vụ cung cấp. Khả mở ở mức h tầng bao hàm khả n ng dễ dàng mở rộng về tài nguyên vật lý, sẵn sàng cung cấp dịch vụ ĐTĐM. Khả mở ở mức dịch vụ cung cấp cho phép dễ dàng thay đổi tài nguyên ảo hoá, chất lƣợng dịch vụ mà không tốn nhiều công sức và thời gian. Tuy nhiên, trong môi trƣờng điện toán đa đám mây, tính khả mở cần đảm bảo thêm các ràng buộc về việc dễ dàng mở rộng, dễ dàng tích hợp thêm các dịch vụ ĐTĐM công cộng hoặc nội bộ khác vào tài nguyên tính toán chung của môi trƣờng đa đám mây. Ngoài ra, khi tính đến khả mở dịch vụ và ứng dụng trên môi trƣờng điện toán đa đám mây, cần bảo đảm ràng buộc về hiệu n ng và chất lƣợng dịch vụ của ứng dụng. Ví dụ, trong môi trƣờng điện toán đa đám mây đang khởi ch y một cụm (cluster) phục vụ bài toán tin sinh; khi có nhu cầu mở rộng cụm tính toán này ở trên một h tầng dịch vụ ĐTĐM khác trong môi trƣờng đa đám mây, cần bảo đảm về khả n ng tƣơng thích, khả n ng truyền thông trong cụm và việc chia sẻ dữ liệu giữa h tầng mới và cũ để duy trì tính ổn định của cụm.
2.2.2 Tính khả chuyển (portability).
Tính khả chuyển trong môi trƣờng đa đám mây ở một mức độ phức t p và cao cấp hơn rất nhiều nếu so sánh với tính chất khả chuyển trên một nền tảng ĐTĐM công cộng hoặc nội bộ đơn giản. Trong một môi trƣờng đơn đám mây, khả n ng chuyển dịch tài nguyên, dịch vụ chỉ đơn thuần ở mức h tầng tính toán, lƣu trữ và bảo đảm về truyền dẫn. Tuy nhiên, trong môi trƣờng đa đám mây, khả chuyển còn cần phải bảo đảm về tính đồng bộ trong h tầng tính toán, lƣu trữ giữa các đám mây tham gia trong môi trƣờng.
Một ví dụ cụ thể, khi chuyển dịch một ứng dụng, dịch vụ ch y trên OpenStack sử dụng Hypervisor KVM thuộc môi trƣờng EGI sang OpenNebula sử dụng XenServer sẽ là bất khả thi nếu không đáp ứng đƣợc:
1. H tầng tính toán: dịch vụ cần chuyển dịch yêu cầu tài nguyên tính toán cao hơn h tầng sẽ chuyển dịch tới.
2. H tầng lƣu trữ: bản chất hypervisor sử dụng các định d ng ổ đ a ảo riêng biệt, bởi vậy quá trình chuyển dịch thông thƣờng sẽ là không khả thi nếu giữa các đám mây dịch vụ tham gia môi trƣờng không có sự hỗ trợ các định d ng ổ đ a ảo thuộc ứng dụng muốn chuyển dịch.
3. H tầng truyền dẫn: ứng dụng chuyển dịch cần h tầng truyền dẫn tối thiểu 10Gbps, nếu h tầng đích chuyển dịch tới không đáp ứng đƣợc nhu cầu sẽ dẫn đến tr ng thái ho t động bất ổn trong dịch vụ.
Để giải quyết vấn đề khả chuyển và khả mở trong môi trƣờng đa đám mây, thông thƣờng giữa các nhà cung cấp dịch vụ ĐTĐM công cộng hoặc nội bộ khi tham gia luôn có một cam kết về khả n ng đáp ứng dịch vụ và khả n ng đồng bộ về h tầng tài nguyên phần cứng.
2.2.3 Tính chuẩn hoá (standarization).
Hiện nay, các giải pháp hỗ trợ triển khai ĐTĐM nội bộ nhƣ OpenStack, loudStack đều tự đƣa ra các giao diện giao tiếp riêng của mình. OpenStack công bố tài liệu API về nova, glance, swift... trong khi CloudStack công bố tài liệu API về ACS. Các nhà cung cấp dịch vụ ĐTĐM công cộng nhƣ mazon, Microsoft và Google cũng đƣa ra các chuẩn API riêng của mình nhƣ WS-API, S3-API, Azure SDK... Khi tham gia môi trƣờng điện toán đa đám mây, việc sử dụng hàng lo t API khác nhau giữa các nhà cung cấp dịch vụ ĐTĐM sẽ dẫn đến tình tr ng phân mảnh, khó quản l và không đảm bảo đƣợc các tính chất về khả chuyển, khả mở nhƣ trên. Ví dụ, một môi trƣờng đa đám mây chỉ hỗ trợ nova-api và AWS-API, nếu một nhà cung cấp dịch vụ nhƣ Microsoft muốn tham gia thì việc tích hợp Azure SDK/API vào là việc phải làm và sẽ dẫn đến việc tiêu tốn thời gian, công sức.
hính bởi nguyên nhân nhƣ vậy, môi trƣờng điện toán đa đám mây có một ràng buộc về chuẩn hoá giao tiếp giữa các nhà cung cấp dịch vụ ĐTĐM khi tham gia. Tính đến thời điểm hiện t i, ĐTĐM trên thế giới chƣa có một chuẩn giao tiếp nào đƣợc công nhận chính thức và hoàn toàn thích nghi với các nhà cung cấp dịch vụ ĐTĐM công cộng hay các giải pháp triển khai ĐTĐM nội bộ. Tuy nhiên, có thể liệt kê một số chuẩn giao tiếp khả thi nhƣ sau:
OCCI – Open Cloud Computing Interface: là một giao diện quản trị đƣợc định ngh a bởi tổ chức OGF (Open Grid Forum) nhằm chuẩn hoá các tác vụ quản trị h tầng tính toán phân tán trong môi trƣờng ĐTĐM. Những phiên bản đầu tiên, O I chỉ đơn thuần là một PI quản trị tài nguyên qua giao thức RESTful cho mô hình IaaS giúp phát triển các ứng dụng tầng trên. Những n m gần đây, O I đã thay đổi dần theo hƣớng tập trung hơn vào việc phát triển khả n ng mở rộng để có thể hỗ trợ nhiều nền tảng PaaS hay SaaS. Hình dƣới mô tả vai trò và vị trí của O I trong một kiến trúc tổng quan.
CDMI – Cloud Data Management Interface: DMI là một chuẩn giao diện đƣợc tổ chức SNI (Storage Networking Industry ssociation) đề xuất với mục tiêu quản l đồng nhất các h tầng lƣu trữ phân tán. ác ứng dụng, dịch vụ sử dụng DMI để truy xuất, khởi t o, chỉnh sửa và xoá các đối tƣợng dữ liệu đƣợc lƣu trữ trên ĐTĐM. Ngoài ra, DMI cung cấp các cơ chế quản l h tầng, phân ho ch tài nguyên sử dụng siêu dữ liệu (metadata). Hình dƣới mô tả vai trò của DMI trong một hệ thống lƣu trữ phân tán trên môi trƣờng ĐTĐM.
Hình 8. Va trò CDMI tro g mô ì ƣu trữ p â tá
OVF (Open Virtualization Format): là chuẩn mở về quy trình đóng gói và phân phối các máy ảo (virtual machine). OVF đƣợc các công ty VMWare, Dell, HP, IBM, Microsoft và XenSource đệ trình với DMTF (Distributed
Management Task Force) vào n m 2007 và đƣợc chính thức công bố vào n m 2008 với phiên bản 1.0.0. OVF bao gồm một tệp mô tả (.ovf) định d ng XML bao gồm tên, cấu hình phần cứng yêu cầu và danh sách tham chiếu các tệp đi cùng. OVF đƣợc công nhận và sử dụng bởi rất nhiều giải pháp ảo hoá nhƣ VirtualBox, VMWare, XenServer, KVM, IBM SmartCloud, SUSE Studio.. Hình dƣới là mô tả về định d ng OVF.
Hình 9. Đị dạ g OVF
Ngoài ra, có thể liệt kê thêm một số chuẩn khác nhƣ GLUE2, PEL.. tuy nhiên về mức độ phổ biến và tƣơng thích vẫn chƣa bằng đƣợc các chuẩn vừa liệt kê nên luận v n sẽ không đề cập chi tiết.
Ngoài các chuẩn giao tiếp trong môi trƣờng điện toán đa đám mây, một vấn đề khác cần lƣu khi chuyển dịch các ứng dụng, dịch vụ phân tán nhƣ bài toán tin sinh lên
môi trƣờng đa đám mây là tính chuẩn hoá của các ứng dụng, dịch vụ này. Đối với bài toán tin sinh, đặc thù bài toán là luồng xử l nghiệp vụ tin sinh dựa trên rất nhiều thƣ viện, bộ công cụ tin sinh nhƣ BL ST, lustal.. Khi xây dựng và chuyển dịch bài toán tin sinh lên môi trƣờng đa đám mây, cần phải chuẩn hoá giữa luồng nghiệp vụ truyền thống (taverna, galaxy..) với luồng nghiệp vụ sẽ chuyển dịch trên đa đám mây.
Trong quá trình khảo sát và đánh giá, luận v n nhận thấy trong các định d ng mô tả luồng nghiệp vụ của tin sinh thì S UFL2 của myGrid có thể đƣợc coi là chuẩn về mô tả luồng nghiệp vụ giữa các công cụ truyền thống nhƣ taverna hay galaxy. S UFL2 đƣợc pache hỗ trợ và đƣợc phát triển với mục tiêu thay thế các định d ng luồng nghiệp vụ cũ, có khả n ng mở rộng và tích hợp với nhiều công cụ nghiên cứu tin sinh khác nhau nhƣ galaxy, taverna. S UFL2 đƣợc mô tả sử dụng ngôn ngữ OWL ontology, bởi vậy không phức t p khi đƣa lên môi trƣờng ĐTĐM. Bảng dƣới mô tả một ví dụ về S UFL2.
<?xml version="1.0"?> <rdf:RDF xmlns=http://ns.taverna.org.uk/2010/scufl2# xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:rdfs=http://www.w3.org/2000/01/rdf-schema# xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ns.taverna.org.uk/2010/scufl2# http://ns.taverna.org.uk/2010/scufl2/scufl2.xsd http://www.w3.org/1999/02/22-rdf-syntax-ns# http://ns.taverna.org.uk/2010/scufl2/rdf.xsd" xsi:type="WorkflowBundleDocument" xml:base="./"> <WorkflowBundle rdf:about="">
<name>HelloWorld</name>
<sameBaseAs rdf:resource="http://ns.taverna.org.uk/2010/workflowBundle/28f7c554-4f35-401f-b34b- 516e9a0ef731/" /> <mainWorkflow rdf:resource="workflow/HelloWorld/" /> <workflow> <Workflow rdf:about="workflow/HelloWorld/"> <rdfs:seeAlso rdf:resource="workflow/HelloWorld.rdf" /> </Workflow> </workflow> <!-- <workflow> <Workflow rdf:about="workflow/SomeNestedWorkflow/"> <rdfs:seeAlso rdf:resource="workflow/SomeNestedWorkflow.rdf" /> </Workflow> </workflow> -->
<mainProfile rdf:resource="profile/tavernaWorkbench/" /> <profile> <Profile rdf:about="profile/tavernaServer/"> <rdfs:seeAlso rdf:resource="profile/tavernaServer.rdf"/> </Profile> </profile> <profile> <Profile rdf:about="profile/tavernaWorkbench/"> <rdfs:seeAlso rdf:resource="profile/tavernaWorkbench.rdf" /> </Profile> </profile> <rdfs:seeAlso rdf:resource="annotation/workflowBundle.rdf" /> </WorkflowBundle> </rdf:RDF> Bả g 1. Đị dạ g SCUFL2 2.3. Hƣớ g t ếp cậ .
Hƣớng tiếp cận của luận v n là chuyển dịch luồng nghiệp vụ tin sinh lên trên nền tảng đa đám mây. Luận v n này dựa trên nghiên cứu về ĐTĐM ngữ ngh a (Semantic loud) và lớp trừu đƣờng ĐTĐM ( loud bstract Layer – L) của TS. Nguyễn Bình Minh [1] [3]. L là một nền tảng trừu tƣợng hỗ trợ các dịch vụ và ứng dụng trên nền tảng đa đám mây. L tuân theo tƣ tƣởng OOP (hƣớng đối tƣợng) để mô tả tài nguyên và dịch vụ từ ĐTĐM dƣới d ng đối tƣợng. L hỗ trợ cơ chế để phát triển thêm các module giao tiếp với các dịch vụ ĐTĐM khác, trong luận v n nhắm tới sử dụng L là tầng trung gian để giao tiếp với 3 chuẩn giao diện tầng dƣới gồm O I, OpenStack PI và WS-API.
Luồng nghiệp vụ tin sinh chuyển dịch lên nền ĐTĐM đƣợc định hƣớng sẽ sử dụng định d ng S UFL2 để có tính tƣơng thích với các nền tảng tin sinh truyền thống. H tầng điện toán đám mây thử nghiệm sử dụng OpenStack với ba kiểu PI hỗ trợ là OCCI, OpenStack API và AWS-API.
CHƢƠNG 3. MÔ HÌNH ĐỀ XUẤT CHUYỂN DỊCH ỨNG DỤNG TIN SINH TRÊN MÔI TRƢỜNG ĐA ĐÁM MÂY
hƣơng này tác giả luận v n sẽ mô tả mô hình đề xuất để chuyển dịch một ứng dụng tin sinh lên nền tảng đa đám mây bao gồm các kiến trúc, mô hình, tính n ng và thử nghiệm.
3.1. K ế trúc tổ g qua .
Nhƣ hƣớng tiếp cận đã đề cập ở chƣơng 2, luận v n này dựa trên công trình nghiên cứu về CAL – loud bstract Layer để đơn giản hoá quá trình giao tiếp với môi trƣờng đa đám mây bên dƣới. L đƣợc thiết kế theo tƣ tƣởng hƣớng đối tƣợng OOP bằng cách tổng quát hoá toàn bộ tài nguyên, đơn vị đầu ra của dịch vụ ĐTĐM thành các đối tƣợng. Cách tiếp cận này mang l i một số lợi ích nhƣ sau:
Đơn giản hoá quá trình giao tiếp với h tầng phức t p của môi trƣờng đa đám mây bên dƣới.
Dễ dàng triển khai các hệ thống lớn và phức t p.
Không phụ thuộc vào một nền tảng ĐTĐM hoặc một nhà cung cấp dịch vụ ĐTĐM nào, ngƣợc l i có tính tƣơng thích qua l i tốt.
Tự động hoá quá trình tối ƣu.
Ví dụ về trừu tƣợng hoá đối tƣợng máy ảo nhƣ sau: