Chương 3. Giới thiệu bộ Globus Toolkit phiên bản 3.2 * GRAM reporter chịu trách nhiệm gửi các thông tin về cấu trúc (như khả năng giữ chỗ, số lượng hàng đợi,… ) và trạng thái (như số lượng các node, số node đang đang sẵn sàng, các công việc đang thực hiện, ….) của bộ lập lịch cục bộ cho hệ thống Information Service (ở đây là MDS). Pre-WS GRAM có thể sử dụng module Global Access to Secondary Storage (GASS) để truyền các file dữ liệu và kết quả về client. Cơ chế này được sử dụng trong lệnh...
Chương Giới thiệu Globus Toolkit phiên 3.2 * GRAM reporter chịu trách nhiệm gửi thông tin cấu trúc (như khả giữ chỗ, số lượng hàng đợi,… ) trạng thái (như số lượng node, số node đang sẵn sàng, công việc thực hiện, ….) lập lịch cục cho hệ thống Information Service (ở MDS) Pre-WS GRAM sử dụng module Global Access to Secondary Storage (GASS) để truyền file liệu kết client Cơ chế sử dụng lệnh globusrun, gatekeeper job manager Người dùng sử dụng chế co-allocator Dynamically-Updated Request Online Coallocator (DUROC) để yêu cầu thực công việc nhiều job manager host hay nhiều host khác (Xem hình 3-13) Hình 3-13 Cơ chế hoạt động có DUROC pre-WS GRAM Các script RSL chứa cú pháp DUROC phân tích (parse) GRAM client phân phối đến nhiều job manager Các hàm API GT3 cung cấp hàm API hỗ trợ lập trình với RSL, GRAM, DUROC, LDAP protocol chúng chia thành nhóm hàm: globus_rsl : Module gồm thực thao tác với đặc tả RSL, sử dụng xây dựng broker globus_gram_client : Dùng để phát triển ứng dụng client, yêu cầu thực hiện, quản lý công việc,… globus_gram_myjob : Dùng để quản lý tiến trình riêng lẻ cơng việc globus_duroc_control/runtime : Các hàm giao tiếp với DUROC - 101 - Chương Giới thiệu Globus Toolkit phiên 3.2 LDAP protocol : Cung cấp hàm giao tiếp với hệ thống quản lý tài nguyên thông qua GIIS Server Tên hàm Diễn giải globus_gram_client_job_request() Yêu cầu thực công việc tài nguyên xa globus_gram_client_job_status() Kiểm tra trạng thái công việc globus_gram_client_job_cancel() Huỷ công việc globus_gram_client_job_signal() Gửi tín hiệu điều khiển job manager globus_gram_client_callback_allow() Tạo/Huỷ cổng kết nối để nhận globus_gram_client_callback_disallow() thông tin callback globus_gram_client_callback_check() Thực gọi hàm cục có thơng tin callback globus_gram_client_job_callback_register() Đăng ký huỷ đăng với job globus_gram_client_job_callback_unregister() manager để nhận thông tin callback globus_duroc_runtime_barrier() Tất tiến trình cơng việc DUROC phải gọi hàm này, chờ tất tiến trình giải phóng globus_duroc_runtime_inter_subjob_*() Quản lý công việc globus_duroc_runtime_intra_subjob_*() DUROC công việc ldap_open (string server, int port) Mở kết nối theo LDAP protocol ldap_search_s(ldapsever, …, char* Tìm kiếm máy tính hệ thống filterstring, …) thỏa điều kiện câu truy vấn filterstring … Bảng 3-6 Bảng hàm API pre-WS GRAM Ghi chú: Thông tin chi tiết lập trình với preWS-GRAM, xin tham khảo tài liệu [22] website : www.globus.org 3.4.2.3 WS-GRAM Các đặc điểm - Cung cấp service theo chuẩn OGSI phục vụ thực thi công việc site xa - 102 - Chương Giới thiệu Globus Toolkit phiên 3.2 - Sử dụng ngôn ngữ RSL-2 (các đặc tả RSL theo định dạng XML) để trao đổi yêu cầu thực thi công việc - Các công việc xa thực thi quyền user cục - Việc uỷ quyền, chứng thực client service không cần thông qua thành phần thứ ba Mơ hình thành phần hoạt động Với GT3, người dùng gọi thực thi công việc thông qua Grid service Kiến trúc GRAM thiết kế lại theo OGSA thông qua service số module: Master Managed Job Factory Service (MMJFS) Chịu trách nhiệm phát hành service GRAM ảo cho giới bên MMJFS sử dụng Service Data Aggregator để thu thập phát sinh Service Data Element cục bộ, chứa thông tin trạng thái scheduler cục (như tổng node, node sẵn sàng) thông tin host (host, kiểu CPU, host OS) MMJFS thực cấu hình Redirector để giải lời gọi createService đến qua Startup UHE Redirector hướng dẫn để chuyển lời gọi createService đến hosting environment người dùng Managed Job Factory Service (MJFS) Chịu trách nhiệm tạo lập instance MJS Nó phát hành Service Data Element đơn nhất, mảng GSH tất instance MJS hoạt động Managed Job Service (MJS) Là OGSA service thực gửi công việc đến scheduler cục bộ, theo dõi trạng thái công việc, gửi thông báo MJS khởi động service File Streaming Factory Services làm stdout stderr cho công việc Những GSH service lưu trữ MFS Service Data Element File Stream Factory Service Chịu trách nhiệm tạo instance File Stream Service - 103 - Chương Giới thiệu Globus Toolkit phiên 3.2 File Stream Service Là OGSA service sử dụng địa URL đưa vào để chuyển kết từ file cục tạo factory đại diện cho luồng stdout, stderr đến host có URL Virtual Host Environment Redirector Nhận tất thông điệp SOAP chuyển chúng đến User Host Environment (UHE) Starter UHE Được sử dụng Redirector để giải lời gọi đến UHE File gridmap sử dụng để lấy tên người dùng cục tương ứng với subject DN người dùng Grid để đảm bảo có UHE người dùng chạy máy Việc ánh xạ tên người dùng đến số hiệu cổng (port number) UHE người dùng quản lý file cấu hình Khi có u cầu URL đến có điểm nhập(entry) file cấu hình, URL đích xây dựng trả cho Redirector Nếu UHE cổng chưa khởi động, module setuid/launch sử dụng để khởi động UHE cho user Nếu điểm nhập chưa tồn file cấu hình, cổng chưa sử dụng chọn, module setuid/launch sử dụng để khởi động UHE cổng chọn trả URL cho Redirector, sau chắn UHE chạy File cấu hình cập nhật thêm điểm nhập Launch UHE Dùng để khởi động hosting environment user account - 104 - Chương Giới thiệu Globus Toolkit phiên 3.2 Dưới mơ hình phối hợp hoạt động thành phần service để giải yêu cầu thực thi công việc người dùng Grid Hình 3-14 Các thành phần chế hoạt động WS-GRAM Trước hết MMJFS cấu hình để sử dụng Redirector để chuyển hướng lời gọi đến sử dụng Starter UHE để khởi động UHE chưa có UHE cho người dùng Sau này, có lời gọi createService MMJFS sử dụng Redirector để gọi Starter UHE khởi động UHE MMJFS phát hành GSH đến Registry xa (Có thể khơng có bước này) Một người dùng (client) khởi tạo proxy gửi yêu cầu createService đến server thông qua proxy Yêu cầu tiếp nhận Redirector - 105 - Chương Giới thiệu Globus Toolkit phiên 3.2 Redirector gọi Starter UHE để thực phân quyền cho yêu cầu người dủng thông qua Grid-mapfile để xác định tên người dùng cục cổng sử dụng, từ xây dựng nên URL đích Redirector cố gắng chuyển tiếp lời gọi người dùng đến URL đích vừa xây dựng Nếu khơng thể chuyển tiếp lời gọi UHE chưa chạy, module Launch UHE gọi Launch UHE tạo tiến trình UHE tên người dùng cục chứng thực Starter UHE chờ UHE khởi tạo hồn tồn thơng qua chế “ping loop” trả URL đích cho Redirector Redirector chuyển lời gọi createService đến MJFS thực trình chứng thực hai chiều phân quyền MJFS tạo MJS 10 MJS gửi công việc yêu cầu đến hệ thống lập lịch cục 11 Các lời gọi đến MJS từ client chuyển đến MJS thông qua Redirector 12 RIPS cung cấp liệu liên quan đến thực thể MJS MMJFS Nó thu thập thơng tin từ hệ thống lập lịch cục bộ, hệ thống file, thông tin host,… 13 Các lời gọi FindServiceData giải cách trả SDE (phát sinh Service Data Aggregate) chuyển đến MJFS liên quan 14 Để gửi luồng stdout/stderr client, MJS tạo FSFS, cho stdout, cho stderr 15 Sau đó, MJS tạo thực thể FSS xác định yêu cầu công việc 16 Một trình quản lý GRIM chạy UHE để tạo host certificate Chứng sử dụng trình chứng thực hai chiều MJS client - 106 - Chương Giới thiệu Globus Toolkit phiên 3.2 Các đặc tả yêu cầu tài nguyên công việc GT3 viết ngôn ngữ RSL Ngơn ngữ RSL có chức tương tự GT2 định nghĩa lại dạng XML GT3 cung cấp hàm API ngôn ngữ C Java để xây dựng client sử dụng dịch vụ GRAM với API phục vụ việc chuyển đổi định dạng RSL GT2 sang định dạng GT3 3.4.3 Information Service 3.4.3.1 Giới thiệu Grid Information Service (GIS) chịu trách nhiệm cung cấp thông tin động tĩnh tính sẵn sàng khả hành tài nguyên thông tin khác tồn hệ thống Grid Các thơng tin dùng để xác định vị trí tài nguyên theo tiêu chí cụ thể, để xác định trình quản lý liên kết với tài nguyên, để xác định tính chất tài nguyên, xác định chiến lược sử dụng hiệu tài nguyên, phục vụ nhiều mục đích khác q trình chuyển đặc tả tài nguyên cấp cao ứng dụng thành yêu cầu cụ thể đến trình quản lý tài ngun Mơ hình quản lý thơng tin Grid sau đề xuất để giải thách thức yêu cầu hệ thống GIS Hình 3-15 Mơ hình quản lý thơng tin Grid Globus Toolkit - 107 - Chương Giới thiệu Globus Toolkit phiên 3.2 Mơ hình có thành phần bản: + Một tập lớn nhà cung cấp thông tin (Resource Description Service) phân tán cho phép truy cập thơng tin chi tiết, mang tính động tài nguyên cụ thể, thông qua hoạt động cục gateway cho nguồn thông tin khác (như truy vấn SNMP,…) + Các service cấp cao có nhiệm vụ thu thập, quản lý, mục và/hoặc hồi đáp thông tin cung cấp hay nhiều nhà cung cấp thông tin Các service gọi chung Aggregate Directory Service, hỗ trợ việc tìm kiếm tài nguyên, theo dõi cho VO cách triển khai góc nhìn (view) cụ thể tổng quát thao tác tìm kiếm tập tài nguyên Các service cấp cao sử dụng thông tin với/hoặc thông tin lấy trực tiếp từ nhà cung cấp thông tin để phục vụ công tác brokering, theo dõi, loại bỏ lỗi,… + Các protocol : Việc tương tác service cấp cao người dùng với nhà cung cấp thông tin định nghĩa protocol : protocol thực đăng ký tài nguyên (GRid Registration Protocol (GRRP)) để đăng ký tài nguyên tham gia hệ thống, protocol yêu cầu thông tin (GRid Information Protocol (GRIP)) dùng để lấy thông tin tài nguyên thông qua việc truy vấn yêu cầu thông báo định kỳ Một cách đơn giản, nhà cung cấp thông tin sử dụng GRRP để thông báo cho service cấp cao tồn Một service cấp cao sử dụng GRIP để lấy thông tin thực thể từ nhà cung cấp thông tin, sau tổng hợp lại để phục vụ mục đích xác định Hệ thống thơng tin GIS tích hợp với hệ thống bảo mật GSI để quản lý truy cập bảo vệ thông tin Trong GT2, dịch vụ information service triển khai thành phần Metacomputing Directory Service (MDS) 3.4.3.2 Pre-WS Information Service (MDS2) MDS có thành phần tương ứng với mơ hình quản lý thơng tin giới thiệu trên: + Resource Description Service: Information Provider Grid Resource Information Service (GRIS) - 108 - Chương Giới thiệu Globus Toolkit phiên 3.2 + Aggregate Directory Service: Grid Index Information Service (GIIS) + MDS Client + Mơ hình tổ chức, quản lý, truy vấn thơng tin hệ thống MDS Vì nhà cung cấp thơng tin cung cấp thơng tin hay nhiều thực thể, nên GRIP phải hỗ việc tìm kiếm truy vấn Người dùng liên lạc với nhà cung cấp thông tin để tìm tập thực thể thỏa điều kiện, sau thực truy vấn trực tiếp thuộc tính thực thể tìm thấy GRIP kế thừa lại từ protocol chuẩn Lightweight Directory Access Protocol (LDAP) mơ hình tổ chức liệu, ngơn ngữ truy vấn, protocol truyền thơng Mơ hình tổ chức liệu ví dụ hình 3-16 : Hình 3-16 Ví dụ tổ chức liệu MDS2 Mơ hình thơng tin GRIP biểu diễn thơng tin tài nguyên tập đối tượng đại diện có tên tổ chức thành hệ thống khơng gian tên phân cấp (hierarchical namespace) nhà cung cấp thông tin Mỗi đối tượng thuộc nhiều kiểu để xác định kiểu tài nguyên Mỗi đối tượng chứa cặp thuộc tính – giá trị tương ứng với kiểu đối tượng để biểu diễn trạng thái tài ngun Ở sử dụng mơ hình đặt tên phân cấp tương tự hệ thống tên DNS, tên quản lý phạm vi nhà cung cấp thông tin hay aggregate directory cụ thể, điều giúp dễ dàng quản trị, tìm kiếm thơng tin Các tên phạm vi tồn cục kết hợp từ tên nhà cung cấp thông tin với tên tài nguyên nội nhà cung cấp - 109 - Chương Giới thiệu Globus Toolkit phiên 3.2 Hình 3-19 ví dụ: Hình 3-17 Mơ hình tổ chức liệu phân cấp MDS2 Giải thích hình 3-17: Ở đây, có trung tâm cá nhân (O1,O2,R) đóng góp tài nguyên vào VO, có Aggregate Directory Service tạo nên dịch vụ thư mục phân cấp để thể cấu trúc logic Lưu ý cách đặt tên tài ngun, cho phép tìm kiếm tồn cục lẫn cục Ngơn ngữ truy vấn giúp tìm kiếm, tra cứu, yêu cầu cung cấp thông tin định kỳ dài hạn tài nguyên Một lọc luôn sử dụng để xác định tiêu chí cần thoả, từ có tập nhỏ thuộc tính cần thiết lấy về, giúp giảm thiểu thơng tin cần truyền mạng MDS sử dụng chuẩn định dạng liệu hàm API LDAP để giải vấn đề quản lý thông tin tài ngun Hình 3-18 mơ tả hoạt động tổng qt thành phần MDS Như hình vẽ, thơng tin tài nguyên lấy Information Provider chuyển đến GRIS Sau GRIS đăng ký thông tin tài nguyên quản lý cho GIIS, GIIS đăng ký thơng tin cho GIIS cấp cao Các MDS client lấy thơng tin trực tiếp từ GRIS (đối với tài nguyên cục bộ) và/hoặc từ GIIS (cho tài nguyên trải rộng Grid) - 110 - Chương Giới thiệu Globus Toolkit phiên 3.2 Hình 3-18 Các thành phần chế hoạt động MDS2 Resource information Các thông tin động tĩnh tài nguyên chứa đối tượng quản lý MDS Grid Resource Information Service (GRIS) GRIS nơi chứa thông tin lấy từ Information Provider Các thông tin quản lý GRIS cập nhật có yêu cầu truy xuất, lưu lại khoảng thời gian time-to-live (TTL) Nếu hết TTL mà khơng có truy vấn nào, thơng tin bị xố Nếu sau đó, có u cầu truy vấn gửi tới, GRIS gọi Information Provider thích hợp để lấy thơng tin Grid Index Information Service (GIIS) GIIS nơi chứa mục đến thông tin tài nguyên đăng ký GRIS GIIS khác Nó xem server cung cấp thơng tin tồn Grid Các GIIS tổ chức hệ thống DNS, GIIS có tên riêng Các GIIS cấp thấp đăng ký thơng tin cho GIIS cấp cao Các MDS Client xác định tên node GIIS để thực truy vấn thông tin tài nguyên Grid Information provider - 111 - Chương Giới thiệu Globus Toolkit phiên 3.2 Thực chuyển đổi thơng tin thuộc tính trạng thái tài nguyên cục sang định dạng xác định lược đồ liệu (như giới thiệu trên) file cấu hình Để thêm tài nguyên vào hệ quản lý MDS, cần tạo xác định information provider để chuyển đổi thuộc tính trạng thái cho GRIS MDS client Dựa lệnh LDAP client, ldapsearch, để tìm kiếm thơng tin tài nguyên Grid Ghi chú: Thông tin chi tiết lập trình với MDS, xin tham khảo tài liệu [22], [35] website : www.globus.org 3.4.3.3 WS Information Service (Index Service) Hệ thống quản lý thông tin tài nguyên Grid GT3 có nhiều đổi khác so với GT2 Index Service có chức tương tự MDS, cung cấp thơng tin Grid Service định dạng XML Không giống GT2, thành phần GRIS bị loại bỏ Grid Service có tập thơng tin liên quan riêng Các thơng tin lưu trữ theo cách thức chuẩn hoá, có cách thức dễ dàng để truy vấn hiểu các liệu service thông qua interface chuẩn Grid service Các service yêu cầu phải thông báo thông tin mình, cho phép người dùng lấy thơng tin từ Grid service Index Service đóng vai trị GIIS mơ hình quản lý thơng tin Grid, GT3 Base Services Nó thực thu thập, tổng hợp truy vấn Service Data, theo dõi trình điền liệu; tạo Service Data theo yêu cầu Nó sử dụng cho để xây dựng Service Data mục mang thông tin trạng thái từ nhiều service instance phục vụ việc khám phá, lựa chọn tối ưu hoá việc sử dụng tài nguyên Index Service có chức sau : + Tạo quản lý Service Data động thơng qua trình Service Data Provider - 112 - Chương Giới thiệu Globus Toolkit phiên 3.2 + Tổng hợp Service Data từ nhiều Grid service instance + Đăng ký Grid service instance sử dụng port type Service Group Mơ hình quản lý thơng tin Index Service kế thừa lại từ mô hình Web service Các protocol truyền thơng Web service (SOAP) sử dụng thay cho protocol phục vụ đăng ký, truy vấn (GRRP, GRIP) 3.4.4 Data Management Có thành phần phục vụ quản trị liệu GT: + Thành phần phục vụ truyền truy cập liệu + Thành phần nhân quản trị liệu Để thực nhiệm vụ truy cập, truyền liệu cấp sở, GT đưa module Globus Access to Secondary Storage (GASS), cho phép ứng dụng truy cập đến liệu xa địa URL GASS module truyền liệu nhiều protocol khác nhau, tích hợp GRAM Mục tiêu GASS cung cấp cách thức đơn giản cho phép ứng dụng nạp truy xuất liệu cách an toàn đến file server thông qua hàm API độc lập với protocol truyền liệu bên Các chức GASS sử dụng thông qua câu đặc tả RSL Để phục vụ truyền truy cập đến liệu bên thứ ba (third party), GT đưa protocol GridFTP, protocol dựa theo protocol FTP truyền thống đưa tổ chức IETF, mở rộng thêm chức phân mảnh file, truyền file song song, điều khiển đệm TCP, theo dõi tiến độ, phục hồi lỗi truyền, cho phép truyền file liệu máy nhanh hơn, hiệu hơn, bảo mật mạnh mẽ hơn, đồng thời cung cấp khả quản lý trình truyền file GridFTP kèm GT bao gồm trình server, client (lệnh globusurl-copy GT2 hay dịch vụ Reliable File Transfer Service (RFT) GT3) thư viện phát triển ứng dụng hỗ trợ ngôn ngữ C GT không phát triển dịch vụ quản trị liệu cao cấp Các dự án Grid sử dụng protocol GridFTP làm tảng để phát triển dịch vụ quản trị liệu cho riêng - 113 - Chương Giới thiệu Globus Toolkit phiên 3.2 Ghi chú: Chi tiết thành phần quản trị liệu hàm API cách thức lập trình sử dụng chúng xin tham khảo tài liệu : [22], [34] website : www.globus.org 3.4.5 Thành phần GT3 3.4.5.1 GT3 Core Các thành phần GT Core tóm tắt sau: OGSI Spec Implementation Triển khai cài đặt tất interface OGSI xác định Security Infrastructure Thành phần hỗ trợ bảo mật cấp thông điệp, chứng thực phân quyền dựa gridmap file Bảo mật cấp thông điệp bao gồm bảo mật toàn session (GSISecureConversation) thông điệp (GSISecureMessage) System level services Là Grid service tương thích OGSI chung để sử dụng tất Grid service khác Hiện có loại service: Ping service Sử dụng để "ping" hosting environment Logging Management Service Cho phép sửa đổi log filter nhóm thơng tin log để dễ theo dõi quản lý Management Service Cung cấp interface để theo dõi trạng thái tải service, cho phép huỷ, kích hoạt service instance Bảng 3-7 Các thành phần GT Core - 114 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 Chương Phát triển ứng dụng với Globus Toolkit 3.2 Quy trình phát triển ứng dụng Grid tuân theo quy trình áp dụng dự án phần mềm thông thường khác, trải qua pha thu thập yêu cầu, phân tích thiết kế, viết mã, kiểm thử, triển khai Chương giới thiệu số vấn đề đặc trưng việc phát triển ứng dụng Grid 4.1 Khởi đầu dự án 4.1.1 Định hướng phát triển hệ thống Về mặt kỹ thuật, trước bắt đầu dự án, cần quan tâm lựa chọn định hướng phát triển hệ thống.Thơng thường với ứng dụng Grid có cách để khởi đầu dự án: ¾ Phát triển hệ thống hồn tồn dựa Grid ¾ Sử dụng lại hệ thống có sẵn sửa chữa để thực thi Grid Hầu hết nhà phát triển thích xây dựng ứng dụng lại từ đầu để kiểm sốt hồn tồn q trình thiết kế phát triển Tuy nhiên, có nhiều hệ thống tồn lâu tổ chức, việc thay hoàn tồn hệ thống khơng khả thi, vấn đề sử dụng lại hệ thống đặt Dưới phân tích số khía cạnh ảnh hưởng đến định lựa chọn việc khởi đầu dự án xây dựng ứng dụng Grid + Nếu phát triển hệ thống mới, nhà phát triển tự lựa chọn mơi trường, ngơn ngữ, cơng cụ lập trình, công cụ hỗ trợ tốt nhất, kiểm soát việc thiết kế hệ thống, nhiên có ràng buộc cụ thể cho ứng dụng phải quản kết nối đến sở liệu có sẵn, đọc ghi định dạng liệu tại, hay đáp ứng sách quản lý tại,… +Việc sửa chữa hệ thống có sẵn để đưa chúng vào hoạt động môi trường Grid phức tạp, khó khăn nhiều Vì Globus Toolkit tập - 115 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 trung phát triển công nghệ dựa ngôn ngữ Java (mặc dù có thư viện hàm API cho ngôn ngữ C), nên muốn phát triển ứng dụng GT, nhà phát triển cần quan tâm đến số tình sau: ¾ Nếu hệ thống có sẵn viết Java, tình dễ dàng để đưa ứng dụng chạy Grid, nhà phát triển xây dựng lớp với số phương thức, phương thức thực thao tác cần thiết cho phép chuyển tham số, gọi hàm hệ thống có sẵn trả kết cần thiết ¾ Nếu hệ thống có sẵn khơng viết Java, sử dụng công nghệ Java Native Interface (JNI), nhiên hệ thống giới hạn chạy hệ điều hành cụ thể, ví dụ hệ thống cũ cần gọi hàm thư viện DLL Windows hay Linux, ứng dụng triển khai hệ thống tồn máy Windows hay Linux mà thơi Đây vấn đề lớn hệ thống Grid đơn đồng dạng Với hệ thống hỗn tạp, giải cách xây dựng Grid service (thực chất Web service) bao bọc hệ thống cũ ngôn ngữ lập trình tạo có hỗ trợ Web service, cách sử dụng chuẩn phát triển Webservices Resource Framework (WSRF) ¾ Nếu hệ thống có sẵn nhỏ đóng gói tốt, trường hợp tốt, nhà phát triển xây dựng Grid service đơn nhiệm triển khai chúng hệ thống Grid, Grid service dạng thường tiến trình yêu cầu lực xử lý lớn, nhận vào tập liệu, thực xử lý trả tập kết kết thúc ¾ Nếu hệ thống có sẵn lớn, phức tạp, có nhiều kết nối, việc có nên đưa chạy Grid cần phải xem xét cân nhắc kỹ lưỡng Các Grid node cần phải có lực đủ mạnh để xử lý công việc lớn, phức tạp, thỏa mãn yêu cầu hiệu Nếu ứng dụng có nhiều kết nối đến hệ thống khác, phải truyền tập liệu lớn, mà khơng thể thực song song, tạo hiệu ứng cổ chai, khơng tận dụng ưu Grid Để sử dụng lại hệ thống, cần phải tổ chức lại mã, phân chia chúng thành module, loại bỏ ràng buộc phụ thuộc chúng nhiều tốt, sau xây - 116 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 dựng module thành Grid service đơn nhiệm triển khai chúng Grid 4.1.2 Đánh tính khả thi ứng dụng chạy Grid Một vấn đề quan trọng trước bắt đầu dự án xây dựng ứng dụng Grid đánh giá xem ứng dụng có thích hợp, cần thiết để chạy Grid hay không Không phải tất ứng dụng triển khai thành cơng tiết kiệm chi phí Grid Ví dụ, ứng dụng xử lý cho thực thi Grid, nhiên không tận dụng ích lợi Grid mà ảnh hưởng đến hiệu suất ứng dụng có thêm chi phí quản lý Grid Tập đồn IBM đưa danh sách tham khảo tiêu chí cần thiết để đánh giá khả triển khai ứng dụng Grid Các chi tiết, xin xem thêm phần Phụ lục A – Các tiêu chí đánh giá tính khả thi ứng dụng Grid Dưới số vấn đề quan trọng gây cản trở việc triển khai ứng dụng Grid, cần cân nhắc kỹ : ¾ Ứng dụng có số lượng hoạt động liên lạc liên tiến trình (inter-process communication) nhiều, lớn khơng có chuyển mạch tốc độ cao, điều làm chậm việc thực thi ứng dụng ¾ Ứng dụng có u cầu lập lịch khắt khe dựa nguồn liệu cung cấp khơng ổn định, khơng thể đốn trước ¾ Khơng thể giải trở ngại xây dựng hệ thống mạng thoả yêu cầu băng thông ứng dụng ¾ Các giới hạn môi trường thực thi công việc ¾ Các yêu cầu giao dịch thương mại an tồn Grid, chưa có chuẩn phục vụ giao dịch ¾ Vấn đề phụ thuộc công việc, thể việc quản lý luồng công việc phức tạp máy chủ, dẫn đến yêu cầu liên lạc tiến trình lớn ¾ Các protocol phục vụ công việc không hỗ trợ tường lửa, proxy dẫn đến việc ngăn chặn việc thực thi cơng việc ¾ … - 117 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 Đó số vấn đề cần quan tâm xem xét tính khả thi để ứng dụng chạy Grid 4.2 Các yêu cầu cần quan tâm xây dựng ứng dụng Ngoài yêu cầu chức ứng dụng, đặc tả sơ đồ usecase, yêu cầu phi chức cần thiết dự án phát triển ứng dụng truyền thống, nhà phát triển cần quan tâm đến yêu cầu phi chức đặc trưng ứng dụng Grid để phân tích, đưa giải pháp thích hợp Dưới đây, xem xét số yêu cầu với số gợi ý giải 4.2.1 Khả mở rộng (Scalability) Khi có nhiều công việc gửi đến hệ thống, mức độ sử dụng tài nguyên tăng lên hệ thống xử lý Hệ thống ngừng hoạt động hoạt động thiếu xác Một thiết kế hệ thống tốt cần cho phép thêm tài nguyên cách dễ dàng để giải yêu cầu phát sinh mà không cần phải thiết kế lại hệ thống Ứng dụng trình chủ nên xây dựng để triển khai nhiều node khác Trong nhiều trường hợp, có nhiều thể trình chủ tồn song song node mà khơng làm tê liệt node đó, điều giúp cho việc sử dụng tài nguyên cách tối ưu, giảm chi phí tồn hệ thống, node bị tải thêm node 4.2.2 Bảo mật Bảo mật vấn đề phức tạp, quan trọng không quan tâm mức phát triển ứng dụng Các nhà phát triển nên xem xét vấn đề để phát triển ứng dụng an tồn bảo mật + Chứng thực Người dùng phải đăng nhập trước sử dụng chức khác + Phân quyền - 118 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 Cần phải có sách phân quyền phép người dùng thực hoạt động quy định trước Việc thực cách viết mã ứng dụng hay ủy quyền cho hệ thống phân quyền khác + Mã hóa liệu Các thơng tin nhạy cảm kể thông tin người dùng phải mã hóa trước truyền Có thể sử dụng lại chức hệ thống PKI có sẵn + Logging báo động Cần phải ghi lại kiện quan trọng trình hoạt động ứng dụng Việc phân tích thơng tin theo thời gian thực hay sau hữu ích để phát lỗi ứng dụng, cố gắng cơng hệ thống,… 4.2.3 Tính mềm dẻo ứng dụng (Flexibility) Một hệ thống không viết lại, để đáp ứng nhu cầu vá lỗi, thêm chức mới, ứng dụng cần phải thiết kế với tầm nhìn hướng tới tương lai, để cần thực cơng việc khơng ảnh hưởng nhiều đến thiết kế hệ thống Nên sử dụng mẫu thiết kế hướng đối tượng, tận dụng khả phương pháp lập trình hướng đối tượng, thiết kết hỗ trợ khả plug-in để giải yêu cầu 4.2.4 Các kết nối với bên Hầu hết hệ thống cần thực kết nối đến hệ thống khác để trao đổi liệu Nếu vấn đề trao đổi liệu không định nghĩa rõ ràng, xác, ảnh hưởng lớn đến việc thực thi hiệu hệ thống Trước phát triển ứng dụng, cần phải lập danh sách hệ thống bên cần giao tiếp thỏa thuận với bên liên quan nhằm xác định phương thức liên lạc, định dạng gói liệu, vấn đề chứng thực, phân quyền, … Khi bên đồng ý tất khía cạnh cần thiết phát triển ứng dụng - 119 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 4.2.5 Hiệu suất ứng dụng(Performance) Trong xem xét việc đưa ứng dụng thực thi môi trường Grid, hiệu suất Grid yêu cầu hiệu suất ứng dụng cần phải cân nhắc Các nhà sử dụng dịch vụ thường quan tâm đến chất lượng dịch vụ, bao gồm thời gian chờ thực thi chấp nhận Cịn phía người cung cấp ứng dụng Grid dịch vụ quan tâm đến việc tối ưu sử dụng tài nguyên nâng cao lực hệ thống nhiều tốt Các mục tiêu hiệu suất hệ thống hai khía cạnh trình bày + Về phía nhà cung cấp dịch vụ Quan tâm đến việc tối ưu hoá việc sử dụng tài nguyên khác để đạt đến hiệu suất cao Các tài nguyên không giới hạn chu kỳ CPU, nhớ, không gian lưu trữ, sở liệu, hay xử lý ứng dụng Việc cân tải công việc (workload balancing) chế lập lịch sử dụng để đạt mục tiêu hiệu suất hệ thống Ứng dụng tận dụng nhiều tài nguyên lúc cách chia thành thực thể nhỏ thực thi phân tán Grid Mục tiêu để sử dụng Grid tăng hiệu suất tồn ứng dụng + Về phía nhà sử dụng dịch vụ Quan tâm đến thời gian thực thi hệ thống Thời gian thực thi ứng dụng Grid thay đổi lớn tuỳ thuộc vào kiểu tài nguyên sử dụng sách chất lượng dịch vụ nhà cung cấp Ví dụ, cơng việc khởi động ưu tiên sử dụng tài ngun, với cơng việc lập lịch để chạy vào ban đêm yêu cầu tài nguyên giảm xuống Nhà cung cấp dịch vụ đưa mức giá khác cho hai loại hình chất lượng dịch vụ Nếu ứng dụng có nhiều cơng việc độc lập lập lịch để thực thi song song, thời gian thực thi giảm đáng kể cách thực thi công việc node khác Các yếu tố ảnh hưởng đến thời gian thực thi ứng dụng: Thời gian trễ liên lạc/truy cập liệu Tốc độ, băng thông độ trễ hệ thống mạng máy tính ảnh hưởng lớn đến hiệu suất ứng dụng cần phải trao đổi với ứng - 120 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 dụng chạy máy xa Do cần tính tốn đến việc để ứng dụng cần trao đổi “gần” với nhau, ứng dụng “gần” với liệu cần xử lý (“gần” theo nghĩa khoảng cách mạng) với xem xét tốc độ, độ trễ lực hệ thống mạng phát triển ứng dụng Thiếu tối ưu ứng dụng Việc tối ưu hiệu suất ứng dụng thực cách chuyển đổi tối ưu ứng dụng hệ điều hành cấu hình phần cứng cụ thể Việc giải cách nhà cung cấp dịch vụ thỏa thuận với nhà cung cấp tài nguyên để cung cấp tài nguyên cấu hình tối ưu cho việc thực thi ứng dụng Tranh giành tài nguyên Việc tranh giành tài nguyên thường vấn đế tài nguyên chia sẻ Nếu việc ảnh hưởng nghiêm đến hiệu suất ứng dụng cần phải đưa thêm tài nguyên vào hệ thống Ví dụ sở liệu mục tiêu việc tranh giành chế nhân thêm sở liệu áp dụng để giải vấn đề Việc tối ưu chia sẻ đạt cách sử dụng thuật toán lập lịch cân đối tải cơng việc thích hợp Độ tin cậy hệ thống mạng Việc hư hỏng tài nguyên Grid hệ thống mạng gây trễ vơ thời hạn Để đảo bảo thực thi công việc tin cậy, ứng dụng cần phải có chế phục hồi lỗi để đối phó với hư hỏng khác Vì thành phần hình thành nên Grid thay đổi thời gian thực thi, nên khó khăn việc dự đốn thời gian đáp ứng yêu cầu, cần thực trao đổi thảo luận bên để đưa yêu cầu hiệu suất cụ thể chấp nhận 4.2.6 Độ tin cậy (Reliability) Độ tin cậy ứng dụng vấn đề cơng nghệ tính tốn, với Grid khơng ngoại lệ Phương pháp tốt để giải vấn đề khó khăn - 121 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 cố gắng dự đoán hết khả gây lỗi đưa chế thích hợp để giải chúng Thường khả gây lỗi lỗi host hệ thống mạng Dưới số chế kiểm sốt lỗi + Checkpoint-restart Khi cơng việc thực thi, trạng thái lưu lại theo khoảng thời gian xác định Khi máy tính thực thi cơng việc bị hỏng, cơng việc khởi động lại máy khác với trạng thái thực thi gần lưu lại chạy tiếp Bằng cách này, công việc dài ngày chạy nhiều tháng năm hệ thống bị hỏng thường xuyên + Persistent storage Các trạng thái liên quan công việc lưu trữ vùng lưu trữ lâu dài trình quản lý Grid để đối phó với hư hỏng cục Khi máy tính cục khởi động lại, thông tin trạng thái công việc lấy lại, kết nối đến trình quản lý cơng việc thiết lập lại công việc tiếp tục thực thi + Heartbeat monitoring Ở trạng thái bình thường, thơng điệp thăm dị gửi đến tiến trình, tiến trình trả lời lại Nếu tiến trình khơng trả lời thơng điệp khoảng thời gian xác định, thông điệp gửi đến tiến trình thay khác, tiến trình dùng để xác định trạng thái tiến trình khởi động lại Tuy nhiên, tiến trình thứ hai khơng thể trả lời thơng điệp, hư hỏng hệ thống máy tính cục bộ, mạng, trường hợp phải chờ kết nối thiết lập lại 4.2.7 Quản trị hệ thống (Management) Tất hệ thống cần công cụ đế quản trị điều khiển Nếu thiếu cơng cụ này, khó theo dõi tình trạng hoạt động hành hệ thống Grid Nên sử dụng mạng phụ, dành riêng hệ thống để thực chức quản trị điều khiển để không ảnh hưởng đến hiệu suất Grid - 122 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 4.2.8 Đồ hình hệ thống (System Topology) Grid có chất phân tán, mở rộng nhiều tổ chức, nhiều vùng địa lý khác nhau, chuyển từ đồ hình IntraGrid lên InterGrid, độ phức tạp tăng lên nhiều Do đó, cần phải quan tâm đến đồ hình hệ thống để đưa thiết kế tốt Dưới số vấn đề cần xem xét: + Đồ hình mạng Đồ hình mạng hệ thống Grid có nhiều hình dạng khác Các thành phần mạng đại diện cho mạng LAN, kết nối tổ chức, hay kết nối WAN mạng Grid Hệ thống mạng chịu trách nhiệm cung cấp băng thông cần thiết cho hệ thống Grid Cũng thành phần khác, hệ thống mạng cấu hình để hoạt động tốt Thiết kế đồ hình mạng chịu ảnh hưởng giới hạn bảo mật mô hình triển khai hệ thống Ví dụ, với Data Grid, có tài nguyên lưu trữ trải rộng, vấn đề thiết kế hệ thống mạng để hỗ trợ tải lưu lượng lớn liệu yêu cầu then chốt để đảm bảo thành cơng tồn hệ thống Các xem xét phát triển ứng dụng nên bao gồm chiến lược giảm thiểu lưu thông mạng độ trễ mạng + Đồ hình liệu Mục tiêu thiết kế cần phải cố gắng để công việc thực thi gần với liệu cần xử lý Điều làm giảm lưu thơng mạng Dữ liệu cần vùng lưu trữ, nên thiết kế để Grid có khả lưu trữ liên tục Hệ thống lưu trữ cần phải quản lý, bảo vệ, lưu dự phòng và/hoặc nhân Trong thiết kế, cần phải đảm bảo liệu luôn sẵn sàng cho công việc cần đến Bên cạnh đó, cần phải tăng hiệu suất truy cập liệu, điều thường dựa băng thông mạng khoảng cách đến nguồn liệu Đối với ứng dụng liên quan nhiều đến liệu, nên tập trung nhiều nỗ lực vào thiết kế vị trí tài nguyên lưu trữ, nâng cao khả dự phòng, chịu đựng lỗi 4.2.9 Môi trường đa tảng Môi trường Grid tập hợp host hỗn tạp với nhiều loại hệ điều hành, phần mềm khác Để thực thi ứng dụng, sở hạ tầng Grid cần phải biết - 123 - ... phát triển ứng dụng - 119 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 4.2.5 Hiệu suất ứng dụng( Performance) Trong xem xét việc đưa ứng dụng thực thi môi trường Grid, hiệu suất Grid yêu... ứng dụng Grid đánh giá xem ứng dụng có thích hợp, cần thiết để chạy Grid hay không Không phải tất ứng dụng triển khai thành cơng tiết kiệm chi phí Grid Ví dụ, ứng dụng xử lý cho thực thi Grid, ... thống mạng máy tính ảnh hưởng lớn đến hiệu suất ứng dụng cần phải trao đổi với ứng - 120 - Chương Phát triển ứng dụng với Globus Toolkit 3.2 dụng chạy máy xa Do cần tính tốn đến việc để ứng dụng