Nghiên Cứu Các Giải Pháp Cho Bài Toán Giám Sát Tài Nguyên Môi Trường Mạng Lưới.pdf

Bao cao nghiem thu SỞ KHOA HỌC VÀ CÔNG NGHỆ THÀNH ĐOÀN TP HỒ CHÍ MINH CHƯƠNG TRÌNH VƯỜN ƯƠM SÁNG TẠO KHOA HỌC VÀ CÔNG NGHỆ TRẺ BÁO CÁO NGHIỆM THU (Đã chỉnh sửa theo góp ý của Hội đồng nghiệm thu ngày[.]

SỞ KHOA HỌC VÀ CƠNG NGHỆ THÀNH ĐỒN TP.HỒ CHÍ MINH CHƯƠNG TRÌNH VƯỜN ƯƠM SÁNG TẠO KHOA HỌC VÀ CÔNG NGHỆ TRẺ BÁO CÁO NGHIỆM THU (Đã chỉnh sửa theo góp ý Hội đồng nghiệm thu ngày tháng năm 2009) QUYỂN NGHIÊN CỨU CÁC GIẢI PHÁP CHO BÀI TỐN GIÁM SÁT TÀI NGUN TRÊN MƠI TRƯỜNG MẠNG LƯỚI CHỦ NHIỆM ĐỀ TÀI: CN NGUYỄN VIỆT HÂN CƠ QUAN CHỦ TRÌ: TRUNG TÂM PHÁT TRIỂN KHOA HỌC VÀ CƠNG NGHỆ TRẺ THÀNH PHỐ HỒ CHÍ MINH THÁNG 3/2009 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới XÁC NHẬN CHỈNH SỬA BÁO CÁO NGHIỆM THU (Theo góp ý Hội đồng nghiệm thu ngày 4/3/2009) Tên đề tài: “Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới.” Chủ nhiệm đề tài: CN Nguyễn Việt Hân Cơ quan chủ trì đề tài: Trung tâm Phát triển Khoa học Công nghệ Trẻ TT Góp ý Hội đồng Chỉnh sửa chủ nhiệm đề tài Trang Trích dẫn cụ thể nguồn lấy Đã chỉnh sửa hình ảnh, nhận xét Bổ sung phần cấu hình MDS giám Đã bổ sung: Mục 5, Quyển sát tài nguyên grid 12 Bổ sung số hình ảnh thử Đã bổ sung: Mục 2, Quyển nghiệm Tách thành tập báo cáo tương Đã thực ứng với sản phẩm đăng ký CƠ QUAN CHỦ TRÌ Giám đốc CHỦ NHIỆM ĐỀ TÀI (ký tên) Nguyễn Công Tĩnh ……………………………… PHẢN BIỆN (Ký tên) PHẢN BIỆN (Ký tên) II CHỦ TỊCH HỘI ĐỒNG (Ký tên) Nghiên cứu giải pháp cho toán giám sát tài ngun mơi trường mạng lưới Tóm tắt đề tài/Abstract Giám sát tài nguyên hoạt động thu thập thơng tin đặc tính trạng thái tài nguyên quan tâm Đây thành phần thiết yếu hệ thống grid mở rộng nhiều tổ chức bao gồm nhiều nguồn tài nguyên khác Bởi lẽ, người quản trị phát kịp thời lỗi xảy ra; người sử dụng truy vấn lựa chọn nguồn tài nguyên thích hợp Đồng thời, giám sát tài nguyên tảng cho toán quản lý tài nguyên, phân tích hiệu Bắt đầu bước vào lĩnh vực này, nhóm tìm hiểu khái niệm liên quan, tiếp cận hệ thống giám sát tài nguyên hệ thống grid lớn giới phân tích yêu cầu hệ thống giám sát tài nguyên môi trường lưới Trong thời gian thực đề tài, nhóm nghiên cứu tập trung vào kiến trúc giám sát tài nguyên chuẩn – GMA kiến trúc C-GMA kiến trúc mở rộng, chi tiết GMA Song song đó, nhóm tập trung vào khảo sát cơng cụ có khả giám sát tài nguyên VO Grid Ganglia, SCMSWeb, MDS, MonALISA Hơn nữa, nhóm cịn khảo sát thêm công cụ R-GMA sử dụng rộng rãi dự án grid triển khai dùng gLite Châu Âu, Châu Á (Tiêu biểu dự án EGEE, EUASIA Grid) Trong q trình khảo sát, số cơng cụ nhóm triển khai thử nghiệm hệ thống IOIT-HCM Grid Phân viện Công nghệ thông tin TP.HCM Từ đó, nhóm nghiên cứu làm so sánh, phân tích rút trích ưu nhược điểm công cụ Kết thu làm sở để lựa chọn công cụ giám sát thích hợp triển khai thực tế Ngồi kết nêu trên, nhóm tìm hiểu nắm bắt công nghệ Web Service, WSRF, kiến trúc OGSA công nghệ liên quan Kết nghiên cứu cho thấy vấn đề giám sát tài nguyên mơi trường grid cịn nhiều mặt hạn chế Mong tương lai có nhiều dự án chuyên sâu lĩnh vực tính tốn lưới nói chung Abstract Resource monitoring is the act of collecting information concerning the characteristics and status of resources of interest This component is necessary when the grid system is expanded on many physical organizations and consists of various resources By this component, the administrator can detect some errors as soon as possible; the user can query and choose the most satisfactory resources for her/his applications Parallel this, resource monitoring is the basis for the problem of resource management, the analysis of system/application performance Begin running to the field, we investigate the involved concepts, study the monitoring systems of “big” grid systems on over the world and analysis the requirements of a grid monitoring system In the period of working the project, we concentrate on the grid monitoring architecture (GMA) of Global Grid Forum (GGF) and C-GMA as an detailed extend of GMA In the other hand, we also concentrate investigating some monitoring tools that can monitor all resources of VO Grid such as Ganglia, SCMSWeb, MDS, MonALISA In addition, we also investigate R-GMA tool using and deploying widely in many grid projects using gLite in Europe and Asia (such as EGEE, EUASIA Grid) For investigating, some tools are deployed for testing on IOIT-HCM Grid system at HCMC Institute of Information Technology From that, we compare, analysis, and show the III Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới advantages and disadvantages of these tools This result will be the basis for choosing the most suitable tool for your grid deployment Besides these results, we also study the involved technologies such as Web service, WSRF, OGSA, etc The result of the project shows many shortcomings of grid resource monitoring We wish more projects will research deeply problems of monitoring as well as grid technology in the near future IV Nghiên cứu giải pháp cho toán giám sát tài nguyên mơi trường mạng lưới Mục lục Tóm tắt đề tài/Abstract II Mục lục V Danh sách từ viết tắt VII Danh sách hình VIII Phần mở đầu 1 Giới thiệu chung đề tài Mục tiêu Nội dung Sản phẩm đề tài Chương 1: Giới thiệu chung giám sát tài nguyên 1.1 Tổng quan số hệ thống giám sát tài nguyên giới 1.2 Giám sát tài nguyên 1.2.1 Các thuật ngữ 1.2.2 Tiến trình giám sát tài nguyên 1.3 Các yêu cầu hệ thống giám sát tài nguyên lưới 10 1.3.1 Các yêu cầu chung 10 1.3.2 Giám sát tài nguyên 10 1.3.3 Giám sát job ứng dụng 11 1.3.4 Giám sát dịch vụ 11 1.3.5 Yêu cầu phía consumer 12 1.3.6 Tính liên cộng tác 12 1.4 OGSA 12 1.4.1 Giới thiệu 12 1.4.2 Yêu cầu 12 1.4.3 Các chức OGSA 14 1.5 Web Services Resource Framework 22 1.5.1 Tổng quan 22 1.5.2 OGSI 22 1.5.3 Web Service 23 1.5.4 WSRF 24 Chương 2: Kiến trúc hệ thống giám sát tài nguyên 31 2.1 Kiến trúc GMA 31 2.1.1 Giới thiệu 31 2.1.2 Kiến trúc mơ hình truyền thơng mức cao 31 2.1.3 Các thành phần giao diện tương ứng 32 2.2 Kiến trúc C-GMA 36 Chương 3: Các giải pháp giám sát tài nguyên VO Grid 38 3.1 Ganglia 38 3.1.1 Giới thiệu 38 3.1.2 Kiến trúc 39 3.1.3 Các thành phần 39 3.2 SCMSWeb 40 3.2.1 Giới thiệu 40 3.2.2 Kiến trúc 42 V Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới 3.3 MonALISA 43 3.3.1 Giới thiệu 43 3.3.2 Kiến trúc 45 3.3.3 Tập hợp thông tin giám sát 46 3.3.4 Vấn đề lưu trữ nắm giữ liệu 47 3.3.5 Vấn đề đăng ký khám phá 48 3.3.6 Hệ thống agent 49 3.4 R-GMA 50 3.4.1 Giới thiệu 50 3.4.2 Kiến trúc 51 3.4.3 Cơ sở liệu ảo (Virtual Database) 52 3.4.4 Thành phần Producer 53 3.4.5 Thành phần Consumer 55 3.4.6 Dịch vụ đăng ký (Registry service) 56 Tài liệu tham khảo 58 VI Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới Danh sách từ viết tắt Những từ viết tắt sử dụng tài liệu (được tham khảo từ viết tắt liên quan đến grid giải thích địa http://www.gridpp.ac.uk/gas/#A): API CSDL GIIS GRAM GRIS GSI GIS GT LDAP MDS OGSA OGSI OS SOAP TCP VO WS WSDL WSRF RPC XML LUS SNMP MRTG LSF PBS SGE WAN LAN UDDI GLUE CE XSLT SAML JSDL GMA C-GMA Application Programming Interface Cơ sở liệu Grid Index Information Service Grid Resource Allocation Management Grid Resource Information Service Grid Security Infrastructure Grid Information Services Globus Toolkit Lightweight Directory Access Protocol Monitoring and Discovery Service Open Grid Services Architecture Open Grid Service Infrastructures Operating System Simple Object Access Protocol Transmission Control Protocol Virtual Organization Web Service Web Services Definition Language Web Services Resource Framework Remote Procedure Calls Extensive Markup Language Lookup Discovery Service Simple Network Management Protocol Multi Router Traffic Grapher Load Sharing Facility Portable Batch System Sun Grid Engine Wide Area Network Local Area Network Universal Description Discovery and Integration Grid Laboratory Uniform Environment Computing Element Extensible Stylesheet Language Transformations Security Assertion Markup Language Job Submission Definition Language Grid Monitoring Architecture Capability-based Grid Monitoring Architecture VII Nghiên cứu giải pháp cho toán giám sát tài nguyên mơi trường mạng lưới Danh sách hình Hình Diễn đàn mạng lưới toàn cầu Hình Giao diện hiển thị trạng thái service ESG Hình Hoạch định triển khai MDS4 Teragrid nhằm tập hợp thông tin từ nguồn khác phục vụ cho Meta-scheduler Hình Kiến trúc BDII Hình Kiến trúc tổng quan R-GMA Hình Mơ hình kiến trúc Grid 15 Hình OGSA Framework 16 Hình Các mức quản lý OGSA 22 Hình Kiến trúc GMA đặc tả GGF 31 Hình 10 Thành phần trung giao thực giao diện consumer producer 35 Hình 11 Các nguồn liệu kiện 36 Hình 12 Các thành phần kiến trúc C-GMA 37 Hình 13 Giao diện hệ thống giám sát tài nguyên IOIT-HCM Grid sử dụng Ganglia 38 Hình 14 Kiến trúc Ganglia 39 Hình 15 Giao diện hệ thống giám sát tài nguyên IOIT-HCM Grid sử dụng SCMSWeb tích hợp vào hệ thống OGCE Portal 41 Hình 16 Kiến trúc hệ thống SCMSWeb 42 Hình 17 Giao diện hệ thống giám sát MonALISA 44 Hình 18 Kiến trúc MonALISA 45 Hình 19 Mơ hình thu thập liệu MonALISA 47 Hình 20 Mơ hình lưu trữ nắm giữ liệu MonALISA 48 Hình 21 Cơ chế đăng ký khám phá MonALISA 49 Hình 22 Mơ hình truyền thông agent platform 50 Hình 23 Mơ hình thực R-GMA 51 Hình 24 Các thành phần kiến trúc R-GMA 52 Hình 25 Thành phần Producer 53 Hình 26 Các thành phần nguồn producer 53 Hình 27 Thành phần producer phụ 54 Hình 28 Các thành phần nguồn producer phụ 54 Hình 29 Thành phần producer dựa theo nhu cầu 55 Hình 30 Các thành phần nguồn producer theo nhu cầu 55 Hình 31 Các thành phần Consumer 56 VIII Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới Phần mở đầu Giới thiệu chung đề tài  Tên đề tài/dự án: Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới  Chủ nhiệm đề tài/dự án: CN Nguyễn Việt Hân  Cơ quan chủ trì: Trung tâm Phát triển Khoa học Công nghệ Trẻ  Thời gian thực hiện: 12 tháng  Kinh phí duyệt: 50 triệu đồng  Kinh phí cấp: theo TB số: 159/TB-SKHCN ngày 27 tháng 10 năm 2006 Mục tiêu Nghiên cứu giải pháp giám sát tài nguyên cho môi trường mạng lưới bao gồm vài đơn vị Trên sở đó, phân tích ưu, nhược điểm khả ứng dụng giải pháp Nội dung Công việc dự kiến Công việc thực Các giám sát tài nguyên hệ thống grid lớn giới Tổng quan toán giám sát tài nguyên số hệ thống giám sát tài nguyên tổ chức grid lớn giới Khảo sát công cụ giám sát tài Các công cụ giám sát tài nguyên mã nguồn mở đáp ứng yêu cầu giám sát nguyên VO Grid Ganglia, tài nguyên cho VO bao gồm vài SCMSWeb, MDS, MonALISA Ngoài ra, cịn bổ sung thêm cơng cụ R-GMA đơn vị Web Service, WSRF Tìm hiểu nắm bắt:  Kiến trúc OGSA  Web service  WSRF Thành phần giám sát tài nguyên MDS  Khảo sát hai phiên của Globus Toolkit MDS:  Pre-WS MDS  WS MDS  So sánh phiên Globus MDS Phân tích khả cộng tác với  Phân tích u cầu hệ cơng cụ giám sát tài nguyên khác thống giám sát tài nguyên grid  Nghiên cứu kiến trúc giám sát tài nguyên chuẩn – GMA kiến trúc mở rộng C-GMA  So sánh kiến trúc công cụ khảo sát với kiến trúc GMA Phân tích đặc điểm khả ứng  So sánh tính công Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới dụng cụ khảo sát  Phân tích rút kết ưu nhược điểm công cụ khảo sát Bài báo “Tổng quan công cụ giám sát tài nguyên VO Grid”, báo cáo Hội thảo Quốc gia lần thứ X “Một số vấn đề chọn lọc Công nghệ thông tin Truyền thông” – Đại Lải, ĐH Sư phạm 2, Vĩnh Phúc, 14-15/9/2007 Toàn hồ sơ, tài liệu đề tài Báo cáo tổng kết 01 báo Biên soạn tài liệu, tổng kết Tổng kết, nghiệm thu Sản phẩm đề tài TT Tên sản phẩm Tài liệu tổng quan giải pháp cho toán giám sát tài nguyên môi trường mạng lưới bao gồm vài đơn vị, thông qua công cụ sử dụng phổ biến Ganglia, SCMSWeb, MDS, MonALISA Tài liệu chi tiết thành phần giám sát tài nguyên MDS Globus Toolkit Tài liệu phân tích ưu nhược điểm khả ứng dụng giải pháp 01 báo khoa học Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới sử dụng giao thức tự đặc tả Bằng việc sử dụng dịch vụ thư mục, chế đăng ký dịch vụ phân tán chế thông báo khám phá động, dịch vụ hồn tồn truy cập suốt lẫn Hơn thế, chế đăng ký kiện từ xa cho phép dịch vụ đăng ký tập kiện mà quan tâm Sau đó, dịch vụ khám phá, tra cứu tự động thông báo đến tất dịch vụ đăng ký có dịch vụ thuộc tính dịch vụ bổ sung phổ biến Mô hình có tính lưu động mã chương trình (các agent lưu động ủy quyền động) sử dụng hệ thống MonALISA mở rộng từ phương pháp lời gọi thủ tục từ xa mơ hình client-server Cả mã chương trình tham số tương ứng tải vào hệ thống Việc kết hợp kiến trúc dịch vụ tính lưu động mã chương trình cho phép xây dựng hệ thống dịch vụ phân cấp có tính mở rộng cao Điều giúp cho MonALISA quản lý hệ thống lớn Phần sau trình bày chi tiết số vấn đề thiết kế hệ thống MonALISA vấn đề tập hợp thông tin giám sát, đăng ký, hệ thống agent, web service, … 3.3.3 Tập hợp thông tin giám sát a) Engine thu thập thông tin Hệ thống giám sát ghi nhận thông tin tài nguyên site, đường liên kết mạng, router switch sử dụng SNMP Và nạp tự động module có khả tương tác với ứng dụng công cụ giám sát tồn Ganglia, MRTG, LSF, PBS, Hawkeye Phần lõi dịch vụ giám sát xây dựng dựa hệ thống multithread sử dụng để thi hành nhiều tác vụ nhằm thu thập liệu song song độc lập Các module sử dụng để thu thập thông tin khác sử dụng để tương tác với công cụ giám sát khác Các module nạp thực thi tự động, hoàn toàn độc lập với thread Để rút ngắn tải hệ thống chạy MonALISA, pool (luôn thay đổi) chứa thread tạo lần thread sau sử dụng lại tác vụ gán đến thread hồn thành Nếu tác vụ giám sát bị lỗi treo lỗi I/O, tác vụ khác không bị ảnh hưởng gián đoạn Bởi chúng thực thi thread hoàn toàn độc lập Một thread điều khiển chuyên dụng sử dụng để ngừng thread tương ứng trường hợp có lỗi I/O lập lịch lại tác vụ Một hàng đợi theo độ ưu tiên sử dụng cho tác vụ cần thi hành periodically 46 Nghiên cứu giải pháp cho toán giám sát tài ngun mơi trường mạng lưới Hình 19 Mơ hình thu thập liệu MonALISA (Hình 19 trích từ Website MonALISA, http://monalisa.caltech.edu) Phương pháp giúp tương đối dễ dàng giám sát nhiều nguồn tài nguyên không đồng với thời gian đáp ứng khác b) Module giám sát Module giám sát phần nhỏ hệ thống nạp động Module thực thi thủ tục kịch bản/chương trình thi hành yêu cầu SNMP để thu thập tập tham số (bao gồm giá trị) cách phân tích output thủ tục Nói chung, module lớp đơn giản, sử dụng thủ tục xác định để giành lấy tập tham số báo cáo lại chúng theo định dạng chuẩn Ngoài ra, module sử dụng để kéo liệu trường hợp này, module phải thực thi theo tầng số định nghĩa trước Người sử dụng thực dễ dàng module tích hợp vào framework MonALISA c) ApMon ApMon sử dụng ứng dụng để đẩy thông tin giám sát tới dịch vụ MonALISA Dữ liệu giám sát gửi UDP datagram tới nhiều máy chạy dịch vụ MonALISA Các ứng dụng báo cáo thơng tin theo khoảng thời gian cố định tới người dùng muốn thu thập, giám sát sử dụng framework MonALISA để trigger thông báo kích hoạt agent định ApMon thực cho ngơn ngữ lập trình: C, C++, Java, Perl Python 3.3.4 Vấn đề lưu trữ nắm giữ liệu Mỗi dịch vụ MonALISA tạo CSDL cục để ghi nhận lại tất thông tin giám sát khoảng thời gian Các client gửi loại yêu cầu đến dịch vụ: 47 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới yêu cầu liệu trước đăng ký kiện Loại yêu cầu liệu trước phục vụ từ CSDL cục Cả kho lưu trữ dịch vụ chia sẻ chế giống mềm dẻo cho phép sử dụng hệ thống CSDL Từ tập tin cấu hình, người quản trị hệ thống thiết lập khoảng thời gian liệu cần lưu trữ trình diễn liệu theo cách thích hợp cho site MonALISA có khả truyền lưu trữ loại liệu giám sát khác Ví dụ liệu định nghĩa người dùng Đối với dịch vụ nào, người sử dụng thực kiểu liệu riêng; tự đặc tả module CSDL lưu trữ theo cách quán Hiện tại, MonALISA hổ trợ hệ CSDL MySQL, PostgreSQL, Microsoft SQL Server McKoi Hình 20 Mơ hình lưu trữ nắm giữ liệu MonALISA (Hình 20 trích từ Website MonALISA, http://monalisa.caltech.edu) 3.3.5 Vấn đề đăng ký khám phá Như đề cập phần trên, dịch vụ MonALISA khám phá lẫn môi trường phân tán khám phá client quan tâm Mỗi dịch vụ đăng ký đến tập dịch vụ thư mục LUS phần nhiều nhóm đồng thời phổ biến số thuộc tính Theo cách này, ứng dụng truy vấn dịch vụ MonALISA dựa tập thuộc tính thích hợp Việc đăng ký sử dụng chế “cho thuê” (lease) Nếu dịch vụ có lỗi thao tác làm tươi liệu đăng ký, bị xóa khỏi LUS thông báo phát đến tất dịch vụ ứng dụng khác đăng ký nhận kiện Các dịch vụ tra cứu có khả chép thông tin Điều quan trọng dịch vụ giám sát đăng ký vào nhiều dịch vụ tra cứu Khi dịch vụ tra cứu bị lỗi, client tìm kiếm dịch vụ MonALISA dịch vụ tra cứu khác 48 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới Điều tránh điểm lỗi đơn hệ thống Kỷ thuật JINI sử dụng phép thêm xóa dịch vụ tra cứu khỏi hệ thống Hình 21 Cơ chế đăng ký khám phá MonALISA (Hình 21 trích từ Website MonALISA, http://monalisa.caltech.edu) Ngồi ra, vấn đề bảo mật quan tâm thao tác đăng ký dịch vụ để tránh làm tải hư LUS Các LUS MonALISA hạn chế việc đăng ký dịch vụ dựa vào chứng thư X.509 3.3.6 Hệ thống agent MonALISA sử dụng agent để thi hành tác vụ điều khiển tối ưu toàn cục nhằm trợ giúp cải thiện thao tác ứng dụng thời gian thực phân tán cao Những agent liên lạc với thông qua chế trao đổi thông điệp sử dụng agent platform có tính bảo mật, khả mở, nhanh đáng tin cậy tích hợp vào MonALISA framework Hệ thống agent module hóa Do đó, agent phát triển nạp dễ dàng vào hệ thống phân tán Các agent làm chủ dịch vụ giám sát xác định thông qua tên chúng Các dịch vụ MonALISA tạo kết nối TCP với tất dịch vụ proxy tìm thấy thơng điệp agent gửi kết nối Nếu thông điệp gửi thành công kết nối chọn, nghĩa thông điệp gửi đến dịch vụ proxy chuyển hướng proxy tới dịch vụ tương ứng (dịch vụ nạp agent này) Ngược lại, agent chọn kết nối khác Chính việc sử dụng kết nối TCP khả chọn lựa nhiều lộ trình để gửi thơng điệp tạo nên chế truyền thơng tin cậy cao Có loại thông điệp gửi hệ thống agent platform: 49 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới  Thông điệp unicast: thông điệp truyền agent  Thông điệp broadcast: thông điệp truyền từ agent đến nhiều agent khác nhóm  Thơng điệp thông tin: thông điệp truyền agent tới dịch vụ proxy nhằm truy vấn thông tin agent khác Các agent phân vào nhóm quản lý dịch vụ proxy Một agent đăng ký vào nhóm thơng điệp gửi đến nhóm mong muốn Khi thơng điệp đăng ký đến Hình 22 Mơ hình truyền thơng agent platform (Hình 22 trích từ Website MonALISA, http://monalisa.caltech.edu) proxy, chế thẩm tra thực thỏa agent thêm vào nhóm chọn Nếu nhóm chưa tồn tại, dịch vụ proxy tạo nhóm thêm agent vào Cơ chế phân nhóm thích hợp cho nhu cầu truyền thơng nhóm Ngồi ra, agent truy vấn dịch vụ proxy để tìm agent đăng ký nhóm tìm danh sách agent tồn platform, … 3.4 R-GMA 3.4.1 Giới thiệu Trong môi trường phân tán tính tốn lưới, việc tìm thơng tin nguồn tài nguyên phổ biến vô quan trọng Những thơng tin máy tính tốn phổ biến site, kèm theo thông tin liên quan tải phần mềm phổ biến để thực thi job hay trạng thái khả kho lưu trữ để lưu trữ liệu phân tích Hơn nữa, người dùng mong muốn giám sát tiến độ công việc mà họ đệ trình tới hệ thống 50 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới R-GMA[24][27][30] (Relational Grid Monitoring Architecture) hệ thống giám sát thông tin tài nguyên grid phát triển dự án DataGrid[47] Châu Âu Hiện nay, R-GMA tiếp tục phát triển phần dự án EGEE[35] R-GMA thực kiến trúc GMA với tính đặc biệt Đó “ai” cung cấp giành lấy thông tin từ R-GMA mà không cần biết có mặt thành phần registry; hệ thống thơng tin giám sát xuất giống CSDL quan hệ lớn truy vấn thơng qua ngôn ngữ SQL R-GMA cho phép grid service ứng dụng tương tác với qua API ngôn ngữ khác C, C++, Java Python R-GMA tích hợp vào cơng cụ gLite[35] – middleware giúp dễ dàng xây dựng hệ thống grid triển khai nhiều site giới, đặc biệt dự án grid Châu Âu 3.4.2 Kiến trúc R-GMA thực kiến trúc GMA sử dụng công nghệ Java Servlet với mô hình CSDL quan hệ ngơn ngữ truy vấn dựa ngơn ngữ SQL Hình 23 Mơ hình thực R-GMA (Hình 23 trích từ [24]) Khi Producer tạo, chi tiết thơng tin đăng ký gửi theo ProducerServlet tới thành phần registry Mỗi record registry lưu thông tin producer bao gồm thông tin đặc tả, liệu producer phổ biến Sau đó, tồn liệu mà producer phổ biến truyền tới ProducerServlet cục Tương tự, consumer tạo, thông tin chi tiết gửi đến registry thơng qua giao diện ConsumerServlet Mỗi record registry lưu thông tin consumer bao gồm loại liệu mà consumer quan tâm danh sách producer thỏa tiêu chí consumer trả ConsumerServlet Sau đó, ConsumerServlet liên lạc với ProducerServlet liên quan để khởi tạo thao tác truyền liệu Dữ liệu phổ biến tới consumer xuyên qua ConsumerServlet 51 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới 3.4.3 Cơ sở liệu ảo (Virtual Database) R-GMA cho phép người dùng grid chia sẻ thông tin CSDL ảo Đối với người dùng, CSDL ảo giống với CSDL thật Nó tổ chức liệu theo dạng bảng, liệu chèn vào truy vấn theo cấu trúc chuẩn SQL Hơn nữa, hỗ trợ mục view Tuy nhiên, CSDL ảo khơng có kho lưu trữ trung tâm nắm giữ liệu cho bảng Nó bao gồm danh sách định nghĩa bảng (còn gọi lược đồ - schema), danh sách cung cấp liệu (còn gọi registry) tập luật để xác định nguồn liệu để liên lạc ứng với truy vấn cho Hình 24 Các thành phần kiến trúc R-GMA (Hình 24 trích từ Website R-GMA, http://www.r-gma.org) Trong đó:  Một lược đồ chứa tên cấu trúc bảng ảo  Registry chứa danh sách producer (cho bảng) cung cấp liệu Khi consumer thi hành truy vấn SQL bảng ảo, dịch vụ registry chọn producer tốt trả lời truy vấn cung cấp thông tin cần thiết producer đến consumer Các luật xác định producer đáp ứng truy vấn thực thành phần ẩn, gọi thành phần mơi giới trung gian (mediator) Sau đó, consumer liên lạc trực tiếp với producer chọn để lấy liệu Một hệ thống grid đơn hỗ trợ vài CSDL ảo Mỗi CSDL ảo có tên môi trường grid Một CSDL ảo làm chủ quản lý tổ chức ảo VO Tuy nhiên, đặc tả R-GMA khơng địi hỏi điều 52 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới 3.4.4 Thành phần Producer Các producer cung cấp liệu cho CSDL ảo Thao tác viết liệu vào CSDL ảo gọi thao tác công bố (publishing) Dữ liệu công bố dịng hồn chỉnh, gọi (tuple) Có lớp producer producer (primary), producer phụ (secondary) producer theo nhu cầu (on-demand) Điểm khác producer tuple đến từ đâu a) Producer Dịch vụ producer (producer service) tiến trình chạy server hoạt động dựa ủy thác mã người dùng (user code) Đối với producer chính, mã người dùng chèn tuple theo khoảng thời gian vào kho lưu trữ trì dịch vụ producer Dịch vụ producer tự động trả lời truy vấn consumer từ kho lưu trữ Hình 25 Thành phần Producer (Hình 25 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Các nguồn producer (primary producer resource) tạo dịch vụ producer có địi hỏi người dùng muốn công bố tuple vào nhiều bảng CSDL ảo Những thành phần nguồn producer trình bày Hình 26 Theo đó, nguồn producer có hai kho lưu trữ nắm giữ tuple chèn vào người dùng xử lý câu truy vấn SQL để xử lý truy vấn consumer Hình 26 Các thành phần nguồn producer (Hình 26 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Dịch vụ producer cịn có nhiệm vụ xác thực tất người dùng dịch vụ kết nối đến Đồng thời, cấp quyền cho tất thao tác đòi hỏi truy cập kho lưu trữ tuple 53 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới b) Producer phụ Đối với producer phụ, dịch vụ producer trả lời truy vấn từ kho lưu trữ bên Mã người dùng thiết lập việc chạy tiến trình tuple đến từ producer khác Hình 27 Thành phần producer phụ (Hình 27 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Các nguồn producer phụ tạo dịch vụ producer phụ có địi hỏi người dùng nhằm công bố lại (republish) nhiều bảng CSDL ảo Ở đây, cơng bố lại có nghĩa chạy câu truy vấn “SELECT * WHERE” bảng CSDL ảo công bố tuple kết trở ngược lại bảng Thành phần mô giới trung gian đảm bảo điều khơng đệ quy Hình 28 Các thành phần nguồn producer phụ (Hình 28 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Nhìn chung, thành phần nguồn producer phụ giống thành phần nguồn producer Giá trị producer phụ tạo bảng thật từ bảng ảo, thu tập tất tuple chèn vào CSDL ảo đưa vào kho lưu trữ tuple riêng Điều có nghĩa hoạt động archiver bảng, trả lời câu truy vấn liên quan đến việc kết bảng, bảng đặt CSDL Hơn nữa, producer phụ sử dụng để giảm tải cho producer khác Dịch vụ producer phụ có nhiệm vụ xác thực người dùng dịch vụ kết nối đến cấp quyền cho thao tác đòi hỏi truy cập đến kho lưu trữ tuple 54 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới c) Producer theo nhu cầu Đối với producer theo nhu cầu, khơng có kho lưu trữ bên Dữ liệu cung cấp mã người dùng thông điệp trả lời câu truy vấn chuyển hướng dịch vụ producer Hình 29 Thành phần producer dựa theo nhu cầu (Hình 29 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Kho lưu trữ tuple quản lý trì producer producer phụ Về mặt thực, kho lưu trữ tổ chức nhớ CSDL thật Các nguồn producer dựa theo nhu cầu tạo thành dịch vụ producer theo nhu cầu có địi hỏi người dùng muốn đưa liệu vào kho lưu trữ phổ biến thông qua CSDL ảo Các nguồn producer đăng ký theo cách giống loại producer khác câu truy vấn phân tích, kiểm tra cấp quyền giống truy vấn đến loại producer khác, chúng hỗ trợ truy vấn tĩnh, không sử dụng producer phụ, khơng có kho lưu trữ tuple bên khơng có khái niệm khoảng thời gian sở hữu (retention) Hình 30 cho thấy truy vấn chuyển tới ứng dụng định nghĩa người dùng (query handler) để xử lý truy vấn trả tuple kết theo yêu cầu Hình 30 Các thành phần nguồn producer theo nhu cầu (Hình 30 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Dịch vụ producer theo nhu cầu có nhiệm vụ xác nhận người dùng dịch vụ kết nối đến nó, đồng thời, cấp quyền cho thao tác đòi hỏi truy cập tới liệu 3.4.5 Thành phần Consumer Trong R-GMA, consumer đưa truy vấn SQL SELECT đơn CSDL ảo Một yêu cầu khởi tạo mã người dùng, dịch vụ consumer thực tất công việc Truy vấn kết hợp dựa danh sách producer phổ 55 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới biến registry chọn tập producer có khả trả lời câu truy vấn thơng qua tiến trình xử lý mơi giới trung gian Sau đó, dịch vụ consumer gửi truy vấn trực tiếp tới producer chọn để giành lấy tuple trả lời Hình 31 Các thành phần Consumer (Hình 31 trích từ Đặc tả R-GMA, https://edms.cern.ch/document/490223/) Các nguồn consumer tạo dịch vụ consumer có truy vấn người dùng muốn truy vấn đến nhiều bảng CSDL ảo Mỗi consumer thực truy vấn dựa hành vi người dùng cách liên lạc với tất producer cần thiết để trả lời truy vấn thu thập kết vào vùng đệm – nơi người dùng tìm mang kết Các tuple luôn đẩy dịch vụ producer tới server dòng liệu (streaming server) chạy dịch vụ consumer Tương tự dịch vụ producer, dịch vụ consumer có nhiệm vụ xác nhận cấp quyền 3.4.6 Dịch vụ đăng ký (Registry service) Chính xác, registry cho CSDL ảo Registry nắm giữ chi tiết tất producer công bố tới bảng CSDL ảo nắm giữ chi tiết consumer, cần kiện đến liên tục, muốn thông báo thay đổi danh sách producer Để đảm bảo tính co giãn (resilience) tính khả mở (scalability), nhiều registry tạo cho CSDL ảo Mỗi tồn cá thể registry (Registry Instance) dịch vụ registry tạo dịch vụ có đòi hỏi người dùng Dịch vụ registry đơn nắm giữ từ nhiều CSDL ảo Dịch vụ registry nắm giữ truy vấn registry mà khơng nắm, cách định vị dịch vụ registry khác nắm giữ registry đòi hỏi chuyển hướng truy vấn đến Theo cách này, người dùng, dịch vụ producer dịch vụ consumer cần liên lạc trực tiếp tới dịch vụ registry cục chúng Hơn nữa, dịch vụ registry có nhiệm vụ xác nhận người dùng dịch vụ kết nối tới nó, đồng thời, cấp quyền cho tất thao tác đòi hỏi truy cập tới registry mà dịch vụ nắm giữ 56 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới 57 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới Tài liệu tham khảo [1] Ian Foster, Carl Kesselman, Steven Tuecke: The Anatomy of the Grid: Enabling Scalable Vitual Organizations, Intl J Supercomputer Applications, 2001 [2] Luis Ferreira, Viktors Berstis, Jonathan Armstrong, Mike Kendzierski, Andreas Neukoetter, MasanobuTakagi, Richard Bing-Wo, Adeeb Amir, Ryo Murakawa, Olegario Hernandez, James Magowan, Norbert Bieberstein, Introduction to Grid Computing with Globus, IBM Redbooks, September 2003 [3] Ian Foster, C Kesselman, J Nick, S Tuecke The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration, Globus Project, 2002 [4] J Unger and M Haynos, A visual tour of Open Grid Services Architecture: Examine the component structure of OGSA, vol 2004: IBM developerworks, 2003 [5] Von Welch, Frank Siebenlist, Ian Foster, John Bresnahan, Karl Czajkowski, Jarek Gawor, Carl Kesselman, Sam Meder, Laura Pearlman, Steven Tuecke, Security for Grid Services, http://grid.ncsa.uiuc.edu/papers/GT3-Security-HPDC-Final.pdf [6] The Open Grid Services Architecture, Version 1.0, 2005, http://forge.gridforum.org/projects/ogsa-wg [7] From Open Grid Services Infrastructure to WSResource Framework: Refactoring & Evolution, Version 1.1, 3/05/2004, http://www- 128.ibm.com/developerworks/library/ws-resource/ogsi_to_wsrf_1.0.pdf [8] B Plale, P Dinda, M Helm, G von Laszewski, J McGee, Key concepts and services of a grid information service, in Proceedings of the 15th International Conference on Parallel and Distributed Computing Systems, Louisville, KY, 2002 [9] W Smith, A system for monitoring and management of computational grids, in Proceedings of the 31st International Conference on Parallel Processing, IEEE Computer Society Press, 2002 [10] M L Massie, B.N Chun, D.E Culler, Ganglia Distributed Monitoring System: Design, Implementation, and Experience, Parallel Computing 30, 2004 [11] H B Newman, I.C Legrand, P Galvez, R Voicu, C Cirstoiu, MonALISA: a distributed monitoring service architecture, in Computing in High Energy and Nuclear Physics, LaJolla, CA, 2003 [12] X Zhang, J Freschl, J Schopf, A performance study of monitoring and information services for distributed systems, in Proceedings of the 12th IEEE High Performance Distributed Computing, IEEE Computer Society Press, Seattle, WA, USA, 2003 [13] Rob Byrom, Brian Coghlan, Andy Cooke, etc ,Production Services for Information and Monitoring in the Grid, in Proceedings of AHM 2004 [14] Serafeim Zanikolas and Rizos Sakellariou, A Taxonomy of Grid Monitoring Systems, Future Generation Computer Systems, 21(1), January 2005, pp 163 188 [15] B Tierney, R Aydt, D Gunter, W.Smith, V Taylor, R.Wolski, and M Swany A grid monitoring architecture Technical Report GWD-PERF-16-2, Global Grid Forum, Jan 2002 [16] CoreGrid, D.IM.02 – Proposal of architecture for scalable GRID monitoring architecture, www.coregrid.net/mambo/images/stories/Deliverables/d.im.02.pdf [17] I.C Legrand et al MonALISA: An Agent Based, Dynamic Service System to Monitor, Control and Optimize Grid Based Applications, CHEP04, Switzerland, 2004 [18] I.C Legrand et al., MonALISA - MONitoring Agents using a Large Integrated Service Architecure, International Workshop on Advanced Computing and Analysis Techniques in Physics Research, Tsukuba, Japan, December 2003 58 Nghiên cứu giải pháp cho toán giám sát tài nguyên môi trường mạng lưới [19] Mark A Baker and Matthew Grove, jGMA: A lightweight implementation of the Grid Monitoring Architecture, Technical report, Distributed Systems Group, University of Portsmouth, Sep 2004 [20] Jennifer M Schopf, Laura Pearlman, Neill Miller, Carl Kesselman, Ian Foster, Mike D'Arcy and Ann Chervenak, Monitoring the grid with the Globus Toolkit MDS4, Scientific Discovery Through Advanced Computing (SciDAC 2006), June 25-29, 2006, Denver, CO Published in Journal of Physics: Conference Series 46(2006), 521525 [21] Ann Chervenak, Jennifer M Schopf, Laura Pearlman, Mei-Hui Su, Shishir Bharathi, Luca Cinquini, Mike D’Arcy, Neill Miller, David Bernholdt, Monitoring the Earth System Grid with MDS4, 2nd IEEE Intl Conference on e-Science and Grid Computing (e-Science 2006), Dec 4-6, 2006, Amsterdam, Netherlands [22] X Zhang and J M Schopf, Performance Analysis of the Globus Toolkit Monitoring and Discovery Service, MDS2, Proceedings of IEEE IPCCC International Workshop on Middleware Performance (IWMP 2004), 2004 [23] Xuehai Zhang, Jeffrey L Freschl, and Jennifer M Schopf, A Scalability Analysis of Three Monitoring and Information Systems: MDS2, R-GMA, and Hawkeye, ANL Tech Report, www.mcs.anl.gov/~jms/jmspubs.html, 2005 [24] Andy Cooke, Alasdair J G Gray, Lisha Ma, Werner Nutt, James Magowan, Manfred Oevers, Paul Taylor, Rob Byrom, Laurence Field, Steve Hicks, Jason Leake, Manish Soni, Antony Wilson, Roney Cordenonsi, Linda Cornwall, Abdeslem Djaoui, Steve Fisher, Norbert Podhorszki, Brian Coghlan Stuart Kenny, David O’Callaghan RGMA: An Information Integration System for Grid Monitoring, in Proceedings of the Tenth International Conference on Cooperative Information Systems, 2003 [25] Nguyen Viet Han, Tran Van Lang, Vo Dinh Hieu, The grid system is deployed in HCMC Institute of Information Technology, the proceeding of The 2nd Conference on Science and Technology in Association with Practicality, Vietnamese Academy of Science and Technology – HCMC, Jul, 2006 [26] Kornkamol Permajchariyawong, Putchong Uthayopas, The monitoring software for large scale grid system, www.opensce.org/doc/sce1_7/SCMSWeb/SCMSWeb_Paper_word [27] MonALISA, http://monalisa.caltech.edu [28] Science Grid This Week, http://www.interactions.org/sgtw/2005/0831/monalisa_more.html R-GMA, http://www.r-gma.org Đặc tả R-GMA, https://edms.cern.ch/document/490223/ Glue Schema Specification, www.hicb.org/glue/glue-schema/schema.html Globus, www.globus.org Globus MDS, http://www.globus.org/toolkit/docs/4.0/ Globus Grid Forum, http://www.gridforum.org gLite, http://glite.web.cern.ch/glite/ SCMSWeb, http://www.opensce.org/components/SCMSWeb Ganglia, http://ganglia.sourceforge.net/ SOA, http://webservices.xml.com/pub/a/ws/2003/09/30/soa.html SOA, http://www-128.ibm.com/developerworks/webservices/newto/ Web services, http://www.w3.org/2002/ws/ Xpath specification, http://www.w3.org/TR/xpath/ SAML, http://www.oasisopen.org/committees/tc_home.php?wg_abbrev=security#samlv20 [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] 59 Nghiên cứu giải pháp cho tốn giám sát tài ngun mơi trường mạng lưới [43] http://www- WS-Security, 128.ibm.com/developerworks/webservices/library/ws-secure/ WS-Security, http://www.oasis-open.org/committees/tc_home.php?wg_abbrev=wss [44] [45] [46] [47] [48] [49] [50] [51] PRAGMA, http://goc.pragma-grid.net/ TeraGrid, www.teragrid.org Earth System Grid (ESG), www.earthsystemgrid.org DataGrid Project, http://eu-datagrid.web.cern.ch/eu-datagrid/ GridLab: A Grid Application Toolkit and Testbed, www.gridlab.org ApGrid, www.apgrid.org Thai National Grid Center, www.thaigrid.net Open Science Grid, www.opensciencegrid.org 60