Tiểu luận môn Điện toán lưới và đám mây TÌM HIỂU VỀ GLITE MIDDLEWARE

ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 TÌM HIỂU VỀ GLITE MIDDLEWARE Đề tài: TIỂU LUẬN MÔN HỌC: ĐIỆN TOÁN LƯỚI VÀ ĐÁM MẤY ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN GVHD: PGS. TS. NGUYỄN PHI KHỨ HVTH: VŨ QUỐC HƯNG MSHV: CH1301016  ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Mục lục ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Danh mục hình vẽ ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Tóm tắt Hiện nay, tính toán lưới đang nổi lên như một công nghệ nhiều hứa hẹn trong tương lai, với khả năng tập hợp các nguồn tài nguyên nhàn rỗi, nhằm hướng tới các mục tiêu về hiệu năng tính toán và khả năng chia sẻ, truyền thông dữ liệu. Nhiều trung tâm nghiên cứu và các tổ chức trên thế giới đáng áp dụng và triển khai công nghệ này vào thực tiễn, mở ra các khả năng mới trong lĩnh vực công nghệ thông tin cũng như các lĩnh vực khác. Môi trường tính toán lưới là một hạ tầng kết nối nhiều hệ thống máy tính, hệ thống mạng, hệ thống cơ sở dữ liệu được sở hữu và quản lý bởi nhiều tổ chức, cá nhân nhằm cung cấp môi trường tính toán ảo duy nhất với hiệu năng cao cho người sử dụng. Nhờ đó tính toán lưới là một giải pháp hiệu quả đối với các bài toán đòi hỏi một lượng tài nguyên lớn nhất định. Để xây dựng một hệ thống tính toán lưới, cần có một middleware đảm nhiệm vai trò làm trung gian, cung cấp môi trường và các dịch vụ cơ bản cần thiết. Các bộ công cụ được xây dựng nhằm mục đích trợ giúp việc xây dựng hệ thống grid như Globus, gLite, UNICORE vẫn không ngừng phát triển. Đặc biệt, gLite là một middleware được cộng đồng nghiên cứu Châu Âu hỗ trợ và phát triển mạnh trong những năm gần đây. Bài tiểu luận này chủ yếu nói về glite và cách glite hoạt động trên grid. ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 I. Giới thiệu chung về Grid và Grid Middleware Hệ thống Grid là một tập hợp những tài nguyên tính toán, tài nguyên lưu trữ, tài nguyên kết nối, và thiết bị khoa học. Những tài nguyên này là những yếu tố tạo nên phần fabric của Grid. Tài nguyên tính toán có thể là siêu máy tính, máy chủ, hệ thống cụm máy tính hoặc là máy tính cá nhân thường là được phân bố trên những vùng địa lí khác nhau, những tổ chức khác nhau. Những dụng cụ khoa học như kính thiên văn hoặc mạng cảm biến cung cấp dữ liệu thời gian thực để lưu trữ vào cơ sở dữ liệu. Những thiết bị khoa học này thường không tập trung, không đồng nhất và lai ghép. Để sử dụng những tài nguyên này một cách hiệu quả, ta cần phải có một số middleware để truy cập tới tài nguyên trên Grid, điều phối sử dụng tài nguyên theo chính sách của các VO và bảo vệ cho người cung cấp dịch vụ. Grid Middleware cung cấp cho người dùng khả năng tính toán giống nhau trên mọi nền tảng, truy cập đồng nhất vào các tài nguyên không đồng nhất trên Grid. Quá trình phát triển phần grid middleware cần phải có khả năng chia sẻ, khả năng sử dụng lại, và khả năng mở rộng để làm giàm thiểu thời gian cần thiết cho việc phát triển và triển khai lại. Grid middleware là một tập hợp những API, giao thức, và phần mềm cho phép tạo ra và sử dụng hệ thống Grid. Mặc dù grid thường được sử dụng bên trong một hoặc một số tổ chức, và việc phát triển các API như là một phần của các middleware là có thể nhưng nó không cung cấp một giao diện trừu tượng cho những dự án thực tế. Bởi vì sự phức tạp trong kiến trúc của Grid và sự đa dạng về tính năng nên sự tương tác giữa middleware và những phần mềm khác là rất cần thiết. Để dễ dàng ứng dụng vào thực tế, một grid middleware thường có kiến trúc phân tầng. Trong kiến trúc chung của một Grid, tầng dưới cùng, là tầng fabric – tập hợp các nguồn tài nguyên trên Grid, tầng trên cùng là lớp ứng dụng. Tầng middleware là tầng nằm giữa hai tầng trên. Ngoài ra tầng middleware còn có thể chia thành hai tầng con tách biệt. Theo cách tiếp cận này thì toàn bộ grid gồm bốn thành phần:  Fabric  core middleware  user-level middleware  ứng dụng và portal Hình dưới đây minh họa kiến trúc của Grid và Grid middleware ở trong đó. ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Hình 1.1. Mô hình Grid Trong mô hình này, tầng middleware được chia làm hai mức: core middleware và user-level middleware.  Core middleware cung cấp những dịch vụ cơ bản như: quản lý công việc từ xa, đăng ký tài nguyên, truy xuất dữ liệu, đăng ký thông tin dịch vụ, phát hiện dịch vụ, bảo mật và chất lượng dịch vụ như đặt chỗ tài nguyên. Những dịch vụ này có nhiệm vụ trừu tượng hóa, che dấu sự phức tạp và không đồng nhất của tầng fabric bằng cách cung cấp một phương thức duy nhất và ổn định để truy cập tới những tài nguyên phân bố trên Grid.  User-level middleware là một dạng middleware mà trong đó có sử dụng những giao diện đã được cung cấp ở lớp dưới để tạo nên những dịch vụ ở mức cao hơn. Đó là những bộ công cụ phát triển, môi trường phát triển, quản lý tài nguyên và định thời cho những ứng dụng chạy trên một tài nguyên chung. ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 II. Những chức năng trên Grid Middleware Những thành phần trong Grid Middleware cung cấp cho người dùng những chức năng cần thiết để tối ưu việc sử dụng Grid. Những chức năng này gồm có chức năng cơ bản như: xác thực, cấp quyền, truy cập tài nguyên, truyền tải dữ liệu và giám sát. Ngoài ra còn có những chức năng phức tạp khác như quản lý tài nguyên, đăng ký tài nguyên, quản lý công việc, quản lý thông tin có thể được phát triển dựa trên những chức năng cơ bản. 1. Những chức năng cơ bản Những chức năng cơ bản trong Grid middleware gồm có thực thi công việc, bảo mật, dịch vụ thông tin và truyền tải file.  Dịch vụ thực thi công việc hỗ trợ việc nhận công việc để chạy trên một tài nguyên ở xa. Trên tài nguyên này đã được thiết lập những yếu tố bảo mật do dịch vụ bảo mật cung cấp để những người có đúng thẩm quyền mới được sử dụng. Cơ chế bảo mật có liên quan đến xác thực người dùng, cấp quyền, và truy xuất thông tin an toàn đến tài nguyên trên lưới. Trong quá trình thực thi, dịch vụ này phải cung cấp được thông tin về tiến độ và trạng thái của công việc. Do đó việc quản lý các công việc này đều dựa vào một mã số duy nhất ở trong tài nguyên grid nhằm tạo thuận lợi cho việc quản lý cũng như là lập lịch để chạy chúng.  Dịch vụ bảo mật cung cấp cơ chế xác thực và cấp quyền cho người sử dụng để truy xuất tới tài nguyên trên grid. Những cơ chế này được dựa trên nền bảo mật của mạng máy tính. Những giao thức và phương thức cổ điển của bảo mật mạng đã được ứng dụng vào Grid như mã hóa, chữ ký số và nhiều cơ chế bảo mật cơ bản khác. Đối với việc xác thực người dùng thì PKI và Kerberos là hai cơ chế được sử dụng nhiều nhất. Ngoài ra hệ thống Grid cần phải hỗ trợ chế độ đăng nhận một lần (single sign-on) để hỗ trợ việc thực thi các công việc cần sử dụng những tài nguyên trên grid ở nhiều site khác nhau, trường hợp này người ta thường sử dụng một chứng nhận ủy quyền để thực hiện.  Dịch vụ thông tin: thông tin trên môi trường grid luôn luôn biến động như trạng thái của tài nguyên, một tài nguyên có thể được kết nối hoặc ngắt kết nối ra khỏi grid bất kì lúc nào, địa chỉ của những dịch vụ có thể bị thay đổi. Một dịch vụ thông tin cung cấp khả năng truy vấn thông tin về tài nguyên và những dịch vụ, ví dụ như mức độ hoạt động của CPU, tổng dung lượng bộ nhớ còn trống hay đã sử dụng, trạng thái của một dịch vụ . Những thông tin này sẽ được ghi lại và được phân tích nhờ những dịch vụ mức cao hơn như thực thi công việc. Gần đây, dịch vụ thông tin thường được gắn kèm với web ngữ nghĩa để cung cấp khả năng truy vấn thông tin hiệu quả hơn. ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1  Truyền tải dữ liệu: cung cấp khả năng truyền dữ liệu an toàn và hiệu quả mà một công việc cần từ địa chỉ gốc tới nút tính toán, truy xuất cần thiết. Người sử dụng chỉ cần ra một lệnh đơn giản kiểu như: “chuyển file A từ máy chủ X tới máy chủ Y với tên mới là file B một cách nhanh nhất có thể”. Một số chức năng phụ như chia nhỏ file lên nhiều nơi hoặc truyền tải dữ liệu song song thường được áp dụng khi có lượng dữ liệu lớn. 2. Những chức năng nâng cao Dựa trên những chức năng cơ bản được cung cấp bởi Grid Middleware, một số lượng các dịch vụ cấp cao hơn, phức tạp hơn được phát triển thêm. Dịch vụ quản lý file, dịch vụ quản lý thông tin và dịch vụ quản lý công việc có thể được coi là các thành phần chính của các dịch vụ loại này.  Dịch vụ quản lý file: cho phép người sử dụng điều khiển quá trình truyền tải file và giám sát trạng thái của chúng. Grid Middleware cần phải cung cấp những chức năng này cho người sử dụng và che giấu hiện thực phức tạp bên trong. Dịch vụ replica là một phương pháp để tăng cường dư thừa dữ liệu nhằm mục đích giảm bớt chi phí chuyển đổi file. Một tập hợp các dịch vụ liên replica được cung cấp bởi middleware như dịch vụ theo dõi vị trí của replica, quản lý replica.  Quản lý thông tin cho phép truy vấn thông tin về dung lượng lưu trữ và tài nguyên tính toán cũng như thông tin xuất ra từ những thành phần khác trong Grid. Nó cũng bao gồm trạng thái thực thi các công việc để sử dụng cho việc thu thập, lưu trữ và phân tích. Thông tin về tài nguyên và cách truy cập các tài nguyên đó sẽ cung cấp cho người sử dụng một cái nhìn tổng quát về sự chiếm dụng tài nguyên trên Grid. Ngoài ra, dịch vụ thông tin này thường đi kèm với dịch vụ giám sát. Dịch vụ thông tin và giám sát giúp cho người sử dụng tìm kiếm tài nguyên và thông tin liên quan tới tài nguyên đó nên nó giữ một vai trò rất quan trọng trong hệ thống Grid.  Quản lý công việc là một dịch vụ khá quan trọng khác nhằm giải quyết sự liên quan giữa những dịch vụ với nhau như bảo mật, truyền tải dữ liệu và dịch vụ thông tin. Một công việc được người dùng nhập vào thường có nhiều công việc con bên trong và sử dụng dữ liệu lớn, và có thể là khối lượng tính toán lớn, khả năng chịu lỗi.  ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 III. Glite 1. Giới thiệu gLite là một tập hợp của các thành phần được thiết kế để cho phép chia sẻ tài nguyên trên lưới. gLite được tạo ra bởi dự án Enabling Grids for E-sciencE project (EGEE) và hiện đang được phát triển bởi dự án EMI với mục đích hỗ trợ xây dựng các hệ thống tính toán lưới của dự án, dùng trong các lĩnh vực : Khoa học máy tính và công nghiệp, Khoa học về sự sống, Hóa học, Khoa học về trái đất, Vật lý năng lượng cao, Vật lý hạt nhân, Nghiên cứu vũ trụ,… gLite gắn liền với những tổ chức ảo – VO( Virtual Organization) và được phát triển dùng cho việc tính toán trên Grid. Phiên bản đầu tiên của gLite ra đời năm 2005, và gLite đang ngày càng được phát triển và không ngừng ra phiên bản mới với sự tích hợp của những nét mới và những công nghệ đã phát triển trước đó (như globus, condor, ) nên có thể dùng thay thế cho các phần mềm middleware hiện nay và vẫn đảm bảo được chất lượng dịch vụ. gLite cung cấp cho người dùng với dịch vụ cấp cao như: lập lịch và thực thi các công việc tính toán truy cập và chuyển dữ liệu thu thập thông tin về cơ sở hạ tầng lưới cũng như các ứng dụng lưới. Các dịch vụ có sẵn trong bản phân phối gLite có thể được chia thành hai loại chính:  Các dịch vụ cơ bản (Grid Middleware Foundation): bao gồm các cơ sở hạ tầng bảo mật, thông tin, giám sát và hệ thống kế toán, truy cập các tài nguyên máy tính và lưu trữ, cung cấp thành phần cơ sở cho một cơ sở hạ tầng phù hợp và đáng tin cậy  Các dịch vụ mức cao (Higher-level Grid Middleware): bao gồm các dịch vụ để quản lý công việc, danh mục dữ liệu và sao chép dữ liệu, cung cấp các ứng dụng với giải pháp withend-to-end. Các ứng dụng hoạt động trên môi trường gLite phải truy cập đến cả hai tầng dịch vụ cơ bản và dịch vụ mức cao như hình bên dưới. Các truy cập này có thể thông qua CLI hoặc API. ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Hình 3.1. Các thức truy cập dịch vụ từ ứng dụng trong gLite 2. Kiến trúc gLite gLite được phát triển dựa trên kiến trúc hướng dịch vụ (SOA) do đó nó dễ dàng tương tác của các dịch vụ, thích ứng tốt với tiêu chuẩn mở và đáp ứng thuận lợi hơn các tiêu chuẩn được công bố sau này như OGSA. Các dịch vụ có thể làm việc độc lập hoặc có thể làm việc cùng nhau, tuy vậy nó vẫn có thể được triển khai và sử dụng một cách độc lập cho phép việc khai thác chúng trong những ngữ cảnh khác nhau. gLite đồng thời còn đưa ra framework chung cho phát triển ứng dụng trong môi trường lưới. Hình sau mô tả các dịch vụ ở cấp cao có thể được chia thành 5 nhóm dịch vụ. [...]... với tính toán lưới một cách dễ dàng hơn CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY V Kết luận Bài tiểu luận này đã trình bày được một số đặc điểm của glite, đồng thời tìm hiểu về cách nó hoạt động trên hệ thống Grid Tuy nhiên việc xây dựng, quản trị hệ thống tính toán lưới với gLite thực sự không đơn giản Nó đòi hỏi sự tham gia cộng tác của nhiều cá nhân, với sự hiểu biết tường tận và được... đi tiểu công việc đến các node, WMS tổng hợp và trả kết quả lại người dùng Quá trình này được mô ta qua hình sau CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY Hình 3.5 Quá trình gửi công việc và nhận kết quả 3 Các ưu điểm của Grid khi dùng gLite  gLite kế thừa từ các dự án Grid trước đó nên tận dụng nhiều ưu điểm của các thành phần vốn đã hoạt động rất ổn định và hiệu quả như bộ lập lịch và. .. CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY lẻ và là phần của luồng thông điệp cấp độ ứng dụng giữa người dùng và dịch vụ  Đặc tả ứng dụng lấy yêu cầu Thủ tục cấp quyền có thể sử dụng cho việc đánh giá và tham khảo thêm  Dịch vụ tích hợp với tài nguyên, mà lần lượt có thể được ủy quyền Kỹ thuật Sand-boxing và kỷ thuật cô lập giới hạn tác động người dùng vào tài nguyên trong phạm vi mong... Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY  Thu hồi thông tin bookkeeping và logging của các job Tất cả các chức năng này được tạo sẵn qua một giao diện dòng lệnh và một API cung cấp từ C++ và Java Thành phần GUI được phát triển trên đỉnh của Java API Logging and Bookkeeping Dịch vụ Logging và Bookkeeping được sử dụng bởi WMS nội tại để tập hợp các thông tin khác nhau trên các job đang chạy và cung cấp... dự án EGEE và nhiều tổ chức cũng như chính phủ các nước trên thế giới CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY IV Nhận xét Hiện nay, hơn 50 quốc gia đã gia nhập vào hệ thống Grid chung của thế giới Hệ thống Grid chung này mang lại lợi ích rất to lớn từ nguồn tài nguyên của nó, tuy nhiên, để gia nhập hệ thống này đòi hỏi một số qui định nghiêm ngặt về tính an toàn, sự tin cậy và yêu cầu... ngắn và cung cấp những tùy chọn mặc định nhiều nhất có thể Ví dụ rgma> SELECT Name, Endpoint FROM Service CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY Service Discovery Khám phá dịch vụ là một API ẩn trong hệ thống thông tin bên dưới Hệ thống thông tin này được liên kết qua một cơ chế plug-in cho cái mà chúng ta hỗ trợ RGMA, bdII và một file XML Các API được cung cấp trong C và Java và cho... liệu và một dịch vụ kết nối động o Authentication: xác định các thực thể (người sử dụng, hệ thống, và dịch vụ), căn cứ vào chứng nhận X.509 o Authorization: cho phép hoặc từ chối truy cập đến các dịch vụ và nguồn lực cụ thể, ba mô hình phân quyền cơ bản: đại diện (agent), đẩy (push) và kéo (pull) o Auditing: theo dõi và cung cấp thông tin phân tích thử nghiệm các sự kiện bảo mật liên quan Tìm hiểu về. ..ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY Hình 3.2 Kiến trúc dịch vụ gLite  Dịch vụ Security bao gồm các dịch vụ Authentication, Authorization, Auditing, Dynamic Connectivity cho phép nhận dạng các thực thể (người sử dụng, hệ thống và dịch vụ), cho phép hoặc từ chối truy cập đến dịch vụ hay tài nguyên và cung cấp thông tin cho việc phân tích các sự kiện liên... storage, catalog và movement 2.5 Quá trình gửi một công việc đến khi nhận kết quả Công việc được người dùng gửi lên qua giao diện người dùng, WMS phân tích và chọn các tài nguyên phù hợp cho tác vụ và gửi đến các đơn vị tính toán, công việc được chia thành các tiểu công việc và được gửi đến các node trên lưới thực hiện Sau khi có kết quả tính toán, thông tin được tổng hợp lại tại đơn vị tính toán ban đầu... CH1301016 - Vũ Quốc Hưng Tr 1 ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY VI Tài liệu tham khảo [1] E Laure, S M Fisher, A Frohner, C Grandi, P Kunszt, A Krenek, O Mulmo, F Pacini, F Prelz, J White, M Barroso, P Buncic, F Hemmer, A Di Meglio, A Edlund, Programming the Grid with gLite, Computational Methods In Science And Technology 12(1), 33-45 (2006) [2] Esther Montes Prado, Overview of gLite Middleware, CIEMAT 10th EELA . ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 TÌM HIỂU VỀ GLITE MIDDLEWARE Đề tài: TIỂU LUẬN MÔN HỌC: ĐIỆN TOÁN LƯỚI VÀ ĐÁM MẤY ĐẠI HỌC QUỐC GIA THÀNH. CH1301016  ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Mục lục ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 - Vũ Quốc Hưng Tr. 1 Danh mục hình vẽ ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CH1301016 -. một middleware được cộng đồng nghiên cứu Châu Âu hỗ trợ và phát triển mạnh trong những năm gần đây. Bài tiểu luận này chủ yếu nói về glite và cách glite hoạt động trên grid. ĐIỆN TOÁN LƯỚI VÀ ĐÁM