Chương này trình bày về Nimrod-G grid resource broker được sử dụng trong kiến trúc định hướng việc tính toán kinh tế cho ứng dụng quản lý tài nguyên và lịch làm việc trên nguồn tài nguyên phân bố rộng.
Tính toán lưới dùng để phối hợp và tổng hợp các nguồn tài nguyên phân tán về mặt địa lý, để giải quyến vấn đề qui mô lớn trong kỹ thuật, khoa học và kinh tế. Tuy vậy, các thành phần ứng dụng, quản lý tài nguyên và lịch làm việc trong những môi trường này là sự kết hợp phức tạp. Điều này là do sự phân tán tài nguyên về mặt địa lý , thường được sở hữu bởi những tổ chức khác nhau có những qui định khác nhau, và mô hình giá khác nhau, nhiều loại tải và mẫu có sẵn. Để giải quyết những thách thức về việc quản lý tài nguyên, chúng ta phát triển một nền tảng tính toán tài chính phân tán cho chất lượng dịch vục phân bổ nguồn tài nguyên và các qui định về cung cấp và truy xuất tài nguyên.
Hệ thống quản lý tài nguyên cần cung cấp cơ chế và công cụ để hiện thực hóa mục tiêu của nhà cung cấp dịch vụ và người sử dụng. Người sử dụng tài nguyên cần một mô hình hữu dụng, thể hiện nhu cầu tài nguyên của họ, và brokers (những cơ chế môi giới) có thể thực hiện các chiến lược một cách tự động để chọn nhà cung cấp dựa trên mô hình này. Hơn thế nữa, broker cần quản lý tất cả vấn đề liên quan đến việc thực thi của ứng dụng. Nhà cung cấp dịch vụ cần hệ thống sinh giá để tăng tính tiện ích của hệ thống, như là các giao thức kinh tế để giúp họ cung cấp được các dịch vụ cạnh tranh. Để thị trường cạnh tranh và hiệu quả, cơ chế phối hợp được yêu cầu để giúp thị trường đạt được mức độ cân bằng giá. Nhiều lý thuyết kinh tế đã được đề xuất trong bài viết và nhiều mô hình kinh tế thường được sử dụng cho bán hàng hoá và dịch vụ. có thể được sử dụng như các giao thức đàm phán trong điện toán lưới. Một vài mô hình kinh tế định hướng thị trường hoặc xã hội được thể hiện trong bảng dưới. Những mô hình kinh tế này điều chỉnh cung và cầu của tài nguyên trong những lưới doanh nghiệp ảo.
Sức mạnh của những mô hình này trong việc tính toán lịch làm việc khi sử dụng Nimrod-G resourec broker trên mô trường Grid đã được kiểm định, môi trường Grid còn được gọi là World Wide Grid (WWG)
Hình 12 - Economic Model 2. Nimrod-G Resource Broker
Nimrod-G là một công cụ cho mô hình tự động và thực thi ứng dụng quét thông số từ những hệ thống tính toán lưới toàn cầu. Nimrod-G cung cấp một phương pháp task- farming ổn định và có khả năng lập trình, vì vậy cho phép thêm vào các lịch làm việc được định nghĩa bởi người dùng và tùy chỉnh các ứng dụng hoặc các môi trường giải quyết vấn đề trong những thành phần mặc định. Phương pháp task-farming (gom nhiệm vụ) là điểm phối hợp cho quá trình trao đổi tài nguyên, lịch làm việc, dữ liệu và giai đoạn thực thi, thực thi từ xa, và đối chiếu kết quả. Trong quá khứ, trọng tâm chính của dự án là tạo ra các công cụ giúp các chuyên gia miền để soạn các ứng dụng kế thừa nối tiếp của nó cho các tham số nghiên cứu và chạy chúng trên các cụm tính toán và lưới được quản lý thủ công. Hiện tại trọng tâm là việc sử dụng các nguyên tắc kinh tế trong việc quản lý tài nguyên và lịch làm việc trên lưới theo thứ tự để chất lượng dịch vụ ổn định đến người sử dụng cuối. Các phương pháp kinh tế của thế giới thực cung cấp động lực cho những người sở hữu tài nguyên phân phối tài nguyên cuả họ ra thị trường, và nó cung cấp cho người sử dụng dịch vụ trao đổi chất lượng như giá trị họ
nhận được. Điều này có nghĩa là, trọng tâm xoay quanh vùng giao nhau của các kiến trúc lưới, các nguyên tắc kinh tế, và tối ưu hóa lịch làm việc ( hình 4.1) là điều cần thiết cho việc đẩy mạnh lưới trong việc dòng chảy tính toán
Hình 13 - Chất lượng dịch vụ dựa trên việc quản lý tài nguyên
3. Dịch vụ và người sử dụng cuối
Nimord-G cung cấp bộ công cụ và các dịch vụ cho việc tạo các ứng dụng quét tham số, quản lý việc thực thi tài nguyên, và các ứng dụng lịch làm việc. Tất cả điều đó là ngôn ngữ lập trình khai báo đơn giản và các công cụ đồ họa tương tác để tạo ra đoạn mã và các file dữ liệu đầu vào tham số của ứng dụng, và GRB với những thực thể có thể lập trình cho các tác vụ của tiến trình trên tài nguyên lưới. Môi giới tài nguyên của một thành phần, cụ thể là engine lập trình việc thu thập nhiệm vụ liên tục, hướng dẫn lịch trình, và điều phối. Nó cũng cung cấp các dịch vụ quản lý tác vụ có thể được sử dụng để tạo các lịch được định nghĩa trước, các công cụ quản lý và điều phối, và các ứng dụng được tùy chỉnh. Do đó, người sử dụng cuối được những lợi ích từ Nimrod-G, phương thức và các dịch vụ:
- Domain Experts (Lĩnh vực chuyên biệt): nhóm này bao gồm những khoa học, kỹ thuật, kinh tế với nhiều yêu cầu xử lý tập dữ liệu qui mô lớn. Các ứng dụng tham số có thể sử dụng Nimrod-G để đưa ra chúng như dữ liệu thô song song, các ứng dụng quét tham số cho việc thực t hi và phân bổ tài nguyên. Chúng có thể tận dụng tính năng của Nimrod-G để trao đổi giữa việc tính toán giới hạn và giá trong khi thực thi các lịch trình trên lưới. Khía cạnh chất lượng của dịch vụ rất quan trọng, bởi vì kết quả chỉ có ích khi chúng được trả về kịp thời.
- Prolem Solving Enviroment Developers (Phát triển môi trường giải quyết vấn đề): những ứng dụng phát triển có thể dùng lưới cho ứng dụng của nó với những cơ cấu riêng để gửi tác vụ cho Nimrod-G resource broker theo thời gian thực , phụ thuộc vào yêu cầu của người sử dụng cho các quá trình trên lưới. Sử dụng Nimrod-G, các dịch vụ quản lý tác vụ mang lại cho họ khả năng tạo các ứng dụng khả thi
- Task Farming or Master-Worker Programming Environments Designers: tập trung vào việc thiết kế hoặc phát triển các ứng dụng tạo ra nhiệm vụ cho việc thu thập công việc và phát triển môi trường thực thi của các ứng dụng bằng cách tận dụng lợi thế thời gian thực của Nimrod-G để thực hiện các công việc về phân phối lưới tài nguyên
- Scheduling Researchers (Tìm kiếm lịch trình): việc phát triển các chính sách lịch làm việc thường sử dụng kỹ thuật mô phỏng và các công cụ như GridSim và Simgrid để đánh giá hiệu suất của thuật toán của chúng. Trong mô phỏng, rất khó khăn để nắm bắt được sở hữu đầy đủ và hành vi của một hệ thống thế giới thực và do đó, kết quả đánh giá có thể không chính xác. Theo đó, để chứng minh tính hữu dụng của các thuật toán lập lịch trình trên hệ thống thực tế, các nhà nghiên cứu cần phải phát triển hệ máy chạy nguồn tài nguyên thực. Điều này có thể được khắc phục bằng cách sử dụng Nimrod-G broker. Các nhà nghiên cứu có thể sử dụng giao thức quản lý tác vụ và dịch vụ của Nimrod-G để phát triển lịch trình riêng của họ và các thuật toán lập lịch trình liên quan. Lịch trình mới có thể được sử dụng để chạy các ứng dụng thực tế về tài nguyên phân phối và sau đó đánh giá khả năng của các thuật toán lập lịch trình tối ưu lập bản đồ công việc với các nguồn lực.
4. Kiến trúc
Nimrod-G và resource broker được phát triển các dịch vụ leveraging (tận dụng) được cung cấp bởi hệ thống mạng lưới middleware như Globus, Legion, Condeor/G và cơ cấu trao đổi GRACE. Những hệ thống middleware cung cấp tập các giao thức ở mức độ thấp để truy cập từ xa được an toàn và thống nhất, các dịch vụ truy cập thông tin tài nguyên và quản lý việc lưu trữ. Các mô-đun và lớp kiến trúc của Nimrod-G sẽ được hiển thị trong hình 3.3.
Hình 15 - Kiến trúc Nimrod-G
Hình 3.3: Một lớp với kiến trúc hình dạng đồng hồ cát của hệ thống Nimrod-G Các thành phần chính của Nimrod-G resource broker bao gồm:
- Nimrod-G client, có thể là:
o Công cụ để tạo ra các ứng dụng quét tham số.
o Chỉ đạo và điều khiển theo dõi
o Các ứng dụng người dùng cuối được tùy chỉnh (ví dụ, ActiveSheets [20]).
o engine task farming
o scheduler thực hiện phát hiện tài nguyên, việc trao đổi , và lập lịch,
o cơ chế điều phối
o nhân tố quản lý thực hiện các công việc về tài nguyên.
Kiến trúc Nimrod-G broker thúc đẩy các dịch vụ được cung cấp bởi trung cấp dưới lưới khác nhau
5. Nimrod-G Grid Resource Broker
Nimrod-G Resource broker chịu trách nhiệm phân tích các yêu cầu cụ thể tại những tác nhân trên lưới và phát hiện tài nguyên, lập lịch trình, điều phối tác vụ cho các nút Grid từ xa, bắt đầu và quản lý thực hiện công việc, và thu thập kết quả lại cho các nút chủ. Các mô-đun của resource broker là, task farming engine, lịch trình bao gồm một Grid explorer cho việc phát hiện tài nguyên, một schedule advisor phía sau với các giải thuật lập lịch, và một quản lý trao đổi tài nguyên, điều phối và cơ chế triển khai các điểm trên tài nguyên lưới, các điểm này dùng để quản lý việc thực thi các tác vụ Nimrod-G trên tài nguyên lưới. Các phần giao giữa các thành phần của hệ máy thời gian thực Nimrod-G và các dịch vụ Grid trong thời gian thực thi được thể hiện trong hình 3.4.
Hình 16 - Luồng thao tác trong môi trường Nimrod-G runtime
5.1. Task Farming Engine (TFE)
Nimrod-G task farming engine quản lý các tác vụ liên tục và có thể lập trình được, có nghĩa là nó quản và điều khiển các thử nghiệm, bao gồm dữ liệu để cung cấp sự liên tục được truy xuất thông qua một giao diện quản lý. Farming engine chịu trách nhiệm tạo ra các tác vụ thật sự, duy trì trạng thái của tác vụ, cung cấp phương tiện cho các phần giao giữa client , scheduler advisor, và sự điều phối. TFE quản lý các thực nghiệm dưới sự điều hướng của phần hỗ trợ lập lịch, và sau đó hướng dẫn việc điếu phối để phân bổ công việc của ứng cho việc chọn tài nguyên
TFE duy trì trạng thái của toàn bộ thử nghiệm và đảm bảo rằng nó được ghi lại , lưu trữ liên tục. Điều này cho phép thử nghiệm được khởi động lại nếu nút gốc bị lỗi. TFE cho thấy nhiều giao diện cho việc quản lý tác vụ, tài nguyên, và nhiệm vụ. Theo đó, việc lập lịch trình có thể sử dụng giao diện để thực thi các lịch khác mà không cần quan tâm đến sự phức tạp của các cơ chế cấp thực thi từ xa. Khả năng lập trình của task farming engine cho phép gắn các lịch làm việc được định nghĩa bởi người sử dụng và tùy chỉnh các client hoặc môi trường giải quyết vấn đề ở các thành phần mặc định. Task farming engine là một điểm điều phối cho quá trình
thực hiện giao dịch tài nguyên, lập kế hoạch, sự tổ chức thực thi và dữ liệu, thực hiện từ xa, và đối chiếu kết quả.
5.2. The scheduler
Scheduler chịu trách nhiệm tìm tài nguyên, trao đổi tài nguyên, lựa chọn tài nguyên và phân công tác vụ. Thuật toán tìm tài nguyên giao tiếp với dịch vụ thông tin (MDS trên Globus), xác định danh sách sác máy hiện có và được chứng thực, giao dịch chi phí trao đổi tài nguyên, theo dõi thông tin trạng thái của tài nguyên. Giải thuật lựa chọn tài nguyên lựa chọn tài nguyên đáp ứng đúng thời hạn và hạn chế ngân sách cùng với việc tối ưu hóa yêu cầu. Nimrod-G kết hợp các thuật toán khác
5.3. Bộ phận điều phối và cơ chế truy cập
Bộ phận điều phối kích hoạt các cơ chế truy cập thích hợp để triển khai các điểm trên tài nguyên lưới và chỉ định một trong những công việc ánh xạ tài nguyên để thực hiện. Mặc dù hỗ trợ lập lập tạo ra một lịch trình cho toàn bộ thời gian dựa trên yêu cầu người sử dụng, điều phối triển khai các công việc về tài nguyên định kỳ tùy thuộc vào tải và số lượng của CPU có sẵn.
5.4. Agent (Tác nhân)
Tác nhân Nimrod-G được triển khai trên tài nguyên lưới tự động trong thời gian thực thi phụ thuộc vào hướng dẫn của lịch trình. Tác nhân được gửi như là một tác vụ đến các máy chủ xử lý tài nguyên (ví dụ, GRAM gatekeeper trong trường hợp của tài nguyên chạy Globus gram), sau đó trình quản lý tài nguyên địa phương (quản lý ngã ba trong trường hợp thời gian chia sẻ tài nguyên, hệ thống hàng đợi trong trường hợp không gian chia sẻ tài nguyên) để bắt đầu việc thực thi của nó. Tác nhân chịu trách nhiệm thiết lập môi trường thực hiện trên nguồn tài nguyên cho một tác vụ người dùng. Nó chịu trách nhiệm vận chuyển mã và dữ liệu vào máy tính, bắt đầu thực hiện nhiệm vụ trên các nguồn tài nguyên được giao và gửi kết quả lại cho các TFE. Kể từ khi tác nhân hoạt động trên "phía bên kia" của các thành phần môi giới quản lý tài nguyên, nó
cần phải cung cấp phát hiện lỗi cho tác vụ của người sử dụng, gửi thông tintrạng thái các tác vụ đầu cuối ngược lại cho TFE.
Các tác nhân Nimrod-G cũng ghi lại số lượng tài nguyên tiêu thụ trong quá trình thực hiện tác vụ, chẳng hạn như thời gian của CPU. Đo lường trực tuyến của số lượng tài nguyên tiêu thụ bởi tác vụ trong quá trình thực hiện của nó sẽ giúp lên lịch đánh giá hiệu suất tài nguyên và thay đổi lịch trình phù hợp.Thông thường, chỉ có một loại tác nhân cho tất cả các cơ chế, không phân biệt cho dù là các nút ngã ba hoặc hàng đợi. Tuy nhiên, tác nhân khác nhau được yêu cầu cho hệ thống môi giới khác nhau.
6. Lập kế hoạch và bài toán tính kinh tế
Sự tích hợp các phương pháp tính toán kinh tế như là một phần của một hệ thống lập kế hoạch, ảnh hưởng rất lớn phương pháp tính tài nguyên được chọn để đáp ứng các yêu cầu của người dùng. Người sử dụng nên gửi trình ứng dụng của họ cùng với yêu cầu của họ đén một hệ thống lập kế hoạch như Nimrod-G, có thể xử lý các ứng dụng trên lưới thay cho người sử dụng và cố gắng hoàn thành công việc được giao trong một thời hạn và chi phí nhất định. Thời hạn là thời gian người dùng yêu cầu kết quả, và thường được áp đặt bởi các yếu tố bên ngoài như lịch trình sản xuất, thời hạn nghiên cứu.
Để đi đến một quyết định lập kế hoạch, hệ thống lập kế hoạch cần phải có các thông số khác nhau để xem xét bao gồm những điều sau đây:
- Cấu hình và kiến trúc tài nguyên
- Khả năng tài nguyên (đồng hồ tốc độ, kích thước bộ nhớ)
- Tình trạng tài nguyên (chẳng hạn như tải CPU, bộ nhớ có sẵn, không gian lưu trữ còn trống)
- Các yêu cầu tài nguyên của ứng dụng
- Tốc độ truy cập (chẳng hạn như tốc độ truy cập đĩa) - Các nút đang trống hoặc đang sẵn sàng
- Độ ưu tiên (mà người sử dụng có) - Kích thước và loại hàng đợi
- Băng thông mạng, tải, và độ trễ (nếu công việc cần giao tiếp) - Độ tin cậy của tài nguyên và kết nối
- Chế độ ưu tiên người dung - Thời hạn của ứng dụng
- Năng lực tài / Sẵn sàng trả tiền cho sử dụng tài nguyên - Chi phí tài nguyên
- Sự khác nhau về chi phí tài nguyên theo quy mô thời gian - Thông tin lịch sử, bao gồm việc dánh giá sự tiêu thụ tác vụ