KHẢO SÁT ỨNG DỤNG VÀ ĐỀ XUẤT MỘT KIẾN TRÚC HỆ THỐNG LƯỚ

Một phần của tài liệu PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN CÓ LƯỢNG DỮ LIỆU LỚN TRONG GRID COMPUTING (Trang 38)

II. Tính toán hiệu suất

KHẢO SÁT ỨNG DỤNG VÀ ĐỀ XUẤT MỘT KIẾN TRÚC HỆ THỐNG LƯỚ

I. Xác định ý tưởng

Như đã trình bày ở các chương trước, lĩnh vực Tính toán lưới rất rộng và rất đa dạng. Tùy nhu cầu và qui mô của ứng dụng mà ta lựa chọn các nền tảng công nghệ khác nhau, các thành phần khác nhau để xây dựng nên hệ thống Tính toán Lưới. Trong phạm vi và điều kiện báo cáo chỉ có thể nêu ra một khảo sát ứng dụng đơn giản, phù hợp với môi trường thực tế. Các điều kiện giả thiết về môi trường triển khai đặt ra là:

• Phù hợp với qui mô doanh nghiệp vừa và nhỏ.

• Các máy tính trong hệ thống chủ yếu là máy tính để bàn sử dụng hệ điều hành Windows (WindowsXP, WindowsNT...).

• Có thể tận dụng các tài nguyên máy tính để thực hiện các ứng dụng đã có.

• Không yêu cầu quản lý phức tạp và an ninh cao.

Từ việc xác định qui mô như vậy, sau khi nghiên cứu khảo sát các hệ thống, các thành phần được dùng để xây dựng Lưới. Ta nên chọn các thành phần và công nghệ sau:

• Hệ thống lập lịch, phân phối công việc: Condor

• Giao diện tương tác với hệ thống Lưới: ứng dụng Web-based

• Ngôn ngữ phát triển ứng dụng có thể là: Java II. Đề xuất xây dựng kiến trúc hệ thống tính toán lưới

1. Mô hình kiến trúc cần có

Mô hình hệ thống cần thiết để triển khai

Grid Manager: là hệ thống quản lý các thông tin tài nguyên tính toán khác được cài đặt trong hệ thống. Làm nhiệm vụ phân việc cho các tài nguyên tính toán.

Web Server: web server làm nhiệm vụ là giao diện để giúp người dùng tương tác với hệ thống thông qua môi trường web (còn gọi là portal).

Grid node: là các tài nguyên tính toán có hỗ trợ grid. Các máy này có thể là các Server hoặc là máy desktop thông thường. Các máy này thông báo tình trạng của nó và nhận thực hiện các công việc được phân phối.

Web client: người dùng từ các máy tính nối mạng trong hệ thống đều có thể sử dụng dịch vụ được tính toán trên nền Tính toán lưới thông qua kết nối đến Web Server (sử dụng các web browser thông dụng như Internet Explorer, FireFox,…).

2. Condor

Condor là một hệ thống lập lịch, quản lý công việc. Mục tiêu thường được để cập đến nhiều nhất của Condor là tận dụng các tài nguyên rảnh rổi để thực hiện các công việc tính toán. Tuy nhiên cũng có thể cấu hình Condor để nó hoạt động mà không cần đợi tài nguyên rảnh.

Khi hoạt động dưới chế độ tận dụng thời gian rảnh, Condor theo dõi hoạt động của tài nguyên (máy tính). Nếu tài nguyên được rảnh (ví dụ: thông qua việc kiểm tra thao tác bàn phím, chuột không hoạt động trong một thời gian dài, hoặc hiệu suất CPU hoạt động dưới 5%...) thì Condor sử dụng tài nguyên đó để nạp các công việc (job) của nó vào thực hiện. Trong quá trình đang thực hiện, nếu máy tính được tái sử dụng (ví dụ: người dùng quay lại sử dụng máy tính...) thì Condor có thể có các hành động sau (tuỳ thuộc vào cấu hình):

• Đánh dấu công việc, ghi nhận lại trạng thái công việc và chuyển công việc dở dang sang máy tính khác. Việc này chỉ thực hiện khi hệ thống có hỗ trợ việc đánh dấu (checkpoint). Hệ điều hành Windows không cho phép khả năng này. Khi đó hoặc:

o Condor tiếp tục chiếm dụng tài nguyên để hoàn tất công việc. o Condor ngưng công việc và khởi động lại công việc từ đầu (ở máy

tính khác hoặc lần khác).

Việc quản lý Condor là ngang hàng và mỗi dịch vụ cài trên từng máy tính được cấu hình độc lập với nhau phụ thuộc vào người sở hữu máy tính đó.

Các máy tính cài đặt Condor trong mạng được liên kết với nhau thông qua một Condor Manager và tạo thành một pool. Các công việc (job) được đăng ký lên sẽ được quản lý trong pool và phân phối cho các máy tính khác nhau hoạt động.

Các máy tính cài đặt condor sẽ thông báo về trạng thái của nó định kỳ (thông tin về cấu hình máy, tình trạng sử dụng tài nguyên).

Việc tìm kiếm các tài nguyên phù hợp để thực thi các công việc thông qua việc truy vấn tập trung (truy vấn thông qua Condor Manager).

Khi một công việc được đăng ký lên thì nó được kèm với một số các thông tin yêu cầu để chạy ứng dụng đó, ví dụ hệ điều hành, tốc độ CPU, dung lượng ổ đĩa cứng. Hệ thống lập lịch sẽ truy vấn tìm ra tài nguyên phù hợp để thực hiện công việc này.

và các ràng buộc khi thực thi công việc trên nó, ví dụ: thời gian thực thi dung lượng đĩa cứng chiếm dụng... nếu công việc thực thi vi phạm các ràng buộc này thì công việc sẽ bị loại bỏ.

Khi công việc hoàn tất (hoặc thất bại), condor cung cấp cơ chế thông báo cho người đăng ký công việc thông qua email hoặc ghi nhận log. Condor cũng cung cấp các công cụ giám sát để người dùng theo dõi tình trạng hoạt động của các máy tính trong hệ thống, của các công việc đang thực thi.

3. Web Server

Giao diện giao tiếp do Condor đưa ra là giao diện thông qua command line vì vậy rất khó cho người sử dụng không chuyên nghiệp (tuy nhiên vì Condor trước nay được ứng dụng trong các hệ thống nghiên cứu khoa học nên vấn đề này không phải là vấn đề lớn). Để làm giảm bớt sự phức tạp trong sử dụng, đồng thời cung cấp các dịch vụ cụ thể, rõ ràng. Thông qua giao diện Web người dùng khi sử dụng hệ thống không cần quan tâm đến kiến trúc bên dưới mà chỉ thao tác thông qua các giao diện web đã cung cấp và nhận kết quả trả về. Ứng dụng web sẽ đảm nhận các thao tác với hệ thống Condor và thu thập kết quả chuyển lại cho người dùng thông qua giao diện web

• Người dùng thao tác trên hệ thống thông qua Web Server.

• Web Server thao tác với các hệ thống bên dưới như đăng ký công việc, giám sát quá trình thực hiện công việc, thu thập kết quả trả về.

Một phần của tài liệu PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN CÓ LƯỢNG DỮ LIỆU LỚN TRONG GRID COMPUTING (Trang 38)

Tải bản đầy đủ (DOCX)

(43 trang)
w