Chương 2. Tổng quan về công nghệ Grid Computing chức, ở nhiều nơi khác nhau. Một số tài nguyên có thể được sử dụng tự do, trong khi một số khác được sử dụng dưới những chính sách nhất định. Các tài nguyên được “ảo hóa” (virtualize) để che dấu sự phức tạp, đa dạng nhằm đưa ra một cái nhìn thống nhất, đơn giản về toàn bộ tài nguyên trên Grid sao cho dưới mắt của người dùng, các tài nguyên Grid là một khối thống nhất. Hình 2-1 minh hoạ ý tưởng này. Hình 2-1 Tài nguyên Grid dưới quan...
Chương Tổng quan công nghệ Grid Computing chức, nhiều nơi khác Một số tài nguyên sử dụng tự do, số khác sử dụng sách định Các tài nguyên “ảo hóa” (virtualize) để che dấu phức tạp, đa dạng nhằm đưa nhìn thống nhất, đơn giản tồn tài ngun Grid cho mắt người dùng, tài nguyên Grid khối thống Hình 2-1 minh hoạ ý tưởng Hình 2-1 Tài nguyên Grid quan điểm người dùng, khối thống có nhờ ảo hố Các tài ngun ảo tổ chức lại thành “tổ chức ảo”, đến lượt nó, tổ chức ảo lại thực chia sẻ tài nguyên để hình thành Grid lớn hơn, tạo thành kho tài nguyên khổng lồ 2.2 Phân loại Grid & Grid Topology 2.2.1 Các kiểu Grid Cơng nghệ Grid Computing sử dụng theo nhiều cách khác để giải loại yêu cầu ứng dụng Thông thường Grid phân loại kiểu ứng dụng cần giải Có loại Grid trình bày Tuy nhiên khơng có ranh giới phân biệt rõ ràng loại Grid thực tế, giải pháp Grid thường kết hợp hay nhiều loại khác -9- Chương Tổng quan công nghệ Grid Computing 2.2.1.1 Grid Tính tốn (Computation Grid) Loại Grid tập trung chủ yếu vào việc sử dụng lực tính toán Ở dạng Grid này, phần lớn node máy tính hay nhóm máy tính(cluster) có lực xử lý, tính tốn lớn Hình thức thực chia tác vụ tính tốn lớn thành nhiều công việc nhỏ thực thi song song node Grid Việc phân tán tác vụ tính tốn Grid làm giảm đáng kể toàn thời gian xử lý tăng khả tận dụng hệ thống Thơng thường hệ thống chia khối liệu cần xử lý thành phần nhỏ, sau phân phối đến node Grid Mỗi node thực xử lý liệu trả kết hệ thống để hệ tổng hợp trình diễn kết tồn cục cho người dùng Hình 2-2 minh họa trình Hình 2-2 Hình thức hoạt động Grid Tính tốn 2.2.1.2 Grid Dữ liệu (Data Grid) Ở đây, không gian lưu trữ tài nguyên Một Grid Dữ liệu chịu trách nhiệm lưu trữ cung cấp khả truy cập liệu cho nhiều tổ chức khác Người dùng không cần biết xác vị trí liệu thao tác với liệu Các sở liệu, đặc biệt sở liệu liên hợp, đóng vai trò quan trọng Grid Dữ liệu, có nhiều nguồn liệu xuất nhu cầu kết hợp thông tin từ nguồn liệu - 10 - Chương Tổng quan cơng nghệ Grid Computing Các Grid Dữ liệu sử dụng lĩnh vực khai thác liệu(data mining) hệ thống thương mại thông minh Trong trường hợp này, khơng có hệ thống file hay sở liệu mà toàn liệu tổ chức cần tập hợp lại Ở phải kết hợp Grid Dữ liệu Grid Tính tốn 2.2.1.3 Scavenging Grid Một Scavenging Grid thường dùng với lượng lớn máy tính để bàn Các máy tính thường kiểm tra định kỳ để xem xử lý tài nguyên khác rảnh rỗi để thực tác vụ Grid Chủ nhân máy để bàn thường có quyền xác định chia sẻ máy 2.2.2 Đồ hình Grid (Grid Topology) Grid xây dựng theo nhiều kích cỡ khác nhau, từ nhóm vài máy tính đặt phịng ban đến hàng trăm nhóm máy tính tổ chức theo kiểu phân cấp trải rộng khắp giới Đồ hình Grid đơn giản SimpleGrid, bao gồm số máy tính đồng vị trí Độ phức tạp đồ hình Grid tương ứng với số lượng tổ chức tham gia Grid ràng buộc địa lý Phần giới thiệu sơ nét số đồ hình Grid Hình 2-3 cho thấy độ lớn đồ hình Grid Hình 2-3 Các đồ hình Grid - 11 - Chương Tổng quan cơng nghệ Grid Computing 2.2.2.1 SimpleGrid Hình 2-4 Đồ hình SimpleGrid Như hình 2-4, SimpleGrid bao gồm vài máy tính, tất có kiến trúc phần cứng, chạy hệ điều hành, kết nối vào mạng cục Dạng Grid sử dụng hệ thống đồng nên phức tạp, thường dùng để thử nghiệm, làm quen với phần mềm Grid Các máy tính thuộc phịng ban tổ chức nên việc sử dụng chúng cho Grid khơng cần sách đặc biệt quản lý bảo mật Các máy tính chạy hệ điều hành, kiến trúc phần cứng nên việc chọn phần mềm ứng dụng đơn giản, dễ dàng Đồ hình khiến người ta liên tưởng đến cluster Grid - 12 - Chương Tổng quan cơng nghệ Grid Computing 2.2.2.2 IntraGrid Hình 2-5 mơ tả Intra Grid Hình 2-5 Đồ hình IntraGrid Mở rộng chút so với SimpleGrid IntraGrid Lúc xuất hệ thống không đồng nhất, nhiều loại tài nguyên Grid Sử dụng sách bảo mật, sử dụng mạng nội để kết nối hệ thống Grid đặc tính quan trọng đồ hình Hệ thống Grid cần có module lập lịch Việc chia sẻ file sử dụng hệ thống file mạng (network filesytem) Các máy tính tham gia Grid thuộc nhiều phòng ban khác tổ chức Khi Grid mở rộng nhiều phòng ban, sách cách sử dụng Grid cần phải xác lập áp dụng Ví dụ: cần phải có sách quy định cơng việc thực Grid, vào thời điểm nào; độ ưu tiên phịng ban,… Bên cạnh vấn đề bảo mật cần quan tâm, liệu nhạy cảm phòng ban cần bảo vệ khỏi truy cập từ công việc phịng ban khác Các máy tính dành riêng cho Grid bắt đầu đưa vào để làm tăng chất lượng dịch vụ Grid, thay phải trơng chờ vào tài nguyên rảnh rỗi - 13 - Chương Tổng quan công nghệ Grid Computing 2.2.2.3 ExtraGrid Vẫn tổ chức, ExtraGrid kết hợp hay nhiều IntraGrid Như hình 2-6, ExtraGrid liên quan đến nhiều vùng quản lý khác nhau, phân tán theo địa lý, sử dụng kết nối truy cập từ xa hay WAN, độ phức tạp quản lý tăng lên nhiều Đối với ExtraGrid, tài nguyên mang tính động hơn, Grid cần phải linh động việc quản lý tài nguyên, cần có chế kiểm sốt phục hồi lỗi Cần có dịch vụ cung cấp thơng tin (information service) để tìm kiếm tài nguyên Hình 2-6 Đồ hình ExtraGrid 2.2.2.4 InterGrid Theo thời gian, Grid mở rộng khỏi tổ chức bắt đầu liên kết nhiều tổ chức với nhau, dùng để phối hợp tổ chức dự án lớn Một InterGrid đòi hỏi việc liên kết động ứng dụng, tài nguyên dịch vụ Khách hàng hay tổ chức hợp lệ khác truy cập Grid thông qua kết nối Internet WAN Trong dạng Grid này, cấp độ bảo mật cao cần áp dụng để ngăn ngừa khả bị công gián điệp InterGrid cung cấp khả trao đổi, mua bán, tìm kiếm tài nguyên mức tồn cầu Các tài ngun mua từ nhà cung cấp tin cậy Hình 2-7 minh hoạ InterGrid - 14 - Chương Tổng quan cơng nghệ Grid Computing Hình 2-7 Các minh họa đồ hình InterGrid 2.3 Các thách thức, yêu cầu công nghệ Grid 2.3.1 Quản lý tài nguyên (Resource Management) Mục tiêu công nghệ Grid Computing chia sẻ, phối hợp, sử dụng hiệu nhiều loại tài nguyên đến từ nhiều nguồn khác Để thực điều đó, cần phải giải thách thức yêu cầu sau đây: Tài nguyên thuộc nhiều vùng quản trị khác Các tài nguyên Grid phân tán theo địa lý qua nhiều vùng quản trị sở hữu quản lý nhiều tổ chức khác Không thể chờ đợi thống chung sách sử dụng, chia sẻ, bảo mật tổ chức Grid cần phải tôn trọng, tương thích với sách quản trị sử dụng tài nguyên cục Cần có chế chia sẻ có tính mềm dẻo cao, từ mơ hình client-server đến peer-to-peer để kiểm sốt chi tiết, xác cách sử dụng tài nguyên chia sẻ, bao gồm kiểm soát truy cập, ủy quyền, áp dụng sách cục tồn cục; để chia sẻ nhiều loại tài nguyên khác từ chương trình, file, liệu đến máy tính, sensor,…; cho nhiều phương thức sử dụng khác từ đơn người dùng đến đa người dùng, từ hướng hiệu suất đến hướng chi phí, từ đưa mơ hình chất lượng dịch vụ, lập lịch, phối hợp cấp phát tài ngun tốn chi phí - 15 - Chương Tổng quan cơng nghệ Grid Computing Cần có chế dàn xếp việc chia sẻ tài nguyên bên tham gia (bên cung cấp bên sử dụng) hợp lý Việc chia sẻ phải quản lý chặt chẽ đặc tả rõ ràng bên cung cấp sử dụng chia sẻ, phép chia sẻ, điều kiện việc chia sẻ thực Tài nguyên đa dạng, hỗn tạp Grid phải quản lý nhiều tài nguyên không đồng chất, sử dụng nhiều công nghệ, hệ thống quản lý tài nguyên cục khác Ngay có site sử dụng công nghệ, hệ quản lý tài ngun cục có cấu hình khác dẫn đến có chức khác Dưới bảng đặc tính đối tượng cần quản lý cho thấy phức tạp quản lý tài nguyên: STT Đối Tượng Đặc tính Người dùng, Người Phân tán theo địa lý cung cấp Tài nguyên Đa dạng, phân tán theo địa lý, thuộc nhiều vùng quản trị, sở hữu khác Tính sẵn sàng Thay đổi theo thời gian khả tài nguyên Các sách Đa dạng không tập trung, nhà cung cấp người chiến lược sử dụng dùng có mục tiêu chiến lược chia sẻ, sử dụng khác Yêu cầu chất lượng Đa dạng dịch vụ Chi phí/Giá Thay đổi tuỳ theo tài nguyên, người dùng, thời gian Yêu cầu ứng Đa dạng tốc độ xử lý, nhớ, đòi hỏi lực dụng lưu trữ, lực mạng Bảng 2-1 Các đặc tính tài nguyên Việc tồn tài nguyên Grid thay đổi theo thời gian Trong Grid, tài nguyên xuất biến mà khơng báo trước nhiều nguyên khác lỗi hệ thống, lỗi mạng, sách chia sẻ nhà cung cấp,…Đây thách thức lớn để đảm bảo tính tin cậy - 16 - Chương Tổng quan công nghệ Grid Computing hệ thống Cần có chế tìm kiếm, xác định tài nguyên, phát phục hồi lỗi Vấn đề phối hợp cấp phát tài nguyên Các ứng dụng có nhiều địi hỏi tài ngun mà đáp ứng cách sử dụng song song tài nguyên nhiều site khác Các sách quản trị cục site với khả bị lỗi q trình cấp phát tài ngun địi hỏi phải có chế đặc biệt để phối hợp cấp phát nhiều tài nguyên, khởi tạo trình tính tốn, theo dõi, quản lý chúng tài nguyên Vấn đề điều khiển trực tuyến, theo thời gian thực (online) Cần có chế cho phép thoả thuận sử dụng tài nguyên thời gian thực thi để đáp ứng nhu cầu ứng dụng, trường hợp yêu cầu tính chất tài nguyên thay đổi trình thực thi 2.3.2 Bảo mật (Security) Các hệ thống Grid cần phải cung cấp đầy đủ chức bảo mật truyền thống chứng thực, phân quyền, bảo vệ thông điệp, toàn vẹn liệu, … cần đáp ứng yêu cầu sau: Đăng nhập lần (Single sign-on) Một tính tốn đơn giản cần phải sử dụng nhiều tài nguyên khác nhau, lần truy xuất tài nguyên lại cần phải chứng thực người dùng điều không thực tế khơng thể chấp nhận Thay vào đó, hệ thống Grid cần có chế cho phép người dùng cần chứng thực lần mà sử dụng nhiều tài nguyên khác Cho phép ủy quyền Đây yêu cầu quan trọng, để thực yêu cầu “đăng nhập lần” cần phải có uỷ quyền Người dùng cần có khả uỷ quyền cho chương trình sử dụng quyền mình, để chương trình truy cập đến tài nguyên phép khác người dùng Và chương trình, đến lượt cần có khả ủy quyền cho chương trình khác Có khả tích hợp với sách bảo mật cục - 17 - Chương Tổng quan công nghệ Grid Computing Mỗi site nhà cung cấp tài ngun có sách bảo mật riêng Do đó, giải pháp bảo mật Grid cần phải liên kết với giải pháp cục bộ, khơng thay tồn giải pháp mà cho phép kế thừa, sử dụng lại Sử dụng quan hệ tin cậy lẫn dựa theo người dùng Để cho phép người dùng sử dụng kết hợp tài nguyên từ nhiều nhà cung cấp khác nhau, hệ thống bảo mật không yêu cầu nhà cung cấp phải hợp tác, liên lạc với để thiết lập mơi trường bảo mật Ví dụ, người dùng có quyền sử dụng site A B, người dùng sử dụng kết hợp site A, B lúc mà không cần chuyên gia bảo mật site A, B liên lạc với Hỗ trợ bảo mật liên lạc nhóm Một q trình tính tốn cấu thành từ nhiều tiến trình khác nhau, tiến trình cần phải liên lạc với theo nhóm Các nhóm thay đổi suốt q trình tính tốn Grid cần có giải pháp để thực bảo mật cho nhóm Đảm bảo tính riêng tư Một khả Grid cho phép xử lý liệu máy tính xa Từ nảy sinh vấn đề cần bảo vệ tính riêng tư liệu, cho người dùng hay nhà quản trị máy tính xa khơng thể xâm nhập, sử dụng liệu xử lý máy tính Cho phép có nhiều cài đặt khác Các giải pháp bảo mật không nên tập trung vào cài đặt cụ thể mà nên cài đặt theo nhiều công nghệ khác dựa tảng chung Điều đảm bảo tính tương thích với nhiều hệ thống khác Ghi chú: Các giải pháp bảo mật Grid nên cung cấp hỗ trợ mềm dẻo cho cơng tác bảo vệ liên lạc (ví dụ điều khiển mức độ bảo vệ, bảo vệ gói liệu protocol khơng đảm bảo tính tin cậy (UDP), hỗ trợ protocol vận chuyển tin cậy khác TCP,…) cho phép nhà cung cấp định phân quyền hạn chế ủy quyền theo nhiều cách khác - 18 - Chương Tổng quan công nghệ Grid Computing 2.3.3 Quản lý thơng tin ¾ Hệ thống thơng tin Grid cần có chế hỗ trợ việc truy cập, tìm kiếm thơng tin loại hệ thống Grid cách nhanh chóng, xác Cần có chức để xác định đặc tính phần cứng, phần mềm thông tin trạng thái tải trạng thái hàng đợi trường hợp tài nguyên lập lịch sử dụng có chế cung cấp thông tin gần theo thời gian thực ¾ Hệ thống thơng tin cần hỗ trợ theo dõi thông tin lượng lớn thành phần, cho phép nhiều loại thực thể truy cập, tìm kiếm thơng tin giảm thiểu chi phí cơng sức tài ngun cần thiết để tạo lập, cập nhật thông tin site lẫn tồn Grid ¾ Một mục tiêu hệ thống thông tin đơn giản hố việc tìm kiếm thơng tin để định sử dụng tài ngun thích hợp, hệ thống thông tin cần phải xây dựng theo mô hình liệu đơn (uniform), cung cấp giao diện chung để truy xuất nhiều thông tin khác nhau, ¾ Mơ hình quản lý thơng tin cần đủ bao quát để biểu diễn cấu trúc thông tin mơi trường tính tốn phân tán Một thách thức biểu diễn thuộc tính liên quan đến nhiều site lúc (ví dụ : băng thơng liên lạc site) ¾ Do tài ngun Grid đa dạng, thêm bớt theo thời gian, khả tích hợp thêm thông tin vào hệ thống quan trọng Các hệ thống thơng tin Grid cần phải có khả ¾ Các hệ thống thơng tin Grid cần có khả phát sinh thơng tin từ nhiều nguồn khác để cung cấp thông tin tổng hợp hệ thống ¾ Đưa cách thức truy xuất mềm dẻo đến hệ thống thông tin, người dùng cần có khả đọc, cập nhật với khả tìm kiếm, định vị thơng tin ¾ Hệ thống thơng tin hữu dụng triển khai rộng rãi, cần có kỹ thuật cho phép cài đặt, triển khai, bảo trì dễ dàng site khác ¾ Cần có mơ hình quản lý thơng tin phân tán, nên cho phép uỷ quyền tạo lập quản lý thông tin tài nguyên cho site - 19 - Chương Tổng quan công nghệ Grid Computing 2.3.4 Quản lý liệu ¾ Cần có mơ hình quản lý liệu phân tán, cho phép kết hợp liệu từ nhiều nơi khác nhau, hệ thống quản lý liệu cần có chế quản lý cho che phức tạp liệu, cung cấp cho người dùng cách thức truy cập đơn giản, hiệu thông qua giao diện chung mà không cần biết đến vị trí liệu ¾ Cho phép xếp vị trí liệu có chế lập lịch truy xuất liệu tối ưu nhằm nâng cao hiệu suất Grid ¾ Cần có chế di chuyển liệu đến nơi xử lý mà không tạo hiệu ứng cổ chai hệ thống mạng vấn đề truy xuất liệu khác ¾ Cần có chế truyền file hiệu suất cao, đọc ghi loạt file chức chọn lựa, tinh giảm liệu từ xa, chế điều khiển việc cấp phát tài nguyên phục vụ truyền liệu (không gian, băng thông, CPU) 2.3.5 Phát triển ứng dụng Việc xây dựng Grid gặp khó khăn nhiều so với ứng dụng bình thường nay, cần phải đưa mơ hình, phương pháp giải vấn đề chia sẻ, chia nhỏ, phân tích, di chuyển , bảo mật, quản lý, liệu, đồng hoá tiến trình, cơng việc,… nhằm tận dụng tối đa khả hệ thống Cần xây dựng mơ hình, mơi trường lập trình, cơng cụ phát triển ứng dụng cho Grid nhằm đơn giản hóa việc phát triển ứng dụng, tạo điều kiện đưa công nghệ Grid Computing vào thực tế 2.3.6 Các vấn đề khác ¾ Khi kích cỡ Grid tăng lên, chi phí quản lý tăng theo, hiệu suất Grid giảm xuống, xây dựng cơng nghệ Grid cần tính tốn khả mở rộng hệ thống ¾ Cần có chế quản lý tiến trình để đặt chỗ trước tài nguyên, khởi động, kiểm sốt, điều khiển việc thực thi tiến trình - 20 - Chương Tổng quan công nghệ Grid Computing ¾ Về mã thực thi ứng dụng, dạng đặc biệt tài nguyên lưu trữ đòi hỏi chế để quản lý phiên mã nguồn mã thực thi đối tượng để đảm bảo tính tương thích ¾ Nguời dùng mong muốn dùng môi trường ảo Grid với chất lượng gần giống hệ thống cục Do đó, Grid cần phải cung cấp công cụ đơn giản để hỗ trợ người dùng để xác định dịch vụ, số lượng chất lượng (QoS ) chúng, chất lượng trường hợp liên quan đến khả truy cập dịch vụ cách nhanh chóng thơng qua giao diện hoàn hảo, hệ thống chứng thực thông minh đường truyền tốc độ cao ¾ Cần có hệ thống quản lý phân phối hợp lý nhu cầu người dùng với khả tài nguyên, theo dõi việc sử dụng dịch vụ, cung cấp dịch vụ cộng thêm khác quản lý tài nguyên cục bộ, quản lý hiệu suất, trạng thái tài nguyên, quản lý đăng nhập bảo mật ¾ Cần có giao diện chuẩn để chuyển yêu cầu người dùng khả tài nguyên thành ngôn ngữ tảng phần cứng, phần mềm tài nguyên phân tán nhằm mục đích phối hợp hoạt động 2.3.7 Các việc cần làm Các bước chung q trình thực hố Grid: Tích hợp thành phần phần cứng phần mềm đơn lẻ thành tài nguyên kết hợp thông qua hệ thống mạng Xây dựng triển khai + Middleware cấp thấp để cung cấp môi trường truy cập bảo mật suốt đến tài nguyên + Middleware cấp cao công cụ phục vụ kết hợp tài nguyên phân tán phát triển ứng dụng Phát triển tối ưu hoá ứng dụng phân tán để tận dụng khả tài nguyên sở hạ thầng - 21 - Chương Tổng quan cơng nghệ Grid Computing 2.4 Ích lợi & Ứng dụng Một số ích lợi sử dụng cơng nghệ Grid Computing Khai thác, tận dụng tài nguyên nhàn rỗi Hầu hết tổ chức có lượng lớn tài ngun tính tốn nhàn rỗi, máy tính cá nhân thường sử dụng hết 5% thời gian xử lý CPU, server thường “rảnh rỗi” Grid tối ưu sử dụng tài nguyên nhàn rỗi theo nhiều cách khác nhau, ví dụ, gửi cơng việc máy tính bận rộn đến máy khác rảnh rỗi để xử lý, phân nhỏ công việc gửi cơng việc đến máy tính nhàn rỗi khác cho xử lý song song,… Grid cho phép kết hợp nhiều không gian lưu trữ nhàn rỗi để tạo thành không gian lưu trữ lớn hơn, cấu hình để tăng hiệu suất, độ tin cậy so với máy đơn lẻ thông qua chế quản lý liệu Một chức Grid cân sử dụng tài nguyên tốt Một tổ chức thường gặp vấn đề không mong đợi hoạt động đòi hỏi thêm nhiều tài nguyên Với Grid, chuyển hoạt động đến tài nguyên nhàn rỗi khác, thêm tài nguyên cách dễ dàng, từ làm tăng khả chịu đựng hệ thống Grid quản lý nhiều loại tài nguyên, cho phép theo dõi tổng quan hoạt động sử dụng tài nguyên tổ chức lớn, hỗ trợ hoạch định chiến lược sử dụng tài nguyên Sử dụng CPU song song Khả sử dụng CPU song song đặc tính tuyệt vời Grid, việc hỗ trợ nhu cầu tính tốn nhà khoa học, sức mạnh tính tốn Grid cung cấp giúp giải tốn địi hỏi lực xử lý lớn ngành khác y dược, tính tốn tài chính, kinh tế, khai thác dầu hoả, dự báo thời tiết, công nghiệp vũ trụ, thiết kế sản phẩm, … nhiều lĩnh vực khác Cho phép hợp tác tồn giới Một đóng góp quan trọng cơng nghệ Grid Computing cho phép đơn giản hoá hợp tác chia sẻ, làm việc cộng đồng rộng lớn toàn giới Các cơng nghệ tính tốn phân tán trước cho phép hợp tác phạm vi nhỏ, Grid cho phép mở rộng phạm vi toàn - 22 - Chương Tổng quan công nghệ Grid Computing cầu đưa chuẩn quan trọng cho phép hệ thống không đồng dạng làm việc chung với để tạo nên hệ thống tính tốn ảo cung cấp nhiều dạng tài nguyên khác Cho phép chia sẻ, sử dụng tất loại tài nguyên Không cho phép chia sẻ chu kỳ tính tốn, liệu, Grid cho phép chia sẻ tất loại tài nguyên mà trước chưa chia sẻ, băng thông mạng, thiết bị đặc biệt, phần mềm, quyền, dịch vụ,… Ví dụ, người dùng muốn tăng băng thơng kết nối Intenet lên để thực ứng dụng khai thác liệu, ứng dụng gửi đến nhiều máy tính Grid có kết nối Internet riêng, từ băng thơng truy cập Internet tăng lên nhiều lần,… Tăng tính tin cậy cho hệ thống máy tính Hiện nay, hệ thống tính tốn sử dụng phần cứng chun dụng, đắt đỏ để tăng độ tin cậy Ví dụ, sử dụng “chip” có mạch dự phịng để phục hồi lỗi có cố phần cứng Một máy tính sử dụng vi xử lý đơi, cho phép “cắm nóng”, để có vi xử lý bị hỏng, thay khác mà không làm ngưng hoạt động hệ thống Các giải pháp làm tăng độ tin cậy hệ thống, nhiên với chi đắt phụ kiện kèm phải nhân lên Trong tương lai, hướng tiếp cận để giải vấn đề độ tin cậy dựa nhiều vào công nghệ phần mềm phần cứng đắt tiền Grid khởi đầu cho cơng nghệ Các hệ thống Grid thường rẻ phân tán theo địa lý, đó, có cố nguồn điện hay lỗi hệ thống khác vị trí, tồn phần cịn lại không bị ảnh hưởng Các phần mềm quản trị Grid có khả thực thi lại cơng việc node khác phát có lỗi hệ thống Nếu quan trọng nữa, hệ thống theo thời gian thực, nhiều dự phịng các cơng việc quan trọng chạy nhiều máy tính khác Grid để đảm bảo độ tin cậy tối đa Tăng khả quản trị hệ thống Mục tiêu ảo hoá tất tài nguyên cung cấp giao diện quản lý đơn hệ thống hỗn tạp đem lại hội để quản trị tốt sở - 23 - Chương Tổng quan công nghệ Grid Computing hạ tầng công nghệ thông tin lớn, phân tán Bên cạnh đó, tầm quản lý vĩ mơ, có nhiều dự án sử dụng sở hạ tầng công thông tin, Grid cho phép quản lý độ ưu tiên sử dụng tài nguyên dự án Trước đây, dự án thường chịu trách nhiệm quản lý số tài nguyên, thường xảy tình trạng tài nguyên dự án nhàn rỗi dự án khác gặp vấn đề, thiếu tài nguyên gặp kiện không lường trước Với tầm nhìn rộng Grid cung cấp, tình giải dễ dàng Trên giới thiệu số ích lợi sử dụng cơng nghệ Grid Computing, Grid cịn mang lại nhiều lợi ích khác mà khơng thể kể hết đây, tuỳ vào tình cụ thể mà đem lại lợi ích khác Vấn đề phải hiểu rõ chất Grid, sử dụng tốt công cụ nhằm khai khác tốt tình cụ thể Cơng nghệ Grid Computing ứng dụng toán khoa học lẫn thương mại: + Đòi hỏi lực xử lý lớn (High-performance computing), yêu cầu rút ngắn thời gian hoàn thành kết nhanh tốt + Hướng liệu, đòi hỏi phải thu thập, lưu trữ, phân tích lượng lớn liệu, mang tính phân tán + Cần hợp tác, chia sẻ cộng đồng 2.5 Các thành phần hệ thống sở hạ tầng Grid Một sở hạ tầng (infrastructure) công nghệ cho phép thực hoạt động mình, ví dụ hệ thống đường giao thông cho phép lại xe, hệ thống ngân hàng cho phép chuyển tiền nhanh chóng Để hữu dụng, sở hạ tầng cần phải triển khai rộng rãi, điều có nghĩa phải đơn giản có giá trị to lớn hai Do đó, sở hạ tầng Grid cần phải vừa đơn giản, vừa hỗ trợ nhiều dạng tài nguyên khác Phần giới thiệu tổng quan thành phần yếu môi trường Grid Tuỳ theo thiết kế cách sử dụng Grid, số thành phần - 24 - Chương Tổng quan công nghệ Grid Computing không cần thiết số trường hợp, kết hợp nhiều thành phần lại thành thành phần phức hợp Portal/Giao diện người dùng Truy cập thông tin Grid việc quan trọng, thành phần giao diện người dùng đảm nhiệm chức Giao diện người dùng thuộc dạng: + Giao diện cung cấp ứng dụng chạy người dùng + Giao diện cung cấp nhà quản trị Grid giống portal cho phép khả truy xuất đến ứng dụng tài Grid không gian ảo Một Grid portal đưa giao diện cho người dùng để chạy ứng dụng sử dụng tài nguyên dịch vụ Grid Giao diện kiểu portal giúp người dùng học cách sử dụng Grid Bảo mật Các máy tính Grid nối mạng chạy ứng dụng; chúng phải xử lý liệu nhạy cảm có giá trị lớn, thành phần bảo mật Grid quan trọng Ở mức sở, môi trường Grid phải có chế bảo mật Broker Khi chứng thực, người dùng thực thi ứng dụng Tùy thuộc vào ứng dụng thông số cung cấp người dùng, bước phải xác định tài nguyên thích hợp để sử dụng Việc đòi hỏi chức broker Bộ lập lịch (scheduler) Khi tài nguyên xác định cấp phát, bước lập lịch điều phối cơng việc chạy Cần có lập lịch để xác định node thực thi ứng dụng gửi công việc yêu cầu đến node Việc đơn giản lấy tài nguyên sẵn sàng hệ thống, thường liên quan đến hàng đợi công việc ưu tiên, quản lý tải, tìm kiếm tài nguyên đăng ký sử dụng, theo dõi tiến trình Nếu có tập cơng việc riêng lẻ, khơng phụ thuộc vào khơng cần lập lịch phức tạp Tuy nhiên, - 25 - Chương Tổng quan công nghệ Grid Computing muốn giữ chỗ tài nguyên đặc biệt hay chắn công việc chạy song song nên sử dụng lập lịch để phối hợp hoạt động công việc Lưu ý, cluster xem tài nguyên đơn lẻ, chúng có lập lịch riêng để quản lý node Một lập lịch cấp cao dùng để quản lý công việc cần thực cluster lập lịch cục cluster điều phối công việc cụ thể máy tính Thành phần quản lý liệu (Data management) Nếu liệu nào, bao gồm module thực thi ứng dụng, cần phải di chuyển cần phải có phương pháp an toàn, tin cậy để di chuyển file liệu qua lại node Grid Do đó, cần phải có thành phần Thành phần quản lý công việc tài nguyên (Job and resource management) Sau có tiện nghi trên, việc xây dựng dịch vụ hỗ trợ việc thực công việc thật môi trường Grid Để giải tác vụ nòng cốt khởi chạy ứng dụng với tài nguyên cụ thể, theo dõi trạng thái công việc, nhận kết quả, hệ thống Grid cần có thành phần quản lý công việc tài nguyên Các thành phần khác Cịn có nhiều thành phần khác để đưa vào môi trường Grid cần xem xét thiết kế cài đặt ứng dụng Ví dụ : Các tiện ích liên lạc tiến trình (Inter Process Communication) dịch vụ hỗ trợ tính tốn chi phí chi trả tiện ích yêu cầu nhiều Trên giới thiệu vắn tắt tổng quan thành phần môi trường Grid Tuỳ thuộc vào việc triển khai Grid yêu cầu ứng dụng, có nhiều cách khác để kết hợp thành phần lại với để tạo nên giải pháp Grid - 26 - Chương Tổng quan công nghệ Grid Computing 2.6 Kiến trúc Grid 2.6.1 Bản chất Kiến trúc Grid “Tổ chức ảo”(VO) đơn vị quan trọng hệ thống Grid Việc thiết lập, quản lý, khai thác quan hệ chia sẻ tài nguyên tổ chức ảo địi hỏi phải có kiến trúc hệ thống mới, kiến trúc Grid Kiến trúc Grid xây dựng dựa quan niệm “để VO hoạt động hiệu đòi hỏi phải thiết lập quan hệ chia sẻ với đơn vị tham gia tiềm nào” Để làm điều này, vấn đề “liên kết hoạt động” (interoperability) cần phải tập trung giải Trong môi trường mạng, “liên kết hoạt động” đồng nghĩa với việc sử dụng protocol chung Do đó, kiến trúc Grid kiến trúc protocol, với protocol xác định chế tảng để người dùng nhà cung cấp tài nguyên thương lượng, thiết lập, quản lý khai thác mối quan hệ chia sẻ tài nguyên Kiến trúc Grid phải kiến trúc dựa chuẩn, hướng mở, để dễ mở rộng, liên kết hoạt động tốt, có tính khả chuyển (portability) cao Các protocol chuẩn giúp định nghĩa service chuẩn, nhờ xây dựng service cao cấp cách dễ dàng Sau có kiến trúc Grid, việc xây dựng hàm API SDK để cung cấp công cụ cần thiết để phát triển ứng dụng chạy Grid Sở dĩ vấn đề “liên kết hoạt động” xem vấn đề mối quan hệ chia sẻ phải thiết lập bên tham gia khác sách, mơi trường khác tảng, ngôn ngữ, môi trường lập trình,…Nếu khơng có nó, thành viên VO thực sách chia sẻ song phương không chế sử dụng cho thành viên mở rộng cho thành viên khác Điều khiến cho việc thành lập VO động thực thành lập VO theo kiểu mà Cũng giống Web làm bùng nổ việc chia sẻ thông tin cách cung cấp protocol cú pháp chuẩn (HTTP HTML) dùng cho việc trao đổi thông tin, cần protocol cú pháp chuẩn để chia sẻ tài nguyên - 27 - Chương Tổng quan công nghệ Grid Computing Để giải vấn đề “liên kết hoạt động”, việc xây dựng protocol quan trọng Vì protocol xác định cách thành phần phân tán trao đổi với để đạt mục đích đó, xác định cấu trúc thơng tin cần thiết trình trao đổi Các VO thường hay thay đổi, nên chế xác định, chia sẻ sử dụng tài nguyên cần phải mềm dẻo, gọn nhẹ, để thỏa thuận chia sẻ tài nguyên thiết lập, thay đổi cách nhanh chóng Các chế chia sẻ không ảnh hưởng đến sách cục bộ, phải cho phép thành viên quản lý tài nguyên họ Vì protocol quy định việc giao tiếp thành viên khơng quy định thành viên phải nào, nên dùng protocol, sách cục giữ lại Do protocol cần đến Khi có protocol, việc xây dựng service cần thiết quan trọng, service cài đặt cụ thể protocol Việc xây dựng service phục vụ truy cập đến tài ngun tính tốn, liệu, tìm kiếm tài nguyên, lập lịch đồng hoá, chép liệu,… cho phép xây dựng service cao cấp cho ứng dụng đồng thời trừu tượng hoá chi tiết tài nguyên Cũng cần phải xây dựng API SDK, nhà phát triển ứng dụng cần phải có cơng cụ để hỗ trợ phát triển ứng dụng phức tạp môi trường Grid, người dùng phải có khả thực thi ứng dụng Sức mạnh, tính đắn ứng dụng, chi phí phát triển bảo trì mối quan tâm quan trọng Các API SDK giúp tăng tốc việc phát triển mã, cho phép chia sẻ mã, tăng tính khả chuyển cho ứng dụng Tất nhiên, API SDK hỗ trợ thêm thay protocol 2.6.2 Chi tiết Kiến trúc Grid tổng quát Sau gần 10 năm tập trung nghiên cứu, phát triển, tích luỹ kinh nghiệm, nhà phát triển cơng nghệ Grid có thống đáng kể kiến trúc Grid Một kiến trúc Grid chấp nhận nhiều đưa Ian Foster, phần giới thiệu kiến trúc Kiến trúc Grid, theo Ian Foster, kiến trúc phân tầng hình 2-8 Các thành phần tầng có chung đặc điểm, tính chất, xây dựng - 28 - Chương Tổng quan công nghệ Grid Computing từ tầng Các thành phần phân tầng dựa theo vai trò chúng hệ thống Grid Đây kiến trúc mở Kiến trúc quy định yêu cầu chung thiết kế triển khai với mục đích để tham khảo Việc xây dựng, cài đặt cụ thể tuỳ thuộc vào dự án, lĩnh vực ứng dụng Dưới chi tiết kiến trúc: Hình 2-8 Kiến trúc Grid tổng quát 2.6.2.1 Tầng Fabric Đây tầng thấp kiến trúc, đại diện cho thiết bị vật lý toàn tài nguyên Grid mà tổ chức, người dùng muốn chia sẻ, sử dụng Các tài nguyên tồn dạng vật lý máy tính, hệ thống lưu trữ, danh mục, tài nguyên mạng, loại sensor, thực thể logic - thực thể trừu tượng - đại diện cho tập tài nguyên vật lý, hệ thống file phân tán, cluster,… Trong trường hợp thực thể logic, việc triển khai liên quan đến protocol cục (ví dụ protocol phục vụ dạng truy cập NFS, protocol quản lý tài nguyên, tiến trình cluster,…) protocol khơng liên quan đến kiến trúc Grid Các thành phần tầng Fabric thực hoạt động cục tài nguyên cụ thể (vật lý lẫn logic) bước tiếp sau hoạt động chia sẻ tài nguyên tầng Do đó, có mối liên hệ phụ thuộc chặt chẽ chức tầng Fabric với hoạt động chia sẻ hỗ trợ Các chức - 29 - Chương Tổng quan công nghệ Grid Computing tầng Fabric mạnh, nhiều cho phép hoạt động chia sẻ phức tạp, phong phú Kinh nghiệm cho thấy, việc quản lý tài nguyên tầng phải có chế cung cấp thơng tin để xác cấu trúc, trạng thái, lực tài nguyên chế điều khiển chất lượng dịch vụ 2.6.2.2 Tầng Connectivity Tầng Connectivity định nghĩa protocol liên lạc chứng thực cần thiết cho giao dịch mạng đặc trưng Grid Các protocol liên lạc cho phép trao đổi liệu tài nguyên tầng Fabric Các protocol chứng thực xây dựng dịch vụ liên lạc nhằm cung cấp chế mã hóa, bảo mật, xác minh nhận dạng người dùng tài nguyên Việc liên lạc địi hỏi cơng việc vận chuyển, định tuyến, đặt tên Trong tương lai, việc liên lạc Grid cần protocol mới, nên xây dựng protocol có sẵn TCP/IP protocol stack, cụ thể tầng Network (IP ICMP), Transport (TCP,UDP) Application (DNS,OSPF,…) Về khía cạnh bảo mật tầng Connectivity, giải pháp phải dựa chuẩn bảo mật hành Cũng giống liên lạc, nhiều chuẩn bảo mật phát triển với Internet protocol áp dụng Việc chứng thực, phân quyền môi trường Grid phức tạp Các công nghệ bảo mật truyền thống chủ yếu tập trung bảo vệ giao dịch máy client server Trong Grid, việc phân biệt client/server khơng tồn tại, tài nguyên lúc server (khi nhận yêu cầu), lúc khác lại client (khi đề xuất yêu cầu đến tài nguyên khác) Do đó, giải pháp chứng thực cho môi trường VO nên đạt yêu cầu bảo mật Grid giới thiệu 2.6.2.3 Tầng Resource Tầng Resource dựa protocol liên lạc chứng thực tầng Connectivity để xây dựng protocol, API SDK nhằm hỗ trợ việc thương lượng, khởi tạo, theo dõi, điều khiển, tính tốn chi phí chi trả cho hoạt động chia sẻ tài nguyên riêng lẻ cách an toàn Bản cài đặt protocol - 30 - Chương Tổng quan công nghệ Grid Computing tầng Resource gọi chức tầng Fabric để truy cập điều khiển tài nguyên cục Các protocol tầng Resource tập trung toàn vào tài nguyên riêng lẻ, không quan tâm đến trạng thái toàn cục hoạt động tập tài nguyên phân tán Các protocol tầng Resource phân thành dạng sau: + Các protocol thơng tin Sử dụng để thu thập thông tin cấu trúc trạng thái tài nguyên ví dụ cấu hình tại, tải tại, sách sử dụng,… + Các protocol quản lý Sử dụng để thượng lượng truy xuất đến tài nguyên chia sẻ, xác định rõ, ví dụ, yêu cầu tài nguyên (bao gồm việc giữ chỗ tài nguyên chất lượng dịch vụ) thao tác cần thực tạo tiến trình, truy xuất liệu Do protocol quản lý chịu trách nhiệm đại diện cho quan hệ chia sẻ, đảm bảo hoạt động sử dụng tài nguyên phải phù hợp với sách chia sẻ tài ngun, bao gồm ln việc tính tốn chi trả chi phí Mỗi protocol nên hỗ trợ việc theo dõi trạng thái điều khiển hoạt động Với yêu cầu vậy, tập protocol tầng Resource (và Connectivity) nên nhỏ gọn tập trung Các protocol nên đáp ứng chế chia sẻ với nhiều loại tài nguyên khác (ví dụ, hệ thống quản lý tài nguyên cục khác nhau) đủ Các chức tầng Resource giống tầng Fabric cộng thêm nhiều ngữ nghĩa với chế báo lỗi tin cậy hoạt động không thành công 2.6.2.4 Tầng Collective Trong tầng Resource tập trung vào tài nguyên đơn lẻ, tầng Collective chứa protocol, service, API, SDK không liên hệ đến tài nguyên cụ - 31 - ... độ lớn đồ hình Grid Hình 2- 3 Các đồ hình Grid - 11 - Chương Tổng quan cơng nghệ Grid Computing 2. 2 .2. 1 SimpleGrid Hình 2- 4 Đồ hình SimpleGrid Như hình 2- 4 , SimpleGrid bao gồm vài máy tính, tất... tưởng đến cluster Grid - 12 - Chương Tổng quan cơng nghệ Grid Computing 2. 2 .2. 2 IntraGrid Hình 2- 5 mơ tả Intra Grid Hình 2- 5 Đồ hình IntraGrid Mở rộng chút so với SimpleGrid IntraGrid Lúc xuất hệ... Hình 2- 7 Các minh họa đồ hình InterGrid 2. 3 Các thách thức, yêu cầu công nghệ Grid 2. 3.1 Quản lý tài nguyên (Resource Management) Mục tiêu công nghệ Grid Computing chia sẻ, phối hợp, sử dụng