Tiểu luận môn điện toán lưới và đám mây TÌM HIỂU VỀ CÔNG NGHỆ GRID COMPUTING VÀ GRID MIDDLEWARE

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  PHÒNG ĐÀO TẠO SAU ĐẠI HỌC TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY TÌM HIỂU VỀ CÔNG NGHỆ GRID COMPUTING VÀ GRID MIDDLEWARE Giảng viên hướng dẫn: PGS. TS. NGUYỄN PHI KHỨ Học viên thực hiện: NGUYỄN VĂN KIỆT Khóa: CAO HỌC KHÓA 08 Mã số học viên: CH1301095 GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt TP. Hồ Chí Minh, tháng 6 năm 2014 LỜI CẢM ƠN Tôi xin chân thành gửi lời cám ơn chân thành đến PGS. TS. Nguyễn Phi Khứ, người thầy hướng dẫn khoa học nghiêm túc và nhiệt tâm. Thầy là người đã truyền đạt cho tôi những kiến thức quý báu trong môn học “Điện toán lưới và đám mây”. Nhờ có những kiến thức của thầy mà tôi có thể có đủ kiến thức cùng những công cụ cần thiết để thực hiện được bài tiểu luận của môn học này. Trong bài báo cáo này, tôi đã tìm hiểu về công nghệ Grid Computing và Grid Middleware. Xin cảm ơn tất bạn bè đã và đang động viên, giúp đỡ tôi trong quá trình học tập và hoàn thành tiểu luận của môn học này. TP. Hồ Chí Minh, tháng 6 năm 2014 Nguyễn Văn Kiệt GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Mục Lục GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt DANH MỤC HÌNH GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 5 Chương 1 TỔNG QUAN VỀ GRID COMPUTING 1.1. Khái quát về Grid Computing 1.1.1. Lịch sử hình thành Công nghệ Grid Computing được nhắc đến rất nhiều trong thời gian gần đây, nhưng thực ra nhiều ý tưởng cơ bản về Grid đã xuất hiện dưới dạng này hay dạng khác trong lịch sử tính toán. Những năm 60 – 70 của thế kỷ XX, ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện. Khi đó, năng lực tính toán được chia sẽ từ các máy mainframe. Năm 1965, những người phát triển hệ điều hành Multics (tiền thân của hệ điều hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như một tiện ích, một quan điểm rất gần với quan điểm về Grid hiện nay. Đó là một hệ thống cung cấp năng lực tính toán tương tự như một hệ thống cung cấp điện, nước hiện đang dùng trong cuộc sống hàng ngày. Người dùng khi muốn sử dụng tài nguyên tính toán để xử lý công vệc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sử dụng và trả tiền giống như cắm thiết bị điện vào lưới điện. Nguồn gốc của Grid chính thức được xác định vào năm 1990, khi thuật ngữ “siêu máy tính” (metacomputing) ra đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau. Khái niệm Grid ra đời ở phòng thí nhiệm Argonne National Laboratory vào tháng 7/1997, sau đó được đưa vào quyển sách “The Grid: Blueprint for a New Computing Infrastructure” viết bởi tiến sĩ Ian Foster (Argonne National Laboratory) và Carl Kesselman (University of Southern California) năm 1998. Từ đó đến nay, việc phát triển công nghệ Grid trở nên rất sôi động với sự tham gia, nghiên cứu, đầu tư của nhiều tổ chức, tập đoàn công nghệ thông tin, nhiều quốc gia và đã thu được nhiều thành tựu bước đầu. 1.1.2. Khái niệm Tiến sĩ Iran Foster đưa ra định nghĩa về Grid khá hoàn chỉnh như sau: “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 6 Đặc điểm của một hệ thống Grid như sau: - Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung. - Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng. - Đáp ứng yêu cầu cao về chất lượng dịch vụ. 1.1.3. Tài nguyên Tài nguyên Grid gồm các loại tài nguyên: - Tài nguyên tính toán: là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid. Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau. Có 3 cách để khai thác tài nguyên tính toán Grid: + Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay vì chạy trên máy tính cục bộ. + Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau. + Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid. - Tài nguyên lưu trữ: là tài nguyên phổ biến thứ hai. Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid. Tài nguyên lưu trữ có thể là bộ nhớ trong, ô đĩa cứng hoặc các thiết bị lưu trữ khác. Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu. - Phương tiện liên lạc: Khả năng liên lạc giữa các máy tính phát triển nhanh chóng đã giúp cho công nghệ Grid trở nên hiện thực, do đó đây cũng là một tài nguyên quan trọng, bao gồm việc liên lạc, trao đổi dữ liệu giữa các thành phần trong Grid và giao tiếp giữa Grid với bên ngoài. Một số công việc đòi hỏi một lượng dữ liệu lớn nhưng các dữ liệu này thường không nằm trên máy đang thực thi công việc. Khả năng về băng thông trong những trường hợp như vậy là một tài nguyên then chốt, ảnh hưởng đến khả năng của Grid. Việc giao tiếp với bên ngoài được thực hiện thông qua Internet. Grid có thể sử dụng các kết nối Internet để liên lạc giữa các node. Vì các kết nối này không chia sẻ một đường truyền nên làm tăng băng thông truy cập Internet. - Phần mềm, ứng dụng: Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid. Các phần mềm này chỉ cần được cài trên một số node. Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi. Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 7 - Các thiết bị đặc biệt: Là các thiết bị dùng trong khoa học, kỹ thuật như kính viễn vọng, các bộ cảm biến (sensor), … Các thiết bị này chủ yếu thu thập các dữ liệu khoa học, phục vụ cho các bước phân tích xử lý sau này. Các tài nguyên này có thể sử dụng tự do, trong khi một số khác được sử dụng dưới những chính sách nhất định. Các tài nguyên được “ảo hóa” (virtualize) để che dấu sự phức tạp, đa dạng nhằm đưa ra một cái nhìn thống nhất, đơn giản về toàn bộ tài nguyên trên Grid sao cho dưới mắt của người dùng, các tài nguyên Grid là một khối thống nhất. Các tài nguyên ảo được tổ chức lại thành các “tổ chức ảo”, đến lượt nó, các tổ chức ảo lại thực hiện chia sẽ tài nguyên của mình để hình thành Grid lớn hơn, tạo thành một kho tài nguyên khổng lồ. 1.2. Phân loại Grid và Grid Topology 1.2.1. Các kiểu Grid Công nghệ Grid Computing có thể được sử dụng theo nhiều cách khác nhau để giải quyết các loại ứng dụng. Thông thường Grid được phân loại bởi kiểu của ứng dụng cần giải quyết. Tuy nhiên, không có ranh giới phân biệt rõ ràng giữa các loại Grid và trong thực tế, các giải pháp Grid thường là sự kết hợp 2 hay nhiều loại khác nhau.  Computation Grid Là loại grid chủ yếu tập trung vào việc sử dụng năng lực tính toán. Ở Grid này, phần lớn các node là các máy tính hay các nhóm máy tính (cluster) có năng lực xử lý, tính toán rất lớn. Hình thức thực hiện là chia tác vụ tính toán lớn thành nhiều công việc nhỏ thực thi song song trên các node của Grid. Việc phân tán các tác vụ tính toán trong Grid sẽ giảm rất đáng kể toàn bộ thời gian xử lý và tăng khả năng tận dụng hệ thống. Thông thường một hệ thống chính sẽ chia khối dữ liệu cần xử lý thành các phần nhỏ, sau đó phân phối đến các node trên Grid. Mỗi node sẽ thực hiện xử lý dữ liệu và trả kết quả về hệ thống chính để hệ này tổng hợp và trình diễn kết quả toàn cục cho người dùng. Hình 1.1 minh họa quá trình này. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 8 Hình 1.1 – Hình thức hoạt động của Grid tính toán  Data Grid Ở đây, không gian lưu trữ là tài nguyên. Một Grid dữ liệu chịu trách nhiệm lưu trữ và cung cấp khả năng truy cập dữ kiệu cho nhiều tổ chức khác nhau. Người dùng không cần biết chính xác vị trí dữ liệu khi thao tác với dữ liệu. Các cơ sở dữ liệu, đặc biệt các cơ sở dữ liệu liên hợp, đóng vai trò quan trọng trong các Grid dữ liệu, nhất là khi có nhiều nguồn dữ liệu và xuất hiện nhu cầu kết hợp các thông tin từ nguồn dữ liệu này. Các Grid dữ liệu có thể được sử dụng trong lĩnh vực khai phá dữ liệu (data mining) hoặc các hệ thống thương mại thông minh. Trong trường hợp này, không chỉ có hệ thống file hay các cơ sở dữ liệu mà toàn bộ dữ liệu của t63 chức cần tập hợp lại. Ở đây có thể phải kết hợp giữa Grid dữ liệu và Grid tính toán.  Scavenging Một Scavenging Grid thường được dùng với một lượng lớn các máy tính để bàn. Các máy tính thường được kiểm tra định kỳ để xem khi nào bộ xử lý và các tàinguyên khác rảnh rỗi để thực hiện các tác vụ Grid. Chủ nhân của máy để bàn thường có quyền xác định khi nào thì chia sẻ chiếc máy của mình. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 9 1.2.2. Grid Topology (Đồ hình Grid) Grid có thể được xây dựng theo nhiều kích cỡ khác nhau, từ một nhóm vài máy tính đặt trong một phòng ban đến hàng trăm nhóm máy tính tổ chức theo kiểu phân cấp trải rộng khắp thế giới. Đồ hình Grid đơn giản nhất là SimpleGrid, chỉ bao gồm một số máy tính đồng nhất ở cùng một vị trí. Độ phức tạp của đồ hình Grid tương ứng với số lượng tổ chức tham gia Grid và các ràng buộc về địa lý. Phần này sẽ giới thiệu sơ nét về một số đồ hình Grid cơ bản. Hình 1.2 cho thấy độ lớn của các đồ hình Grid. Hình 1.2: Các đồ hình của Grid  Simple Grid Như trên Hình 1.3, một SimpleGrid chỉ bao gồm vài máy tính, tất cả đều có cùng kiến trúc phần cứng, chạy cùng một hệ điều hành, kết nối vào mạng cục bộ. Dạng Grid này sử dụng các hệ thống đồng nhất nên ít phức tạp, thường chỉ dùng để thử nghiệm, làm quen với các phần mềm Grid. Các máy tính thuộc một phòng ban trong tổ chức nên việc sử dụng chúng cho Grid không cần các chính sách đặc biệt về quản lý cũng như bảo mật. Các máy tính chạy cùng hệ điều hành, cùng kiến trúc phần cứng nên việc chọn các phần mềm ứng dụng khá đơn giản, dễ dàng. Đồ hình này khiến người ta liên tưởng đến các cluster hơn là Grid. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 10 Hình 1.3: Đồ hình SimpleGrid  Intragrid Mở rộng hơn một chút so với SimpleGrid là IntraGrid. Lúc này xuất hiện các hệ thống không đồng nhất, nhiều loại tài nguyên mới trong Grid. Sử dụng cùng một chính sách bảo mật, sử dụng mạng nội bộ để kết nối các hệ thống trong Grid là các đặc tính quan trọng của đồ hình này. GVHD: PGS. TS. Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt [...]... OGSI GVHD: PGS TS Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 24 Chương 2 GRID MIDDLEWARE 2.1 Giới thiệu về Grid Middleware Hệ thống Grid là một tập hợp những tài nguyên tính toán, tài nguyên lưu trữ, tài nguyên kết nối, và thiết bị khoa học Những tài nguyên này là những yếu tố tạo nên phần fabric của Grid Tài nguyên tính toán có thể là siêu máy tính, máy chủ, hệ thống cụm máy... HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 14 Còn có nhiều thành phần khác để đưa vào môi trường Grid và cần được xem xét khi thiết kế và cài đặt ứng dụng Ví dụ : Các tiện ích như liên lạc giữa các tiến trình (Inter Process Communication) và các dịch vụ hỗ trợ tính toán chi phí và chi trả là những tiện ích được yêu cầu nhiều nhất Trên đây là giới thiệu vắn tắt và tổng quan về các thành phần.. .Điện toán lưới và đám mây Trang 11 Hình 1.4: Đồ hình IntraGrid Hệ thống Grid cần có các module lập lịch Việc chia sẻ file có thể sử dụng các hệ thống file mạng (network filesytem) Các máy tính tham gia Grid có thể thuộc nhiều phòng ban khác nhau nhưng vẫn trong cùng một tổ chức Khi Grid mở rộng ra nhiều phòng ban, các chính sách mới về cách sử dụng Grid cần phải được xác lập và áp dụng Ví... hoàn tất, dò tìm và phản ứng với các điều kiện gây lỗi (tầng Resource) GVHD: PGS TS Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 20 Hình 1.8: Quan điểm của các lập trình viên về kiến trúc Grid Các hàm API được cài đặt bằng các bộ công cụ phát triển phần mềm SDK Các hàm API được cài đặt bằng các bộ công cụ phát triển phần mềm (SDK), tới lượt nó, các bộ SDK sử dụng các Grid protocol... ứng dụng Grid và có thể được áp dụng trong bất kỳ một hệ thống Grid nào Về thực chất, OGSA định nghĩa các dịch vụ Grid (Grid service) là gì, chúng cần có những khả năng gì, được xây dựng trên những công nghệ nào Nó cũng xác định mô hình lập trình cho Grid service Tuy nhiên, OGSA không đi sâu vào mặt kỹ thuật của vấn đề, nó chỉ giúp phân biệt cái gì là Grid và cái gì không phải OGSA xác định Grid service... kiểm soát và phục hồi lỗi Cần có các dịch vụ cung cấp thông tin (information service) để tìm kiếm tài nguyên Hình 1.5: Đồ hình ExtraGrid GVHD: PGS TS Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 12  Intergrid Theo thời gian, các Grid mở rộng ra khỏi một tổ chức và bắt đầu liên kết nhiều tổ chức với nhau, được dùng để phối hợp giữa các tổ chức trong các dự án lớn Một InterGrid đòi... nền tảng, truy cập đồng nhất vào các tài nguyên không đồng nhất trên Grid Quá trình phát triển phần grid middleware cần phải có khả năng chia sẻ, khả năng sử dụng lại, và khả năng mở rộng để làm giàm thiểu thời gian cần thiết cho việc phát triển và triển khai lại Grid middleware là một tập hợp những API, giao thức, và phần mềm cho phép tạo ra và sử dụng hệ thống Grid Mặc dù grid thường được sử dụng bên... Văn Kiệt Điện toán lưới và đám mây Trang 25 Trong kiến trúc chung của một Grid, tầng dưới cùng, là tầng fabric – tập hợp các nguồn tài nguyên trên Grid, tầng trên cùng là lớp ứng dụng Tầng middleware là tầng nằm giữa hai tầng trên Ngoài ra tầng middleware còn có thể chia thành hai tầng con tách biệt Theo cách tiếp cận này thì toàn bộ grid gồm bốn thành phần: fabric, core middleware, user-level middleware, ... dụng và portal Hình dưới đây minh họa kiến trúc của Grid và Grid middleware ở trong đó Hình 2.1: Mô hình Grid Trong mô hình này, tầng middleware được chia làm hai thành mức: core middleware và useer-level middleware Core middleware cung cấp những dịch vụ cơ bản như là quản lý công việc từ xa, đăng ký tài nguyên, truy xuất dữ liệu, đăng ký thông tin GVHD: PGS TS Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện. .. tính trên khắp thế giới 1.4.3 Kiến trúc Grid trong thực tế Trong thực tế, kiến trúc Grid tổng quan đã được cài đặt và xây dựng như hình 1.9 Kiến trúc gồm 4 tầng tương ứng với các tầng của kiến trúc tổng quát: GVHD: PGS TS Nguyễn Phi Khứ HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 21 Hình 1.9: Kiến trúc Grid trong thực tế với các thành phần Kiến trúc Grid trong thực tế với các thành phần: - . TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  PHÒNG ĐÀO TẠO SAU ĐẠI HỌC TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY TÌM HIỂU VỀ CÔNG NGHỆ GRID COMPUTING VÀ GRID MIDDLEWARE Giảng viên hướng. HVTH: Nguyễn Văn Kiệt Điện toán lưới và đám mây Trang 5 Chương 1 TỔNG QUAN VỀ GRID COMPUTING 1.1. Khái quát về Grid Computing 1.1.1. Lịch sử hình thành Công nghệ Grid Computing được nhắc đến. những công cụ cần thiết để thực hiện được bài tiểu luận của môn học này. Trong bài báo cáo này, tôi đã tìm hiểu về công nghệ Grid Computing và Grid Middleware. Xin cảm ơn tất bạn bè đã và đang