TÌM HIỂU CÔNG NGHỆ TÍNH TOÁN LƯỚI VÀ BỘ CÔNG CỤ GLOBUS TOOLKIT

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TIỂU LUẬN MÔN TÍNH TOÁN LƯỚI TÌM HIỂU CÔNG NGHỆ TÍNH TOÁN LƯỚI VÀ BỘ CÔNG CỤ GLOBUS TOOLKIT Giảng viên hướng dẫn : TS. Nguyễn Phi Khứ Học viên thực hiện : Họ và tên : Nguyễn Thị Thu Trang Mã học viên : CH1101147 Lớp : CNTT K6 Khóa : 2012 - 2014 TP Hồ Chí Minh, tháng 07 năm 2013 MỤC LỤC 3 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 I. Tổng quan Cũng như các công nghệ tính toán khác, tính toán lưới (Grid Computing) ra đời xuất phát từ nhu cầu tính toán của con người. Thực tế, ngày càng có nhiều bài toán phức tạp hơn được đặt ra và do đó các tổ chức cũng cần phải có những năng lực tính toán mạnh mẽ hơn. Có thể giải quyết vấn đề này bằng hai cách: - Thứ nhất: Đầu tư thêm trang thiết bị, cơ sở hạ tầng tính toán (mua thêm máy chủ, máy trạm, siêu máy tính, cluster ). Rõ ràng là cách làm này hết sức tốn kém. - Thứ hai: Một cách thực hiện hiệu quả hơn là phân bố lại hợp lý các nguồn tài nguyên trong tổ chức hoặc thuê thêm các nguồn tài nguyên từ bên ngoài (dĩ nhiên là với chi phí rẻ hơn nhiều so với việc đầu tư cho cơ sở hạ tầng tính toán). Thực tế cho thấy có một phần lớn các nguồn tài nguyên của chúng ta đang bị sử dụng lãng phí: các máy để bàn công sở thường chỉ hoạt động khoảng 5% công suất, ngay cả các máy chủ cũng có thể chỉ phải hoạt động với 20% công suất. Việc tận dụng hiệu quả các nguồn tài nguyên này có thể mang lại một sức mạnh tính toán khổng lồ. Cách giải quyết thứ hai này chính là mục tiêu của tính toán lưới. Tính toán lưới hướng đến việc chia sẻ và sử dụng hiệu quả các nguồn tài nguyên thuộc về nhiều tổ chức trên một quy mô rộng lớn (thậm chí là quy mô toàn cầu). Chính các công nghệ mạng và truyền thông phát triển mạnh mẽ trong những năm qua đã biến những khả năng này dần trở thành hiện thực. Các nghiên cứu về tính toán lưới đã và đang được tiến hành nhằm tạo ra một cơ sở hạ tầng lưới cho phép dễ dàng chia sẻ và quản lý các tài nguyên đa dạng và phân tán trong môi trường lưới. - Các thách thức mà công nghệ tính toán lưới đang phải giải quyết bao gồm: - Các tài nguyên hết sức đa dạng, không đồng nhất. Tài nguyên ở đây được hiểu theo nghĩa hết sức tổng quát. Đó có thể là các tài nguyên phần cứng: tài nguyên tính toán, tài nguyên lưu trữ, các thiết bị đặc biệt khác ; các tài nguyên phần mềm: các cơ sở dữ liệu, các phần mềm đặc biệt và đắt giá ; các đường truyền mạng - Các tài nguyên này có thể rất khác nhau vềmặt kiến trúc, giao diện, khả năng xử lý Việc tạo ra một giao diện thống nhất cho phép khai thác và sử dụng hiệu quả các nguồn tài nguyên này hoàn toàn không dễ dàng. Ban đầu tính toán lưới được đặt ra chủ yếu là để tận dụng các nguồn tài nguyên tính toán nhưng Trang 4 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 hiện nay mục tiêu của nó đã được mở rộng sang rất nhiều nguồn tài nguyên khác như đã kể trên. - Các tài nguyên không chỉ thuộc vềmột tổ chức mà thuộc về rất nhiều tổ chức tham gia lưới. Các tổ chức phải tuân thủ một số quy định chung khi tham gia vào lưới còn nhìn chung là hoạt động độc lập tức là các tài nguyên này đều có quyền tự trị. Các tổ chức khác nhau thường có chính sách sử dụng hay cho thuê tài nguyên của họ khác nhau và do vậy cũng gây khó khăn cho việc quản lý. - Các tài nguyên phân tán rộng khắp về mặt địa lý do vậy phải có các cơ chế quản lý phân tán. - Đảm bảo an toàn thông tin cho một môi trường phức tạp như môi trường lưới là rất khó khăn trong khi đây là một trong những điểm ưu tiên hàng đầu Trang 5 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 II. Một số khái niệm cơ bản II.1. Tính toán nâng cao Tính toán nâng cao (Advanced Computing) là một thuật ngữ chung nói đến các dạng tính toán vượt xa những tinh toán tiêu dùng, kinh doanh hàng ngày. Thường bao hàm một số thứ liên quan đến các thanh phần tính toán nhanh chông và tích hợp nhiều thành phần như thế. Trong một vài trường hợp cũng có thể hiểu Tính toán nâng cao là những phần mềm tiên tiến (advanced softwares), nhưng thường thì để chỉ về những phần cứng tiên tiến (advanced hardwares). II.2. CyberInfrastructure Cyberinfrastructure là sự tích hợp các tiềm năng đa dạng phong phú của những máy tính, màn hình, các thiết bị ảo hóa, dữ liệu, hệ thống lưu trữ, dụng cụ, cảm biến, … thông qua phần mềm và mạng máy tính để : - Cung cấp khả năng toàn diện. - Cung cấp khả năng tổng hợp. - Đôi khi cũng dùng để chia sẻ tài nguyên. II.3. Tính toán hiệu năng cao Siêu máy tính (Super computer), một thuật ngữ cũ, là một máy tính vượt trội trong khả năng và tốc độ xử lý. Thuật ngữ Siêu Tính Toán được dùng lần đầu trong báo New York World vào năm 1920 để nói đến những bảng tính (tabulators) lớn của IBM làm cho trường Đại học Columbia. Siêu máy tính hiện nay có tốc độ xử lý hàng nghìn teraflop (một teraflop tương đương với hiệu suất một nghìn tỷ phép tính/giây) hay bằng tổng hiệu suất của 6.000 chiếc máy tính hiện đại nhất hiện nay gộp lại (một máy có tốc độ khoảng từ 3-3,8 gigaflop). Có thể hiểu siêu máy tính là hệ thống những máy tính làm việc song song. Tính toán song song (Parallel Computing) là quá trinh tích hợp nhiều máy tính hoặc bộ vi xử lý để giải quyết vấn đề bằng cách phân chia công việc. Tính toán hiệu năng cao (High-Performance Computing HPC) là công nghệ liên quan đến sử dụng Siêu máy tính và các quá trình song song để giải quyết nhiều phép tính phức tạp cùng một lúc một cách nhanh chóng, hiệu quả, chính xác, ổn định và tin cậy nhất mà máy tính cá nhân hoặc lớn hơn như workstations không làm được, dù nối rất nhiều máy tính cá nhân với nhau. Trang 6 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 Siêu máy tính IBM Blue Gene/L nhanh nhất thế giới Ví dụ, với những công tác thống kê để tính toán về lưu lượng giao thông ở một thành phố, hay biến đổi khí hậu, tình trạng ngập úng đô thị hoặc lớn hơn là kinh tế của một quốc gia các chuyên gia cần đến HPC mới có thể cho ra đời những lời giải về cách giải quyết những tình huống phát sinh. II.4. Tính toán phân tán Tính toán phân tán (Distributed Computing) bao gồm bất kỳ dạng tính toán nào mà sử dụng nhiều hơn một máy tính được kết nối với mạng máy tính. Chúng ta sử dụng tính toán phân tán hàng ngày với các ứng ụng web, email, … II.5. Tính toán lưới Tính toán lưới (Grid Computing) sử dụng tính toán phân tán để cho phép sử dụng đa máy tính (các máy tính này thường được phân tán khác nhau theo địa lý), vì những mục đích sau : - Chia sẻ tài nguyên - Chia sẻ dữ liệu - Các ứng dụng quy trinh làm việc Trang 7 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 - Tích hợp nhiều hệ thống (ứng dụng kép, siêu tính toán - metacomputing, tính toán năng suất cao - high throughput computing) II.6. Điện toán đám mây Điện toán đám mây (Cloud Computing), còn gọi là điện toán máy chủ ảo, là mô hình điện toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet. Thuật ngữ "đám mây" ở đây là lối nói ẩn dụ chỉ mạng Internet (dựa vào cách được bố trí của nó trong sơ đồ mạng máy tính) và như một liên tưởng về độ phức tạp của các cơ sở hạ tầng chứa trong nó. Ở mô hình điện toán này, mọi khả năng liên quan đến công nghệ thông tin đều được cung cấp dưới dạng các "dịch vụ", cho phép người sử dụng truy cập các dịch vụ công nghệ từ một nhà cung cấp nào đó "trong đám mây" mà không cần phải có các kiến thức, kinh nghiệm về công nghệ đó, cũng như không cần quan tâm đến các cơ sở hạ tầng phục vụ công nghệ đó. Theo tổ chức Xã hội máy tính IEEE “Điện toán đám mây là hình mẫu trong đó thông tin được lưu trữ thường trực tại các máy chủ trên Internet và chỉ được được lưu trữ tạm thời ở các máy khách, bao gồm máy tính cá nhân, trung tâm giải trí, máy tính trong doanh nghiệp, các phương tiện máy tính cầm tay, ”. Điện toán đám mây là khái niệm tổng thể bao gồm cả các khái niệm như phần mềm dịch vụ, Web 2.0 và các vấn đề khác Trang 8 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 xuất hiện gần đây, các xu hướng công nghệ nổi bật, trong đó đề tài chủ yếu của nó là vấn đề dựa vào Internet để đáp ứng những nhu cầu điện toán của người dùng. Ví dụ, dịch vụ Google AppEngine cung cấp những ứng dụng kinh doanh trực tuyến thông thường, có thể truy nhập từ một trình duyệt web, còn các phần mềm và dữ liệu đều được lưu trữ trên các máy chủ. II.7. Tính toán năng suất cao Tính toán năng suất cao (High Throughput Computing – HTC) sử dụng công nghệ tính toán phân tán (có khả năng tính toán lưới) để cho phép nhiều công việc được sắp xếp để sử dụng nguồn lực có sẵn để hoan thành một các nhanh nhất có thể. Thuật ngữ này được phổ biến bởi dự án Condor (Miron Livny, đại học Wisconsin) Ví dụ các dự án sử dụng công nghệ HTC như : - Condor flocks: http://www.cs.wisc.edu/condor/ - World Community Grid: http://www.worldcommunitygrid.org - LHC Project - Open Science Grid - … II.8. Tính toán đa tiến trinh Tính toán đa tiến trình (Many-task computing) là một thuật ngữ mới, được cho là tương tự như High Throughput Computing. “Sự thực thi một cách độc lập, các công việc liên tiếp có thể được sắp xếp một cách riêng biệt trên nhiều nguồn tài nguyên tính toán khác nhau trên nhiều biên giới hành chính” (Ian Foster). Trong tính toán, đa tiến trình là một phương thức sử dụng nhiều tiến trình. Những công việc chia sẻ nguồn tiến trình chung, như là CPU và bộ nhớ chính. Trong trường hợp máy tính với CPU đơn thì chỉ một công việc được tiến hành tại một thời điểm. Nhiều tiến trình được giải quyết bằng cách sắp xếp công việc nào có thể một lần thực thi tại thời điểm được sắp xếp, và khi một công việc khác đợi để quay vòng. Việc đăng ký lại một CPU từ một task đến một task khác gọi là context switch. Khi context switch xảy ra một cách thường xuyên đủ để sự song song ảo được thực hiện.Ngay cả trên những máy tính với nhiều CPU , đa tiến trình cho phép nhiều task có thể thực thi hơn so với nhiều CPU. Hệ điều hành có thể làm theo một trong những chiến lược sau: - Trong hệ thống đa chương trình (Multiprogramming System), task đang thực thi được thực thi cho tới khi nó gọi một thao tác yêu cầu đợi một sự kiện bên Trang 9 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 ngoài hoặc cho tới khi hết lịch biểu, phải hoán đồi cho một task khác ngoài CPU. Hệ thống này được thiết kế để sử dụng tối đa hiệu năng của CPU. - Trong thống hệ chia sẻ thời gian (Time-Sharing Systems), task đang thực thi được yêu cầu phải nhường CPU, hoặc do tự nó, hoặc bởi sự tác động của sự kiện bên ngoài. Hệ thống này được thiết kế để cho phép một vài chương trình thực thi cùng một lúc. - Trong hệ thống thời gian thực, một vài task đang chờ đợi được bảo đảm đưa tới CPU khi một sự kiện bên ngoài xảy ra. Hệ thống này được thiết kế để điều khiển các thiết bị máy móc như robot, … Trang 10 [...]... phân cụm Tuy nhiên sự khác biệt chính giữa hai kiểu tính toán này là: một cụm tính toán là một tập đơn các nút tính toán tập trung trên một khu vực địa lý nhất định, trong khi một lưới bao gồm nhiều cụm tính toán và những loại tài nguyên khác (như mạng, các thiết bị lưu trữ) Trang 24 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit LXXII Nguyễn Thị Thu Trang – CH1101147 Globus grid toolkit. .. được gọi là pre-WS components LXXX Trang 26 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit LXXXI Trang 27 Nguyễn Thị Thu Trang – CH1101147 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 LXXXII LXXXIII LXXXIII.1 Các thành phần chính LXXXIII.1.1 Sercurity Infrastructure LXXXIV Trong Globus Toolkit, việc bảo mật Grid được đảm trách bởi.. .Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 Tính toán lưới III III.1 Khái niệm IV V Khái niệm Tính toán lưới đã bắt đầu xuất hiện vào đầu thập niên 90 với nghĩa ẩn dụ là làm cho việc sử dụng sức mạnh của máy tính dễ dàng như là việc sử dụng điện năng Ngày nay có rất nhiều định nghĩa về tính toán lưới Một định nghĩa về Grid... gồm các môi trường phát triển phần mềm, công cụ lập trình, resource broker, bộ lập lịch,… - Tầng Application và Portal (Application): Giống như tầng Fabric trong kiến trúc tổng quát XLIX.1 Chuẩn hoá Grid Trang 19 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 L Một trong những vấn đề lớn của bất kỳ công nghệ tính toán nào là làm sao để các thành phần... Computing còn mang lại rất nhiều lợi ích khác, tuỳ vào tình huống cụ thể mà đem lại các lợi ích khác nhau Vấn đề là phải hiểu rõ bản chất Grid, sử dụng tốt các công cụ nhằm khai khác tốt nhất trong các tình huống cụ thể Trang 23 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 LXVII So sánh với một số mô hình tính toán LXVII.1 World Wide Web (Web computing):... rộng những công nghệ này cho môi trường lưới, ví dụ như Java JINI LXIX.1 Các hệ thống tính toán ngang hàng: LXX Tính toán ngang hàng (Peer-to-peer Computing Systems) cũng là một lĩnh vực của tính toán phân tán Những điểm khác biệt chính giữa tính toán ngang hàng và tính toán lưới là: - - Tính toán lưới có cộng đồng người sử dụng có thể nhỏ hơn tuy nhiên tập trung nhiều vào các ứng dụng và có yêu cầu... những đóng góp quan trọng của công nghệ Grid Computing là cho phép và đơn giản hoá hợp tác chia sẻ, làm việc giữa một cộng đồng rộng lớn trên toàn thế giới Các công nghệ tính toán phân tán trước đây cũng cho phép hợp tác nhưng chỉ trong một phạm vi nhỏ, còn Grid cho phép mở rộng trên phạm vi toàn cầu khi đưa ra Trang 22 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang... hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính VI.1 Đặc trưng của một hệ thống lưới Trang 11 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 VII Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung: Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng... Globus Toolkit giải quyết các vấn đề của công nghệ Grid Computing dựa trên 4 thành phần chính 3 thành phần Resource Management, Information Service, Data Management liên kết hoạt động trên nền tảng bảo mật chung, Sercurity Infrastructure Ngoài ra, Globus Toolkit còn cung cấp một bộ các hàm API và SDK nhằm giúp phát triển, xây dựng các ứng dụng Grid Trang 25 Tìm hiểu công nghệ tính toán lưới và bộ công cụ. .. xây dựng công nghệ Grid Computing GGF đã và đang phát triển các chuẩn về Grid Computing như: Open Grid Services Architecture (OGSA), Open Grid Services Infrastructure (OGSI), Web Services Resource Framework (WSRF) Trang 20 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 LIII Các chuẩn trên đây cũng là chuẩn duy nhất hiện nay trong ngành công nghệ Grid . ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TIỂU LUẬN MÔN TÍNH TOÁN LƯỚI TÌM HIỂU CÔNG NGHỆ TÍNH TOÁN LƯỚI VÀ BỘ CÔNG CỤ GLOBUS TOOLKIT Giảng viên hướng dẫn : TS. Nguyễn Phi Khứ Học viên thực hiện : Họ và tên. năm 2013 MỤC LỤC 3 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 I. Tổng quan Cũng như các công nghệ tính toán khác, tính toán lưới (Grid Computing). 10 Tìm hiểu công nghệ tính toán lưới và bộ công cụ Globius Toolkit Nguyễn Thị Thu Trang – CH1101147 III. Tính toán lưới III.1. Khái niệm IV. V. Khái niệm Tính toán lưới đã bắt đầu xuất hiện vào