Các vấn đề cơ bản trong việc tính toán lưới

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÀI THU HOẠCH MÔN MÁY HỌC Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. NGUYỄN PHI KHỨ Học viên: Lương Văn Nguyên Mã học viên: CH1102005 Lớp: Cao học 06 – Hà Nội TP. Hà Nội – 5/2013 LỜI CẢM ƠN  Em xin chân thành cảm ơn các Thày Cô trong Trường Đại học Công nghệ thông tin, đã tận tình giúp đỡ chúng em học tập, nghiên cứu. Em vô cùng biết ơn phó Giáo sư, Tiến sĩ Nguyễn Phi Khứ đã cho phép em tìm hiểu, nghiên cứu đề tài “Các vấn đề cơ bản trong việc tính toán lưới” và Thày đã dành nhiều thời gian, tận tình hướng dẫn em trên diễn đàn môn học Tính toán lưới. Học viên: Lương Văn Nguyên Mục lục 2. Đặt vấn đề 7 3. Công nghệ Grid Computing (tính toán lưới) 9 4. Mục tiêu của đề tài 12 5. Giới thiệu môi trường lưới 12 Lớp ứng dụng: 12 Lớp cơ sở hạ tầng: 12 Lớp giữa: 13 5.1. Định nghĩa Grid Middleware 14 5.2 Nhiêm vụ và lợi ích của grid middleware 14 Lớp giao thức kết nối – Connectivity layer 16 Lớp giao thức tài nguyên – Resource layer 17 Lớp giao thức nhóm – Collective layer 18 6.1 Giới thiệu 19 6.2 Lịch sử phát triển 20 a) OGSA là gì? 22 b) Open Grid Services Infrastructure 23 Các đặc tính của OGSI 23 Grid service descriptions and instances 23 Service state, metadata, and introspection 24 Naming và name resolution 24 Service life cycle 25 Fault type 25 Service groups 26 NotificationSink 26 Định nghĩa tác vụ cho việc phân phối các thông điệp notification đến service instance 26 6.5 Các Core Service của OGSI 26 6.7. Resource and Service Management 27 6.8. Tổng quan về WSRF 27 6.9 Hiện thực WSRFs 30 7. Các công nghệ 30 7.1 Service Oriented Architeture (SOA) 30 7.2 Giới thiệu về SOA 30 7.3 Kiến trúc của SOA 32 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ 1. Sơ lược về tính toán lưới Tính toán mạng lưới ngày nay không còn là một giải pháp hàn lâm hay thử nghiệm. Với những tiến bộ quan trọng về phần mềm triển khai, người ta hy vọng nó sẽ đem sức mạnh của siêu máy tính tới tất cả người dùng PC đơn lẻ trên thế giới. Grid là gì và hoạt động như thế nào? Grid là một loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển lựa và tập hợp các nguồn tài nguyên độc lập và rải rác về địa lý, tùy theo khả năng sẵn có, công suất, hoạt động, chi phí và yêu cầu về chất lượng dịch vụ của người sử dụng. Điện toán mạng lưới (ĐTML) có nghĩa là tất cả hoặc một phần của một nhóm máy tính, máy chủ và thiết bị lưu trữ trong mạng doanh nghiệp, được “ảo hóa” (virtualize) thành một cỗ máy tính lớn. Vì ĐTML giải phóng những khả năng tính toán không được sử dụng vào một thời điểm bất kỳ, chúng có thể cho phép các doanh nghiệp tăng cường rất nhiều về tốc độ, sức mạnh xử lý thông tin và sự liên kết, thúc đẩy các quy trình tính toán mật độ cao. Trong khi đó, chi phí vẫn sẽ được giữ ở mức thấp vì ĐTML có thể được xây dựng từ chính hạ tầng hiện có, góp phần đảm bảo sự huy động tối ưu các khả năng tính toán. ĐTML cho phép ảo hóa các chức năng tính toán phân tán cũng như các nguồn xử lý, băng thông mạng và khả năng lưu trữ, để từ đó tạo ra một hệ thống đơn đồng nhất, cho phép người sử dụng và các ứng dụng truy cập thông suốt vào các tính năng điện toán rộng lớn. Giống như người lướt web xem một nội dung thống nhất qua web, người sử dụng ĐTML cũng nhìn thấy một máy tính ảo cực lớn duy nhất. Trọng tâm của ĐTML dựa trên một tập hợp mở của nhiều chuẩn và giao thức, ví dụ Kiến trúc dịch vụ lưới mở (OGSA), cho phép liên lạc qua nhiều môi trường hỗn tạp và phân tán về địa lý. Với ĐTML, các tổ chức và doanh nghiệp có thể tối ưu hóa khả năng tính toán và các nguồn dữ liệu, tập trung chúng lại thành những khối sức mạnh lớn, chia sẻ chúng qua mạng và thúc đẩy sự phối hợp, tương tác. Học viên: Lương Văn Nguyên – CH1102005 Page 5 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ Giả dụ, khi một người có chiếc máy tính cá nhân tham gia đóng góp sức mạnh xử lý trong một mạng lưới grid muốn chạy một ứng dụng đòi hỏi thêm sức mạnh xử lý thì công việc đang được giải quyết trên chiếc máy đó sẽ được tự động tái phân bổ tới một máy khác trong lưới đang “rảnh rỗi” và không bị trưng dụng sức mạnh tính toàn vào công việc nào. Xây dựng một lưới grid có thể đơn giản như việc cho phép một số lượng nhỏ PC hoặc server hoặc mạng lưu trữ tận dụng những khả năng chưa được khai thác hết. Từ một quy mô triển khai ban đầu nhỏ, người sử dụng có thể dần dần hoặc lập tức mở rộng lưới tùy theo nhu cầu của doanh nghiệp. Lưới này không chỉ có thể liên kết các quy trình hoạt động của một bộ phận mà có thể phối hợp các phòng ban với nhau hoặc thậm chí liên kết sức mạnh hạ tầng của một số doanh nghiệp độc lập. Ích lợi của tính toán lưới Điện toán mạng lưới (ĐTML) có thể đem lại những ích lợi rất rộng lớn.  Nó tăng tốc độ xử lý để rút ngắn thời gian thu được kết quả, từ đó cho phép tiết kiệm thời gian và tài nguyên phục vụ cho việc giải quyết những vấn đề mà trước đó chưa được xử lý.  ĐTML nâng cao năng suất và sự phối hợp trong doanh nghiệp bằng cách cho phép các bộ phận và phòng ban phân tán ở nhiều nơi tạo ra các “tổ chức ảo” để chia sẻ dữ liệu và tài nguyên.  Grid khiến cho hạ tầng hoạt động của doanh nghiệp linh hoạt hơn với việc cho phép truy nhập lập tức vào hệ thống tính toán và các kho dữ liệu để “cảm nhận” và phản hồi kịp thời những yêu cầu.  Grid cũng góp phần đảm bảo khai thác tốt nhất các khả năng tính toán hiện có của một công ty dựa trên những khoản đã đầu tư. Triển khai ĐTML cũng góp phần tránh được nguy cơ phân bổ tài nguyên không cân đối xảy ra rất phổ biến và tránh được các chi phí phát sinh. Học viên: Lương Văn Nguyên – CH1102005 Page 6 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ  Một ích lợi lớn khác của ĐTML là nó giải phóng các bộ phận quản lý CNTT khỏi gánh nặng của việc quản lý các hệ thống không đồng nhất. So sánh grid với các công nghệ khác So với khái niệm cluster và điện toán phân tán khác, grid có điểm chung là đem các nguồn sức mạnh tính toán lại làm một nhưng khác ở chỗ nó không cần có sự giới hạn về không gian địa lý hay sự đồng nhất về nền điều hành. Khác biệt cơ bản giữa khái niệm cluster (bó) với grid (lưới) chủ yếu nằm ở phương thức quản lý các nguồn tài nguyên. Đối với cluster, việc phân bổ tài nguyên được thực hiện bởi một đối tượng quản lý tài nguyên trung tâm và tất cả các nút (node) mạng hoạt động phối hợp với nhau như một nguồn đơn thống nhất. Đối với grid, mỗi nút có đối tượng quản lý tài nguyên riêng và các nguồn tài nguyên độc lập trong lưới có thể trải rộng khắp một hoặc nhiều tổ chức. Trên thực tế grid không phải là một cuộc cách mạng mới mà có thể coi nó là một bước tiến hóa trong công nghệ điện toán phân tán, giống như web, chia sẻ file ngang hàng và các công nghệ ảo khác. Giống như web, ĐTML giảm bớt tính phức tạp khi mà nhiều người cùng khai thác một nền hoạt động thống nhất. Cái khác của nó đối với web chủ yếu là sự hỗ trợ liên lạc. So với mạng ngang hàng (P2P), ĐTML có điểm chung là cho phép người sử dụng chia sẻ file nhưng khác ở chỗ việc chia sẻ đó không chỉ là các file mà có thể là nhiều tài nguyên khác. So với các công nghệ ảo khác, grid giống ở chỗ cho phép ảo hóa các nguồn lực CNTT. Điểm khác là trong khi đối tượng và mục tiêu của các công nghệ ảo là một hệ thống đơn thì grid cho phép ảo hóa những nguồn tài nguyên tản mát và vô cùng rộng lớn. 2. Đặt vấn đề - Sự phát triển ngày càng phổ biến của Internet, cùng với năng lực tính toán của máy tính ngày càng mạnh và mạng tốc độ cao cũng như các thiết bị có chi phí ngày càng thấp đang thay đổi cách tính toán và sử dụng các máy tính. Các tài Học viên: Lương Văn Nguyên – CH1102005 Page 7 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ nguyên được phân bố theo các vị trí địa lý khác nhau, cần phải được liên kết kết với nhau để phục vụ các bài toán tính toán lớn. Chính vì vậy cần áp dụng tính toán lưới để giải quyết việc kết hợp các tài nguyên đó lại. - Trong môi trường này, nhiều tài nguyên tính toán như các siêu máy tính, các cụm máy tính, thiết bị trực quan, hệ thống lưu trữ và cơ sở dữ liệu, đặc biệt các thiết bị khoa học như kính thiên văn kết nối ở mức luận lý với nhau và thể hiện ra bên ngoài đến người sử dụng như là một tài nguyên tích hợp đơn (single integrated resource). - Về cơ bản, người sử dụng tương tác với resource broker. Như vậy sẽ không thấy được những phức tạp của tính toán lưới. Khi Broker phát hiện ra tài nguyên mà người sử dụng có thể truy cập thông qua một hoặc nhiều hệ thống quản lý thông tin lưới (grid information server), Broker sẽ thương lượng (negotiates) với các resource hoặc các agent của chúng bằng cách sử dụng middleware services. Khi đã đạt được thỏa thuận với các resource, sẽ thực hiện việc lập lịch (scheduling) bằng cách ánh xạ các task đến các resource, sắp xếp ứng dụng và dữ liệu để xử lý và cuối cùng trả về tập hợp kết quả. Trong quá trình đó, cần theo dõi tiến trình thực hiện ứng dụng để việc quản lý các thay đổi trong cơ sở hạ tầng lưới (grid infrastructure) và resource failure. - Có một số dự án trên thế giới, đang phát triển các thành phần, các dịch vụ và các ứng dụng trên hệ thống tính toán lưới: Globus, Legion, NetSolve, Ninf, Apple, Nimrod/G, và JaWS. Học viên: Lương Văn Nguyên – CH1102005 Page 8 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ (Hình 1 Góc nhìn tổng quát của hệ thống GRID) - Trong môi trường tính toán lưới, việc truy cập vào các tài nguyên phân bố theo cơ chế truy cập ngang hàng. Vì vậy cần phải áp dụng các chính sách bảo mật cũng như xác thực quyền truy cập của người dùng. - Với việc Internet ngày càng phát triển manh, nhu cầu sử dụng các tài nguyên sẵn có ngày càng nhiều, và các tài nguyên đó tương tác với nhau để phục vụ các yêu cầu của người sử dụng. Tuy nhiên, trong môi trường phân bố, các tài nguyên đó lại được quản lý bởi các tổ chức khác nhau, có chính sách khác nhau vì vậy sẽ phát sinh các vấn đề rất phức tạp trong việc kết hợp các tài nguyên này với nhau. → Vì vậy cần có mô hình quản lý tài nguyên. 3. Công nghệ Grid Computing (tính toán lưới)  Với những tiến bộ trong nền công nghiệp sản xuất phần cứng máy tính, các thế hệ máy tính ngay nay đã trở nên mạnh mẽ và rẻ hơn rất nhiều so với các thế hệ trước đó. Cùng với sự hữu ích, máy tính đã trở nên phổ dụng khắp nơi trên thế giới, đi sâu vào mọi công việc của con người, từ công việc hàng ngày, công sở, kinh doanh đến sản xuất, nghiên cứu khoa học. Do đó số lượng máy tính hiện nay trên thế giới là rất lớn với tổng cộng năng lực xử lý và lưu trữ khổng lồ. Học viên: Lương Văn Nguyên – CH1102005 Page 9 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ  Tuy nhiên, các ứng dụng ngày nay chỉ mới sử dụng được một phần rất nhỏ năng lực xử lý và lưu trữ do các ứng dụng chỉ chạy trên máy tính cục bộ, đơn lẻ, phân tán khắp nơi theo địa lý. Từ đó dẫn đến lãng phí rất lớn. Một câu hỏi đặt ra là làm sao tận dụng tốt hơn năng lực của máy tính.  Mặt khác, theo đà phát triển, con người ngày càng đối mặt với nhiều vấn đề lớn, phức tạp trong khoa học, thương mại đòi hỏi năng lực xử lý tính toán, lưu trữ lớn :  Trong khoa học :  Cách đây hơn 10 năm các nhà sinh học đã rất vui mừng khi họ có thể giả lập một đơn phân tử trên máy tính. Ngày nay họ muốn giả lập hàng ngàn phân tử thuốc, protein và tác dụng tương hỗ giữa chúng để tạo ra các loại thuốc mới.  Để nghiên cứu các hạt cơ bản và tương tác giữa chúng, hàng năm ngành vật lý năng lượng cao (High Enegy Physics) tạo ra khoảng 10 Petabyte (dung lượng khoảng 20 triệu đĩa CD-ROM) dữ liệu. hay các nhà vật lý địa cầu thực hiện theo dõi bầu khí quyển, tầng ozone, hàng ngày phải lưu trữ và phân tích khoảng 100 Gigabytes dữ liệu ảnh chụp từ vệ tinh.  Việc phân tích, giải mã bộ gen người, các dự án nghiên cứu vũ trụ, . . . cũng cần năng lực xử lý rất lớn.  Vấn đề hợp tác giữa hàng ngàn nhà khoa học trên toàn thế giới, hỗ trợ việc chia sẻ một lượng lớn dữ liệu, thực hiện các tính toán phức tạp trực tuyến trên các dữ liệu đó.  Trong thương mại :  Các bài toán phân tích xử lý số liệu kinh tế của các quốc gia, các công ty đa quốc gia, . . . .  Các công ty cung cấp dịch vụ mạng cho hàng triệu người dùng trên toàn thế giới.  Các bài toán mô phỏng, giả lập trong thiết kế sản phẩm công nghiệp.  Bài toán xử lý thông tin trong quản trị mạng, các hệ thống phát hiện tấn công, xâm nhập mạng. Học viên: Lương Văn Nguyên – CH1102005 Page 10 [...]... 31 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ 7.3 Kiến trúc của SOA Gồm các thành phần và các thông điệp hoạt động trao đổi giữa chúng o Các thành phần : SOA có 3 thành phần cơ bản là : Service Provider, Service Requestor, Service Registry như trong hình • ServiceProvider : Chịu trách nhiệm xây dựng các service, tạo các bản mô tả cho chúng, đăng ký bản mô tả cho các. .. CH1102005 Page 21 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ (Hình 5 : Open Grid Service Architecture – OGSA) a) OGSA là gì? Open Grid Services Architecture (OGSA) được phát triển bởi The Global Grid Forum với mục đích đưa ra kiến trúc chung, chuẩn và mở cho các ứng dụng tính toán lưới OGSA hướng đến việc chuẩn hóa các service trong ứng dụng lưới bằng cách đưa các interface... Page 11 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ 4 Mục tiêu của đề tài  Tìm hiểu về công nghệ Grid Computing hiện nay để có một bức tranh tổng quan về công nghệ, các vấn đề, các hướng giải quyết chủ yếu của nó nhằm làm tiền đề tham khảo cho việc ứng dụng, phát triển công nghệ Grid Computing trong tương lai  Cài đặt, tìm hiểu mô hình, kiến trúc môi trường, cách... của bài toán tăng lên N lần thì cùng với sự tăng lên khả năng tính toán N lần mà vẫn đảm bảo được hiệu quả của bài toán gần như ban đầu Điều này làm tăng mức độ thử thách cho môi trường lưới, bởi vì như đã nhấn mạnh rằng Học viên: Lương Văn Nguyên – CH1102005 Page 13 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ môi trường lưới có tính phức hợp Việc mở rộng bài toán sẽ... này điều chỉ ra được các kết quả cơ bản, mang tính nền tảng như về việc xác nhận, xác thực, khám phá tài nguyên, truy xuất tài nguyên Do đó, việc xây dựng các giao tiếp, giao thức chuẩn và mở là rất quan trọng, nếu không, chúng ta chỉ xây dựng được những ứng dụng mang tính đặc thù mà thôi Học viên: Lương Văn Nguyên – CH1102005 Page 14 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn... là các phiên bản xây dựng theo các mô hình và giao thức độc quyền của tổ chức Globus, đến GT3 và GT4 thì chuyển sang xây dựng các Grid Service theo các chuẩn OGSA và OGSI Học viên: Lương Văn Nguyên – CH1102005 Page 20 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ 6.3 Kiến trúc Globus toolkit (Hình 4: Kiến trúc Globus toolkit) - Bộ Globus Toolkit giải quyết các vấn đề. . .Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ  Một máy tính đơn, một nhóm các máy tính (cluster) hay thậm chí một siêu máy tính thông dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày càng lớn như vậy Một số bài toán cũng có thể được giải quyết nhưng rất khó khăn, với chi phí rất cao... cầu Việc kết hợp này được mô tả trong Hình (Hình 11 : Kết hợp giữa Web service và Resources trong WSRF) Học viên: Lương Văn Nguyên – CH1102005 Page 29 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ 6.9 Hiện thực WSRFs (Hình 12: Hiện thực WSRF) 7 Các công nghệ 7.1 Service Oriented Architeture (SOA) Phần này giới thiệu đôi nét về một số khái niệm và thành phần cơ bản. .. instance Hình dưới minh họa cơ chế hoạt động của naming Học viên: Lương Văn Nguyên – CH1102005 Page 24 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ (Hình minh họa Cơ chế phân giải tên)  Service life cycle Một trong những điểm khác biệt chính giữa grid service và Web service là Grid service có thể transient(tạo và hủy) OGSI cung cấp cơ chế cho phép các instance khởi tạo,... service instance bằng cách gửi thông điệp “keepalive” đến server  Fault type OGSI định nghĩa chuẩn các kiểu chuẩn cho tất cả các thông điệp lỗi được trả về bởi Grid service Học viên: Lương Văn Nguyên – CH1102005 Page 25 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ  Service groups OGSI cung cấp cơ chế tổ chức service instance theo nhóm OGSI định nghĩa các interface (WSDL . CH1102005 Page 13 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ môi trường lưới có tính phức hợp. Việc mở rộng bài toán sẽ làm vượt ra ngoài việc sử dụng tài. CH1102005 Page 10 Đề tài: Các vấn đề cơ bản trong việc tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ  Một máy tính đơn, một nhóm các máy tính (cluster) hay thậm chí một siêu máy tính thông dụng. bài toán tính toán lớn. Chính vì vậy cần áp dụng tính toán lưới để giải quyết việc kết hợp các tài nguyên đó lại. - Trong môi trường này, nhiều tài nguyên tính toán như các siêu máy tính, các