NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN LƯỚI

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÀI THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI  NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN LƯỚI NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG MÔ HÌNH THỬ NGHIỆM TRÊN LINUX VÀ ỨNG DỤNG MÔ HÌNH THỬ NGHIỆM TRÊN LINUX GV. HƯỚNG DẪN : PGS.TS. NGUYỄN PHI KHỨ HỌC VIÊN : DUY TÙNG Mà SỐ HỌC VIÊN : CH1102011 LỚP : CAO HỌC CNTT – K6 Tiểu luận học phần Tính toán lưới HÀ NỘI, THÁNG 7 NĂM 2013 Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 3 Tiểu luận học phần Tính toán lưới  LỜI NÓI ĐẦU 7 CHƯƠNG 1. TÍNH TOÁN LƯỚI 8 1.1 Tổng quan về Tính toán lưới 8 1.1.1 Tính toán lưới là gì? 8 1.1.2 So sánh với các mô hình, công nghệ khác 10 1.1.3 Phân loại mạng lưới 11 1.2 Kiến trúc và thành phần chính của hệ thống lưới 13 1.2.1 Tổng quan kiến trúc lưới 13 1.2.2 Các thành phần theo mô hình chức năng 15 1.2.3 Các thành phần theo mô hình vật lý 17 1.3. Các chuẩn cho tính toán lưới 17 1.3.1 OGSA/OGSI là gì? 18 1.3.2 Chuẩn OGSI 18 1.3.3 Chuẩn OGSA 21 1.4 Các thành phần chính trong mô hình chức năng của lưới 22 1.4.1 Bảo mật 22 1.4.2 Quản lý tài nguyên lưới 25 1.4.3 Quản lý dữ liệu 28 1.4.4 Lập lịch trong môi trường lưới 34 1.4.5 Grid Portal 36 1.4.6 Giám sát lưới 38 1.5 Kết chương 42 CHƯƠNG 2. TỔNG QUAN VỀ GLOBUS 44 2.1 Tổng quan kiến trúc chung của GT 44 2.1.1 Các chức năng chính của GT 44 2.1.2 Các đặc trưng của GT4 45 Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 4 Tiểu luận học phần Tính toán lưới 2.1.3 Tóm lược về kiến trúc của GT4 47 2.2 Kiến trúc hướng dịch vụ 47 2.2.1 GT4, các hệ thống phân tán, các dịch vụ Web 47 2.2.2 Cơ sở hạ tầng và ứng dụng hướng dịch vụ 48 2.2.3 Kiến trúc hướng dịch vụ (Service Oriented Architecture-SOA) 49 2.3 Kiến trúc GT4 50 2.3.1 Kiến trúc tổng quan 50 2.3.2 Triển khai dịch vụ Web trên GT4 52 2.4 Quản lý thực thi trong GT4 53 2.4.1 Tổng quan về GT4 GRAM 53 2.4.2 Lệnh globusrun-ws 54 2.4.3 Cách thức hoạt động của GT4 GRAM 58 2.4.4 Cấu hình và quản trị GT4 GRAM 61 2.5 Theo dõi và phát hiện 61 2.5.1 Hệ thống theo dõi và phát hiện - MDS4 62 2.5.2 Bộ gộp (aggregator) và nguồn thông tin 63 2.5.3 Nguồn thông tin và việc đăng ký 63 2.6 Kết chương 63 CHƯƠNG 3. TRIỂN KHAI THỬ NGHIỆM 65 3.1 Lập bản thiết kế kiến trúc lưới 65 3.2 Cài đặt một Grid 69 3.2.1 Cấu hình phần cứng của lưới 69 3.2.2 Yêu cầu trước khi cài đặt 70 3.2.3 Cài đặt cho nút chính 70 3.2.4 Cài đặt các nút tính toán 75 3.2.5 Đồng bộ thời gian giữa các nút trong lưới 76 3.2.6 Cấu hình các dịch vụ mức lưới 77 Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 5 Tiểu luận học phần Tính toán lưới 3.3 Kết nối một Cluster vào Grid 78 3.3.1 Cấu hình phần cứng 78 3.3.2 Cấu hình cluster-based PBS 79 3.3.3 Cấu hình lưới dựa trên GT 82 3.4 Kết chương 83 KẾT LUẬN VÀ KIẾN NGHỊ 84 TÀI LIỆU THAM KHẢO 85 Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 6 Tiểu luận học phần Tính toán lưới LỜI NÓI ĐẦU  !"# $# % &'( )*+, ")-.+/0  1)  +234567"%83634 +)1/$9:&'3+7*) 2;'!   4-  % : &  1) 3+7 56 < 34 =!  "&'434&> ?/:(@ A ' 3+7& '+2+,  " ) 0>) % $(  B 0# '  C 4 % 9 +2/ =D E 456 < ) F  " )G "   ! 7- HI(.)/ 6(3+7 J5'7/ K+, :5)@G=L& '  & '"$(% ! F  ' +2 "8  % 437-I9/:3B*+, $$7# &  ;% !3M $&'3+7/"  3+7/N0>G6+2 & ' 3+7 #  $#    % ! '  3O $>  %= $ 3+7=)4- 6N 4 <PQRS-S.?QT!*+7$4 B9+70U:644:3B4- Hà Nội, ngày 20 tháng 7 năm 2013 Người thực hiện DUY TÙNG Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 7 Tiểu luận học phần Tính toán lưới CHƯƠNG 1. TÍNH TOÁN LƯỚI 1.1 Tổng quan về Tính toán l ướ i 1.1.1 Tính toán lưới là gì? V Định nghĩa W +7   )/ A X ! / '  Y Z '  [) ( $4 > N0>(L 1)94+))O)5' )$ 3+7- \+7 [) : '  1) I.Foster và các đồng nghiệp 9 ]G 3+7 34G ( L E '  F  + + 4 % +,   L G '   B^ =_ 0# '  ) !  `/ @ $4 ) ^    3+, 0  $# 56  +2] a - b=Zc= ZZaQ Z 53= deQfghaii-jk-ijjil J0+7[): 1)G=L 6$43%':3+7 &%79&'3+7+, O)+=)m Định nghĩa của Oraclem&'3+734$( 3%5' 1$4 3+4G=%'&;L+E)+, &+$( 1) ' (L ' 1 n+ ( L! 0#/2E <:  !  &- Định nghĩa của IBMm & ' 3+7 34 G 6 +2 & ' <- 6+2 4 oL&==/3"/ )=p/:3>)/B , ' C4%A,$F)3M/YZ! G=D=4/ (=/ & 1) ' 4%&'$4% $ 3+,0  $# 1)+2=_0#- Định nghĩa của liên minh điện toán lướim6+2&'3+7+,  :+G"5L(L'&/(L"/(L P =@0 3( +, =@$4[<3M@X ! / ';   6 +2 &'<0$7( ) +2=_0#- : E ' 9 4 0( $ & ' 3+7/ :3B N o 56 +))GO) #:4/)$4E q)=rNZNo5'( &'3+7 ZG=LF : =)m Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 8 Tiểu luận học phần Tính toán lưới Kích thước lớnm Z =L 3+, 4 %$4 5< '  ) 3M ) q- Phân tánm EG?'5:03(/4%<04% ' $Y)3M5' ) Độngm ' 4% E:)X5!0#)+, > ( Hỗn tạpm 5 q  $4 &  1) '  q 3+7 E : 34 4 4 5' )-4%3+7 E:34 ' 'PF " 5' ) Vượt qua phạm vi một tổ chứcm E  " $4 '  & ='   B E :5' )% ' "/X:3+7=r")GX ! < L sP  $4 &='  )4<B!  "-P [<3M 4 %)0"/! " VLịch sử ra đời t'9)2 1)&'3+7 E:Eu+=)m Hình 1-1 Sự phát triển từ Networking đến Grid Computing P =@ "   6 1) & ' 3+7 34 " ZZ- S) 4fff)2 Lvj*")G G  ' "[' 9&'$4 )=p6%"-R)! eQ Y$79 0(6e*  G P  o3%5 ' $< $4 B '  6 >  / 0? 04 $4  @   5w - 6 ( x +,  ) 2 $4 yzz{/34G `7 ['9 )X6%"- 6 ( [) 8  *   '  0  $# $4 5<  5 L )/G $7  & , 3M- L  G " )   yzzj * 3% i-{|=-63+,3734L &q `94 6( Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 9 Tiểu luận học phần Tính toán lưới &'3+7- I4yzzj/5 ' '&/'"$4"L G ) Y$7 ' ("5' )234<= GE '  ' & 4 '  3=Z0Y  6$( &'L G )-S>N ( 1) 3=Z & 34  L 1) ( L & ' ) 4 $4 ' 3+7&'=) 4- +703(+, uyzzz$7R3=5i-j}-R)" Z$7=>)2 1)5q 0 $#3+7@Gd~RS•l$4 ijjy$4=<` R3=  5 €-j-R) "( " &W  ijj€  )/ +, ''@ '  Lu `E) 6($4) ! &'- VLợi ích của Tính toán lưới ' 3,& 4&'3+7)3")Cm − T<5)'  ' 4%4A −  5<N_3M== − Rq,' ) ' X ! − Rq  B 4 % 5'  ++2  $4 '   u − Rq ;=_0#4% − )3"G B ) VPhạm vi ứng dụng &'3+7+2+, =_0#:<[ ' 4'5)8  J • 5<  & ' $4 6 3+, ) + 6 •/  5 $ " / )=pG0/B‚% ' ‚0 $#WN)-eF  '  4'J•03(37/2)> /# $#Z% $4 ' 4 '&' G' +5 G' /5)'03(/'0# ( _ƒ 1.1.2 So sánh với các mô hình, công nghệ khác T=$7 3=Z/+2)) 1) <)+)) P 6(  ' !0#==-.+$B/$< 5 q !  ) 1) G 3=Z34+P > + 1)G3+7- % ) Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 10 Tiểu luận học phần Tính toán lưới q$U E:5' ([)8+m IF"$/3=Z=+, FGJF G44 JR0=3" E:+, F'%% ' $Y)3M5' )- 3=Z= EG([<0/+, 3"R0= E ' %[<  5o04- 3=Z= K q   '  4 ' % $ & ' ( - J  R0= < [ ' 4 ' & '  ' $4 ) =p 4 % 3=Z=+2)C ' ( L C J R0=3"34=>5 , 1) 0"(L 5' )- 3=Z= +2 E 3+, 4 % L  + 4 % % R0= )XZ% > $45<0Y+,  1)4%-  E : 5' ( + $U E : & '  # + G+2,F ( 1) &'3+7-%> R056<34 G G  '  "  7 4>  E34+7  6(( ''-RL+fZ/&'3+7<7G! "5 +2 Y5)' G  " G  L   E K 5'  @=> A, 3%3" -T=$7")4dQiQl9&'3+7 n o +2 =_0# ) =p„3Z $43"4%5'  )-  .E  /$7 '  6(<5' /0L@ A o<E) ' C   3>  .+5' (340 o<E)C4%< '$4$6 YG37- 1.1.3 Phân loại mạng lưới +7+2+,  4F@0"5' Z!0# #:F  Z q  1)X ! <))3+7F Z&  1)4% +,  )=p-S)34G=L0"3+7…€†m VDepartmental Grids − Cluster Gridsm C G F   ( L 5 , 3" ;   G:  N P  +2 0Y- .E Y ,  '  ! 0# % (&'$4637 − Infra Gridsm 0 |   N ;  O) G 3+7 L + $(  =_ Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 11 [...]... (Software and License): về phương diện phần mềm trong môi trường tính toán lưới thì mức độ ổn định của ứng dụng phần mềm và bản quyền phần mềm là hai vất đề cần được quan tâm nhất 5 Các thiết bị đặc biệt: một vài nút trên lưới có thể có những thiết bị đặc biệt, chẳng hạn các thiết bị quân sự, y tế, hay các thiết bị chuyên dụng khác 1.3 Các chuẩn cho tính toán lưới Lưới tính toán thường gồm một tập... nguyên tính toán thương mại mà được duy trì, quản lý bởi các nhà cung cấp dịch vụ Service Grids: cung cấp truy xuất tới các tài nguyên mà có thể được mua bởi một tổ chức 1.2 Kiến trúc và thành phần chính của hệ thống lưới 1.2.1 Tổng quan kiến trúc lưới Lưới được xây dựng trên nền tảng kiến trúc mở và phân tầng Trong mỗi tầng của lưới, các thành phần chia sẻ những thuộc tính chung và được bổ sung những tính. .. dành riêng cho tính toán như các siêu máy tính hoặc nhóm máy tính hiệu năng cao * Data Grids Tài nguyên chủ yếu được chia sẻ trong mạng lưới này là dữ liệu Nó được xây dựng nhằm tối ưu các thao tác hướng dữ liệu như lưu trữ, truy xuất, trao đổi Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 12 Tiểu luận học phần Tính toán lưới * Utility Grids Utility grids là mạng lưới bao gồm các... Các thành phần chính trong mô hình chức năng của lưới 1.4.1 Bảo mật Bảo mật luôn là một thành phần quan trọng trong bất kì hệ thống tính toán nào trong đó có môi trường lưới Khi người sử dụng thực hiện công việc Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 22 Tiểu luận học phần Tính toán lưới từ xa trên hệ thống khác, họ thường quan tâm tới việc liệu hệ thống đó có đảm bảo được... phần quan trọng trong tính toán lưới nó cho phép truy nhập tài nguyên trên lưới với khối lượng lớn hàng giga-bytes thậm chí hàng tera- bytes dữ liệu Quản lý dữ liệu phải đảm bảo được tính an toàn và ổn định trong quá trình di chuyển dữ liệu giữa các nút trong mạng lưới để hỗ trợ quá trình thực thi các công việc trong hệ thống tính toán lưới 1.4.3.1 Giao thức truyền tập tin mạng lưới GridFTP GridFTP... PFN đó − Về tính toàn vẹn cục bộ: quản lý tính toàn vẹn giữa nội dung của tên lôgic Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 32 Tiểu luận học phần Tính toán lưới với nội dung thực sự được lưu trên các hệ thống lưu trữ − Về bảo mật: thông tin trong LRC có thể liên quan đến điều khiển truy cập, vì thế hỗ trợ kỹ thuật chứng thực và xác nhận khi xử lý yêu cầu từ xa − Về sự lan... khác trong lưới 1.2.2 Các thành phần theo mô hình chức năng Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 15 Tiểu luận học phần Tính toán lưới Hình 1-3 Các thành phần theo mô hình chức năng Nhìn từ hình trên ta thấy về mặt chức năng thì lưới gồm các thành phần sau: 1 Cổng tương tác (Grid portal): là một giao diện cho phép người dùng sử dụng các ứng dụng lưới, do đó lưới trở nên... mạng đóng vai trò là cơ sở hạ tầng để truyền số liệu và các thông tin giám sát công việc giữa các điểm trong mạng lưới Băng thông mạng là một thuộc tính rất quan trọng liên quan đên hiệu suất lưới 2 Thành phần tính toán (Computation): được cung cấp bởi các bộ xử lý trong lưới, chúng đa dạng về tốc độ, kiến trúc, nền tảng phần mềm và lưu trữ 3 Thành phần lưu trữ (Storage): dữ liệu có thể được lưu trữ phân... dụng tài nguyên đó Duy Tùng – Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 26 Tiểu luận học phần Tính toán lưới Hình 1-7 Mô hình thương lượng tài nguyên lưới 1.4.2.2 Hệ quản trị tài nguyên GRAM GRAM là dịch vụ được xây dựng trên cơ chế bảo mật GSI, nó đóng vai trò là bộ quản lý, phân chia tài nguyên trong toàn bộ hệ thống tính toán lưới * Kiến trúc của GRAM Kiến trúc bên ngoài: Để có thể... nguyên tính toán − Desktop Grids: đây là mạng lưới tập hợp sức mạnh tính toán của các máy tính để bàn Các mạng lưới thuộc dạng này chủ yếu chạy trên nền Windows − Server Grids: một số tập đoàn lớn thường có các tài nguyên máy chủ được quản lý bởi bộ phận IT nằm tại nhiều địa điểm khác nhau Họ muốn tạo Server Grids để chia sẻ những tài nguyên đắt giá này − High-Performance/Cluster Grids: mạng lưới gồm . ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÀI THU HOẠCH MÔN HỌC TÍNH TOÁN LƯỚI  NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN LƯỚI NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG MÔ HÌNH THỬ NGHIỆM TRÊN LINUX VÀ. Lớp Cao học Khoa học máy tính K6- ĐH Công nghệ Thông tin 7 Tiểu luận học phần Tính toán lưới CHƯƠNG 1. TÍNH TOÁN LƯỚI 1.1 Tổng quan về Tính toán l ướ i 1.1.1 Tính toán lưới là gì? V Định nghĩa W. 8 1.1 Tổng quan về Tính toán lưới 8 1.1.1 Tính toán lưới là gì? 8 1.1.2 So sánh với các mô hình, công nghệ khác 10 1.1.3 Phân loại mạng lưới 11 1.2 Kiến trúc và thành phần chính của hệ thống lưới