giải hệ phƣơng trình tuyến tính kích thước lớn trên nền tảng grid computing

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đức Thịnh GIẢI HỆ PHƢƠNG TRÌNH TUYẾN TÍNH KÍCH THƢỚC LỚN TRÊN NỀN TẢNG GRID COMPUTING KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hƣớng dẫn: Tiến sĩ. Nguyễn Minh Hằng HÀ NỘI - 2010 Lời cảm ơn Trước hết là lời cảm ơn sâu sắc của em đến những người đã giúp đỡ em hoàn thành khóa luận tốt nghiệp này, một dấu mấu quan trọng trong cuộc đời và sự nghiệp của em. Em xin chân thành cảm ơn Khoa công nghệ thông tin trường đại học Công Nghệ - Đại học quốc gia Hà Nội đã tạo điều kiện cho em được thực hiện khóa luận này. Khóa luận sẽ không thể hoàn thành nếu thiếu sự chỉ bảo tận tình của TS.Nguyễn Minh Hằng, người đã định hướng, hỗ trợ em trong suốt thời gian 3 tháng thực hiện khóa luận. Em xin chân thành cảm ơn cô. Một lời cảm ơn từ đáy lòng con xin được gửi đến cha mẹ, những người đã nuôi nấng con thành người để được có ngày hôm nay. Em xin cảm ơn các quý thầy cô đã dạy dỗ em trong suốt 4 năm học ở nhà trường, cung cấp cho em những kiến thức quý báu để bước vào đời. Cảm ơn các bạn của tôi đã là những người động viên tinh thần cũng như ở bên tôi giúp đỡ tôi khi tôi gặp khó khăn. Thời gian 3 tháng vừa qua, mặc dù đã cố gắng để hoàn thành khóa luận một cách tốt nhất nhưng vẫn không thể tránh nổi những sai sót. Em xin kính mong nhận được sự góp ý cũng như chỉ bảo của quý thầy cô. Xin chân thành cảm ơn Sinh viên Nguyễn Đức Thịnh Mc lc Li m u 1 Tóm tt khóa lun 3 ng quan v công ngh Grid Computing 4 1.1. Lch s phát trin ca công ngh Grid 4 1.2. Khái nim 5 1.3. Các kiu tài nguyên ca Grid 6 1.3.1. Tài nguyên tính toán 6  6 n liên lc 6 1.3.4. Phn mm, ng dng 7 1.3.5. Các thit b c bit 7 1.4. Phân lai các h thng Grid 7 1.4.1. Grid Tính toán (Computation Grid) 7 1.4.2. Grid D liu (Data Grid) 8 1.4.3. Scavenging Grid 8 1.5. Kin trúc Grid 8 1.5.1. Bn cht Kin trúc Grid 8 1.5.2. Chi tit Kin trúc Grid tng quát 10 1.5.2.1. Tng Fabric 10 1.5.2.2. Tng Connectivity 11 1.5.2.3. Tng Resource 12 1.5.2.4. Tng Collective 13 1.5.2.5. Tng Application 13 i nhng li ích gì ? 13 1.6.1. Khai thác t lý 13 1.6.2. Kh  lý song song 14 1.6.3. Chia s tài nguyên o và t chc o 14 1.6.4. S truy cn các tài nguyên khác 14 1.6.5. Cân bng tài nguyên 15  tin cy 16  17 2.1. Khái nim v Globus 17 2.2. Nguyên nhân thúc y s phát trin ca Globus 18 2.3. Kin trúc Globus 19 2.3.1. Các thành phng trc 19 2.3.1.1. Java WS Core 19 2.3.1.2. C WS Core 19 2.3.2. Các thành phn bo mt 19 n v bo mt Grid và GSI 20 2.3.3. Các thành phn qun lý d liu 25 2.3.3.1. GridFTP 25 2.3.3.2. Information services 26 2.3.3.3. Index Service 27 2.3.4. Các thành phn qun lý tài nguyên 27 2.3.4.1. Kin trúc qun lý tài nguyên ca Globus Toolkit 27 2.3.4.2. Chi tit các thành phn 29 2.3.4.2.1. GRAM 29 2.3.4.2.2. Pre-WS GRAM 32 2.3.4.2.3. WS-GRAM 34 -G2 40 3.1. MPI 40 3.2. MPICH 41 3.3. MPICH-G2 41 3.3.1. Quá trình thc thi mt ng dng 42 n khai h thn cho m tính toán song song s dng Globus Toolkit và MPICH-G2 44 4.1. Trin khai Globus Toolkit 44 4.1.1. Chun b v phn cng và phn mm h thng 44 t Globus Toolkit 45 4.1.3. Cu hình các thành phn ca globus toolkit 47 4.1.3.1. Cu hình bo mt 47 4.1.3.2. Cu hình dich v GridFTP 50 4.1.3.3. Cu hình gatekeeper 51 4.1.3.4. Cu hình WS GRAM 52 4.2. Trin khai MPICH-G2 53 a h thng Grid 54 5.1. Gii thiu v 3 bài toán s c th nghim 54 5.1.1. Tính toán s PI 54 5.1.2. H n tính 54 5.1.3. Bài toán quy hoch tuyn tính 55 5.2. Cách thc chy 1 bài toán trên h thc xây dng bi 2 công c Globus Toolkit và MPICH 57 5.3. Kt qu chy các t qu 59 5.3.1. Kt qu ch PI 59 5.3.2. Kt qu chi h n tính 59 5.3.3. Kt qu gii bài toán quy hoch tuyn tính 60 5.3.4. Nhn xét chung 62 Kt lun 63 Tài liu tham kho 64 1 Lời mở đầu Trong thp niên qua, nn công ngh thông tin th gii phát trit nhiu vào s phát trin chung ca th gii. Chúng ta có th bt gp nhng ng dng ca công ngh thông tin  khp m i s hu máy tính cá nhân, s hu nhng chin thoi, cp nhp thông tin qua nhng trang web, kt ni vi nhau qua nhng phn my là nhng th hin hu hàng ngày mà chúng ta trc tip s thy và s dng nó, n sau nó là nhng nghiên cu, nhng công ngh c rt nhiu nhà khoa hn trên th gii nghiên c  phát trin ca nn công ngh thông tin nói riêng và nn khoa hc th gii nói chung. n máy tính, mt khái nic nhn là nhng chic máy tính  bàn nh gn hay nhng chic laptop cá nhân. Nng thit b cá nhân giúp chúng ta gii trí, làm vic, còn vi nhng chic máy tính phi x ng d liu t khp  gii mng xuyên và liên tc bt gp khái nim siêu máy tính (Super Computer) . Nhng siêu máy tính trên th gic xây dng rt tin vu b vi x  ng h thy tn rt nhiu tin ca cho vic trin khai  bng, vi m dng kt ni nhi dùng hay t chc có chung mt m x lý hay tn dng tài nguyên máy tính ca bt k  to thành mt h thng mnh m phc v cho vic gii các bài toán v khoa hc, i, m vc nghiên cu m Nói mt cách tng quát nht Grid là mt loi h thng phân tán, b trí song song, cho phép linh hot chia s, tuyn la và tp hp các nguc lp và ri rác v a lý, tùy theo kh n có, công sut, hong, chi phí và yêu cu v chng dch v ci s dng. Grid Computing có rt nhim mà có th áp dng cho vic nghiên cng m có th áp dng cho doanh nghip. Trên th ging v Grid Computing c hình thành và nghiên cu t rt lâu c s bùng n  lc các t chp n trên th gii nghiên cu và trin khai. Ti Vit Nam, công vic nghiên cu Grid c trin khai t khá lâu và g tài cc  cu, phát trin h th h tr gii quyt các bài toán có khng tính 2 toán l do PGS.TS. Vũ Đức Thi làm chủ nhiệm c mt s thành tu nhnh. Nhn thy Grid computing là mng nghiên cu c quan tâm ti  Vit Nam c gii và nhng li ích to ln mà nó mang li. Em quynh chn  i gii h n tính c ln trên nn t vi mu Công ngh Grid là gì ,nhng khái nim liên quan, thí nghim to mt h thng Grid nh bng gói phn mm GLOBUS TOOLKIT cùng MPICH-G2  kim nghim hi  ca h thng grid khi chy bài toán Gii h n tính c ln. 3 Tóm tắt khóa luận 1. Thông tin chung về khóa luận  tài : Giải hệ phương trình tuyến tính trên nền tảng Grid Computing Ging dn : TS.Nguyễn Minh Hằng Sinh viên thc hin : Nguyễn Đức Thịnh 2. Tóm tắt nội dung khóa luận Khóa lun thc hin nghiên cu tìm hiu các v chung ca công ngh Grid v mt khái nim, kin trúc ca mt h thng Grid và nhng ích li ca Grid mang li. Cung cp mt cái nhìn tng quan v Grid. Tìm hiu mô hình hong ca gói phn mm Globus Toolkit, mt gói phn mm giúp xây dng mt h thng Grid, các v khi thc hin trin khai to dng mt h thng Grid vi Globus Toolkit. Tìm hiu v MPICH, MPICH-G2, nguyên tc hong ca MPICH kt hp vi  to dng h thng Grid phc v vic tính toán song song s dng ngôn ng C và MPI. Th nghim bài toán gii h n tính theo thut toán song song trên mt h th xem cách thc hom v kh t hp x lý gia các máy tính khác nhau. 3. Các công cụ đƣợc sử dụng triển khai và thử nghiệm  Globus Toolkit 4.2.1  Centos 5.4  MPICH-1.2.7 4 Chương 1 : Tổng quan về công nghệ Grid Computing 1.1. Lịch sử phát triển của công nghệ Grid Trong nh      c nghe nhi n công ngh Grid và nhm ca nó. Vy Grid xut hin t khi nào, t bao gi ? Trong quá kh, nhng t hin, vi nhng tên gi khác nhau và cách tip cn khác nhau. Ví d  t hin t nh-70 ca th k  c chia s t các máy mainframe.    i phát trin h u hành Multics (tin thân ca h u hành  cn vic s dt tin ích, mm rt gn vm v Grid hit h thng cung cc tính toán   thng cung cc hic s dng trong cuc sng hàng i dùng khi mun s d x lý công vic, ch cn cm thit b vào h thng cung cp, s dng và tr tin gim thit b n vào n. ng v n gc ca Grid chính thc t ng i, dùng  mô t các d án kt ni các trung tâm siêu máy tính ca M nhm kt hp sc mnh x lý ca nhiu siêu máy tính li vi nhau.   án siêu tính toán quan trng, ng ln các công ngh nn tng trong các d án Grid ngày nay là FAFNER (Factoring via Network- Enabled Recursion) và I-i. Khái ni   i  phòng thí nghim Argonne National Laboratory vào tháng     n sách "The Grid: Blueprint for a New Computing Infrastructure" vit bi tin s Ian Foster (Argonne National Laboratory) và Carl ng tham gia d án I-i tham gia d án Globus Toolkit, mt d án nn tng ca công ngh Grid và Metacomputing. 5 T n nay, vic phát trin công ngh Grid tr nên rng vi s tham gia nghiên ca nhiu t chc, tp  thông tin, nhiu qu c nhng thành tu. Có th nói, vic phát trin và xây dng h thng Grid là s k tha và phát tring, các công ngh hin hành  m phát trin không ngng c  h tng, phn cng máy tính, m    thng Grid ngày nay thc hic nhi 1.2. Khái niệm M Grid khá hoàn chi tin s  “Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính” Mt h thng Grid có nhsau:  Có s kt hp, chia s c qun lý tp trung Grid tích hp và phi hi dùng thuc nhiu vùng qun lý khác nhau, nhiu  khác nhau trong mt t chc, hay nhiu t chc khác nhau. Công ngh Grid tp trung gii quyt các v  v bo mt, chính sách qun tr, chi phí, thành y sinh trong quá trình chia s và s dng tài nguyên.  S dng các giao din và giao thc chun, mang tính mc xây dng trên các giao thc và giao din t gii quyt các v  bng thi dùng, phân quyn, tìm kim và truy xut tài nguyên.  ng yêu cu cao v chng dch v. Grid cho phép s dng phi hp các  cung cp nhiu loi dch v vi các mc chng khác nhau, liên n ví d ng, hiu sut, tính sn sàng, bo mt, cho phép kt hp nhiu ki ng nhu cu phc tp ci dùng. Mc tiêu là phi phi h kh a h thng sau khi kt hp phi ln n tng kh a t cu thành nên Grid. [...]... tế, các giải pháp Grid thường là sự kết hợp 2 hay nhiều loại khác nhau 1.4.1 Grid Tính toán (Computation Grid) Loại Grid này tập trung chủ yếu vào việc sử dụng năng lực tính toán Ở dạng Grid này, phần lớn các node là các máy tính hay các nhóm máy tính( cluster) có năng lực xử lý, tính toán rất lớn Hình thức thực hiện là chia tác vụ tính toán lớn thành nhiều công việc nhỏ thực thi song song trên các... nguyên trên Grid sao cho dưới mắt của người dùng, các tài nguyên Grid là một khối thống nhất 1.4 Phân lọai các hệ thống Grid Công nghệ Grid Computing có thể được sử dụng theo nhiều cách khác nhau để giải quyết các loại yêu cầu ứng dụng Thông thường Grid được phân loại bởi kiểu của ứng dụng cần giải quyết Có 3 loại Grid như trình bày dưới đây Tuy nhiên không có ranh giới phân biệt rõ ràng giữa các loại Grid. .. của Grid Việc phân tán các tác vụ tính toán trong Grid sẽ làm giảm rất đáng kể toàn bộ thời gian xử lý và tăng khả năng tận dụng hệ thống Thông thường một hệ thống chính sẽ chia khối dữ liệu cần xử lý thành các phần nhỏ, sau 7 đó phân phối đến các node trên Grid Mỗi node sẽ thực hiện xử lý dữ liệuvà trả kết quả về hệ thống chính để hệ này tổng hợp và trình diễn kết quả toàn cục cho người dùng 1.4.2 Grid. .. ~/.globus/ Grid- cert-request Grid- cert-info Diễn giải Lấy thông tin về chứng chỉ Ví dụ : -subject - $ Grid- cert-info –subject enddate -issuer -help “/O =Grid/ O=GridTest/OU=test.domain.com /CN=GreenStar -hours Thực hiện khởi tạo proxy và đăng nhập vào -bits Grid- proxy-init -all -startdate Grid -help Grid- proxydestroy Logout khỏi Grid, thực hiện hủy proxy cục bộ Lưu ý, các proxy ở xa không bị huỷ Grid- proxy-info... này Các Grid Dữ liệu có thể được sử dụng trong lĩnh vực khai thác dữ liệu(data mining) hoặc các hệ thống thương mại thông minh Trong trường hợp này, không chỉ có hệ thống file hay các cơ sở dữ liệu mà toàn bộ dữ liệu của tổ chức cần tập hợp lại Ở đây có thể phải kết hợp giữa Grid Dữ liệu và Grid Tính toán 1.4.3 Scavenging Grid Một Scavenging Grid thường được dùng với một lượng lớn các máy tính để bàn... ,giải quyết những bài toán lớn, có tính độc lập của các thành phần cao 1.6.3 Chia sẽ tài nguyên ảo và tổ chức ảo Grid computing cho phép tạo ra một môi trường cộng tác rộng lớn ,đồng nhất Mỗi môi trường đó là một tổ chức ảo Grid computing thậm chí còn cho phép kết hợp các tổ chức ảo, không đồng nhất với nhau để cộng tác với nhau Các tổ chức ảo này chia sẽ tài nguyên với nhau như là một mạng lưới lớn. .. người dùng cục bộ Điều này cho phép phân cho các người dùng Grid khác nhau các quyền khác nhau trên tài nguyên thông qua các người dùng cục bộ được ánh xạ Để từ chối truy cập đối với một DN, chỉ cần loại bỏ DN đó ra khỏi Grid map file Trong Globus Toolkit, trên hệ thống Linux, Grid map file được lưu trong file : /etc /grid- security /grid- mapfile Grid- mapfile là một file text, mỗi dòng là một ánh xạ 23 giữa... nguyên của Grid 1.3.1 Tài nguyên tính toán Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, kiến trúc, chạy phần mềm khác nhau Có 3 cách để khai thác tài nguyên tính toán của Grid: 1 Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid thay... dữ liệu 2.3.3.1 GridFTP Giao thức GridFTP đưa ra một cơ chế sử dụng cho mục đích truyền sữ liệu an toàn, tin cậy, đạt hiệu suất cao Grid được sử dụng rộng rãi trong các nhu cầu truyền tải 25 liệu với khối lượng lớn dữ liệu GridFTP được xây dựng trên nền tảng của giao thức FTP và đưa ra 2 kênh giao tiếp: một kênh điều khiển và 1 cây dữ liệu Các lệnh và những dòng phản hồi được di chuyển trên kênh điều... Resource) - 1.6 Grid computing đem lại những lợi ích gì ? 1.6.1 Khai thác tối đa tài nguyên xử lý Lợi ích đầu tiên cần nói đến đó là khả năng chạy một chương trình trên nhiều máy tính khác nhau Hay nói một cách khác ,đó là xử lý song song Trong một mạng lưới gồm nhiều máy tính ,rất ít khi các máy tính đều được sử dụng một cách tối đa những tài nguyên của mình ,thường thì với công việc văn phòng ,tính toán . CÔNG NGHỆ Nguyễn Đức Thịnh GIẢI HỆ PHƢƠNG TRÌNH TUYẾN TÍNH KÍCH THƢỚC LỚN TRÊN NỀN TẢNG GRID COMPUTING KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH. luận 1. Thông tin chung về khóa luận  tài : Giải hệ phương trình tuyến tính trên nền tảng Grid Computing Ging dn : TS.Nguyễn Minh Hằng