Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 69 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
69
Dung lượng
1,51 MB
Nội dung
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đức Thịnh GIẢI HỆ PHƢƠNG TRÌNH TUYẾN TÍNH KÍCH THƢỚC LỚN TRÊN NỀN TẢNG GRID COMPUTING KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thông tin Cán hƣớng dẫn: Tiến sĩ Nguyễn Minh Hằng HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Trước hết lời cảm ơn sâu sắc em đến người giúp đỡ em hồn thành khóa luận tốt nghiệp này, dấu mấu quan trọng đời nghiệp em Em xin chân thành cảm ơn Khoa công nghệ thông tin trường đại học Công Nghệ Đại học quốc gia Hà Nội tạo điều kiện cho em thực khóa luận Khóa luận khơng thể hồn thành thiếu bảo tận tình TS.Nguyễn Minh Hằng, người định hướng, hỗ trợ em suốt thời gian tháng thực khóa luận Em xin chân thành cảm ơn Một lời cảm ơn từ đáy lòng xin gửi đến cha mẹ, người nuôi nấng thành người để có ngày hơm Em xin cảm ơn quý thầy cô dạy dỗ em suốt năm học nhà trường, cung cấp cho em kiến thức quý báu để bước vào đời Cảm ơn bạn người động viên tinh thần bên giúp đỡ tơi tơi gặp khó khăn Thời gian tháng vừa qua, cố gắng để hoàn thành khóa luận cách tốt khơng thể tránh sai sót Em xin kính mong nhận góp ý bảo quý thầy cô Xin chân thành cảm ơn Sinh viên Nguyễn Đức Thịnh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Lời mở đầu Tóm tắt khóa luận .3 Chương : Tổng quan công nghệ Grid Computing .4 1.1 Lịch sử phát triển công nghệ Grid 1.2 Khái niệm 1.3 Các kiểu tài nguyên Grid 1.3.1 Tài ngun tính tốn 1.3.2 Tài nguyên lưu trữ 1.3.3 Phương tiện liên lạc 1.3.4 Phần mềm, ứng dụng 1.3.5 Các thiết bị đặc biệt 1.4 Phân lọai hệ thống Grid 1.4.1 Grid Tính tốn (Computation Grid) 1.4.2 Grid Dữ liệu (Data Grid) 1.4.3 Scavenging Grid 1.5 Kiến trúc Grid 1.5.1 Bản chất Kiến trúc Grid 1.5.2 Chi tiết Kiến trúc Grid tổng quát 10 1.5.2.1 Tầng Fabric 10 1.5.2.2 Tầng Connectivity 11 1.5.2.3 Tầng Resource 12 1.5.2.4 Tầng Collective 13 1.5.2.5 Tầng Application 13 1.6 Grid computing đem lại lợi ích ? 13 1.6.1 Khai thác tối đa tài nguyên xử lý 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1.6.2 Khả xử lý song song 14 1.6.3 Chia tài nguyên ảo tổ chức ảo 14 1.6.4 Sự truy cập đến tài nguyên khác 14 1.6.5 Cân tài nguyên 15 1.6.6 Độ tin cậy 16 Chương 2: Globus Toolkit 17 2.1 Khái niệm Globus 17 2.2 Nguyên nhân thúc đẩy phát triển Globus 18 2.3 Kiến trúc Globus 19 2.3.1 Các thành phần thường trực 19 2.3.1.1 Java WS Core 19 2.3.1.2 C WS Core 19 2.3.2 Các thành phần bảo mật 19 2.3.2.1 Cơ bảo mật Grid GSI 20 2.3.3 Các thành phần quản lý liệu 25 2.3.3.1 GridFTP 25 2.3.3.2 Information services 26 2.3.3.3 Index Service 27 2.3.4 Các thành phần quản lý tài nguyên 27 2.3.4.1 Kiến trúc quản lý tài nguyên Globus Toolkit 27 2.3.4.2 Chi tiết thành phần 29 2.3.4.2.1 GRAM 29 2.3.4.2.2 Pre-WS GRAM 32 2.3.4.2.3 WS-GRAM 34 Chương : MPICH MPICH-G2 40 3.1 MPI 40 3.2 MPICH 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.3 MPICH-G2 41 3.3.1 Quá trình thực thi ứng dụng 42 Chương : Thí nghiêm triển khai hệ thống Grid cho mục đích tính tốn song song sử dụng Globus Toolkit MPICH-G2 44 4.1 Triển khai Globus Toolkit 44 4.1.1 Chuẩn bị phần cứng phần mềm hệ thống 44 4.1.2 Cài đặt Globus Toolkit 45 4.1.3 Cấu hình thành phần globus toolkit 47 4.1.3.1 Cấu hình bảo mật 47 4.1.3.2 Cấu hình dich vụ GridFTP 50 4.1.3.3 Cấu hình gatekeeper 51 4.1.3.4 Cấu hình WS GRAM 52 4.2 Triển khai MPICH-G2 53 Chương : Chạy đánh giá hiệu hệ thống Grid 54 5.1 Giới thiệu toán thử nghiệm 54 5.1.1 Tính tốn số PI 54 5.1.2 Hệ phương trình tuyến tính 54 5.1.3 Bài tốn quy hoạch tuyến tính 55 5.2 Cách thức chạy toán hệ thống Grid xây dựng công cụ Globus Toolkit MPICH 57 5.3 Kết chạy chương trình đánh giá kết 59 5.3.1 Kết chạy chương trình tính số PI 59 5.3.2 Kết chạy chương trình giải hệ phương trình tuyến tính 59 5.3.3 Kết giải toán quy hoạch tuyến tính 60 5.3.4 Nhận xét chung 62 Kết luận 63 Tài liệu tham khảo 64 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời mở đầu Trong thập niên qua, công nghệ thông tin giới phát triển đóng góp nhiều vào phát triển chung giới Chúng ta bắt gặp ứng dụng công nghệ thông tin khắp nơi, nhiều người sở hữu máy tính cá nhân, sở hữu điện thoại, cập nhập thông tin qua trang web, kết nối với qua phần mềm chat… Đấy thứ hữu hàng ngày mà trực tiếp sờ thấy sử dụng nó, ẩn sau nghiên cứu, công nghệ nhiều nhà khoa học phát triển giới nghiên cứu để đóng góp vào phát triển cơng nghệ thơng tin nói riêng khoa học giới nói chung Khi nói đến máy tính, khái niệm hay nhắc đến máy tính để bàn nhỏ gọn hay laptop cá nhân Nhưng thiết bị cá nhân giúp giải trí, làm việc, cịn với máy tính phải xử lý lượng liệu từ khắp nơi giới cách thường xuyên liên tục Khi ,chúng ta lại bắt gặp khái niệm siêu máy tính (Super Computer) Những siêu máy tính giới xây dựng đắt tiền với hàng trăm ngàn hay hàng triệu vi xử lý, để đầu tư cho hệ thống máy tốn nhiều tiền cho việc triển khai bảo dưỡng, với mục đích sử dụng kết nối người dùng hay tổ chức có chung mục đích xử lý hay tận dụng tài nguyên máy tính người dùng máy tính để tạo thành hệ thống mạnh mẽ phục vụ cho việc giải toán khoa học, thương mại, lĩnh vực nghiên cứu đưa ra, Grid Computing Nói cách tống quát Grid loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển lựa tập hợp nguồn tài nguyên độc lập rải rác địa lý, tùy theo khả sẵn có, cơng suất, hoạt động, chi phí u cầu chất lượng dịch vụ người sử dụng Grid Computing có nhiều ưu điểm mà áp dụng cho việc nghiên cứu ưu điểm áp dụng cho doanh nghiệp Trên giới, ý tưởng Grid Computing hình thành nghiên cứu từ lâu thực bùng nổ vào vài năm trở lại tổ chức tập đoàn lớn giới nghiên cứu triển khai Tại Việt Nam, công việc nghiên cứu Grid Computing triển khai từ lâu gần đề tài cấp nhà nước “Nghiên cứu, phát triển hệ thống tính tốn lưới để hỗ trợ giải tốn có khối lượng tính LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com toán lớn (VNGrid)” PGS.TS Vũ Đức Thi làm chủ nhiệm đạt số thành tựu định Nhận thấy Grid computing hướng nghiên cứu quan tâm Việt Nam giới lợi ích to lớn mà mang lại Em định chọn đề tài “Giải giải hệ phương trình tuyến tính kích thước lớn tảng Grid Computing” với mục đích tìm hiểu Cơng nghệ Grid ,những khái niệm đặc điểm liên quan, thí nghiệm tạo hệ thống Grid nhỏ gói phần mềm GLOBUS TOOLKIT MPICH-G2 để kiểm nghiệm hiệu hệ thống grid chạy tốn Giải hệ phương trình tuyến tính kích thước lớn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tóm tắt khóa luận Thơng tin chung khóa luận Tên đề tài : Giải hệ phương trình tuyến tính tảng Grid Computing Giảng viên hướng dẫn : TS.Nguyễn Minh Hằng Sinh viên thực : Nguyễn Đức Thịnh Tóm tắt nội dung khóa luận Khóa luận thực nghiên cứu tìm hiểu vấn đề chung công nghệ Grid mặt khái niệm, kiến trúc hệ thống Grid ích lợi Grid mang lại Cung cấp nhìn tổng quan Grid Tìm hiểu mơ hình hoạt động gói phần mềm Globus Toolkit, gói phần mềm giúp xây dựng hệ thống Grid, vấn đề thực triển khai tạo dựng hệ thống Grid với Globus Toolkit Tìm hiểu MPICH, MPICH-G2, nguyên tắc hoạt động MPICH kết hợp với Globus Toolkit để tạo dựng hệ thống Grid phục vụ việc tính tốn song song sử dụng ngôn ngữ C MPI Thử nghiệm tốn giải hệ phương trình tuyến tính theo thuật toán song song hệ thống Grid để xem cách thức hoạt động ưu điểm khả kết hợp xử lý máy tính khác Các công cụ đƣợc sử dụng triển khai thử nghiệm Globus Toolkit 4.2.1 Centos 5.4 MPICH-1.2.7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương : Tổng quan công nghệ Grid Computing 1.1 Lịch sử phát triển công nghệ Grid Trong năm gần đây, nghe nhiều đến cơng nghệ Grid ưu điểm Vậy Grid xuất từ nào, từ ? Trong q khứ, ý tưởng tính tốn có liên quan đến Grid xuất hiện, với tên gọi khác cách tiếp cận khác Ví dụ ý tưởng “chia sẻ lực tính tốn” xuất từ năm 60-70 kỷ XX, lúc tồn lực tính tốn chia sẻ từ máy mainframe Năm 1965, người phát triển hệ điều hành Multics (tiền thân hệ điều hành Unix) đề cập đến việc sử dụng lực tính tốn tiện ích, quan điểm gần với quan điểm Grid Đó hệ thống cung cấp lực tính toán tương tự hệ thống cung cấp điện, nước sử dụng sống hàng ngày Người dùng muốn sử dụng tài ngun tính tốn để xử lý công việc, cần cắm thiết bị vào hệ thống cung cấp, sử dụng trả tiền giống cắm thiết bị điện vào lưới điện Tuy trước có nhiều ý tưởng Grid nguồn gốc Grid thức xác định vào năm 1990, thuật ngữ “siêu tính tốn” (metacomputing) đời, dùng để mô tả dự án kết nối trung tâm siêu máy tính Mỹ nhằm kết hợp sức mạnh xử lý nhiều siêu máy tính lại với Đến năm 1995, dự án siêu tính tốn quan trọng, ảnh hưởng lớn đến công nghệ tảng dự án Grid ngày FAFNER (Factoring via NetworkEnabled Recursion) I-WAY(Information Wide Area Year) đời Khái niệm Grid đời phịng thí nghiệm Argonne National Laboratory vào tháng 7/1997, sau đưa vào sách "The Grid: Blueprint for a New Computing Infrastructure" viết tiến sỹ Ian Foster (Argonne National Laboratory) Carl Kesselman (University of Southern California) năm 1998 Ian Foster tham gia dự án I-WAY, Carl Kesselman người tham gia dự án Globus Toolkit, dự án tảng công nghệ Grid Metacomputing LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Từ đến nay, việc phát triển cơng nghệ Grid trở nên sôi động với tham gia nghiên cứu, đầu tư nhiều tổ chức, tập đoàn công nghệ thông tin, nhiều quốc gia, thu thành tựu bước đầu Có thể nói, việc phát triển xây dựng hệ thống Grid kế thừa phát triển ý tưởng, công nghệ hành mức cao Sự phát triển không ngừng sở hạ tầng, phần cứng máy tính, mạng giúp hệ thống Grid ngày thực nhiều điều ý tưởng trước 1.2 Khái niệm Một định nghĩa Grid hoàn chỉnh đưa tiến sỹ Ian Foster sau “Grid loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác dựa tính sẵn sàng, khả năng, chi phí chúng yêu cầu chất lượng dịch vụ (QoS) người dùng để giải tốn, ứng dụng có quy mơ lớn khoa học, kỹ thuật thương mại Từ hình thành nên “tổ chức ảo” (Virtual Organization (VO)), liên minh tạm thời tổ chức tập đoàn, liên kết với để chia sẻ tài nguyên và/hoặc kỹ nhằm đáp ứng tốt hội kinh doanh dự án có nhu cầu lớn tính tốn liệu, tồn việc liên minh dựa mạng máy tính” Một hệ thống Grid có đặc trưng sau: Có kết hợp, chia sẻ tài ngun khơng quản lý tập trung Grid tích hợp phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác tổ chức, hay nhiều tổ chức khác Công nghệ Grid tập trung giải vấn đề bảo mật, sách quản trị, chi phí, thành viên,… nảy sinh trình chia sẻ sử dụng tài nguyên Sử dụng giao diện giao thức chuẩn, mang tính mở, đa dụng Grid xây dựng giao thức giao diện tổng quát, đa dụng để giải vấn đề chứng thực người dùng, phân quyền, tìm kiếm truy xuất tài nguyên Đáp ứng yêu cầu cao chất lượng dịch vụ Grid cho phép sử dụng phối hợp tài nguyên để cung cấp nhiều loại dịch vụ với mức chất lượng khác nhau, liên quan đến ví dụ thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp người dùng Mục tiêu phải phối hợp để khả hệ thống sau kết hợp phải lớn hẳn tổng khả đơn vị cấu thành nên Grid LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Các bước làm với máy b2, b4 tương tự bước làm với máy b1 4.1.3.2 Cấu hình dich vụ GridFTP Cho máy b, b1, b2, b4 Với quyền người dùng root tạo file /etc/xinetd.d/gridftp có nội dung -service gsiftp { instances = 100 socket_type = stream wait = no user = root env GLOBUS_LOCATION=/usr/local/globus-4.2.1 += env LD_LIBRARY_PATH=/usr/local/globus-4.2.1/lib += server 4.2.1/sbin/globus-gridftp-server server_args = -i log_on_success += DURATION disable = no = /usr/local/globus- } -Thêm dòng gsiftp 2811/tcp vào file /etc/services [root@b~]#echo “gsiftp 2811/tcp” >> /etc/services dòng lệnh cho phép dịch vụ /usr/local/globus-4.2.1/sbin/globus-gridftp-server chạy với cổng 2188 ,giao thức TCP 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khởi động lại dịch vụ xinetd [root@b~]#/etc/init.d/xinetd start [root@b~]#/etc/init.d/xinetd reload Kiểm tra xem dịch vụ chạy chưa ? [root@b~]#netstat –an | grep 2118 Kiểm tra gridFTP hoạt động hay chưa Với quyền người dùng thinh [thinh@b~]grid-proxy-init -verify –debug Nếu không gặp báo lỗi , thử kiểm tra việc copy sau : [thinh@b~]globus-url-copy gsiftp://b.ar.com/etc/group /home/thinh/ Copy thành công tức dịch vụ gridFTP hoạt động 4.1.3.3 Cấu hình gatekeeper Cho máy b, b1, b2, b4 Tạo file /etc/xinetd.d/globus-gatekeeper với nội dung sau : -service gsigatekeeper { socket_type = stream protocol = tcp wait = no user = root env = LD_LIBRARY_PATH=/usr/local/4.2.1/lib server gatekeeper = /usr/local/globus-4.2.1/sbin/globus- 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com server_args = -conf 4.2.1/etc/globus-gatekeeper.conf /usr/local/globus- disable = no env = GLOBUS_TCP_PORT_RANGE=40000,50000 } -Thêm dòng gsigatekeeper 2119/tcp vào file /etc/service Khởi động lại dịch vụ xinetd Kiểm tra xem dịch vụ hoạt động chưa lệnh netstat 4.1.3.4 Cấu hình WS GRAM Cho máy b, b1, b2, b4 Với quyền root ,dùng lệnh visudo thay đổi thơng tin sau : Chọn comment dịng # Defaults requiretty Thêm thông tin sau vào cuối file globus ALL=(thinh) NOPASSWD: /usr/local/globus4.2.1/libexec/globus-gridmap-and-execute -g /etc/gridsecurity/grid-mapfile /usr/local/globus4.2.1/libexec/globus-job-manager-script.pl * globus ALL=(thinh) NOPASSWD: /usr/local/globus4.2.1/libexec/globus-gridmap-and-execute -g /etc/gridsecurity/grid-mapfile /usr/local/globus4.2.1/libexec/globus-gram-local-proxy-tool * Dòng lệnh thêm vào file /etc/sudoer cho phép người dùng globus có quyền thực thi file nằm thư mục riêng user thinh, đảm bảo cho người dùng thinh thực thi các ứng dụng 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Như cấu hình thành phần Globus toolkit để dảm bảo cho người dùng thinh có quyền thực thi file thông qua chế hoạt động globus 4.2 Triển khai MPICH-G2 Thực với máy Với quyền người dùng root, tạo thư mục /opt/mpich Cấp quyền sở hữu thư mục cho người dùng globus: [root@b~]#chown globus:globus /opt/mpich Download mã nguồn chương trình mpich từ trang chủ mpich http://www.mcs.anl.gov/research/projects/mpich2/ , mã nguồn có dạng mpich.tar.gz Giải nén mã nguồn công cụ tar [globus@b~]$tar xzvf mpich.tar.gz Thực bước cấu hình kiểm tra mơi trường cài đặt, biên dịch cài đặt Kiểm tra môi trường cài đặt : [globus@b mpich-1.2.7-p1]$./configure device=globus2:-flavor=gcc32dbg –prefix=/opt/mpich – Thư mục định cài đặt thư mục /opt/mpich, có cài đặt kết nối tới cơng cụ globus toolkit Tham số device=globus2 dùng để công cụ kết nối mpich với globus toolkit Bước thành công, tạo makefile cho phép công cụ make tự động biên dịch chương trình Biên dịch [globus@b mpich-1.2.7-p1]$make Cài đặt [globus@b mpich-1.2.7-p1]$make instal 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương : Chạy đánh giá hiệu hệ thống Grid Hệ thống Grid mini gồm máy tính kết nối vừa tạo hoạt động nào, có hiệu ? Trong chương phần thử nghiệm chương trình tính tốn song song khác với kích thước tốn khác để dánh giá hiệu hệ thống Grid Các chương trình sử dụng bao gồm : - Chương trình tính tốn số PI - Chương trình giải hệ phương trình tuyến tính (HPTTT) - Chương trình giải tốn quy hoạch tuyến tính (QHTT) 5.1 Giới thiệu tốn đƣợc thử nghiệm 5.1.1 Tính tốn số PI Hằng số Pi, ký hiệu toán học π, xác định chu vi đường trịn chia cho đường kính đường trịn Mục tiêu chương trình dùng giải thuật để tính tốn số Pi với độ xác phần thập phân cho trước Mã nguồn chương trình kèm phần mềm MPICH 5.1.2 Hệ phƣơng trình tuyến tính Trong tốn học (cụ thể đại số tuyến tính), hệ phƣơng trình đại số tuyến tính hay đơn giản hệ phương trình tuyến tính tập hợp n phương trình tuyến tính với k biến số: 𝑎1,1 𝑥1 + 𝑎1,2 𝑥2 + ⋯ + 𝑎2,1 𝑥1 + 𝑎2,2 𝑥2 + ⋯ + 𝑎3,1 𝑥1 + 𝑎3,2 𝑥2 + ⋯ + … 𝑎𝑛,1 𝑥1 + 𝑎𝑛 ,2 𝑥2 + ⋯ + 𝑎1,𝑘 𝑥𝑘 = 𝑏1 𝑎2,𝑘 𝑥𝑘 = 𝑏2 𝑎3,𝑘 𝑥𝑘 = 𝑏3 𝑎𝑛 ,𝑘 𝑥𝑘 = 𝑏𝑛 Hệ phương trình viết theo dạng phương trình ma trận: Ax=B 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 𝑎1,1 𝑎1,2 𝑎1,3 … 𝑎1,𝑘−1 𝑎2,1 𝑎2,2 𝑎2,3 … 𝑎2,𝑘−1 ⋮ ⋮ ⋮ ⋮ 𝑎𝑛,1 𝑎𝑛 ,2 𝑎𝑛 ,3 … 𝑎𝑛,𝑘−1 𝑎1,𝑘 𝑎2,𝑘 𝑎𝑛,𝑘 𝑥1 𝑏1 𝑥2 𝑏2 ⋮ = ⋮ 𝑥𝑘 𝑏𝑘 Mục tiêu tốn tìm nghiệm x hệ phương trình Các trường hợp xảy nghiệm tốn là: - Hệ khơng có nghiệm (vơ nghiệm) - Hệ có nghiệm - Hệ có vơ số nghiệm Kết chạy tốn lấy thời điểm giải xong HPTTT có kích thước mlog x mlog giải toán QHTT Lý giải thuật áp dụng với tốn QHTT có bước phải giải HPTTT Giải thuật áp dụng toán QHTT trình bày sau 5.1.3 Bài tốn quy hoạch tuyến tính Có thể tạm định nghĩa quy hoạch tuyến tính lĩnh vực tốn học nghiên cứu toán tối ưu mà hàm mục tiêu (vấn đề quan tâm) ràng buộc (điều kiện tốn) hàm phương trình bất phương trình tuyến tính Thuật tốn áp dụng thuật toán Newton tổng quát dùng để giải tốn quy hoạch tuyến tính dạng chuẩn sau : f* cT x, X x xX n : Ax b, x 0n (P) Mục đích tốn: với aij, bi biết trước, cần tìm xj (j=0,1….,n) cho f nhỏ Bài tốn quy hoạch tuyến tính có tính ứng dụng cao cơng việc nhà tổ chức , thiế t kế ki ̃ thuâ ̣t , quản lí điều hành cơng việc , ngày ứng dụng rô ̣ng raĩ nhiề u liñ h vực khác của cuô ̣c sớ ng Các lớp tốn quy hoạch tuyến tính thơng dụng bao gồm tốn lập kế hoạch, toán vận tải, toán túi xách, tốn đóng gói, tốn lập lịch biểu Ngồi ra, có nhiều tốn thực tế mơ hình hóa dạng tốn quy hoạch tuyến tính, ví dụ tốn tìm 55 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cấu trúc tối ưu chuỗi sinh học, mơ hình mơi trường thật, toán học hệ thống lớn, v.v Với khối lượng thơng tin ngày tăng, kích thước toán ứng dụng thực tế ngày tăng, nên việc xử dụng thuật tốn truyền thống khơng đem lại kết mong đợi Chính lý thuật tốn đề cho phép giải toán quy hoạch tuyến tính kích thước lớn (~ 106 biến, ~103 ràng buộc) Thuật toán thực tảng tính tốn song song sử dụng MPI Thuật tốn ban đầu sử dụng thuật toán gradient liên hợp, sau lấy kết sử dụng tiếp thuật tốn Newton tổng quát Có bước làm sau : Xác định dự đoán ban đầu x0 p0 , p p0 Tính gradient Gk S ( pk , , xs ) b A( xs AT pk c) , p vòng lặp thứ k phương pháp Newton để giải tốn tối đa hóa khơng ràng buộc Ở s số thứ tự vòng lặp Xác định ma trận Hessian tổng quát cho (18) H k I ADk AT A ma trận m n , ma trận chéo Dk nn xác định sau 1 if ( xs AT pk c)i ( Dk )ii T i 0 if ( xk A pk c) Như ma trận H k mm Hướng tối đa hóa xấpxỉ p tìm nghiệm hệ phương trình tuyến tính H k p Gk Vì H k ma trận dương, đối xứng bán xác định nên dùng phương pháp gradient liên hợp có tiền điều kiện để giải phương trình tuyến tính (21) Phần chéo ma trận H k dùng tiền điều kiện (preconditioner) cho bước gradient liên hợp 56 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Xác định pk 1 pk k p , với k kích thước bước chọn theo quy tắc Armijo: k max S ( pk p, , xs ) Trên thực tế tham số k đặt tất thí nghiệm tính tốn Sai vịng lặp hội tụ gán p pk 1 , tính xs 1 ( xs AT p c) , đặt p0 p lặp lại bước 2-6 5.2 Cách thức chạy toán hệ thống Grid đƣợc xây dựng công cụ Globus Toolkit MPICH Đăng nhập với người dùng globus, cụ thể trường hợp người dùng thinh Tạo proxy chứng thực cho người dùng Grid-proxy-init Biên dịch mã nguồn MPICH cung cấp công cụ mpicc để biên dịch tốn viết ngơn ngữ C Ví dụ biên dịch chương trình viết ngôn ngữ C : program1.c mpicc –o program program.c Tạo file Resource Specification Language (RSL) đặc tả công việc tính tốn cho chương trình cần chạy RSL file scripts lưu trữ thông tin chi tiết mơi trường tính tốn cụ thể cho chương trình : máy tính chạy chương trình, số lượng CPU dùng để tính tốn, lượng RAM sử dụng, thời than thực thi chương trình Cấu trúc file RSL dùng để chạy chương trình sau : + // Bắt đầu file dấu + // Mỗi máy tính chạy chương trình đặc tả tham số nằm dấu “ ( )” 57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ( &(resourceManagerContact="b.ar.com") // Host sử dụng để chạy chương trình (count=2) // Số lần chạy (label="subjob 0") // Nhãn tiến trình phụ (environment=(GLOBUS_DUROC_SUBJOB_INDEX 0) // Môi trường thực thi subjob (LD_LIBRARY_PATH /usr/local/globus-4.2.1/lib/)) // Đường dẫn đến thư viện GT // Thư mục chứa chương trình (directory=/home/thinh/) (executable=/home/thinh/cpi) // Đường dẫn đến chương trình cần thực thi host ) ( &(resourceManagerContact="b1.ar.com") (count=2) (label="subjob 1") (environment=(GLOBUS_DUROC_SUBJOB_INDEX 1) (LD_LIBRARY_PATH /usr/local/globus-4.2.1/lib/)) (directory=/home/thinh/) (executable=/home/thinh/cpi) ) …… Sử dụng globusrun để chạy chương trình Globusrun –w –f file.rsl Globurun chịu trách nhiệm đọc nội dung file RSL thực thi chương trình với đặc tả nêu, kết chạy hiển thị hình máy tính 58 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5.3 Kết chạy chƣơng trình đánh giá kết 5.3.1 Kết chạy chƣơng trình tính số PI Số lƣợng máy Thời gian 0.000083 0.003505 0.009917 Đánh giá : Đây tốn nhỏ nên chương trình thực thi, thời gian trao đổi host với làm cho việc chạy nhiều máy nhiều nhiều so với chạy máy 5.3.2 Kết chạy chƣơng trình giải hệ phƣơng trình tuyến tính Ma trận hệ phương trình có kích thước 2000x2000 Số lƣợng máy Thời gian 90.6723 48.6365 27.2324 Đánh giá : Khi kích thước tốn tăng lên nhiều lần ,thời gian thực thi chương trình máy tốt rõ rệt so với thực thi máy Cụ thể thời gian thực thi máy giảm gần 3.3 lần so với thực thi trên máy 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 100 90 80 70 60 50 t (s) 40 30 20 10 computer computer computer 5.3.3 Kết giải tốn quy hoạch tuyến tính Kích thước tốn triển khai : 5000 biến 1000 ràng buộc Số lƣợng máy Thời gian 232.541 124.578s 69.4445 60 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 250 200 150 t (s) 100 50 computer computer computer Trong toán này, tảng Grid Computing lại lần thể ưu điểm việc giải tốn kích thước lớn Nhưng có vấn đề độ sai số kết tốn Có thể quan sát bảng kết thực tốn quy hoạch tuyến tính để đánh giá Bảng thể kết tính tốn thực số lượng máy khác 1, 2, 4 |Ax-b| 7.59468e+12 4.96612e+12 4.78923e+12 |(A^t u - c)_+| 1.97028e+08 2.76091e+08 2.09592e+08 |c^t x - b^t u| 3.72625e+12 3.6899e+12 6.06735e+12 Lấy kết thực tốn máy làm chuẩn, từ thấy, có nhiều máy tham gia mạng grid để tính tốn, độ chênh lệch lớn Đây điểm yếu tính tốn song song, thời gian thực nhanh 61 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com kèm độ xác giảm Muốn giảm thiểu sai số cần phải tạo thuật toán song song giải tốt vấn đề 5.3.4 Nhận xét chung Trong trình thực thi chương trình chạy song song, có nhiều giao tiếp máy xảy để đưa đến kết cuối cùng, điều có nghĩa khoảng thời gian định cho giao tiếp Vì lý đó, với tốn có kích thước lớn hệ thống tỏ tối ưu thời gian dành cho giao tiếp máy nhỏ nhiều so với thời gian thực thi tốn lớn Qua đây, thấy, với hệ thống triển khai, công nghệ grid tỏ hiệu thực cần tính tốn tốn có kích thước lớn Càng nhiều máy tham gia, thời gian giải toán nhanh Nhưng Grid bộc lộ khuyết điểm khả sai số giải toán này, nhiên vấn đề giải 62 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kết luận Kết thúc khóa luận “giải hệ phương trình tuyến tính kích thước lớn tảng Grid computing”, kết thu bao gồm : Lý thuyết Khóa luận đề cập cách tổng quan khái niệm, kiến trúc lợi ích hệ thống Grid thực tế Chỉ đặc điểm, kiến trúc gói phần mềm Globus, gói phần mềm tiếng để triển khai hệ thống Grid Chỉ kiến thức chung gói phần mềm MPICH, MPI, thư viện công cụ để tạo chương trình song song thực thi chương trình Cơ chế làm việc kết hợp Globus toolkit MPICH để chạy toán song song hệ thống Grid Thực hành kết Cài đặt cấu hình Globus Toolkit để xây dựng thành công hệ thống Grid gồm máy tính khác Cấu hình cài đặt thành công MPICH để kếp hợp với Globus Toolkit tạo thành hệ thống Grid thực thi tốn song song viết ngơn ngữ C kết hợp với MPI Thử nghiệm toán : tính tốn số PI, giải hệ phương trình tuyến tính kích cỡ lớn, giải tốn quy hoạch tuyến tính kích thước lớn chứng minh hiệu hệ thống Grid xây dựng giải tốn lớn Khóa luận đóng góp phần giúp người sau việc tìm hiểu Cơng nghệ Grid việc tính tốn tốn kích thước lớn tiếp cận cách nhanh chóng dễ dàng hơn.Hướng phát triển khóa luận tiến tới triên khai xây dựng hệ thống Grid môi trường thật, phục vụ trực tiếp cho nhu cầu thực tế, cụ thể phòng, đơn vị chun tính tốn hiệu cao 63 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liệu tham khảo Tài liệu tiếng Việt [1] Nguyễn Mạnh Dũng,Nguyễn Đăng Thành – Đại học khoa học tự nhiên TP.Hồ Chí Minh: Tìm hiểu cơng nghệ Grid Computing ứng dụng thử nghiệm toán quản trị mạng Tài liệu tiếng nước [2] Ian Foster ,Carl Kesselman, Steven Tuecke : The Anatomy of the Grid Enabling Scalable Virtual Organizations [3] Ian Foster : Globus Toolkit Version 4: Software for Service-Oriented Systems www.globus.org [4] Nicholas T Karonis, Brian Toonen and Ian Foster : MPICH-G2:A Grid-enabled implementation of the Message Passing Interface [5] William Gropp and Ewing Lusk : Installation and User’s Guide to MPICH, a Portable Implementation of MPI Version 1.2.7 The globus2 device for Grids [6] Ian Foster, Carl Kesselman, Gene Tsudik, Steven Tuecke, : A Security Architecture for Computational Grids, 5th ACM Conference on Computer and Communication Security, www.globus.org [7] Y.G Evtushenko, V.A Garanzha, A.I Golikov, H.M Nguyen : Parallel Implementation of Generalized Newton Method for Solving Large-Scale LP Problems [8] Website : http://www.globus.org/toolkit/docs/4.2/4.2.1/ [9] Website : http://www3.niu.edu/mpi/ 64 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... Việt Nam giới lợi ích to lớn mà mang lại Em định chọn đề tài ? ?Giải giải hệ phương trình tuyến tính kích thước lớn tảng Grid Computing? ?? với mục đích tìm hiểu Cơng nghệ Grid ,những khái niệm đặc... liên quan, thí nghiệm tạo hệ thống Grid nhỏ gói phần mềm GLOBUS TOOLKIT MPICH-G2 để kiểm nghiệm hiệu hệ thống grid chạy toán Giải hệ phương trình tuyến tính kích thước lớn LUAN VAN CHAT LUONG download... công nghệ Grid Computing 1.1 Lịch sử phát triển công nghệ Grid Trong năm gần đây, nghe nhiều đến công nghệ Grid ưu điểm Vậy Grid xuất từ nào, từ ? Trong khứ, ý tưởng tính tốn có liên quan đến Grid