Tiểu luận môn Điện toán lưới và đám mây ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CÀI ĐẶT GLOBUS TOOLKIT TRÊN CENTOS

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Phan Hữu Phước TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CÀI ĐẶT GLOBUS TOOLKIT TRÊN CENTOS GIẢNG VIÊN: PGS.TS. Nguyễn Phi Khứ TP HỒ CHÍ MINH – 6/2014 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Phan Hữu Phước TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CÀI ĐẶT GLOBUS TOOLKIT TRÊN CENTOS GIẢNG VIÊN: PGS.TS. Nguyễn Phi Khứ TP HỒ CHÍ MINH – 6/2014 MỤC LỤC Trang 5 1. Giới thiệu Ngày nay, tính toán lưới (Grid Computing) đang là công nghệ nổi bật trên khắp thế giới và đang được nhiều tổ chức lớn áp dụng. Grid Computing hiện đang là nền tảng công nghệ mới với nhiều chức năng tiên tiến cung cấp nền tảng công nghệ, năng lực tính toán cho các tổ chức và doanh nghiệp với các yêu cầu cụ thể. Grid Computing đáp ứng tốt các nhu cầu về bảo mật, nhu cầu cung cấp các chức năng cơ bản và khả năng quản lý các tiến trình trong lưới một cách hiệu quả. Các chương trình chạy trên môi trường mạng lưới có thời gian xử lý công việc ngắn hơn và đạt hiệu suất nhanh hơn vì có khả năng truy cập nhanh đến các nguồn tài nguyên phân tán trong môi trường lưới. Các đặt tính nổi bật của Grid Computing bao gồm: • Khai thác tài nguyên để xử lý chương trình. • Kết hợp nhiều tài nguyên tạo thành tổ chức ảo. • Khả năng xử lý song song đồng bộ và không đồng bộ. • Khả năng quản lý người dùng, quản lý tài nguyên và tiến trình. • Khả năng bảo mật cao với chứng thực, kiểm soát truy cập, mã hóa. Trong bài báo cáo này, em sẽ nghiên cứu về cách cài đặt Globus Toolkit 4.2.1 trên hệ điều hành CentOS 5.5 để xây dựng một hệ thống lưới tính toán với nhiều máy tính và cách chạy một ứng dụng Grid dựa trên hệ quản trị tài nguyên GRAM được cài đặt trong Globus Toolkit. Trang 6 CA Server_CA 192.168.1.10/24 HostA sub1_HostA 192.168.1.11/24 HostB sub2_HostB 192.168.1.12/24 HostC sub3_HostC 192.168.1.13/24 Domain Name: brtvc.edu.vn Network Address: 192.168.1.0/24 Default Gageway: 192.168.1.1 Preferred DNS: 8.8.8.8 Cài đặt Grid 2. Cài đặt Grid 2.1 Mô hình mạng lưới Em sẽ thực hiện mô hình với 4 máy bao gồm: một CA và ba Host. • CA: là node chính dùng để chứng thực quyền hạn cho Host và cho các User. • Host: là các node phụ được chứng thực bởi CA và chịu trách nhiệm quản lý các User của Host đó. Hình 1.1. Mô hình mạng Bảng 1.2: Các máy trong mạng lưới Tên Máy Tên Host Hệ điều hành Gói Globus cài đặt Server_CA server.brtvc.edu.vn CentOS 5.5 Gói GT 4.2.1 All Source sub1_HostA sup1.brtvc.edu.vn CentOS 5.5 Gói GT 4.2.1 All Source sub2_HostB sup2.brtvc.edu.vn CentOS 5.5 Gói GT 4.2.1 All Source sub3_HostC sup3.brtvc.edu.vn CentOS 5.5 Gói GT 4.2.1 All Source Bảng 1.3: Nhiệm vụ và người dùng của từng máy Trang 7 Cài đặt Grid Tên Máy Nhiệm vụ Tên người dùng Server_CA Node chính dùng để chứng thực globus, huuphuoc sub1_HostA Node phụ globus, sub1 sub2_HostB Node phụ globus, sub2 sub3_HostC Node phụ globus, sub3 Bảng 1.4: Các gói phần mềm cài đặt Tên phần mềm Phiên bản Tên gói cài đặt Thư mục chủ Globus Toolkit 4.2.1 gt4.2.1-all-source- installer.tar.gz /usr/local/globus- 4.2.1 Java SDK 1.7.0 jdk-7u3-linux-i586.rpm /usr/local/java Apache Ant 1.8.3 apache-ant-1.8.3-bin.tar.gz /usr/local/ant 2.2 Cài đặt kết nối mạng Phải đảm bảo rằng, các máy trong mạng lưới phải được kết nối với Internet để tiến hành cài đặt và cập nhật các gói phần mềm hỗ trợ. Cấu hình Host Name và DNS cho máy CentOS, việc thực hiện tương tự ở tất cả các máy: • Gõ lệnh # setup, sau đó chọn “Network Configuration”. • Chọn “Edit DNS Configuration” để cấu hình DNS o Đặt Hostname theo dạng Domain name như sau: server.brtvc.edu.vn, sub1.brtvc.edu.vn, sub2.brtvc.edu.vn, sub3.brtvc.edu.vn. o Cấu hình Primary DNS là 8.8.8.8 và Secondary DNS là 8.8.4.4 o Sau khi điền vào các thông số cấu hình, ta thực hiện Save cấu hình và khởi động lại dịch vụ mạng bằng lệnh: # service network restart Cấu hình Card mạng eth0: Gõ lệnh sau để chỉnh sửa các thông số trong file ifcfg-eth0: # vi /etc/sysconfig/network-scripts/ifcfg-eth0 Sau khi vào file trên, ta chỉnh sửa lại các thông số như sau: DEVICE=eth0 BOOTPROTO=static Trang 8 Cài đặt Grid ONBOOT = yes HWADDR=giữ nguyên không được chỉnh sửa NETMASK=255.255.255.0 IPADDR=192.168.1.x (xem mô hình trên) GATEWAY=192.168.1.1 TYPE=Ethernet • Sau khi cấu hình xong ta nhấn ESC và Save lại bằng lệnh: wq • Khởi động lại dịch vụ mạng # service network restart Kiểm tra kết nối Internet và phân giải DNS bằng lệnh ping 8.8.8.8 và ping goole.com.vn. Disable Firewall trong CentOS: Gõ lệnh # setup, chọn Firewall Configuration, sau đó đánh dấu chọn Disable, chọn Save và thoát. Chỉnh sửa lại nội dung File hosts trong thư mục /etc để các máy có thể phân giải tên và địa chỉ IP bằng lệnh sau: # vi /etc/hosts Thêm các dòng sau vào file trên (thực hiện cho tất cả các máy): 192.168.1.10 server.brtvc.edu.vn 192.168.1.11 sub1.brtvc.edu.vn 192.168.1.12 sub2.brtvc.edu.vn 192.168.1.13 sub3.brtvc.edu.vn 2.3 Cài đặt Globus Toolkit 4.2.1 Lưu ý: các bước cài đặt Globus Toolkit 4.2.1 dưới đây đều được thực hiện tương tự trên tất cả các máy. 2.3.1 Cài đặt JDK Tải file cài đặt JDK “jdk-7u3-linux-i586.rpm” với version 1.7.0 tại liên kết: http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u3-download- 1501626.html Trang 9 Cài đặt Grid Sau khi tải về, ta sử dùng chương trình WinSCP kết nối đến máy CentOS thông qua địa chỉ IP và tài khoản root để copy file “jdk-7u3-linux-i586.rpm” vào thư mục /root. Cài đặt gói trên bằng lệnh: # rpm -ivh jdk-7u3-linux-i586.rpm Sau đó dùng lệnh sau để kiểm tra việc cài đặt JDK thành công hay chưa: # java –version java version “1.7.0_03″ Java(TM) SE Runtime Environment (build 1.7.0_03-b04) Java HotSpot(TM) Client VM (build 22.1-b02, mixed mode, sharing) 2.3.2 Cài đặt Apache Ant Tải file nén của Apache “apache-ant-1.8.3-bin.tar.gz” tại liên kết: http://mirror-fpt-telecom.fpt.net/apache/ant/binaries/apache-ant-1.8.3-bin.tar.gz Sau khi tải về, ta dùng WinSCP để copy file “apache-ant-1.8.3-bin.tar.gz” vào mục /root. Giải nén vào thư mục /usr/local/ bằng lệnh: # tar -zxvf apache-ant-1.8.3-bin.tar.gz -C /usr/local/ Vào thư mục /usr/local/apache-ant-1.8.3: # cd /usr/local/apache-ant-1.8.3 Thực hiện lệnh sau để cấu hình apache ant: # ant -f fetch.xml -Ddest=system Kiểm tra cài đặt thành công bằng lệnh: # ant -version Apache Ant(TM) version 1.8.3 compiled on February 26 2012 2.3.3 Cấu hình biến môi trường Cấu hình các biến môi trường để dễ dàng truy cập trong suốt quá trình cài đặt và sử dụng Globus Toolkit. Ở đây, chúng ta sẽ cấu hình các biến môi trường cho Java, Apache Ant và Globus Location bằng cách gõ lần lượt các dòng lệnh sau: Trang 10 [...]... lệnh trên nếu thấy xuất hiện các thông báo Warning, lúc này quá trình cài đặt đã gặp lỗi, cần phải kiểm tra lại các bước cài đặt trên Nếu không xất hiện Warning thì thực hiện tiếp các lệnh sau: $ make $ make install Quá trình build và install Globus Toolkit 4.2.1 mất khoảng một giờ đến hai giờ 2.4 Cài đặt Certificate Authority 2.4.1 Cài đặt SimpleCA Lưu ý: việc cài đặt SimpleCA chỉ thực hiện trên node... 2.3.13 Cài đặt gói Globus Toolkit Để cài đặt Globus Toolkit 4.2.1, ta tải gói “gt4.2.1-all-source-installer.tar.gz” tại link: http://www .globus. org /toolkit/ survey/index.php?download=gt4.2.1-all-sourceinstaller.tar.gz Sau đó, dùng WinSCP để copy file “gt4.2.1-all-source-installer.tar.gz” vào thư mục /home /globus/ là thư mục của user globus Tạo folder globus- 4.2.1 trong folder /usr/local/ để chứa Globus. .. # grid-mapfile-check-consistency 2.8 Cài đặt GridFTP Lưu ý: bước này thực hiện tương tự tại tất cả các máy trong Grid 2.8.1 Cài đặt Xinetd Trong hệ điều hành CentOS 5.5 đã không cài đặt mặc định gói Xinetd Để sử dụng dịch vụ này, ta tiến hành cài đặt theo các bước dưới đây: Đăng nhập vào root, thực hiện Mount CD của CentOS 5.5 để cài đặt gói Xinetd có sẵn trên CD CentOS: # mkdir /etc/cdrom (tạo folder... mkdir /usr/local /globus- 4.2.1 Trang 13 Cài đặt Grid Đăng nhập vào tài khoản Globus bằng lệnh: # su - globus Giải nén gói Globus trên bằng lệnh: $ tar -zxvf gt4.2.1-all-source-installer.tar.gz Chuyển vào folder vừa được giải nén ra: $ cd gt4.2.1-all-source-installer Lần lượt thực hiện các lệnh sau để Build Globus Toolkit 4.2.1 vào thư mục /usr/local/ $ /configure prefix=/usr/local /globus- 4.2.1 Lưu... private key của CA) Trang 14 Cài đặt Grid Ở đây, ta đặt password để bảo vệ private key của CA là 123456789 Các file sau sẽ được tạo ra: • Private key của CA: /home /globus/ .globus/ simpleCA/private/cakey.pem • Certificate của CA: /home /globus/ .globus/ simpleCA/cacert.pem • Distribution package để các Host cài đặt khi muốn đăng kí certificate từ CA: /home /globus/ .globus/ simpleCA /globus_ simple_ca_[ca_hash]_setup0.20.tar.gz... Cài đặt SimpleCA Lưu ý: việc cài đặt SimpleCA chỉ thực hiện trên node chính Server_CA Login với root và chạy lệnh sau để cài đặt biến môi trường cho globus- user: # $GLOBUS_ LOCATION/etc /globus- user-env.sh Login với tài khoản globus và chạy lệnh sau để tiến hành cài đặt SimpleCA: $ $GLOBUS_ LOCATION/setup /globus/ setup-simple-ca Do you want to keep this as the CA subject (y/n) [y]: y Enter the email of the... quá trình cài đặt Simple CA trên máy CA 2.4.2 Cài đặt Certificate cho node phụ Lưu ý: bước này chỉ thực hiện tại các node phụ để nhận node chính Server_CA làm CA chứng thực cho các node phụ trong hệ thống mạng lưới Ta copy file distribution packet globus_ simple_ca_[ca_hash]_setup-0.20.tar.gz từ máy CA và bỏ vào thư mục /Home /globus của các node phụ Tại các node phụ, ta login với tài khoản globus, sau... dòng sau vào file trên: gsiftp 2811/tcp # GridFTP Trang 19 Cài đặt Grid Tạo file gridftp trong folder /etc/xinetd.d/: # vim /etc/xinetd.d/gridftp Ghi đoạn code sau vào file trên: service gsiftp { instances = 100 socket_type = stream wait = no user = root env += GLOBUS_ LOCATION=/usr/local /globus- 4.2.1 env += LD_LIBRARY_PATH=/usr/local /globus- 4.2.1/lib server = /usr/local /globus- 4.2.1/sbin /globus- gridftp-... 887 2012-04-14 16:40 hostkey.pem Copy file globus- ws-java-container trong thư mục /usr/local /globus- 4.2.1/etc/init.d bỏ vào thư mục /etc/init.d bằng lệnh: Trang 21 Cài đặt Grid # cp $GLOBUS_ LOCATION/etc/init.d /globus- ws-java- container /etc/init.d Vào tài khoản globus, chạy lệnh sau để khởi động Container: $ /etc/init.d /globus- ws-java-container start Starting Globus container PID: 29985 Khởi động lại... Fortran và Ada Để cài đặt bộ biên dịch ngôn ngữ GCC, ta dùng lệnh: # yum install gcc # yum install gcc-c++ 2.3.5 Cài đặt tar Tar (Tape Archive) là công cụ để nén hoặc giải nén các file trên hệ điều hành Linux Để cập nhật bộ chương trình tar, ta dùng lệnh sau: # yum install tar 2.3.6 Cài đặt sed Sed (Stream Editor), dùng để thao tác trực tiếp với văn bản như thay thế, xóa, in ra các đoạn text Để cài đặt . Phước TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CÀI ĐẶT GLOBUS TOOLKIT TRÊN CENTOS GIẢNG VIÊN: PGS.TS. Nguyễn Phi Khứ TP HỒ CHÍ MINH – 6/2014 MỤC LỤC Trang 5 1. Giới thiệu Ngày nay, tính toán lưới. QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Phan Hữu Phước TIỂU LUẬN ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY CÀI ĐẶT GLOBUS TOOLKIT TRÊN CENTOS GIẢNG VIÊN: PGS.TS. Nguyễn Phi Khứ TP HỒ CHÍ MINH – 6/2014 ĐẠI. sub3.brtvc.edu.vn 2.3 Cài đặt Globus Toolkit 4.2.1 Lưu ý: các bước cài đặt Globus Toolkit 4.2.1 dưới đây đều được thực hiện tương tự trên tất cả các máy. 2.3.1 Cài đặt JDK Tải file cài đặt JDK “jdk-7u3-linux-i586.rpm”