Nghiên cứu tổng quan về tính toán lưới và cài đặt mô hình thử nghiệm

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TỐN LƯỚI VÀ CÀI ĐẶT MƠ HÌNH THỬ NGHIỆM CHUN NGÀNH: CƠNG NGHỆ THƠNG TIN NGUYỄN THỊ KIM TUYẾN Hà Nội, 2006 TĨM TẮT Tính tốn lưới kỹ thuật tính tốn mới, cung cấp khả thực việc tính tốn với lượng liệu lớn nhờ việc nắm bắt sức mạnh kết hợp từ nhiều mạng máy tính để tạo kiến trúc máy tính ảo Kiến trúc ảo thực xử lý phân tán hạ tầng song song Các lưới sử dụng tài nguyên máy tính riêng lẻ kết nối lại với thành mạng máy tính để giải tốn có khối lượng tính tốn lớn Ngồi ra, cịn cung cấp khả thực phép tính tập liệu lớn, cách chia chúng thành tập nhỏ cung cấp khả thực tính tốn song song Ở Việt Nam, cơng nghệ lưới cịn mới, triển khai số trung tâm tính tốn viện trường đại học chuyên ngành lớn Vì thế, luận văn chọn tính tốn lưới làm đề tài nghiên cứu Nội dung luận văn nghiên cứu tổng quan tính tốn lưới, hạ tầng cần thiết cho lưới Tìm hiểu cơng cụ Globus Toolkit áp dụng xây dựng lưới tính tốn từ máy tính để bàn, sau thực kết nối cluster vào lưới Kết xây dựng thành công lưới với quy mô nhỏ nhằm phục vụ cho việc thử nghiệm ứng dụng lưới dùng để tiếp tục nghiên cứu lĩnh vực chuyên sâu lưới sau Từ khoá: tính tốn lưới, tính tốn điện tốn, cơng cụ Globus Toolkit, PBS, cài đặt lưới ABSTRACT Grid computing is an emerging computing model that provides the ability to perform higher throughput computing by taking advantage of many networked computers to model a virtual computer architecture that is able to distribute process execution across a parallel infrastructure Grids use the resources of many separate computers connected by a network to solve large-scale computation problems Grids provide the ability to perform computations on large data sets, by breaking them down into many smaller ones, or provide the ability to perform many more computations at once than would be possible on a single computer In Viet Nam, grid computing is fairly new, it is only deployed in some computing centers at big technology universities So, grid computing is chose as the subject of thesis Main content of thesis is “Researching overview about Grid computing and infrastructure Studying about Globus tookit and applying it to build a grid from desktops, then connecting a cluster with the grid” The result is: building ssuccessfully a small grid with about ten computers to be used to test grid applications and them to research other grid computing fields Keywords: grid computing, Globus Toolkit, PBS, installing a grid, grid application NGUYỄN THỊ KIM TUYẾN BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI o0o - LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH: CÔNG NGHỆ THÔNG TIN CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU TỔNG QUAN VỀ TÍNH TỐN LƯỚI VÀ CÀI ĐẶT MƠ HÌNH THỬ NGHIỆM NGUYỄN THỊ KIM TUYẾN 2004-2006 HÀ NỘI 2006 HÀ NỘI 10-2006 Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm LỜI CẢM ƠN Trong q trình tìm hiểu nghiên cứu để hồn thành luận văn, tơi gặp khơng khó khăn, lúc vậy, nhận động viên, khích lệ thầy giáo, TS Nguyễn Kim Khánh Thầy giúp đỡ tơi nhiều q trình nghiên cứu, hướng dẫn tận tình cách thức phương pháp nghiên cứu khoa học hỗ trợ tơi việc tìm tài liệu Để có kết luận văn này, xin gửi lời cảm ơn sâu sắc đến thầy giáo, TS Nguyễn Kim Khánh khoa Công nghệ thông tin trường ĐHBKHN Tôi xin gửi lời cảm ơn đến thầy cô bạn Trung tâm tính tốn hiệu cao, trường ĐHBKHN Cuối xin cảm ơn đồng nghiệp, gia đình bạn tơi người ln bên cạnh, động viên khích lệ tơi để có kết ngày hơm Hà Nội, ngày 05 tháng 10 năm 2006 Tác giả Nguyễn Thị Kim Tuyến Lớp Cao học CNTT 2004-2006 Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm LỜI CAM ĐOAN Tơi Nguyễn Thị Kim Tuyến, học viên lớp cao học khoá 2004-2006, chuyên ngành Công nghệ thông tin Tôi xin cam đoan luận văn "Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm" tơi nghiên cứu, tìm hiểu hướng dẫn thầy giáo TS Nguyễn Kim Khánh, chép người khác Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày 05 tháng 10 năm 2006 Tác giả Nguyễn Thị Kim Tuyến Lớp Cao học CNTT 2004-2006 Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC THUẬT NGỮ DANH MỤC HÌNH LỜI NÓI ĐẦU CHƯƠNG TÍNH TỐN LƯỚI 10 1.1 Tổng quan Tính toán lưới 10 1.1.1 Tính tốn lưới gì? 10 1.1.2 So sánh với mơ hình, cơng nghệ khác 12 1.1.3 Phân loại mạng lưới 13 1.2 Kiến trúc thành phần hệ thống lưới 15 1.2.1 Tổng quan kiến trúc lưới 15 1.2.2 Các thành phần theo mơ hình chức 18 1.2.3 Các thành phần theo mô hình vật lý 19 1.3 Các chuẩn cho tính tốn lưới 19 1.3.1 OGSA/OGSI gì? 20 1.3.2 Chuẩn OGSI .20 1.3.3 Chuẩn OGSA 22 1.4 Các thành phần mơ hình chức lưới 24 1.4.1 Bảo mật 24 1.4.1.1 Cơ chế bảo mật môi trường lưới 25 1.4.1.2 Các sách bảo mật môi trường lưới .25 1.4.1.3 Hạ tầng an ninh mạng lưới GSI (Grid Security Infrastructure) 26 1.4.2 Quản lý tài nguyên lưới 27 1.4.2.1 Những thách thức quản lý tài nguyên lưới 27 1.4.2.2 Hệ quản trị tài nguyên GRAM 29 1.4.3 Quản lý liệu 30 1.4.3.1 Giao thức truyền tập tin mạng lưới GridFTP 30 1.4.3.2 Dịch vụ định vị RLS 33 1.4.4 Lập lịch môi trường lưới 36 1.4.5 Grid Portal 38 1.4.5.1 Các yêu cầu Grid Portal 39 1.4.5.2 Chuyển tải Job Grid Portal 39 Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm 1.4.6 Giám sát lưới 40 1.4.6.1 Quy trình giám sát 41 1.4.6.2 Yêu cầu hệ thống giám sát lưới .41 1.4.6.3 Kiến trúc giám sát lưới GMA (Grid Monitoring Architecture) 42 1.4.6.4 Phân loại hệ thống giám sát lưới 43 1.5 Kết chương 44 CHƯƠNG TỔNG QUAN VỀ GLOBUS 45 2.1 Tổng quan kiến trúc chung GT 45 2.1.1 Các chức GT 45 2.1.2 Các đặc trưng GT4 .46 2.1.3 Tóm lược kiến trúc GT4 48 2.2 Kiến trúc hướng dịch vụ 48 2.2.1 GT4, hệ thống phân tán, dịch vụ Web 48 2.2.2 Cơ sở hạ tầng ứng dụng hướng dịch vụ 49 2.2.3 Kiến trúc hướng dịch vụ (Service Oriented Architecture-SOA) .50 2.3 Kiến trúc GT4 51 2.3.1 Kiến trúc tổng quan 51 2.3.2 Triển khai dịch vụ Web GT4 .53 2.4 Quản lý thực thi GT4 54 2.4.1 Tổng quan GT4 GRAM .55 2.4.2 Lệnh globusrun-ws 56 2.4.3 Cách thức hoạt động GT4 GRAM 60 2.4.4 Cấu hình quản trị GT4 GRAM 62 2.5 Quản lý liệu GT4 63 2.5.1 Tổng quan quản lý liệu GT4 63 2.5.2 Di chuyển liệu 63 2.5.3 Tạo liệu 64 2.6 Theo dõi phát 65 2.6.1 Hệ thống theo dõi phát - MDS4 65 2.6.2 Bộ gộp (aggregator) nguồn thông tin 66 2.6.3 Nguồn thông tin việc đăng ký 67 2.7 Kết chương 67 CHƯƠNG CÁC KỸ THUẬT LƯỚI HIỆN ĐƯỢC TRIỂN KHAI Ở VIỆT NAM .68 3.1 Desktop Grids 68 3.1.1 Tính tốn phân tán xí nghiệp 68 Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm 3.1.2 Định nghĩa Desktop Grid 69 3.1.3 Giá trị lưới Desktop Grid 70 3.1.4 Các phần tử kỹ thuật .70 3.1.5 Các khía cạnh thực tế cần xem xét 72 3.1.6 Grid Server .73 3.2 Cluster Grids 74 3.2.1 Kiến trúc lưới Cluster .74 3.2.2 Bó phần mềm lưới cluster Sun 75 3.2.3 Yêu cầu thiết kế 78 3.2.4 Phần cứng mạng .79 3.2.5 Quản lý Cluster Grid .80 3.3 Kết nối Cluster vào Grid 81 3.3.1 Sự cần thiết việc kết nối grid cluster 82 3.3.2 Kết nối Globus-based Grid PBS-based Cluster 82 3.3.2.1 GRAM .82 3.3.2.2 PBS 83 3.3.2.3 Các yêu cầu thành phần kết nối 87 3.4 Kết chương 90 CHƯƠNG TRIỂN KHAI THỬ NGHIỆM 91 4.1 Lập thiết kế kiến trúc lưới 91 4.2 Cài đặt Grid 95 4.2.1 Cấu hình phần cứng lưới 95 4.2.2 Yêu cầu trước cài đặt 96 4.2.3 Cài đặt cho nút 96 4.2.4 Cài đặt nút tính toán 101 4.2.5 Đồng thời gian nút lưới 102 4.2.6 Cấu hình dịch vụ mức lưới .103 4.3 Kết nối Cluster vào Grid 105 4.3.1 Cấu hình phần cứng 105 4.3.2 Cấu hình cluster-based PBS 106 4.3.3 Cấu hình lưới dựa GT 108 4.4 Kết chương 109 KẾT LUẬN VÀ KIẾN NGHỊ 110 TÀI LIỆU THAM KHẢO 111 Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm DANH MỤC THUẬT NGỮ Viết tắt API CAS DPSS DTP GRAM GTCP FTP Globus XIO GMA GridFTP GSI HPSS HTTP LDAP LFN LRC Tên đầy đủ Grid Computing Globus Toolkit Chú giải Tính tốn lưới Bộ cơng cụ middleware hỗ trợ tính tốn lưới, cung cấp số dịch vụ đệ trình cơng việc, quản lý tài ngun, hạ tầng bảo mật, hỗ trợ việc xây dựng dịch vụ lưới… Web Service Dịch vụ web – kiến trúc phát triển W3C nhằm cung cấp chức cho người dùng từ xa Application Programming Giao diện lập trình ứng dụng, thường tập hàm Interface giúp lập trình viên dễ dàng tương tác với dịch vụ hệ thống Community Dịch vụ chứng thực cộng đồng Một dịch vụ bảo mật Authorization Service mơi trường lưới cho phép dung hịa sách sử dụng tài nguyên cộng đồng người dùng với sách sử dụng tài nguyên nhà cung cấp Distributed Parallel Hệ thống lưu trữ song song phân tán: kỹ thuật tổ chức Storage System tập đĩa cứng nằm server kết nối với qua mạng diện rộng, cung cấp khả truy cập mức độ khối logic đến liệu lớn Data Transfer Process Tiến trình quản lý việc truy cập liệu thực truyền qua kênh liệu kiến trúc GridFTP Grid Resource Allocation Dịch vụ quản lý định vị tài nguyên lưới and Management Service Grid Telecontrol Protocol Giao thức điều khiển lưới từ xa File Transfer Protocol Giao thức truyền tệp tiếng qua mạng Globus eXtensible Giao diện vào mức thấp kiến trúc Globus Input/Ouput Grid Monitoring Hệ thống gián sát lưới Architecture Grid File Transfer GridFTP mở rộng giao thức FTP, tích hợp khả Protocol bảo mật lưới, truyền liệu tốt so với FTP Grid Security Cơ sở hạ tầng bảo mật lưới kiến trúc Globus, Infrastructure hỗ trợ giấy chứng nhận theo chuẩn X509 dùng hệ mã công khai High Performance Hệ thống quản lý hiệu hàng trăm terabyte tới Storage System petabyte lưu ổ cứng băng từ, liệu thường xuyên sử dụng lưu đĩa cứng, cịn liệu có tần suất sử dụng lưu băng từ Hypertext Transfer Giao thức truyền siêu văn bản, sử dụng để truyền Protocol thông tin từ máy phục vụ www đến trình duyệt Lightweight Directory Giao thức đặc tả kỹ thuật định danh đối tượng, mơ Access Protocol hình liệu, tìm kiếm ghi khoản mục liệu Logical File Name Tên logic thực thể liệu lưới liệu, hàm chứa nội dung thực thể liệu Local Replica Catalogue Catalog định vị địa phương, lưu trữ tập ánh xạ bao gồm hai trường: {tên logic thực thể liệu, vị trí vật lý cụ thể thực thể đó} Nguyễn Thị Kim Tuyến – Lớp Cao học CNTT –Khoá 2004-2006 - Đại học BKHN Trang ... HÌNH THỬ NGHIỆM NGUYỄN THỊ KIM TUYẾN 2004-2006 HÀ NỘI 2006 HÀ NỘI 10-2006 Luận văn thạc sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm LỜI CẢM ƠN Trong trình tìm hiểu nghiên. .. chun ngành Cơng nghệ thơng tin Tôi xin cam đoan luận văn "Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm" tơi nghiên cứu, tìm hiểu hướng dẫn thầy giáo TS Nguyễn Kim Khánh, chép... sĩ khoa học Nghiên cứu tổng quan tính tốn lưới cài đặt mơ hình thử nghiệm 1.4.6 Giám sát lưới 40 1.4.6.1 Quy trình giám sát 41 1.4.6.2 Yêu cầu hệ thống giám sát lưới .41