Luận văn: Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong bài toán quản trị mạng

.vn SV ne t TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM W X SINH VIÊN THỰC HIỆN Nguyễn Mạnh Dũng Nguyễn Đăng Thành 0112132 0112280 TÌM HIỂU CƠNG NGHỆ GRID COMPUTING VÀ ỨNG DỤNG THỬ NGHIỆM TRONG BÀI TOÁN QUẢN TRỊ MẠNG LUẬN VĂN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN Thầy Cao Đăng Tân TP HỒ CHÍ MINH, 12/2005 .vn SV ne t Lời cảm ơn Lời cảm ơn Nhóm thực xin bày tỏ lịng biết ơn tri ân sâu sắc đến tất người giúp đỡ, hỗ trợ thực luận văn này, điểm mốc quan trọng đời nghiệp chúng em Chúng em xin cảm ơn Khoa Công nghệ Thông tin trường Đại học Khoa học Tự nhiên TP.HCM cho phép tạo điều kiện để chúng em thực luận văn Luận văn khơng thể hồn thành khơng có giúp đỡ bảo tận tình thầy Cao Đăng Tân, người thầy hướng dẫn chúng em Chúng em xin chân thành biết ơn bảo, định hướng nghiên cứu thực hiện, hỗ trợ, tạo điều kiện tốt cho chúng em suốt trình thực đề tài Chúng xin bày tỏ lòng biết ơn sâu sắc đến Bố, Mẹ, bậc sinh thành chịu thương, chịu khó ni dưỡng, hỗ trợ, động viên, ủng hộ chúng lúc khó khăn để chúng có ngày hôm Chúng em xin chân thành cảm ơn tất quý thầy cô khoa Công nghệ Thông tin tận tình bảo, rèn luyện, truyền đạt tri thức, kỹ năng, kinh nghiệm quý báu cho chúng em suốt năm giảng đường đại học Đây hành trang quý giá để chúng em vững bước vào đời Nhóm thực xin chân thành cảm ơn tất anh chị, bạn bè, đặc biệt thầy Phịng máy Mạng, thầy Trần Minh Triết, thầy Lu Boun Vinh, nhiệt tình động viên, ủng hộ, chia sẻ kinh nghiệm, kiến thức quý báu, tài liệu, hỗ trợ trình thực luận văn mà cịn suốt thời gian học tập mái trường Mặc dù nỗ lực cố gắng, luận văn chắn khơng tránh khỏi thiếu sót Chúng em kính mong nhận cảm thơng tận tình bảo, góp ý q Thầy Cơ bạn Một lần xin gửi đến tất người lời cảm ơn chân thành Xin cảm ơn ! Nhóm thực Nguyễn Mạnh Dũng & Nguyễn Đăng Thành -i- .vn SV ne t Lời nói đầu Lời nói đầu Cơng nghệ Grid Computing đời đánh dấu bước phát triển lĩnh vực điện toán hiệu cao Nó cho phép tận dụng lực xử lý, lưu trữ tài nguyên nhàn rỗi khác để cung cấp mơi trường tính tốn có lực xử lý lớn, khả lưu trữ dồi để giải toán phức tạp - khó giải với cơng nghệ hành giải với chi phí cao - khoa học, thương mại Grid Computing giúp tận dụng tối đa tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư cung cấp lực tính tốn mong muốn Trong năm vừa qua, nhiều tổ chức, tập đồn cơng nghệ thông tin lớn chọn công nghệ Grid Computing làm chiến lược phát triển mình, đầu tư nghiên cứu nhằm sớm đưa công nghệ Grid Computing vào thực tế Công nghệ ngày thu hút quan tâm ý từ khắp nơi giới Có thể nói cơng nghệ Grid Computing xu hướng phát triển ngành công nghệ thông tin Hiện nay, đất nước ta thực công cơng nghiệp hố, đại hóa, việc rút ngắn tụt hậu, phát triển khoa học công nghệ yếu tố then chốt định đến thành công công đổi Song song với q trình phát triển, ngày có nhiều tốn mới, đòi hỏi lực xử lý lớn xuất khoa học, thương mại quản lý đất nước Các cơng nghệ tính tốn hành áp dụng khơng thể triển khai rộng rãi để giải hết nhu cầu chi phí đầu tư lớn Việc nghiên cứu, áp dụng công nghệ Grid Computing giải pháp tốt để giải tình Hơn nữa, cơng nghệ Grid Computing mẻ, giai đoạn hoàn thiện, việc tham gia nghiên cứu với cộng đồng giới giúp học hỏi kinh nghiệm, tiến tới làm chủ cơng nghệ, từ phát triển theo hướng riêng mình, đáp ứng nhu cầu tính tốn hiệu cao ngày tăng đất nước - ii - .vn SV ne t Lời nói đầu Với tinh thần tham gia nghiên cứu, học hỏi công nghệ, đề tài luận văn “Tìm hiểu cơng nghệ Grid Computing ứng dụng thử nghiệm toán quản trị mạng” thực nhằm bước trình nghiên cứu, phát triển, ứng dụng Grid vào thực tế Luận văn nghiên cứu vấn đề chung công nghệ Grid Computing, Globus Toolkit, tiến hành cài đặt môi trường Grid với Globus Toolkit, đề xuất mô hình cài đặt thử nghiệm ứng dụng hỗ trợ quản trị mạng Grid Luận văn trình bày gồm chương với nội dung sau: ‰ Chương Đặt vấn đề : Giới thiệu sơ lược công nghệ Grid Computing lĩnh vực quản trị mạng, đồng thời xác định mục tiêu đề tài ‰ Chương Tổng quan công nghệ Grid Computing : Giới thiệu vấn đề công nghệ Grid Computing, tìm hiểu so sánh phần mềm tảng Grid để có nhìn tồn diện công nghệ Grid Computing ‰ Chương Giới thiệu Globus Toolkit phiên 3.2 : Giới thiệu mơ hình chế hoạt động thành phần Globus Toolkit 3.2 Ở không thiên giới thiệu chi tiết triển khai cụ thể, điều tham khảo từ tài liệu hướng dẫn sử dụng ‰ Chương Phát triển ứng dụng với Globus Toolkit 3.2 : Giới thiệu vấn đề cần quan tâm xây dựng ứng dụng Grid với Globus Toolkit 3.2 ‰ Chương Quản trị mạng hệ thống quản trị : Giới thiệu tổng quan lĩnh vực quản trị mạng hệ thống quản trị mạng ‰ Chương Hệ thống quản trị Grid NetManager : Giới thiệu mơ hình hệ thống quản trị mạng dựa cơng nghệ tính tốn Grid Computing ‰ Chương Phân tích, thiết kế, cài đặt thử nghiệm ứng dụng Grid NetManager ‰ Chương Kết luận : Là chương cuối luận văn, tóm lại vấn đề nghiên cứu tìm hiểu, đề hướng phát triển tương lai - iii - .vn SV ne t Mục lục Mục lục Lời cảm ơn i Lời nói đầu ii Mục lục iv Danh sách hình .viii Danh sách bảng x Một số thuật ngữ xi Các chữ viết tắt xii Tóm tắt luận văn xiii Chương Mở đầu 1.1 Công nghệ Grid Computing (tính tốn lưới) 1.2 Vấn đề quản trị mạng 1.3 Mục tiêu đề tài Chương Tổng quan công nghệ Grid Computing 2.1 Khái niệm Grid 2.1.1 Theo dòng lịch sử 2.1.2 Khái niệm 2.1.3 Tài nguyên Grid 2.2 Phân loại Grid & Grid Topology 2.2.1 Các kiểu Grid 2.2.2 Đồ hình Grid (Grid Topology) 11 2.3 Các thách thức, yêu cầu công nghệ Grid 15 2.3.1 Quản lý tài nguyên (Resource Management) 15 2.3.2 Bảo mật (Security) 17 2.3.3 Quản lý thông tin 19 2.3.4 Quản lý liệu 20 2.3.5 Phát triển ứng dụng 20 2.3.6 Các vấn đề khác 20 2.3.7 Các việc cần làm 21 2.4 Ích lợi & Ứng dụng 22 2.5 Các thành phần hệ thống sở hạ tầng Grid 24 2.6 Kiến trúc Grid 27 2.6.1 Bản chất Kiến trúc Grid 27 2.6.2 Chi tiết Kiến trúc Grid tổng quát 28 2.6.3 Kiến trúc Grid thực tế 35 2.7 Chuẩn hoá Grid 36 2.8 Giới thiệu dự án Grid middleware 40 2.8.1 UNICORE 40 2.8.2 Globus 43 - iv - .vn SV ne t Mục lục 2.8.3 Legion 43 2.8.4 GridBus 45 2.8.5 So sánh 48 Chương Giới thiệu Globus Toolkit phiên 3.2 .52 3.1 Giới thiệu 52 3.1.1 Giới thiệu 52 3.1.2 Lịch sử phát triển 53 3.2 Các công nghệ, chuẩn liên quan 53 3.2.1 Service Oriented Architeture (SOA) 53 3.2.2 Web Service 56 3.2.3 OGSA 58 3.2.4 OGSI Grid Service 65 3.3 Kiến trúc Globus Toolkit 74 3.3.1 Mơ hình kiến trúc GT2 75 3.3.2 Mơ hình kiến trúc GT3 76 3.4 Các thành phần 79 3.4.1 Sercurity Infrastructure 79 3.4.2 Resource Management 94 3.4.3 Information Service 107 3.4.4 Data Management 113 3.4.5 Thành phần GT3 114 Chương Phát triển ứng dụng với Globus Toolkit 3.2 115 4.1 Khởi đầu dự án 115 4.1.1 Định hướng phát triển hệ thống 115 4.1.2 Đánh tính khả thi ứng dụng chạy Grid 117 4.2 Các yêu cầu cần quan tâm xây dựng ứng dụng 118 4.2.1 Khả mở rộng (Scalability) 118 4.2.2 Bảo mật 118 4.2.3 Tính mềm dẻo ứng dụng (Flexibility) 119 4.2.4 Các kết nối với bên 119 4.2.5 Hiệu suất ứng dụng(Performance) 120 4.2.6 Độ tin cậy (Reliability) 121 4.2.7 Quản trị hệ thống (Management) 122 4.2.8 Đồ hình hệ thống (System Topology) 123 4.2.9 Môi trường đa tảng 123 4.2.10 Định dạng file 124 4.2.11 Việc cài đặt hệ thống 124 4.2.12 Vấn đề thông tin Grid 124 4.2.13 Tính tiện dụng 124 4.3 Thiết kế tổng quan 125 4.4 Một số vấn đề cần quan tâm thiết kế chi tiết viết mã 126 4.4.1 Kiến trúc ứng dụng 127 4.4.2 Xem xét sử dụng ngơn ngữ lập trình 130 4.4.3 Vấn đề phụ thuộc công việc vào môi trường hệ thống 131 4.4.4 Đồ hình cơng việc 132 4.5 Triển khai cài đặt Grid Service 133 -v- .vn SV ne t Mục lục 4.5.1 Các bước xây dựng triển khai Grid Service 134 4.5.2 Xây dựng client 140 Chương Quản trị mạng hệ thống quản trị 142 5.1 Quản trị mạng 142 5.1.1 Khái niệm 142 5.1.2 Các lĩnh vực quản trị mạng 142 5.2 Hệ thống quản trị mạng 144 5.2.1 Mơ hình hoạt động 144 5.2.2 Một số chức hệ thống quản trị mạng 146 5.2.3 Hệ thống quản trị mạng thực tế 148 5.3 Hệ thống Intrusion Detection System (IDS) 149 5.3.1 Khái niệm 149 5.3.2 Các hướng tiếp cận 149 5.4 Giới thiệu số công cụ hỗ trợ quản trị mạng 150 5.4.1 Ethereal 150 5.4.2 Snort 152 Chương Hệ thống quản trị Grid NetManager .153 6.1 Giới thiệu ý tưởng 153 6.2 Yêu cầu chức hệ thống quản trị mạng 154 6.3 Mơ hình thành phần hoạt động hệ thống 155 6.3.1 Mơ hình thành phần 155 6.3.2 Cách thức hoạt động 157 6.4 Phân tích định hướng phát triển ứng dụng 158 6.5 Giới hạn vấn đề thực luận văn 159 Chương Phân tích, thiết kế cài đặt thử nghiệm ứng dụng 161 7.1 Phân tích 161 7.1.1 Ngữ cảnh hệ thống 161 7.1.2 Lược đồ Use Case 162 7.1.3 Đặc tả Use Case 163 7.1.4 Mô tả dòng kiện 167 7.2 Thiết kế 179 7.2.1 Sơ đồ đối tượng cài đặt 179 7.2.2 Thiết kế giao diện 180 7.3 Cài đặt & Triển khai 183 7.3.1 Công cụ môi trường phát triển ứng dụng 183 7.3.2 Mơ hình cài đặt 184 7.3.3 Mơ hình triển khai 184 7.3.4 Thử nghiệm 185 Chương Kết luận 186 8.1 Đánh giá 186 8.1.1 Về luận văn 186 8.1.2 Về ứng dụng 186 8.2 Hướng phát triển, mở rộng luận văn 187 8.2.1 Về luận văn 187 - vi - .vn SV ne t Mục lục 8.2.2 Về ứng dụng 187 8.3 Lời kết 188 Phụ lục 189 A Các tiêu chí đánh giá tính khả dự án Grid 189 B Định dạng file GWSDL 191 C Kỹ thuật cài đặt chức Grid Service 193 C.1 Kỹ thuật cài đặt Operation Provider 193 C.2 Thêm thành phần liệu (Service Data Element (SDE)) 196 C.3 Cài đặt chế Notification 199 C.7 Cài đặt kỹ thuật tạo service động (Transient service) 202 C.5 Kỹ thuật Logging (Ghi vết) 205 C.6 Kỹ thuật quản lý chu trình sống service (Lifecycle Management) 206 D Các interface OGSI Service 208 E Cấu trúc chứng điện tử 211 Tài liệu tham khảo .213 Các Website 216 - vii - .vn SV ne t Danh sách hình Danh sách hình Hình 2-1 Tài nguyên Grid quan điểm người dùng, khối thống có nhờ ảo hố Hình 2-2 Hình thức hoạt động Grid Tính tốn 10 Hình 2-3 Các đồ hình Grid 11 Hình 2-4 Đồ hình SimpleGrid 12 Hình 2-5 Đồ hình IntraGrid 13 Hình 2-6 Đồ hình ExtraGrid 14 Hình 2-7 Các minh họa đồ hình InterGrid 15 Hình 2-8 Kiến trúc Grid tổng quát 29 Hình 2-9 Quan điểm lập trình viên kiến trúc Grid 34 Hình 2-10 Kiến trúc Grid thực tế với thành phần 35 Hình 2-11 Các dự án Grid tương ứng với tầng 36 Hình 2-12 Mối quan hệ chuẩn Grid Service 39 Hình 2-13 Mơ hình kiến trúc hoạt động UNICORE 41 Hình 2-14 Kiến trúc Legion 44 Hình 2-15 Kiến trúc GridBus 46 Hình 2-16 So sánh UNICORE, Globus, Legion GridBus 49 Hình 3-1 Các thành phần kiến trúc SOA 54 Hình 3-2 Kiến trúc Globus Toolkit 75 Hình 3-3 Mơ hình thành phần hệ thống sử dụng GT2 76 Hình 3-4 Mơ hình tổ chức thành phần GT3 77 Hình 3-5 Các thành phần GSI 80 Hình 3-6 Quy trình khởi tạo để sử dụng GSI 87 Hình 3-7 Thủ tục chứng thực phân quyền với GSI 88 Hình 3-8 Cơ chế ủy quyền GSI 89 Hình 3-9 Thủ tục uỷ quyền proxy GSI 90 Hình 3-10 Kiến trúc quản lý tài nguyên Globus Toolkit 95 Hình 3-11 Các trạng thái công việc 98 Hình 3-12 Các thành phần chế hoạt động pre-WS GRAM 99 Hình 3-13 Cơ chế hoạt động có DUROC pre-WS GRAM 101 Hình 3-14 Các thành phần chế hoạt động WS-GRAM 105 Hình 3-15 Mơ hình quản lý thơng tin Grid Globus Toolkit 107 Hình 3-16 Ví dụ tổ chức liệu MDS2 109 Hình 3-17 Mơ hình tổ chức liệu phân cấp MDS2 110 Hình 3-18 Các thành phần chế hoạt động MDS2 111 Hình 4-1 Luồng ứng dụng song song 128 Hình 4-2 Luồng ứng dụng 128 Hình 4-3 Luồng ứng dụng mạng 129 Hình 4-4 Các file cần thiết để triển khai Grid Service với Ant 139 Hình 5-1 Mơ hình hệ thống quản trị mạng 144 Hình 5-2 Màn hình giao diện Ethereal 151 Hình 6-1 Mơ hình thành phần ứng dụng Grid NetManager 155 Hình 6-2 Mơ hình thành phần ứng dụng Grid NetManager thử nghiệm 160 Hình 7-1 Ngữ cảnh hệ thống 161 Hình 7-2 Sơ đồ Usecase ứng dụng Grid NetManager thử nghiệm 162 - viii - .vn SV ne t Danh sách hình Hình 7-3 Sơ đồ lớp cài đặt lớp đối tượng 179 Hình 7-4 Màn hình ứng dụng Grid NetManager thử nghiệm 181 Hình 7-5 Màn hình Packet Capture Configue 182 Hình 7-6 Mơ hình cài đặt 184 Hình 7-7 Sơ đồ triển khai ứng dụngGrid NetManager thử nghiệm 184 Hình 7-8 Mơ hình cài đặt thử nghiệm 185 Hình 8-1 Lớp triển khai interface Grid service kỹ thuật kế thừa 194 Hình 8-2 Cài đặt intrface củaGrid service kỹ thuật Operation Provider 194 Hình 8-3 Ví dụ SDE MathService 196 Hình 8-4 Sơ đồ hoạt động chế Notification GT3 200 Hình 8-5 Cấu trúc chứng điện tử 211 - ix -