Nghiên cứu phát triển hệ thống tính toán lưới để hỗ trợ giải quyết các bài toán có khối lượng tính toán lớn.

BỘ KHOA HỌC VÀ CÔNG NGHỆ VIỆN CÔNG NGHỆ THÔNG TIN CHƯƠNG TRÌNH KHCN CẤP NHÀ NƯỚC KC.01/06-10 Đề tài: NGHIÊN CỨU, PHÁT TRIỂN HỆ THỐNG TÍNH TOÁN LƯỚI ĐỂ HỖ TRỢ GIẢI QUYẾT CÁC BÀI TOÁN CÓ KHỐI LƯỢNG TÍNH TOÁN LỚN Chủ nhiệm đề tài nhánh: PGS. TS. Vũ Đức Thi Viện Công nghệ thông tin 8574 Hà Nội, 9 - 2009 1 MỤC LỤC DANH MỤC CÁC BẢNG 5 DANH MỤC CÁC HÌNH VẼ 5 MỞ ĐẦU 9 0.1. Giới thiệu chung về tính toán lưới 13 0.2. So sánh tính toán lưới với một số mô hình tính toán khác 15 0.3. Các tổ chức tham gia vào quá trình phát triển của tính toán lưới 18 0.4. Một số dự án trên thế giới đã và đang thực hiện 19 CHƯƠNG 1. GIẢI PHÁP KỸ THUẬT, CÔNG NGHỆ VÀ KẾT NỐI CHO VNGRID 28 1.1. Giới thiệu về Globus Toolkit 28 1.2. Kiến trúc quản lý tài nguyên trong GT 33 1.3. Các dịch vụ thông tin trong GT 35 1.4. Kết luận 52 CHƯƠNG 2. XÂY DỰNG QUI TRÌNH CÔNG NGHỆ VÀ GIẢI PHÁP KHOA HỌC ĐỂ KẾT NỐI VỚI VNGRID 54 2.1. Mở đầu: 54 2.2. Nội dung khoa học công nghệ đã thực hiện 55 2.3. Các kết quả đã đạt được: Xây dựng một IntraGrid thử nghiệm (Tested VNGRID) 61 2.4. Kết luận 68 2.5. Kiến nghị 69 CHƯƠNG 3. KẾT NỐI VNGRID VỚI TỔ CHỨC PRAGMA VÀ MỘT SỐ NƯỚC KHÁC TRONG KHU VỰC 70 3.1. Mở đầu: 70 3.2. Nội dung khoa học công nghệ đã thực hiện 70 3.3. Kết luận: Các kết quả đã đạt được 76 CHƯƠNG 4. QUẢN LÝ THỰC THI CÔNG VIỆC TRÊN HỆ THỐNG LƯỚI 79 2 4.1. Tổng quan về hệ thống quản lý thực thi trong lưới 79 4.2. Giải pháp xây dựng hệ thống quản lý thực thi trong VNGrid 83 4.3. Triển khai hệ thống quản lý thực thi trong VNGrid 88 4.4. Thử nghiệm cài đặt 97 CHƯƠNG 5. GIẢI PHÁP AN TOÀN, BẢO MẬT VÀ XÁC THỰC CHO HỆ THỐNG LƯỚI 99 5.1. Giới thiệu về an ninh lưới 99 5.2. Hạ tầng an ninh lưới 108 5.3. An ninh hạ tầng lưới 115 CHƯƠNG 6. ACCESS GRID VÀ TRIỂN KHAI TRÊN VNGRID 120 6.1. Nghiên cứu Access Grid 120 6.2. Nghiên cứu và triển khai giao thức IP Multicast trên Grid 121 6.3. Nghiên cứu AGTK để triển khai việc truyền nhận dữ liệu đa phương tiện trên Access Grid 121 6.4. Ứng dụng chia sẻ của Access Grid 123 6.5. Kết nối giữa các tổ chức 124 CHƯƠNG 7. TRIỂN KHAI CÔNG CỤ GIÁM SÁT LƯỚI 124 7.1. Phân tích yêu cầu để xác định chức năng cần thiết của hệ thống giám sát 125 7.2. Dịch vụ thông tin lưới 130 CHƯƠNG 8. CÁCH THỨC LẬP TRÌNH TRÊN LƯỚI 137 8.1. Lập trình lưới hóa và phân tán trong tính toán lưới 137 8.2. Một số công cụ hỗ trợ lập trình trên lưới 140 8.3. Môi trường hỗ trợ lập trình trên lưới 144 8.4. Những mô hình lập trình và công cụ hỗ trợ 147 8.5. Một số cách thức triển khai ứng dụng trên lưới 152 CHƯƠNG 9. VNGRID PORTAL 159 9.1. Những vấn đề cần giải quyết của cổng thông tin 159 9.2. Giải pháp công nghệ cho cổng thông tin chung VNGRID 160 3 9.3. Triển khai Data Grid trên hệ thống cổng thông tin chung VNGRID .164 9.4. Triển khai các công cụ CSF (Comminity Scheduler Framework), SRB (Storage Resource Broker) để quản lý và giám sát trênGridPortal 168 9.5. Tích hợp tài nguyên của các nút lưới vào cổng thông tin chung VNGRID 170 9.6. Tích hợp trang thông tin của các tổ chức vào VNGRID portal 173 9.7. Kết luận 177 CHƯƠNG 10. TRIỂN KHAI DỊCH VỤ LƯỚI DỮ LIỆU 178 10.1. Tổng quan về lưới dữ liệu 178 10.2. Lưới dữ liệu và các công nghệ hỗ trợ lưới dữ liệu 180 10.3. Triển khai dịch vụ lưới dữ liệu trên VNGrid Portal 189 10.4. Kết luận 196 CHƯƠNG 11. TRIỂN KHAI BÀI TOÁN TIN SINH HỌC 197 11.1. Giới thiệu 197 11.2. Hệ thống cập nhật tự động dữ liệu từ ngân hàng dữ liệu NCBI 199 11.3. Hệ thống căn chỉnh để tìm mức độ tương đồng của các trình tự sinh học 200 11.4. Hệ thống lập bản đồ gen trong việc chẩn đoán bệnh từ các quần thể khác nhau 209 11.5. Hệ thống căn chỉnh nhiều chuỗi lưới hóa dựa trên việc xây dựng cây phân loài 210 CHƯƠNG 12. NGHIÊN CỨU TRIỂN KHAI THỬ NGHIỆM BÀI TOÁN THÁM MÃ KHỐI TRÊN HỆ THỐNG LƯỚI 218 12.1. Mô tả sơ lược sản phẩm 218 12.2. Tổng kết giải thuật song song thám mã vét cạn trên GRID 258 12.3. Giải thuật song song thám mã vét cạn trên GRID 261 CHƯƠNG 13. TRIỂN KHAI BÀI TOÁN DỰ BÁO KHÍ TƯỢNG THỦY VĂN 263 13.1. Mở đầu 263 13.2. Nội dung khoa học công nghệ đã thực hiện 265 4 13.3. Các kết quả đạt được 266 CHƯƠNG 14. TRIỂN KHAI BÀI TOÁN THỰC TẠI ẢO 280 14.1. Vấn đề cơ bản trong bài toán thực tại ảo 280 14.2. Một số thuật toán trong thực tại ảo 282 14.3. Phân rã và tính toán lưới cho điều khiển 286 14.4. Triển khai thử nghiệm bài toán thực tại ảo trên lưới 288 14.5. Kết luận 293 CHƯƠNG 15. ĐÁNH GIÁ CHUNG VÀ HƯỚNG PHÁT TRIỂN 294 15.1. Đánh giá chung 294 15.2. Hướng phát triển 295 5 DANH MỤC CÁC BẢNG Bảng 1.1: Các giao diện chuẩn của môt dịch vụ lưới 37 Bảng 1.2: Sự khác biệt giữa các dịch vụ thông tin trong GT2 và GT3 41 Bảng 3.1: Các đơn vị tham gia chia sẻ tài nguyên trong PRAGMA 72 Bảng 12.1: Bảng tham số hoán vị PC1 và PC1New 223 Bảng 14.1. Tọa độ của tiếp điểm trong các trường hợp 284 DANH MỤC CÁC HÌNH VẼ Hình 0.1: Lưới tính toán 11 Hình 0.2: Lưới như một tổ chức ảo 13 Hình 0.3: Diễn đàn lưới toàn cầu GGF 18 Hình 0.4: Các tổ chức phát triển công cụ hỗ trợ lưới 19 Hình 0.5: Dự án BioGrid 20 Hình 0.6: Dự án lưới tính toán khoa học của Bộ Năng lượng, Hoa Kỳ 21 Hình 0.7: Dự án tính toán lưới trong vật lý phân tử 23 Hình 0.8: Dự án thương mại hóa tài nguyên trên lưới 24 Hình 0.9: Dự án e-Science 25 Hình 0.10: Tổ chức PRAGMA 26 Hình 1.1: Cấu trúc của GT4 29 Hình 1.2: Các dịch vụ cơ bản của GT 31 Hình 1.3: Kiến trúc Globus Toolkit 4.0 32 Hình 1.4: Quản lý tài nguyên trong GT 33 Hình 1.5: Dịch vụ định vị toàn cầu 35 Hình 1.6: Dịch vụ chỉ mục 40 Hình 1.7: Ví dụ về kiến trúc bảo mật trong GT4 44 6 Hình 1.8: Cơ chế thực hiện của GRAM 45 Hình 1.9: Mô hình của một trạm TTL 48 Hình 1.10: Globus ToolKit 4 50 Hình 2.1: Lớp các dịch vụ OGSA và WSRF 56 Hình 2.2: Kiến trúc của GT4.x 58 Hình 2.3: Mô hình phần cứng một Headnode 63 Hình 2.4: Các lớp phần mềm trung gian cài trên một head node 64 Hình 2.5: Trung tâm quản trị VNGRID 67 Hình 3.1: Mô hình phần cứng một Headnode 73 Hình 3.2: Phần mềm cài trên Headnode 74 Hình 4.1: Kiến trúc chung của hệ quản trị thực thi 81 Hình 4.2: Hoạt động của Globus Scheduler PBS 85 Hình 4.3: Giao tiếp giữa GRAM & PBS_Server 87 Hình 4.4: Mô hình hoạt động tổng quát của dịch vụ lấy thông tin từ Cluster 90 Hình 4.5: Biểu đồ mô tả quá trình đệ trình công việc 93 Hình 4.6: Biểu đồ mô tả quá trình xem trạng thái công việc 94 Hình 4.7: Biểu đồ trình tự hoạt động lấy kết quả 95 Hình 4.8: Biểu đồ mô tả quá trình hủy công việc 96 Hình 4.9: Giao diện quản lý thông tin cluster trên VNGrid Portal 97 Hình 4.10: Giao diện Lập lịch và Quản lý thực thi trên VNGrid Portal 98 Hình 5.1: Chứng chỉ số 105 Hình 5.2: Các thủ tục GSI 108 Hình 5.3: Thủ tục xác thực 111 Hình 5.4: Thủ tục ủy quyền bởi proxy của server 112 Hình 7.1: Hệ thống thông tin lưới 128 Hình 7.2: Mô hình cơ sở dữ liệu quan hệ của hệ thống thông tin lưới 130 Hình 8.1: Mô hình chia sẻ không gian bộ nhớ 138 Hình 8.2: Mô hình truyền thông điệp 139 7 Hình 8.3: Sáu cách triển khai với 3 nhóm cấp độ khác nhau 153 Hình 8.4: Cách 1 - Batch Anywhere 154 Hình 8.5: Cách 2 - Independent Concurrent Batch 155 Hình 8.6: Cách 3 - Parallel Batch 156 Hình 8.7: Cách 4 - Service 157 Hình 8.8: Cách 5 - Parallel Services 157 Hình 8.9: Cách 6 - Tightly Coupled Parallel Programs 158 Hình 9.1: Kiến trúc tổng quan của Gridsphere 161 Hình 9.2: Vòng đời của một Portlet 162 Hình 9.3: Portlet dữ liệu sẵn sàng để sử dụng 164 Hình 9.4: Portlet lưới dữ liệu trong VNGridportal 165 Hình 9.5: Liệt kê tệp tin, thư mục trong lưới 166 Hình 9.6: Tạo thư mục mới trên lưới 166 Hình 9.7: Đổi tên/thư mục trong lưới 167 Hình 9.8: Xóa tệp tin hoặc thư mục 167 Hình 9.9: Tải tệp tin lên lưới 168 Hình 9.10: Trang chủ VNGrid Portal 177 Hình 10.2: Kiến trúc lưới dữ liệu 5 tầng do Ian Foster đề xuất 183 Hình 10.3: Lấy về giấy ủy nhiệm 192 Hình 10.4: Danh sách giấy ủy nhiệm 193 Hình 10.5 Portlet lưới dữ liệu trong VNGridportal 193 Hình 10.6: Liệt kê tệp tin, thư mục trong lưới 194 Hình 10.7: Tạo thư mục mới trên lưới 194 Hình 10.8: Đổi tên/thư mục trong lưới 195 Hình 10.9: Xóa tệp tin hoặc thư mục 195 Hình 10.10 Tải tệp tin lên lưới 196 Hình 11.1: Mô hình làm việc của hệ thống 200 Hình 11.2: Sơ đồ của thuật toán PhylTree 211 8 Hình 12.1: Sơ đồ thuật toán ứng dụng các tiêu chuẩn bản rõ 221 Hình 12.3: Các bước tính toán mã hóa IDEA 224 Hình 12.4: Sơ đồ mã hóa AES 232 Hình 12.6: Sơ đồ thám mã trên GRID 238 Hình 12.7: Sơ đồ vận hành của tiến trình cấp phát và quản lý khóa 259 Hình 12.8: Sơ đồ vận hành của một tiến trình thám mã 260 Hình 13.1: Mô hình RAMS trên lưới 267 Hình 13.2: kết quả dự báo tổ hợp dữ liệu bão Chanchou 271 Hình 13.3: Phân bố lượng mưa theo dự báo tổ hợp tại các thời điểm. 275 Hình 13.4: Kết quả thử nghiệm cơn bão Megi 278 Hình 14.1: Bề mặt vật thể được chia nhỏ 286 Hình 14.2: Miếng nhận ánh sáng từ các miếng xung quanh 286 Hình 14.3: Giải thuật Ray tracing 286 Hình 14.4: Các thành phần trong hệ thống thực tại ảo 288 Hình 14.5: Sơ đồ tổng quát của một quy trình hình thành dữ liệu thực tại ảo290 Hình 14.6: Dữ liệu thực tại ảo cho mô hình Văn Miếu-Quốc Tử Giám 291 Hình 14.7: Giao diện chính của phần mềm VRAnimal 1.0 292 9 0. MỞ ĐẦU Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật và công nghệ đã xuất hiện những bài toán trong nhiều lĩnh vực đòi hỏi sức mạnh tính toán mà một máy tính riêng lẻ, dẫu có cấu hình rất mạnh không thể đảm trách được. Xuất phát từ những nhu cầu đó, các kỹ thuật tính toán lưới hóa, tính toán phân tán được đề xuất và đã phần nào đáp ứng được các yêu cầu này. Tuy nhiên, tham vọng của các nhà chuyên môn không dừng lại ở đó. Mong muốn tạo ra một sức mạnh tính toán lớn hơn, với khả năng chia sẻ tài nguyên trên phạm vi toàn cầu, tận dụng các phần mềm, cũng như tài nguyên vật lý phân tán về mặt địa lý. Các tổ chức giải quyết vấn đề này bằng hai cách: - Đầu tư thêm trang thiết bị, cơ sở hạ tầng tính toán (mua thêm máy chủ, máy trạm, siêu máy tính, cluster ). Cách làm này h ết sức tốn kém. - Có một cách làm khác hiệu quả hơn đó là phân bố hợp lý lại các nguồn tài nguyên trong tổ chức hoặc thuê thêm các nguồn tài nguyên từ bên ngoài (dự án với chi phí rẻ hơn nhiều so với việc đầu tư cho cơ sở hạ tầng tính toán). Thực tế cho thấy một phần lớn các nguồn tài nguyên đang được sử dụng lãng phí: các máy để bàn công sở thường chỉ hoạt động khoảng 5% công su ất, ngay cả các máy chủ cũng có thể chỉ phải hoạt động với 20% công suất. Việc tận dụng hiệu quả các nguồn tài nguyên này có thể mang lại một sức mạnh tính toán khổng lồ Cách giải quyết thứ hai chính là mục tiêu của tính toán lưới. Tính toán lưới hướng đến việc chia sẻ và sử dụng hiệu quả các nguồn tài nguyên thuộc về nhiều tổ chức trên một quy mô rộng lớ n (thậm chí là quy mô toàn cầu). Chính các công nghệ mạng và truyền thông phát triển mạnh mẽ trong những năm qua đã biến những khả năng này dần trở thành hiện thực. Các nghiên cứu về tính toán lưới đã và đang được tiến hành là nhằm tạo ra một cơ sở hạ tầng lưới cho phép dễ dàng chia sẻ và quản lý các tài nguyên đa dạng và phân tán trong môi trường lưới. [...]... rằng tính toán lưới không phải là chìa khóa vạn năng dùng để giải quyết mọi vấn đề Nó được dùng để bổ trợ chứ không phải là thay thế hoàn toàn các công nghệ tính toán hiện tại Các công nghệ tính toán đã tồn tại cũng đã giải quyết từng phần các yêu cầu do tính toán lưới đặt ra 17 (các yêu cầu về chia sẻ tài nguyên phân tán), tuy nhiên tính toán lưới hiện nay có thể giải quyết các vấn đề đó một cách... 0.2.5 Công nghệ tính toán hiệu năng cao Như đã nói ở trên, để giải quyết những bài toán lớn người ta có thể đầu tư cho cơ sở hạ tầng tính toán Để giải quyết những bài toán rất lớn và phức tạp, người ta phải xây dựng những hệ thống siêu máy tính Các hướng nghiên cứu trong tính toán hiệu năng cao chủ yếu bao gồm: - Nghiên cứu chế tạo những siêu máy tính tuần tự đơn bộ vi xử lý với tốc độ rất cao Cách làm... hơn tính toán lưới rất nhiều 0.2.4 Các hệ thống tính toán ngang hàng Tính toán ngang hàng là một tiếp cận trong tính toán phân tán Các hệ thống tính toán ngang hàng phổ biến hiện nay là SETI@home hay các mạng ngang hàng chia sẻ tập tin như Napster, Kazaa, Morpheus và Gnutella Điểm 15 khác biệt chính giữa tính toán ngang hàng và tính toán phân tán là: cộng đồng người sử dụng hướng tới: Tính toán lưới có. .. chính của GGF là phát triển chuẩn dịch vụ lưới OGSA Hình 0.3: Diễn đàn lưới toàn cầu GGF 0.3.2 Các tổ chức phát triển các bộ công cụ, framework và middleware Bao gồm nhiều trường đại học, các viện nghiên cứu Các tổ chức này đã cho ra đời rất nhiều các bộ công cụ phát triển lưới như Legion, Condor, Nimrod, Unicore, Globus 18 Hình 0.4: Các tổ chức phát triển công cụ hỗ trợ lưới 0.3.3 Các tổ chức xây... thường, cho tới các người dùng chuyên dụng, có kiến thức sâu về chuyên môn như các nhà nghiên cứu, các nhà khoa học Và lưới chính là sự tập hợp, chia sẻ, chọn lựa các nguồn tài nguyên 11 này thông qua một chính sách thống nhất, phân phối các siêu máy tính và các hệ cluster để đạt hiệu năng tốt hơn trong tương lai Các thách thức mà công nghệ tính toán lưới đang phải giải quyết bao gồm: - Các tài nguyên... hóa Tuy nhiên, việc nghiên cứu chế tạo ra các siêu máy tính nói chung mới chỉ được thực hiện ở các nước phát triển và giá thành của một hệ thống siêu máy tính như vậy (bao gồm cả phần cứng lẫn phần mềm hệ thống, công cụ phát triển) có thể lên đến hàng triệu đô la Xây dựng hệ thống tính toán hiệu năng cao bằng cách kết nối nhiều máy tính thông thường với nhau thành một cluster Bằng cách này trung tâm... một viện nghiên cứu, mà được kết nối với những trung tâm ở nhiều địa điểm khác nhau Tháng 8/2001, Ủy ban Khoa học Quốc gia Mỹ (NFS) đã xây dựng một lưới tính toán nối các siêu máy tính trên toàn quốc thành một nguồn xử lý tính toán có tên gọi Distributed Terascale Facility do Trung tâm Siêu máy tính Quốc gia (NCSA) quản lý, có thể triển khai các tính toán và truy cập vào hệ thống tính toán lưới qua... đề đó một cách tập trung và bài bản hơn với một ngữ cảnh rộng hơn rất nhiều 0.3 Các tổ chức tham gia vào quá trình phát triển của tính toán lưới Các tổ chức tham gia vào quá trình phát triển của tính toán lưới có thể chia ra làm bốn nhóm lớn sau: 0.3.1 Các tổ chức phát triển các chuẩn cho lưới Đại diện cho nhóm này là diễn đàn lưới toàn cầu (GGF – Global Grid Forum) và các tổ chức chuẩn hóa quốc tế... vậy, tính toán lưới, hiểu một cách đơn giản là sự phát triển tiếp theo của tính toán phân tán Mục đích là tạo ra một máy tính ảo lớn mạnh từ một tập lớn các hệ thống không đồng nhất nhằm nâng cao khả năng tính toán, chia sẻ các tài nguyên khác nhau Các nhà khoa học tại Argone National Labs thuộc đại học Chicago (Mỹ) là những người đầu tiên đề xuất ý tưởng về tính toán lưới Thuật ngữ lưới ở đây xuất phát. .. được phát triển bởi Đại học Monash, Úc nhằm hỗ trợ cho Globus Toolkit để khám phá một cách tự động nguồn tài nguyên cho phép của Grid - Dự án BioGrid: nhằm phát triển nền tảng tính toán mạng lưới hỗ trợ phân tích gen, những vấn đề về bệnh Đây là dự án đang được triển khai - Dự án Telescience: nhằm sử dụng mạng toàn cầu và hệ thống tình toán lưới để giúp các thành viên PRAGMA truy cập và sử dụng các . NGHỆ VIỆN CÔNG NGHỆ THÔNG TIN CHƯƠNG TRÌNH KHCN CẤP NHÀ NƯỚC KC.01/06-10 Đề tài: NGHIÊN CỨU, PHÁT TRIỂN HỆ THỐNG TÍNH TOÁN LƯỚI ĐỂ HỖ TRỢ GIẢI QUYẾT CÁC BÀI TOÁN CÓ KHỐI LƯỢNG TÍNH TOÁN. tầng tính toán. Để giải quyết những bài toán rất lớ n và phức tạp, người ta phải xây dựng những hệ thống siêu máy tính. Các hướng nghiên cứu trong tính toán hiệu năng cao chủ yếu bao gồm: - Nghiên. dùng để giải quyết mọi vấn đề. Nó được dùng để bổ trợ chứ không phải là thay thế hoàn toàn các công nghệ tính toán hiện tại. Các công nghệ tính toán đã tồn tại cũng đã giải quyết từng phần các