KHÓA LUẬN TỐT NGHIỆP: TÍNH TOÁN THÔNG LƯỢNG CAO VỚI CONDOR

KHÓA LUẬN TỐT NGHIỆP: TÍNH TOÁN THÔNG LƯỢNG CAO VỚI CONDOR

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Chu Quang Thủy TÍNH TOÁN THÔNG LƯỢNG CAO VỚI CONDOR KHÓA LUẬN TỐT NGHIỆP HỆ ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Chu Quang Thủy TÍNH TOÁN THÔNG LƯỢNG CAO VỚI CONDOR KHÓA LUẬN TỐT NGHIỆP HỆ ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS. Nguyễn Hải Châu HÀ NỘI – 2006 TÓM TẮT NỘI DUNG Tính toán thông lượng cao trên cụm máy tính là một vấn đề khá mới mẻ nhưng có vai trò rất quan trọng trong nhiều lĩnh vực nghiên cứu khoa học kĩ thuật cũng như trong việc triển khai các ứng dụng Công nghệ thông tin vào đời sống. Nó giúp cho con người sử dụng hiệu quả tài nguyên máy tính và tăng cường khả năng làm việc của cụm máy tính, tránh tình trạng sử dụng máy tính lãng phí. Một hệ thống tính toán thông lượng cao thường được xây d ựng từ một tập hợp các máy tính giao tiếp với nhau qua mạng, trong đó có một máy tính trung tâm có thể quản lí hoạt động của toàn bộ hệ thống tính toán đó. Một cụm tính toán như vậy cố gắng thực hiện thật nhiều công việc ứng dụng cho người dùng trong một thời gian dài. Ở mỗi máy tính trong cụm, người dùng sẽ đưa vào các công việc cần tính toán và chờ đến khi công việc đó được hoàn thành mà không cầ n biết nó được thực hiện trên máy nào của cụm. Với một hệ thống như vậy, người ta có thể làm được rất nhiều công việc lớn đòi hỏi tính toán lâu dài. Hệ thống Tính toán thông lượng cao với Condor đã được triển khai sử dụng ở nhiều nơi và sẽ được nghiên cứu thử nghiệm trong khóa luận này. MỤC LỤC MỞ ĐẦU 1 Chương 1. HỆ THỐNG TÍNH TOÁN THÔNG LƯỢNG CAO (HTC) 4 1.1. Ý nghĩa thực tế 4 1.2. Mô tả hệ thống 4 1.2.1. Mô tả chung 4 1.2.2. Sự khác nhau giữa hệ thống HTC và HPC 7 1.2.3 Lợi ích và ứng dụng của hệ thống HTC 9 1.3. Sự phát triển của phần mềm hệ thống HTC 11 1.3.1. Kiến trúc phần mềm phân tầng 11 1.3.2. Kiến trúc phân tầng quản lí tài nguyên 12 1.3.3. Tính mềm dẻo của giao thức 14 1.4. An toàn cho hệ thống 14 1.5. Các khách hàng 16 Chươ ng 2. GIỚI THIỆU PHẦN MỀM CONDOR 18 2.1. Tổng quan về Condor 18 2.1.1. Khái niệm chung 18 2.1.2. Một số tính năng đặc biệt của Condor 19 2.2. Các hệ thống Condor 22 2.2.1. Phân loại hệ thống 22 2.2.1.1. Một số kiểu hệ thống phổ biến của Condor 22 2.2.1.2. Các phiên bản được hỗ trợ 25 2.2.2. Nội dung nghiên cứu về Condor 27 2.3. Cơ sở hoạt động của hệ thống Condor 28 2.3.1. Mô hình quản lí tài nguyên 28 2.3.2. Các thành phần điề u khiển Condor 30 2.3.2.1 Các thành phần điều khiển 30 2.3.2.2. Khởi động các thành phần điều khiển 32 2.3.3. Quản lí tình trạng hoạt dộng của các máy 33 2.3.3.1. Trạng thái máy 33 2.3.3.2 Hoạt động của máy 35 2.3.4. Các thao tác với công việc 37 2.3.4.1. Đưa vào công việc 38 2.3.4.2. Kiểm soát công việc 39 2.4. Phương pháp nghiên cứu thử nghiệm 43 2.4.1. Lập kế hoạch sơ bộ 43 2.4.2. Phương pháp triển khai thực hiện thử nghiệm 43 Chương 3. TRIỂN KHAI THỬ NGHIỆM HỆ THỐNG CONDOR TẠI KHOA CNTT TRƯỜNG ĐẠI HỌC CÔNG NGHỆ 45 3.1. Điều kiện thực tế 45 3.2. Tiến hành cài đặt hệ thống phần mềm Condor 45 3.2.1. Lựa chọn các máy cho hệ thống 45 3.2.2. Mô tả cài đặt 46 3.2.3. Tạo ra hệ thống file chia sẻ 47 3.2.4. Một số lựa chọn cấu hình cho hệ thống 47 3.3. Các hoạt động thực nghiệm với hệ thống 51 3.3.1. Đưa các công việc vào hệ thống 51 3.3.2. Theo dõi tiến trình thực hiện của các công việc 52 3.4. Kết quả thực nghiệm 52 3.4.1. Tổng hợp các kế t quả thực nghiệm 52 3.4.1.1. Số lượng các công việc được hoàn thành 52 3.4.1.2. Thời gian thực hiện công việc của Condor 55 3.4.2. Lập các biểu đồ đánh giá hiệu quả sử dụng hệ thống 57 3.4.3. Nhận xét, đánh giá kết quả thực nghiệm 59 KẾT LUẬN 61 PHỤ LỤC 63 TÀI LIỆU THAM KHẢO 67 BẢNG CÁC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ Ý nghĩa AFS Andrew File System Một dạng hệ thống file chia sẻ API Application Programming Interface Giao diện lập trình ứng dụng CNTT Công Nghệ Thông Tin Công Nghệ Thông Tin CPU Control Processing Unit Bộ điều khiển trung tâm của máy tính FLOPS FLoating point OPerations per Second Sồ các phép tính dấu chấm động trên một giây HPC High Performance Computing Tính toán hiệu năng cao HTC High Throughput Computing Tính toán thông lượng cao JVM Java Virtual Machine Máy ào của Java NFS Network File System Hệ thống file chia sẻ thông thường PVM Parallel Virtual Machine Máy ảo song song CÁC THUẬT NGỮ TIẾNG ANH Account Tài khoản người dùng Advertising Quảng bá thông tin Checkpoint Điểm kiểm tra trạng thái Claiming protocol Giao thức thỏa thuận ClassAd Chùm tin quảng bá Collector Thành phần điều khiển thu thập thông tin Daemon Thành phần điều khiển Grid computing Tính toán lưới Host Máy phục vụ (hay còn gọi là máy chủ) Mainframe Máy tính lớn Matchmaker Bộ điều khiển tìm tài nguyên phù hợp Matchmaking Kết nối tài nguyên Master Chủ, thành phần điều khiển chủ Migration Sự di trú công việc Negotiator Sự thươ ng lượng, thành phần thương lượng Platform Cấu hình nền Pool Vùng máy hoạt động Preempt Xếp hàng ưu tiên Ownership Quyền sở hữu Remote system call Lời gọi hệ thống từ xa Schedd Thành phần điều khiển sắp xếp công việc Submit Đưa vào (công việc) Submit description file File mô tả công việc đưa vào Thread Luồng 1 MỞ ĐẦU Ngày nay, sử dụng công nghệ thông tin đã trở thành nhu cầu tất yếu trong mọi lĩnh vực đời sống. Đặc biệt, với sự phát triển như vũ bão của các công nghệ mạng máy tính và Internet, nhu cầu sử dụng và trao đổi thông tin đang ngày càng tăng nhanh. Hàng loạt những tập đoàn máy tính lớn trên thế giới, hàng trăm những trung tâm thương mại điện tử, hàng nghìn những công ty đa quốc gia… liên tục ra đờ i và phát triển, liên tục tiến hành những hoạt động trao đổi thông tin, quảng bá thương hiệu sản phẩm, giao dịch thương mại với nhau… thông qua Internet. Điều đó càng thúc đẩy con người mở ra những khả năng phát triển mới cho nền kinh tế tri thức trong tương lai, nhưng đồng thời nó cũng đặt ra những yêu cầu, đòi hỏi cao hơn về khoa học kĩ thuật để có thể sử dụ ng tối đa những tài nguyên mà Internet và các mạng máy tính khác mang lại. Với tầm quan trọng của Internet như vậy, các ứng dụng tính toán khoa học ở mọi lĩnh vực hầu như đều được tin học hoá và ngày càng phong phú, đa dạng. Rất nhiều những ứng dụng lớn cần được triển khai rộng rãi thông qua mạng máy tính để có thể kết nối được nhiều người, nhiều tài nguyên ở nhiều nơi khác nhau trên thế giới với nhau. Phần lớn các công việc tính toán bằng máy tính ngày càng tăng về cả số lượng và chất lượng, đòi hỏi khối lượng tài nguyên phục vụ việc tính toán ngày càng lớn, đồng thời xuất hiện rất nhiều công việc đòi hỏi thời gian tính toán lâu dài. Một trong những yêu cầu quan trọng nhất của công nghệ thông tin hiện nay là phải nâng cao hiệu suất sử dụng của các mạng máy tính, nâng cao khả nă ng sử dụng các tài nguyên có sẵn trên mạng. Vấn đề này đã được rất nhiều các nhà khoa học, các chuyên gia về mạng máy tính từ nhiều trung tâm nghiên cứu, nhiều trường đại học nổi tiếng trên thế giới bàn đến. Và một giải pháp rất tốt đã được nghiên cứu thành công bởi các giáo sư ở trường đại học Wisconsin- Madison (Hoa Kì), đó là phát triển hệ thống tính toán thông lượng cao được đặt tên là Condor, với khả n ăng tiết kiệm thời gian rỗi của các máy cũng như tiết kiệm các tài nguyên có sẵn trên các máy của hệ thống. Đây là một trong những đề tài nghiên cứu có giá trị rất lớn mà các nhà khoa học ở Mỹ đã nghiên cứu thành công và được thế giới công nhận. 2 Với mong muốn được chia sẻ những kiến thức thiết yếu về các hệ thống tính toán thông lượng cao này, em đã quyết định nghiên cứu về đề tài “Tính toán thông lượng cao với Condor”. Trong khoá luận tốt nghiệp này, em xin được trình bày những vấn đề mà mình đã tìm hiểu được về đề tài đó. Khoá luận tốt nghiệp sẽ có những nội dung chính như sau: - Phần Mở đầu mô tả nhu cầu thực t ế, mục đích của đề tài và bố cục của khoá luận tốt nghiêp. - Chương 1 “Hệ thống tính toán thông lượng cao (HTC)” trình bày khái quát các kiến thức liên quan đến hệ thống tính toán thông lượng cao. - Chương 2 “Giới thiệu phần mềm Condor” sẽ giới thiệu về phần mềm Condor, cơ sở của việc tính toán cụm trong hệ thống Condor và nêu phương pháp nghiên cứu tính toán cho đề tài này. - Chương 3 “Triển khai thử nghiệm hệ thống Condor t ại khoa CNTT trường Đại học Công Nghệ” sẽ mô tả về quá trình triển khai thử nghiệm một hệ thống tính toán thông lượng cao sử dụng phần mềm Condor được thực hiện ở khoa CNTT, trường Đại học Công Nghệ- ĐHQG Hà Nội và những thống kê, đánh giá kết quả của quá trình thử nghiệm này. - Phần kết luận nêu tóm tắt về những gì đã nghiên cứu được trong khoá luận này, đồng th ời nêu ra những định hướng phát triển tiếp theo cho đề tài này. Mặc dù khóa luận đã đạt được các kết quả như đã trình bày và em đã cố gắng rất nhiều nhưng do hạn chế về mặt thời gian và kinh nghiệm cho nên khóa luận chắc chắn không tránh khỏi những sai sót. Vì vậy em rất mong nhận được sự đánh giá, góp ý của các thầy, cô và bạn bè để em có điều kiện tiếp tục nghiên cứu và phát triển tiếp đề tài này. Cuối cùng, em xin gửi lời cảm ơn chân thành tới thầy giáo- Tiến sĩ Nguyễn Hải Châu, người đã tận tình hướng dẫn em trong suốt quá trình thực hiện đề tài khóa luận tốt nghiệp này. Em xin chân thành cảm ơn các anh chị thực tập sinh: Đỗ Thị Minh Việt, Nguyễn Thị Thùy Linh, Phạm Duy, Đinh Trung Hiếu đã giúp đỡ em việc sử dụng máy tính cá nhân để cài đặt thử nghiệ m. Đồng thời em cũng xin gửi lời cảm ơn đến các thầy cô giáo ở bộ môn Các hệ thống thông tin, khoa CNTT 3 trường Đại học Công Nghệ đã nhiệt tình giúp đỡ cho em trong suốt quá trình nghiên cứu thực nghiệm tại trường của em. Hà Nội ngày 24 tháng 05 năm 2005 Sinh viên thực hiện Chu Quang Thủy [...]... nhóm nghiên cứu hệ thống tính toán thông lượng cao Condor thuộc trường đại học Wisconsin- Madison đã tiến hành phát triển và đánh giá các cơ chế và chính sách nhằm hỗ trợ hệ thống HTC trên các tập hợp rộng rãi các nguồn tài nguyên máy tính hỗn tạp được sở hữu phân phối Người ta lần đầu tiên được giới thiệu về sự khác nhau giữa Tính toán hiệu năng cao (HPC) và Tính toán thông lượng cao (HTC) trong một buổi... 1.2.1 Mô tả chung Một hệ thống Tính toán thông lượng cao là một hệ thống mạng máy tính luôn cố gắng cung cấp nhiều khả năng xử lí công việc cho các khách hàng (là những người dùng hệ thống) thông qua những khoảng thời gian dài bằng cách khai thác triệt để các tài nguyên tính toán trên mạng và khả năng sử dụng sức mạnh tính toán của các máy tính [2] Khi mà nhu cầu tính toán của phần lớn các nhà khoa... phải có một môi trường tính toán có khả năng thực hiện được những khối lượng công việc rất lớn và phức tạp trong một khoảng thời gian tương đối dài Một môi trường như vậy được gọi là một môi trường Tính toán thông lượng cao (High-Throughput Computing - HPC) Đã nhiều năm nay, khi nhắc tới lĩnh vực tính toán của các mạng máy tính, người ta thường nói đến môi trường Tính toán hiệu năng cao (High-Performance... nói chuyện thảo luận về Tính toán thông lượng cao Theo đó, nhiều nhà khoa học cho rằng vấn đề cần thiết hiện nay không chỉ còn là tốc độ tính toán của các máy tính riêng lẻ, mà còn là vấn đề làm sao để mở rộng phạm vi hoạt động của một mạng gồm rất nhiều máy tính và các máy tính đó phải hỗ trợ, cộng tác với nhau trong quá trình làm việc Những nhà nghiên cứu này quan tâm đến việc tính toán dựa theo tiêu...Chương 1 HỆ THỐNG TÍNH TOÁN THÔNG LƯỢNG CAO (HTC) 1.1 Ý nghĩa thực tế Đối với nhiều công trình nghiên cứu khoa học và các dự án phát triển lớn, chất lượng của việc nghiên cứu phụ thuộc rất nhiều vào khả năng tính toán của máy tính Yêu cầu thực tế là cần giải quyết nhiều bài toán của nhiều người sử dụng trong khoảng thời gian tính toán kéo dài hàng tuần, hàng tháng Các nhà khoa... Tính toán thông lượng cao HTC Nó sử dụng hiệu quả sức mạnh tính toán của các máy trạm được giao tiếp với nhau qua mạng Condor có thể quản lí một cụm các máy được dành riêng Sức mạnh tính toán của Condor có được do tận dụng các tài nguyên rỗi trong cụm máy đó Một người dùng đưa công việc tới Condor Condor tìm một máy sẵn sàng làm việc trên mạng và bắt đầu chạy công việc trên máy đó Condor có khả năng nhận... mô phỏng đường thông gió cho các xe ô tô, hay mô phỏng các mạch điện cho các thiết bị điện tử hiện đại Nếu một công ty thương mại sử dụng hệ thống tài nguyên lưới Globus để có thể thu được sức mạnh tính toán lớn hơn như nó đã có sẵn trong một ngôi nhà, hệ thống Tính toán thông lượng cao kiểu Condor- G sẽ cung cấp khả năng quản lí công việc tin cậy Hay có những hệ thống hiện đại hơn như Condor glidein,... rộng với băng thông được giới hạn, tính tin cậy thấp hơn và vấn đề an toàn được quan tâm hơn Do đó, có một đòi hỏi lớn hơn về việc áp dụng cơ chế truy nhập file từ xa, lưu trữ cục bộ các file trung gian trong cụm và mã hóa sự giao tiếp qua mạng 17 Chương 2 GIỚI THIỆU PHẦN MỀM CONDOR 2.1 Tổng quan về Condor 2.1.1 Khái niệm chung Condor là một hệ thống phần mềm để tạo ra một môi trường Tính toán thông lượng. .. tính trên năng lực tính toán của phần cứng máy tính, khả năng điều khiển các tài nguyên tính toán mạnh đã được đặt trong tầm tay của những cá nhân và từng nhóm nhỏ Những người sở hữu phân phối này sẽ vui lòng đóng góp tài nguyên của họ vào môi trường HTC sau khi họ biết chắc chắn rằng nhu cầu của họ sẽ được thoả mãn và quyền hạn của họ được bảo vệ Để đạt được khả năng tính toán cao nhất, hệ thống Tính. .. bài toán rất phức tạp về thuật toán, mà nó không đòi hỏi tốc độ thực hiện phép tính nhanh lắm mà nó cần thực hiện nhiều các hoạt động tác vụ khác bên trong hệ thống như kết nối, truyền thông điệp từ máy này sang máy khác, truy xuất cơ sở dữ liệu từ xa… hoặc khi cần giải quyết một số lượng bài toán rất lớn, rất đa dạng về kiểu hình bài toán thì rõ ràng hệ thống HTC sẽ được sử dụng tốt hơn nhiều so với