Hệ thống BKGrid 2006 là sản phẩm của công trình đó.Hệ thống BKGrid 2006 được xây dựng với phần cứng là các máy tính hiện có như máy chủ HP NetServer và các máy trạm là các máy tính cá nh
Bộ Giáo dục Đào tạo Trờng Đại học Bách khoa Hà Nội Luận văn thạc sĩ khoa học Ngành: Xử lý thông tin truyền thông đánh giá hiệu hệ thống song song phân cụm Phạm Thanh Liêm Hµ Néi 2006 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061131447081000000 MỤC LỤC MỞ ĐẦU………………………………………………………………… CHƯƠNG TỔNG QUAN VỀ ĐÁNH GIÁ HIỆU NĂNG HỆ THỐNG 1.1 Định nghĩa đánh giá hiệu năng…………………………………… 1.2 Mục đích việc đánh giá hiệu năng………………………………… 1.3 Phân loại phần mềm đo hiệu năng…………………………… 1.3.1 Phân loại dựa độ phức tạp chương trình đo hiệu năng…… 10 1.3.2 Phân loại dựa mục đích chương trình…………………… 11 1.4 Sự phát triển phần mềm đo hiệu năng…………………… 15 CHƯƠNG KIẾN TRÚC HỆ THỐNG TÍNH TỐN SONG SONG….… 18 2.1 Giới thiệu chung…………………………………………………… 18 2.2 Phân loại kiểu kiến trúc song song………………………………… 19 2.2.1 Kiến trúc máy tính Von Newmann…………………………… 19 2.2.2 Phân loại kiến trúc máy tính Flynn……………………… … 20 2.3 Các mơ hình lập trình song song…………………………………… 25 2.3.1 Mơ hình đa luồng……………………………………………… 25 2.3.2 Mơ hình truyền thơng điệp………………………………… 25 2.3.3 Mơ hình song song liệu……………………………………… 26 2.4 Các vấn đề hệ thống tính tốn song song phân cụm 26 2.4.1 Các khái niệm 26 2.4.2 Cấu trúc phần cứng hệ thống tính tốn song song phân cụm……… 27 4Ki3ến Cátrúchhầệ thống ề tửính d tốnt songhsong ệ thố BKCluster…………………… hâ 28 2.5 32 2.5.1 Kiến trúc phần cứng hệ thống BK Cluster…………………… 32 2.5.2 Kiến trúc phần mềm cài đặt hệ thống BK Cluster…………… 34 2.6 Quy trình đánh giá hiệu hệ thống BK Cluser………… 36 2.6.1 Đo hiệu tính tốn (năng lực CPU)………………… 38 2.6.2 Đo hiệu truy cập nhớ trong…………………………… 41 2.6.3 Đo hiệu truyền thông……………………………………… 42 2.6.4 Đo hiệu thư viện MPICH………………………………… 42 CHƯƠNG CÁC PHƯƠNG PHÁP ĐO HIỆU NĂNG………………… 44 3.1 Đo hiệu tính tốn………………………………………………… 44 3.2 Đo hiệu truy cập nhớ trong………………………………… 47 3.3 Đo hiệu truyền thông…………………………………………… 47 3.4 Đo hiệu thư viện phần mềm………………………………… 48 CHƯƠNG XÂY DỰNG CÁC CHƯƠNG TRÌNH THỰC HIỆN QUI TRÌNH ĐO HIỆU NĂNG………………………………………………… 50 4.1 Xây dựng chương trình thực quy trình đo hiệu năng…………… 50 4.2 Chương trình thực công việc đo hiệu năng………………… 51 4.2.1 Chương trình thực việc đo hiệu tính tốn…………… 51 4.2.2 Chương trình thực đo hiệu truy cập nhớ trong……… 53 4.2.3 Chương trình thực đo hiệu truyền thông…………… 54 4.2.4 Chương trình thực đo hiệu thư viện MPICH…………… 55 CHƯƠNG KẾT QUẢ ĐO HIỆU NĂNG……………………………… 56 5.1 Kết đo hiệu tính tốn………………………………………… 56 5.1.1 Kết đo hiệu tính tốn CPU đơn…………………… 56 5.1.2 Kết đo hiệu tính tốn tồn hệ thống……………… 57 5.2 Kết đo hiệu truy cập nhớ trong………………………… 64 55.43 K hiệu ệ năăng ct ềthưthviện ô truyền thông điệp MPICH……… Kết ết quảả đđo hi 64 65 5.5 Đánh giá tổng hợp hiệu hệ thống BK Cluster…………… 68 CHƯƠNG KẾT LUẬN………………………………………………… 71 TÀI LIỆU THAM KHẢO………………………………………………… 73 CÁC THUẬT NGỮ Synthetic Code Mã lệnh đơn Kernel Hạt nhân Simulation Application Mô ứng dụng Mega Instruction Per Second MIPS Triệu lệnh giây Message Passing Interface MPI Thư viện truyền thông điệp Open Passing Interface Open MP Thư viện lập trình đa luồng NASA Parallel Benchmark NPB Phần mềm đo hiệu song song Single Intruction Single Data SISD Đơn dòng lệnh, đơn dòng liệu Single Instruction Multiple Data SIMD Đơn dòng lệnh, đa dòng liệu Multiple Instruction Multip Data MIMD Đa dòng lệnh, đa dòng liệu Nonumiform Memory Access NUMA Truy cập nhớ không đồng Uniform Memory Access UMA Truy cập nhớ đồng Symmetric Multi Processor SMP Đa xử lý đối xứng Portable Batch System PBS Hệ thống phân tải DANH MỤC HÌNH Hình 2.1 Ngun lý kiến trúc máy tính Von Newmann…………………… 20 Hình 2.2 Kiến trúc SISD…………………………………………………… 20 Hình 2.3 Kiến trúc SIMD………………………………………………… 21 Hình 2.4 Kiến trúc MIMD Share Memory………………………………… 22 Hình 2.5 Kiến trúc MIMD Distributed Memory………………………… 23 Hình 2.6 Kiến trúc Core Duo Intel………………………………………… 24 Hình 2.7 Cấu hình kết nối Cluster………………………………………… 24 Hình 2.8 Kiến trúc phần cứng hệ thống BK Cluster……………………… 34 Hình 2.9 Hai phần mềm PBS MPICH………………………………… 36 Hình 2.10 Qui trình đo hiệu BK Cluster…………………………… 38 Hình 5.1 Biểu đồ tương quan hiệu số trạm………………… 63 Hình 5.2 Biểu đồ tương quan tốc độ truy cập nhớ …………………… 64 Hình 5.3 Biểu đồ tương quan dung lượng gói tin - tốc độ truyền thơng… 65 Hình 5.4 Biểu đồ tương quan dung lượng gói tin- tốc độ truyền thơng điệp 66 Hình 5.5 Biểu đồ tương quan tốc độ thời gian truyền thông mạng…… 67 Hình 5.6 Biểu đồ tương quan dung lượng gói tin- thời gian truyền thông… 68 DANH MỤC BẢNG Bảng 2.1 Kiến trúc phần mềm hệ thông…………………………………… 34 Bảng 2.2 Các phần mềm sử dụng đo hiệu năng…………………………… 37 Bảng 2.3 Độ lớn lớp liệu gói phần mềm NPB………………… 40 Bảng 3.1 Sự tương ứng phép toán số thực đơn vị flop…………… 46 Bảng 5.1 Kết đo hiệu CPU đơn………………………………… 57 Bảng 5.2 Kết đo hiệu tính tốn hạt nhân EP……………… 58 Bảng 5.3 Kết đo hiệu tính tốn hạt nhân IS……………… 59 Bảng 5.4 Kết đo hiệu tính tốn hạt nhân CG……………… 60 Bảng 5.5 Kết đo hiệu tính toán hạt nhân MG……………… 60 Bảng 5.6 Kết đo hiệu tính tốn hạt nhân LU……………… 61 Bảng 5.7 Kết đo hiệu tính tốn mơ chương trình SP 62 Bảng 5.8 Kết đo hiệu tính tốn mơ chương trình BT 62 MỞ ĐẦU Hiện giới nhờ tiến công nghệ cao, xây dựng hệ thống máy tính có khả tính tốn lớn siêu máy tính, tính tốn lưới phục vụ cho việc nghiên cứu khoa học ứng dụng thực tế Bên cạnh nhà sản xuất máy tính ln thay đổi cơng nghệ, cho hệ máy tính có khả tính toán với tốc độ nhanh Tuy nhiên Việt Nam, với trung tâm nghiên cứu chưa đủ tiền để mua máy tính lớn, nhu cầu có hệ thống tính tốn lớn lại cần thiết Một giải pháp xây dựng hệ thống tính tốn song song từ máy tính có liên kết trung tâm lại tạo hệ thống tính tốn lớn Trung tâm tính tốn hiệu cao, Trường đại học Bách Khoa Hà Nội triển khai nghiên cứu làm chủ công nghệ lưới ứng dụng vào thực tiễn Hệ thống BKGrid 2006 sản phẩm cơng trình Hệ thống BKGrid 2006 xây dựng với phần cứng máy tính có máy chủ HP NetServer máy trạm máy tính cá nhân, cấu hình mạng Ethernet sử dụng phần mềm mã nguồn mở: Hệ điều hành Linux, thư viện tính tốn chun dụng, phần mềm quản lý tài nguyên, thư viện truyền thông điệp Đánh giá hiệu hệ thống nhiệm vụ cần thiết để đưa nhận xét, kết luận tốc độ tính tốn, tính hiệu toàn hệ thống Đối với hệ thống tính tốn song song phân cụm, việc đánh giá hiệu tiến hành hai mức độ Đánh giá hiệu thành phần hệ thống : Gồm phần cứng phần mềm - Đánh giá hiệu phần cứng thực dựa số đo : tốc độ tính tốn CPU, tốc độ truy cập vào nhớ máy trạm, tốc độ truyền tin mạng Đánh giá hiệu phần mềm thực dựa việc khảo sát trình hoạt động thư viện cài đặt hệ thống thư viện tính tốn, thư viện truyền thơng điệp - Đánh giá hiệu tổng hợp toàn hệ thống: toàn hệ thống coi máy tính song song Dựa q trình khảo sát tốc độ, kết thu thực số tốn song song mà người quản trị đánh giá hiệu tính tốn tồn hệ thống, tương thích hệ thống dạng toán cụ thể Luận văn trình bày quy trình áp dụng phần mềm đo hiệu mã nguồn mở chuyên dụng để đánh giá hiệu hệ thống tính toán song song phân cụm BKCLUSTER Cấu trúc luận văn gồm chương với nội dung cụ thể sau : Chương Tổng quan đánh giá hiệu hệ thống máy tính Chương Kiến trúc hệ thống tính tốn BKCLUSTER Chương Các phương pháp đo hiệu Chương Xây dựng chương trình thực quy trình đo hiệu Chương Các kết đo hiệu Chương Kết luận Luận văn cao học hồn thành Trung tâm tính tốn hiệu cao Trung tâm máy tính thuộc Trường đại học Bách Khoa Hà Nội Tôi xin cảm ơn chân thành đến thầy PGS.TS Nguyễn Thanh Thủy Ths Đinh Hùng tận tình hướng dẫn tạo điều kiện cho tơi hồn thành luận văn Tôi xin chân thành cảm ơn thầy, cô tham gia giảng dạy Trung tâm đào tạo sau đại học, Trường đại học Bách Khoa Hà Nội truyền kiến thức quý báu chương trình cao học Hà Nội, Ngày 30 tháng 10 năm 2006 CHƯƠNG TỔNG QUAN VỀ ĐÁNH GIÁ HIỆU NĂNG HỆ THỐNG 1.1 Định nghĩa đánh giá hiệu Đánh giá hiệu sử dụng phần mềm chuyên dụng máy tính đơn hay hệ thống máy tính, từ việc phân tích thời gian chạy chương trình kết thu được, từ người quản trị rút kết luận tốc độ tính tốn, tốc độ truyền thơng khả truy cập nhớ Sau đưa kết luận hiệu thực hệ thống Mục đích việc đánh giá hiệu Khi triển khai hệ thống tính tốn, u cầu đặt người quản trị phải đánh giá khả hệ thống mặt tính tốn, truyền thơng Sự đánh giá có dựa kết cụ thể phản ánh tốc độ thực thao tác kiểu liệu, tốc độ gửi nhận gói tin, tốc độ truy cập nhớ nhớ Các kết tổng hợp lại cho phép dự đoán phần hiệu ứng dụng triển khai Đối với máy tính đóng vai trị nút tính tốn, việc đánh giá hiệu thực với mục đích đưa thơng số cụ thể phản ánh tốc độ tính tốn, tốc độ truy cập nhớ thực toán CPU đơn máy tính Từ thơng số cụ thể người quản trị đưa đánh giá lực tính tốn kích thước tốn phù hợp với nút mạng Khả truyền thông nút mạng đóng vai trị quan trọng triển khai hệ thống tính tốn Tốc độ truyền thông chịu ảnh hưởng cách trực tiếp cấu hình phần cứng dung lượng gói tin tần số gửi gói tin Từ thơng số đo thực chương trình đo hiệu truyền thơng, người quản trị đưa thơng số tối ưu dung lượng gói tin tần số gửi tin giao thức cụ thể hệ thống tính tốn triển khai Q trình đo hiệu cịn sử dụng để đánh giá tương thích hệ thống thư viện lập trình Trong trường hợp này, phần mềm đo hiệu gọi số hàm tiêu biểu thư viện, đo thời gian thực hàm kích thước đầu vào cụ thể Một mục đích việc xây dựng hệ thống máy tính để thực tốn địi hỏi số lượng tính tốn lớn Lúc hệ thống xem máy tính thực q trình chạy chương trình Các phần mềm đo hiệu tính tốn song song cho phép người quản trị có thơng số tốc độ tính tốn kiểu tốn, ứng dụng khác Có chương trình thiên truyền thơng, có chương trình cho phép giảm thiểu q trình truyền thơng để tập trung đánh giá lực tính tốn Để đánh giá tương thích hệ thống ứng dụng dự định triển khai, phần mềm đo hiệu có dạng mơ ứng dụng viết sử dụng Các phần mềm mô ứng dụng tương lai mức độ nhỏ đo đạc thơng số tính tốn, truyền thơng chạy với giá trị đầu vào thích hợp Qua thông số thu được, người quản trị hệ thống đưa đánh giá đắn, chỉnh sửa để triển khai hệ thống tương lai cách tối ưu cấu trúc phần cứng phần mềm cài đặt 1.3 Phân loại phần mềm đo hiệu Những phần mềm đo hiệu đời vào đầu năm 80 với mục đích ban đầu đo hiệu tính tốn máy tính Những chương trình đo hiệu sử dụng tập câu lệnh gọi nhiều