Tối ưu hóa truyền thông trong chương trình song song

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN THỊ TỐ LOAN TỐI ƢU HÓA TRUYỀN THÔNG TRONG CHƢƠNG TRÌNH SONG SONG LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN TS VŨ VĂN THIỆU Hà nội - 2015 LỜI CAM ĐOAN Luận văn thạc sĩ nghiên cứu thực hướng dẫn thầy giáo TS Vũ Văn Thiệu Để hoàn thành luận văn này, tài liệu thảm khảo liệt kê, cam đoan không chép toàn văn công trình thiết kế tốt nghiệp người khác Tác giả luận văn Nguyễn Thị Tố Loan MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG Mở đầu Chương 1: Mô hình tính toán song song sử dụng thư viện MPI 1.1 Các mô hình tính toán song song 1.1.1 Mô hình Master/Slave 1.1.2 Mô hình Data pipelining 1.1.3 Mô hình Divide and conquer 1.1.4 Mô hình SPMD 1.2 Giới thiệu thư viện lập trình song song MPI 1.2.1 Giới thiệu 1.2.2 MPI tiêu chuẩn 1.2.3 Khái niệm MPI 1.3 Các Phương thức truyền thông MPI 15 1.3.1 Phương thức truyền thông blocking MPI 16 1.3.2 Phương thức truyền thông unblocking MPI 16 1.3.3 So sánh phương thức truyền thông Blocking Unblocking 17 Chương 2: Bài toán phương trình nước nông 18 2.1 Giới thiệu toán Shallow-Water Equations 18 2.2 Phương pháp số giải toán Shallow-Water Equations 19 2.2.1 Phương pháp rời rạc hóa theo không gian 19 2.2.2 Điều kiện biên 21 2.2.3 Phương pháp tích hợp theo thời gian 22 2.3 Cài đặt chương trình 23 2.3.1 Cài đặt hàm rời rạc theo không gian 23 2.3.2 Cài đặt hàm tích hợp theo thời gian TI 25 2.3.3 Khởi tạo giá trị ban đầu 26 2.3.4 Chương trình 27 Chương : Thiết kế giải thuật truyền thông tối ưu chương trình song song 28 3.1 Ý tưởng xây dựng giải thuật truyền thông tối ưu 28 3.2 Cài đặt chương trình song song thông thường 29 3.2.1 Giải thuật chia miền tính toán 30 3.2.2 Giải thuật Phân tán liệu đầu vào tới tất Processor 31 3.2.3.Tính toán 32 3.2.4 Tập hợp kết từ Processor Root 35 3.2.5 Cấu trúc hàm main chương trình song song thông thường 35 3.3 Giải thuật truyền thông chương trình song song tối ưu 36 Chương : Chạy thử nghiệm chương trình đánh giá kết 44 4.1 Các tảng tính toán song song 44 4.2 Thử nghiệm phân tích kết 45 4.2.1 Kiểm tra tính xác chương trình: 45 4.2.2 Đánh giá hiệu C so với MPI 45 4.2.3 Đánh giá hiệu MPI nhiều nhân 46 4.2.4 Đánh giá hiệu thuật toán truyền thông tối ưu 46 Kết luận 47 DANH MỤC CÁC CHỮ VIẾT TẮT STT Viết tắt Tiếng Anh Tiếng Việt CPU Center Processor Unit Bộ xử lý trung tâm SPMD Single Program Multiple Data Mô hình lập trình song song SPMD MPI Message Passing Interface Giao tiếp truyền liệu PDEs Partial Diffirential Equations Hệ phương trình đạo hàm riêng SD Spatial discretization Rời rạc hóa không gian TI Time integration Tích hợp theo thời gian DANH MỤC CÁC HÌNH VẼ STT Hình Tên hình Trang Hình Mô hình lập trình song song SPMD Hình Truyền thông point to point 10 Hình Broadcast, Scatter, Gather 15 Hình Phương thức truyền thông Blocking MPI 16 Hình Phương thức truyền thông Unblocking MPI 16 Hình Cách chia miền tính toán điểm lưới 20 Hình 7a Điều kiện biên tuần hoàn theo chiều x 22 Hình 7b Điều kiện biên tuần hoàn theo chiều y 22 Hình Các điểm lân cận 23 10 Hình Cách đánh số 25 11 Hình 10 Cách chia miền tính toán thành Subdomain 30 12 Hình 11 Phân chia miền Halozone 32 13 Hình 12 Truyền thông 33 14 Hình 13 Truyền thông Blocking MPI Unblocking MPI 37 DANH MỤC CÁC BẢNG STT Bảng Tên bảng Trang Bảng Phương thức giao tiếp MPI 11 Bảng Giao tiếp MPI thông thường 12 Bảng Phương thức truyền thông MPI 17 Bảng Thông số máy tính chạy thử nghiệm 44 Bảng Kết thời gian chạy C MPI thông thường 45 Bảng Kết thời gian chạy MPI thông thường 46 Bảng Kết thời gian chạy MPI thông thường MPI tối ưu 46 LỜI NÓI ĐẦU Ngày nay, môi trường bị ô nhiễm nặng nề, khí hậu thay đổi không lường Những năm gần giới chịu ảnh hưởng sóng thần, lũ lụt Vẫn đau thương sóng thần lũ lụt gây Việt nam có gần 7000 hồ chứa lớn, nhỏ xây dựng nên an toàn đập trở thành vấn đề cấp thiết quản lý nguồn nước Tuy nhiên, việc triển khai ứng dụng gặp nhiều khó khăn khó cài đặt chương trình, số CPU cho máy tính để chạy chương trình có hạn Nhưng em hy vọng với nghiên cứu góp phần tính toán thông số thủy lực dòng chảy lũ như: mực nước, vận tốc,… tương ứng với kịch vỡ đập để từ đưa cảnh báo sớm đánh giá rủi ro phương án đề phòng Em xin chân thành cảm ơn thầy giáo TS Vũ Văn Thiệu nhiệt tình giúp đỡ để em hoàn thành đề tài Hà nội, tháng năm 2015 Học viên Nguyễn Thị Tố Loan Mở đầu Mở đầu Rất nhiều toán khoa học kỹ thuật có khối lượng tính toán lớn Ví dụ toán dự báo thời tiết, toán nhận dạng vân tay, toán mô động lực học chất lỏng, Trong dự báo thời tiết, để dự báo cho ngày cần thực khoảng triệu tỷ (1015) phép toán Khi muốn kéo dài thời gian dự báo tăng độ xác tin dự báo khối lượng tính toán tăng theo cấp số nhân Các toán có khối lượng tính toán lớn kể gọi toán tính toán hiệu cao Trước toán tính hiệu cao chủ yếu thực song song hệ thống siêu máy tính Trong năm gần đây, tảng cho phép thực chương trình song song trở nên đa dạng Ngoài siêu máy tính có hệ thống khác Cluster, Grid, Cloud, GPGPU, hay máy tính cá nhân sử dụng chip đa lõi Trong nhiều toán tính toán hiệu cao, ví dụ toán dự báo thời tiết toán phương trình nước nông, để tính toán điểm lưới yêu cầu thông tin (hay liệu) điểm lưới khác Chúng gọi toán toán có phụ thuộc liệu tính toán Trên hệ thống máy tính song song có nhớ phân tán, CPU có nhớ riêng CPU truy cập liệu nhớ CPU khác Trong chương trình song song SPMD (Single Program Multiple Data) hay gọi mô hình lập trình song song Domain decomposition (Phân chia miền tính toán), miền tính toán toán (domain) chia thành miền (subdomain) Mỗi miền gán cho CPU Do CPU truy cập nhớ nhau, có phụ thuộc tính toán cần phải truyền thông CPU Cụ thể hơn, việc tính toán CPU A cần liệu lưu trữ Học viên: Nguyễn Thị Tố Loan Luận văn thạc sĩ Mở đầu nhớ riêng CPU B, CPU B gửi CPU A nhận liệu Quá trình gọi truyền thông Việc cần phải truyền thông làm tăng thời gian thực chương trình song song Nếu liệu truyền thông lớn tốc độ mạng kết nối CPU nhỏ, thời gian truyền thông lớn, làm giảm hiệu chương trình song song Trong đó, lúc truyền thông, vi xử lý hoạt động chế độ chờ, làm giảm hiệu suất viêc tận dụng hệ thống Vì vậy, việc đưa phương pháp truyền thông tối ưu để giảm thời gian truyền thông trở nên quan trọng tính toán song song Tuy nhiên, có nghiên cứu đề cập đến vấn đề Luận văn nghiên cứu xây dựng thuật toán để tối ưu hóa việc truyền liệu chương trình tính toán song song dựa ý tưởng chồng chéo giứa tính toán với truyền thông: truyền liệu, thực phần tính toán mà liệu vào không phụ thuộc vào liệu truyền thông Sau áp dụng thử nghiệm thuật toán vào toán phương trình nước nông Luận văn bao gồm chương sau: Chƣơng 1: Tìm hiểu mô hình tính toán song song thư viện lập trình song song MPI, tìm hiểu phương thức truyền thông MPI Chƣơng 2: Tìm hiểu toán Shallow-Water Equations (Phương trình nước nông), xây dựng phương pháp số giải toán Shallow-Water Equations, cài đặt chương trình Chƣơng 3: Thiết kế giải thuật truyền thông tối ưu chương trình song song Chƣơng 4: Chạy thử nghiệm chương trình song song hệ thống cluster, siêu máy tính, phân tích kết quả, đánh giá hiệu thuật toán truyền thông Học viên: Nguyễn Thị Tố Loan Luận văn thạc sĩ Chương 3: Thiết kế giải thuật truyền thông tối ưu chương trình song song 3.2.4 Tập hợp kết từ Processor Root Sau Processor tính toán xong Subdomain, kết bị phân tán nhớ Process Dùng lệnh MPI_Gather để tập hợp kết từ Processor Root, ví dụ: MPI_Gather(Hcurrents,NX*NYs,MPI_FLOAT, H,NX*NYs,MPI_FLOAT,0, MPI_COMM_WORLD); 3.2.5 Cấu trúc hàm main chương trình song song thông thường // Khai báo cấp phát nhớ cho biến Domain: // Unew, Ucurrent, FU // Vnew, Vcurrent, FV // Hnew, Hcurrent, FH - Phân chia miền tính toán // Khai báo cấp phát nhớ cho biến Subdomain: // Unews, Ucurrents, FUs // Vnews, Vcurrents, FVs // Hnews, Hcurrent, FHs - Khởi tạo giá trị ban đầu Root - Phân chia liệu đầu vào - Tính toán U, V, H lặp sau: Học viên: Nguyễn Thị Tố Loan 35 Luận văn thạc sĩ Chương 3: Thiết kế giải thuật truyền thông tối ưu chương trình song song while (t