Tính toán phân tán và ứng dụng

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG -o0o - TÍNH TỐN PHÂN TÁN VÀ ỨNG DỤNG ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY NGÀNH CÔNG NGHỆ THÔNG TIN Sinh viên thực hiên: Nguyễn Thị Phương Giáo viên hướng dẫn: Ths Nguyễn Trịnh Đông Mã số sinh viên: 110942 MỤC LỤC MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC CHỮ VIẾT TẮT MỞ ĐẦU CHƢƠNG I: MÁY TÍNH SONG SONG 1.1 Giới thiệu chung tính tốn song song phân tán 1.2 Trình bày máy tính song song 1.2.1 Kiến trúc loại máy tính song song 1.2.2 Các thành phần máy tính song song 12 1.2.3 Chương trình dịch hệ điều hành 15 1.3 Kỹ thuật lập trình song song 16 1.3.1 Những mơ hình lập trình song song 16 1.3.2 Nguyên lý thiết kế thuật toán song song 24 1.4 Một số chiến lược song song hóa phổ biến 25 1.4.1 Song song hóa kết 26 1.4.2 Song song hóa đại diện 26 1.4.3 Song song hóa chuyên biệt 27 CHƢƠNG II : MÁY ẢO SONG SONG PVM (Paralle Virtual Machine ) 28 2.1 Giới thiệu chung 28 2.1.1 Máy tính xử lý song song MPP 28 2.1.2 Máy trạm thay (Cluster of Workstation) 28 2.1.3 Tính tốn mạng khơng đồng 29 2.2 Kiến trúc máy ảo song song PVM (Parallel Virtual Machine) 29 2.2.1 Định nghĩa 29 2.2.2 Nguyên lý hệ thống PVM 29 2.2.3 Cấu trúc PVM 30 2.2.4 Kiến trúc PVM 31 2.3 Cơ chế hoạt động 31 2.4 Lập trình cụm máy tính PVM 32 2.4.1 Điều khiển task 34 2.4.2 Truyền thông điệp 34 2.4.3 Nhận thông điệp 35 2.4.4 Nhóm task 35 2.4.5 Các kiểu liệu đóng gói PVM 36 2.5 Sử dụng PVM 36 2.5.1 Cài đặt PVM 36 2.5.2 Bắt đầu với PVM 37 2.5.3 Một số vấn đề sử dụng PVM 38 2.5.4 Chạy chương trình PVM 39 2.5.5 Giao diện điều khiển PVM 40 2.5.6 Các tùy chọn hostfile 41 2.6 Lập trình dùng PVM 43 2.6.1 Mô hình Master – Slave 43 2.6.2 Mơ hình Task – to – Task 44 2.7 Thiết kế môi trường hỗ trợ tính tốn song song 47 2.7.1 Quản lý biến phân chia 48 2.7.2 Giao diện với người lập trình 54 CHƢƠNG 3: THỰC NGHIỆM 55 3.1 Phát biểu toán 55 3.2.Xây dựng toán tử toán 55 3.3 Cài đặt đánh giá 58 3.3.1 Cấu hình hệ thống 58 3.3.2 Cài đặt PVM 59 3.3.3 Biên dịch chạy thử 59 3.3.4 Kết 60 3.3.5 Đánh giá 61 KẾT LUẬN 62 Tài liệu tham khảo 63 DANH MỤC HÌNH VẼ Hình 1.1 Hệ thống nhớ phân cấp Hình 1.2 Mơ hình nhớ kết hợp Hình 1.3 Mơ hình mạng liên kết n xử lý Hình 1.4 Mơ hình chia sẻ nhớ Hình 1.5 Mơ hình nhớ phân tán Hình 1.6 Mơ hình “đường - ống” Hình 1.7 Dịch đơn chương trình, đa thao tác liệu Hình 2.1 Kiến trúc PVM Hình 2.2 Sự trao đổi thơng điệp máy tính hệ PVM Hình 2.3 Gọi hàm pvm_psend() pvm_precv() Hình 2.4 Phương thức trao đổi tiến trình Hình 2.5 Mơ tả giai đoạn q trình biên dịch Hình 2.6 Mơ hình quản lý biến phân chia Hình 2.7 Mơ hình quản lý tiến trình Hình 2.8 Mơ hình chế hoạt động Hình 2.9 Quản lý biến phân chia Hình 2.10 Giao thức truyền thơng Hình 3.1: Node Slave mount thư mục /home node Master Hình 3.2 PVM cài add host Slave Hình 3.3 Kết toán DANH MỤC CHỮ VIẾT TẮT ALU Arithmetic and Logic Unit AM Associative Memory BXL Bộ xử lý COMA Cache Only Memory Architecture CPU Computer Processing Unit HĐH Hệ điều hành UMA Uniform Memory Access MISD Multiple Instruction Stream, Single Data Stream MPSD Multiple Program Stream, Single Data Stream MIMD Multiple Instruction Stream, Multiple Data Stream MPMD Multiple Program Stream, Multiple Data Stream MPI Message Passing Interface MPP Machine Massively Parallel Processors NUMA Non – Uniform Memory Access PRAM Parallel Random Access Memory PVM Parallel Virtual Machine SISD Single Instruction Stream, Single Data Stream SPSD Single Program Stream, Single Data Stream SIMD Single Instruction Stream, Multiple Data Stream RAM Random Access Memory MỞ ĐẦU Nhiệm vụ Công nghệ thông tin nghiên cứu mô hình, phương pháp cơng nghệ, cơng cụ hỗ trợ để tạo hệ thống phần mềm giải toán phức tạp thực tế Những vấn đề xử lý ngôn ngữ tự nhiên, tiếng nói, nhận dạng dự báo thời tiết,…đều đòi hỏi phải xử lý liệu với tốc độ cao, với khối lượng liệu lớn Hầu hết tốn này, máy tính xử lý kiểu Von Neumann không đáp ứng yêu cầu Mặc dù tốc độ số lượng xử lý tăng nhiều năm qua, giới hạn phương diện vật lý nên khả tính tốn chúng khơng thể tăng theo u cầu tại, không đáp ứng tương lai Điều dẫn tới muốn tăng khả tính tốn hệ thống máy tính để giải toán đáp ứng yêu cầu thực tế khơng cách khác phải khai thác khả xử lý song song phân tán hệ thống máy tính đại Mục đích xử lý song song phân tán tận dụng khả tính tốn hệ đa xử lý, máy tính song song để thực tính tốn nhanh sở sử dụng nhiều xử lý đồng thời Cùng với tốc độ xử lý nhanh hơn,việc xử lý song song phân tán giải toán lớn hơn, phức tạp thực tế Các công cụ hỗ trợ lập trình song song kể đến MPI, PVM, số tích hợp sẵn thành chuẩn ngơn ngữ lập trình thư viện OpenMP C/C++, Fortran,…Trong khn khổ khóa luận em tìm hiểu lập trình song song sử dụng PVM, cấu hình PVM chạy ví dụ ứng dụng Nội dung khóa luận bao gồm: Chương 1: Tìm hiểu máy tính song song Chương 2: Tìm hiểu máy ảo song song PVM Chương 3: Thực nghiệm chạy ứng dụng Kết luận: Nêu lên vấn đề nghiên cứu hạn chế, thiếu sót phương hướng phát triển tương lai CHƢƠNG I: MÁY TÍNH SONG SONG 1.1 Giới thiệu chung tính tốn song song phân tán Xử lý song song trình xử lý gồm nhiều tiến trình kích hoạt đồng thời tham gia giải vấn đề, nói chung thực hệ thống có nhiều xử lý đồng thời 1.2 Trình bày máy tính song song 1.2.1 Kiến trúc loại máy tính song song a Tại phải xử lý song song Phân biệt xử lý song song với tuần tự: Trong tính tốn với BXL thời điểm thực phép toán Trong tính tốn song song nhiều BXL kết hợp với để giải toán giảm thời gian xử lý thời điểm thực đồng thời nhiều phép tốn Mục đích xử lý song song: thực tính tốn nhanh sở sử dụng nhiều BXL đồng thời Cùng với tốc độ xử lý nhanh hơn, việc xử lý song song giải tốn phức tạp u cầu khối lượng tính tốn lớn Ba yếu tố dẫn đến việc xây dựng hệ thống xử lý song song:  Tốc độ xử lý BXL theo kiểu von Neumann dần tiến tới giới hạn, cải tiến thêm dẫn tới đòi hỏi phải thực xử lý song song  Hiện giá thành phần cứng (CPU) giảm mạnh, tạo điều kiện để xây dựng hệ thống có nhiều BXL với giá thành hợp lý  Sự phát triển công nghệ mạch tích hợp cho phép tạo hệ thống có hàng triệu transistor chip Vấn đề xử lý song song liên quan trực tiếp đến: kiến trúc máy tính, phần mềm hệ thống (hệ điều hành), thuật tốn ngơn ngữ lập trình, v.v Hệ thống tính song song: tập BXL (thường loại) kết nối với theo kiến trúc để hợp tác với hoạt động trao đổi liệu với Chúng ta dễ nhận thấy độ phức tạp xử lý song song lớn xử lý nhiều, tập trung chủ yếu phương diện trao đổi liệu đồng tiến trình Để cài đặt thuật tốn song song máy tính song song phải sử dụng ngơn ngữ lập trình hỗ trợ lập trình song song như: Fortran 90, Pthread với Fortran/C++, MPI với C/C++, PVM với C/C++, OpenMP với C/C++, v.v b Phân loại kiến trúc máy tính Dựa vào đặc tính số lượng BXL, số chương trình thực hiện, cấu trúc nhớ, v.v., Michael Flynn (1966) phân máy tính thành loại sau: Mơ hình SISD( Single Instruction Stream, Single Data Stream): Đơn luồng lệnh, đơn luồng liệu Máy tính loại SISD có CPU, thời điểm thực lệnh đọc, ghi mục liệu Tất máy tính SISD có ghi register gọi đếm chương trình (program counter) sử dụng để nạp địa lệnh kết thực theo thứ tự xác định câu lệnh Mơ hình SISD gọi SPSD (Simple Program Simple Data), đơn chương trình đơn liệu Đây mơ hình máy tính kiểu von Neumann Mơ hình SIMD (Simple Instruction Stream Multiple Data Stream): Đơn luồng lệnh, đa luồng liệu Máy tính loại SIMD có đơn vị điều khiển để điều khiển nhiều đơn vị xử lý (nhiều đơn vị) thực theo luồng câu lệnh CU phát sinh tín hiệu điều khiển tới tất phần tử xử lý, BXL thực phép toán mục liệu khác nhau, nghĩa BXL có luồng liệu riêng Mơ hình SIMD gọi SPMD, đơn chương trình đa liệu Đây mơ hình máy tính phổ biến có thị trường như: DAP Connection Machine CM-2 Mơ hình MISD (Multiple Instruction Simple Data): Đa lệnh, đơn liệu Máy tính loại MISD ngược lại với SIMD Máy tính MISD thực nhiều chương trình (nhiều lệnh) mục liệu, nên gọi MPSD (đa chương trình, đơn liệu) 10 Kiến trúc kiểu chia thành hai nhóm:  Lớp máy tính gồm nhiều đơn vị xử lý (PU) khác nhận lệnh khác để thực mục liệu Đây kiến trúc khó chưa có loại máy tính sản xuất theo loại  Lớp máy tính có luồng liệu gửi theo dãy CPU liên tiếp Đây loại kiến trúc hình ống, xem xét sau: Nguyên lý hình ống (pipelined) dựa vào phương pháp phân đoạn chia nhỏ tiến trình tính toán thành số đoạn nhỏ để thực pha liên tiếp Tất giai đoạn tiến trình thực tuần tự, thực xong bắt đầu thực tiến trình Mỗi pha thực xong gửi kết cho pha Như vậy, cách thực theo nguyên lý hình ống, giai đoạn cơng việc thực giai đoạn khác nạp liệu vào, liệu vào giai đoạn kết giai đoạn trước Mơ hình MIMD (Multiple Instruction Multiple Data): Đa luồng lệnh, đa luồng liệu Máy tính loại MIMD gọi đa BXL, BXL thực luồng lệnh (chương trình) khác luồng liệu riêng Hầu hết hệ thống MIMD có nhớ riêng truy cập vào nhớ chung (global) cần, giảm thiểu thời gian trao đổi liệu BXL hệ thống Đây kiến trúc phức tạp nhất, mơ hình hỗ trợ xử lý song song cao có nhiều máy tính sản xuất theo kiến trúc này, ví dụ: BBN Butterfly, Alliant FX, iSPC Intel, v.v c Kiến trúc máy tính song song Theo phân loại Flynn có họ kiến trúc quan trọng cho máy tính song song SIMD MIMD Những kiến trúc khác xếp theo mẫu Những kiến trúc khác tạo khả khác cho việc xử lý song song Đối với kiến trúc máy tính song song mục đích khai thác triệt để khả kiến trúc song song để xây dựng chương trình song song 50 Nhận kết phản hồi Hình 2.8 Mơ hình chế hoạt động Một gói tin yêu cầu có cấu trúc: tid: Số hiệu công việc (task ID) tiến trình gửi yêu cầu tới command: mã yêu cầu value: giá trị biến ( có) Điều khiển truy nhập tương tranh: Khi có từ hai tiến trình trở lên muốn truy nhập tới biến phân chia, giá trị biến phân chia bị thay đổi không với mong muốn người lập trình thiếu đồng hai tiến trình Ví dụ có task 1, truy nhập tới biến mảng A: Task khởi tạo mảng A Task đọc giá trị mảng A Nếu không đồng bộ, task nhận mảng A có phần đầu khởi tạo Để khắc phục ta sử dụng chế khóa ngoại trừ: 51 Mỗi biến gắn khóa thủ tục nguyên thủy (primitive) lock_sh_var( ) : khóa biến phân chia tiến trình thời unlock_sh_var( ) : mở khóa Chỉ có tiến trình khóa biến mở get_sh_ var( ) : đọc giá trị biến put_sh_var( ) : lưu giá trị vào biến get_lock_sh_var( ) : đọc giá trị biến khoá lại put_unlock_sh_var( ) : lưu giá trị vào biến mở khóa Cơ chế hoạt động khóa ngoại trừ: Một biến phân chia bị khóa tiến trình mở tiến trình Khi biến khóa truy nhập từ tiến tình khác phải chờ đợi (block) biến mở khóa Thiết kế chương trình quản lý biến phân chia mơi trường PVM: Trước hết, người lập trình cung cấp danh sách biến phân chia ứng dụng Mỗi biến gồm thông tin về: Kiểu liệu Tên biến Kích thước biến mảng Để đảm bảo tính quán, với ứng dụng, ta sinh chương trình quản lý biến phân chia riêng Hình 2.9 Quản lý biến phân chia Cấu trúc phần tử danh sách biến phân chia: struct { int type ; Kiểu liệu biến: int, long, float, double char * name ; tên biến 52 int size ; size = 0: biến đơn size > 0: biến mảng } ShVarType; Để đảm bảo có mơ đun thuộc ứng dụng truy nhập biến phân chia, ta tạo nhóm tiến trình máy ảo PVM ứng dụng Thuật toán chi tiết để quản lý biến phân chia: Bước 1: Khởi tạo  Khởi tạo biến cục tương ứng với biến phân chia  Khởi tạo bảng băm chứa tên biến truy nhập có đưa thêm khóa ngoại trừ  Khởi tạo hàng đợi yêu cầu  Nếu sang bước  Ngược lại quay bước Bước 7: Dọn dẹp trước kết thúc Các lệnh gồm có: command ==0 : Lệnh kết thúc chương trình quản lý command == : Lệnh đọc giá trị biến phân chia command == : Lệnh lưu giá trị vào biến phân chia command == : Khóa biến command == : Mở khóa command == : Đọc giá trị khóa Xác định tiến trình khóa biến 53 command == 11 : Đọc khóa biến phân chia command == 22 : Ghi giá trị mở khóa command == 12 : Đọc mở khóa command == 21 : Ghi khóa Giao thức truyền thơng tiến trình (task) tiến trình quản lý biến phân chia: Các task gửi gói yêu cầu tới tiến trình quản lý Tiến trình quản lý xếp yêu cầu hàng dợi để đảm bảo thứ tự khơng làm thất lạc gói u cầu Tiến trình quản lý lấy yêu cầu hàng đợi gửi trả lại thông điệp báo " sẵn sàng" (ready packet) Sau xử lý xong yêu cầu, tiến trình quản lý gửi trả lại gói kết cho task yêu cầu Task yêu cầu nhận kết quả, sau gửi thơng điệp báo kết thúc phiên u cầu Hình 2.10 Giao thức truyền thơng 54 2.7.2 Giao diện với ngƣời lập trình Các phần trình bày chức bên số mơi trường lập trình song song Ngồi ra, phần quan trọng để giúp mơ tả dễ dàng đồ thị công việc, ràng buộc vào/ra, , phần giao diện Phần giao diện có đòi hỏi phải cài đặt mạng máy tính cho đồng thời nhiều người lập trình làm việc Nhiệm vụ phần giao diện: Liên kết với chương trình quản lý chung máy chủ Bộ soạn thảo mã nguồn cho công việc Quản lý từ xa máy ảo song song PVM Biên dịch chạy thử chương trình hiển thị kết Chương trình quản lý mơi trường máy chủ có nhiệm vụ: Liên lạc với giao diện Quản lý phiên làm việc người lập trình Quản lý lưu trữ mã nguồn công việc ứng với ứng dụng Quản lý máy ảo PVM Gọi chạy ứng dụng PVM, chuyển kết tới giao diện 55 CHƢƠNG 3: THỰC NGHIỆM 3.1 Phát biểu toán Chương ta tìm hiểu cách thức chạy toán đơn giản Do thời gian kiến thức có hạn nên ta tính tốn tốn thử nghiệm PVM cài mơi trường máy ảo LINUX chạy giao diện dòng lệnh Bài tốn in hình kết từ máy định danh máy 3.2 Xây dựng toán tử toán Tư tưởng giải thuật tốn:  Số tiến trình toán gấp lần số máy tham gia hệ thống  Máy Master có nhiệm vụ gửi liệu cho máy Slave để tính tốn  Master nhận kết từ máy Slave  In kết máy định danh máy Song song hóa giải thuật tuần tự: Sử dụng hệ thống gồm NPROCS xử lý, NPROCS = * nhost Khi xử lý phải tính kết theo cơng thức trả kết máy master Lúc máy chủ tổng hợp in hình kết  Chương trình master1.c: #include #ifdef HASSTDLIB #include #endif #include "pvm3.h" #define SLAVENAME "slave1" main() { int mytid; /* my task id */ int tids[32]; /* slave task ids */ int n, nproc, numt, i, who, msgtype, nhost, narch; float data[100], result[32]; struct pvmhostinfo *hostp; /*Ghi danh vào PVM*/ mytid = pvm_mytid(); /* Thiết lập số máy slave để bắt đầu */ pvm_config( &nhost, &narch, &hostp ); nproc = nhost * 3; if( nproc > 32 ) nproc = 32 ; printf("Spawning %d worker tasks " , nproc); /* Bắt đầu với tác vụ slave */ numt = pvm_spawn(SLAVENAME, (char**)0, 0, "", nproc, tids); 56 } } if( numt < nproc ) { printf("\n Trouble spawning slaves Aborting Error codes are:\n"); for( i=numt ; i