Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN MINH QUÝ PHÂN TÍCH ẢNH HƯỞNG CỦA TRỄ TRUYỀN THÔNG ĐẾN HIỆU NĂNG CỦA HỆ THỐNG TÍNH TOÁN SONG SONG LUẬN ÁN TIẾN SĨ KỸ THUẬT PHẦN MỀM Hà Nội -2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN MINH QUÝ PHÂN TÍCH ẢNH HƯỞNG CỦA TRỄ TRUYỀN THÔNG ĐẾN HIỆU NĂNG CỦA HỆ THỐNG TÍNH TOÁN SONG SONG Chuyên ngành: Kỹ thuật phần mềm Mã số: 62480103 LUẬN ÁN TIẾN SĨ KỸ THUẬT PHẦN MỀM NGƯỜI HƯỚNG DẪN KHOA HỌC 1. PGS.TS HUỲNH QUYẾT THẮNG 2. TS. HỒ KHÁNH LÂM Hà Nội -2015 i LỜI CAM ĐOAN Tôi xin cam đoan luận án này là công trình nghiên cứu khoa học của tôi dưới sự hướng dẫn của PGS.TS Huỳnh Quyết Thắng và TS Hồ Khánh Lâm và không trùng lặp với bất kỳ công trình khoa học nào khác. Các số liệu trình bày trong luận án đã được kiểm tra kỹ và phản ánh hoàn toàn trung thực. Các kết quả nghiên cứu do tác giả đề xuất chưa từng được công bố trên bất kỳ tạp chí nào đến thời điểm này ngoài những công trình của tác giả. Hà Ni, ngày 2 tháng 6 5 XÁC NHẬN CỦA TẬP THỂ HƯỚNG DẪN GV. HƯỚNG DẪN 1 GV. HƯỚNG DẪN 2 TÁC GIẢ LUẬN ÁN PGS.TS Huỳnh Quyết Thắng TS. Hồ Khánh Lâm Nguyễn Minh Quý ii LỜI CẢM ƠN Với tất cả sự kính trọng và biết ơn sâu sắc nhất, tác giả xin chân thành cảm ơn PGS.TS Huỳnh Quyết Thắng và TS. Hồ Khánh Lâm đã tận tình hướng dẫn, chỉ bảo và động viên trong suốt quá trình nghiên cứu và viết luận án. Những góp ý, quan tâm và sự chỉ bảo vô cùng quý báu ấy của hai thầy đã giúp tôi rất nhiều trong việc hình thành phương pháp và tư duy nghiên cứu khoa học, giúp tôi trưởng thành hơn về mọi mặt. Xin chân thành cảm ơn tập thể các thầy cô giáo Bộ môn Công nghệ phần mềm và các thầy cô của Viện Công nghệ thông tin và Truyền thông, Trường ĐHBKHN đã tạo điều kiện và đóng góp nhiều ý kiến quý báu cho nội dung của luận án. Xin được bày tỏ lòng biết ơn chân thành sự giúp đỡ quý báu của Ban giám hiệu Trường ĐHSPKT Hưng Yên đã tạo mọi điều kiện cho các nghiên cứu sinh nói chung và cho cá nhân tôi nói riêng có điều kiện vừa học tập vừa công tác. Cảm ơn các đồng nghiệp trong Khoa Công nghệ thông tin - Trường Đại học Sư phạm Kỹ thuật Hưng Yên đã gánh vác một phần công việc giảng dạy và công việc quản lý Khoa trong suốt thời gian tôi làm luận án. Cuối cùng xin bày tỏ lòng biết ơn sâu sắc tới gia đình đã luôn chăm lo, động viên và giúp đỡ tôi vượt qua mọi khó khăn trong suốt thời gian qua. Tác giả: Nguyễn Minh Quý iii MỤC LỤC Mở đầu 1 1. Lý do chọn đề tài 1 2. Mục tiêu nghiên cứu 2 3. Đối tượng và phạm vi nghiên cứu 2 3.1 Đối tượng nghiên cứu 2 3.2 Phạm vi nghiên cứu 2 4. Ý nghĩa khoa học và thực tiễn của đề tài 2 4.1 Ý nghĩa khoa học 2 4.2 Ý nghĩa thực tiễn 3 5. Kết quả đạt được 3 6. Bố cục của luận án 3 Chương 1. Tổng quan 5 1.1 Kiến trúc tính toán song song 5 1.1.1 Khái niệm 5 1.1.2 Các loại xử lý song song 5 1.1.3 Mô hình tính toán song song 9 1.2 Hiệu năng trong hệ thống tính toán song song 12 1.2.1 Khái niệm hiệu năng 12 1.2.2 Thời gian thực thi 12 1.2.3 Tổng chi phí song song 13 1.2.4 Mức tăng tốc 13 1.2.5 Tính hiệu quả 14 1.2.6 Tính mở rộng 14 1.3 Các kỹ thuật phân tích, đánh giá hiệu năng 15 1.3.1 Mô hình phân tích 15 1.3.2 Mô hình mô phỏng 16 1.3.3 Đo hiệu năng 17 1.4 Trễ truyền thông trong các hệ thống tính toán song song 18 1.4.1 Các nguồn gây trễ trong tính toán song song 18 1.4.2. Trễ truyền thông trong hệ thống tính toán song song 19 1.4.3 Mạng liên kết trong các hệ thống tính toán song song 20 1.5 Tổng quan về các nghiên cứu liên quan 21 1.6 Các nhiệm vụ trong luận án 24 1.7 Kết chương 25 Chương 2. Cơ sở lý thuyết cho phân tích hiệu năng 26 2.1 Hàng đợi và mạng hàng đợi 26 2.1.1 Hàng đợi 26 2.1.2 Mạng hàng đợi 28 iv 2.1.3 Mạng hàng đợi một lớp và nhiều lớp công việc 30 2.1.4 Các số đo hiệu năng của mạng hàng đợi một lớp công việc 32 2.1.5 Các số đo hiệu năng của mạng hàng đợi nhiều lớp công việc 33 2.1.6 Các mạng hàng đợi có nghiệm dạng tích các xác suất (Closed Product Form Queueing Network) 34 2.2 Mạng Petri 38 2.2.1 Giới thiệu về mạng Petri 38 2.2.2 Các đặc tính cơ bản của mạng Petri 39 2.2.3 Một số mạng Petri phổ biến 42 2.2.4 Phân tích mô hình mạng Petri 49 2.3 Luật Amdahl 51 2.3.1 Mức tăng tốc và hiệu năng 51 2.3.2 Mức tăng tốc theo luật Amdahl 52 2.3.3 Luật Amdahl mở rộng 56 2.4 Một số nhận xét về việc áp dụng mạng hàng đợi và mạng Petri trong phân tích hiệu năng và sử dụng luật Amdahl 56 2.5 Kết chương 57 Chương 3. Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song sử dụng chip đa lõi 58 3.1 Hiệu năng kiến trúc chip đa lõi 58 3.1.1 Chip đa lõi SMC, AMC và DMC 58 3.1.2 Phân tích, đánh giá hiệu năng thông qua mức tăng tốc 59 3.2 Phân tích ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi bằng mạng hàng đợi đóng có nghiệm dạng tích các xác suất 66 3.2.1 Mô hình nghiên cứu 66 3.2.2 Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng 68 3.3 Phân tích ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống tính toán song song có sử dụng chip đa lõi bằng mạng Petri thời gian tổng quát - GSPN 76 3.3.1 Mô hình hóa hệ thống bằng GSPN 77 3.3.2 Mô phỏng hệ thống 79 3.3.3 Kết luận 80 3.4 Kết chương 80 Chương 4. Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song ghép cụm 81 4.1. Trễ truyền thông trong các hệ thống tính toán song song ghép cụm 81 4.1.1. Hiệu năng của hệ thống tính toán soang song ghép cụm 81 4.1.2 Ảnh hưởng của trễ truyền thông đến hiệu năng 84 v 4.2 Sử dụng mạng hàng đợi đóng có nghiệm dạng tích các xác suất để phân tích ảnh hưởng của trễ truyền thông đến hiệu năng trong hệ thống tính toán song song ghép cụm 87 4.2.1 Đánh giá ảnh hưởng của trễ truyền thông bằng mô hình mạng hàng đợi đóng có nghiệm dạng tích 87 4.2.2. Thực nghiệm mô phỏng trên công cụ JMT 89 4.2.3. Đánh giá và nhận xét 91 4.3 Sử dụng mạng Petri màu ngẫu nhiên để phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song ghép cụm 92 4.3.1 Mô hình hệ thống 92 4.3.2 Mô phỏng trên phần mềm 97 4.3.3 Đánh giá và nhận xét 99 4.4 Phân tích hiệu năng hệ thống tính toán song song ghép cụm thực hiện thám mã mật khẩu MS Office 100 4.4.1 Bài toán thám mã mật khẩu 101 4.4.2 Thám mã trong MS Office 101 4.4.3 Xây dựng thuật toán 104 4.4.4 Thử nghiệm 106 4.4.5 Phân tích kết quả và bàn luận 109 4.4.6 Kết luận 110 4.5 Kết chương 110 Kết luận và kiến nghị 111 1. Kết luận 111 2. Kiến nghị 112 Tài liệu tham khảo 113 Danh mục công trình đã công bố của luận án 120 vi Danh mục các ký hiệu và chữ viết tắt STT Ký hiệu, chữ viết tắt Ý nghĩa đầy đủ bằng tiếng Anh Ý nghĩa bằng tiếng Việt 1 2DMesh 2 Dimension Mesh Lưới hai chiều 2 2DTorus 2 Dimension Torus Lưới vòng hai chiều 3 3DTorus 3 Dimension Toros Lưới vòng ba chiều 4 AMC Asymmetric Multicore Chip Chip đa lõi bất đối xứng 5 APN Algebra Petri Net Mạng Petri toán học 6 CDF Cumulative Density Functions Hàm mật độ tích lũy 7 CPFQN Closed Product Form Queuing Network Mạng hàng đợi đóng dạng tích 8 CPN Colored Petri Net Mạng Petri có màu 9 CPU Central Processing Unit Bộ xử lý trung tâm 10 CU Control Unit Đơn vị điều khiển 11 CUDA Compute Unified Device Architecture Kiến trúc thiết bị tính toán hợp nhất 12 DMC Dynamic Multicore Chip Chip đa lõi linh hoạt 13 GPGPU General Purpose GPU GPU đa năng 14 GPN Graph Petri Net Mạng Petri đồ thị 15 GPU Graphic Processing Unit Bộ xử lý đồ họa 16 GSPN Generalized Stochastic Petri Net Mạng Petri ngẫu nhiên tổng quát 17 HPC High Performance Computing Tính toán hiệu năng cao 18 MIMD Multiple Instruction stream Multiple Data stream Đa dòng lệnh đa dòng dữ liệu 19 MISD Multiple Instruction stream Single Data stream Đa dòng lệnh đơn dòng dữ liệu 20 MPI Message Passing Interface Giao diện truyền thông điệp 21 MVA Mean Value Algorithm Giải thuật giá trị trung bình vii STT Ký hiệu, chữ viết tắt Ý nghĩa đầy đủ bằng tiếng Anh Ý nghĩa bằng tiếng Việt 22 OCIN OnChip INterconnect Mạng liên kết trên chip 23 PDF Probability Distribution Function Hàm phân bố xác suất 24 PE Processing Element Phần tử xử lý 25 PN Petri Net Mạng Petri 26 SCPN Stochastic Color Petri Net Mạng Petri màu ngẫu nhiên 27 SIMD Single Instruction Multiple Data Đơn lệnh đa dữ liệu 28 SISD Single Instruction Single Data Đơn lệnh đơn dữ liệu 29 SMC Symmetric Multicore Chip Chip đa lõi đối xứng 30 SPN Stochastic Petri Net Mạng Petri ngẫu nhiên 31 TPN Timed Petri Net Mạng Petri có thời gian viii Danh mục các bảng Bảng 3.1 Các đánh dấu 79 Bảng 3.2 Vị trí và số thẻ trung bình 79 Bảng 3.3 Mật độ xác suất thẻ 79 Bảng 3.4 Các thời gian lưu lại của các đánh dấu 79 Bảng 3.5 Thông lượng của các chuyển tiếp có trễ thời gian 80 Bảng 4.1 T link = t sw + t startup + wt data với Infiniband DDR 12x 85 Bảng 4.2 Một số cấu hình mạng kết nối trong các máy tính song song 85 Bảng 4.3 T net = H(t sw + t startup + wt data ) với Infiniband DDR 12x, n=64 nút 85 Bảng 4.4 T net = H(t sw + t startup + wt data ) với Infiniband DDR 12x, n=9 nút 85 Bảng 4.5 Danh sách các vị trí trong processor 93 Bảng 4.6 Các chuyển tiếp có trễ kích hoạt của processor 93 Bảng 4.7 Các chuyển tức thời (trễ thời gian = 0) của processor 93 Bảng 4.8 Danh sách các vị trí trong processor 94 Bảng 4.9 Các chuyển tiếp có trễ kích hoạt 94 Bảng 4.10 Các chuyển tức thời (trễ thời gian = 0) của Interconnect 94 Bảng 4.11 Các thông số hiệu năng 96 Bảng 4.12 Số lượng khóa theo độ dài xâu 103 [...]... chúng để có được hiệu năng phù hợp nhất cho hệ thống Luận án này sẽ đi vào nghiên cứu phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của các hệ thống tính toán song song 1 2 Mục tiêu nghiên cứu Mục tiêu nghiên cứu của luận án là phân tích ảnh hưởng của trễ truyền thông (Communication Overhead) tới hiệu năng của hệ thống tính toán song song và đề xuất công thức tính toán trễ truyền thông ứng với... tượng nghiên cứu của luận án là trễ truyền thông trong các hệ thống tính toán song song 3.2 Phạm vi nghiên cứu Do việc phân tích hiệu năng trong các hệ thống tính toán song song có phạm vi rất rộng và phức tạp Vì vậy, phạm vi nghiên cứu của luận án là phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của các hệ thống tính toán song song Các hệ thống tính toán song song này chỉ gồm kiến trúc chip... hành phân tích và đánh giá ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống - Chương 4: Mở rộng phân tích ảnh hưởng của trễ truyền thông đến hiệu năng đối với hệ thống tính toán song song trong môi trường cụm máy tính Luận án cũng sử dụng mạng hàng đợi đóng có nghiệm dạng tích các xác suất và mạng Petri để tiến hành phân tích và đánh giá ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống. .. Office Word chạy trên nền hệ thống tính toán song song để cho thấy rõ sự ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống Phương pháp lý thuyết được sử dụng để phân tích trễ truyền thông trong luận án là mạng hàng đợi và mạng Petri Các hệ thống tính toán song song đề cập trong luận án bao gồm tính toán song song trong phạm vi một bộ vi xử lý và trong một cụm tính toán Từ các kết quả này sẽ... các hệ thống tính toán song song [16, 39] 4) Thiết kế các kiến trúc hệ thống tính toán song song hiệu năng cao và chi phí thấp như kiến trúc cụm các máy tính, các hệ thống siêu máy tính lớn sử dụng chip vi xử lý nhiều lõi, các đồng xử lý tăng tốc đồ họa của Nvidia [27, 67, 101] Các tác giả trong [67] nghiên cứu ảnh hưởng của trễ truyền thông và băng thông đến hiệu năng của kiến trúc tính toán song song... tăng hiệu năng nhờ tăng tốc độ tính toán với việc giảm trễ truyền thông của các hệ thống tính toán song song đa xử lý Về tình hình nghiên cứu ngoài nước, có rất nhiều các nghiên cứu về phân tích hiệu năng của các kiến trúc và hệ thống tính toán song song El-Rewini và các cộng sự [30] đề cập khá đầy đủ các khía cạnh liên quan đến phần cứng và phần mềm trong tính toán song song, như: mô hình tính toán song. .. kế thuật toán trình bày kết quả phân tích hiệu năng và ảnh hưởng của trễ truyền thông trên ứng dụng thực với bài toán thám mã mật khẩu MS Office Word 4 Chương 1 Tổng quan Nội dung của chương này trình bày tổng quan các vấn đề liên quan đến tính toán song song, bao gồm các kiến trúc tính toán song song, hiệu năng trong tính toán song song và tổng quan các kỹ thuật phân tích, đánh giá hiệu năng Các nghiên... chương trình song song Thời gian thực hiện tính toán trên hệ thống song song bao gồm thời gian tính toán cơ bản và thời gian tính toán dư thừa và trễ truyền thông giữa các đơn vị tính toán: - Thời gian tính toán cơ bản (Essential) là thời gian để xử lý các nhiệm vụ chính của bài toán - Thời gian tính toán dư thừa (Excess): Trong hệ thống tính toán song song, các phần tử ngoài phần tính toán chính thì... Tiến hành phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song ghép cụm Sử dụng mạng hàng đợi CPFQN và mạng Petri để tiến hành phân tích và đánh giá ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống cho các kiến trúc điển hình (lưới hai chiều, lưới vòng hai chiều, lưới lưới ba chiều, lưới vòng ba chiều, siêu lập phương - Hypercube) Thứ tư: Thiết kế thuật toán và... trực tiếp hệ thống, hoặc hệ thống tương tự 1.3.1 Mô hình phân tích Mô hình phân tích là một cấu trúc toán học biểu diễn các bộ phận then chốt của một hệ thống máy tính Các mô hình phân tích hiệu năng là công cụ hữu hiệu để đánh giá hiệu năng của một sản phẩm mới hoặc sản phẩm được cải tiến Nghệ thuật của mô hình phân tích là sự chọn lựa một mô hình tốt chứa đựng các đặc tính nổi bật của hệ thống mà . 4. Phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song ghép cụm 81 4.1. Trễ truyền thông trong các hệ thống tính toán song song ghép cụm 81 4.1.1. Hiệu năng. hành phân tích và đánh giá ảnh hưởng của mạng liên kết đến hiệu năng của hệ thống. - Chương 4: Mở rộng phân tích ảnh hưởng của trễ truyền thông đến hiệu năng đối với hệ thống tính toán song song. Vì vậy, phạm vi nghiên cứu của luận án là phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của các hệ thống tính toán song song. Các hệ thống tính toán song song này chỉ gồm kiến trúc