Báo cáo môn học GRID COMPUTING DYNAMIC WORKFLOW MANAGEMENT GRID CLOUD COMPUTING ENVIROMENT

May 2014 ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC KỸ THUẬT MÁY TÍNH ………… o0o………… Báo cáo môn học GRID COMPUTING DYNAMIC WORKFLOW MANAGEMENT GRID & CLOUD COMPUTING ENVIROMENT Lecturer Dr. Phạm Trần Vũ Reporter Nguyễn Minh Thành 13070263 Dynamic Workflow Management for Grid & Cloud Computing Enviroment 1 Lịch sử tài liệu Ngày Phiên bản Ghi chú Tác giả 04/04/2014 0.1 Khởi tạo sơ thảo yêu cầu báo cáo Thành 2/5/2014 0.4 Background workflow scheduling Thành 28/5/2014 0.8 DCP-G algorithm, heuristic for adaptive workflow management Thành 31/5/2014 1 review, finalize report Thành Mục lục Abstract 3 Keywords 3 I. Introduction 3 II. BACKGROUND OF WORKFLOW SCHEDULING 4 2.1. Workflow scheduling problem 4 2.2. Existing workflow scheduling algorithms 4 2.3. Heuristics 5 2.3.1. Myopic 5 2.3.2. Min–min 5 2.3.3. Max–min 6 2.3.4. HEFT 7 2.4. Metaheuristics 8 2.4.1. GRASP 8 2.4.2. GA 9 III. DCP-G ALGORITHM FOR WORKFLOW SCHEDULING 10 3.1. Calculation of AEST and ALST in DCP-G 11 3.2. Task selection 11 3.3. Resource selection 12 3.4. Methodology 12 3.5. DCP-G example 12 V. CASE STUDY 14 5.1. Testbed setup 14 5.2. Schedule generation 14 5.3. Discussion 15 VI. HEURISTIC FOR ADAPTIVE WORKFLOW MANAGEMENT IN HYBRID CLOUDS 17 Dynamic Workflow Management for Grid & Cloud Computing Enviroment 2 VII. CONCLUSIONS 21 References 21 Dynamic Workflow Management for Grid & Cloud Computing Enviroment 3 Abstract Lập kế hoạch hiệu quả là mối quan tâm chính của việc thực hiện các ứng dụng lưới trọng hiệu suất như là workflows. Trình bày cho môn học có đề tài là: “Quản lý workflow linh động trong môi trường tính toán lưới và điện toán đám mây”. Nội dung được phân bố gồm hai phần. Thứ nhất là mô tả vấn đề lập kế hoạch workflow, và các phương pháp hoạch định workflow dựa trên heuristic và mete-heristic hiện có. Phần thứ hai là đề xuất giải thuật hoạch định workflow thích nghi linh động critical-path-based, nhằm xác định tác vụ ánh xạ hiệu quả đến tài nguyên grid linh động thực tế bằng cách tính critical path. Dùng mô phỏng, ta thực hiện so sánh hiệu năng của phương pháp đề xuất với cái hiện có. Kết quả cho thấy kỹ thuật lập kế hoạch heuristic-based có thể thích nghi với tài nguyên linh động thực tế, và tránh suy giảm hiệu suất trong môi trường grid thay đổi linh động. Keywords Workflow management, adaptive scheduling, grid computing, cloud computing I. Introduction Nhiều ứng dụng khoa học qui mô lớn thực thi hiện nay được mô tả là e-Science workflow phức tạp, nó là một tập các tác vụ có thứ tự được liên kết bởi sự phụ thuộc dữ liệu. Một hệ thống quản lý workflow được sử dụng để định nghĩa, quản lý và thực thi các ứng dụng workflow này trên tài nguyên lưới. Một hệ thống quản trị workflow dùng chiến lược hoạch định đặc biệt để ánh xạ các tác vụ trong workflow đến tài nguyên lưới phù hợp nhằm thỏa mãn yêu cầu người dùng. Hình 1.b minh họa thực hiện workflow được mô tả trong hình 1.a trên môi trường tính toán phân bố truyền thống. Figure 1.a : Ví dụ workflow: ứng dụng dự báo thời tiết Figure 1.b: Hệ thống quản trị workflow Figure 1: Ngữ cảnh quản lý ứng dụng workflow thông thường trong môi trường tính toán phân bố Tuy nhiên hầu hết các chiến lược hoạch định này là tĩnh trong thực tế. Họ tạo ra một kế hoạch tốt cho thời điểm hiện tại của tài nguyên lưới mà không tính đến sự thay đổi của tính sẵn sàng của tài nguyên. Vì vậy bài viết này trình bày kỹ thuật hoạch định workflow linh động nhằm không chỉ tối Dynamic Workflow Management for Grid & Cloud Computing Enviroment 4 thiểu linh hoạt thời gian thực hiện workflow mà còn giảm the scheduling overhead, là thời gian đáng kể để tạo kế hoạch. Critical Path (CP) heuristics được dùng rộng rãi để lập lịch các tác vụ độc lập trong hệ thống đa xử lý. Các heuristics này xác định độ dài nhất của các đường thực thi từ khởi đầu đến kết thúc trong đồ họa tác vụ và hoạch định cái dễ nhất để tối thiểu thời gian thực thi cho toàn đồ thị. Giải thuật Dynamic CP (DCP, Kwok & Ahmad 1996) được giới thiệu là giải thuật CP có thể xác định linh hoạt sau mỗi tác vụ được lập lịch. Tuy nhiên giải thuật này được thiết kế để ánh xạ các tác vụ vào các bộ xử lý thuần nhất, và tĩnh, trong giả định là kế hoạch chỉ được tính một lần 1 đồ thị tác vụ. Ta mở rộng giải thuật DCP để ánh xạ và lặp kế hoạch các tác vụ trong workflow trên các tài nguyên hỗn độn trong môi trường lưới linh động. Để đánh giá hiệu suất của giải thuật này gọi là DCP for grids (DCP-G), ta so sánh nó với các phương pháp hiện tại cho nhiều kiểu và kích cỡ workflow khác nhau. Kết quả cho thấy DCP-G có thể thích nghi đến tài nguyên tạm thời, ứng phó và tránh suy giảm hiệu suất trong môi trường lưới thay đổi linh động. II. BACKGROUND OF WORKFLOW SCHEDULING 2.1. Workflow scheduling problem Tổng quát, một ứng dụng workflow được thể hiện là một đồ thị directed acyclic (DAG) trong đó các nút thể hiện tác vụ, các cạnh thể hiện dữ liệu phụ thuộc giữa các tác vụ, với trọng số trong node thể hiện độ phức tạp tính toán. Vì vậy bài toán lập lịch workflow thường được xem là trường hợp đặc biệt của bài toán xếp lịch DAG, là bài toán non-deterministic polynomial (NP). Mặc dù bài toán xếp lịch DAG có thể giải được bằng các phương pháp quét cạn, nhưng độ phức tạp để tạo ra kế hoạch scheduling là rất cao. Thời gian hoàn thành chung của ứng dụng thường được gọi là schedule length hoặc makespan. Vì vậy mục tiêu của kỹ thuật xếp lịch workflow là làm tối giảm makespan của ứng dụng song song bằng cách sắp xếp hợp lý các tác vụ đến bộ xử lý, tài nguyên, và sắp xếp trình tự thực hiện. Hãy xem workflow  gồm một tập các tác vụ,                      , và một tập phụ thuộc giữa các tác vụ,                   , trong đó   là cha của   .                      là tập hợp các tài nguyên sẵn có trong lưới tính toán. Vì vậy, bài toán lập lịch workflow là ánh xạ các tác vụ workflow vào lưới tài nguyên    để makespan M là nhỏ nhất. Một tác vụ workflow là một tập các lệnh có thể thực hiện trên một thành phần xử lý đơn lẻ của tài nguyên tính toán. Trong một workflow, một tác vụ gia nhập sẽ không có tác vụ cha, và một tác vụ thoát sẽ không có tác vụ con. Tác vụ con không thể thực hiện được đến khi tất cả tác vụ cha của nó được hoàn tấc. Vào bất cứ lúc nào của lập lịch, tác vụ có tất cả tác vụ cha của nó hoàn thành thì được gọi là tác vụ sẵn sàng. 2.2. Existing workflow scheduling algorithms Vì lập lịch workflow là bài toán NP-complete, nên ta dựa các chiến lược lập lịch heuristic-based và metaheuristic-based để đạt giải pháp tối ưu trong thời gian đa thức. Bảng 1 trình bày các giải thuật heuristic và metaheuristic nổi tiếng cho bài toán xếp lịch trong hệ thống lưới. Phương pháp xếp lịch Kiểu xếp lịch Project Tổ chức Myoptic Heuristic Condor DAGMan University of Wiscousin-Madesion, USA Min-min Heuristic vGrADS Rice University, USA Max-min Heuristic vGrADS Rice University, USA HEFT Heuristic ASKALON University of Innsbruck, Austria GRASP MetaHeuristic Pegasus University of Southern, California GA MetaHeuristic ASKALON University of Innsbruck, Austria HEFT, Heterogeneous Earliest Finish Time; GRASP, greedy randomized adaptive search procedure; GA, genetic algorithm Table 1: Tóm tắc các giải thuật lập lịch workflow Dynamic Workflow Management for Grid & Cloud Computing Enviroment 5 2.3. Heuristics 2.3.1. Myopic Myopic là một heuristic lập lịch tác vụ đơn thể được xem là phương pháp xếp kế hoạch đơn giản nhất cho các ứng dụng lập lịch workflow vì căn bản nó xử lý cho tác vụ đơn lẻ. Nó lập lịch một tác vụ chưa ánh xạ, thứ tự tùy ý đến tài nguyên, với mong muốn hoàn thành tác vụ này sớm nhất, cho đến khi tất cả tác vụ được xếp lịch. 2.3.2. Min–min Một danh sách tác vụ workflow lập lịch có độ ưu tiên heuristic, và việc xếp lịch dựa trên ưu tiên này. Min-min là một danh sách heuristic xếp lịch mà gán độ ưu tiên tác vụ trên cơ sở thời gian hoàn thành kỳ vọng (ECT) trên một tài nguyên. Heuristic này tổ chức tác vụ workflow vào nhiều nhóm tác vụ độc lập và xếp lịch vòng lặp các tác vụ của mỗi nhóm. Trong mỗi vòng lặp, nó lấy một tập tất cả tác vụ  độc lập chưa ánh xạ, và tạo các ECT tối thiểu (MCT) cho mỗi tác vụ  trong  , trong đó          ;  là tập tài nguyên có sẵn, và   là khoảng thời gian tài nguyên  dùng để thực hiện tác vụ  . Khi tác vụ có giá trị MCT nhỏ nhất trên tất cả tác vụ được chọn để xếp lịch đầu tiên tại vòng lặp này đến tài nguyên tương ứng phù hợp cho MCT này, vì vậy được gọi là min-min. Theo các này, min-min xếp lịch các tác vụ độc lập khác trong  và chuyển đến vòng lặp kế đến khi  về rỗng. Dynamic Workflow Management for Grid & Cloud Computing Enviroment 6 2.3.3. Max–min Giải thuật Max-min heuristic rất giống với min-min. Điểm khác là max-min đạt độ ưu tiên đến tác vụ cần thời gian thực hiện dài nhất hơn là thời gian thực hiện ngắn nhất. Trong mỗi bước lặp, sau khi có được tập giá trị MCT cho tất cả tác vụ độc lập chưa ánh xạ, một tác vụ có MCT lớn nhất được chọn để xếp lịch trên tài nguyên, với kỳ vọng hoàn thành tác vụ với thời gian sớm nhất. Max-min cố gắng tối thiểu tổng thời gian thực thi bằng cách gán các tác vụ dài nhất đến tài nguyên tốt nhất. Dynamic Workflow Management for Grid & Cloud Computing Enviroment 7 2.3.4. HEFT HEFT là giải thuật lặp lịch danh sách thiết lập tốt, gán độ ưu tiên cao hơn cho workflow có vị trí thứ hạng cao. Vị trí thứ hạng được tính bằng thời gian trung bình cho mỗi tác vụ và thời gian giao tiếp trung bình giữa các tài nguyên của hai tác vụ kế tiếp, khi các tác vụ trong CP có vị trí hạng cao hơn. Khi đó nó sắp xếp tác vụ theo thứ tự giảm dần giá trị thứ hạng, và tác vụ có thứ hạng cao hơn được gán ưu tiên cao hơn. Trong pha chọn tài nguyên, các tác vụ được xếp lịch theo thứ tự độ ưu tiên, mỗi tác vụ được gán đến tài nguyên có thể hoàn thành với thời gian sớm nhất. Ta hãy xem     là kích thước của tác vụ   và  là tập các tài nguyên có sẵn với khả năng xử lý trung bình             . Vì vậy thời gian xử lý trung bình của tác vụ:              (1) Cho       là kích cỡ dữ liệu giao tiếp giữa tác vụ   và   , và R là tập tài nguyên có sẵn với khả năng xử lý dữ liệu trung bình           . Vì vậy thời gian giao tiếp dữ liệu trung bình cho tác vụ:              (2)      và    được dùng để tính thứ hạng của một tác vụ. Đối với tác vụ thoát, giá trị thứ hạng là          (3) Giá trị thứ hạng của các tác vụ khác trong workflow có thể được tính đệ qui trên cơ bản của (1), (2), (3), và được mô tả như sau:                            (4) Vì workflow được thể hiện như là DAG, các giá trị thứ hạng của các tác vụ được tính bằng cách duyệt đồ thị tác vụ trong breadth-first search (BFS) theo hướng ngược của phụ thuộc tác vụ (là bắt đầu từ exit task) Ưu điểm của HEFT hơn min-min và max-min là trong khi gán độ ưu tiên đến các tác vụ, nó xem xét toàn thể workflow hơn là tập trung vào chỉ các tác vụ độc lập chưa ánh xạ tại mỗi bước lặp. Dynamic Workflow Management for Grid & Cloud Computing Enviroment 8 2.4. Metaheuristics 2.4.1. GRASP GRASP, greedy randomized adaptive search procedure, là kỹ thuật tìm kiếm ngẫu nhiên có lặp. Trong GRASP, có một số vòng lặp dùng để tìm kiếm một giải pháp tối ưu có thể cho tác vụ ánh xạ trên các tài nguyên. Một giải pháp được tạo ra tại mỗi bước lặp, và giải pháp tốt nhất được giữ làm xếp lịch cuối cùng. Thủ tục tìm kiếm này dừng khi thỏa điều kiện dừng. GRASP có thể tạo kết quả lịch tốt hơn các kỹ thuật khác đã nói phía trên vì nó tìm kiếm toàn bộ không gian workflow và tài nguyên có sẵn. Dynamic Workflow Management for Grid & Cloud Computing Enviroment 9 2.4.2. GA Tương tự như GRASP, giải thuật genetic là kỹ thuật áp dụng nguyên lý tiến hóa cho ra giải pháp xếp lịch chất lượng tốt từ không gian tìm kiếm lớn trong thời gian đa thức. GA kết hợp khai thác giải pháp tốt nhất từ tìm kiếm quá khứ với việc khám pháp vùng mới của không gian tìm kiếm. Thay vì tạo giải pháp mới bằng tìm kiếm ngẫu nhiên như GRASP, GA tạo giải pháp mới tại mỗi bước bằng cách điều chỉnh ngẫu nhiên giải pháp tốt được tạo ra ở bước trước, kết quả là xếp lịch tốt hơn có ít thời gian hơn. [...]... dùng DCP-G là 1115 s, ít hơn cho trường hợp GA trong cùng điều kiện, hình 10.c và 10.d Dynamic Workflow Management for Grid & Cloud Computing Enviroment 16 VI HEURISTIC FOR ADAPTIVE WORKFLOW MANAGEMENT IN HYBRID CLOUDS Điện toán đám mây đã nổi lên vai trò là nền tảng thế hệ tiếp theo cho đảm trách các ứng dụng khoa học và kinh doanh Nó cung cấp kiến trúc hạ tầng, nền tảng, phần mềm dạng dịch vụ tạo tính... của các dịch vụ Hình 14 trình bày flowchart, minh họa nhiều phân đoạn và luồng logic trong giải thuật Dynamic Workflow Management for Grid & Cloud Computing Enviroment 20 VII CONCLUSIONS Bài viết này đã định nghĩa vấn đề workflow scheduling trong môi trường grid computing và thảo luận các kỹ thuật workflow scheduling phổ biến hiện nay Tuy nhiên các kỹ thuật này là tĩnh tự nhiên và không ứng phó với... DCPL dựa trên critical tasks mới (h) Kết thúc giải thuật được tạo bởi giải thuật DCP-G Dynamic Workflow Management for Grid & Cloud Computing Enviroment 13 V CASE STUDY Phần này cung cấp sự nghiên cứu cụ thể tình huống lập lịch thích nghi (adaptive scheduling) và thực thi ứng dụng workflow mẫu trong môi trường dynamic grid có nguồn tài nguyên linh động đa dạng Để kết hợp sự năng động và đa dạng của môi... computing environment”, 2013 [2] Fran Berman, Geoffrey Fox, Tony Hey, "Grid Computing - Making the Global Infrastructure a Reality", 2003 [3] IBM, "Grid Services Programming and Application Enablement", 2004 [4] IBM, "Patterns: Service-Oriented Architecture and Web Services", 2004 Dynamic Workflow Management for Grid & Cloud Computing Enviroment 21 ... vụ được ánh xạ, chiều dài tác vụ không thể cải thiện hơn, và chiều dài lịch được xác định là 750 Lịch sau cùng được tạo ra bởi DCP-G như hình 2.h Dynamic Workflow Management for Grid & Cloud Computing Enviroment 12 Figure 2 Ví dụ của xếp lịch workflow dùng dynamic critical path cho giải thuật DCP-G (a) Tính giá trị AET và ADTT cho mỗi tác vụ (b) Tính giá trị AEST và ADTT cho mỗi tác vụ (c) Tinh lại... go) Clouds được triển khai theo hai dạng: public cloud và private cloud Public cloud, (hay external cloud) mô tả điện toán đám mây là các dịch vụ cung cấp linh động theo yêu cầu và cơ bản tự phục vụ qua internet và trả phí cho nhà cung cấp Private cloud (hay internal cloud) nói đến dịch vụ điện toán đám mây trên mạng riêng thông qua sự ảo hóa Hình 11 mô tả một hybrid cloud là kết hợp của public cloud. .. Amazon Simple Storage Service (Amazon S3) để lưu trữ dữ liệu dạng backup Dynamic Workflow Management for Grid & Cloud Computing Enviroment 17 Môi trường điện toán đám mây không chỉ linh động mà còn đa dạng với nhiều kiểu dịch vụ (như kiến trúc hạ tầng, nền tảng, phần mềm) được cung cấp bởi rất nhiều nhà cung cấp dịch vụ Các ứng dụng workflow phân tích dữ liệu hoạch định (hình 12 và 13) cần xác định một... phí thực thi cũng như đáp ứng các yêu cầu của người sử dụng đến kiểu cách, hình thức có tính thích nghi, nhằm quản lý hiệu quả sự linh động, đa dạng của môi trường hybrid cloud Dynamic Workflow Management for Grid & Cloud Computing Enviroment 19 Vì vậy, bài viết này đề xuất giải thuật Adaptive Hybrid Heuristic scheduling, nó được thiết kế để tạo sự ánh xạ task-to-service có thể tối thiểu chi phí thực... nguyên này Nhận thấy rằng, trạng thái của các tài nguyên không thay đổi theo thời gian vì môi trường là tĩnh Ngược lại, hình 9 mô tả lập kế hoạch trong môi trường động, khi Dynamic Workflow Management for Grid & Cloud Computing Enviroment 14 khả năng xử lý của rơi từ 1500 tới 750 MIPS trong khoảng thời gian 100-800 s Tuy nhiên khả năng xử lý của tất cả tài nguyên vẫn giữ nguyên trong suốt thời gian... và 13) cần xác định một số vấn đề, bao gồm tối giảm chi phí và thời gian thực thi, thỏa mãn ràng buộc QoS, chất lượng dịch vụ, xem xét biến động theo thời gian của môi trường Dynamic Workflow Management for Grid & Cloud Computing Enviroment 18 Kỹ thuật hoạch định chính yếu được cung cấp để giải quyết các vấn đề này là dựa trên metaheuristics, tạo ra hoạch định tốt với trạng thái hiện tại của các dịch . ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC KỸ THUẬT MÁY TÍNH ………… o0o………… Báo cáo môn học GRID COMPUTING DYNAMIC WORKFLOW MANAGEMENT GRID & CLOUD COMPUTING. ADAPTIVE WORKFLOW MANAGEMENT IN HYBRID CLOUDS 17 Dynamic Workflow Management for Grid & Cloud Computing Enviroment 2 VII. CONCLUSIONS 21 References 21 Dynamic Workflow Management for Grid. điều kiện, hình 10.c và 10.d Dynamic Workflow Management for Grid & Cloud Computing Enviroment 17 VI. HEURISTIC FOR ADAPTIVE WORKFLOW MANAGEMENT IN HYBRID CLOUDS Điện toán đám mây đã