Bài báo này trình bày một thuật toán giải quyết thông qua cách tiếp cận Bầy đàn và trình bày những kết quả thực nghiệm trên công cụ mô phỏng CloudSim chỉ rõ giải thuật đề xuất cho kết quả tốt hơn hai giải thuật Random và Round Robin. Mời các bạn cùng tham khảo.
JOURNAL OF SCIENCE OF HNUE FIT., 2013, Vol 58, pp 140-149 This paper is available online at http://stdb.hnue.edu.vn BÀI TOÁN LẬP LỊCH WORKFLOW TRONG MƠI TRƯỜNG ĐIỆN TỐN ĐÁM MÂY Kiều Tuấn Dũng 1, Nguyễn Thế Lộc 1∗ Phan Thanh Tồn Khoa Cơng nghệ Thơng tin, Trường Đại học Sư phạm Hà Nội, Khoa Sư phạm Kĩ thuật, Trường Đại học Sư phạm Hà Nội, ∗ Email: locnt@hnue.edu.vn Tóm tắt Trong hoạt động đám mây điện tốn, việc tổ chức thực cơng việc workflow - loại cơng việc địi hỏi nhiều cơng đoạn xử lí theo trình tự định trước - định hiệu suất hệ thống Vấn đề nằm chỗ phải tìm phương án sử dụng nhiều dạng tài nguyên nằm vị trí địa lí xa kết nối đường truyền tốc độ khác cho chi phí tính tốn truyền thơng nhỏ Bài báo trình bày thuật tốn giải thơng qua cách tiếp cận Bầy đàn trình bày kết thực nghiệm công cụ mô CloudSim rõ giải thuật đề xuất cho kết tốt hai giải thuật Random Round Robin Từ khóa: Điện tốn đám mây, mơ hình luồng cơng việc, tốn lập lịch Mở đầu Điện toán đám mây mở xu hướng việc cấp phát quản lí tài nguyên điện tốn tầm quốc gia tồn cầu Các tài nguyên mạng thay phân bố cách riêng lẻ không hiệu quan hay cơng ti quản lí tập trung phân phối cách có hệ thống cơng ti cung cấp dịch vụ đám mây Trong dịch vụ phổ biến loại dịch vụ có mơ hình Luồng cơng việc (từ gọi tắt workflow) Chúng cấu thành từ chuỗi nhiều hoạt động biểu diễn cấu trúc hóa luồng, ví dụ thí nghiệm hóa, sinh học phân tử, phân tích liệu khoa học thần kinh phục hồi lại thảm họa Lập lịch workflow quy trình gắn kết ánh xạ việc thực nhiệm vụ phụ thuộc lẫn tài nguyên phân tán tốn lập lịch khác có độ phức tạp NP-đủ Giải thuật tối ưu bầy đàn (PSO - Paricle Swarm Optimization) kỹ thuật tìm kiếm tối ưu toàn cục giới thiệu Kennedy Eberhart [1] Bài báo trình bày kết nghiên cứu giải thuật lập lịch tối ưu bầy đàn (PSO) cho ứng dụng workflow môi trường điện toán đám mây (workflow cloud) để tối ưu hóa chi phí dịch vụ theo mơ hình pay-per-use Các kết báo là: - Áp dụng cách tiếp cận PSO để phân phối công việc tới tài ngun đám mây nhằm tối thiểu hóa tồn chi phí thực 140 Bài tốn lập lịch Workflow mơi trường điện tốn đám mây - Tiến hành thực nghiệm mơi trường mơ phịng CloudSim để đánh giá kết so sánh với giải thuật PSO heuristic, Random Round Robin 2.1 Nội dung nghiên cứu Tối ưu bầy đàn Giải pháp tối ưu bày đàn PSO mô tả không gian giải pháp n chiều, cá thể Pi biểu diễn lời giải tốn có hành vi cá thể đàn, cá thể Pi có vị trí xki Bầy đàn P = {p1 , p2 , , pn } tập cá thể Mỗi cá thể có thơng tin tồn quần thể thông tin phần quần thể Thông tin thường thơng tin cá thể tốt quần thể, đánh giá qua giá trị hàm mục tiêu Vận tốc cá thể xki = {u1 , u2, un } vector n chiều làm thay đổi (di chuyển) vị trí cá thể Pi hệ k Về mặt toán học, quan hệ vị trí - vận tốc sau: xk+1 = xki + vik+1 (2.1) Vận tốc ảnh hưởng tri thức cá thể kinh nghiệm i hàng xóm (các cá thể khác bầy đàn): vik+1 = ϕ1(individual_experience) + ϕ2(global_experience) (2.2) vik+1 = w.vik + ϕ1(experiencei) + ϕ2(experienceg ) (2.3) vik+1 = w.vik + c1 rand1 (pbesti ) − xki ) + c2 rand2 (gbest − xki ) (2.4) Hình biểu diễn quan hệ vị trí - vận tốc khơng gian hai chiều với giá trị vik+1 cập nhật theo kinh nghiệm bay tốt cá thể khứ kinh nghiệm bay tốt cá thể tốt quần thể Nó tiến hành thay đổi (điều chỉnh hướng bay) tới vị trí vik+1 Mỗi cá thể có vận tốc riêng để tính vị trí khơng gian lời giải, di chuyển để tìm lời giải tối ưu Hàm mục tiêu F (x) mô tả yêu cầu toán dùng để đánh giá Hình Quan hệ vị trí - vận tốc lời giải Bằng cách so không gian chiều sánh lời giải với lời giải tốt nhất, cá thể xác định bước Ba lời giải sử dụng để xác định hướng là: tốt cá nhân (pbest), tốt toàn cục (gbest) tốt cục (lbest) Quần thể ban đầu gồm n cá thể (mỗi cá thể lời giải), cá thể thứ i biểu diễn vector xi có m chiều vector vận tốc vi m chiều với i = 1, , n Hàm mục tiêu toán f : Rm → R Mơ tả thuật tốn chi tiết sau: B1: Khởi tạo quần thể với việc khởi tạo vector vị trí xi vector vận tốc vi cho cá thể thứ i, i = 1, , n (cho cá thể Pi quần thể P (n)) B2: Khởi tạo thơng tin ban đầu vị trí tốt cá thể quần thể: pbesti = xi (khởi tạo vị trí tốt cá thể thứ i vị trí khởi tạo tại); 141 Kiều Tuấn Dũng, Nguyễn Thế Lộc, Phan Thanh Toàn gbest = min(f (xi )), i = 1, n (khởi tạo vị trí tốt quần thể vị trí nhỏ tất vị trí tất cá thể khởi tạo) B3: Bước lặp với điều kiện lặp xác định trước (sau số lần lặp cho trước sau số lần lặp mà không thu kết tốt hơn): For txcostij = txcostji , ∀i, j ∈ N txcostik + txcostkj > txcostij , ∀i, j, k ∈ N Trong đó: Cexe (M)j : tổng chi phí mà P Cj phải trả theo phân phối phương án mapping M Nó tổng trọng số đỉnh, tức chi phí thực thi task k tài ngun tính tốn j (P Cj ), đại lượng ma trận TP bảng Ctx (M)j : tổng chi phí truy cập (access cost, bao gồm transfer cost- phí truyền thơng) task thực P Cj task khác, cha task kể Gọi P C M giao thực task k1 M(k1), P C M giao thực k2 M(k2), trọng số cạnh (edge-weight) ek1,k2 cho biết kích thước file output mà task k1 sinh Tất nhiên M(k1) task cha, task M(k2) task Access cost = ek1,k2 (kích thước file output mà task Cha k1 sinh cho task Con k2 dùng) × cước truyền thông M(k1) M(k2) Cước truyền thông đơn vị liệu P C dM (k1),M (k2) nêu mục Nếu task chạy P C cước truyền = 0.txcosti,j chi phí truy cập datacenter chi phí truyền liệu 2.3 Lập lịch dựa tối ưu bầy đàn Trong phần này, chúng tơi trình bày giải thuật heuristic lập lịch động cho toán lập lịch ứng dụng workflow [2] nhằm tối thiểu hóa chi phí dựa giải thuật tối ưu bầy đàn Quy trình tối ưu sử dụng giải thuật lập lịch heuristic (giải thuật 2) bước giải thuật PSO (Giải thuật 1) Để giải toán, cần xác định không gian lời giải phương pháp đánh giá, cập nhật giải pháp Thuật bắt đầu với việc khởi tạo ngẫu nhiên vị trí vận tốc cá thể, dựa giá trị ta đánh giá hàm mục tiêu, cập nhật lại giá trị pbest gbest {(T2,PC1) (T3,PC2) (T4,PC3)} ↓ [1 3] T2 T3 T4 Hình 3: Ví dụ biểu diễn thể PSO Giải thuật 1: Giải thuật PSO 144 Bài tốn lập lịch Workflow mơi trường điện tốn đám mây B1 Xây dựng kích thước cá thể số task sẵn sàng ∀ti ∈ T B2 Khởi tạo vị trí xi cá thể ngẫu nhiên từ P C = 1, , j vận tốc vi ngẫu nhiên B3 Với cá thể, tính giá trị hàm mục tiêu theo cơng thức (4) B4 Nếu giá trị hàm mục tiêu tốt Pbest trước đó, gán lại Pbest giá trị B5 Sau bước cho tất cá thể, chọn cá thể có giá trị tốt coi gbest B6 Đối với tất cá thể, tính tốn vận tốc sử dụng cơng thức: vik+1 = w.vik + c1 rand1 (pbesti − vik ) + c2 rand2 (gbest − xki ) cập nhật lại vị trí cá thể sử dụng cơng thức: xk+1 = xki + vik+1 i B7 Nếu điều kiện dừng số lần lặp tối đa chưa đáp ứng, lặp lại bước Giải thuật 2: Giải thuật PSO_Heuristic B1 Tính chi phí tính tốn trung bình tất task thực tất tài ngun tính tốn; B2 Tính tốn chi phí truyền liệu trung bình tài nguyên; B3 Thiết lập trọng số node: weight wkj = (chi phí tính tốn trung bình, ma trận TP); B4 Thiết lập trọng số cạnh ek1,k2 kích thước file chuyển giao task; B5 Repeat B6 For task trạng thái “ready” B7 Gán {ti ∈ T } − pj theo giải thuật P SO; B8 End For; B9 Thực mapping: gắn kết task - resource; B10 Chờ xử lí cơng việc (phụ thuộc liệu đầu vào đầu task cha-con); B11 Cập nhật lại task trạng thái “ready”; B12 Cập nhật lại chi phí giao tiếp tài nguyên theo trạng thái mạng tại; B13 Tính tốn P SO(ti ); B14 Until khơng có task chưa lập lịch 2.4 CloudSim - công cụ mô mơi trường điện tốn đám mây CloudSim [4,5] cơng cụ mơ hình hóa mơ dịch vụ hạ tầng điện toán đám mây phát triển đại học Melbourne (http://www.cloudbus.org/cloudsim/) Với CloudSim nhà nghiên cứu tập trung vào thiết kế hệ thống cụ thể mà không cần quan tâm đến chi tiết sở hạ tầng đám mây cài đặt Task Ready: task mà có task cha thực thi xong cung cấp liệu output 145 Kiều Tuấn Dũng, Nguyễn Thế Lộc, Phan Thanh Toàn 2.5 Thực nghiệm 2.5.1 Dữ liệu cách thực Để thực mô việc lập lịch workflow môi trường đám mây, chúng tơi sử dụng gói thư viện JSwarm (http://jswarm-pso.sourceforge.net), công cụ mô CloudSim cài đặt giải thuật PSO heuristic ngôn ngữ Java Kết thu thập để đánh giá so sánh với giải thuật PSO Heuristic giải thuật lập lịch bản: • Giải thuật Random [6,7] • Giải thuật Round Robin [8] 2.5.2 Kết đánh giá So sánh kết thực nghiệm giải thuật: PSO Heuristic, Random, RoundRobin với mơ hình luồng cơng việc hình với liệu tính tốn Bảng 4: Ma trận liệu TP, PP, DS cho liệu Test PC1 0.1*25 0.1*25 TP[5x3] 0.1*25 0.1*25 0.1*25 PC1 PC PP[3x3] PC 0.1 PC 0.1 DataSize (MB) DST 2,T 3,T [2 × 2] Input 10 Output 10 T1 T2 T3 T4 T5 PC3 0.3*25 0.3*25 0.3*25 0.3*25 0.3*25 PC3 0.1 0.1 DataSize (MB) DST [2 × 2] Input 30 Output 60 PC2 0.2*25 0.2*25 0.2*25 0.2*25 0.2*25 PC2 0.1 0.1 Số cá thể = 25; Số hệ = 30; Số lần lặp = 30; Trọng số quán tính w=0.85; Hệ số gia tốc: C1=1.5 C2=0.5 Bảng 5: Kết tính tốn chi phí thực thi workflow sau 30 lần chạy PSO Random RoundRobin Lần lặp 12600.1 45500 40000 24600 52500 40000 16000.6 35500 40000 30600 58000 40000 12600.1 36500 40000 12600.1 46500 40000 12600.1 42000 40000 24600 64500 40000 28000.3 56500 40000 146 Bài tốn lập lịch Workflow mơi trường điện toán đám mây 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 TB 24600 12600.1 43000 16000.4 18000.4 24600 24600 18500.5 12600 24600 34200 16000.4 24600 30600 24600 12600.1 24600 16000.6 24600 12600.1 35000.3 21623.47 25000 53000 27000 35500 42500 36500 41500 40000 34000 21000 40000 47500 22000 40000 49500 36500 54500 36500 54500 57000 30500 42066.67 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 40000 Hình Biểu đồ so sánh kết thực nghiệm workflow sau 30 lần chạy Nhận xét: chi phí thực thi workflow giải thuật lập lịch dựa PSO tiết kiệm chi phí (giảm nửa chi phí) so với giải thuật Random RoundRobin b Workflow Chimera Số cá thể = 25; Số lần lặp = 45; Số lần thử nghiệm = 30 147 Kiều Tuấn Dũng, Nguyễn Thế Lộc, Phan Thanh Tồn Hình Mơ hình workflow Chimera Hình Biểu đồ so sánh kết thực nghiệm workflow Chimera Kết luận Bài báo trình bày giải thuật lập lịch theo chiến lược tối ưu bầy đàn nhằm tối thiểu hóa chi phí thực thi ứng dụng workflow môi trường đám mây So sánh kết thực nghiệm với hai giải thuật Random RoundRobin ta nhận thấy giải thuật đề xuất giảm chi phí thực thi Hướng nghiên cứu giải yêu cầu đa dạng tối thiểu thời gian thực thi, cân tải điều kiện ràng buộc thời gian 148 Bài tốn lập lịch Workflow mơi trường điện toán đám mây TÀI LIỆU THAM KHẢO [1] Suraj Pandey, Linlin Wu, Siddeswara Guru, and Rajkumar Buyya, 2010 A Particle Swarm Optimization (PSO)-based Heuristic for Scheduling Workflow Applications in Cloud Computing Environments AINA 2010, Australia [2] Suraj Pandey, Rajkumar Buyya 2009 Scheduling and Management Techniques for Data-Intensive Application Workflows IGI Global, USA [3] Suraj Pandey, Kapil Kumar Gupta, Adam Barker and Rajkumar Buyya, 2010 Minimizing Execution Cost when using Globally Distributed Cloud Services, AINA 2010, Australia [4] Rodrigo N Calheiros, Rajiv Ranjan, Anton Beloglazov, Cesar A F De Rose, and Rajkumar Buyya, 2011 CloudSim: A Toolkit for Modeling and Simulation of Cloud Computing Environments and Evaluation of Resource Provisioning Algorithms Volume 41, Number 1, Pages: 23-50, Wiley Press, USA [5] Rajkumar Buyya, Rajiv Ranjan and Rodrigo N Calheiros, 2009 Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities HPCS 2009, IEEE Press, New York, USA [6] Michael Mitzenmacher, Eli Upfal, 2005 Probabiliti and Computing:Randomized Algorithms and Probabilistic Analysis Cambridge University Press [7] Don Fallis, 2000 The Reliabiliti of Randomized Algorithms British Journal for the Philosophy of Science 51:255-71 [8] Silberschatz, Abraham; Galvin, Peter B.; Gagne, Greg,2010 M odern Information Retrieval Operating System Concepts (8th ed.) John_Wiley_&_Sons (Asia) pp 194 ISBN 978-0-470-23399-3 ABSTRACT Workflow scheduling problems in a cloud computing evironment For companies or enterprises, managing data and solving problems effectively with large amount of data is first privilege To deal with them, enterprises have to invest different kinds of expenses such as: hardware, software, network, maintenance, repair, upgrade, management, securiti control and etc Cloud computing can help them the meet the demand and can be chosen to use popularly by different kinds of companies and enterprises When using cloud computing, enterprises only need to pay for workflow applications used (i.e the work that needs several processes in order) They don’t need to invest in infrastructure and care bout technology too much Cloud computing, however, makes some problems to cope with: use current distracted resource, reduce computing and communicating cost Consequently, scheduling problem of workflow applications comes out and it is the main content of the paper 149 .. .Bài tốn lập lịch Workflow mơi trường điện tốn đám mây - Tiến hành thực nghiệm môi trường mơ phịng CloudSim để đánh giá kết so sánh với giải... dùng[3] Hình Một workflow với nút lưu trữ Si nút tính tốn PCi Hình luồng gồm công việc: T1 , T2 , T3 , T4 T5 , công việc có 142 Bài tốn lập lịch Workflow mơi trường điện tốn đám mây liệu đầu vào... datacenter chi phí truyền liệu 2.3 Lập lịch dựa tối ưu bầy đàn Trong phần này, chúng tơi trình bày giải thuật heuristic lập lịch động cho toán lập lịch ứng dụng workflow [2] nhằm tối thiểu hóa chi