Quản lý tài nguyên hướng tiết kiệm năng lượng trên môi trường điện toán đám mây (energy aware resource management in cloud computing) tt

CHƯƠNG 1.1 GIỚI THIỆU Giới thiệu Điện toán đám mây (ĐTĐM) trở thành mơ hình điện tốn tiện ích (utility computing) định hướng tính kinh tế Các đám mây hạ-tầng-như-một-dịch-vụ (IaaS Clouds) cung cấp tài nguyên cho người dùng (đám mây) dạng máy ảo (virtual machine, viết tắt: VM) ngày phổ biến trung tâm liệu (TTDL) ảo hóa đám mây (cloud virtualized data center) Công suất trung tâm liệu cỡ lớn yêu cầu từ vài chục Mega-Watts (MW) để hoạt động Một nghiên cứu ước tính cơng suất tiêu thụ chi phí điện tiêu thụ cho trung tâm liệu Mỹ khoảng 50 MW 15 triệu đô-la năm Nghiên cứu khác chi phí phải trả cho điện tiêu thụ trung tâm liệu ngày tăng, xu chi phí lượng tiêu thụ tiếp tục tăng chi phí cho phần cứng khơng đổi Bài tốn lập lịch máy ảo trung tâm liệu ảo hóa đám mây mục tiêu tiết kiệm lượng vấn đề quan trọng nhà cung cấp dịch vụ ĐTĐM để giảm chi phí hoạt động Một thách thức toán giảm tổng điện tiêu thụ máy vật lý toán lập lịch/phân bổ máy ảo tiết kiệm lượng tiêu thụ máy vật lý trung tâm liệu ảo hóa đám mây (Energy-aware scheduling/placement of virtual machines in Cloud virtualized data centers) Mặc dù toán lập lịch/phân bổ máy ảo hướng tiết kiệm điện trung tâm liệu ảo hóa đám mây nghiên cứu nhiều nhiều thách thức Bài toán lập lịch máy ảo hướng tiết kiệm lượng với ràng buộc khoảng thời gian thực thi cố định không di dời (non-migration) máy ảo quan tâm có nhiều vấn đề cần nghiên cứu sâu Luận án nghiên cứu toán lập lịch máy ảo mục tiêu tiết kiệm lượng ĐTĐM với đặc điểm: nhiều tài nguyên (gồm CPU, nhớ, băng thông mạng, v.v…) yêu cầu sử dụng đồng thời khoảng thời gian cố định (fixed intervals), không nhường (nonpreemption) không di dời (non-migrating) Một số cơng trình khác giải tốn theo hướng tối thiểu số máy vật lý sử dụng (và tắt máy khác không dùng) Tuy nhiên, việc tối thiểu số máy vật lý sử dụng chưa phải giải pháp tốt để tối thiểu tổng điện tiêu thụ máy vật lý toán lập lịch máy ảo nghiên cứu luận án Xét ví dụ sau: Bảng 1.1: Ví dụ thông số năm (5) máy ảo Dữ liệu CPU, RAM, băng thông mạng máy ảo chuẩn hóa theo tổng khả máy vật lý VM ID CPU RAM Băng thông mạng Thời gian bắt đầu 0,5 0,5 0,1 0,1 0,2 0,1 0,1 0,5 0,5 0,2 0,1 0,5 0,1 0,1 0,2 0 0 Khoảng thời gian (Đ.vị: Giờ) 100 100 1 Giả sử cho năm (5) cơng việc có thơng tin nhu cầu tài nguyên (như CPU, dung lượng nhớ (RAM), băng thơng mạng) loại máy ảo (tính theo tỉ lệ phần trăm tổng khả tài nguyên CPU, dung lượng nhớ băng thông mạng máy vật lý, ví dụ 0,1 10%, tối đa 1,0 tức 100%) liệt kê Bảng 1.1 Giả sử tất máy vật lý hệ thống đồng nhất, công suất tiêu thụ có mối quan hệ tuyến tính với tải CPU Các ràng buộc gán (i) tổng tài nguyên yêu cầu loại máy ảo gán nhỏ 1; (ii) máy ảo phải gán thời điểm bắt đầu; (iii) máy ảo gán khơng di dời không nhường Giả sử công suất (đơn vị: Watt) máy vật lý tính phương trình: P = Pidle + (Pmax - Pidle).Ucpu P công suất máy vật lý, Ucpu tải CPU máy vật lý với ≤ Ucpu ≤ 1, Pmax công suất cực đại với 100% tải CPU máy vật lý, Pidle công suất chạy không tải với 0% tải CPU Cho Pidle = 175 (W), Pmax = 250 (W), công suất máy vật lý là: P = 175 + 75.Ucpu Giả sử máy ảo sử dụng CPU không đổi CPU yêu cầu suốt thời gian thực thi Năng lượng tiêu thụ máy vật lý (ký hiệu E) là: 𝑡2 𝐸 = ∫𝑡1 𝑃(𝑡)𝑑𝑡 P(t) công suất máy vật lý theo thời gian t[t1, t2], t1 t2 thời gian bắt đầu kết thúc thực thi máy vật lý Nếu dùng giải pháp số máy nhỏ lịch S1 thực thi máy ảo có VM ID 1, 4, gán lên máy vật lý thứ (M1) thời điểm bắt đầu máy ảo có VM ID 2, gán lên máy vật lý thứ hai (M 2) thời điểm bắt đầu cần hai (02) máy vật lý với tổng thời gian bận rộn hai máy vật lý là: (100 + 100) = 200 giờ, công suất tiêu thụ máy vật lý M1 khoảng thời gian [0,1] là: 175 + 750.8 = 235 (W) khoảng thời gian [1, 100] là: 175 + 750.5 = 212.5 (W), tổng lượng tiêu thụ máy vật lý M1 khoảng thời gian [0, 100] là: 2351 + 212.599 = 21272.5 (Wh) Công suất máy vật lý thứ hai M2 khoảng thời gian [0, 1] là: 175 + 750.6 = 220 (W) khoảng thời gian [1, 100] là: 175 + 750.5 = 212.5 (W) lượng tiêu thụ là: 2201 + 212.599 = 21257.5 (Wh) Tổng lượng tiêu thụ hai máy vật lý M1 M2 lịch S1 (ký hiệu: 𝐸𝑆1 ) là: 𝐸𝑆1 = 21272.5 + 21257.5 = 𝟒𝟐𝟓𝟑𝟎 (Wh) Còn giải pháp khác tối thiểu tổng thời gian bận rộn máy vật lý lịch S2 thực thi máy ảo có VM ID 1, gán lên máy vật lý thứ thời điểm bắt đầu 0, máy ảo có VM ID 3, gán lên máy vật lý thứ hai thời điểm bắt đầu máy ảo có VM ID gán lên máy vật lý thứ ba thời điểm bắt đầu Lịch S2 cần ba máy vật lý tổng thời gian bận rộn ba máy vật lý (100 + + 1) = 102 tổng lượng tiêu thụ (ký hiệu: 𝐸𝑆2 ) là: 𝐸𝑆2 = 100250 + (175 + 750.2)1 + (175 + 750.2)1 𝐸𝑆2 = 𝟐𝟓𝟑𝟖𝟎 (Wh) Năng lượng tiêu thụ lịch S2 (25380 Wh) giảm so với lượng tiêu thụ lịch S1 (42530 Wh) là: 40,3% Qua ví dụ phản chứng cho thấy việc sử dụng số máy vật lý nhỏ không đạt mục tiêu tối ưu lượng tiêu thụ toán lập lịch máy ảo hướng tiết kiệm lượng tiêu thụ 1.2 Vấn đề tồn cần giải Bài toán phân bổ máy ảo tiết kiệm lượng tốn NP-hard Xuất phát từ tốn đóng thùng (bin-packing problem) nghiên cứu đề xuất giải thuật tiết kiệm lượng dựa tối ưu số máy vật lý nhỏ Các giải pháp di dời cho phép dồn tải lên số nhỏ máy vật lý tắt máy khác không dùng triết lý để tiết kiệm lượng cơng trình Tuy nhiên có cơng trình phương pháp di dời máy ảo nghiên cứu trước có hạn chế với ứng dụng tính tốn hiệu cao tổng thời gian bận rộn máy vật lý định tổng lượng tiêu thụ máy vật lý lập lịch cơng việc có thời gian thực thi cố định Do phương pháp tối thiểu tổng số máy vật lý dùng không dẫn đến tối thiểu tổng lượng sử dụng máy vật lý, thay nghiên cứu nên tối thiểu tổng thời gian bận rộn (total busy time) máy vật lý Bài toán lập lịch mục tiêu tối thiểu tổng thời gian bận rộn toán NP-hard nên cần có giải thuật hiệu 1.3 Mục tiêu luận án Mục tiêu luận án nghiên cứu toán lập lịch máy ảo hướng hiệu lượng (energy-efficient scheduling of virtual machines) mơi trường điện tốn đám mây với đặc điểm: (i) môi trường điện toán đám mây dạng hạ-tầng-như-một-dịch-vụ (IaaS cloud), đám mây riêng (private cloud) hay đám mây tính tốn hiệu cao (High Performance Computing Cloud) cho phép tài nguyên cung cấp dạng máy ảo; (ii) máy ảo yêu cầu nhiều loại tài nguyên đồng thời sử dụng khoảng thời gian bắt đầu kết thúc cố định; (iii) máy ảo không bị di dời (non-migration) không nhường (non-preemption) suốt thời gian thực thi Dựa yếu tố thời gian bắt đầu kết thúc máy ảo, mục tiêu luận án đề xuất giải thuật lập lịch hướng hiệu lượng đặt tất máy ảo (với yêu cầu tài nguyên máy ảo biết trước) lên máy vật lý cho tổng lượng tiêu thụ máy vật lý sử dụng nhỏ (xét toàn thời gian lập lịch) Thay tìm số máy vật lý nhỏ nhất, luận án tìm tổng thời gian bận rộn máy vật lý nhỏ để đạt tổng lượng tiêu thụ máy vật lý nhỏ Luận án chứng minh môi trường máy vật lý đồng nhất, công suất máy vật lý tuyến tính theo tải sử dụng CPU máy vật lý máy ảo yêu cầu tài nguyên thực thi khoảng thời gian cố định, mục tiêu tổng thời gian bận rộn máy vật lý nhỏ tương đương mục tiêu tổng lượng tiêu thụ máy vật lý nhỏ Luận án đánh giá giải thuật lập lịch đề xuất cho tốn lập lịch máy ảo mơ (dùng phần mềm CloudSim) so sánh chúng với giải thuật lập lịch máy ảo công trình khác Độ phức tạp giải thuật lập lịch tính tốn 1.4 Đóng góp luận án Những đóng góp luận án bao gồm: Mơ tả tốn lập lịch máy ảo hướng hiệu lượng Cho n máy ảo lập lịch lên m máy vật lý, mục tiêu hiệu lượng với đặc điểm: d tài nguyên (CPU, nhớ, băng thông mạng, v.v…), d – số loại tài nguyên đồng thời sử dụng khoảng thời gian cố định (fixed intervals), không nhường (non-preemption) không di dời (non-migrating) Sử dụng chiều thời gian giải pháp lập lịch hướng tiết kiệm lượng luận án đề xuất nhóm giải thuật lập lịch thứ MinDFT (bao gồm giải thuật MinDFT-ST, MinDFT-FT, MinDFT-LDTF MinDFT-LFT chương 5) Tất giải thuật nhóm thứ dựa giải thuật MinDFT gán máy ảo lên máy vật lý có tổng thời gian hồn thành tăng thêm nhỏ Các giải thuật MinDFT-ST, MinDFT-FT, MinDFT-LDTF MinDFT-LFT khác cách xếp danh sách máy ảo trước gán MinDFT-ST danh sách máy ảo theo thời gian bắt đầu tăng dần, MinDFT-FT danh sách máy ảo theo thời gian kết thúc tăng dần, MinDFT-LDTF danh sách máy ảo theo thời gian thực thi dài trước MinDFT-LFT danh sách máy ảo theo thời gian kết thúc sau trước Hai giải thuật MinDFTST MinDFT-FT trình bày cơng trình hai giải thuật MinDFT-LDTF MinDFT-LFT nêu công trình Giải pháp lập lịch hướng tiết kiệm lượng dựa yếu tố thời gian độ dài vector tài nguyên dư (sau cấp cho máy ảo) máy vật lý, luận án đề xuất nhóm giải thuật thứ hai EMinTRE với giải thuật gồm: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT (ở chương 6) Tất giải thuật nhóm thứ hai EMinTRE (bao gồm EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRELFT (ở chương 6)) dựa giải thuật EMinTRE để tối thiểu tổng thời gian bận rộn máy vật lý quan tâm đến việc tài nguyên hiệu gán máy ảo lên máy vật lý Luận án đề xuất độ đo TRE (Time increasing – Resource Efficency) dựa độ dài vector tài nguyên trống thời gian bận rộn tăng thêm máy vật lý Ý nghĩa độ đo TRE gán máy ảo lên máy vật lý quan tâm thêm chiều tài nguyên khác (như CPU, nhớ, băng thông mạng,…) dùng Nếu máy có thời gian bận rộn tăng thêm giải thuật gán máy ảo lên máy vật lý có độ dài vector tài nguyên trống lại nhỏ Tất giải thuật EMinTRE6 ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT gán máy ảo lên máy vật lý có giá trị TRE nhỏ nhất, giải thuật khác cách xếp danh sách máy ảo trước gán đến máy vật lý giải thuật EMinTRE Giải thuật EMinTRE-ST xếp danh sách máy ảo theo thời gian bắt đầu tăng dần, giải thuật EMinTRE-FT xếp danh sách máy ảo theo thời gian kết thúc tăng dần, giải thuật EMinTRE-LDTF xếp danh sách máy ảo theo thời gian thực thi yêu cầu máy ảo dài trước, giải thuật EMinTRE-LFT xếp danh sách máy ảo theo thời gian kết thúc sau trước Luận án đánh giá giải thuật lập lịch đề xuất giải thuật lập lịch so sánh khác mô giải thuật lập lịch phần mềm CloudSim sử dụng workload thực (trong file log-trace) Parallel Workload Archive (PWA), workload tạo từ mơ hình tải Parallel Workload Models Kết cho thấy giải thuật MinDFT-ST, MinDFTFT, MinDFT-LDTF, MinDFT-LFT, EMinTRE-ST, EMinTREFT, EMinTRE-LDTF EMinTRE-LFT đề xuất hiệu giải thuật phổ biến lập lịch máy ảo Đặc biệt, giải thuật EMinTRE đề xuất để giải cho toán lập lịch máy ảo với thời gian bắt đầu kết thúc giải thuật EMinTRE cho kết tổng lượng tiêu thụ nhỏ giải thuật so sánh khác gồm: Power-Aware Best-Fit Decreasing (PABFD) A Beloglazov, heuristic đóng thùng Norm-based Greedy (VBP-Norm-L2) R Panigrahy, Modified First-Fit Decreasing Earliest (Tian-MFFDE) W Tian Luận án phân tích đánh giá độ hiệu (lý thuyết) giải thuật lập lịch đề xuất Các giải thuật đề xuất có độ xấp xỉ (approximation) lý thuyết khơng lớn g lần so với giải thuật tối ưu (g số máy ảo lớn gán lên máy vật lý bất kỳ) trường hợp tổng quát luận án trình bày độ xấp xỉ giải thuật đề xuất số trường hợp đặc biệt 1.5 Bố cục luận án Luận án bao gồm chương: chương giới thiệu động thực nghiên cứu thách thức tồn Chương trình bày tảng lý thuyết Chương thực phân loại đánh giá ưu khuyết điểm nghiên cứu ngồi nước có liên quan đến đề tài luận án nghiên cứu Chương mô tả toán, sở luận án để từ đề xuất giải thuật lập lịch máy ảo Chương chương luận án trình bày giải thuật lập lịch đề xuất MinDFT-ST, MinDFT-FT, MinDFT-LDTF, MinDFT-LFT, EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT cho toán lập lịch máy ảo tối ưu tổng điện tiêu thụ nêu chương Chương phân tích độ xấp xỉ giải thuật lập lịch đề xuất luận văn chương chương Chương tổng kết công việc tương lai CHƯƠNG CƠ SỞ KIẾN THỨC Chương trình bày sở kiến thức liên quan khái niệm điện toán đám mây (tiếng Anh: cloud computing, viết tắt: ĐTĐM), mơ hình hạ tầng dịch vụ (IaaS), máy ảo (virtual machine), cơng trình quản lý máy ảo trung tâm liệu ảo hóa đám mây, tốn lập lịch cơng việc song song Theo cơng trình nghiên cứu lý thuyết, tối thiểu tổng thời gian bận rộn (total busy time) máy vật lý tốn lập lịch song song có nhiều ứng dụng nhiều lĩnh vực như: tốn truyền tín hiệu qua mạng cáp quang (optical networks), toán lập lịch tiết kiệm lượng, toán thiết kế mạng quang (optimal network design) toán gán wavelengh Cho tốn lập lịch số cơng việc xử lý đồng thời máy có giới hạn Đầu vào tốn tập n cơng việc, công việc kết hợp với khoảng thời gian bắt đầu kết thúc cố định Cho tham số g ≥1 (g số tự nhiên lớn 0) số lượng công việc tối đa xử lý đồng thời máy Mỗi máy hoạt động liên tục khoảng thời gian gọi khoảng thời gian bận rộn (busy interval) mà hợp tất khoảng thời gian công việc máy xử lý Mục tiêu gán công việc lên máy cho tổng thời gian bận rộn máy nhỏ Bài toán lập lịch tối thiểu tổng thời gian bận rộn (gọi MINBUSY) máy NP-hard với g ≥ CHƯƠNG TỔNG QUAN VỀ CÁC GIẢI PHÁP LẬP LỊCH/PHÂN BỔ MÁY ẢO TIẾT KIỆM NĂNG LƯỢNG TRÊN HẠ TẦNG TÍNH TỐN CỦA TRUNG TÂM DỮ LIỆU Chương trình bày phương pháp luận tiết kiệm lượng, mơ hình cơng suất lượng tiêu thụ máy vật lý Khảo sát giải pháp dồn máy ảo (virtual machine consolidation) để tối thiểu tổng lượng tiêu thụ máy vật lý, phương pháp phân bổ/lập lịch máy ảo theo hướng lượng hiệu trung tâm liệu đóng góp giới hạn cơng trình liên quan Luận án đưa thêm tiêu chí vào phân loại cơng trình có kỹ thuật hiệu lượng mức trung tâm liệu/đám mây dựa tối thiểu tổng thời gian thực thi CHƯƠNG KIẾN TRÚC HỆ THỐNG VÀ BÀI TỐN LẬP LỊCH MÁY ẢO CĨ THỜI GIAN BẮT ĐẦU VÀ KẾT THÚC CỐ ĐỊNH TIẾT KIỆM NĂNG LƯỢNG Chương trình bày kiến trúc hệ thống đám mây tính tốn hiệu cao hiệu lượng hướng đến luận án, mơ hình cơng suất điện tiêu thụ máy vật lý, tốn lập lịch máy ảo có thời gian bắt đầu kết thúc cố định máy vật lý đồng tiết kiệm lượng CHƯƠNG GIẢI THUẬT MinDFT TỐI THIỂU TỔNG THỜI GIAN HOÀN THÀNH TĂNG THÊM ĐỂ TIẾT KIỆM ĐIỆN NĂNG TIÊU THỤ CỦA CÁC MÁY VẬT LÝ 5.1 Giới thiệu Chương dựa vào hai định lý 4.1 4.2 chương - phát chúng tơi tốn phân bổ máy ảo với máy ảo yêu cầu nhiều tài nguyên, có thời gian bắt đầu kết thúc xác định trước Đồng thời chương trình bày hai giải thuật phân bổ máy ảo tiết kiệm lượng nghiên cứu sinh (ký hiệu MinDFT-ST, MinDFT-FT) hệ thống điện toán đám mây với máy vật lý đồng Cả hai MinDFT-ST MinDFT-FT đề xuất nhằm giảm tổng điện tiêu thụ cho máy vật lý theo định lý nêu chương 5.2 Giải thuật MinDFT-ST MinDFT-FT Hai giải thuật lập lịch tiết kiệm lượng: MinDFT-ST MinDFT-FT tối thiểu thời gian tăng thêm nhỏ để giảm điện tiêu thụ máy vật lý tốn lập lịch máy ảo (Giải thuật 5.1 trình bày mã giả cho hai giải thuật MinDFT-ST MinDFT-FT.) Hai giải thuật MinDFTST MinDFT-FT khác cách xếp danh sách máy ảo Giải thuật MinDFT-ST đề xuất cách xếp danh sách máy ảo để phân bổ theo thời gian bắt đầu máy ảo sớm trước; giải thuật MinDFT-FT đề xuất cách xếp danh sách máy ảo để phân bổ theo thời gian kết thúc (thời gian kết thúc tổng thời gian bắt đầu (si) thời gian thực thi (duri) máy ảo) máy ảo sớm trước Cả hai giải thuật MinDFT-ST MinDFT-FT gọi giải thuật MinDFT MinDFT heuristic dạng Best-Fit Decreasing (BFD) để phân bổ máy ảo lên máy vật lý cho thời gian tăng thêm tổng thời gian hoàn tất tất máy vật lý (sau gán máy ảo này) nhỏ Mục đích hai giải thuật MinDFT-ST MinDFT-FT nhằm tối thiểu tổng thời gian hoàn tất tất máy vật lý, 10 tối thiểu tổng lượng tiêu thụ (KWh) máy vật lý tập máy ảo cho Thời gian chạy tệ giải thuật MinDFTST/FT O(n.m + n log n) Trong hệ thống điện toán đám mây thường số lượng máy vật lý m lớn so với log(n), nên độ phức tạp giải thuật MinDFT-ST/FT O(n.m) Hình 5.1 Tổng điện tiêu thụ (đơn vị: KWh) Trục hoành biểu diễn Energy (Unit: KWh) 6,000 5,000 4,000 3,000 2,000 1,000 giải thuật phân bổ máy ảo cần so sánh, trục tung biểu diễn tổng điện tiêu thụ 5.3 Giải thuật lập lịch MinDFT-LDTF MinDFT-LFT Hai giải thuật MinDFT-LDTF MinDFT-LFT dựa giải thuật MinDFT (Giải thuật 5.2) đề xuất với cách xếp danh sách máy ảo theo thứ tự khoảng thời gian thực thi yêu cầu dài trước (hoặc thời gian kết thúc muộn trước) có trường hợp tốt Giải thuật 5.3 trình bày mã giả hai giải thuật MinDFT-LDTF MinDFT-LFT Khác với giải thuật MinDFT-ST/FT (Giải thuật 5.1) Hai giải thuật MinDFT-LDTF (MinDFT-LFT) xếp danh sách máy ảo theo thứ tự khoảng thời gian thực thi yêu cầu dài trước (thời gian kết thúc muộn trước), thay danh sách máy ảo theo thời gian bắt đầu sớm 11 trước MinDFT-ST Thời gian kết thúc máy ảo tính tổng thời gian bắt đầu khoảng thời gian chạy liên tục không nhường (nonpreemption) máy ảo 5.4 Kết luận Chương luận án trình bày hai giải thuật phân bổ máy ảo MinDFT-ST, MinDFT-FT, MinDFT-LDTF, MinDFT-LFT cho toán lập lịch máy ảo mục tiêu tối thiểu tổng lượng tiêu thụ máy vật lý (được phát biểu chương 4) Hai giải thuật MinDFT-ST, MinDFT-FT trình bày cơng trình quốc tế có phản biện CHƯƠNG GIẢI THUẬT EMinTRE TỐI THIỂU TỔNG THỜI GIAN BẬN RỘN - ỨNG DỤNG VÀO TIẾT KIỆM ĐIỆN NĂNG TIÊU THỤ CỦA CÁC MÁY VẬT LÝ Chương đề xuất giải thuật EMinTRE cách xếp danh sách máy ảo để phân bổ tạo thành giải thuật lập lịch gồm: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT Giải thuật EMinTRE sử dụng số TRE lựa chọn máy vật lý có số TRE nhỏ để gán máy ảo Chỉ số TRE tính theo thời gian tăng thêm độ đo tài nguyên hiệu tài nguyên máy vật lý (tính theo giá trị chuẩn vector đường chéo trống tài nguyên) 6.1 Giới thiệu Nhiều nghiên cứu cho thấy toán phân bổ máy ảo (virtual machine allocation) hướng tiết kiệm lượng NP-hard Có vài nghiên cứu thực tốn phân bổ máy ảo tiết kiệm lượng Nhiều nghiên cứu đề xuất giải thuật dồn máy ảo lên số máy vật lý cách sử dụng heuristic đóng thùng (bin-packing), ví dụ: First-Fit Decreasing, hay Best-Fit Decreasing có sửa đổi Các phương pháp dùng heuristic đóng thùng cố gắng dùng số máy vật lý nhỏ để thực thi 12 máy ảo tắt máy rảnh (khơng có gán máy ảo nó) khác nhiều Với tốn lập lịch mơ tả chương luận án này, việc sử dụng số máy vật lý nhỏ không đồng nghĩa với tổng lượng tiêu thụ tất máy vật lý nhỏ Trong hệ thống điện toán đám mây (ĐTĐM) với máy vật lý đồng nhất, công suất tiêu thụ máy vật lý giống tuyến tính theo tải sử dụng xử lý (CPU utilization), quan sát thấy việc sử dụng số máy vật lý tối thiểu không tương đương tổng lượng tiêu thụ tất máy vật lý nhỏ Nghĩa lập lịch với thời gian làm việc dài tiêu thụ nhiều lượng lập lịch ngắn 6.2 Giải thuật lập lịch EMinTRE Trong phần này, nghiên cứu sinh trình bày giải thuật lập lịch đề xuất tên là: EMinTRE Luận án đề xuất độ đo (đặt tên TRE – Time increasing and Resource Efficiency) gồm hai tham số: tỉ lệ thời gian tăng thêm tổng thời gian bận rộn tài nguyên hiệu chiều tài nguyên (được ước lượng gán máy ảo đến máy vật lý) EMinTRE gán máy ảo lên máy vật lý cho giá trị TRE máy vật lý nhỏ Lặp lại gán hết tất máy ảo danh sách 13 Hình 6.1 Ví dụ đặt hai máy ảo máy vật lý Giải thuật EMinTRE khác với giải thuật MinDFT (chương 5) là: MinDFT quan tâm tối thiểu thời gian hoàn thành tăng thêm nhỏ gán máy ảo lên máy vật lý, EMinTRE ngồi tỉ lệ tổng thời gian bận rộn tăng thêm quan tâm tài nguyên hiệu chiều tài nguyên nhỏ gán máy ảo lên máy vật lý Giải thuật EMinTRE khác giải thuật EMinRET điểm: công thức tính độ đo TRE (của EMinTRE) khác với RET (của EMinRET) Giải thuật EMinTRE khác với giải thuật MinDFT (chương 5) là: MinDFT quan tâm tối thiểu thời gian hoàn thành tăng thêm nhỏ gán máy ảo lên máy vật lý, EMinTRE ngồi tỉ lệ tổng thời gian bận rộn tăng thêm quan tâm tài nguyên hiệu chiều tài nguyên nhỏ gán máy ảo lên máy vật lý Giải thuật EMinTRE khác giải thuật EMinRET điểm: cơng thức tính độ đo TRE (của EMinTRE) khác với RET (của EMinRET) 14 Tải sử dụng (utilization) tài nguyên thứ r (tài nguyên r tổng số MIPS core (ký hiệu cpu), dung lượng nhớ vật lý (ký hiệu ram), băng thông mạng (ký hiệu netbw), dung lượng hệ thống file (ký hiệu disk), v.v…) máy vật lý thứ j (ký hiệu Mj), ký hiệu Uj,r, tính theo công thức (6.1) sau Gọi K tập tài nguyên xét, ℒj tập máy ảo lập lịch lên máy vật lý thứ j Giả sử có d  ℤ+ loại tài nguyên xét tốn lập lịch, ví dụ cho K={1, 2, 3, 4} (với CPU, RAM, băng thơng mạng, đĩa cứng) d = Ta có: 𝑈𝑗,𝑟 (𝑡) = ( 𝑀𝑗𝑟 𝑉𝑖𝑟 ) , r ∈ 𝐾, ∀𝑗 ∈ [1, 𝑚] (6.1) ∑ 𝑉𝑖 ∈ℒj ∧𝑠𝑖 ≤𝑡≤𝑠𝑖 +𝑑𝑢𝑟𝑖 đó: Vir  ℤ+ tổng số tài nguyên thứ r yêu cầu máy ảo thứ i (ký hiệu Vi), si  ℤ+ duri  ℤ+ thời gian bắt đầu khoảng thời gian thực thi máy ảo Vi, Mjr  ℤ+ tổng khả tối đa tài nguyên thứ r mà máy vật lý thứ j cung cấp Tất Vir, si duri không đổi giả sử cho biết trước lúc yêu cầu máy ảo Biểu diễn vector tải sử dụng tài nguyên máy vật lý thứ j thời điểm xác định là: Uj = (Uj,1, Uj,2, …, Uj,d) Gọi Dj độ dài vector chiều tài nguyên trống máy vật lý thứ j (vector tải sử dụng tài nguyên máy vật lý thứ j (Uj,1, Uj,2, …, Uj,d) với Uj,1, Uj,2 ,…, Uj,d chuẩn hóa theo giá trị tài nguyên tương ứng máy vật lý thứ j đó), Dj định nghĩa sau: 𝑑 𝐷𝑗 = √ ∑ ((1 − 𝑈𝑗,𝑟 ) 𝑤𝑟 ) , ∀𝑗 ∈ [1, 𝑚] (6.2) 𝑟=1 ký hiệu wr trọng số tài nguyên thứ r máy vật lý thứ j 15 Chỉ số TRE (Time increasing - Resource Efficiency) đề xuất tính theo cơng thức (6.3) sau Giá trị TRE máy vật lý thứ j ký hiệu TREj, với ∀j∈{1,2,…,m} giá trị TREj mô tả là: 𝑑𝑖𝑓𝑓 𝑡𝑗 𝑇𝑅𝐸𝑗 = ( × 𝑤𝑡𝑖𝑚𝑒 ) + 𝐷𝑗 𝑇𝑗 (6.3) tjdiff thời gian tăng thêm gán máy ảo đến máy vật lý thứ j, wtime trọng số thành phần thời gian công thức TREj Tj tổng thời gian bận rộn máy vật lý Mj Giải thuật 6.1 trình bày mã giả giải thuật lõi EMinTRE cho giải thuật như: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRELFT Giải thuật EMinTRE gán máy ảo thứ i (i=1, 2, 3,…, n) danh sách có thứ tự (đã xếp theo thứ tự trước như: thời gian bắt đầu tăng dần, thời gian dài trước,…) lên máy vật lý thứ j (1 ≤ j ≤ m) cho có giá trị TRE j tính theo công thức (6.3) máy vật lý nhỏ Giải thuật EMinTRE-LFT heuristic dạng best-fit có độ phức tạp (nm), đó: n - số máy ảo cần lập lịch, m - số máy vật lý hệ thống 6.3 Giải thuật lập lịch EMinTRE-ST, EMinTRE-FT, EMinTRELDTF, EMinTRE-LFT Các giải thuật gồm hai bước là: (i) Bước 1: Sắp xếp danh sách máy ảo cần gán theo thứ tự định thời gian bắt đầu tăng dần, thời gian kết thúc tăng dần, thời gian thực thi máy ảo dài trước, thời gian kết thúc máy ảo sau trước; (ii) Bước 2: Gọi giải thuật EMinTRE để gán máy ảo lên máy vật lý cho giá trị TRE máy vật lý nhỏ Lặp lại bước gán hết tất máy ảo danh sách 16 Trong phần đánh giá hiệu giải thuật đề xuất gồm MinDFT-LDTF, MinDFT-LFT, EMinTRE-LDTF EMinTRE-LFT so sánh với giải thuật phân bổ máy ảo khác liệt kê bên dưới: - Giải thuật lập lịch Tian-MFFDE (Modified First-Fit Decreasing Earliest) [27] chọn làm giải thuật sở để so sánh Giải thuật TianMFFDE danh sách máy ảo theo thứ tự khoảng thời gian thực thi dài trước sau gán máy ảo đến máy vật lý mà tài nguyên trống đủ thỏa mãn yêu cầu tài nguyên máy ảo - Giải thuật lập lịch PABFD (Power-Aware and Best-Fit Decreasing) bin-packing heuristic dạng Best-fit cải tiến PABFD danh sách máy ảo theo chiều giảm dần tổng tải sử dụng CPU yêu cầu PABFD gán máy ảo đến máy vật lý mà có mức tăng thêm công suất tiêu thụ nhỏ Giải thuật PABFD chọn để so sánh với giải thuật mà luận án đề xuất PABFD heuristic tiết kiệm lượng biết đến rộng rãi cộng đồng nghiên cứu giải thuật đặt máy ảo hướng tiết kiệm lượng - Giải thuật lập lịch VBP-Norm-L2, heuristic tham lam dựa lp-norm bậc (p=2) (Norm-based Greedy) đề xuất nhóm nghiên cứu thuộc Microsoft Research cho toán vector bin-packing (ứng dụng cho toán phân bổ máy ảo) VBP-Norm-L2 gán máy ảo đến máy vật lý mà tối thiểu khoảng cách norm phần tài nguyên dư (sau đặt máy ảo này) máy vật lý - Giải thuật lập lịch MinDFT-ST trình bày chương Các giải thuật lập lịch đánh giá dựa mô sử dụng phần mềm CloudSim Trong mô phỏng, giả sử ứng dụng có mơ hình tải ln sử dụng tài ngun đạt 100% tải máy ảo (đã yêu cầu) Các workload để thử nghiệm giải thuật được tạo từ hai mơ hình workload cơng việc song song Feitelson Lublin99 Parallel Workload Archive (PWA) Thông tin thời gian đến, thời 17 gian bắt đầu (nếu thời gian bắt đầu khơng có tính tổng thời gian đến cộng với thời gian đợi hàng đợi công việc), thời gian chạy (running time) số lượng xử lý công việc log-trace chuyển thành thời gian đến, thời gian bắt đầu, thời gian thực thi cho máy ảo số lượng máy ảo tương ứng Khi máy ảo kết thúc tất ứng dụng chạy máy ảo kết thúc theo tương ứng Trên số lượng máy ảo cần, máy ảo tạo xoay vòng tám (08) kiểu máy ảo Tất máy vật lý giống máy vật lý loại máy chủ thơng dụng với CPU có tổng cộng 16 core (3250 MIPS/core), nhớ vật lý 136,8 Gbytes, tổng băng thông mạng 10 Gb/s, dung lượng đĩa trống 10 Tbytes Mơ hình lượng máy vật lý: công suất tiêu thụ lúc tải rảnh 175 W (khi tải CPU 0%) – giả định khơng có máy ảo thực thi máy vật lý, công suất tiêu thụ cực đại 250 W (công suất tiêu thụ lúc tải rảnh 70% công suất cực đại) Hình 6.2: Tổng điện tiêu thụ chuẩn hóa theo PABFD Kết mô giải thuật lập lịch cho toán lập lịch hệ thống gồm 5000 máy vật lý 10246 máy ảo có thơng tin máy ảo tạo từ mơ hình workload Feitelson 18 Hình 6.3: Tổng điện tiêu thụ chuẩn hóa theo PABFD Kết mơ giải thuật lập lịch cho toán lập lịch hệ thống gồm 5000 máy vật lý 6583 máy ảo có thơng tin máy ảo tạo từ mơ hình workload song song Lublin99 Lublin Hình 6.4: Tổng điện tiêu thụ chuẩn hóa theo PABFD Kết mô giải thuật lập lịch cho toán lập lịch hệ thống gồm 5000 máy vật lý 3677 máy ảo có thơng tin máy ảo tạo từ mơ hình workload song song Downey97 Downey 19 6.4 Kết luận Chương luận án trình bày giải thuật EMinTRE bao gồm bốn giải thuật lập lịch gồm EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT (tương ứng bốn cách xếp danh sách máy ảo trước gán) cho toán lập lịch máy ảo hướng tiết kiệm lượng (nêu chương 4) Kết mô cho thấy so sánh với giải thuật khác Tian-MFFDE, PABFD, VBP-Norm-L2, MinDFT-LDTF bốn giải thuật đề xuất gồm EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT có tổng lượng tiêu thụ nhỏ (tốt giải thuật có nghiên cứu khác) mơ hình tải cơng việc song song Parallel Workload Models Giải thuật EMinTRE-LDTF tốt với tải mơ hình Feitelson, giải thuật EMinTRE-LFT tốt tốt với tải mơ hình Downey, giải thuật EMinTRE-FT tốt với tải mơ hình Lublin CHƯƠNG PHÂN TÍCH ĐỘ HIỆU QUẢ TRÊN LÝ THUYẾT CỦA CÁC GIẢI THUẬT LẬP LỊCH ĐỀ XUẤT Chương phân tích độ hiệu lý thuyết giải thuật lập lịch đề xuất chương chương CHƯƠNG 8.1 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Luận án giải toán lập lịch máy ảo máy vật lý mục tiêu tiết kiệm lượng tiêu thụ máy vật lý Thách thức toán lập lịch NP-hard Luận án phân tích toán lập lịch máy ảo với máy ảo yêu cầu nhiều loại tài nguyên thực thi khoảng cố định máy vật lý có tài nguyên giới hạn Mặc dù giải thuật First-fit Decreasing hay Best-fit Decreasing tốn đóng thùng (bin-packing problem) tối thiểu số máy vật lý dùng, luận án phương pháp tối thiểu số máy vật lý không đồng nghĩa với việc tối 20 thiểu tổng điện tiêu thụ máy vật lý Khai thác đặc điểm máy ảo yêu cầu thực thi khoảng thời gian thực thi cố định, không di dời, không nhường máy ảo cần nhiều loại tài nguyên để thực thi luận án đề xuất giải thuật lập lịch tốt giải thuật lập lịch có Sử dụng chiều thời gian giải pháp lập lịch hướng tiết kiệm lượng luận án đề xuất nhóm giải thuật lập lịch thứ MinDFT (bao gồm giải thuật MinDFT-ST, MinDFT-FT, MinDFT-LDTF MinDFT-LFT chương 5) Nhóm giải thuật lập lịch thứ MinDFT (bao gồm giải thuật MinDFT-ST, MinDFT-FT, MinDFT-LDTF MinDFT-LFT chương 5) tối thiểu tổng thời gian thực thi tăng thêm máy vật lý Tất giải thuật nhóm thứ dựa giải thuật MinDFT gán máy ảo lên máy vật lý có tổng thời gian hồn thành tăng thêm nhỏ Các giải thuật MinDFT-ST, MinDFT-FT, MinDFT-LDTF MinDFT-LFT khác cách xếp danh sách máy ảo trước gán MinDFT-ST danh sách máy ảo theo thời gian bắt đầu sớm trước, MinDFT-FT danh sách máy ảo theo thời gian kết thúc sớm trước, MinDFT-LDTF danh sách máy ảo theo thời gian thực thi dài trước MinDFT-LFT danh sách máy ảo theo thời gian kết thúc sau trước Khi dựa vào thời gian tăng thêm nhỏ để gán máy ảo đến máy vật lý dẫn đến việc sử dụng tài nguyên máy vật lý chưa tối ưu như: gán máy ảo dùng nhiều nhớ lên máy vật lý dẫn đến khơng nhớ để gán tiếp cho máy ảo khác tương lai, lựa chọn khác gán lên máy vật lý khác có tổng thời gian tăng thêm tối thiểu tài nguyên sử dụng tốt Đó lý nhóm giải thuật thứ hai EMinTRE với giải thuật gồm: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT (ở chương 6) đề xuất Giải pháp lập lịch hướng tiết kiệm lượng dựa yếu tố thời gian đường chéo chiều tài nguyên trống máy vật lý luận 21 án đề xuất nhóm giải thuật thứ hai EMinTRE với giải thuật gồm: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT (ở chương 6) Tất giải thuật nhóm thứ hai EMinTRE dựa giải thuật EMinTRE để tối thiểu tổng thời gian bận rộn máy vật lý quan tâm đến việc tài nguyên hiệu gán máy ảo lên máy vật lý Luận án đề xuất độ đo TRE (Time increasing – Resource Efficency) dựa độ dài vector tài nguyên trống thời gian bận rộn tăng thêm máy vật lý Ý nghĩa độ đo TRE gán máy ảo lên máy vật lý quan tâm thêm chiều tài nguyên khác (như CPU, nhớ, băng thông mạng,…) dùng Nếu máy có thời gian bận rộn tăng thêm giải thuật gán máy ảo lên máy vật lý có độ dài vector tài nguyên trống lại nhỏ Tất giải thuật EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT gán máy ảo lên máy vật lý có giá trị TRE nhỏ nhất, giải thuật khác cách xếp danh sách máy ảo trước gán đến máy vật lý giải thuật EMinTRE Giải thuật EMinTRE-ST xếp danh sách máy ảo theo thời gian bắt đầu tăng dần, giải thuật EMinTRE-FT xếp danh sách máy ảo theo thời gian kết thúc tăng dần, giải thuật EMinTRE-LDTF xếp danh sách máy ảo theo thời gian thực thi yêu cầu máy ảo dài trước, giải thuật EMinTRE-LDTF xếp danh sách máy ảo theo thời gian kết thúc sau trước Để đánh giá độ hiệu giải thuật đề xuất này, luận án trình bày phương pháp đánh giá giải thuật thực nghiệm mô giải thuật đề xuất giải thuật so sánh phần mềm CloudSim, phần mềm mơ mơi trường điện tốn đám mây giải thuật phân bổ máy ảo môi trường điện toán đám mây nhiều nghiên cứu sử dụng rộng rãi Thông tin tải công việc (workload) cho hệ thống sử dụng tải công việc thực Parallel Workload Archive từ mơ hình tải công việc song song (parallel workload models) nhiều nghiên cứu sử dụng rộng rãi nhóm tác giả: Feitelson cộng sự, Lublin 22 cộng sự, Downey và cộng sự,… Kết mô cho thấy so sánh với giải thuật lập lịch khác có, hai nhóm giải thuật MinDFT EMinTRE luận án đề xuất cho kết tốt (tổng điện tiêu thụ hơn) giải thuật lập lịch khác có Power-Aware Best-Fit Decreasing (PABFD) A Beloglazov cộng sự, heuristic đóng thùng VBP-Norm-L2, Modified First-Fit Decreasing Earliest (TianMFFDE) W Tian cộng Các giải thuật EMinTRE cho phép lựa chọn trọng số tài nguyên thời gian công thức TRE Việc chọn lựa trọng số cho chiều tài nguyên thời gian cơng thức tính TRE máy vật lý gán máy ảo chọn cách xếp danh sách máy ảo thích hợp với workload cho kết tốt (tổng lượng tiêu thụ nhỏ hơn) giải thuật EMinTRE Hiện mô gán trọng số tài nguyên thời gian Trong nghiên cứu mở rộng tương lai kết hợp với kỹ thuật học máy (machine learning) để chọn trọng số tài nguyên phù hợp với loại hệ thống máy vật lý dạng workload khác Luận án chứng minh cận độ xấp xỉ lý thuyết giải thuật đề xuất MinDFT-ST, MinDFT-FT, MinDFT-LDTF, MinDFT-LFT, EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT so với giải thuật tối ưu không số g (với g số máy ảo tối đa đặt máy vật lý thời điểm bất kỳ) Các kết trình bày chương Trong vài trường hợp đặc biệt hiệu giải thuật lập lịch đề xuất tốt (nếu khoảng máy vật lý không chứa – proper interval graph giải thuật EMinTRE-LDTF 𝑔 có độ xấp xỉ (3 − ) so với tối ưu) 23 8.2 Hướng phát triển Từ nghiên cứu kết đạt luận án này, nghiên cứu sinh đề nghị số vấn đề hướng nghiên cứu sau: - Vấn đề 1: Trong cơng thức tính độ đo TRE cần biết trọng số tài nguyên Trong công trình gần nghiên cứu sinh áp dụng phương pháp mạng trí tuệ nhân tạo giải thuật di truyền tìm trọng số tương quan với danh sách máy ảo yêu cầu (đầu vào) - Vấn đề 2: Các máy vật lý bất đồng mơi trường điện tốn đám mây Trường hợp máy vật lý bất đồng nghiên cứu sinh có đề xuất giải thuật EM EPOBF dựa tổng số MIPS Watt để chọn máy vật lý gán máy ảo, giải thuật di truyền để gán máy ảo lên máy vật lý - Vấn đề 3: Các ứng dụng tính tốn hiệu cao có giao tiếp qua mạng, hạ tầng mạng máy vật lý dùng cơng nghệ mạng tốc độ cao đặc biệt (như Infiniband) - Vấn đề 4: Năng lượng tiêu thụ trung tâm liệu gắn với lượng hệ thống khác Luận án quan tâm đến lượng tiêu thụ máy vật lý 24 ... scheduling of virtual machines) mơi trường điện tốn đám mây với đặc điểm: (i) mơi trường điện tốn đám mây dạng hạ-tầng-như-một-dịch-vụ (IaaS cloud) , đám mây riêng (private cloud) hay đám mây tính... thiểu tài nguyên sử dụng tốt Đó lý nhóm giải thuật thứ hai EMinTRE với giải thuật gồm: EMinTRE-ST, EMinTRE-FT, EMinTRE-LDTF EMinTRE-LFT (ở chương 6) đề xuất Giải pháp lập lịch hướng tiết kiệm lượng. .. thuật so sánh phần mềm CloudSim, phần mềm mơ mơi trường điện tốn đám mây giải thuật phân bổ máy ảo môi trường điện toán đám mây nhiều nghiên cứu sử dụng rộng rãi Thông tin tải công việc (workload)