Luận án tiến sĩ khoa học máy tính nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN HOÀNG HÀ NGHIÊN CỨU MỘT SỐ VẤN ĐỀ LẬP LỊCH TRÊN MƠI TRƯỜNG TÍNH TỐN ĐÁM MÂY LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH HUẾ - NĂM 2016 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN HOÀNG HÀ NGHIÊN CỨU MỘT SỐ VẤN ĐỀ LẬP LỊCH TRÊN MÔI TRƯỜNG TÍNH TỐN ĐÁM MÂY CHUN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân HUẾ - NĂM 2016 Nghiên cứu số vấn đề lập lịch môi trường tính tốn đám mây LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu tơi thực hiện, hướng dẫn khoa học PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân Các số liệu kết trình bày luận án trung thực, chưa công bố tác giả hay cơng trình khác Nghiên cứu sinh Nguyễn Hoàng Hà i Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây LỜI CẢM ƠN Trong trình thực đề tài “Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây”, Tơi nhận nhiều giúp đỡ, tạo điều kiện tập thể Ban Giám hiệu, Phòng Đào tạo Sau Đại học, Khoa Công nghệ Thông tin, giảng viên, cán phòng chức Trường Đại học Khoa học, Đại học Huế Tơi xin bày tỏ lịng cảm ơn chân thành giúp đỡ Tơi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân thầy giáo trực tiếp hướng dẫn bảo cho Tơi hồn thành luận án Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp Tôi công tác Khoa Cơng nghệ Thơng tin gia đình động viên, khích lệ, tạo điều kiện giúp đỡ Tơi suốt q trình thực hồn thành luận án TÁC GIẢ LUẬN ÁN Nghiên cứu sinh Nguyễn Hoàng Hà ii MỤC LỤC Lời cam đoan Lời cảm ơn Danh mục từ viết tắt Danh mục ký hiệu Danh mục bảng biểu Danh mục hình vẽ Mở đầu Chương Tổng quan vấn đề lập lịch tính tốn đám mây 1.1 Tổng quan tính tốn đám mây 1.1.1 Giới thiệu 1.1.2 Đặc điểm tính tốn đám mây 1.1.3 Kiến trúc tính tốn đám mây 1.1.4 Các mơ hình tính tốn đám mây 1.1.5 Các thách thức tính tốn đám mây 1.2 Công cụ mô tính tốn đám mây 1.2.1 Giới thiệu 1.2.2 Một số công cụ mô tính tốn đám mây 1.2.3 Công cụ mô CloudSim 1.3 Bài toán lập lịch tính tốn đám mây 1.3.1 Giới thiệu 1.3.2 Mơ hình tổng quát để lập lịch trung tâm liệu 1.3.3 Sự khác lập lịch TTĐM so với hệ thống khác 1.3.4 Các phương pháp lập lịch 1.3.5 Mơ hình kinh tế cho toán lập lịch 1.4 Các nghiên cứu liên quan đến lập lịch tính tốn đám mây 1.4.1 Lập lịch tĩnh động 1.4.2 Lập lịch heuristic 1.4.3 Lập lịch luồng công việc 1.4.4 Lập lịch công việc thời gian thực 1.5 Mục tiêu nội dung luận án 1.6 Tiểu kết Chương Chương Lập lịch cơng việc thời gian thực tính tốn đám mây 2.1 Mơ hình lập lịch truyền thống 2.1.1 Mơ hình máy tham gia lập lịch 2.1.2 Mơ hình cơng việc 2.1.3 Mô tả mục tiêu toán iii i ii iv v vi vii 5 8 10 11 11 11 12 15 15 16 18 19 20 24 24 25 26 27 28 29 30 30 31 31 32 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây 2.2 Mơ hình lập lịch công việc thời gian thực 2.2.1 Mơ tả tốn 2.2.2 Mơ hình tốn học cho toán 2.2.3 Mục tiêu tối ưu chi phí 2.2.4 Mục tiêu tối ưu thời gian 2.3 Mô hình tối ưu kinh tế 2.4 Thuật toán lập lịch hệ thống thời gian thực 2.4.1 Thuật toán lập lịch tối ưu thời gian 2.4.1.1 Thuật toán CT O 2.4.1.2 Thuật toán M IN C 2.4.1.3 Phân tích thuật tốn CT O M IN C 2.4.1.4 Mơ đánh giá thuật tốn 2.4.2 Thuật toán lập lịch tối ưu chi phí 2.4.2.1 Thuật toán T CO 2.4.2.2 Mơ đánh giá thuật tốn 2.5 Tiểu kết Chương Chương Lập lịch công việc theo hướng tối ưu đa mục tiêu 32 33 35 37 37 37 39 39 40 43 45 46 50 51 53 56 tính tốn đám mây 3.1 Mơ hình lập lịch theo hướng tối ưu đa mục tiêu 3.1.1 Mô hình người dùng 3.1.2 Mơ hình nhà cung cấp IaaS 3.1.3 Mơ hình nhà cung cấp SaaS 3.1.4 Mơ hình nhà cung cấp PaaS 3.2 Xây dựng toán theo hướng tối ưu đa mục tiêu 3.2.1 Tối ưu hóa đàn kiến (ACO) 3.2.2 Tối ưu hóa bầy đàn (P SO) 3.3 Thuật toán lập lịch tối ưu đa mục tiêu dựa ACO 3.3.1 Phát biểu toán 3.3.2 Thuật toán lập lịch tối ưu đa mục tiêu chi phí 3.3.2.1 Thuật toán ACACO 3.3.2.2 Thuật toán M prof it 3.3.2.3 Phân tích thuật tốn ACACO M prof it 3.3.2.4 Mô đánh giá thuật toán 3.3.3 Thuật toán lập lịch tối ưu đa mục tiêu thời gian 3.3.3.1 Thuật toán ACT ACO 3.3.3.2 Áp dụng thuật toán M prof it 3.3.3.3 Mô đánh giá thuật toán 3.4 Thuật toán lập lịch tối ưu đa mục tiêu dựa P SO 3.4.1 Phát biểu toán 3.4.2 Thuật toán tối ưu ACP SO 58 58 59 60 61 61 63 64 68 73 73 74 74 76 77 78 83 84 85 85 88 89 89 iv Nghiên cứu số vấn đề lập lịch mơi trường tính toán đám mây 3.4.2.1 Thuật toán ACP SO 3.4.2.2 Áp dụng thuật toán M prof it 3.4.2.3 Phân tích thuật toán ACP SO 3.4.2.4 Mơ đánh giá thuật tốn 3.5 Tiểu kết Chương Kết luận Danh mục cơng trình khoa học tác giả liên quan đến Tài liệu tham khảo v 90 91 91 92 95 97 luận án 99 100 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Dạng đầy đủ Diễn giải ý nghĩa ACACO Admission Control by using ACO Kiểm soát đầu vào cách sử dụng ACO ACO Ant Colony Optimization Tối ưu hóa đàn kiến ACPSO Admission Control by using PSO Kiểm soát đầu vào cách sử dụng PSO API Application Programming Inter- Giao diện lập trình ứng dụng face CIS Cloud Information Services Các dịch vụ thông tin đám mây CTO Cost-Time Optimization Tối ưu thời gian chi phí EDF Earliest Deadline First Ưu tiên thời hạn sớm GA Genetic Algorithm Thuật toán di truyền GIS Geographical Information System Hệ thống thông tin địa lý IaaS Infrastructure as a Service Cơ sở hạ tầng dịch vụ MCT Minimum Completion Time Thời gian hoàn thành nhỏ MET Minimum Execution Time Thời gian thực nhỏ MI Million Instructions Triệu thị MIPS Million Instructions Per Second Triệu thị giây Mprofit Maximum Profit Lợi nhuận lớn OLB Opportunistic Load Balancing Cân tải hội PaaS Platform as a Service Nền tảng dịch vụ PSO Particle Swarm Optimization Tối ưu hóa bầy đàn QoS Quality of Service Chất lượng dịch vụ SaaS Software as a Service Phần mềm dịch vụ SLA Service Level Agreement Thỏa thuận dịch vụ TCO Time-Cost Optimization Tối ưu chi phí thời gian TSP Travelling Salesman Problem Bài toán người du lịch VMs Virtual Machines Các máy ảo vi Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây DANH MỤC CÁC KÝ HIỆU Ký hiệu Diễn giải ý nghĩa R Tập tài nguyên T Tập yêu cầu người dùng X Tập nhà cung cấp tài nguyên IaaS γ Mục tiêu toán Cmin Mục tiêu chi phí nhỏ Tmin Mục tiêu thời gian thực nhỏ F Hàm cực tiểu η Thông tin heuristic τ Mùi để lại kiến P Xác suất pos Vị trí cá thể fcost (ti ) Hàm mục tiêu chi phí cho yêu cầu ti ftime (ti ) Hàm mục tiêu thời gian cho yêu cầu ti Fcost (pos) Hàm thích nghi chi phí vị trí pos Ftime (pos) Hàm thích nghi thời gian vị trí pos Scost (x) Hàm tính tổng chi phí phút thứ x Scycle (x) Hàm tính tổng chu phút thứ x P best Vị trí tối ưu cục Gbest Vị trí tối ưu tồn cục vmjx Máy ảo thứ j nhà cung cấp x vii Nghiên cứu số vấn đề lập lịch môi trường tính tốn đám mây DANH MỤC BẢNG BIỂU 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 Chi phí tốc độ ban đầu tài nguyên Chi phí tốc độ tài nguyên sau phân nhóm theo tốc độ Chi phí tốc độ tài nguyên sau xếp theo chi phí Mảng kết xác định số lượng tài nguyên cho yêu cầu CT O Các thông số mô CloudSim Chi phí tốc độ ban đầu tài nguyên Chi phí tốc độ tài ngun phân nhóm theo chi phí Chi phí tốc độ tài nguyên sau xếp theo tốc độ Mảng kết đưa thuật toán T CO viii 41 41 41 43 47 52 52 52 53 thực w2 1200 kỳ, ta cần cn2 = 800 = × r2 , lại w2 − cn2 = 1200 − 800 = 400 chu kỳ, ta đồng thời sử dụng r1 thời gian 40 phút thực cn1 =(d2 -a2 ) × s1 = 40 × 15 = 600 chu kỳ, cn1 ≥ w2 − cn2 nên ta cần sử dụng × r1 Khi đó, hai t1 t2 thực song song tài nguyên r2 r1 nên đảm bảo thời hạn với chi phí c2 + c1 = 1.5 + = 2.5 Lưu kết vào mảng kết quả, 52 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây Result [1, 2] = × r2 , × r1 Tương tự vậy, luồng (th2 ) tính số lượng tài ngun nhóm (g2 ) Kết thúc thuật toán T CO ta xây dựng mảng kết Bảng 2.9 Trên nhóm có tương ứng lịch trình để xác định tên tài nguyên số lượng tài nguyên ánh xạ vào yêu cầu: Nhóm t1 t2 Tổng chi phí 1 × r2 × r2 , × r1 1.5+(1.5+1)=4 × r7 × r7 2.5+2.5=5 Bảng 2.9: Mảng kết đưa thuật toán T CO Nhận xét: Đối với thuật tốn T CO, t1 sử dụng × r2 , t2 sử dụng × r2 × r1 với tổng chi phí 4, thỏa mãn thời hạn không thỏa mãn tổng ngân sách yêu cầu Nhưng xét đến khoảng thời gian gối đầu lên hai yêu cầu r2 có nghĩa t1 sử dụng × r2 với thời gian w1 = 500 s2 20 = 25 phút, ta tận dụng 60 − 25 = 35 phút cho t2 , thời điểm đến t2 phút thứ 30 nên tận dụng 30 phút tính 30 × 20 = 600 chu kỳ cho t2 , lại 1200 − 600 = 600 chu kỳ, ta cần sử dụng × r1 với thời gian w1 −600 600 = 15 s1 = 40 phút với chi phí r1 ta tận dụng 60 − 40 = 20 phút cho yêu cầu Như vậy, sử dụng khoảng thời gian gối đầu lên cho yêu cầu, ta đạt chi phí 1.5 + = 2.5 vừa thỏa mãn thời hạn, vừa đạt chi phí nhỏ thỏa mãn ngân sách hai u cầu Vì vậy, phần chúng tơi áp dụng lại thuật toán M IN C để xác định khoảng thời gian gối đầu lên yêu cầu nhằm tận dụng khoảng thời gian hiệu lực yêu cầu với mục tiêu tối ưu chi phí Về phân tích thuật tốn T CO giống thuật toán CT O Thuật toán CT O xếp giảm dần theo tốc độ, sau xếp tăng dần theo chi phí nhóm Ngược lại, thuật toán T CO xếp tăng dần theo chi phí, sau xếp giảm dần theo tốc độ nhóm nhằm thỏa mãn mục tiêu chi phí 2.4.2.2 Mơ đánh giá thuật tốn Các thuật tốn cài đặt mơ ngơn ngữ Java (NetBean 7.1.1, JDK 6), gói cơng cụ CloudSim 2.0 [11], [13] với thông số Bảng 2.5, thông số 53 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây yêu cầu người dùng máy ảo nhà cung cấp xác định giống thuật toán CT O phần 2.4.1.4 Hình 2.7: So sánh tổng chi phí thuật tốn thay đổi số yêu cầu Hình 2.8: So sánh tổng thời gian thuật toán thay đổi số yêu cầu Phân tích tổng chi phí thời gian thực thay đổi số yêu cầu Hình 2.7 Hình 2.8 tổng chi phí tổng thời gian thực (makespan) thuật toán T CO, M IN C EDF ρ=0.5, D=60, sử dụng 50 máy ảo yêu cầu thay đổi từ 100 đến 250 54 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây Khi số u cầu cao tổng chi phí thuật tốn MINC ln nhỏ thuật tốn T CO EDF Hình 2.7 thuật tốn M IN C xem xét việc chia sẻ thời gian gối đầu yêu cầu lên tài nguyên, thuật tốn T CO khơng xem xét thời gian gối đầu, cịn thuật tốn EDF khơng quan tâm đến chi phí cho u cầu tìm kiếm tài nguyên có tốc độ cao, đảm bảo yêu cầu hoàn thành trước thời hạn Ngược lại số u cầu cao thuật tốn M IN C có thời gian thực cao T CO Thuật toán M IN C vào tài nguyên cuối ánh xạ vào yêu cầu trước để tính thời gian gối đầu cho yêu cầu sau, tài nguyên cuối có tốc độ thấp so với tài nguyên trước nhóm Vì vậy, tổng thời gian thực thuật toán M IN C cao thuật toán CT O thể Hình 2.8 Phân tích tổng chi phí tổng thời gian thay đổi ngưỡng ρ Hình 2.9: So sánh tổng chi phí thuật tốn thay đổi ρ Chúng tơi thay đổi ngưỡng ρ từ 0.1 đến 0.5, D = 60, sử dụng 200 yêu cầu 50 máy ảo, kết thể Hình 2.9 Hình 2.10 Khi ngưỡng ρ nhỏ tài ngun có chi phí thấp nằm nhóm M IN C tập trung ánh xạ yêu cầu vào tập tài nguyên tiến hành chia sẻ thời gian gối đầu yêu cầu, ngưỡng ρ nhỏ tổng chi phí M IN C nhỏ T CO EDF Trong Hình 2.10 ngưỡng nhỏ hai thuật tốn M IN C T CO có tổng thời gian hồn thành u cầu cao tài ngun có chi phí thấp nên tốc độ thấp, điều 55 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây dẫn đến tổng thời gian thực cao lên Hình 2.10: So sánh tổng thời gian thực thuật toán thay đổi ρ 2.5 Tiểu kết Chương Chương tổng qt lại mơ hình lập lịch trước bao gồm mơ hình máy tham gia, mơ hình công việc mô tả mục tiêu toán lập lịch Các nghiên cứu trước chủ yếu xây dựng mơ hình để lập lịch tĩnh trước lập lịch lập lịch phải biết trước thông tin máy tham gia cơng việc Mơ hình ứng dụng TTĐM đa dạng phong phú, chương tập trung mô tả xây dựng mơ hình cho tốn lập lịch thời gian thực ứng dụng song song Từ mơ hình xây dựng, luận án đưa thuật toán để giải toán: Bài toán lập lịch hệ thống thời gian thực theo hướng tối ưu thời gian Bài toán giải hai thuật toán CT O M IN C Cả hai thuật toán tìm kiếm phân bổ tài nguyên cho yêu cầu thời gian thực ứng dụng song song Thuật toán CT O xây dựng dựa việc xếp giảm dần theo tốc độ, phân nhóm kết hợp với xử lý song song để giảm thời gian thực thuật toán Thuật toán CT O tìm kiếm xác định số lượng tài nguyên cần dùng cho u cầu, thuật tốn ln đảm bảo yêu cầu hoàn thành trước thời hạn Để tiết kiệm chi phí cho nhà cung cấp, thuật tốn M IN C tận dụng khoảng thời gian hiệu lực yêu cầu sử dụng cho yêu cầu khác nhằm đem lại chi phí thấp cho hệ thống Thông 56 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây qua việc phân tích, mơ đánh giá kết mơ thuật toán cho thấy thuật toán CT O M IN C tối ưu thời gian thuật toán tham lam EDF Bài toán lập lịch hệ thống thời gian thực theo hướng tối ưu chi phí Bài tốn giải thuật toán T CO áp dụng lại thuật toán M IN C để tối ưu chi phí Giống thuật tốn CT O, thuật tốn T CO kết hợp với xử lý song song để tìm kiếm định vị tài nguyên cho yêu cầu thời gian thực hệ thống song song Thuật toán CT O xếp tài nguyên theo thứ tự tăng dần theo chi phí tiến hành phân nhóm theo thời gian chi phí để đảm bảo tài nguyên nhóm có tốc độ cao chi phí thấp Thuật tốn tập trung ánh xạ yêu cầu vào tài nguyên nhóm sử dụng lại thuật tốn MINC nhằm đem lại chi phí thấp cho hệ thống đảm bảo thời hạn cho u cầu Thuật tốn T CO mơ so sánh với thuật toán EDF Kết mơ cho thấy thuật tốn T CO tối ưu chi phí so với thuật tốn EDF cịn thuật toán EDF tận dụng tối đa hiệu hệ thống 57 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây CHƯƠNG LẬP LỊCH CÔNG VIỆC THEO HƯỚNG TỐI ƯU ĐA MỤC TIÊU TRONG TÍNH TỐN ĐÁM MÂY 3.1 Mơ hình lập lịch theo hướng tối ưu đa mục tiêu Trong TTĐM, tác nhân tham gia vào hệ thống lập lịch bao gồm [13], [79]: người dùng, nhà cung cấp SaaS, PaaS IaaS Mỗi tác nhân có yêu cầu dịch vụ cung cấp dịch vụ với mục tiêu khác nhau: • Nhà cung cấp SaaS: mục tiêu nhà cung cấp SaaS đem lại lợi ích lớn cho cách th tài nguyên có giá rẻ từ nhà cung cấp IaaS để mở rộng thị trường tiêu thụ dịch vụ Để thu hút nhiều khách hàng nhà cung cấp phải nâng cao uy tín thị trường cách chấp nhận nhiều yêu cầu phải thỏa mãn ràng buộc QoS khách hàng [21] Để tối đa hóa lợi nhuận, nhà cung cấp SaaS cần phải đáp ứng số lượng lớn yêu cầu người dùng đồng thời phải giảm thiểu chi phí Vì vậy, nhà cung cấp SaaS phải thuê tìm kiếm dịch vụ nhiều máy ảo Tuy nhiên, nhà cung cấp IaaS cho thuê số lượng cố định máy ảo, ví dụ Amazon GoGrid cho thuê tối đa 200 máy ảo Nếu nhà cung cấp SaaS thuê nhà cung cấp IaaS khó đáp ứng số lượng lớn yêu cầu người dùng Vì vậy, thời điểm nhà cung cấp SaaS phải thuê tìm kiếm dịch vụ nhiều nhà cung cấp IaaS để đáp ứng số lượng lớn yêu cầu người dùng • Nhà cung cấp PaaS: để đáp ứng mục tiêu nhà cung cấp SaaS, nhà cung cấp PaaS sử dụng thành phần kiểm soát đầu vào thành phần lập lịch để tận dụng tài nguyên cách hiệu nhằm giải yêu cầu khác người dùng tài nguyên không đồng nhiều nhà cung cấp IaaS • Người dùng: tùy theo lớp toán mà mục tiêu người dùng khác Mục tiêu người dùng tối ưu thời gian tối ưu chi phí Nhưng tất mục tiêu phải thỏa mãn ràng buộc QoS người dùng 58 Nghiên cứu số vấn đề lập lịch mơi trường tính tốn đám mây Người dùng gửi yêu cầu sử dụng dịch vụ kèm theo yêu cầu QoS họ lên nhà cung cấp SaaS Tại đây, nhà cung cấp PaaS sử dụng thành phần kiểm sốt đầu vào để phân tích tham số QoS dựa vào khả năng, tính sẵn sàng giá máy ảo khác nhà cung cấp IaaS để định chấp nhận từ chối yêu cầu người dùng Nếu yêu cầu chấp nhận thành phần lập lịch chịu trách nhiệm để định vị tài nguyên cho u cầu người dùng mơ hình trình bày Hình 3.1 Hình 3.1: Mơ hình tổng qt thành phần TTĐM Mơ hình tổng qt bao gồm mơ hình thành phần: mơ hình người dùng, nhà cung cấp SaaS, IaaS PaaS Dựa mơ hình người dùng, nhà cung cấp SaaS IaaS nghiên cứu TTĐM, xây dựng lại cho phù hợp với tốn lập lịch Từ đó, luận án tập trung vào xây dựng mơ hình cho nhà cung cấp PaaS, sử dụng lại mơ hình tối ưu chi phí phần 2.3 tiến hành xây dựng tốn lập lịch mơ hình đề xuất 3.1.1 Mơ hình người dùng Nhóm nghiên cứu R Buyya [79] nghiên cứu mơ hình người dùng Các nghiên cứu phân tích chiến lược chiến lược đợi, chiến lược chèn thêm chiến lược khởi tạo máy ảo Đối với yêu cầu người dùng, chiến lược xem xét nên đợi máy ảo thực xong thực tiếp yêu cầu tìm kiếm thêm máy ảo khởi tạo máy ảo để thực Sau phân tích 59