Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN HOÀNG HÀ NGHIÊN CỨU MỘT SỐ VẤN ĐỀ LẬP LỊCH TRÊN MÔI TRƯỜNG TÍNH TOÁN ĐÁM MÂY LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH HUẾ - NĂM 2016 ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN HOÀNG HÀ NGHIÊN CỨU MỘT SỐ VẤN ĐỀ LẬP LỊCH TRÊN MÔI TRƯỜNG TÍNH TOÁN ĐÁM MÂY CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân HUẾ - NĂM 2016 Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu thực hiện, hướng dẫn khoa học PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân Các số liệu kết trình bày luận án trung thực, chưa công bố tác giả hay công trình khác Nghiên cứu sinh Nguyễn Hoàng Hà i Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây LỜI CẢM ƠN Trong trình thực đề tài “Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây”, Tôi nhận nhiều giúp đỡ, tạo điều kiện tập thể Ban Giám hiệu, Phòng Đào tạo Sau Đại học, Khoa Công nghệ Thông tin, giảng viên, cán phòng chức Trường Đại học Khoa học, Đại học Huế Tôi xin bày tỏ lòng cảm ơn chân thành giúp đỡ Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Lê Văn Sơn PGS.TS Nguyễn Mậu Hân thầy giáo trực tiếp hướng dẫn bảo cho Tôi hoàn thành luận án Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp Tôi công tác Khoa Công nghệ Thông tin gia đình động viên, khích lệ, tạo điều kiện giúp đỡ Tôi suốt trình thực hoàn thành luận án TÁC GIẢ LUẬN ÁN Nghiên cứu sinh Nguyễn Hoàng Hà ii MỤC LỤC Lời cam đoan Lời cảm ơn Danh mục từ viết tắt Danh mục ký hiệu Danh mục bảng biểu Danh mục hình vẽ Mở đầu Chương Tổng quan vấn đề lập lịch tính toán đám mây 1.1 Tổng quan tính toán đám mây 1.1.1 Giới thiệu 1.1.2 Đặc điểm tính toán đám mây 1.1.3 Kiến trúc tính toán đám mây 1.1.4 Các mô hình tính toán đám mây 1.1.5 Các thách thức tính toán đám mây 1.2 Công cụ mô tính toán đám mây 1.2.1 Giới thiệu 1.2.2 Một số công cụ mô tính toán đám mây 1.2.3 Công cụ mô CloudSim 1.3 Bài toán lập lịch tính toán đám mây 1.3.1 Giới thiệu 1.3.2 Mô hình tổng quát để lập lịch trung tâm liệu 1.3.3 Sự khác lập lịch TTĐM so với hệ thống khác 1.3.4 Các phương pháp lập lịch 1.3.5 Mô hình kinh tế cho toán lập lịch 1.4 Các nghiên cứu liên quan đến lập lịch tính toán đám mây 1.4.1 Lập lịch tĩnh động 1.4.2 Lập lịch heuristic 1.4.3 Lập lịch luồng công việc 1.4.4 Lập lịch công việc thời gian thực 1.5 Mục tiêu nội dung luận án 1.6 Tiểu kết Chương Chương Lập lịch công việc thời gian thực tính toán đám mây 2.1 Mô hình lập lịch truyền thống 2.1.1 Mô hình máy tham gia lập lịch 2.1.2 Mô hình công việc 2.1.3 Mô tả mục tiêu toán iii i ii iv v vi vii 5 8 10 11 11 11 12 15 15 16 18 19 20 24 24 25 26 27 28 29 30 30 31 31 32 Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây 2.2 Mô hình lập lịch công việc thời gian thực 2.2.1 Mô tả toán 2.2.2 Mô hình toán học cho toán 2.2.3 Mục tiêu tối ưu chi phí 2.2.4 Mục tiêu tối ưu thời gian 2.3 Mô hình tối ưu kinh tế 2.4 Thuật toán lập lịch hệ thống thời gian thực 2.4.1 Thuật toán lập lịch tối ưu thời gian 2.4.1.1 Thuật toán CT O 2.4.1.2 Thuật toán M IN C 2.4.1.3 Phân tích thuật toán CT O M IN C 2.4.1.4 Mô đánh giá thuật toán 2.4.2 Thuật toán lập lịch tối ưu chi phí 2.4.2.1 Thuật toán T CO 2.4.2.2 Mô đánh giá thuật toán 2.5 Tiểu kết Chương Chương Lập lịch công việc theo hướng tối ưu đa mục tiêu 32 33 35 37 37 37 39 39 40 43 45 46 50 51 53 56 tính toán đám mây 3.1 Mô hình lập lịch theo hướng tối ưu đa mục tiêu 3.1.1 Mô hình người dùng 3.1.2 Mô hình nhà cung cấp IaaS 3.1.3 Mô hình nhà cung cấp SaaS 3.1.4 Mô hình nhà cung cấp PaaS 3.2 Xây dựng toán theo hướng tối ưu đa mục tiêu 3.2.1 Tối ưu hóa đàn kiến (ACO) 3.2.2 Tối ưu hóa bầy đàn (P SO) 3.3 Thuật toán lập lịch tối ưu đa mục tiêu dựa ACO 3.3.1 Phát biểu toán 3.3.2 Thuật toán lập lịch tối ưu đa mục tiêu chi phí 3.3.2.1 Thuật toán ACACO 3.3.2.2 Thuật toán M prof it 3.3.2.3 Phân tích thuật toán ACACO M prof it 3.3.2.4 Mô đánh giá thuật toán 3.3.3 Thuật toán lập lịch tối ưu đa mục tiêu thời gian 3.3.3.1 Thuật toán ACT ACO 3.3.3.2 Áp dụng thuật toán M prof it 3.3.3.3 Mô đánh giá thuật toán 3.4 Thuật toán lập lịch tối ưu đa mục tiêu dựa P SO 3.4.1 Phát biểu toán 3.4.2 Thuật toán tối ưu ACP SO 58 58 59 60 61 61 63 64 68 73 73 74 74 76 77 78 83 84 85 85 88 89 89 iv Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây 3.4.2.1 Thuật toán ACP SO 3.4.2.2 Áp dụng thuật toán M prof it 3.4.2.3 Phân tích thuật toán ACP SO 3.4.2.4 Mô đánh giá thuật toán 3.5 Tiểu kết Chương Kết luận Danh mục công trình khoa học tác giả liên quan đến Tài liệu tham khảo v 90 91 91 92 95 97 luận án 99 100 Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Dạng đầy đủ Diễn giải ý nghĩa ACACO Admission Control by using ACO Kiểm soát đầu vào cách sử dụng ACO ACO Ant Colony Optimization Tối ưu hóa đàn kiến ACPSO Admission Control by using PSO Kiểm soát đầu vào cách sử dụng PSO API Application Programming Inter- Giao diện lập trình ứng dụng face CIS Cloud Information Services Các dịch vụ thông tin đám mây CTO Cost-Time Optimization Tối ưu thời gian chi phí EDF Earliest Deadline First Ưu tiên thời hạn sớm GA Genetic Algorithm Thuật toán di truyền GIS Geographical Information System Hệ thống thông tin địa lý IaaS Infrastructure as a Service Cơ sở hạ tầng dịch vụ MCT Minimum Completion Time Thời gian hoàn thành nhỏ MET Minimum Execution Time Thời gian thực nhỏ MI Million Instructions Triệu thị MIPS Million Instructions Per Second Triệu thị giây Mprofit Maximum Profit Lợi nhuận lớn OLB Opportunistic Load Balancing Cân tải hội PaaS Platform as a Service Nền tảng dịch vụ PSO Particle Swarm Optimization Tối ưu hóa bầy đàn QoS Quality of Service Chất lượng dịch vụ SaaS Software as a Service Phần mềm dịch vụ SLA Service Level Agreement Thỏa thuận dịch vụ TCO Time-Cost Optimization Tối ưu chi phí thời gian TSP Travelling Salesman Problem Bài toán người du lịch VMs Virtual Machines Các máy ảo vi Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây DANH MỤC CÁC KÝ HIỆU Ký hiệu Diễn giải ý nghĩa R Tập tài nguyên T Tập yêu cầu người dùng X Tập nhà cung cấp tài nguyên IaaS γ Mục tiêu toán Cmin Mục tiêu chi phí nhỏ Tmin Mục tiêu thời gian thực nhỏ F Hàm cực tiểu η Thông tin heuristic τ Mùi để lại kiến P Xác suất pos Vị trí cá thể fcost (ti ) Hàm mục tiêu chi phí cho yêu cầu ti ftime (ti ) Hàm mục tiêu thời gian cho yêu cầu ti Fcost (pos) Hàm thích nghi chi phí vị trí pos Ftime (pos) Hàm thích nghi thời gian vị trí pos Scost (x) Hàm tính tổng chi phí phút thứ x Scycle (x) Hàm tính tổng chu phút thứ x P best Vị trí tối ưu cục Gbest Vị trí tối ưu toàn cục vmjx Máy ảo thứ j nhà cung cấp x vii Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây DANH MỤC BẢNG BIỂU 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 Chi phí tốc độ ban đầu tài nguyên Chi phí tốc độ tài nguyên sau phân nhóm theo tốc độ Chi phí tốc độ tài nguyên sau xếp theo chi phí Mảng kết xác định số lượng tài nguyên cho yêu cầu CT O Các thông số mô CloudSim Chi phí tốc độ ban đầu tài nguyên Chi phí tốc độ tài nguyên phân nhóm theo chi phí Chi phí tốc độ tài nguyên sau xếp theo tốc độ Mảng kết đưa thuật toán T CO viii 41 41 41 43 47 52 52 52 53 Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây DANH MỤC HÌNH VẼ 1.1 1.2 1.3 1.4 1.5 1.6 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 3.18 3.19 3.20 Mối quan hệ hệ thống phân tán với TTĐM Kiến trúc TTĐM Biểu đồ lớp CloudSim Mô hình lập lịch CloudSim Mô hình hệ thống để lập lịch TTĐM Các phương pháp lập lịch Ánh xạ đồng thời t1 t2 vào tài nguyên r1 r3 Ánh xạ đồng thời t1 t2 vào tài nguyên r1 r2 So sánh tổng thời gian thuật toán thay đổi số yêu cầu So sánh tổng chi phí thuật toán thay đổi số yêu cầu So sánh tổng thời gian thực thuật toán thay đổi ρ So sánh tổng chi phí thuật toán thay đổi ρ So sánh tổng chi phí thuật toán thay đổi số yêu cầu So sánh tổng thời gian thuật toán thay đổi số yêu cầu So sánh tổng chi phí thuật toán thay đổi ρ So sánh tổng thời gian thực thuật toán thay đổi ρ Mô hình tổng quát thành phần TTĐM Mô hình tổng quát thuật toán ACO Minh họa P SO Thuật toán P SO Tổng chi phí thuật toán cố định số lượng yêu cầu Tổng số yêu cầu bị phạt thuật toán cố định số lượng yêu cầu Tổng yêu cầu bị phạt thuật toán thay đổi số lượng yêu cầu Tổng chi phí thuật toán thay đổi số lượng yêu cầu Tổng chi phí thuật toán thay đổi số lượng máy ảo Tổng thời gian thuật toán thay đổi số lượng máy ảo So sánh tổng thời gian thuật toán cố định số yêu cầu So sánh tổng chi phí thuật toán cố định số yêu cầu So sánh tổng số yêu cầu bị phạt thuật toán cố định số yêu cầu So sánh tổng thời gian thuật toán thay đổi số yêu cầu Tổng chi phí thuật toán thay đổi số yêu cầu So sánh tổng số yêu cầu bị phạt thay đổi số yêu cầu Tổng chi phí thuật toán cố định số yêu cầu Tổng lợi nhuận thuật toán cố định số yêu cầu Tổng chi phí thuật toán thay đổi số yêu cầu Tổng lợi nhuận thuật toán thay đổi số yêu cầu ix 13 15 17 20 35 35 48 48 50 50 54 54 55 56 59 65 69 70 80 81 81 82 82 83 86 86 87 88 88 89 93 93 94 95 Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây MỞ ĐẦU Lý chọn đề tài Tính toán đám mây (TTĐM) đời xuất phát từ nhu cầu tính toán yêu cầu dịch vụ với chi phí thấp người sử dụng Thực tế, tổ chức, quan doanh nghiệp đối mặt với thử thách sau: (1) Khối lượng liệu xử lý lớn, công ty lưu trữ thông tin địa lý (GIS), thông tin biến đổi khí hậu khu vực, công ty tài chính, chứng khoán, v.v.; (2) Tính toán nhiều (computation intensive), công ty phân tích thị trường, phân tích không gian, phân tích mạng cần thời gian tính toán nhanh, v.v.; (3) Chi phí trang bị phần mềm cao, cá nhân tổ chức nhỏ mong muốn phát triển công nghệ phần mềm thương mại Do đó, tổ chức cần tìm giải pháp có lực tính toán mạnh mẽ chi phí thấp Hiện có cách để giải vấn đề này: • Thứ nhất: nâng cấp sở hạ tầng để tính toán mua thêm máy chủ, máy trạm, siêu máy tính, phần mềm cài thiết bị, v.v Rõ ràng cách cần đầu tư chi phí lớn tốn nhiều nguồn nhân lực để điều hành hệ thống • Thứ hai: tận dụng nguồn tài nguyên nhàn rỗi tổ chức thuê nguồn tài nguyên từ bên Cách giải thứ hai mục tiêu TTĐM TTĐM xem phần cứng, phần mềm dịch vụ, thông qua Internet người dùng chia sẻ tài nguyên (đám mây cộng đồng) thuê tài nguyên thông qua dịch vụ trả tiền sử dụng (đám mây công cộng) Việc sử dụng dịch vụ TTĐM giống dùng dịch vụ lưới điện, người dùng cắm điện vào dùng trả tiền theo số KW tiêu thụ Chính công nghệ mạng truyền thông phát triển mạnh mẽ năm qua giúp cho việc sử dụng dịch vụ TTĐM dần trở thành thực TTĐM phát triển tính toán phân tán, gặp phải nhiều thách thức lớn cần phải giải Hiện nay, ngày có nhiều nhà cung cấp dịch vụ TTĐM, nhà cung cấp có sách quản lý tài nguyên khác Các tài nguyên đa dạng, không đồng khác mặt kiến trúc, giao diện, khả xử lý, v.v Sử dụng hiệu nguồn tài nguyên Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây hoàn toàn không dễ dàng Tại thời điểm có nhiều người dùng yêu cầu dịch vụ TTĐM, người dùng có yêu cầu ràng buộc khác Vì vậy, để đưa lịch trình tối ưu cho người dùng đem lại lợi ích lớn cho nhà cung cấp thách thức lớn cần phải giải Bài toán lập lịch TTĐM phức tạp nhiều so với toán lập lịch truyền thống việc lập lịch TTĐM phải xét môi trường phân tán, động, tài nguyên từ nhiều nhà cung cấp khác nhau, yêu cầu người dùng có ràng buộc chất lượng dịch vụ khác nhau, v.v Mô hình ứng dụng TTĐM đa dạng nhiều so với mô hình tính toán truyền thống, phải nghiên cứu thuật toán cụ thể để đáp ứng nhu cầu cho dạng ứng dụng cụ thể Chính vậy, toán kiểm soát đầu vào lập lịch cho yêu cầu người dùng TTĐM toán khó, phải tìm thuật toán tối ưu để giải toán Các nghiên cứu trước chủ yếu nghiên cứu lập lịch công việc theo hướng hiệu hệ thống, nhằm mục đích tận dụng tối đa hiệu hệ thống, giảm thiểu thời gian hoạt động Trên TTĐM, nhà nghiên cứu tập trung nghiên cứu lập lịch công việc theo hướng hiệu kinh tế Mục tiêu hướng nhằm đem lại lợi nhuận cho nhà cung cấp, thời gian thực nhỏ cho người dùng đồng thời phải thỏa mãn ràng buộc đặt nhà cung cấp người dùng Các thuật toán lập lịch TTĐM thường thuật toán lập lịch động Vì vậy, tối ưu thời gian đưa lịch trình vấn đề mà nhà khoa học quan tâm nghiên cứu Xuất phát từ việc tìm hiểu, nghiên cứu đặc điểm thách thức vấn đề lập lịch TTĐM, chọn đề tài “Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây” Đối tượng phạm vi nghiên cứu TTĐM môi trường có qui mô hoạt động lớn, bao gồm tác nhân hệ thống lập lịch Các tác nhân bao gồm người dùng, nhà cung cấp SaaS, nhà cung cấp PaaS nhà cung cấp IaaS, tác nhân có chức nhiệm vụ khác Hệ thống lập lịch bao gồm chức mức ứng dụng mức tảng Luận án tập trung nghiên cứu mô hình nhà cung cấp PaaS xây dựng thuật toán kiểm soát đầu vào lập lịch mức tảng Phương pháp nghiên cứu Chúng tập trung tiếp cận số phương pháp chính: • Phương pháp tổng hợp mô hình hóa: tìm kiếm, thu thập tài liệu Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây công trình nghiên cứu công bố, báo đăng hội thảo tạp chí lớn để xây dựng mô hình toán học cho thành phần TTĐM • Phương pháp hệ thống hóa: dựa mô hình toán học thành phần TTĐM ràng buộc người dùng để xây dựng toán Từ đó, đề xuất thuật toán lập lịch công việc thời gian thực thuật toán tối ưu đa mục tiêu nhằm thỏa mãn mục tiêu cụ thể người dùng nhà cung cấp dịch vụ • Phương pháp thực nghiệm khoa học: sử dụng công cụ CloudSim để cài đặt mô phỏng, phân tích đánh giá thuật toán đề xuất với thuật toán công bố Ý nghĩa khoa học thực tiễn Ý nghĩa khoa học Những đóng góp luận án khoa học: • Đề xuất thuật toán lập lịch công việc thời gian thực áp dụng cho lớp toán song song TTĐM Luận án đưa thêm tham số chi phí, kết hợp việc phân nhóm tài nguyên xử lý song song để đưa lịch trình tối ưu chi phí thời gian cho yêu cầu người dùng • Xây dựng mô hình toán học cho nhà cung cấp PaaS đề xuất thuật toán kiểm soát đầu vào lập lịch theo hướng tối ưu đa mục tiêu TTĐM Áp dụng heuristic ACO PSO, luận án xây dựng công thức để tính thông tin heuristic xác xuất kiến; xây dựng hàm thích nghi, vị trí tối ưu cục cá thể vị trí tối ưu toàn cục bầy đàn Từ đó, xây dựng toán đề xuất thuật toán kiểm soát đầu vào lập lịch theo hướng tối ưu đa mục tiêu chi phí thời gian Ý nghĩa thực tiễn • Kết nghiên cứu áp dụng thực tế đem lại lợi nhuận cho nhà cung cấp SaaS, tổng thời gian thực thấp thỏa mãn ràng buộc QoS người dùng • Luận án sử dụng làm tài liệu tham khảo cho sinh viên đại học học viên cao học ngành công nghệ thông tin thực đề tài lập lịch công việc hệ phân tán nghiên cứu heuristic bầy đàn Bố cục luận án Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây Ngoài phần mở đầu kết luận, luận án chia thành chương: • Chương 1: tổng quan vấn đề lập lịch tính toán đám mây Trình bày tổng quan vấn đề liên quan mật thiết đến luận án tổng quan TTĐM, công cụ mô phỏng, phân tích đánh giá công trình nghiên cứu toán lập lịch loại lập lịch TTĐM Từ đó, xác định mục tiêu nội dung nghiên cứu luận án • Chương 2: lập lịch công việc thời gian thực tính toán đám mây Chương tập trung xây dựng mô hình cho toán lập lịch công việc thời gian thực áp dụng cho lớp toán song song Sau đó, xây dựng thuật toán lập lịch công việc thời gian thực sử dụng công cụ mô CloudSim để cài đặt, phân tích so sánh với thuật toán lập lịch EDF có • Chương 3: lập lịch công việc theo hướng tối ưu đa mục tiêu tính toán đám mây Chương xây dựng mô hình toán lập lịch công việc việc theo hướng tối ưu đa mục tiêu Sau đó, xây dựng thuật toán lập lịch sử dụng công cụ mô CloudSim để cài đặt, phân tích so sánh với thuật toán lập lịch khác Các kết luận án công bố công trình khoa học đăng hội nghị tạp chí chuyên ngành nước Trong có 02 đăng kỷ yếu hội thảo quốc gia, 01 đăng hội thảo quốc tế, 02 đăng tập chí Khoa học Công nghệ, 03 đăng tạp chí chuyên ngành Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây CHƯƠNG TỔNG QUAN VỀ CÁC VẤN ĐỀ LẬP LỊCH TRÊN TÍNH TOÁN ĐÁM MÂY 1.1 Tổng quan tính toán đám mây 1.1.1 Giới thiệu Tính toán đám mây (TTĐM) phát triển tính toán phân tán, tính toán song song tính toán lưới [50] Tùy theo mục đích sử dụng mà có nhiều định nghĩa khác TTĐM Đứng khía cạnh người dùng: “TTĐM môi trường tính toán dựa Internet mà tất phần cứng, phần mềm, liệu (gọi chung tài nguyên) cung cấp cho người dùng theo nhu cầu (tương tự mạng điện).” Đứng khía cạnh khoa học kỹ thuật, Rajkumar Buyya Ian Foster định nghĩa TTĐM sau: • Theo Rajkumar Buyya: “TTĐM loại hệ thống phân tán xử lý song song gồm máy tính ảo kết nối với cung cấp động cho người dùng nhiều tài nguyên đồng dựa thỏa thuận dịch vụ nhà cung cấp người sử dụng.” • Theo Ian Foster: “TTĐM mô hình tính toán phân tán có tính co giãn lớn mà theo hướng co giãn mặt kinh tế, nơi chứa sức mạnh tính toán, kho lưu trữ, tảng dịch vụ trực quan, ảo hóa co giãn linh động, phân phối theo nhu cầu cho khách hàng bên thông qua Internet.” Cả hai định nghĩa Rajkumar Buyya Ian Foster định nghĩa TTĐM hệ phân tán, cung cấp dạng tài nguyên ảo dạng dịch vụ theo nhu cầu người dùng môi trường Internet TTĐM khác với mô hình truyền thống số điểm: • Khả mở rộng lớn Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây • Nó phát triển mô hình kinh tế • Các dịch vụ cấu hình cách tự động (thông qua ảo hóa phương pháp khác) phân phối dịch vụ theo yêu cầu người dùng Về lịch sử phát triển, TTĐM phát triển từ tính toán lưới kết hợp với Web 2.0 thể Hình 1.1 Vào thập niên 60, siêu máy tính bắt đầu xuất phát triển nhanh chóng Khi mạng bắt đầu phát triển để tiết kiệm chi phí, tăng khả tính toán người ta nối máy tính lại với tạo cụm máy tính Cụm máy tính thương mại đời năm 1977 có tên ARC Cho đến năm 1990, Ian Foster Carl Kesselman đưa khái niệm tính toán lưới Tính toán lưới phát triển mạnh từ năm 2001 đến 2008, khoảng thời gian dự án lớn đời áp dụng rộng rãi thực tế TeraGrid(2001), Gid5000(2003), EGEE(2004), BeinGRID(2006),v.v Hình 1.1: Mối quan hệ hệ thống phân tán với TTĐM Thuật ngữ TTĐM đời năm 2007 để nói trào lưu mới, mà để khái quát lại hướng sở hạ tầng thông tin vốn diễn từ nhiều thập kỷ qua Ian Foster cho việc sử dụng TTĐM giống mạng lưới điện, nơi người dùng cắm vào lưới điện, sử dụng dịch vụ trả tiền theo KW Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây số tiêu thụ Salesfore công ty phát triển ứng dụng môi trường TTĐM Sau đó, với phát triển mạnh mẻ Web 2.0, ngày có nhiều công ty phát triển ứng dụng môi trường Amazon (2006), IBM Blue Cloud (2007), Google App Engine (2008), Sun Open Cloud (2009), Hp Service Automation (2010), Open Networking Foundation (2011), v.v 1.1.2 Đặc điểm tính toán đám mây Các dịch vụ cung cấp TTĐM có đặc điểm chung sau [1], [12]: • Giá rẻ: sở hạ tầng cung cấp nhà cung cấp TTĐM Vì vậy, doanh nghiệp không cần đầu tư, xây dựng sở hạ tầng, thay vào họ cần thuê tài nguyên trung tâm liệu • Khả co giãn: khả cho phép tự động mở rộng thu nhỏ hệ thống tùy theo nhu cầu người dùng Khi nhu cầu tăng, hệ thống tự động mở rộng cách thêm tài nguyên vào Khi nhu cầu giảm, hệ thống tự động giảm bớt tài nguyên Khả co giãn giúp cho nhà cung cấp sử dụng tài nguyên cách hiệu quả, tận dụng triệt để tài nguyên dư thừa phục vụ nhiều khách hàng Đối với người sử dụng dịch vụ, khả co giãn giúp họ giảm chi phí họ trả phí cho tài nguyên thực dùng • Độ tin cậy: số lượng tài nguyên trung tâm liệu lớn Vì vậy, đảm bảo tính liên tục kinh doanh khôi phục liệu gặp thất bại • Dùng chung tài nguyên độc lập vị trí: tài nguyên nhà cung cấp dịch vụ dùng chung, phục vụ cho nhiều người dùng Người sử dụng không cần quan tâm tới việc cài đặt không cần phải biết xác vị trí tài nguyên cung cấp • Ảo hóa: nhờ có công nghệ ảo hóa mà có nhiều nguồn tài nguyên kết hợp cung cấp cho người dùng Người dùng xây dựng ứng dụng vài phút thay vài ngày hay vài tuần Người dùng truy cập vào nguồn tài nguyên thông qua cổng thông tin đưa vào sử dụng • Truy cập diện rộng: TTĐM cung cấp dịch vụ chạy môi trường Internet, khách hàng cần kết nối với Internet sử dụng dịch vụ • Dùng trả nhiêu: người dùng sử dụng dịch vụ theo yêu cầu trả phí sử dụng Người dùng hủy dịch vụ cần Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây • Độc lập thiết bị: người sử dụng sử dụng dịch vụ nhiều loại thiết bị khác như: laptop, smartphone, tablet, v.v với điều kiện thiết bị kết nối mạng Internet • Nhiều người thuê: tài nguyên hệ thống chia sẻ để nhiều người sử dụng Tại thời điểm có nhiều người sử dụng tài nguyên cách đồng thời nhà cung cấp lợi mức đầu tư hệ thống người sử dụng thừa hưởng hạ tầng tính toán hiệu cao 1.1.3 Kiến trúc tính toán đám mây Kiến trúc TTĐM Ian Foster [25] chia thành tầng Hình 1.2 Hình 1.2: Kiến trúc TTĐM • Tầng tác chế (Fabric): bao gồm tài nguyên phần cứng tài nguyên tính toán, tài nguyên lưu trữ tài nguyên mạng • Tầng tài nguyên hợp (Unified Resource Layer): bao gồm tài nguyên ảo hóa để giao tiếp với tầng tác chế người dùng cuối tài nguyên hợp Ví dụ máy ảo, cụm ảo, v.v • Tầng tảng (Platform Layer): cung cấp thông tin tài nguyên, công cụ chuyên dụng, middleware dịch vụ để xây dựng, phát triển hay triển khai ứng dụng người dùng Ví dụ dịch vụ lập lịch, dịch vụ Web hosting, v.v • Tầng ứng dụng (Application Layer): chứa ứng dụng chạy TTĐM Nó cung cấp tài nguyên phần mềm người dùng có yêu cầu 1.1.4 Các mô hình tính toán đám mây Theo NIST [58], TTĐM bao gồm mô hình dịch vụ mô hình triển khai Ba mô hình dịch vụ bao gồm: Nghiên cứu số vấn đề lập lịch môi trường tính toán đám mây • SaaS (Software as a Service): mô hình cung cấp phần mềm, ứng dụng truy cập giao diện đơn giản, chẳng hạn trình duyệt web Internet Người sử dụng không quan tâm đến sở hạ tầng TTĐM mạng, máy chủ, hệ thống điều hành, lưu trữ, tảng, v.v • PaaS (Platform as a Service): mô hình cung cấp môi trường tích hợp mức cao để xây dựng, kiểm tra, triển khai tạo máy chủ cho khách hàng • IaaS (Infrastructure as a Service): mô hình cung cấp khả xử lý, lưu trữ, mạng tài nguyên tính toán khác cho người dùng Người sử dụng IaaS triển khai ứng dụng, phần mềm, hệ điều hành sở hạ tầng cách tùy ý Các sở hạ tầng TTĐM ảo hóa cách linh hoạt để đáp ứng yêu cầu người dùng TTĐM triển khai mô hình khác nhau, tùy thuộc vào phạm vi sử dụng tổ chức Hiện nay, có mô hình triển khai TTĐM sau: • Đám mây công cộng (Public Cloud): sở hạ tầng TTĐM tổ chức sỡ hữu cung cấp dịch vụ rộng rãi cho tất khách hàng thông qua hạ tầng mạng Internet mạng công cộng diện rộng Các ứng dụng khác chia sẻ chung tài nguyên tính toán, mạng lưu trữ Do vậy, sở hạ tầng thiết kế để đảm bảo cô lập liệu khách hàng tách biệt truy cập • Đám mây riêng (Private Cloud): sở hạ tầng TTĐM sở hữu tổ chức phục vụ cho người dùng tổ chức Đám mây riêng vận hành bên thứ ba hạ tầng đám mây đặt bên bên tổ chức sở hữu Với mô hình đám mây riêng, doanh nghiệp tối ưu sở hạ tầng mình, nâng cao hiệu sử dụng trực tiếp quản lý việc cấp phát thu hồi tài nguyên • Đám mây cộng đồng (Community Cloud): sở hạ tầng đám mây chia sẻ số tổ chức cho cộng đồng người dùng Các tổ chức chia sẻ chung hạ tầng TTĐM để nâng cao hiệu đầu tư sử dụng • Đám mây lai (Hybrid Cloud): mô hình kết hợp với đám mây công cộng đám mây riêng Mô hình đám mây lai cho phép chia sẻ sở hạ tầng đáp ứng nhu cầu trao đổi liệu [...]... Khoa học và Công nghệ, 03 bài đăng ở các tạp chí chuyên ngành 4 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây CHƯƠNG 1 TỔNG QUAN VỀ CÁC VẤN ĐỀ LẬP LỊCH TRÊN TÍNH TOÁN ĐÁM MÂY 1.1 Tổng quan về tính toán đám mây 1.1.1 Giới thiệu Tính toán đám mây (TTĐM) là sự phát triển của tính toán phân tán, tính toán song song và tính toán lưới [50] Tùy theo mục đích sử dụng mà hiện nay có nhiều... toán lập lịch trên TTĐM thường là các thuật toán lập lịch động Vì vậy, làm sao tối ưu thời gian đưa ra lịch trình là vấn đề mà các nhà khoa học hiện nay đang quan tâm và nghiên cứu Xuất phát từ việc tìm hiểu, nghiên cứu các đặc điểm và các thách thức về các vấn đề lập lịch trên TTĐM, chúng tôi chọn đề tài Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây 2 Đối tượng và phạm vi nghiên. .. hiện đề tài về lập lịch công việc trong hệ phân tán và nghiên cứu các heuristic về bầy đàn 5 Bố cục của luận án 3 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây Ngoài phần mở đầu và kết luận, luận án được chia thành 3 chương: • Chương 1: tổng quan về các vấn đề lập lịch trên tính toán đám mây Trình bày tổng quan về các vấn đề liên quan mật thiết đến luận án như tổng quan về TTĐM,... vào và lập lịch ở mức nền tảng 3 Phương pháp nghiên cứu Chúng tôi tập trung tiếp cận trên một số phương pháp chính: • Phương pháp tổng hợp và mô hình hóa: tìm kiếm, thu thập tài liệu 2 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây về các công trình nghiên cứu đã được công bố, các bài báo đăng ở các hội thảo và tạp chí lớn để xây dựng mô hình toán học cho các thành phần trên TTĐM... Buyya và Ian Foster đều định nghĩa TTĐM là một hệ phân tán, cung cấp các dạng tài nguyên ảo dưới dạng các dịch vụ theo nhu cầu của người dùng trên môi trường Internet TTĐM khác với mô hình truyền thống ở một số điểm: • Khả năng mở rộng rất lớn 5 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây • Nó được phát triển trên mô hình kinh tế • Các dịch vụ có thể được cấu hình một cách tự động... 54 54 55 56 59 65 69 70 80 81 81 82 82 83 86 86 87 88 88 89 93 93 94 95 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây MỞ ĐẦU 1 Lý do chọn đề tài Tính toán đám mây (TTĐM) ra đời xuất phát từ nhu cầu tính toán và yêu cầu dịch vụ với chi phí thấp của người sử dụng Thực tế, các tổ chức, cơ quan và doanh nghiệp đều đối mặt với những thử thách như sau: (1) Khối lượng dữ liệu xử lý lớn,... đánh giá các công trình nghiên cứu về bài toán lập lịch cũng như các loại lập lịch trên TTĐM Từ đó, xác định mục tiêu và nội dung nghiên cứu của luận án • Chương 2: lập lịch công việc thời gian thực trong tính toán đám mây Chương này tập trung xây dựng mô hình cho bài toán lập lịch công việc thời gian thực áp dụng cho lớp bài toán song song Sau đó, xây dựng các thuật toán lập lịch công việc thời gian... dùng có thể cắm vào lưới điện, sử dụng dịch vụ và trả tiền theo KW 6 Nghiên cứu một số vấn đề lập lịch trên môi trường tính toán đám mây số tiêu thụ Salesfore là công ty đầu tiên phát triển ứng dụng trên môi trường TTĐM Sau đó, cùng với sự phát triển mạnh mẻ của Web 2.0, ngày nay có rất nhiều công ty phát triển ứng dụng trên môi trường này như Amazon (2006), IBM Blue Cloud (2007), Google App Engine... soát đầu vào và lập lịch cho yêu cầu người dùng trên TTĐM là một bài toán khó, chúng ta phải tìm ra các thuật toán tối ưu để giải quyết các bài toán này Các nghiên cứu trước đây chủ yếu nghiên cứu lập lịch công việc theo hướng hiệu năng về hệ thống, nhằm mục đích tận dụng tối đa hiệu năng của hệ thống, giảm thiểu thời gian hoạt động Trên TTĐM, các nhà nghiên cứu tập trung nghiên cứu lập lịch công việc... phân tích và so sánh với các thuật toán lập lịch EDF hiện có • Chương 3: lập lịch công việc theo hướng tối ưu đa mục tiêu trong tính toán đám mây Chương này xây dựng mô hình và bài toán lập lịch công việc việc theo hướng tối ưu đa mục tiêu Sau đó, xây dựng các thuật toán lập lịch và sử dụng công cụ mô phỏng CloudSim để cài đặt, phân tích và so sánh với các thuật toán lập lịch khác Các kết quả của luận