Luận văn Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo

MỤC LỤC 2 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT 5 DANH MỤC CÁC BẢNG 6 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 7 MỞ ĐẦU 8 CHƯƠNG 1: BÀI TOÁN CẤP PHÁT TÀI NGUYÊN ẢO 11 1.1. Giới thiệu 11 1.2. Mô hình cấp phát tài nguyên 12 1.3. Các phương pháp tiếp cận 15 1.3.1. Phương pháp dựa trên máy ảo (VMbased) 15 1.3.1.1. Cụm máy chủ ảo (VC Virtual Cluster) 15 1.3.1.2. Giải pháp Trung tâm dữ liệu (DB – Datacenter Based) 17 1.3.2. Phương pháp dựa trên hợp đồng (LB – Lease Based) 18 1.3.3. Phương pháp dựa trên công việc (JBJob Based) 19 1.4. Nhận xét 20 CHƯƠNG 2: MÔ HÌNH HÓA TÀI NGUYÊN DỰA VÀO HỢP ĐỒNG 24 2.1. Mô hình tài nguyên 24 2.2. Hợp đồng 25 2.2.1. Phân loại hợp đồng 27 2.2.1.1. Hợp đồng chạy nền (BE Best Effort) 27 2.2.1.2. Hợp đồng đặt chỗ (AR Advance Reservation) 28 2.2.1.3. Hợp đồng tức thời (Immediate) 28 2.2.2. Các thuộc tính của hợp đồng 28 2.2.3. Các trạng thái của hợp đồng 29 CHƯƠNG 3: 30 LẬP LỊCH CẤP PHÁT TÀI NGUYÊN SỬ DỤNG MÁY ẢO 30 3.1. Lập lịch các yêu cầu không có thời hạn hoàn thành 30 3.1.1. Phân phối máy ảo vào các máy đơn vật lý vào thời điểm cụ thể 30 3.1.2. Hợp đồng chạy nền 32 3.1.3. Hợp đồng đặt chỗ và hợp đồng tức thời 33 3.2. Lập lịch sử dụng khả năng cho phép tạm chiếm 34 3.3. Lập lịch có thời hạn hoàn thành 37 CHƯƠNG 4: 40 CÀI ĐẶT CÁC THUẬT TOÁN LẬP LỊCH TRÊN HỆ THỐNG HAIZEA ĐỂ GIẢI BÀI TOÁN LẬP LỊCH CẤP PHÁT TÀI NGUYÊN ẢO TRÊN ĐIỆN TOÁN LƯỚI, ĐIỆN TOÁN ĐÁM MÂY 40 4.1. Tổng quan về Haizea 40 4.2. Kiến trúc Haizea 42 4.3. Cài đặt thực nghiệm 48 4.3.1. Thực nghiệm các thuật toán lập lịch không có thời hạn hoàn thành 48 4.3.1.1. Dữ liệu thực nghiệm 48 4.3.1.2. Tham số thực nghiệm 48 4.3.1.3. Kết quả thực nghiệm 49 4.3.2. Thực nghiệm các thuật toán lập lịch có thời hạn hoàn thành 51 4.3.2.1. Dữ liệu thực nghiệm 51 4.3.2.2. Tham số thực nghiệm 51 4.3.2.3. Kết quả thực nghiệm 52 4.3.3. Nhận xét 53 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56 5.1. Kết quả đạt được 56 5.2. Hạn chế 56 5.3. Hướng phát triển 57 PHỤ LỤC: PHƯƠNG PHÁP THỰC NGHIỆM 58 1. Mô trường thực nghiệm 58 2. Luồng công việc 58 3. Tạo tập tin cấu hình 60 4. Chạy thực nghiệm 61 5. Xử lý dữ liệu thô 62 6. Vẽ biểu đồ và bảng 62 TÀI LIỆU THAM KHẢO 64

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - - NGHIÊN CỨU CÁC HỆ THỐNG LẬP LỊCH CẤP PHÁT TÀI NGUYÊN ẢO LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN Hà Nội - Năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo MỤC LỤC MỤC LỤC LỜI CAM ĐOAN Error! Bookmark not defined DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU .8 CHƢƠNG 1: BÀI TOÁN CẤP PHÁT TÀI NGUYÊN ẢO 11 1.1 Giới thiệu 11 1.2 Mô hình cấp phát tài nguyên 12 1.3 Các phƣơng pháp tiếp cận 15 1.3.1 Phƣơng pháp dựa máy ảo (VM-based) 15 1.3.1.1 Cụm máy chủ ảo (VC - Virtual Cluster) 15 1.3.1.2 Giải pháp Trung tâm liệu (DB – Datacenter Based) 17 1.3.2 Phƣơng pháp dựa hợp đồng (LB – Lease Based) .18 1.3.3 Phƣơng pháp dựa công việc (JB-Job Based) 19 1.4 Nhận xét 20 CHƢƠNG 2: MÔ HÌNH HÓA TÀI NGUYÊN DỰA VÀO HỢP ĐỒNG 24 2.1 Mô hình tài nguyên 24 2.2 Hợp đồng 25 2.2.1 Phân loại hợp đồng 27 2.2.1.1 Hợp đồng chạy (BE - Best Effort) 27 2.2.1.2 Hợp đồng đặt chỗ (AR - Advance Reservation) .28 2.2.1.3 Hợp đồng tức thời (Immediate) 28 2.2.2 Các thuộc tính hợp đồng 28 2.2.3 Các trạng thái hợp đồng 29 Học viên thực hiện: Phạm Tất Thành - CB120113 – 12BCNTT2 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo CHƢƠNG 3: .30 LẬP LỊCH CẤP PHÁT TÀI NGUYÊN SỬ DỤNG MÁY ẢO .30 3.1 Lập lịch yêu cầu thời hạn hoàn thành 30 3.1.1 Phân phối máy ảo vào máy đơn vật lý vào thời điểm cụ thể .30 3.1.2 Hợp đồng chạy 32 3.1.3 Hợp đồng đặt chỗ hợp đồng tức thời 33 3.2 Lập lịch sử dụng khả cho phép tạm chiếm 34 3.3 Lập lịch có thời hạn hoàn thành 37 CHƢƠNG 4: .40 CÀI ĐẶT CÁC THUẬT TOÁN LẬP LỊCH TRÊN HỆ THỐNG HAIZEA ĐỂ GIẢI BÀI TOÁN LẬP LỊCH CẤP PHÁT TÀI NGUYÊN ẢO TRÊN ĐIỆN TOÁN LƢỚI, ĐIỆN TOÁN ĐÁM MÂY .40 4.1 Tổng quan Haizea 40 4.2 Kiến trúc Haizea 42 4.3 Cài đặt thực nghiệm 48 4.3.1 Thực nghiệm thuật toán lập lịch thời hạn hoàn thành .48 4.3.1.1 Dữ liệu thực nghiệm 48 4.3.1.2 Tham số thực nghiệm 48 4.3.1.3 Kết thực nghiệm .49 4.3.2 Thực nghiệm thuật toán lập lịch có thời hạn hoàn thành 51 4.3.2.1 Dữ liệu thực nghiệm 51 4.3.2.2 Tham số thực nghiệm 51 4.3.2.3 Kết thực nghiệm .52 4.3.3 Nhận xét 53 CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 56 5.1 Kết đạt đƣợc 56 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo 5.2 Hạn chế 56 5.3 Hƣớng phát triển 57 PHỤ LỤC: PHƢƠNG PHÁP THỰC NGHIỆM 58 Mô trƣờng thực nghiệm 58 Luồng công việc .58 Tạo tập tin cấu hình 60 Chạy thực nghiệm 61 Xử lý liệu thô 62 Vẽ biểu đồ bảng 62 TÀI LIỆU THAM KHẢO 64 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt Viết đầy đủ Ý nghĩa VM Virtual Machine Máy ảo VMbased Virtual Machine -Based Phương pháp dựa máy ảo LB Lease-Based Phương pháp dựa lý thuyết hợp đồng JB Job-Based Phương pháp dựa lý thuyết công việc Cluster Nhiều máy tính kết nối chặt chẽ với thông qua kết nội mạng cục DB DatacenterBased Giải pháp trung tâm liệu VC Virtual Cluster Cụm máy tính cấu thành từ máy ảo Lease Hợp đồng thuê tài nguyên DeadLine Mốc thời gian mà công việc buộc phải hoàn thành Kỹ thuật chiến lược lập lịch để ưu tiên công Backfilling việc đơn giản, có chi phí thấp thực trước QoS Quality - of Service Dịch vụ cho thuê tài nguyên đảm bảo chất lượng IaaS Infrastructureas-a-Service Cơ sở hạ tầng dịch vụ Thuật ngữ đại diện cho tài nguyên cục Site nhà cung cấp Node Đại diện cho máy tính vật lý BE best-effort Chạy AR advancereservation Đặt chỗ Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo DANH MỤC CÁC BẢNG Bảng 4.1: Ảnh hưởng chiếm lấp lên hợp đồng có thời hạn hẹp 57 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Bảng tổng kết phương pháp JB; VC; LB; DB 21 Hình 3.1: Dành chỗ máy đơn trước hợp đồng đặt chỗ 38 Hình 3.2: Kỹ thuật backfilling thời gian trước hợp đồng đặt chỗ .39 Hình 3.3: Tạm treo trước phục hồi sau hợp đồng đặt chỗ 39 Hình 4.1: Các thành phần Haizea .42 Hình 4.2: Kết all-best-effort .50 Hình 4.3: Mức tận dụng tài nguyên luồng công việc BLUE2 DS chiếm lấp………………………………………………………… ……………….56 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo MỞ ĐẦU Lý chọn đề tài Trong năm qua, nhu cầu tài nguyên điện toán trở thành yêu cầu then chốt ngành khoa học lẫn công nghiệp Trong nhiều trường hợp, nhu cầu sử dụng tài nguyên tồn thời gian ngắn Ví dụ, nhà khoa học cần lượng lớn máy tính để chạy trình mô vài vào thời điểm cụ thể; giảng viên muốn tạo cụm máy tính cho sinh viên sử dụng trình thực tập, vào thời điểm định tuần với cấu hình phần mềm nghiêm ngặt; hay công ty truyền thông cần sử dụng sở hạ tầng để lưu trữ số website, chưa thể tính trước cấu hình máy chủ, điều phụ thuộc vào mức độ truy cập người dùng vào website Cho đến nay, có nhiều kiểu cấp phát tài nguyên như: hệ thống điện toán lưới1, điện toán đám mây2 trung tâm liệu cho thuê máy chủ Khi thuê tài nguyên nhà cung cấp kể trên, ta phải đồng ý điều khoản sử dụng họ có quyền quy định vài cấu hình cho hợp đồng Ví dụ, ta định phần mềm chạy (bằng cách cung cấp ảnh đĩa chứa phần mềm) yêu cầu tài nguyên từ hệ thống điện toán đám mây IaaS, Amazon EC2 Các trình lập lịch khối điện toán lưới cung cấp số quyền điều khiển phần mềm thực thi Tuy nhiên, hệ thống đám mây IaaS cho phép người dùng yêu cầu tài nguyên sử dụng tức thời; không cung cấp khả đặt chỗ trình lập lịch công việc trình lập lịch hệ thống điện toán lưới Qua khảo sát giải pháp cấp phát tài nguyên như: “Torque / Maui, Sun Grid Engine3, LoadLeveler4, …”, chưa có giải pháp cấp phát tài nguyên đáp ứng lúc nhiều trường hợp sử dụng khác người dùng vấn đề tận dụng tài nguyên chưa giải cách triệt để Vì vậy, http://en.wikipedia.org/wiki/Grid_computing http://en.wikipedia.org/wiki/Điện_toán_đám_mây http://gridengine.sunsource.net/ http://www.ibm.com/systems/clusters/software/loadleveler.html Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo luận văn thực tiến hành nghiên cứu tổng quan toán cấp phát tài nguyên ảo, cung cấp định nghĩa mang tính công thức hợp đồng ngữ cảnh luận văn, đề xuất cài đặt thuật toán lập lịch yêu cầu thuê tài nguyên sử dụng máy ảo Trên sở kết đạt được, luận văn tổng kết so sánh đánh giá đưa hướng phát triển đề tài tương lai Lịch sử nghiên cứu Từ hệ thống máy tính lớn bắt đầu chia sẻ cho nhiều người dùng vào năm 1950, nhiều nhà khoa học nổ lực tìm giải pháp cho vấn đề “Cấp phát tài nguyên” Phương pháp cấp phát tài nguyên điện toán vấn đề thực tế kinh điển khoa học máy tính thập kỷ qua có nhiều giải pháp đưa Từ hệ điều hành có khả điều khiển người dùng sử dụng CPU, trình lập lịch tinh vi quản lý đến 10.000 vi xử lý siêu máy tính để mô quỹ đạo thiên thạch mô hình biến đổi khí hậu toàn cầu Luận văn tìm hiểu số vấn đề phát sinh cấp phát tài nguyên điện toán với hệ thống máy tính lưới phương pháp giải vấn đề sử dụng máy ảo thuật toán lập lịch cấp phát tài nguyên ảo Mục đích nghiên cứu Luận văn tập trung tìm hiểu đề xuất kiến trúc quản trị tài nguyên có khả hỗ trợ kịch cấp phát tài nguyên ảo đồng thời cách hiệu quả, sử dụng máy ảo (VM - Virtual Machine) làm công cụ với thuật toán lập lịch Để đạt mục tiêu này, luận văn tập trung vào nhiệm vụ cụ thể sau: - Tìm hiểu mô hình cấp phát tài nguyên dựa lý thuyết hợp đồng (theo dạng cho thuê) sử dụng máy ảo - Tìm hiểu đề xuất thuật toán lập lịch yêu cầu thuê tài nguyên sử dụng máy ảo phương pháp để tối ưu tài nguyên tính toán chi phí phát sinh trình triển khai ảnh đĩa Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Đối tƣợng nghiên cứu Luận văn tập trung vào tìm hiểu hệ thống cấp phát tài nguyên có để tìm ưu điểm, nhược điểm hệ thống Phạm vi nghiên cứu Luận văn tìm hiểu đề xuất kiến trúc quản trị tài nguyên có khả hỗ trợ kịch cấp phát tài nguyên ảo đồng thời cách hiệu điện toán lưới điện toán đám mây, sử dụng máy ảo làm công cụ với thuật toán lập lịch để thực mục tiêu Phƣơng pháp nghiên cứu - Nghiên cứu tài liệu công nghệ liên quan - Tổng hợp tài liệu lý thuyết mô hình lập lịch cấp phát tài nguyên sử dụng máy ảo - Cài đặt mô hệ thống mã nguồn mở Haizea Nội dung luận văn Luận văn bố cục thành chương Chương 1: Bài toán cấp phát tài nguyên ảo; Chương 2: Mô hình hóa tài nguyên dựa vào hợp đồng; Chương 3: Lập lịch cấp phát tài nguyên sử dụng máy ảo; Chương 4: Cài đặt thuật toán lập lịch hệ thống HAIZEA để giải toán lập lịch cấp phát tài nguyên ảo điện toán lưới, điện toán đám mây; Chương 5: Kết luận hướng phát triển 10 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Vì vậy, với kết thực nghiệm luận văn chứng minh máy ảo phương tiện thích hợp để thực thi hợp đồng, điều hòa yêu cầu từ loại hợp đồng khác Hình 4.3: Mức tận dụng tài nguyên luồng công việc BLUE2 DS chiếm lấp 54 55 120.960 120.960 (20% 604.800) Cột Out of biểu diễn số hợp đồng yêu cầu có (b)Số lượng hợp đồng chấp nhận với (a)Số lượng hợp đồng chấp nhận với slack (𝑑𝑒𝑎𝑑𝑙𝑖𝑛𝑒𝑙− 𝑠𝑡𝑎𝑟𝑡[𝑙]𝑑𝑢𝑟𝑎𝑡𝑖𝑜𝑛[𝑙])nhỏ SLACK_THRESHOLD (2) Cột Out of biểu diễn số hợp đồng yêu cầu có slack No table of contents entries found Contents No table of contents entries found Bảng 4.1: Ảnh hưởng chiếm lấp lên hợp đồng có thời hạn hẹp Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 5.1 Kết đạt đƣợc Về mặt lý thuyết, luận văn trình bày nội dung sau: - Mô hình cấp phát tài nguyên ảo hỗ trợ nhiều trường hợp cấp phát tài nguyên ảo cách hiệu đồng thời, tập trung vào trường hợp chạy nền, đặt chỗ thảo luận mô hình dựa lý thuyết “hợp đồng” (“lease”) thực thi máy ảo - Đề xuất thuật toán lập lịch yêu cầu thuê tài nguyên sử dụng máy ảo phương pháp để tối ưu tài nguyên tính toán chi phí phát sinh trình triển khai ảnh đĩa Về mặt thực nghiệm, luận văn thu số kết quả: - Cài đặt chạy mô phần mềm mã nguồn mở Haizea cho mô hình thuật toán lập lịch yêu cầu thuê tài nguyên sử dụng máy ảo 5.2 Hạn chế Như vậy, kết thực nghiệm phù hợp với trình bày lý thuyết Tuy nhiên, nhiều hạn chế kiến thức, kinh nghiệm thân, thời gian thực hiện, luận văn số hạn chế sau: - Đôi mô hình dự đoán thiếu xác thời gian thực thao tác nhân tố không đoán trước Ví dụ trường hợp việc ban hành lệnh cần thời gian lâu để xử lý - Tìm hiểu chưa sâu sách dựa giá Vì hướng tiếp cận giới hạn nhìn khía cạnh để nhà cung cấp tài nguyên tối đa doanh thu Một số nhà cung cấp tài nguyên quan tâm đến tận dụng tài nguyên tối đa hơn, phải kiếm doanh thu đủ để trả dần số tài nguyên họ Chính sách định giá xác định giá dựa số lượng tài nguyên yêu cầu (với mức giá xác định dựa hành vi người dùng) không 56 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo phải dựa việc hợp đồng có thời hạn kín hay có bao hàm chiếm lấp tài nguyên khác không 5.3 Hƣớng phát triển - Cải thiện mô hình thông qua giải pháp mở rộng khả chịu lỗi Haizea Trong mã nguồn tại, có thao tác thời gian lâu mong đợi Haizea không đưa xử lý đặc biệt - Luận văn hướng đến việc khảo sát sách định giá, đặc biệt sách có mức giá xác định dựa cấp độ bảo đảm chất lượng yêu cầu từ người dùng, kết hợp việc đàm phán giá vào chu kỳ sống hợp đồng Tức người dùng yêu cầu hợp đồng, nhà cung cấp cung cấp giá cho hợp đồng cung cấp giá khác với mức độ bảo đảm dịch vụ khác Nếu hợp đồng vi phạm với giá phạt trả cho người dùng xảy cố - Tinh chỉnh lại mô hình tài nguyên kết xác hơn, cải tiến cách lập lịch Haizea chất lượng dịch vụ mà người dùng nhận công việc sách dựa giá mang tính lý thuyết - Đưa Haizea vào thực tế, đặc biệt đưa vào môi trường doanh nghiệp Mặc dù việc cần nhiều kỹ thuật trình nghiên cứu 57 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo PHỤ LỤC: PHƢƠNG PHÁP THỰC NGHIỆM Mô trƣờng thực nghiệm  Hệ điều hành nhân Linux Luận văn sử dụng phân phối Ubuntu 12.04 lts để chạy thực nghiệm xử lý kết  Python (phiên 2.5 trở lên)  mxDateTime 3.1.0 (http://www.egenix.com/products/python/mxBase/mxDateTime/)  Mako Templates for Python 0.2.2 (http://www.makotemplates.org/)  R 2.8.x (http://r-project.org) Sử dụng lệnh sau để tạo thư mục tải phiên Haizea14 máy: Sau đó, sử dụng Subversion tải phiên để cập nhật tập tin cấu hình cần thiết cho Haizea: Thiết lập biến môi trường: Luồng công việc Các dòng lệnh sau trình bày cách tải xử lý liệu từ sở liệu công việc SDSC Blue DataStar: 14 http://haizea.cs.uchicago.edu/ 58 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Tạo luồng công việc BLUE1 BLUE2: Tương tự trace DS: Tập tin LWF sinh lưu trữ vào thư mục traces: Chèn hợp đồng đặt chỗ vào luồng công việc BLUE1: Tạo luồng công việc đặt chỗ: 59 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Tạo tập tin cấu hình cho ảnh đĩa: Tạo tập tin thích: Sử dụng script để chạy thực nghiệm: Tạo tập tin thích cho luồng công việc BLUE2: Thực tương tự với luồng công việc DS: Tạo tập tin cấu hình Ta tạo tập tin cấu hình phù hợp với thực nghiệm:  Lập lịch thời hạn hoàn thành: 60 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo  Lập lịch có thời hạn hoàn thành Chạy thực nghiệm Chuyển đổi thành tập tin CSV: 61 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Xử lý liệu thô Download liệu: Gunzip liệu: Vẽ biểu đồ bảng Chuyển đổi tập tin CSV sang R: 62 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo Lưu trữ thông tin vấn đề tận dụng: 63 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo TÀI LIỆU THAM KHẢO [1] Bcfg2 http://trac.mcs.anl.gov/projects/bcfg2/ [2] Packman http://www.archlinux.org/pacman/ [3] J Smith and R Nair (2005), Virtual MachinesVersatile Platforms for Systems and Processes Morgan Kaufmann, pages 1-11 [4] R J Figueiredo, P A Dinda, and J A B Fortes (2001), A Case For Grid Computing On Virtual Washington, DC, USA: IEEE Computer Society, pp 467-474 [5] T Freeman, K Keahey, I T Foster, A Rana, B Sotomayor and F.Wuerthwein Division of labor (2006), Tools for growing and scaling grids, pp.40-51 [6] A Andrieux, K Czajkowski, A Dan, K Keahey, H Ludwig, T Nakata (2006), Web services agreement specification (ws-agreement), pages 36 - 43 [7] H Nishimura, N Maruyana and S Matsuoka (2007), Virtual Clusters on the fly - fast, scalable, and flexible installation IEEE Computer Society, pp 201-215 [8] S Yamasaki, N Maruyama (2007), Model-based recource selection for efficient virtual cluster deployment IEEE Computing Society, pp 84-90 [9] K Keahey, R Figueiredo, J Foster, T Freeman and M Tsugawa (2008), Science clouds: Early experiences in cloud computing for scientific applications, pp 1-12 [10] N Fallenbeck, N., Picht, H.J., Smith, M., Freisleben, B.: Xen and the Art of Cluster Scheduling Virtualization Technology in Distributed Computing (VTDC 2006) (2006) ICSOC 2006 LNCS, vol 4294, pp 40-51 Springer, Heidelberg [11] W Emeneker and D.Stanzione (2007), Effecient Virtual Machine Caching in Dynamic Virtual Clusters, Vol ICAPDS 2007 Conference, pp 327-334 [12] J.P Walters, B Bantwal, V Chauhary (2008), Enabling interactive jobs in virtualized data centers Cloud Computing Applications 2008, Vol CCA08, pages 499-509 64 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo [13] P Ruth, J Rhee, D.Xu, R.Kennell and S.Goasguen (2006), Autonomic live adaptation of virtual computaion environments in multi-domain infrastructure, IEEE International Conference on Autonomic Computing, pages 119-128 [14] D.Xu, P McGachey and VioCluster (2005), Virtualization for dynamic computation domains, Proceedings of the IEEE International Conference on Cluster computing (Cluster'05), pp 1-10 [15] V Chadha, P.Chawla, R.Figueredo, J Fosters, A Matsunaga (2005), From virtualized recources to virtual computing grids, Vols 21(6):896-909 [16] I Krsul, A.Ganguly, J Zhang, J.A.B Fortes, J.Figuiredo (2004), Providing and managing virtual machine execution environments for grid computing Conference on Supercomputing, 7-7, 245 [17] N Kiyanclar, A.Koening (2006), A paravirtualized execution environment for secure on demand cluster computing, Sixth IEEE International Symposium on Cluster Computing and the Grid, pp 1-4 [18] B Stomayor, R.S Montero, I.M Llorente and I Foster (2006), Virtual infrastructure for managing scientific tasks in a distributed computing environments, Challenges of Large Applications in Distributed Environments, pages 161-242 [19] D Nurmi, R Wolski, C Grzegorczyk, G Obertelli, S Soman, L Yourseff and D Zagorodnov (2008), The ecalyptus open-source cloud-computing, In Cloud Computing and Applications 2008, pp 196-204 [20] N Bobroff, A Kochut, and K Beaty (2007), Dynamic placement of virtual machines for man-aging sla violations In Integrated Network Management, 2007 IM ’07 10th IFIP/IEEE International Symposium on, pages 119–128 [21] S Mehta and A Neogi A tool to recommend dynamic server consilidation in multi-cluster data centers (2008), Network Operations and Management Symposium, s.l : IEEE, April, pp 918-940 [22] Grit, L.E PhD thesis, Durham (2007), Extensible resouce management for networked virtual computing, USA, s.l : Adviser-Jeffry S.Chase, pages 129-192 65 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo [23] D.B Jacson, Q Snell and M.J Clement (2001), Core algorithms of the maui scheduler, Revised Papers from the 7th International Workshop on Job scheduling strategies for Parallel Processing, London: UK Springer-Verlag, pages 87-102 [24] D.A Lifka (1995), The Scheduling system, The Workshop on Job scheduling strategies for Parallel Processong, London: Springger-Verlag, pages 295-303 [25] A.W Mu'alem and D.G Feitelson (2001), Utilizaiton, predictability, workloads, and user runtime estimates in scheduling the IBM SP2 with backfilling, Parallel Distrib, 12(6): 529-543 [26] D Feitelson, L Rudolph (2004), Parallel job scheduling a status report, 10th Workshop on Job scheduling Stragies for Parallel Processing, NewYork, pp 194209 [27] I Foster, C Kesselman, C Lee, R Lindell, K Nahrstedt, and A Roy (1999), A distributed resource management architecture that supports advance reservations and co-allocation In International Workshop on Quality of Service, pages 27-36 [28] Q Snell, M Clement, B Jackson (2000), The performance impact of advance reservation meta-scheduling, Proceedings of the Workshop on Job Scheduling Strategies for Parallel Processing, London: Springer-Verlag, pages 153-183 [29] P H Hargrove and J.C Duell (2006), Berkely lab checkpoint/restart (blcl) for linux clusters Conference Series, s.l : Journal of Physics: Conference Series, vol 46, pp 494-499 [30] D.C Nurmi, R Wolski, and J,Brevik (2008), Virtual advance reservations for queues, The 17th international symposium on High performance distributed computing., NewYork, USA, pages 34-41 [31] M Hovestadt, O.Kao, A.Keller and A.Streit (2003), Scheduling in hpc resource management systems, Lecture Notes in Computer Science, pages 295-303 [32] F Heine, O Streit (2005), On the impact of reservations from the grid on planning-based recource management, International Conference on Computaion Science, pp 155-162 66 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo [33] J Frey, T Tannenbaum, M Livny, I Foster, and S Tuecke (2002), CondorG: Acomputation management agent for multi-institutional grids Cluster Computing, 5(3):237–246 [34] E Walker, J.Gardner, V.Litvin, E.Turner (2006), Creating personal adaptive clusters for managing scientific tasks in a distributed computing environment In Chellenges of Large Applicaitons in Distributed Enviromnents, pp 95-103 [35] I Raicu, Y.Zhao, I Foster and M.Wildle (2007), A fast and light-weight task execution framework, Hight performance Computing, Netwroking, Storage and Analysis, pp 538-547 [36] Y Zhao, M.Hategan, B.Clifford, I.Foster, G von Laszewski, V.Nefedova, I Raicu (2007), Fast, reliable, lossely coupled parallel computation IEEE International Workshop on Scientific Workflows, s.l : IEEE, pages 199-206 [37] I T Foster, K.Keahey, B.Stomayor and X.Zhang (2006), Virtual clusters for grid communities, IEEE Computer Society, pages 513-520 [38] W Parsons, U Frooq, S.Majudar (2005), Effictienly scheduling advance reservations in grids, Department Computer Engineering, pages 319-324 [39] U Farooq, S Majumdar and E.W Parsons (2005), Impact of laxity on scheduling with advance reservations in Grids, IEEE Computer Society analysis and simulation of computer and telecommunication systems, pages 319-324 [40] B.DasGupta and A.Palis (2000), Online real-time preemtive scheduling of jobs with…, Approximation Algorithms for Combinatorial Optimization, UK, pp 212 [41] C Hu, J Huai, T.Wo (2006), Flexible resource reservation using slack time for service grid, Parallel and Distributed Systems, Washington, USA, pp 327-334 [42] M Siddiqui, A.Villazon and T.Fahringer (2006), Grid capacity planning with negotiation-based advance reservation for optimized, Supercomputing ACM/IEEE conference, NewYork, USA, pages 103 67 Đề tài: Nghiên cứu hệ thống lập lịch cấp phát tài nguyên ảo [43] C Castillo, N Rouskas, K.Harfoush (2007), Efficient implementation of bestfit scheduling for advance reservations…, International Workshop on End-to-End virtualization, pages.2 [44] G Signh, E.Deelman (2005), The Performance impact of of resource provisioning on workflows, University of South California, pp 759-767 [45] Final report metascheduling requirement analysis team http://www.teragridforum.org/mediawiki/images/b/b4/MetaschedRatReport.pdf [46] K Czajkowski, I Foster and C.Kessleman (1999), Resouce co-allocation in computational grids, 8th IEEE International Sympoisium on High Performance Distributed Computing, pages 219-228 [47] P.Beckman, S.Nadella (2007), A system for supporting urgent highperformance computing, International Federation A system for supporting urgent high-performance computing, pp 377-386 [48] H.Zhao, R Sakellariou (2006), Adcance reservation policies for workflows, 12th Workshop on Jon Scheduling for Parallel Processing, pp 47-67 [49] B Rochwerger, E.Levy, A Galis (2008), The reservoir model and architecture for open federated cloud computing, pp 115-128 [50] B.A Lifta (1995), The Scheduling System, The International Workshop on Parallel Scheduling, London, pages 355-360 [51] Parallel workloads archive http://wwww.cs.huji.ac.il/labs/parallel/workload/ 68 [...]...Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo CHƢƠNG 1: BÀI TOÁN CẤP PHÁT TÀI NGUYÊN ẢO 1.1 Giới thiệu Trên thế giới, hầu hết phương pháp cấp phát tài nguyên của các hệ thống đều tạo một hàng đợi theo thứ tự ưu tiên các công việc một cách hợp lý (đánh giá dựa vào thời gian chờ hoặc mức độ tối ưu tài nguyên) Đây là những hệ thống lý tưởng cho các trường hợp người... http://www.ibm.com/systems/clusters/software/loadleveler.html 13 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo nguyên loại chạy nền và đặt chỗ đều được nghiên cứu riêng biệt, nhưng cả hai đều liên quan đến vấn đề tận dụng tài nguyên Luận văn tìm hiểu mô hình cấp phát tài nguyên ảo có thể hỗ trợ nhiều trường hợp cấp phát tài nguyên một cách hiệu quả và đồng thời, tập trung vào trường hợp chạy nền, đặt chỗ và thảo luận về mô hình dựa... tạo ra máy ảo (InVIGO [15] và VMPlants [16]), và sự liên lạc giữa trình lập lịch cụm 16 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo máy chủ ảo và trình lập lịch cục bộ chạy trong một cụm máy chủ ảo (Maestro-trình lập lịch 2 cấp của cụm máy chủ ảo [17]) Tuy nhiên, các hệ thống đó không khảo sát được số công việc phối hợp yêu cầu chạy nền và đặt chỗ, và cũng không lập lịch được tổng... của luận văn sẽ tìm hiểu mô hình tài nguyên dựa vào khái niệm hợp đồng, để giải quyết các vấn đề này 13 http://aws.amazon.com/ec2-sla 23 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo CHƢƠNG 2: MÔ HÌNH HÓA TÀI NGUYÊN DỰA VÀO HỢP ĐỒNG Chương này, luận văn trình bày về mô hình hóa tài nguyên dựa vào hợp đồng Phần 2.1 sẽ đưa ra định nghĩa cho thuê tài nguyên và cung cấp mô hình tài nguyên. .. tác cấp phát lại tài nguyên Trạng thái Done là trạng thái cuối cùng trong vòng đời của một hợp đồng, khi nó đã được hoàn thành Phần tiếp theo sẽ trình bày các thuật toán lập lịch các yêu cầu thuê tài nguyên sử dụng máy ảo và các phương pháp để tối ưu tài nguyên cũng như tính toán các chi phí phát sinh trong quá trình triển khai ảnh đĩa 29 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo. .. sau: a start[alloc]: thời điểm bắt đầu cấp phát b end[alloc]: thời điểm kết thúc cấp phát c res[alloc]: tập tài nguyên (x, r1, r2, …) với x P và ri R, biểu diễn những tài nguyên có mặt trong 1 lần cấp phát 28 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo 2.2.3 Các trạng thái của hợp đồng Trước khi một hợp đồng được yêu cầu đến nhà cung cấp tài nguyên, nó ở trạng thái New Sau đó, hợp... đồng Trong việc cấp phát tài nguyên dạng đặt chỗ, tiêu chí để xét tính hiệu quả đơn giản là tài nguyên có được 11 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo cấp phát đúng hạn hay không Với các công việc chạy nền, tiêu chí đó phụ thuộc vào tổng thời thời gian thực thi của công việc: nếu một công việc chạy 10 tiếng, và trình lập lịch công việc có khả năng cung cấp tài nguyên cho công... cứu các hệ thống lập lịch cấp phát tài nguyên ảo phiên nhau giao cho khách hàng các vé để nhận được tài nguyên thực khi trình cho nhà cung cấp Hầu hết những hệ thống này đều coi máy ảo do hệ thống Cluster-OnDemand quản lý như là một, ví dụ về tài nguyên có khả năng phân chia (mặc dù được nhấn mạnh rằng các hệ thống đó thích hợp với bất kỳ tài nguyên nào được phân chia), gần đây những hệ thống đó đã... vào tài nguyên điện toán 25 Đề tài: Nghiên cứu các hệ thống lập lịch cấp phát tài nguyên ảo Terms (Điều lệ): Sự đặc tả tài nguyên do nhà cung cấp cấp cho khách hàng Những điều lệ đặc tả hợp đồng dùng trong luận văn sẽ được trình bày sau Negotiable agreement (Sự thỏa thuận được thương lượng): Là một tập các điều lệ mà khách hàng phải đề xuất trước tiên cho nhà cung cấp tài nguyên Lần lượt, nhà cung cấp. .. LẬP LỊCH CẤP PHÁT TÀI NGUYÊN SỬ DỤNG MÁY ẢO Như đã trình bày ở những chương trước, máy ảo có những đặc tính rất thích hợp cho việc hiện thực hóa các yêu cầu thuê tài nguyên Máy ảo có thể cung cấp nhu cầu về phần cứng, phần mềm và tính khả dụng Chương này luận văn trình bày các thuật toán lập lịch các yêu cầu thuê tài nguyên sử dụng máy ảo và các phương pháp để tối ưu tài nguyên cũng như tính toán các