Nghiên cứu các thuật toán lập lịch trong điện toán đám mây (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Nguyễn Ngọc Dung NGHIÊN CỨU CÁC THUẬT TOÁN LẬP LỊCH TRONG ĐIỆN TOÁN ĐÁM MÂY Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.70 Người hướng dẫn khoa học: TS Lê Nhật Thăng TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2012 MỞ ĐẦU Điện toán đám mây xu hướng công nghệ phát triển mạnh mẽ Điện toán đám mây cung cấp khả mở rộng tài nguyên ảo tự động thông qua dịch vụ Internet để sử dụng theo yêu cầu, phát triển cao điện toán phân tán, điện toán song song điện tốn grid Ưu điểm điện tốn đám mây giảm nhanh chi phí phần cứng tăng khả tính tốn khả lưu trữ, người sử dụng truy cập dịch vụ chất lượng cao với mức chi phí thấp Lập lịch phần quan trọng điện tốn đám mây, chế xếp nhiệm vụ người dùng tới nguồn tài ngun thích hợp để thực thi Hiệu ảnh hưởng trực tiếp đến hiệu suất toàn mơi trường điện tốn đám mây Bằng cách sử dụng kỹ thuật ảo hóa, tất tài nguyên vật lý ảo hóa mang lại nhiều tiện ích cho người sử dụng Luận văn xây dựng với nội dung sau: Chương I: Tổng quan điện toán đám mây Chương II: Các thuật toán lập lịch Chương III: Nghiên cứu số thuật toán lập lịch cụ thể CHƯƠNG I TỔNG QUAN VỀ ĐIỆN TỐN ĐÁM MÂY Điện tốn đám mây mơ hình việc sử dụng máy tính chuyển dời khỏi máy tính cá nhân chí khỏi server ứng dụng doanh nghiệp chuyển vào “đám mây” máy tính Một đám mây khu vực server ảo cung cấp tài ngun điện tốn khác cho khách hàng Người sử dụng hệ thống cần quan tâm đến dịch vụ điện toán yêu cầu Dữ liệu dịch vụ cung cấp đặt trung tâm liệu truy cập từ thiết bị có nối mạng toàn giới Đặc điểm Điện tốn đám mây Điện tốn đám mây có nhiều ưu điểm: - Tự khôi phục Trong trường hợp lỗi hỏng ứng dụng, luôn tồn backup nhanh cho ứng dụng, sẵn sàng hoạt động mà khơng gây trì trệ - Khả mở rộng tuyến tính Mơi trường đám mây cho phép người sử dụng truy cập tài nguyên điện toán bổ sung theo yêu cầu đáp ứng với tải ứng dụng ngày tăng - Hướng dịch vụ Các hệ thống xây dựng biệt lập với dịch vụ riêng lẻ khác Nhiều dịch vụ đơn lẻ độc lập phối hợp lại để tạo thành dịch vụ Điều cho phép tái sử dụng dịch vụ - Hướng SLA Các dịch vụ điện tốn đám mây có tính chất đảm bảo SLA cho hệ thống chịu nhiều tải, tự động điều chỉnh cho phù hợp với SLA - Ảo hóa Các ứng dụng điện tốn đám mây hồn tồn tách biệt từ phần cứng tầng Mơi trường điện tốn đám mây trường thực ảo hóa Một lượng lớn tài ngun điện tốn cung cấp có tính khả dụng cho ứng dụng vịng vài phút thay nhiều ngày hay nhiều tuần - Linh hoạt Điện toán đám mây phục vụ nhiều dạng tải tin, từ tải tin nhỏ ứng dụng nhỏ đến tải tin khổng lồ ứng dụng mang tính thương mại - Cung cấp dịch vụ theo yêu cầu Các đám mây cung cấp tài nguyên dịch vụ cho người sử dụng theo yêu cầu - Cung cấp QoS đảm bảo Môi trường đám mây cung cấp đám mây điện tốn đảm bảo QoS cho người sử dụng, ví dụ hiệu phần cứng băng thơng CPU kích cỡ nhớ Các cơng nghệ nhắc đến Điện toán đám mây: Map Reduce, khung phần mềm phát triển Google năm 2003 nhằm hỗ trợ vận hành máy tính song song tập liệu lớn, nhiều cụm máy tính Khung lấy từ chức “map” “reduce” thường sử dụng lập trình chức GoogleFileSystem hệ thống file phân phối có khả mở rộng phát triển Google, dành cho ứng dụng chuyên sâu liệu Nó thiết kế để cung cấp truy cập liệu hiệu quả, tin cậy sử dụng cụm phần cứng lớn Ưu điểm điện toán đám mây khả ảo hóa chia sẻ tài nguyên ứng dụng khác nhằm sử dụng server tốt Dịch vụ điện toán đám mây Mặc dù điện toán đám mây cơng nghệ mới, có nhiều cơng ty đưa dịch vụ điện toán đám mây Các công ty Amazon, Google, Yahoo, IBM, Microsoft tham gia vào cơng nghiệp dịch vụ điện tốn đám mây Amazon tiên phong với dịch vụ EC2 (Elastic Compute) S3 (Simple Storage Service) Các loại đám mây Các đám mây phân loại theo phương thức quản lý sở hữu, ta phân thành Public Clouds, Private Clouds, Hybrid Clouds Community Clouds Đám mây công cộng Đám mây công cộng Đám mây lai Đám mây riêng Đám mây riêng Doanh nghiệp Hình Các loại đám mây Các mơ hình dịch vụ điện tốn đám mây Cơ sở hạ tầng đám mây đóng vai trị dịch vụ (IaaS) Các khả cung cấp đến khách hàng việc cung cấp xử lý, lưu trữ, mạng lưới, tài ngun điện tốn khách hàng triển khai chạy phần mềm, bao gồm hệ thống ứng dụng Khách hàng không quản lý điều khiển sở hạ tầng đám mây tầng điều khiển hệ thống vận hành, lưu trữ, ứng dụng triển khai điều khiển có giới hạn số thành phần mạng (ví dụ host firewall) Phần mềm đám mây đóng vai trị dịch vụ (SaaS) Khả cung cấp đến khách hàng việc sử dụng ứng dụng nhà cung cấp chạy sở hạ tầng đám mây Các ứng dụng truy cập từ nhiều thiết bị khác thông qua giao diện khách hàng chẳng hạn web browser (ví dụ email sở web) Khách hàng không quản lý điều khiển sở hạ tầng tầng bao gồm mạng, server, hệ thống vận hành, lưu trữ chí khả ứng dụng đơn lẻ,… Nền tảng đám mây đóng vai trò dịch vụ (PaaS) Khả cung cấp đến khách hàng triển khai sở hạ tầng đám mây ứng dụng khách hàng có khách hàng tạo nên sử dụng ngôn ngữ lập trình cơng cụ hỗ trợ nhà cung cấp Khách hàng không quản lý hay điều khiển sở hạ tầng tầng bao gồm mạng, server, hệ thống vận hành, lưu trữ chí khả ứng dụng đơn lẻ,… Lập lịch Các thuật toán lập lịch hệ thống phân bố đóng góp vai trò việc dàn trải tải xử lý tối đa hoá sử dụng tối thiểu hoá thời gian thực thi nhiệm vụ tổng thể Lập lịch nhiệm vụ đóng vai trị chủ chốt để cải thiện hệ thống tin cậy linh hoạt Mục đích để lập lịch nhiệm vụ cho tài nguyên thích ứng phù hợp với thời gian, bao gồm tìm hợp lý nhiệm vụ thi hành CHƯƠNG II CÁC THUẬT TOÁN LẬP LỊCH Một số thuật toán lập lịch truyền thống Genetic Algorithm - Thuật toán di truyền Các thuật toán Genetic kỹ thuật phân bố dựa chế chọn lựa tự nhiên di truyền học Các thuật toán di truyền phân loại cụ thể thuật tốn tiến hố có mục đích tìm phương án để tối ưu hoá vấn đề, chúng mã hoá theo chuỗi nhị phân sử dụng tính đột biến trao đổi đoạn để chỉnh sửa mật độ qua hệ Trong toán học, vấn đề tối ưu hố tìm kiếm để tối thiểu hố tối đa hoá chức cách chọn giá trị thích hợp cho biến số Các thuật tốn di truyền bắt nguồn từ khảo sát tiến hoá sinh học dựa hoạt động di truyền gen, ví dụ đột biến làm thay đổi giá trị gen, trao đổi đoạn tạo nhiễm sắc thể thừa kế đặc điểm cũ từ hai nhiễm sắc thể bố mẹ Các hoạt động áp dụng với thuyết tiến hố Darwin, cá nhân thích nghi với môi trường tồn tại, sản sinh, tái tạo tối đa hoá mã gen hệ cái, với đặc điểm tương đồng thích nghi tốt với mơi trường sống Cơ chế di truyền phương thức linh động cho phép với vấn đề, cá nhân biểu diễn khác nhau, thuật toán thực thi khác để chọn đột biến Thuật toán 1: GAMapper public void map(IntWritable deme_id, Chromosome individual, outputCollector output, reporter reporter) throws I0Exeption { deme= demeParser.getDeme (deme_id.net()) ; individual.fitness = fitnessFunction(deme_id, individual); migration(individual, output); output.collect(deme_id, individual); } private Boolean migration (Chromosome individual, outputCollector output) throws I0Exception { boolean migrated = false; for (Map.Entry neighbor: deme.neighbors.entrySet()) { double r = Math.random(); if (r