Bài toán lập lịch phân bổ tài nguyên trong môi trường điện toán đám mây

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN THỊ THÙY LIÊN BÀI TOÁN LẬP LỊCH PHÂN BỔ TÀI NGUN TRONG MƠI TRƢỜNG ĐIỆN TỐN ĐÁM MÂY Chuyên ngành : Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS Nguyễn Đức Nghĩa Hà Nội – Năm 2014 Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây LỜI CẢM ƠN Trước tiên, em xin gửi lời cảm ơn sâu sắc đến PGS.TS Nguyễn Đức Nghĩa, người thầy giảng dạy hướng dẫn em hoàn thành luận văn Em xin bày tỏ lòng biết ơn sâu sắc bảo, định hướng nghiên cứu, hỗ trợ thầy suốt trình em học tập thực đề tài Em xin chân thành cảm ơn thầy cô viện Công nghệ thông tin truyền thông, Đại học Bách Khoa Hà Nội, nhiệt tình giảng dạy giúp em mở rộng kiến thức tạo điều kiện tốt cho em suốt trình học tập, nghiên cứu trường Em xin chân thành cảm ơn TS Nguyễn Thế Lộc, thầy tạo điều kiện cho em thời gian nghiên cứu, làm việc môn KTMT & Mạng – Khoa CNTT – ĐHSPHN để em tập trung học tập Mặc dù nỗ lực cố gắng, luận văn chắn không tránh khỏi thiếu sót, em mong nhận thơng cảm, góp ý tận tình bảo q thầy bạn Một lần xin gửi đến tất người lời cảm ơn chân thành nhất! Hà Nội, ngày 16 tháng 09 năm 2014 Tác giả luận văn Nguyễn Thị Thùy Liên Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây MỤC LỤC LỜI CẢM ƠN MỤC LỤC LỜI CAM ĐOAN DANH MỤC THUẬT NGỮ - VIẾT TẮT DANH MỤC HÌNH VẼ DANH MỤC BẢNG MỞ ĐẦU CHƢƠNG I CÁC IẾN TH C CƠ BẢN 12 1.1 Đ thị 12 1.1.1 Định nghĩa 12 1.1.2 Phân loại 12 1.1.3 Đường chu trình 13 1.1.4 Biểu điễn đ thị máy tính 14 1.2 Điện toán đám mây: 17 1.2.1 Khái niệm chung điện toán đám mây 17 1.2.2 Kiến tr c hệ thống 19 1.2.3 Mơ hình phát triển 20 1.2.4 Dịch v đám mây 21 1.2.5 Đặc điểm điện toán đám mây 25 1.3 L thuyết lập lịch 28 1.3.1 Giới thiệu lập lịch 28 1.3.2 Lu ng công việc (Workflow) 30 1.3.3 Lập lịch cho lu ng công việc 36 CHƢƠNG BÀI TOÁN LẬP LỊCH VÀ PHÂN BỔ TÀI NGUYÊN TRONG MƠI TRƢỜNG ĐIỆN TỐN ĐÁM MÂY 38 2.1 Vấn đề lập lịch phân bổ tài nguyên đám mây 38 2.1.1 Lập lịch cho lu ng công việc đám mây 38 2.1.2 Phân bổ tài nguyên mơi trường điện tốn đám mây 41 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây 2.2 Phát biểu toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây (SRAP) 42 2.2.1 Phát biểu toán 42 2.2.2 Mơ hình tốn học 43 CHƢƠNG TỔNG QUAN VỀ CÁC THUẬT TOÁN GIẢI BÀI TỐN 50 3.1 Thuật tốn Random 50 3.2 Thuật toán Round Rubin 52 3.3 Thuật toán Minimum Completion Time 54 CHƢƠNG GIẢI THUẬT ĐỀ UẤT 57 4.1 Sơ đ tổng quát thuật toán tối ưu bầy đàn (Partical Swarm Optimizatio–PSO) 57 4.2 Giải thuật PSO giải toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây 61 4.2.1 Mã hóa cá thể 61 4.2.2 Khởi tạo quần thể 62 4.2.3 Hàm đo độ thích nghi 62 4.2.4 Hàm vận tốc 62 4.2.5 Cập nhật vị trí tốt cá thể quần thể 63 4.2.6 Cập nhật vị trí cá thể theo vòng lặp 64 4.2.7 Giải thuật Heuristic dựa Particle Swarm Optimization (HPSO) 65 4.2.8 Giải thuật lập lịch Heuristic Particle Swarm Optimization* (HPSO*) 67 CHƢƠNG CÀI ĐẶT VÀ THỬ NGHIỆM THUẬT TOÁN ĐỀ UẤT 69 5.1 Lựa chọn môi trường phát triển hệ thống – công c CloudSim 69 5.2 Dữ liệu thử nghiệm 76 5.3 Kết thử nghiệm 79 5.4 Đánh giá kết thử nghiệm 81 ẾT LUẬN 84 TÀI LIỆU THAM HẢO 85 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây LỜI CAM ĐOAN Tôi xin cam đoan luận văn Thạc sĩ “Bài toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây”, chun ngành Cơng nghệ thơng tin cơng trình cá nhân tơi Nội dung luận văn tổng hợp trình nghiên cứu từ nhiều ngu n tài liệu tơi đọc hiểu trình bày lại, tài liệu sử d ng ghi rõ xuất xứ ngu n trích dẫn Số liệu kết nghiên cứu luận văn trung thực Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Ngày 16 tháng năm 2014 Tác giả luận văn Nguyễn Thị Thùy Liên Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây DANH MỤC THUẬT NGỮ - VIẾT TẮT STT Viết tắt Nguyên gốc DAG Directed Acyclic Graph SaaS Software as a Service PaaS Platform as a Service IaaS Infrastructure as a Service PSO Partical Swarm Optimization Scheduling and Resource SRAP Allocation Problem Heuristic based Particle HPSO Swarm Optimization MI Million Instructions Million Instructions Per MIPS Second Business Process Execution 10 BPEL4WS Language for Web Services Web Services Flow 11 WSFL Language Abstract Grid Workflow 12 AGWL Language Service Level Agreement 13 SLA Chú thích Đ thị khơng chứa chu trình Tối ưu bầy đàn Lập lịch động dựa tối ưu bầy đàn Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây DANH MỤC HÌNH VẼ Hình 1: Ví d phân loại đ thị 13 Hình 2: Ví d đường chu trình 13 Hình 3: Biểu diễn đ thị theo ma trận kề 14 Hình 4: Biểu diễn đ thị theo danh sách cạnh 15 Hình 5: Biểu diễn đ thị theo danh sách móc nối .17 Hình 6: Mơ hình điện toán đám mây 19 Hình 7: Kiến tr c hệ thống[4] 19 Hình 8: Các mơ hình phát triển điện toán đám mây 21 Hình 9: Phân loại dịch v đám mây 22 Hình 10: Phân loại dịch v đám mây[4] 24 Hình 11: NIST Visual Model of Cloud Computing Definition[6] 26 Hình 12: Nhiều khách hàng dùng chung tài nguyên 27 Hình 13: Mơ hình lu ng công việc[8] .30 Hình 14: Mơ hình lu ng cơng việc sử d ng đ thị DAG - Workflow 31 Hình 15: Chuyển đổi cho lu ng cơng việc đơn giản 32 Hình 16: Loại bỏ vịng lặp cho lu ng cơng việc 32 Hình 17: Lu ng công việc với bốn cấp độ 33 Hình 18: Ví d lu ng cơng việc với kích thước tác v kèm theo 33 Hình 19: Lu ng công việc 1[18] .46 Hình 20: Thuật tốn Random 51 Hình 21: Thuật toán Round Rubin 53 Hình 22: Thuật tốn Minimum Completion Time 55 Hình 23: Sơ đ di chuyển cá thể i PSO, di chuyển teo hướng tốt toàn c c Gbest tốt Pbesti cho cá thể i 58 Hình 24: Giải thuật PSO 59 Hình 25: Lưu đ giải thuật PSO 60 Hình 26: Giải thuật Scheduling heuristic 65 Hình 27: Giải thuật PSO 66 Hình 28: Giải thuật PSO* 67 Hình 29: Kiến tr c CloudSim theo tầng[19] .72 Hình 30: Thiết kế sơ đ lớp CloudSim[19] 73 Hình 31: Lu ng cơng việc 77 Hình 32: Nội dung liệu đơợc lưu trữ tệp inputtask.txt cho lu ng công việc .77 Hình 33: Nội dung liệu lưu trữ tệp inputhost.txt cho lu ng cơng việc 78 Hình 34: Nội d ng liệu lưu trữ tệp tin communication_cost.txt cho lu ng công việc 79 Hình 35: So sánh tổng chi phí giải thuật PSO, HPSO HPSO* 83 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây DANH MỤC BẢNG Bảng 1: Một số phương án khả thi cho lu ng công việc .48 Bảng 2: Bảng chuyển đổi từ giá trị liên t c sang giá trị rời rạc theo quy tắc làm tròn số 64 Bảng 3: Tổng hợp kết thử nghiệm liệu .80 Bảng 4: Bảng so sánh chi phí thử nghiệm giải thuật HPSO so với PSO, HPSO* so với PSO HPSO* so với HPSO liệu (đơn vị %) 82 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây MỞ ĐẦU Ngày nay, ứng d ng xây dựng để quản lý xử lý liệu lớn tài nguyên phân tán ngày phức tạp, điều đòi hỏi phải giải thực lu ng công việc phức tạp Những lu ng công việc thường phải xử lý liệu lớn hoạt động tính tốn chun sâu, hệ thống quản lý cần che dấu chi tiết thực thực thi lu ng công việc tài nguyên phân tán Điện tốn đám mây (cloud computing) mơ hình cho lĩnh vực tính tốn phân tán, cung cấp hạ tầng, tảng ứng d ng dịch v Các dịch v tạo sẵn ph c v khách hàng theo phương thức trả phí cho khách hàng sử d ng Ngồi mơ hình đám mây gi p cung cấp linh hoạt tài ngun tính tốn dựa theo u cầu, lựa chọn vị trí lưu trữ liệu tồn cầu Để đạt hiệu tính tốn chi phí hiệu lập lịch công việc (task) liệu ứng d ng điện toán đám mây, lập lịch phải có chiến lược thay đổi theo hàm m c tiêu khác nhau: tối thiểu tổng thời gian thực thi, tối thiểu tổng chi phí thực thi, cân tải tài nguyên … Vì tác giả lựa chọn đề tài “Bài toán lập lịch phân bổ tài nguyên môi trường điện toán đám mây” để nghiên cứu luận văn Luận văn tập trung vào chiến lược giảm thiểu hóa tổng chi phí thực thi ứng d ng tài nguyên cung cấp nhà cung cấp dịch v đám mây Amazon GoGrid cách sử d ng thuật toán lập lịch động dựa giải thuật tối ưu bầy đàn (Partical Swarm Optimization –PSO) Tối ưu bầy đàn (PSO) kỹ thuật tối ưu dựa theo mơ hình hành vi xã hội động vật côn trùng giới thiệu vào năm 1995 hội nghị IEEE James Kenedy kỹ sư Russell C.Eberhart[2] Thuật tốn bầy đàn có số điểm tương đ ng với giải thuật di truyền giải thuật đàn kiến tổ hợp lại tác nhân quần thể mà dựa ứng xử xã hội quần thể Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây Trong hệ, cá thể tự điều chỉnh quỹ đạo dựa vị trí tốt vị trí tốt quần thể Qua làm tăng tính tự nhiên cá thể nhanh chóng đạt tới giá trị tối ưu tồn c c với phương án tối ưu Những kết luận văn là:  Xây dựng mơ hình phân bổ công việc (task) tập tài nguyên (resource) tức phân bổ công việc với tài nguyên tính tốn để xử lý cho chi phí thực thi tối thiểu  Đề xuất giải thuật lập lịch heuristic dựa PSO biến thể để giải vấn đề phân bổ công việc – tài ngun dựa mơ hình đề xuất  Tiến hành kiểm chứng thuật toán đề xuất thực nghiệm Luận văn có cấu trúc g m chương sau:  Chương 1: Các kiến thức : Trình bày tổng quan kiến thức đ thị, kiến trúc mơ hình hình phát triển điện toán đám mây lý thuyết lập lịch  Chương 2: Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây(SRAP): Trình bày tổng quan vấn đề lập lịch phân bổ tài ngun mơi trường điện tốn đám mây từ phát biểu toán SRAP  Chương 3: Tổng quan thuật tốn giải tốn : Trình bày số thuật toán ứng d ng để giải toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây  Chương 4: Giải thuật đề xuất: Trình bày khái niệm tổng quan phương pháp tối ưu bầy đàn PSO cách thức xây dựng giải thuật PSO, giải thuật lập lịch động dựa PSO để giải toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây 10 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây cạnh tranh Cloud Một máy chủ Cloud đ ng thời chia s số máy ảo mà thực ứng d ng dựa người dùng xác định thông số kỹ thuật QoS Tương tự vậy, nhà phát triển ứng d ng đám mây đánh giá hiệu suất thực số h sơ khối lượng cơng việc cách mơ hình hóa đặc tính ứng d ng, đặc tính mạng trung tâm liệu khác nhau, người sử d ng cách sử d ng tính trình bày cấp độ Tầng User code cho thấy nhiều chức liên quan đến cấu hình cho máy chủ (số lượng máy móc, đặc điểm kỹ thuật ch ng …), ứng d ng (số lượng tác v yêu cầu), máy ảo, số lượng người dùng loại ứng d ng, sách lập lịch mơi giới Thiết kế thực CloudSim Các lớp CloudSim: Hình 30: Thiết kế sơ đồ lớp CloudSim[19] 73 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây BWProvisioner: Đây lớp trừu tượng dùng để mơ hình sách dự phịng băng thơng cho máy ảo triển khai thành phần máy chủ CloudCoordinator: Lớp trừu tượng cung cấp công suất liên bang đến trung tâm liệu Nó định kỳ theo dõi tình trạng trung tâm liệu nội bộ, dựa định liệu phần tải trọng trung tâm liệu di chuyển hay khơng Thực c thể hóa đối tượng có chứa cảm biến sách c thể để áp d ng trình chuyển giao tải Giám sát thực định kỳ theo phương thức updateDatacenter() truy vấn đến cảm biến khác nhau, cho tính theo dõi Cloudlet: Lớp mơ hình ứng d ng dịch v dựa đám mây (phân phối nội dung, mạng xã hội, công việc kinh doanh), thường triển khai trung tâm liệu CloudSim đại diện cho phức tạp ứng d ng u cầu tính tốn Tất thành phần ứng d ng có chiều dài hướng dẫn trước giao (kế thừa từ thành phần Gridlet GridSim) số lượng truyền liệu (cả trước sau lấy) mà cần phải thực thành công lưu trữ ứng d ng Lớp mở rộng để hỗ trợ mơ hình hóa số liệu khác để thực ứng d ng, giao dịch ứng d ng sở liệu theo định hướng DataCenter: Lớp mơ hình lõi hạ tầng cấp dịch v (phần cứng, phần mềm) cung cấp nhà cung cấp dịch v mơi trường điện tốn đám mây (Amazon, Azure, App Engine) DatacenterBroker: Lớp mơ hình nhà mơi giới, trách nhiệm trung gian người dùng nhà cung cấp dịch v tùy thuộc vào yêu cầu người sử d ng QoS triển khai tác v ph c v mây DatacenterCharacteristics: Lớp mở rộng đặc điểm tài nguyên GridSim cách thêm mơ tả chi phí sử d ng tài nguyên trung tâm liệu DatacenterTags: Lớp có chứa th sử d ng với thông báo, để xác định loại tin nhắn khác FederatedDataCenter: Lớp mở rộng trung tâm liệu 74 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây cách thêm khả liên bang trung tâm liệu Host: Lớp mơ hình lớp dịch v vật lý trung tâm liệu dựa đám mây Nó chứa số lượng nhớ lưu trữ, danh sách yếu tố chế biến (đại diện cho máy tính đa l i), sách phân bổ để chia s sức mạnh xử lý máy ảo, sách băng thơng nhớ dự phịng cho máy ảo MemoryProvisioner: Đây lớp trừu tượng đại diện cho sách dự phịng để cấp phát nhớ cho máy ảo NetworkTopology: Lớp chứa thông tin để thêm hành vi mạng mô Lập đ thực thể CloudSim nút mạng thực cách rõ ràng người sử d ng mã (bằng cách sử d ng phương thức mapNode()) Tính tốn thời gian chậm trễ thơng điệp giải thoát thực theo phương thức addDelay() send() SANStorage: Lớp mơ hình khu vực lưu trữ mạng thường có sẵn cho trung tâm liệu dựa đám mây để lưu trữ khối lượng lớn liệu Sensor: Giao diện phải thực để đại diện cho cảm biến sử d ng CloudCoordinator theo dõi thuộc tính c thể trung tâm liệu liên quan Nó dựa thơng tin cung cấp cảm biến để CloudCoordinator đưa định tải trung tâm liệu phải cân không VirtualMachine: Lớp mô hình thể máy ảo, có quản lý suốt vịng đời trách nhiệm thành phần máy chủ VirtualMachineList: Một lớp helper để lưu trữ loạt máy ảo Nó thông qua để DatacenterBroker mô tả máy ảo khởi tạo để triển khai Cloud VMCharacteristics: Lớp chứa mô tả máy ảo: nhớ cần thiết, băng thơng, số CPU sách dự phòng sử d ng 75 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây VMMAllocationPolicy: Đây lớp trừu tượng thực thành phần chủ mơ hình sách (khơng gian chia s , thời gian chia s ) cần thiết để phân bổ sức mạnh xử lý cho máy ảo VMProvisioner: Lớp trừu tượng đại diện cho sách trích lập dự phịng Màn hình máy ảo sử d ng phân bổ máy ảo vào máy chủ VMScheduler: Lớp trừu tượng mở rộng triển khai thực sách để chia s sức mạnh xử lý Cloudlets chạy máy ảo 5.2 Dữ liệu thử nghiệm Luận văn tiến hành thử nghiệm giải thuật liệu: liệu thử nghiệm số g m tác v lấy từ báo tác giả Suraj Pandey, Linlin Wu[18], liệu số g m 53 tác v (AIRSN workflow), liệu số 4,5 g m 44 124 tác v (Chimera workflow - http://toolkit.globus.org), liệu thử nghiệm số 6, 7, 8, 9, 10 sinh ngẫu nhiên từ sinh liệu Montage (Montage:http://montage.ipac.caltech.edu.) Các liệu biểu diễn theo cấu tr c sau: Dữ liệu biểu diễn cho tác v lu ng công việc tập tin đầu vào inputtask.txt với nội dung liệu:  dòng lưu trữ số tác v n  n dòng lưu trữ tên tác v với độ dài liệu cần xử lý  dòng lưu trữ quan hệ ph thuộc theo cấu trúc Ti → Tj : f theo tác v Ti thực đưa tệp tin có kích thước f tệp tin đ ng thời liệu đầu vào tác v Tj Ví d : lu ng cơng việc có tác v hình 31 biểu diễn file liệu inputtask.txt hình 32: Trong đó, dịng lữu trữ số tác v tác v Dòng đến dòng lưu trữ tác v với độ dài liệu cần xử lý tác v 25000MI Các dòng 10 đến dòng 17 lưu trữ quan hệ ph thuộc theo cấu trúc → : 1000 theo tác v 76 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây T1 thực đưa tệp tin có kích thước 1000MB tệp tin đ ng thời liệu đầu vào tác v T2 Hình 31: Luồng cơng việc Hình 32: Nội dung liệu đơợc lưu trữ tệp inputtask.txt cho luồng công việc 77 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây Dữ liệu tài nguyên biểu diễn tệp tin inputthost.txt:  Dòng số mơ tả kích thước băng thơng tài ngun  Các dịng dịng mơ tả tài nguyên host đám mây theo cú pháp: số_nhân_xử_lý năng_ ực_xử_lý chi_phí_thực_thi Ví d : liệu tài nguyên host lưu tệp tin inputhost.txt hình 33 đây: Hình 33: Nội dung liệu lưu trữ tệp inputhost.txt cho luồng công việc Trong dịng mơ tả kích thước băng thơng (bandwidth) tài ngun 1250000 Các dịng dịng mơ tả tài ngun host đám mây  Dịng số mơ tả liệu host H1 có số nhân xử l (CPU) 1, lực xử lý 1000mips chi phí thực thi 0.1$ hour 1MB đơn vị liệu  Dịng số mơ tả liệu host H2 có số nhân xử l (CPU) 1, lực xử lý 1000mips chi phí thực thi 0.2$ hour 1MB đơn vị liệu  Dịng số mơ tả liệu host H3 có số nhân xử l (CPU) 1, lực xử lý 1000mips chi phí thực thi 0.3$ hour 1MB đơn vị liệu Dữ liệu chi phí đường truyền liệu tài nguyên biểu diễn lưu tệp tin communication_cost.txt với giả thiết chi phí truyền thông từ host Hi đến host Hj chi phí truyền thơng liệu từ host Hj đến host Hi:  Dòng biểu diễn số tài nguyên m host đám mây 78 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên môi trường điện tốn đám mây  Các dịng cú pháp: Hosti → Hostj : cost biểu diễn chi phí truyền thông đơn vị liệu (MB) từ host Hosti đến Hostj (hoặc ngược lại) cost($) Ví d : chi phí truyền liệu tài nguyên tính tốn biểu diễn hình 34 đây: Hình 34: Nội dụng liệu lưu trữ tệp tin communication_cost.txt cho luồng cơng việc Trong dịng số biểu diễn số tài nguyên host đám mây Dịng số , 3, biểu diễn chi phí truyền thông liệu theo cú pháp: → : 0.17 với nghĩa chi phí truyền thơng đơn vị liệu (MB) từ host Host1 đến Host2 (hoặc ngược lại) 0.17 ($) 5.3 Kết thử nghiệm Bảng kết thử nghiệm tổng hợp kết thử nghiệm thuật toán (Random, Round Rubin, PSO, HPSO, HPSO*) 10 liệu Mỗi dòng liệu bảng tổng hợp kết trung bình 30 lần chạy liệu với - n số tác v liệu, - min: tổng chi phí nhỏ 30 lần chạy, - avg: tổng chi phí trung bình 30 lần chạy, - : độ lệch chu n tổng chi phí 79 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên môi trường điện toán đám mây S T T Random n T ời gian Chi phí Round Rubin avg T ời gian Chi phí PSO avg T ời gian Chi phí HPSO avg T ời gian Chi phí HPSO* avg T ời gian Chi phí avg 22.6 34.2 5.8 0.115 35.0 35.0 0.0 0.075 17.6 32.92 7.39 0.080 17.6 18.32 1.124 0.993 17.6 18.32 1.124 1.025 32.5 72.76 89.76 0.388 50.0 50.0 0.0 0.100 27.6 60.59 38.44 0.398 22.7 27.69 3.532 0.939 17.9 28.10 3.643 0.973 53 1,237 3.193 0.934 3444 2.843 2.843 0.0 2885 1.394 3.446 1.263 4386 0.621 0.788 0.117 4212 0.340 0.539 0.108 2872 44 0.968 1.914 0.697 2442 2.532 2.532 0,0 2821 1.064 2.007 0.844 3001 0.497 0.619 0.068 3308 0.319 0.515 0.133 2701 124 24676 47924 1156 537459 57 61510 61510 0.0 609466 43 3481 68872 18344 815007 93 12637 16274 1583 73472 746 10291 12855 885.8 58018 699 16 0.311 1.020 0.685 1521 3.012 3.012 0.0 2824 0.17 0.672 0.645 1351 0.018 0.122 0.07 1225 0.28 0.094 0.094 734 25 0.453 1.254 0.465 1668 1.414 1.414 0.0 1885 0.528 1.346 0.513 2071 0.231 0.315 0.055 1895 0.102 0.242 0.081 1633 77 2.474 3.196 0.765 3552 3.354 3.354 0.0 3307 2.200 4.428 1.208 5258 0.629 0.989 0.152 4531 0.583 0.800 0.196 3443 81 2.382 3.604 0.765 3833 3.029 3.029 0.0 3382 1.601 4.884 1.671 5330 0.844 1.148 0.146 5466 0.619 0.915 0.187 4308 10 42 0.750 1.682 0.785 2467 1.330 1.330 0.0 2113 0.841 1.659 0.669 2795 0.421 0.594 0.101 3524 0.288 0.442 0.097 2322 Bảng 3: Tổng hợp kết thử nghiệm liệu 80 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây 5.4 Đ n gi kết thử nghiệm Từ kết thử nghiệm giải thuật 10 liệu (bảng 3) nhận xét:  Với liệu 1, 2, với số tác v tương ứng (5, 8, 16 – số tác v nhỏ) giải thuật PSO cho kết tính tốn chi phí tốt giải thuật Random RoundRubin, nhiên nhìn vào số liệu chi phí nhỏ nhất(min) chi phí trung bình(avg) kết chạy PSO với liệu cho thấy chênh lệch lớn( min-avg: 17.6-32.92 với liệu 1; 0.170.672 với liệu 6) Với liệu có số tác v lớn hơn, kết thử nghiệm giải thuật PSO không cho kết tốt hẳn giải thuật Random RoundRubin  Trên tất 10 liệu thử nghiệm, giải thuật HPSO HPSO* cho kết tốt hẳn so với giải thuật PSO, Random RoundRubin Tuy nhiên số trường hợp, giải thuật HPSO HPSO* giảm chi phí thời gian thực lại lớn so với giải thuật PSO, Random RoundRubin: Với liệu 1: thời gian thực HPSO 0.993 giây, HPSO* 1.025 giây lớn nhiều so với thời gian tính tốn giải thuật Random(0.115 giây), RoundRubin (0.075 giây), PSO(0.080 giây)  Kết thử nghiệm giải thuật PSO liệu có nhiều trường hợp có độ lệch chu n lớn (như liệu số chi phí trung bình 3.446, chi phí nhỏ 1.394 với độ lệch chu n lên tới 1.263) cho thấy kết thử nghiệm có độ dao động lớn Trong với liệu này, độ lệch chu n giải thuật HPSO 0.117 0.108 HPSO* Nhìn chung, độ lệch chu n kết thử nghiệm với giải thuật HPSO HPSO* nhỏ cho thấy giải thuật HPSO, HPSO* cho kết chạy ổn định so với giải thuật Random, PSO 81 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây Từ bảng tổng hợp kết thử nghiệm liệu xây dựng bảng so sánh mức độ tăng giảm chi phí thử nghiệm giải thuật HPSO so với PSO, HPSO* so với PSO HPSO* so với HPSO liệu tính theo % Ví d so sánh tổng chi phí giải thuật HPSO với giải thuật PSO -44,34 biểu diễn mức độ giảm chi phí thực giải thuật HPSO so với giải thuật PSO liệu 44,34% Bộ ữ iệu Số c vụ HPSO HPSO* (PSO) (PSO) (HPSO) -44.34 -44.34 -54.30 -53.62 +1.46 53 -77.13 -84.36 -31.6 44 -69.16 -74.34 -16.8 124 -76.37 -83.85 -29.54 16 -81.85 -86.02 -22.95 25 -76.6 -82.02 -23.18 77 -77.66 -81.19 -19.11 81 -76.49 -81.27 -20.30 10 42 -64.20 -73.36 -25.59 Bảng 4: Bảng so sánh chi phí thử nghiệm giải thuật HPSO so với PSO, HPSO* so với PSO HPSO* so với HPSO liệu (đơn vị %) Nhận thấy giải thuật PSO ứng d ng giải toán lập lịch cho kết không tốt hai giải thuật phố biến Random RoundRubin Giải thuật lập lịch động dựa PSO (HPSO) biến thể (HPSO*) giúp cải thiện kết tốt, giảm tổng chi phí xuống từ đến lần bảng so sánh kết giải thuật PSO, HPSO, HPSO* bảng 82 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây 7.00 Tổng chi phí (total cost) 6.00 5.00 Random 4.00 RoundRubin PSO 3.00 HPSO 2.00 HPSO* 1.00 0.00 53 44 124 16 25 77 81 42 Số tác vụ Hình 35: So sánh tổng chi phí giải thuật PSO, HPSO HPSO* 83 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây KẾT LUẬN Luận văn tìm hiểu trình bày giải thuật lập lịch động dựa giải thuật tối ưu bầy đàn (PSO) nhằm m c đích tối thiểu tổng chi phí thực thi ứng d ng lu ng cơng việc mơi trường điện tốn đám mây Đ ng thời luận văn trình bày biến thể giải thuật PSO PSO* với cải tiến sử d ng trao đổi ngẫu nhiên phần tử cá thể gbest với mong muốn tìm gbest tốt từ hội t nhanh Khi so sánh kết thực nghiệm giải thuật PSO, HPSO HPSO* với hai giải thuật phổ biến Random, RoundRubin luận văn rõ giải thuật lập lịch động dựa PSO đưa phương án với chi phí thực thi giảm nhiều (trên 50%) Tuy nhiên luận văn dừng lại m c tiêu tối thiểu tổng chi phí thực thi với tốn thực có nhiều m c tiêu khác nhau: tối thiểu tổng thời gian thực thi, tối thiểu tổng chi phí thực thi thời gian thực thi hay cân tải… Hướng nghiên cứu luận văn tiến hành so sánh giải thuật HPSO, HPSO* với giải thuật Gen di truyền, giải thuật đàn Ong… để tiến tới đưa giải thuật tốt cho toán lập lịch mơi trường điện tốn đám mây 84 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện toán đám mây TÀI LIỆU THAM KHẢO [1] D M S Daryl C Plummer, David W Cearley Cloud computing confusion leads to opportunity.Technical report, Gartner Research, 2008 [2] I Foster, Y Zhao, I Raicu, and S Lu Cloud computing and grid computing 360-degree com-pared In Proceedings of Grid Computing Environments Workshop, pages 1–10, 2008 [3] P Mell and T Grance The NIST Definition of Cloud Computing (Draft) National Institute of Standards and Technology, 53:7, 2010 [4] Fei Teng (2012) Grade de docteur “management des données et ordonnancement des tâches sur architectures distribuées” 12.1.2012 [5] M Cafaro and G Aloisio Grids, Clouds and Virtualization Springer-Verlag New York, Inc., 1st edition, 2010 [6] Security Guidance for Critical Areas of Focus in Cloud Computing V2.1, Cloud Security Alliance, December 2009 [7] Dominique A Heger, Optimized Resource Allocation & Task Scheduling Challenges in Cloud Computing Environments, DHTechnologies (DHT), dheger@dhtusa.com [8] Ravneet Kaur Chawla, “Designing a business application for workflows in Cloud Computing”, Thesis, Master of Engineering in Software Engineering, Thapar University [9] Suraj Pandey, Kapil Kumar Gupta, Adam Barker and Rajkumar Buyya, Minimizing Execution Cost when using Globally Distributed Cloud Services, Proceedings of the 24th IEEE International Conference on Advanced Information Networking and Applications (AINA 2010), Perth, Australia, April 20-23, 2010 [10] Qinghai Bai, “Analysis of particle swarm optimization algorithm”, Computer and Information Science Vol 3, No.1 February 2010, www.ccsenet.org/cis 85 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài nguyên mơi trường điện tốn đám mây [11] Kim, D.W., Kim, K.H., Jang, W., Chen, F.F, “Unrelated parallel machines cheduling with setup times using simulated annealing”, Robotics and Computer Integrated Manufacturing 18, 223-31, 2002 [12] Gendreau, M., Laporte, G., Guimara, E.M, “A divide and merge heuristic for the multiprocessor scheduling problem with sequence dependent setup times”, European Journal of Operational Research 133, 183–189, 2001 [13] Ke Liu, B.Sci, M.Eng, “Scheduling Algorithms for Instance-Intensive Cloud Workflows”, CS3-Centre for Complex Software Systems and Services Faculty of Information and Communication Technologies Swinburne University of Technology, June, 2009 [14] D.T Pham, A Ghanbarzadeh, E Koỗ, S Otri , S Rahim , M Zaidi , The Bees Algorithm – A Novel Tool for Complex Optimisation Problems Manufacturing Engineering Centre, Cardiff University, Cardiff CF24 3AA, UK [15] Xin-She Yang, University of Cambridge, United Kingdom, Natrue-Inspired Metaheuristic Algorithm, 2010 [16] Isam Azawi Mohialdeen, “Comparative study of scheduling algorithms in cloud computing enviroment”, College of Information Technology, University Tenaga Nasional, Selangor, Malaysia, journal of Computer Science, 9(2): 2520263, 2013 [17] Sheng-Jun Xue, Wu Wu “Scheduling Workflow in Cloud Computing Based on Hybrid Partical Swarm Algorithm” Telkomnika, vol.10, no7, november 2012, e-ISSN: 2087-278x [18] Suraj Pandey, Linlin Wu, Siddeswara Mayura Guru, Rajkumar Buyya, “A Particle Swarm Optimization – based Heuristic for Scheduling Workflow Applications in Cloud Computing Enviroments”, Cloud Computing and Distributed Systems Laboratory Department of Computer Science and Software Engineering The University of Melbourne, Autralia [19] Rodrigo N Calherios, Rajiv Ranjan, César A F De Rose and Rajkumar Buyya, “Cloudsim: A novel framework for Modeling and Simulation of Cloud 86 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT Bài toán lập lịch phân bổ tài ngun mơi trường điện tốn đám mây Computing Infrastructures and Services”, The University of Melbourne, Australia [20] Shi-ping Chen, Chen Jin KaiGuo, Hong Sun (2013) Research and Simulation of Task Scheduling Algorithm in cloud Computing” Telkomnika vol.11 No11 November 2013 E-ISSN: 2087-278X [21] Shubhangi D.Patil, S.C Mehrotra, (2012) Resource allocation and Scheduling in the Cloud, International Journal of Emererging Trends & Technology in computer Science, ISSN 2278-6856 87 Học viên thực hiện: Nguyễn Thị Thùy Liên - CB120046 – 12BCNTT ... triển điện tốn đám mây lý thuyết lập lịch  Chương 2: Bài toán lập lịch phân bổ tài nguyên môi trường điện tốn đám mây( SRAP): Trình bày tổng quan vấn đề lập lịch phân bổ tài nguyên môi trường điện. .. CB120046 – 12BCNTT Bài tốn lập lịch phân bổ tài ngun mơi trường điện tốn đám mây CHƢƠNG BÀI TỐN LẬP LỊCH VÀ PHÂN BỔ TÀI NGUYÊN TRONG MÔI TRƢỜNG ĐIỆN TOÁN ĐÁM MÂY 2.1 Vấn đề lập lịch phân bổ ài nguy n... 30 1.3.3 Lập lịch cho lu ng công việc 36 CHƢƠNG BÀI TOÁN LẬP LỊCH VÀ PHÂN BỔ TÀI NGUYÊN TRONG MÔI TRƢỜNG ĐIỆN TOÁN ĐÁM MÂY 38 2.1 Vấn đề lập lịch phân bổ tài nguyên đám mây