Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)

Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)Đề xuất thuật toán cân bằng tải dựa vào thời gian đáp ứng trên điện toán đám mây (Luận văn thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - LÊ NGỌC HIẾU ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI DỰA VÀO THỜI GIAN ĐÁP ỨNG TRÊN ĐIỆN TOÁN ĐÁM MÂY LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) THÀNH PHỐ HỒ CHÍ MINH – 2018 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Lê Ngọc Hiếu ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI DỰA VÀO THỜI GIAN ĐÁP ỨNG TRÊN ĐIỆN TOÁN ĐÁM MÂY Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS TRẦN CÔNG HÙNG THÀNH PHỐ HỒ CHÍ MINH – 2018 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố bất ký cơng trình khác TP.HCM, ngày 21 tháng 05 năm 2018 Học viên thực luận văn LÊ NGỌC HIẾU ii LỜI CẢM ƠN Để tơi hồn thiện cơng trình nghiên cứu này, tơi xin trân trọng cảm ơn thầy PGS.TS Trần Công Hùng, Học viện Cơng Nghệ Bưu Chính Viễn Thơng sở Tp Hồ Chí Minh Thầy tận tình giúp đỡ cho tơi suốt q trình nghiên cứu thực luận văn Nếu khơng có hỗ trợ thơng cảm giúp đỡ thầy, tơi khơng thể hồn tất luận văn Một lần tơi xin chân thành cảm ơn thầy ghi ơn thầy suốt đời Ngồi ra, tơi xin trân trọng cảm ơn quý Thầy Cô trường Học viện Công Nghệ Bưu Chính Viễn Thơng sở Tp Hồ Chí Minh, thầy cơng tác phòng đào tạo, đặc biệt Nguyễn Thị Phương Thảo, tận tình hướng dẫn bạn học viên đường học tập Sau cùng, xin gửi lời cảm ơn sâu sắc tới anh Nguyễn Xuân Phi, bạn học viên nhóm học tập ủng hộ, động viên giúp đỡ tơi vượt qua khó khăn suốt trình thực luận văn TP.HCM, ngày 07 tháng 05 năm 2018 Học viên thực luận văn LÊ NGỌC HIẾU iii Mục lục Lời cam đoan i Lời cám ơn ii Mục lục iii Danh mục thuật ngữ, chữ viết tắt v Danh mục bảng vi Danh mục hình vii MỞ ĐẦU Chương – CƠ SỞ LÝ LUẬN 1.1 Giới thiệu chung 1.2 Tổng quan điện toán đám mây 1.2.1 Lịch sử đời điện toán đám mây 1.2.2 Khái niệm điện toán đám mây 1.2.3 Các đặc điểm điện toán đám mây 1.3 Tổng quan cân tải điện toán đám mây 10 1.3.1 Khái niệm cân tải điện toán đám mây 10 1.3.2 Phân loại cân tải 11 1.3.3 Đo lường cân tải 12 1.3.4 Các sách thuật tốn cân tải 13 1.3.5 Các mục tiêu thuật toán cân tải 14 1.3.6 Các thuật toán cân tải 14 1.4 Tổng quan thuật toán dự báo ARIMA 17 1.4.1 Dữ liệu chuỗi thời gian 17 1.4.2 Tính dừng tính mùa vụ 18 1.4.3 Nhận dạng mơ hình 19 1.4.4 Kiểm tra chuẩn đốn mơ hình 20 1.4.5 Các bước phát triển mơ hình ARIMA 21 1.5 Kết luận chương 21 Chương – CÁC CƠNG TRÌNH LIÊN QUAN 23 iv 2.1 Các cơng trình giới 23 2.2 Các cơng trình nước 32 Chương – THUẬT TOÁN ĐỀ XUẤT CẢI TIẾN 35 3.1 Giới thiệu chung 35 3.2 Mơ hình nghiên cứu 35 3.3 Đề xuất thuật toán cân tải dựa vào thời gian đáp ứng 37 3.4 Kết luận chương 39 Chương – MÔ PHỎNG VÀ ĐÁNH GIÁ THUẬT TOÁN ĐỀ XUẤT CẢI TIẾN40 4.1 Giới thiệu chung 40 4.2 Môi trường mô thực nghiệm 40 4.3 Thực nghiệm kết thực nghiệm 42 4.4 Kết luận chương 47 KẾT LUẬN VÀ KIẾN NGHỊ 48 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 50 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt QoS Quality of Service Chất lượng dịch vụ IoTs Internet of Things Internet vạn vật Cloud Cloud Environment Môi trường đám mây PE Process Element Đơn vị xử lý MIPS Millions Instructions Per Second Triệu xử lý giây VMM Virtual Machine Monitor Theo dõi máy ảo VM Virtual Machine Máy ảo BW Bandwidth Băng thông RT Response Time Thời gian đáp ứng ARIMA Auto Regression Integrated Tự hồi qui tích hợp trung bình Moving Average trượt vi DANH SÁCH BẢNG Bảng 4.1 Thơng số cấu hình Datacenter …………………………………… 41 Bảng 4.2 Cấu hình máy ảo …………………………………………………… 41 Bảng 4.3 Cấu hình thơng số Request …………………………………… 41 Bảng 4.4 Kết thực nghiệm mô với máy ảo …………………… 42 Bảng 4.5 Kết thực nghiệm mô với máy ảo …………………… 43 Bảng 4.6 Kết thực nghiệm mô với máy ảo …………………… 45 vii DANH SÁCH HÌNH VẼ Hình 1.1 Tổng thể điện tốn đám mây ………………………………… Hình 1.2 Phân loại thuật tốn cân tải ………………………………… 12 Hình 1.3 Sơ đồ mơ mơ hình Box-Jenkins ………………………………… 21 Hình 2.1 Phân loại cách thức phân bổ nguồn tài nguyên cloud ………… 24 Hình 2.2 Sơ đồ mã giả thuật tốn LBRS ………………………………………… 27 Hình 2.3 Sơ đồ mã giả thuật tốn Min-Min ……………………………………… 31 Hình 2.4 Sơ đồ mã giả thuật tốn LBMin-Min ………………………………… 32 Hình 3.1 Mơ hình cloud u cầu người dùng có sử dụng cân tải ……… 36 Hình 4.1 Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng …… 43 Hình 4.2 Biểu đồ so sánhthời gian đáp ứng dự báo trường hợp máy ảo… 43 Hình 4.3 Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng … 44 Hình 4.4 Biểu đồ so sánhthời gian đáp ứng dự báo trường hợp máy ảo 44 Hình 4.5 Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng … 45 Hình 4.6 Biểu đồ so sánhthời gian đáp ứng dự báo trường hợp máy ảo … 46 MỞ ĐẦU Ngày nay, khái niệm IoT nhắc đến xu kỷ nguyên ngày toàn giới IoT theo Wikipedia mạng lưới kết nối thiết bị Internet (Internet of Things) hay theo chuyên gia Việt Nam thường gọi Internet vạn vật, đồ vật, người cung cấp định danh riêng mình, vạn vật có khả truyền tải, trao đổi thông tin liệu qua mạng mà không cần đến tương tác người với người hay người với máy tính Theo dự báo Cisco [1] đến năm 2020 có khoảng 50 tỷ đồ vật kết nối vào internet, tỷ người kết nối với nhau, ngàn tỷ doanh thu tính theo USD, 25 triệu ứng dụng, 25 tỷ hệ thống nhúng hệ thống thông minh 50 ngàn tỷ gigabytes liệu lưu trữ Để đáp ứng nhu cầu xu IoT, công nghệ & kỹ thuật tương ứng phát triển chóng mặt khơng kém, yếu tố quan trọng cơng nghệ đám mây hay hiểu điện toán đám mây, xu tất yếu công nghệ thông tin ngày Theo tài liệu học tập US-CERT [2] điện tốn đám mây (Cloud computing) dịch vụ thuê bao, nơi mà sử dụng mạng khơng gian lưu trữ mạng tất tài nguyên mạng Nếu sử dụng dịch vụ email có nhiều Google mail, HotMail, Yahoo mail… Đám mây thay đổi thứ, giúp truy cập vào liệu ta lúc hay nơi Không vậy, dịch vụ điện toán đám mây hỗ trợ tối đa hạ tầng, tảng công nghệ phần mềm tùy theo yêu cầu Với xu này, việc ta ý đến cách truy xuất tài nguyên, sử dụng tài nguyên hiệu quả, tiết kiệm lượng vấn đề cần đặt cho điện toán đám mây Để phát huy tốt có đám mây, việc tiết kiệm lượng điện toán đám mây vô cần thiết quan trọng, giúp tăng hiệu suất làm việc tăng tuổi thọ thiết bị đám mây Theo báo tiết kiệm lượng điện toán đám mây xanh (Green Cloud Computing) [3] mơi trường đám mây phải có tiêu chuẩn đảm bảo chất lượng dịch vụ, đặc biệt sử dụng hiệu nguồn lượng trung tâm liệu (data center), báo nghiên cứu 68 công trình 43 Hình 4.1: Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng Hình 4.2: Biểu đồ so sánh thời gian đáp ứng dự báo trường hợp máy ảo Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu, yêu cầu khởi tạo với chiều dài kích thước ngẫu nhiên, số lượng Request 100, 200,… đến 900: 44 Bảng 4.5: kết thực nghiệm mô với máy ảo Số lần request 100 200 300 400 500 600 700 800 900 VM0 2635 5194 7654 10047 12324 15291 17650 20066 22941 VM1 2443 4986 7700 10251 12564 14984 17411 19700 22334 VM2 2534 5069 7584 9846 12582 14964 17151 19653 22469 VM3 2353 4928 7291 10110 12328 14685 17704 20149 22468 Threshold 2628 5192 7701 10258 12582 15291 17702 20153 22941 Hình 4.3: Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng Hình 4.4: Biểu đồ so sánh thời gian đáp ứng dự báo trường hợp máy ảo 45 Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu, yêu cầu khởi tạo với chiều dài kích thước ngẫu nhiên, số lượng Request 100, 200,… đến 900: Bảng 4.6: Kết thực nghiệm mô với máy ảo Số lần request 100 200 300 400 500 600 700 800 900 VM0 VM1 VM2 VM3 VM4 Threshold 1878 1904 2042 1828 2114 2133 4020 3922 4097 3913 3975 4028 6087 6031 5874 5987 5724 6089 7896 7913 8045 7820 7760 8048 9889 9752 10019 9934 10033 10033 12223 11875 12080 12311 12311 12315 13852 13939 14279 14347 13771 14346 15629 16117 16300 15929 16270 16299 18144 17819 17967 18336 18174 18338 Hình 4.5: Biểu đồ so sánh thời gian đáp ứng dự báo máy ảo ngưỡng 46 Hình 4.6: Biểu đồ so sánh thời gian đáp ứng dự báo trường hợp máy ảo Thông qua 03 biểu đồ so sánh thời gian đáp ứng dự báo máy ảo với ngưỡng tính tốn (ứng với trường hợp máy ảo, máy ảo máy ảo) ta thấy phân bổ ổn định hợp lý thuật toán, thời gian đáp ứng dự báo máy ảo không khác biệt so với thời gian dự báo cloud (tức ngưỡng) Ta thấy sai số dự báo thấp thuật toán ARIMA, giúp cho việc phân bổ request tương ứng tới máy ảo cách hiệu Thực nghiệm mơ mơ nhóm máy ảo, chưa tính tới việc mở rộng tập máy ảo (VM pool) để giảm tải trường hợp cần thiết, giả định nhóm máy ảo xử lý tối đa request, vượt ta mở rộng pool Tuy nhiên, việc thí nghiệm mơ với lượng request lớn 1000 request đòi hỏi máy tính mạnh xử lý tốt hơn, hạn chế thí nghiệm mơ 4.4 Kết luận chương Chương luận văn trình bày mơ hình thực nghiệm mơ phỏng, thơng số kịch đưa dựa vào trình request browser mơi trường cloud Từ đó, ghi nhận thông số thời gian đáp ứng dự báo máy ảo, cloud Việc chạy thực nghiệm mô với thông số đến máy 47 ảo, chịu tải từ 100 tới 900 request cho thấy kết tương đối tốt, việc phân bổ request tới máy ảo xử lý đồng đều, dự đốn với sai số khơng lớn 48 KẾT LUẬN VÀ KIẾN NGHỊ Một thuật toán cân tải môi trường cloud phương pháp dự báo thời gian đáp ứng đề xuất thực nghiệm mô với mơ hình nhỏ Dựa ý tưởng cơng trình nghiên cứu trước, đưa giải thuật ứng dụng khai phá liệu thuật toán ARIMA để cân tải dựa vào thời gian đáp ứng Trong đó, việc tính tốn thời gian đáp ứng dự báo xác hiệu thuật tốn cao Tuy nhiên việc tính tốn xác đòi hỏi tốn nhiều nhớ xử lý nhiều, đồng thời người dùng mơi trường cloud có request vô đa dạng phong phú, nên thời gian đáp ứng biến đổi khôn lường cloud Thuật toán đề xuất luận văn tiếp cận cách khái quát phát huy ý tưởng dự báo xử lý chuỗi thời gian, điển hình thuật tốn ARIMA Do đó, thuật tốn đề có hướng tiếp cận cân tải môi trường đám mây, đồng thời đạt số kết thực nghiệm mô tích cực, cho thấy hướng phát triển tốt thuật toán Hướng phát triển thuật toán đề xuất việc đo lường hiệu chỉnh thời gian dự báo xác cách kết hợp ARIMA với học máy, học khơng giám sát có giám sát cách đưa khoảng thời gian cao điểm thấp điểm cloud Đế phát triển thuật toán tốt sâu hơn, cần thực nghiệm mô máy tính có cấu hình mạnh hơn, mơ quy mơ lớn Bên cạnh đó, việc cài đặt thuật toán CLOUD thực tế giúp ta nghiên cứu chun sâu cụ thể hơn, mơi trường cloud thực tế phát sinh vấn đề liên quan đến thời gian đáp ứng, từ hiệu chỉnh cách hợp lý hiệu 49 DANH MỤC TÀI LIỆU THAM KHẢO [1] Truy cập ngày 25 tháng 09 năm 2017 [2] US-CERT United States Computer Emergency Readiness Team, (2011), The Basics of Cloud Computing, Carnegie Mellon University [3] Imran Ghani & Naghmeh Niknejad & Seung Ryul Jeong, (2015), “Energy saving in green cloud computing data centers: a review”, Journal of Theoretical and Applied Information Technology, ISSN: 1992-8645, pages 16-30 [4] Danilo Ardagna1, Giuliano Casale, Michele Ciavotta, Juan FPérez and Weikun Wang, (2014), “Quality-of-service in cloud computing: modeling techniques and their applications”, Journal of Internet Services and Applications, pages 5-11 [5] Huỳnh Quyết Thắng (2014), Điện Toán Đám Mây, NXB Bách Khoa Hà Nội, Hà Nội, trang 10 [6] Peter Mell, Timothy Grance (2011), the NIST Definition of Cloud Computing, NIST Special Publication 800-145 [7] Rajwinder Kaur & Pawan Luthra, (2014), “Load Balancing in Cloud Computing”, Recent Trends in Information, Telecommunication and Computing, Association of Computer Electronics and Electrical Engineers, pages 374-381 [8] Ramasubramanian V.I.A.S.R.I Time series analysis, Library Avenue, New Delhi110 012 [9] Ross Ihaka Time Series Analysis, Lecture Notes for 475.726, Statistics Department, University of Auckland, 2005 [10] Roy Batchelor Box-Jenkins Analysis Cass Business School, City of Lodon [11] Syed Hamid Hussain Madni, (2016), “Recent advancements in resource allocation techniques for cloud computing environment: a systematic review”, Springer Science+Business Media New York 2016, DOI 10.1007/s10586-0160684-4 [12] Agraj Sharma & Sateesh K Peddoju, (2014), “Response Time Based Load Balancing in Cloud Computing”, 2014 International Conference on Control, 50 Instrumentation, Communication and Computational Technologies (ICCICCT), pp 1287-1293 [13] Ritu Kapur, (2015), “A Workload Balanced Approach for Resource Scheduling in Cloud Computing”, 978-1-4673-7948-9/15/$31.00 ©2015 IEEE [14] Rashmi K S & Suma V & Vaidehi M, (2012), “Enhanced Load Balancing Approach to Avoid Deadlocks in Cloud”, Special Issue of International Journal of Computer Applications (0975 – 8887), pages 31-35 [15] Huankai Chen & Professor Frank Wang & Dr Na Helian & Gbola Akanmu, (2013), “User-Priority Guided Min-Min Scheduling Algorithm For Load Balancing in Cloud Computing”, 2013 National Conference on Parallel Computing Technologies (PARCOMPTECH [16] Yanchang Zhao, (2013), R and Data Mining: Examples and Case Studies, Elsevier Press [17] Lê Văn Sơn & Phạm Nguyễn Minh Nhựt, (2012), “Vấn đề cung cấp tài nguyên máy ảo sở hạ tầng tính tốn đám mây”, Tạp chí khoa học công nghệ, đại học Đà Nẵng, 5(24), trang 63-71 [18] Tran Cong Hung & Nguyen Xuan Phi, (2016), “Study the effect of parameters to load balancing in cloud computing”, International Journal of Computer Networks & Communications (IJCNC), 8(3), pages 33-45 [19] Khiet Thanh Bui, Tran Vu Pham, & Hung Cong Tran, (2016), “A Load Balancing Game Approach for VM Provision Cloud Computing Based on Ant Colony Optimization”, Context-Aware Systems and Applications International Conference, ICCASA 2016 Thu Dau Mot, Vietnam, pages 52-63 51 Phụ lục 1: Các hàm / phương thức cài đặt bổ sung vào CloudSim public class VmExt extends Vm { private List LastRT; private double PredictedRT; public VmExt( int id, int userId, double mips, int numberOfPes, int ram, long bw, long size, String vmm, CloudletScheduler cloudletScheduler) { super(id, userId, mips, numberOfPes, ram, bw, size, vmm, cloudletScheduler); LastRT = new ArrayList(); } public double getPredictedRT() { List arraylist = getLastRT(); if(arraylist.size()>15){ double[] dataArray = new double[arraylist.size() - 1]; for (int i = 0; i < arraylist.size() - 1; i++) { dataArray[i] = arraylist.get(i); } ARIMA arima = new ARIMA(dataArray); int[] model = arima.getARIMAmodel(); this.PredictedRT = arima.aftDeal(arima.predictValue(model[0], model[1])); } else { this.PredictedRT =arraylist.get(arraylist.size()-1); } return this.PredictedRT; } public List getLastRT() { return this.LastRT; } public void addLastestRT(Double RT) { LastRT.add(RT); if (LastRT.size() > 50) { LastRT.remove(0); } } } 52 public class CloudletExt extends Cloudlet { private double responseTime; public CloudletExt(final int cloudletId, final long cloudletLength, final int pesNumber, final long cloudletFileSize, final long cloudletOutputSize, final UtilizationModel utilizationModelCpu, final UtilizationModel utilizationModelRam, final UtilizationModel utilizationModelBw) { super( cloudletId, cloudletLength, pesNumber, cloudletFileSize, cloudletOutputSize, utilizationModelCpu, utilizationModelRam, utilizationModelBw, false); } public double getResponseTime() { return this.getFinishTime() - this.getExecStartTime(); } } 53 public class ArimaDatacenterBroker extends SimEntity { private static List LastRT; private double PredictedRT; … public double getPredictedRT() { List arraylist = getLastRT(); if(arraylist.size()>50){ double[] dataArray = new double[arraylist.size() - 1]; for (int i = 0; i < arraylist.size() - 1; i++) { dataArray[i] = arraylist.get(i); } ARIMA arima = new ARIMA(dataArray); int[] model = arima.getARIMAmodel(); this.PredictedRT = arima.aftDeal(arima.predictValue(model[0], model[1])); } else { this.PredictedRT =arraylist.get(arraylist.size()-1); } return this.PredictedRT; } public List getLastRT() { return this.LastRT; } public void addLastestRT(Double RT) { LastRT.add(RT); if (LastRT.size() > 200) { LastRT.remove(0); } } protected VmExt getReliableVm() { VmExt res = null; double[] DistanceList = new double[vmsCreatedList.size()-1]; int i=0; double predicted = getPredictedRT(); for(VmExt vm: vmsCreatedList) { DistanceList[i] = Math.abs(vm.getPredictedRT() - predicted); i++; if(vm.getPredictedRT() < predicted) { return vm; //break; } } int index =getMin(DistanceList); return vmsCreatedList.get(index); } public static int getMin(double[] inputArray){ 54 double minValue = inputArray[0]; int index = 0; for(int i=1;i