BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Thanh Thúy MƠ HÌNH TỐN HỌC BIỂU DIỄN THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TOÁN ĐÁM MÂY LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH TP Hồ Chí Minh, năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH Nguyễn Thị Thanh Thúy MƠ HÌNH TOÁN HỌC BIỂU DIỄN THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TOÁN ĐÁM MÂY Chuyên ngành : Khoa học máy tính Mã số chuyên ngành: 60480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học PGS.TS Trần Cơng Hùng TP Hồ Chí Minh, năm 2020 i LỜI CAM ĐOAN Tôi cam đoan luận văn: “Mô hình tốn học biểu diễn thuật tốn cân tải điện tốn đám mây” cơng trình nghiên cứu tơi Ngoại trừ tài liệu tham khảo trích dẫn luận văn này, Tơi cam đoan toàn phần hay phần nhỏ luận văn chưa công bố sử dụng để nhận cấp nơi khác Khơng có sản phẩm/nghiên cứu người khác sử dụng luận văn mà khơng trích dẫn theo quy định Luận văn chưa nộp để nhận cấp trường đại học sở đào tạo khác Tp Hồ Chí Minh, ngày 05 tháng 01 năm 2020 Học viên thực luận văn Nguyễn Thị Thanh Thúy ii LỜI CẢM ƠN Trong suốt trình học tập nghiên cứu thực luận văn, nỗ lực thân, nhận hướng dẫn nhiệt tình q báu q Thầy Cơ, với động viên ủng hộ gia đình, bạn bè đồng nghiệp Với lịng kính trọng biết ơn sâu sắc, xin gửi lời cảm ơn chân thành tới: Ban Giám hiệu, Phòng đào tạo sau đại học quý Thầy Cô Khoa công nghệ thông tin, trường Đại học Mở thành phố Hồ Chí Minh tạo điều kiện thuận lợi giúp tơi hồn thành luận văn Tôi xin chân thành cảm ơn Thầy PGS.TS Trần Cơng Hùng, người thầy kính u hết lịng giúp đỡ, hướng dẫn, động viên, tạo điều kiện cho suốt q trình thực hồn thành luận văn Tơi xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp quan động viên, hỗ trợ tơi lúc khó khăn để tơi học tập hoàn thành luận văn Mặc dù có nhiều cố gắng, nỗ lực, thời gian kinh nghiệm nghiên cứu khoa học hạn chế nên khơng thể tránh khỏi thiếu sót Tơi mong nhận góp ý q Thầy Cơ bạn bè đồng nghiệp để kiến thức ngày hoàn thiện Xin chân thành cảm ơn! iii TĨM TẮT Điện tốn đám mây làm cho ngành công nghệ thông tin thay đổi phát triển vượt bậc Nó tiện ích giúp phần cứng phần mềm trở nên hấp dẫn dịch vụ Nó giải pháp cho doanh nghiệp muốn tiết kiệm chi phí mà chất lượng dịch vụ đảm bảo Một vấn đề giúp cho điện tốn đám mây thành cơng kỹ thuật cân tải, động thuật toán cân tải cho giảm thiểu thời gian, tiền bạc, mà hiệu công viêc cần thiết Cân tải nghĩ đến làm để phân phối nhiệm vụ nút cách công bằng, tận dụng hiệu tài nguyên để tránh gây lãng phí Nhằm nghiên cứu vấn đề luận văn “Mơ hình tốn học biểu diễn thuật toán cân tải điện toán đám mây” tập trung nghiên cứu kỹ thuật cân tải để phân bổ tác vụ cần xử lý đến nguồn tài nguyên cho lợi ích Kỹ thuật cần mơi trường mơ thành phần đám mây Broker, Datacenter, Máy ảo, Cloudlets…Do Cloud Analyst cơng cụ mà luận văn dùng để mơ Chúng ta đánh giá, phân tích đưa hạn chế ưu điểm thuật tốn từ đề xuất cải tiến cho thuật toán tương lai iv ABSTRACT Cloud computing makes the information technology industry change and boom It is a utility that makes hardware and software more attractive as a service It is also a solution for businessmen who want to save costs while ensuring the quality of service One of the issues that make cloud computing successful is the dynamic load balancing techniques in load balancing algorithms to minimize time and money, while still having the job efficiency, necessary Load balancing means that we immediately think about how to distribute tasks between nodes fairly, efficiently leveraging resources to avoid wasting In order to study this problem, the dissertation "Mathematical model of performing load balancing algorithm on cloud computing " focuses on load balancing techniques to allocate the task to be handled to resources in a way that benefits Most useful, this technique requires an environment that can simulate cloud components such as Broker, Datacenter, Virtual Machine, Cloudlets, etc Therefore, Cloud Analyst is the tool that the dissertation uses to simulate We can evaluate, analyze and introduce limitations as well as advantages of the algorithm from which we can propose improvements to the algorithm in the future v MỤC LỤC Lời cam đoan i Lời cảm ơn ii Tóm tắt iii Mục lục v Danh mục hình đồ thị viii Danh mục bảng x Danh mục viết tắt .xi CHƯƠNG 1: GIỚI THIỆU 1.1 Cơ sở hình thành luận văn .1 1.2 Mục tiêu nghiên cứu 1.3 Câu hỏi nghiên cứu .4 1.4 Đối tượng phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu .4 1.6 Ý nghĩa nghiên cứu .5 1.7 Kết cấu luận văn 1.8 Kết luận chương CHƯƠNG 2: CƠ SỞ TỔNG QUAN NGHIÊN CỨU 2.1 Tổng quan điện toán đám mây 2.2 Tổng quan cân tải điện toán đám mây 14 vi 2.3 Bộ công cụ mơ thuật tốn cân tải Cloud Analyst [12] 18 2.3.1 Các thành phần Cloud Analyst 18 2.3.2 Ưu điểm công cụ Cloud Analyst 26 2.4 Kết luận chương .27 CHƯƠNG 3: CÁC THUẬT TOÁN TIÊU BIỂU VÀ CƠNG TRÌNH LIÊN QUAN ĐẾN CÂN BẰNG TẢI 28 3.1 Các thuật toán tiêu biểu .28 3.1.1 Thuật toán Round-Robin 28 3.1.2 Thuật toán Weighted Round-Robin 29 3.1.3 Thuật toán Active Monitoring Load Balancer 30 3.1.4 Thuật toán Throttled 31 3.2 Các cơng trình liên quan đến cân tải gần .34 3.3 Kết luận chương .41 CHƯƠNG 4: THUẬT TỐN ĐỀ XUẤT ITA VÀ MƠ PHỎNG ĐÁNH GIÁ KẾT QUẢ 42 4.1 Thuật toán đề xuất ITA .42 4.1.1 Giới thiệu chung 42 4.1.2 Thuật toán Throttled cải tiến (ITA) cân tải 42 4.1.2.1 Mơ hình nghiên cứu 42 4.1.2.2 Sơ đồ thuật toán Throttled cải tiến (ITA) 44 4.1.2.3 Đánh giá thuật toán ITA 47 vii 4.2 Mơ chương trình đánh giá kết thuật toán ITA .47 4.2.1 Giới thiệu chung 47 4.2.2 Môi trường mô thực nghiệm 47 4.2.3 Thực nghiệm kết đạt 51 4.3 Kết luận chương .58 CHƯƠNG 5: KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 61 viii DANH MỤC HÌNH VÀ ĐỒ THỊ Hình 1.1 Tính cấp thiết cân tải điện tốn đám mây Hình 2.1 Cloud Computing Hình 2.2 Cấu trúc ba mơ hình dịch vụ điện toán đám mây 11 Hình 2.3 Máy ảo trình giám sát máy ảo 13 Hình 2.4 Phân loại thuật toán cân tải Cloud Computing 16 Hình 2.5 Trình mơ Cloud Analyst 18 Hình 2.6 Thành phần Cloud Analyst 19 Hình 2.7 Mơ tả data center 23 Hình 2.8 Sơ đồ thiết kế lớp CloudSim 26 Hình 3.1 Sơ đồ hoạt động nguyên lý thuật toán Throttled 33 Hình 3.2 Sơ đồ nguyên lý hoạt động thuật tốn TMA .39 Hình 3.3 Thuật toán lập lịch Max-Min cải tiến .40 Hình 4.1 Sơ đồ thuật tốn ITA 44 Hình 4.2 Ngun lý hoạt động thuật tốn ITA 45 Hình Thơng số cấu hình Datacenter máy ảo 51 Hình 4.4 Cấu hình chi phí Datacenter 51 Hình 4.5 Chi tiết cấu hình vật lý host Datacenter .51 Hình 4.6 Thơng số cấu hình Cơ sở người dùng (2UB) .52 Hình 4.7 Biểu đồ so sánh ITA với thuật toán khác trường hợp 52 49 int i =0; for (Iterator itr = vmUsageList.keySet().iterator(); itr.hasNext();){ temp = itr.next(); Double[] state = vmUsageList.get(temp); //System.out.println(temp + " state is " + state + " total vms " + vmStatesList.size()); double x = getNumber(state); if(i==0) { = x; vmId = temp; else { if (min > x){ = x; vmId = temp; } i++; } allocatedVm(vmId); return vmId; } return -1; } public double getNumber(Double[] nums) { double res =0; int i=0; for(i=0; i < nums.length; i++) { 50 res = res + nums[i]; } res = res/i; return res; } public void cloudSimEventFired(CloudSimEvent e) Tiêu chí đánh giá: Thực nghiệm mô cloud với tham số trên, chạy thuật tốn cân tải Cloud Analyst có sẵn: Round Robin, Throttled Equally Spread Current Execution Load, cài đặt thêm thuật toán TMA tác giả Nguyễn Xn Phi nhóm cộng chạy thuật tốn đề xuất cài đặt, đầu vào, so sánh kết đầu ra, đặc biệt thông số thời gian đáp ứng (Response Time), chi phí cho Datacenter (Costing) Thời gian đáp ứng dự đoán máy ảo thời gian đáp ứng dự đoán cloud với sai số hiệu thuật tốn đánh giá tốt, chi phí thấp kỹ thuật hiểu tốt Các Request đại diện Cloudlet cloudSim kích thước Cloudlet khởi tạo ngẫu nhiên hàm random JAVA Số lượng Cloudlet 100 1500 Độ trễ mạng khu vực địa lý công cụ mô tương ứng với sáu khu vực địa lý thực tế lấy tham khảo từ tài liệu báo số [12] [21] 51 Bảng 4.1 Cấu hình thơng số Request Chiều dài Kích thước file (Length) (File Size) Kích thước file xuất Số CPU xử lý (PEs) (Output Size) 100 ~ 1700 5000 ~ 45000 450 ~ 750 4.2.3 Thực nghiệm kết đạt Trường hợp 1: 01 Datacenter với 20 máy ảo Các thông số giả lập datacenter, máy ảo, chi tiết cấu hình host, users base độ trễ mạng lấy từ tài liệu [12] [21] Môi trường mô giả lập gồm thông số sau thơng số sau: Hình Thơng số cấu hình Datacenter máy ảo Hình 4 Cấu hình chi phí Datacenter Hình Chi tiết cấu hình vật lý host Datacenter 52 Hình Thơng số cấu hình Cơ sở người dùng (2UB) Bảng 4.2 Kết trường hợp Hình Biểu đồ so sánh ITA với thuật toán khác trường hợp 53 Trường hợp 2: 01 Datacenter với máy ảo 3UB Hình Thơng số cấu hình trường hợp Bảng 4.3 Kết trường hợp 54 Hình Biểu đồ so sánh ITA với thuật toán khác trường hợp Trường hợp 3: 01 Datacenter với máy ảo 4UB 55 Hình 10 Thơng số cấu hình trường hợp Bảng 4.4 Kết trường hợp Hình 11 Biểu đồ so sánh ITA với thuật toán khác trường hợp 56 Trường hợp 4: 02 Datacenter Datacenter gồm 50 máy ảo Datacenter gồm máy ảo Hình 12 Thơng số cấu hình Datacenter máy ảo Hình 13 Cấu hình chi phí Datacenter Hình 14 Chi tiết cấu hình vật lý host Datacenter1 Hình 15 Chi tiết cấu hình vật lý host Datacenter2 57 Hình 16 Thơng số cấu hình Cơ sở người dùng (5 UB) Bảng 4.5 Kết trường hợp Hình 17 Biểu đồ so sánh ITA với thuật toán khác trường hợp 58 Nhận xét: Thuật tốn ITA có kết tốt Throttled số trường hợp data đầu vào, không thua thuật tốn có sẵn mặt thời gian đáp ứng phần chi phí datacenter ln kỹ thuật khác 4.3 Kết luận chương Chương giới thiệu tác giả lại chọn thuật toán Throttled để cải tiến Thực cải tiến thuật toán cân tải điện tốn đám mây cách nghiên cứu mơ hình thuật toán nghiên cứu cải tiến thuật toán Throttled sửa đổi dựa vào nhược điểm thuật toán trước phân tích Throttled sửa đổi để đưa bước thuật tốn ITA sau đánh giá mức độ cải tiến thuật toán đề xuất so với thuật tốn cũ.Trình bày mơ hình thực nghiệm mô phỏng, thông số kịch đưa dựa vào trình request browser mơi trường cloud Từ đó, ghi nhận thông số thời gian đáp ứng dự báo máy ảo, cloud Việc chạy thực nghiệm mô với thông số đến 50 máy ảo, chịu tải từ 100 tới 900 request rõ kết tương đối tốt so với kỹ thuật trước chi phí giảm rõ rệt, việc phân bổ request tới máy ảo xử lý đồng đều, dự đốn với sai số khơng lớn Việc chạy mô với số máy ảo lớn Datacenter khác cho kết tương đối tốt so với thuật toán khác mặt chi phí ln ln lợi thuật tốn nghiên cứu trước 59 CHƯƠNG 5: KẾT LUẬN Luận văn “Mơ hình tốn học biểu diễn thuật toán cân tải điện toán đám mây” Nghiên cứu tập trung thuật toán cân tải mơi trường điện tốn đám mây Dựa vào thuật tốn có để phân tích làm rõ chúng, sau đánh giá đưa nhược điểm lợi thuật toán, từ nhược điểm phân tích để đề xuất thuật toán nhằm cải tiến nâng cao khả cân tải so với thuật tốn cũ Q trình nghiên cứu đạt nhiều mục tiêu đề sau: - Nghiên cứu tổng quan đám mây, đám mây với ba mơ hình sử dụng Các kỹ thuật cân tải dùng mơi trường điện tốn đám mây - Nghiên cứu cách tiếp cận đám mây điện tốn thơng qua mơ sử dụng công cụ giao diện thân thiện dễ sử dụng Cloud Analyst Cài đặt mô kỹ thuật cân tải, thuật toán Round Robin, Throttled, Equally Spread Current Execution Load thuật toán sửa đổi Throttled Các giá trị thu mô đưa để phân tích so sánh với để tóm lại nhược điểm ưu điểm thuật tốn từ có hướng đề xuất thuật toán sửa đổi để khắc phục mặt hạn chế - Kết đạt từ thuật tốn đề xuất đáp ứng mục tiêu việc đáp ứng thời gian cải thiện, hạn chế tài nguyên bị đói, máy ảo có lực xử lý mạnh xử lý nhiều yêu cầu hơn Giúp cân tải hiệu thuật toán so sánh Round Robin, Throttled thuật tốn sửa đổi Throttled Chi phí giảm hẵn xuống nhiều so với thuật toán trước - Thuật tốn ITA dùng để đưa vào áp dụng thực tế Hạn chế luận văn 60 - Chưa ứng dụng vào môi trường thực tế - Thời gian đáp ứng xử lý chưa cải thiện nhiều Vấn đề kiến nghị hướng nghiên cứu - Đưa thuật toán đề xuất vào ứng dụng thực tế 61 TÀI LIỆU THAM KHẢO [1] "https://wearesocial.com/blog/2019/01/digital-2019-global-internet-useaccelerates.," [Online] [Accessed 20 2019] [2] Soni, Gulshan and Mala Kalra, "A novel approach for load balancing in cloud data center," Advance Computing Conference (IACC), 2014 IEEE International, 2014 [3] Yean-Fu Wen and Chih-Lung Chang., "Load Balancing Job Assignment for Cluster-Based Cloud Computing," supported in part by the National Science Council (NSC), Taiwan, under Grant Number NSC 102-2221-E-305-009 9781-4799-3494-2/14/$31.00 ©2014 IEEE [4] "https://cloudkul.com/blog/what-is-cloud-computing/," [Online] [Accessed 25 11 2018] [5] Rodrigo N Calheiros1, Rajiv Ranjan2, Anton Beloglazov1,Cesar A F De Rose3 and Rajkumar Buyya1, "CloudSim: atoolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms," in Wiley Online Library (wileyonlinelibrary.com) DOI: 10.1002/spe.995., Published online 24 August 2010 [6] "https://books.google.com.vn/books?hl=vi&lr=&id=O9smDwAAQBAJ&oi=f nd&pg=PP1&dq=benefits+of+cloud+computing+2017&ots=NOkUNCrVCR &sig=0ZyU65I1cWVJOmL3BtG2Z3H0TVg&redir_esc=y#v=onepage&q=be nefits%20of%20cloud%20computing%202017&f=false.," [Online] [Accessed 20 2019] [7] "https://viettelidc.com.vn/tin-tuc/tim-hieu-ve-cong-nghe-ao-hoa-va-ao-hoavmware.," [Online] [Accessed 28 11 2018] [8] "http://slideplayer.com/slide/8942734/," [Online] [Accessed 20 12 2018] [9] "https://www.vnnic.vn/dns/congnghe/công-nghệ-cân-bằng-tải," [Accessed 12 20 2018] [Online] 62 [10] Abhay Kumar Agarwal and Atul Raj, "“A New Static Load Balancing Algorithm in Cloud Computing”," Abhay Kumar Agarwal and Atul Raj “A New Static Load Balancing Algorith International Journal of Computer Applications (0975 – 8887), vol 132, no 2, December 2015 [11] Klaithem Al Nuaimi, Nader Mohamed, Mariam Al Nuaimi and Jameela AlJaroodi, "A Survey of Load Balancing in Cloud Computing: Challenges and Algorithms," Second Symposium on Network Cloud Computing and Applications., 2012 IEEE [12] Bhathiya Wickremasingle, “Cloud Analyst: A CloudSim- based Tool for Modelling and Analysis of Large Scale Cloud Computing Environments”, MEDC Project Report, in 433-659 Distributed Computing Project, CSSE Dept, University of Melbourne (2010) [13] D Asir Antony Gnana Singh, R Priyadharshini and E Jebamalar Leavline, "Analysis of Cloud Environment Using CloudSim," in Advances in Intelligent Systems and Computing (AISC, volume 668) [14] N.Swarnkar, A K Singh and Shankar, "A Survey of Load Balancing Technique in Cloud Computing," International Journal of Engineering Research & Technology, vol 2, no 8, pp 800-804, August 2013 [15] S S Moharana, R D Ramesh and D Powar, "Analysis of Load Balancers in Cloud Computing," International Journal of Computer Science and Engineering (IJCSE), vol 2, no 2, pp 101-108, May 2013 [16] Vikas Kumar, Shiva Prakash, “Modified Active Monitoring Load Balancing Algorithm in Cloud Computing Environment ”, in International Journal for Scientific Research and Development (IJSRD), E-ISSN 2321-0613, 18792158, Vol.2, Issue ,(August 2014) [17] A Makroo and D Dahiya, "An efficient VM load balancer for Cloud Applied Mathematics," Computational Science and Engineering, 2014 [18] Rakesh Kumar Mishra, Sreenu Naik Bhukya, "Service Broker Algorithm for CloudAnalyst," in International Journal of Computer Science and Information Technology, vol 5(3), pp 3957-3962, 2014 63 [19] Er Imtiyaz Ahmad , Er Shakeel Ahmad, Er Sourav Mirdha, "An Enhanced Throttled Load Balancing Approach for Cloud Environment," International Research Journal of Engineering and Technology (IRJET), vol 04, no 06, June -2017 [20] Nguyen Xuan Phi, Tran Cong Hung, "LOAD BALANCING ARGORITHM TO IMPROVE REPSPONSE TIME ON CLOUD COMPUTING," in International Journal on Cloud Computing: Services and Architecture (IJCCSA), vol 7, no 6, December 2017 [21] Nguyen Xuan Phi, Cao Trung Tin, Luu Nguyen Ky Thu, Tran Cong Hung, "Proposed Load Balancing Algorithm to Reduce Response time and Processing time on Cloud Computing," in International Journal of Computer Networks & Communications (IJCNC), vol 10, no 3, May 2018 [22] Tran Cong Hung, Phan Thanh Hy, Le Ngoc Hieu, Nguyen Xuan Phi, “MMSIA: Improved Max-Min Scheduling Algorithm for Load Balancing on Cloud Computing”, CMLSC 2019 (Proceedings of The 3rd International Conference on Machine Learning and Soft Computing), pp.60-64 ACM New York, NY, USA @2019 (ISBN: 978-1-4503-6612-0), indexed by Ei Compendex, Scopus, Da Lat, Vietnam, January 25-28, 2019 ... hợp tải tất nút đám mây vấn đề quan tâm Do động thuật tốn cần thiết, luận văn chọn đề tài: “Mơ hình tốn học biểu diễn thuật toán cân tải điện toán đám mây? ?? để sâu nghiên cứu kỹ thuật cân tải. .. toán đám mây Hiểu cân tải điện, thuật toán cân tải điện toán đám mây giải vấn đề tắc nghẽn, phân loại thuật tốn cân tải, tìm hiểu công cụ mô Cloud Analyst 28 CHƯƠNG 3: CÁC THUẬT TỐN TIÊU BIỂU VÀ... website, sách khoa học, báo khoa học uy tín liên điện tốn đám mây, cân tải, kỹ thuật cân tải, công cụ mô hiệu đám mây Tìm hiểu mơ hình sơ đồ thuật tốn Phân tích ưu nhược điểm kỹ thuật thuật tốn kinh