2020 httt buiquangtuyen ttlv 3127

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Bùi Quang Tuyên ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TỐN ĐÁM MÂY BẰNG CƠNG NGHỆ AI HIỆN ĐẠI CHUN NGÀNH:HỆ THỐNG THƠNG TIN MÃ SỐ: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ TP HCM – NĂM 2021 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Trần Cơng Hùng (Ghi rõ học hàm, học vị) Phản biện 1: …………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng 1 MỞ ĐẦU Tính cấp thiết đề tài Ngày nay, với bùng nổ thông tin địi hỏi nhu cầu xử lý thơng tin ngày cao nhu cầu khả lưu trữ lượng liệu lớn vô cấp thiết Sự phát triển không ngừng kinh tế giới đẩy doanh nghiệp, tập đoàn lớn vào tình phải có giải pháp giúp họ lưu trữ khối lượng khổng lồ liệu liên quan đến công việc kinh doanh họ… Vì để đáp ứng tất nhu cầu nói có Điện tốn đám mây (Cloud computing) Người dùng quan tâm đến kỹ cài đặt, triển khai ứng dụng phần mềm hay yêu cầu phần cứng máy chủ, sở hạ tầng truyền thông để truy cập dịch vụ Người dùng cần trả tiền cho chất lượng tương ứng mà họ sử dụng Để đảm bảo chất lượng dịch vụ điện toán đám mây, việc quản lý tài nguyên trở thành cơng việc phức tạp từ góc nhìn kinh doanh nhà cung cấp dịch vụ đám mây Do đó, ta phải khắc phục vấn đề thiếu thốn tài nguyên, giảm độ trễ đám mây khả cải thiện hiệu suất mạng Điều cân tải xử lý điều phối Tuy nhiên, số trường hợp xấu mà cân tải chưa xử lý kịp chưa tính tốn đến có tài nguyên nhỏ (số lượng máy ảo VM hơn) so nhu cầu cần xử lý cơng việc (các tiến trình có nhu cầu tài ngun lớn, đặc biệt tài nguyên xa) mà người dùng yêu cầu Trong tình vậy, loại (tiến trình) xử lí xung đột cạnh tranh để có xử lý tài nguyên giới hạn (cùng máy ảo VM) lúc, dẫn đến tắc nghẽn đứng máy… hiểu cách nôm tải Từ đó, gây gián đoạn dịch vụ cho khách hàng, dẫn đến việc thất kinh tế tài Để giải việc cách tốt phải có thuật tốn cân tải điện tốn đám mây Trong đó, xu hướng áp dụng AI vào tất lĩnh vực triển khai mạnh giới 2 Chính vậy, thuật toán cân tải điện toán đám mây công nghệ AI đại đề xuất luận văn này, đề tài sau: “Đề xuất thuật toán cân tải điện tốn đám mây cơng nghệ AI đại” Để tránh việc gián đoạn dịch vụ, cân tải làm việc hiệu hơn, đặc biệt hiệu với việc áp dụng cơng nghệ trí tuệ nhân tạo (AI), hiệu kinh doanh nhà cung cấp dịch vụ đám mây cải thiện cách đáng kể Luận văn bao gồm: Phần mở đầu, nội dung gồm bốn chương Phần kết luận Phần mở đầu: Tổng quan vấn đề nghiên cứu 2.1 Lợi ích điện tốn đám mây - Giúp tiết kiệm chi phí - Truy cập tức lúc nơi - Khả biến đổi vơ tận - Khả thích ứng - Hợp tác bền vững, không xáo trộn - Bảo mật liệu 2.2 Các mơ hình dịch vụ [3] Mơ hình dịch vụ điện tốn đám mây nhà cung cấp dịch vụ chia thành loại lớn: 2.2.1 Cơ sở hạ tầng dịch vụ (Infrastructure as a Service - IaaS) IaaS dạng dịch vụ trả tiền theo định mức (pay-per-use) hay trả tiền cho sử dụng Dịch vụ cho phép người sử dụng truy cập vào sở hạ tầng máy tính từ xa IaaS bao gồm máy chủ server, storage lưu trữ bảo vệ an ninh nâng cao Tất yếu tố giúp cho IaaS trở thành nguồn lực vô giá cho doanh nghiệp lẫn cá nhân 2.2.2 Nền tảng dịch vụ (Platform as a Service - PaaS) Mô hình hệ thống PaaS tương tự IaaS có thêm cơng cụ phát triển doanh nghiệp thông minh (BI), middleware, tool quản lý liệu hỗ trợ khác giúp phát triển triển khai ứng dụng 3 2.2.3 Phần mềm dịch vụ (Software as a Service - SaaS) SaaS mơ hình trội điện tốn đám mây, cho phép người dùng tận dụng ứng dụng tảng đám mây thơng qua Internet Mơ hình dịch vụ mang đến khả truy cập tiện lợi góc độ thời gian vị trí Chẳng mà giúp doanh nghiệp giảm thiểu phần lớn chi phí ban đầu nhờ loại bỏ nhu cầu server hay giải pháp backup đắt tiền 4 CHƯƠNG - ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TỐN ĐÁM MÂY BẰNG CƠNG NGHỆ AI HIỆN ĐẠI 1.1 Tổng quan điện toán đám mây Có mơ hình triển khai điện tốn đám mây public (cơng cộng), private (riêng) hybrid (“lai” đám mây công cộng riêng) Đám mây cơng cộng mơ hình đám mây mà đó, nhà cung cấp đám mây cung cấp dịch vụ tài nguyên, platform hay ứng dụng lưu trữ đám mây public bên Các dịch vụ public cloud miễn phí có phí Đám mây riêng dịch vụ cung cấp nội thường dịch vụ kinh doanh, mục đích nhắm đến cung cấp dịch vụ cho nhóm người đứng đằng sau firewall Đám mây “lai” môi trường đám mây mà kết hợp cung cấp dịch vụ cơng cộng riêng Ngồi cịn có “community cloud” đám mây nhà cung cấp dịch vụ đám mây Về mơ hình cung cấp dịch vụ có loại IaaS – cung cấp hạ tầng service, PaaS – cung cấp Platform service SaaS – cung cấp software service Theo loại hình dịch vụ, điện tốn đám mây chia thành ba loại sau: - IaaS, sở hạ tầng dịch vụ, cho phép người dùng truy cập trực tiếp vào tài nguyên lưu trữ, tài nguyên mạng tài ngun máy tính bên IaaS sử dụng cơng nghệ ảo hóa để ảo hóa đóng gói tài nguyên máy tính, tài nguyên lưu trữ tài nguyên mạng máy chủ, đồng thời cung cấp tài nguyên dạng API Khi cần sử dụng tài nguyên này, người dùng không cần mua thiết bị phần cứng máy chủ mà cần mua tài nguyên từ nhà sản xuất cung cấp dịch vụ IaaS Nền tảng điện toán đám mây IaaS cung cấp quản lý lập kế hoạch tài ngun Ví dụ điển hình bao gồm Đám mây tính tốn đàn hồi (EC2) Dịch vụ lưu trữ đơn giản (S3) Amazon - PaaS, tảng làm tảng dịch vụ, cung cấp tảng môi trường cho hoạt động kinh doanh phần mềm PaaS cung cấp giải pháp cho công ty không muốn xây dựng môi trường vận hành phần mềm PaaS cung cấp môi trường hoạt động hệ điều hành cho doanh nghiệp khác "Máy chủ ảo" thuộc danh mục dịch vụ PaaS Chỉ có mã nguồn cần tải lên địa "máy chủ ảo" "Máy chủ ảo" chạy mã tạo trang web theo mã Ví dụ điển hình bao gồm GoogleAppEngine Google MicrosoftWindowsAzure Microsoft Theo phương pháp triển khai khác nhau, điện toán đám mây chia thành đám mây riêng, đám mây công cộng đám mây lai Đám mây riêng sở hạ tầng đám mây tổ chức sở hữu thuê, đặt địa phương nơi khác Đám mây công cộng sở hạ tầng đám mây thuộc sở hữu tổ chức điều hành cung cấp dịch vụ điện toán đám mây Tổ chức bán dịch vụ điện tốn đám mây cho cơng chúng số lượng lớn nhóm doanh nghiệp vừa nhỏ Đám mây kết hợp bao gồm đám mây riêng đám mây công cộng, đám mây thực thể độc lập Nhưng cần kết hợp chúng với công nghệ tiêu chuẩn độc quyền để làm thành liệu ứng dụng di động Điện tốn đám mây xu hướng cơng nghệ bật giới năm gần có bước phát triển nhảy vọt chất lượng, quy mơ cung cấp loại hình dịch vụ Minh chứng loạt nhà cung cấp lớn, tiếng Google, Amazon, Microsoft, Điện toán đám mây mơ hình điện tốn mà giải pháp liên quan đến công nghệ thông tin cung cấp dạng dịch vụ qua mạng Internet, giải phóng người sử dụng khỏi việc phải đầu tư nhân lực, công nghệ hạ tầng để triển khai hệ thống Từ đó, điện tốn đám mây giúp tối giản chi phí thời gian triển khai, tạo điều kiện cho người sử dụng tảng điện toán đám mây tập trung tối đa nguồn lực vào công việc chun mơn Lợi ích điện tốn đám mây mang lại khơng gói gọn phạm vi người sử dụng tảng điện tốn đám mây mà cịn từ phía nhà cung cấp dịch vụ điện tốn Trong giới ngày [9], điện toán đám mây cách để giữ phần cứng phần mềm nơi sử dụng từ nơi giới Nó làm cho phần cứng yêu cầu trở nên linh hoạt nhiều Do đó, người có hội sử dụng nhiều tài nguyên cần phải trả số tiền cho khoảng thời gian họ sử dụng nguồn dung lượng cụ thể Dịch vụ gọi dịch vụ trả tiền cho lần sử dụng, góp phần làm cho ngành cơng nghiệp cơng nghệ thông tin hướng đến gần việc kinh doanh điện tốn đám mây Giống CPU có nhiều lỗi, doanh nghiệp sở hữu cụm CPU/Máy vật lý gọi đám mây Các cụm có số lượng hữu hạn khơng gian nhớ 1.2 Tổng quan cân tải điện toán đám mây 1.2.1 Giới thiệu cân tải Ngày nay, ngành công nghiệp CNTT phát triển ngày nhu cầu tài nguyên lưu trữ tính tốn ngày tăng Một lượng lớn liệu tạo trao đổi qua mạng, điều địi hỏi nhu cầu tài ngun máy tính ngày nhiều Cloud giúp doanh nghiệp tận dụng lợi ích tài ngun điện tốn chia sẻ mơi trường ảo hóa Rất nhiều doanh nghiệp sử dụng dịch vụ dựa đám mây dạng hay dạng khác Điều đưa đến khái niệm cân tải điện toán đám mây Giải pháp cân tải việc phân bố đồng lưu lượng truy cập hai hay nhiều máy chủ có chức hệ thống Bằng cách đó, giúp cho hệ thống giảm thiểu tối đa tình trạng máy chủ bị tải ngưng hoạt động Hoặc máy chủ gặp cố, Cân Bằng Tải đạo phân phối cơng việc máy chủ cho máy chủ lại, đẩy thời gian uptime hệ thống lên cao cải thiện suất hoạt động tổng thể Cân tải chủ đề quan trọng môi trường phân tán Bởi, Cloud Computing coi tảng tốt giúp lưu trữ liệu với chi phí tối thiểu truy cập lúc nơi qua thông qua Internet Phân tán dự đoán tải cân tải [10] thời gian gần lên giải pháp đầy hứa hẹn Trong đó, giải pháp chuyển sang cấp độ giám sát tình trạng tắc nghẽn đường phân tán dòng chảy trực tiếp đến đường tắc nghẽn 7 Cân tải chủ đề nghiên cứu nóng trung tâm liệu đám mây, mục tiêu đảm bảo tài ngun máy tính xử lý nhiệm vụ cách hiệu nhanh chóng Các nhà nghiên cứu đề xuất loạt giải pháp: cân tĩnh, cân động chiến lược lập kế hoạch cân tải Ngồi ra, có số nghiên cứu sử dụng công nghệ di chuyển trực tiếp máy ảo để đáp ứng yêu cầu đám mây, nhiệm vụ trung tâm liệu yêu cầu hiệu suất giới hạn tải Các chiến lược cân tải chia thành hai loại: cân tải tĩnh cân tải động Thuật toán lập lịch cân tải tĩnh thường bao gồm Round Robin, Rounded Robin Weighted Cân tải [11] chia thành loại: - Cân tải cục - Tải toàn cầu Cân tải cục sử dụng để cân dự báo tải trung tâm Nó phân phối yêu cầu từ phía máy khách sang phía máy chủ để đáp ứng nhu cầu Loại cân tải thứ hai cân tải tồn cục Nó quản lý kiểm sốt u cầu từ phía khách hàng tự động đến máy chủ qua nhiều trung tâm liệu Nó xử lý lưu lượng hai mặt gói truyền tải Xử lý cân tải toàn cầu cho phức tạp đồng thời điều hữu ích cho truyền tải gói tin trung tâm liệu mạng Tính khả dụng đảm bảo rằng, trường hợp thất bại, hệ thống tiếp tục hoạt động mong đợi 1.2.2 Mục đích cân tải Tăng khả đáp ứng, tránh tình trạng tải máy chủ, đảm bảo tính linh hoạt mở rộng cho hệ thống Tăng độ tin cậy khả dự phịng cho hệ thống Tăng tính bảo mật cho hệ thống 1.3 Tổng quan Trí tuệ nhân tạo (AI) Trí tuệ nhân tạo (AI) [1] ngành khoa học máy tính liên quan đến việc tạo chương trình nhằm mục đích tái tạo nhận thức người trình liên quan đến việc phân tích phức tạp liệu Sự đời khái niệm liên kết phổ biến với hội nghị Dartmouth năm 1956 [2] Tuy nhiên, công nghệ thời điểm giới hạn việc ứng dụng AI Gần đây, tiến đáng kể thực lĩnh vực sức mạnh máy tính công nghệ phần cứng phần mềm cải tiến Các cá nhân tổ chức số ngành công nghiệp bắt đầu nhận tiềm AI để cải thiện hoạt động nghiên cứu AI được tiến hành nhiều lĩnh vực y tế, điện toán đám mây, xử lý ảnh, … 1.4 Tổng quan Machine Learning Học máy (Machine Learning / ML) [3] phương pháp để tạo AI ML liên quan đến chương trình máy tính viết lập trình riêng chúng để hồn thành nhiệm vụ định trước Q trình giám sát, bán giám sát khơng giám sát (Hình 1) Trong học tập có giám sát, máy cung cấp tập liệu, với ví dụ tập liệu gắn nhãn kèm theo câu trả lời Sau đó, máy học thơng qua việc thử sai để dự đoán câu trả lời từ tập liệu nhập Học tập không giám sát liên quan đến việc phân tích liệu đầu vào mà khơng có câu trả lời xác định Điều thường sử dụng để mơ hình hóa cấu trúc phân phối liệu Cuối cùng, học tập bán giám sát phương pháp kết hợp liên quan đến việc kết hợp liệu gắn nhãn khơng gắn nhãn Điều giúp giảm bớt gánh nặng nhiệm vụ ghi nhãn Sử dụng thuật toán phân lớp ML để tiến hành phân lớp người dùng dựa đặc trưng họ để thực việc cân tải 1.5 Kết luận chương Hiểu biết khái niệm tổng quan điện toán đám mây Hiểu biết thuật toán điện toán đám mây giải vấn đề tắc nghẽn mát gói tin truyền liệu qua mơi trường điện tốn Mục đích cân tải để làm tăng hiệu hệ thống 9 CHƯƠNG - CÁC CƠNG TRÌNH LIÊN QUAN 2.1 Tình hình nghiên cứu nước Trong báo [5] tác giả Trần Công Hùng & cộng nghiên cứu đề xuất giải pháp nhằm nâng cao hiệu suất điện toán đám mây, đặc biệt cân tải dựa vào thời gian đáp ứng Các tác giả đưa cơng trình nghiên cứu tham số tính hiệu nhằm cân tải đám mây (Study the effect of Parameters to load balancing in cloud computing), rõ kỹ thuật cân tải có nhiều cách giải quyết: (i) Cân tải sau máy chủ bị tải; (ii) Cân tải dự đoán tải nhằm phân bổ tài nguyên; (iii) Cải thiện tham số ảnh hưởng đến cân tải đám mây Trong nghiên cứu đề xuất số phương pháp nhằm nâng cao hiệu cân tải tăng hiệu suất hoạt động đám mây Trong báo [6] Trần Cơng Hùng cộng đăng tạp chí Khoa học công nghệ Thông tin truyền thông số 04(CS.01) 2018 Học viện Cơng nghệ Bưu viễn thơng, đề xuất thuật tốn cân tải nhằm giảm thời gian đáp ứng điện toán đám mây Ý tưởng sử dụng thuật tốn dự báo ARIMA để dự báo thời gian đáp ứng Từ đưa cách giải phân phối tài nguyên hiệu dựa vào giá trị ngưỡng thời gian Bài báo đưa thuật tốn, thử nghiệm mơ với mơ hình nhỏ đạt số kết mơ tích cực, tiềm dự báo tương lai gần Bên cạnh đó, có nhiều nghiên cứu báo từ Việt Nam công bố rộng rãi cân tải đám mây Tuy nhiên, đa số mức thực nghiệm mô chưa áp dụng vào thực tế công nghệ cloud tính chất quy mơ đề tài nghiên cứu 2.2 Tình hình nghiên cứu giới Trong báo [8] “Deadlock Avoidance through Efficient Load Balancing to Control Disaster in Cloud Environment” nhóm tác giả Mahitha O Suma V, Ấn Độ năm 2013, trình bày kỹ thuật cân tải hiệu để kiểm sốt thảm 10 họa mơi trường điện toán đám mây Thuật toán đề xuất áp dụng để cân tải, đề cập đến thời gian đáp ứng tổng thể, thời gian xử lý thơng lượng Thuật tốn cải tiến triển khai cách sử dụng công cụ Cloud Analyst Các kết mô thu tốt với thời gian đáp ứng tổng thể thời gian xử lý cải thiện Trong báo năm 2012 [9] “Enhanced Load Balancing Approach to Avoid Deadlocks in Cloud” nhóm tác giả Rashmi K S, Suma V, Vaidehi M, Ấn Độ đề cập đến vấn đề cần thiết phải có kỹ thuật cân tải hiệu để tránh bế tắc Đó phương pháp cân tải nâng cao sử dụng hiệu hệ thống quản lí đám mây Để đạt mục tiêu đề cập trên, báo tác giả đề xuất thuật toán cân tải Trong mơi trường điện tốn đám mây, tải liên quan đến số lượng yêu cầu phải phục vụ máy ảo có sẵn đám mây Thuật tốn đề xuất tránh bế tắc cách cung cấp nguồn lực theo yêu cầu dẫn đến tăng số lần thực công việc Bài báo thảo luận vấn đề tồn đề xuất thuật tốn mơ hình hóa thuật tốn theo cơng thức toán học Đồng thời, báo đưa thiết lập để mơ thuật tốn đề xuất, so sánh kết thuật toán đề xuất với thuật tốn có trình bày kết đạt 11 CHƯƠNG - ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TOÁN ĐÁM MÂY BẰNG CÔNG NGHỆ AI HIỆN ĐẠI 3.1 Giới thiệu chung Ngày nay, thuật toán cân tải nhiều báo nêu lên cải tiến nhằm nâng cao hiệu cân tải cải tiến thời gian xử lý/thực nhiệm vụ Ngoài ra, thời gian hoàn thành tài nguyên máy ảo giảm thiểu cân tải mơi trường điện tốn đám mây, tránh tình trạng q tải máy chủ 3.2 Mơ hình nghiên cứu Để phân loại request, mơ hình cân tải điện toán đám mây sử dụng thuật toán phân lớp Decision Tree – thuật toán đánh giá cao việc phân lớp Mơ hình cân tải gồm bước thực chính: - Bước 1: Nhận thông tin từ request - Bước 2: Sử dụng thuật tốn trí tuệ nhân tạo để tiến hành cân tải Mơ hình nghiên cứu: - Mơ hình dự báo tác vụ điện tốn đám mây thực sau:  Bước 1: Nhận thông tin từ request  Bước 2: Sử dụng thuật tốn trí tuệ nhân tạo để tiến hành q trình cân tải Thuật tốn đề xuất nơi xử lý yêu cầu đưa vào máy ảo phù hợp để cân tải Trong mơ hình sử dụng Regression (dựa vào cơng nghệ AI đại) để phân loại request đầu vào dự báo thông số cloud cần để xử lý task mà request đem đến (Power, CPU Usage, RAM Usage) Để phân lớp với kỹ thuật Regression này, thuật toán sử dụng data lịch sử cloud lưu lại (sử dụng liệu gần nhất) 12 Sau với số liệu (Power, CPU Usage, RAM Usage) mà cloud cần có để xử lý Task/Job tương ứng tính tốn trên, thuật tốn sử dụng DT, dùng để phân lớp Task/Job Trong đó, liệu liệu thực lưu lại kết hợp với liệu dự đốn tính tốn phân lớp tác vụ dựa vào độ ưu tiên Từ đó, phân bổ vào máy ảo tương ứng 3.3 Thuật toán Decision Trees Decision Trees (DTs) thuật toán học giám sát phi tham số (nonparametric supervised learning) sử dụng cho toán phân lớp (classification) hồi quy (regression) Ý tưởng thuật toán tạo mơ hình để dự đốn giá trị biến mục tiêu cách học quy luật suy từ đặc trưng liệu Một vài lợi ích thuật tốn Decision Trees:  Thuật tốn tương đối dễ hiểu, dễ dàng diễn giải hình dung  Decision Trees ngầm thực “sàng lọc biến” (variable screening) lựa chọn đặc trưng (feature selection)  Decision Trees không yêu cầu nhiều bước tiền xử lí liệu  Mối quan hệ phi tuyến tính tham số khơng ảnh hưởng đến hiệu suất 3.4 Đề xuất thuật toán dự báo thời gian tải tối đa/tối thiểu ngày nhằm nâng cao hiệu cân tải điện toán đám mây Dựa vào yếu tố thời gian xử lý (Makespans) request số thuộc tính khác, ta sử dụng thuật toán Decision Trees để phân lớp request Từ đó, ta biết cách phân bổ tài nguyên cho request Song song đó, tài nguyên (máy ảo/host) phân cụm theo mức độ sử dụng Kết hợp với đánh giá số lần sai, sai số, ta cải thiện thuật toán cách áp dụng máy học vào, nhiên, việc áp dụng diễn có sai số cho phép Luận văn xin đề xuất thuật toán DTLBA (Decision Trees in load balancing algorithm) gồm nhóm Module chính: 13 (1) Module tính tốn thơng số request thuật toán Decision Trees: Trong Module này, thuật tốn Decision Trees dựa vào thuộc tính request mà tính tốn thời gian xử lý request đó, từ phân lớp Request Các thuộc tính bao gồm: Size, Response Length, Max Length,… Nhóm Thời Gian xử lý = MKNew = DT(X1, X2,…, Xn) Trong Xi thuộc tính Request gửi lên cloud Ở chia thành nhiều nhóm (từ ~10 nhóm) dựa vào độ biến thiên Request (2) Module phân lớp tác vụ theo độ ưu tiên: Trong Module sử dụng thuật toán phân cụm K-Means (với k = 3) để phân cụm máy ảo dựa vào mức động hoạt động, sử dụng tài nguyên máy ảo, bao gồm cụm cao, trung bình thấp Việc phân cụm máy ảo dựa vào thông số tức thời máy ảo; Clusteri = K-Means (CPU usage, RAM, …); Trong đó: i = nhóm thấp i = nhóm trung bình i = nhóm cao (3) Module phân bổ dịch vụ (chọn máy ảo) Module có nhiệm vụ phân bổ yêu cầu đến máy ảo thông qua loại request cụm máy ảo phù hợp Nếu yêu cầu gửi đến yêu cầu phân loại Module Cịn VM xét kể VM khơng tải phân cụm theo Module Sau thuật tốn tính tốn request phù hợp với máy ảo thông qua thông số trả hàm DT K-Means Nếu thời gian xử lý tính tốn Request xét (được tính tốn từ module 1) nhỏ u cầu xử lý VM với mức độ xa means (tức thuộc nhóm có mức độ sử dụng thấp nhất) Đối với request khơng nhỏ khơng lớn ta dùng phương pháp tính tốn loại suy hay sai phân để tính tốn việc phân bổ Thuật tốn DTLBA 14 For each Request in CloudRequests isLocated = true; RT_new = DT(RT1, RT2… ); VM_Cluster = kMeans(situation); // Module // situation: Trạng thái VM Module For each VM in VMList If isFitSituation(Request.RT_new , VM.VM_Cluster) AllocateRequestToVM(VM, Request); // Module isLocated = true; break; End If End For If (!isLocated) VM = VMList.getMinFromMean();// Module AllocateRequestToVM(VM, Request); End If End For Phương pháp đánh giá thuật toán DTLBA Thuật toán đề xuất cho thấy kết khả quan việc cải thiện thời gian phản hồi xử lí tác vụ đám mây trung tâm hạn chế số lượng yêu cầu xếp hàng để phân phối cách hợp lí So với thuật tốn cũ MaxMin, Round Robin, MinMin FCFS, thuật tốn đề xuất có khả tối ưu hóa q trình cân tải hiệu điện toán đám mây, thể vượt trội tính ổn định cao 3.5 Kết luận chương Thuật toán đề xuất DTLBA chứng minh tính hiệu q trình cân tải Bằng chứng giảm thiểu thời gian hoạt động cho yêu cầu rủi ro định, đồng thời hạn chế ngăn chặn tối đa cân tải máy ảo 15 CHƯƠNG - MƠ PHỎNG CHƯƠNG TRÌNH VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Giới thiệu chung Trong chương trình bày cài đặt mơ thuật tốn đề xuất cân tải dựa vào công nghệ AI đại Từ kết thực nghiệm mô cho thấy phương pháp giải vấn đề cân tải, cụ thể sử dụng thuật tốn dự báo Decision Trees phân loại request Từ đưa cách giải phân phối tài nguyên cách hợp lý đến máy ảo có mức độ hoạt động thấp Với chế hoạt động này, thuật toán đề xuất DTLBA tối ưu hoá thời gian xử lý cân tải cloud có khả ứng dụng môi trường cloud theo thời gian thực Sau kết thúc bước thực nghiệm, kết thu phân tích so sánh với thuật tốn khác, từ chứng minh tính hiệu thuật tốn đề 4.2 Các thông số đầu vào, môi trường thực nghiệm * Đầu vào request người dùng * Sử dụng Java CloudSim để thực nghiên cứu Dựa vào liệu request biết, ta sử dụng thuật tốn Regression để phân loại request cách tính tốn Priority = {Power, CPU, RAM}, từ biết cách phân bổ tài nguyên cho request vào máy ảo phân cụm Kết hợp với đánh giá số lần sai sai số, ta cải thiện thuật toán cách áp dụng máy học vào, nhiên việc áp dụng diễn có sai số cho phép Giả lập môi trường cloud sử dụng thư viện CloudSim lập trình ngơn ngữ JAVA Mơi trường giả lập cloud có từ đến 15 máy ảo, tạo môi trường request ngẫu nhiên đến dịch vụ cloud Bao gồm dịch vụ cung cấp máy ảo, dịch vụ cung cấp đáp ứng thử nghiệm người dùng CloudSim Cài đặt thuật tốn Regression, DT mơi trường mô phát triển thư viện Weka kiểm nghiệm kết Các tham số mơ hình mạng mơ phỏng: Thực nghiệm mơ thuật tốn đề xuất cài đặt ngơn ngữ JAVA sử dụng APACHE NETBEAN IDE để chạy thử, sau hiển thị kết dạng 16 console Môi trường giả lập với thư viện mã nguồn mở CloudSim 4.0 (được cung cấp http://www.cloudbus.org/), kết hợp với thư viện datamining WEKA Môi trường mô giả lập gồm thông số sau: - 01 Datacenter với thông số sau: Bảng 4.1: Thông số cấu hình Datacenter Thơng tin Host Thơng tin Datacenter - Số lượng máy (host) Datacenter Mỗi host Datacenter có cấu datacenter: - Khơng sử dụng Storage (các ổ SAN) sau: - Kiến trúc(arch): x86 - CPU có nhân, - Hệ điều hành (OS): Linux nhân có tốc độ xử lý 1000 - Xử lý (VMM): Xen (mips) - TimeZone: +7 GMT - RAM: 16384 (MB) - Cost: 3.0 - Storage: 1000000 - Cost per Memory: 0.05 - Bandwidth: 10000 - Cost per Storage: 0.1 - Cost per Bandwidth: 0.1 - Các máy ảo có cấu hình giống khởi tạo: Bảng 4.2: Cấu hình máy ảo Kích thước(size) 10000 MB Mips 512 MB RAM 250 Bandwidth 1000 Số lượng CPU(pes no.) VMM Xen 17 - Các Request (các Request chạy web, WebRequest) đại diện Cloudlet CloudSim kích thước Cloudlet khởi tạo ngẫu nhiên hàm random JAVA Số lượng Cloudlet 20  1000 Bảng 4.3: Cấu hình thơng số Request Chiều dài(Length) 3000 ~ 1700 Kích thước file(File Size) 5000 ~ 45000 Kích thước file xuất ra(Output Size) Số CPU xử lý(PEs) 450 ~ 750 - Thuật toán đề xuất xây dựng cách tạo lớp DTLBASchedulingAlgorithm kế thừa từ đối tượng BaseSchedulingAlgorithm Ngồi cịn cập nhật thêm số phương thức thuộc tính liên quan tới predictRequestRegression nhằm điều chỉnh hàm dựng sẵn để phù hợp với thuật toán đề xuất: @Override public void run() // Module public CondorVM getMostFreeVM(String vmClass)// Module public String predictRequestDT(Cloudlet req)// Module Tiêu chí đánh giá: Sử dụng thuật tốn cân tải có sẵn CloudSim thuật toán đề xuất cài đặt để chạy thực nghiệm mô cloud với tham số Cả hai thuật tốn có đầu vào để phục vụ cho trình so sánh kết đầu ra, đặc biệt thông số thời gian xử lý (Makespan) Các máy ảo cloud có thời gian xử lí với sai số thấp hiệu thuật toán đạt kết tốt 4.3 Kết thực nghiệm mơ hình Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu Các yêu cầu khởi tạo với chiều dài kích thước ngẫu nhiên Bảng 4.5: Kết thực nghiệm mô với 50 Request 18 Số lần Round- Request Robin 20 MaxMin MinMin FCFS DTLBA 1248.77 511.93 940.91 483.94 645.0 25 17.58 5.9 9.77 5.95 6.28 30 11.7 10.02 9.35 6.51 6.35 35 17.38 5.7 10.15 8.17 6.19 40 710.6 312.47 1056.66 356.97 587.13 45 1266.75 1234.5 1105.19 1822.32 762.82 50 17.56 5.89 9.75 5.94 6.28 2000 1500 1000 500 20 25 Round-Robin 30 MaxMin 35 40 MinMin 45 FCFS 50 DTLBA Hình 4.2: Biểu đồ so sánh thời gian thực thuật toán với 50 Request Với khởi đầu không sai biệt Request 20 – 35, thuật tốn gần có đồng thời gian xử lý Đặc biệt, Request từ 25 – 35 chênh lệch thời gian xử lý thuật tốn khơng đáng kể Nhưng từ Request 35 thuật toán xử lý tác vụ cloud lại có chuyển đầy bất ngờ Cụ thể, thuật tốn DTLBA ln nằm top thuật tốn có thời gian xử lý tác vụ hiệu quả, thuật toán FCFS lại bị tụt hậu so với thuật tốn cịn lại chiếm thời gian gần gấp đơi thuật tốn DTLBA Request 45 Bảng 4.6: Kết thực nghiệm mô với 100 Request Số lần Round- Request Robin 10 19.8 MaxMin MinMin 38.36 21.85 FCFS DTLBA 45.17 17.73 19 20 22.99 38.01 31.18 45.44 23.64 30 327.99 514.68 564.03 580.27 351.49 40 1323.85 2663.58 774.97 1657.55 426.93 50 5.75 1041.66 6.55 12.56 5.74 60 20.95 4795.18 439.17 13.02 629.79 70 5.15 4500.71 595.03 13.55 5.25 80 793.39 10.15 5.43 735.17 5.77 90 1378.11 6.42 405.95 1078.82 460.56 100 5.56 8.22 6.49 12.08 26.24 6000 4000 2000 10 20 Round-Robin 30 40 MaxMin 50 60 70 MinMin 80 FCFS 90 100 DTLBA Hình 4.3: Biểu đồ so sánh thời gian thực thuật toán với 100 Request Với kết thực nghiệm 30 Request trở lại, ta thấy thời gian thực thuật tốn gần tương đương nhau, thời gian thuật toán RoundRobin DTLBA bám đuổi để giành vị trí dẫn đầu Các Request từ 30 – 50 lợi thuật tốn DTLBA đồng thời bất lợi thuật toán MaxMin Cụ thể, Request 40, thời gian thực thuật toán MaxMin chiếm gấp lần thời gian thực thuật toán DTLBA Ở Request 50, thuật toán đồng loạt giảm mạnh thời gian xử lý tác vụ cloud, thời gian xử lý thuật tốn MaxMin có chênh lệch lớn so với thuật tốn cịn lại Đặc biệt, so với thuật tốn chiếm vị trí đầu bảng DTLBA thời gian thuật tốn MaxMin gấp 200 lần Kết thực nghiệm từ Request 50 – 70, thuật toán giữ bền vững thời gian thực mình, đặc biệt thuật tốn Round-Robin FCFS ln chiếm giữ vị trí đầu bảng Tuy nhiên, Request 70, thời gian xử lý thuật 20 toán MaxMin đến mức tối đa, gấp tới 900 lần thời gian thuật toán đứng đầu Request 70 Round-Robin Các Request từ 70 – 80 sân chơi thuật toán DTLBA đối thủ thuật toán Round-Robin đương kim vô địch Request 70 nhanh chóng bị đánh bại thuật tốn MinMin Request 80 Thuật tốn FCFS vị trí thứ ba phải nhường ngơi vị cho thuật tốn MaxMin Với kết thực nghiệm 100 Request đổ lại, ta thấy thuật tốn MaxMin gặp nhiều khó khăn tốn nhiều thời gian để xử lý tác vụ cloud, nhiều request độ ổn định cao Các thuật toán MinMin, FCFS DTLBA ln qn trì ổn định qua thời kỳ Request Thuật tốn Round-Robin chiếm ưu xử lý nhanh so với thuật tốn cịn lại Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu, yêu cầu khởi tạo với chiều dài kích thước ngẫu nhiên, số lượng Request 100 đến 1000: Bảng 4.7: Kết thực nghiệm mô với 1000 request Số lần request RoundRobin MaxMin MinMin FCFS DTLBA 100 19.02 2718.88 26.1 22.45 32.8 200 28.58 26.13 24.74 23.88 30.86 300 1048.1 438.76 495.82 353.0 846.62 400 465.03 348.02 733.45 1437.28 576.93 500 13.74 420.48 827.17 6.9 7.63 600 13.72 6.51 7.83 6.71 9.11 700 684.63 14.59 7.66 412.79 8.64 800 567.92 588.5 833.3 617.17 427.73 900 398.96 589.51 7.48 497.46 858.53 1000 5.66 6.47 6.22 54.11 9.7 21 3000 2000 1000 100 200 300 Round-Robin 400 500 MaxMin 600 MinMin 700 800 FCFS 900 1000 DTLBA Hình 4.4: Biểu đồ so sánh thời gian thực thuật toán với 1000 Request Từ Request 100 trở đi, thuật toán DTLBA vượt trội hẳn so với thuật tốn cịn lại ổn định bền vững suốt trình xử lý tác vụ cloud Tuy khơng có lúc thời gian xử lý ngắn thuật toán Round-Robin, MaxMin hay FCFS lúc thời gian xử lý tăng đột biến thuật toán MaxMin hay thuật tốn FCFS Qua ta thấy thuật tốn MaxMin FCFS chưa thể thơng minh tính tự nhiên xây dựng thuật giải Thông qua 02 biểu đồ so sánh thời gian xử lý thuật toán với điều kiện ta thấy phân bổ ổn định hợp lý thuật toán đề xuất DTLBA Thời gian xử lý máy ảo khả quan so với thời gian xử lý thuật toán khác cloud (ở trường hợp nhiều Request) Thực nghiệm mơ mơ nhóm máy ảo, chưa tính tới việc mở rộng tập máy ảo (VM pool) để giảm tải trường hợp cần thiết, giả định nhóm máy ảo xử lý tối đa Request, vượt ta mở rộng pool Tuy nhiên, việc thí nghiệm mơ với lượng Request lớn 1000, địi hỏi máy tính mạnh xử lý tốt Vì hạn chế thí nghiệm mơ 4.4 Kết luận chương Việc chạy thực nghiệm mô với thông số máy ảo, chịu tải từ 50 đến 1000 request cho thấy kết tương đối tốt, việc phân bổ request đến máy ảo xử lý đồng có tính khả thi cao 22 KẾT LUẬN Luận văn “ĐỀ XUẤT THUẬT TOÁN CÂN BẰNG TẢI TRÊN ĐIỆN TỐN ĐÁM MÂY BẰNG CƠNG NGHỆ AI HIỆN ĐẠI” dựa vào thuật tốn có để phân tích làm rõ chúng Sau đó, đánh giá đưa nhược điểm lợi thuật toán Rồi từ nhược điểm phân tích, đề xuất thuật tốn nhằm cải tiến nâng cao khả cân tải so với thuật toán cũ Thuật toán đề xuất đạt hiệu định việc phân bổ tác vụ nâng cao cân tải môi trường điện tốn đám mây Q trình nghiên cứu đạt nhiều mục tiêu đề sau: - Nghiên cứu tổng quan đám mây đám mây với ba mơ hình (IaaS, PaaS, SaaS) sử dụng Các kỹ thuật cân tải dùng môi trường điện tốn đám mây - Mơ lại q trình nghiên cứu điện tốn đám mây thơng qua cơng cụ CloudSim Các giá trị thu mô đưa để phân tích so sánh với Mục đích tóm lại ưu điểm nhược điểm thuật tốn, từ có hướng đề xuất thuật toán sửa đổi để khắc phục mặt hạn chế - Đề xuất thuật tốn DTLBA có khả giải vấn đề quản lí tài nguyên, thời gian đáp ứng cho tác vụ cải thiện yêu cầu xử lí nhanh chóng máy ảo Hạn chế luận văn: - Chưa ứng dụng vào môi trường thực tế - Thời gian đáp ứng xử lý chưa cải thiện nhiều Vấn đề kiến nghị hướng nghiên cứu: - Đưa thuật toán đề xuất vào ứng dụng thực tế - Áp dụng mơ hình lượng tiêu thụ datacenter cloud tương ứng để xây dựng biểu đồ phân bổ tải cho cloud