2020 httt nguyenthanhtrung ttlv 6381

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Thanh Trung NGHIÊN CỨU CHÍNH SÁCH BỀN VỮNG NHẰM XÂY DỰNG THUẬT TOÁN NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI CỦA ĐIỆN TỐN ĐÁM MÂY Chun ngành: Hệ thống thơng tin Mã số: 8.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH – NĂM 2022 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Trần Cơng Hùng (Ghi rõ học hàm, học vị) Phản biện 1: TS Đàm Quang Hồng Hải Phản biện 2: TS Dương Thị Thùy Vân Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: 11 45 ngày 15 tháng 01 năm 2022 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng 1 MỞ ĐẦU Trong thời đại ngày nay, công nghệ thông tin truyền thông ngày phát triển, đòi hỏi nhu cầu xử lý thơng tin ngày cao, cần có hệ thống có khả lưu trữ khai thác lượng liệu lớn Sự phát triển không ngừng kinh tế giới nước đòi hỏi doanh nghiệp, tập đồn lớn phải có giải pháp để lưu trữ khai thác thông tin liệu lớn liên quan đến công việc kinh doanh họ Việc trang bị máy chủ vật lý đòi hỏi phải có phận kỹ thuật am hiểu công nghệ thông tin để quản trị vận hành hệ thống Đồng thời nhiều chi phí để đầu tư, nâng cấp phần mềm, phần cứng, phí bảo trì, nhân cơng Chính thế, điện tốn đám mây (cloud computing) giải pháp thu hút số lượng lớn doanh nghiệp sử dụng Điện toán đám mây thực chất mơ hình máy chủ ảo, sử dụng cơng nghệ máy tính phát triển dựa vào mạng Internet Ở mơ hình điện tốn này, khả liên quan đến công nghệ thông tin cung cấp dạng "dịch vụ" “Dịch vụ” cho phép người sử dụng truy cập dịch vụ công nghệ từ nhà cung cấp "trong đám mây" mà khơng cần phải có kiến thức, kinh nghiệm cơng nghệ Ngồi ra, người dùng khơng cần quan tâm đến sở hạ tầng phục vụ cơng nghệ mà cung cấp Điện tốn đám mây giải vấn đề tối ưu hóa lưu trữ, ảo hóa máy chủ, sở hạ tầng mạng với mục đích mang lại dịch vụ với chất lượng tốt Các tập đoàn, doanh nghiệp cá nhân người dùng cần trả phí với dịch vụ tương ứng mà họ sử dụng Nói chất lượng dịch vụ điện toán đám mây, người dùng cảm thấy chất lượng dịch vụ đáp ứng tốt công việc quản lý điều hành, lưu trữ khai thác tài nguyên Mặt khác, việc quản lý tài nguyên trở thành công việc phức tạp nhà cung cấp dịch vụ đám mây Có số vấn đề đặt ra: khắc phục vấn đề thiếu tài nguyên, giảm độ trễ đám mây khả cải thiện hiệu suất mạng nhiều người dùng sử dụng lúc 2 Để giải vấn đề trên, có hệ thống cân tải để phân bổ đồng lưu lượng truy cập hai hay nhiều máy chủ có chức hệ thống Bằng cách đó, giúp cho hệ thống cung cấp dịch vụ nhà cung cấp giảm thiểu cách tối đa tình trạng máy chủ bị tải ngưng hoạt động Hiện có nhiều thuật tốn cân tải dịch vụ đám mây Tuy nhiên, hiệu thuật tốn cịn nhiều hạn chế, chưa đưa giải pháp giúp cân tải cung cấp tài nguyên cách hiệu không tốn thời gian quay vịng lặp Ngồi ra, thuật tốn chưa có khả sẵn sàng đảm bảo độ tin cậy hệ thống Do đó, việc đề xuất “Nghiên cứu sách bền vững nhằm xây dựng thuật toán nâng cao hiệu cân tải điện tốn đám mây” vơ cần thiết Thuật tốn đề xuất có khả chịu lỗi (Fault Tolerance), việc truy cập phân bổ đồng nguồn tài nguyên, chí Datacenter nhu cầu tăng lên cách nhanh chóng Hoặc máy chủ gặp cố, chức cân tải đám mây đạo phân phối cơng việc máy chủ cho máy chủ lại, đẩy thời gian (Uptime) hệ thống lên cao cải thiện suất hoạt động Nhằm nâng cao hiệu cân tải dịch vụ điện toán đám mây đề xuất, em xin đưa nội dung đề tài nghiên cứu sau: “Nghiên cứu sách bền vững nhằm xây dựng thuật toán nâng cao hiệu cân tải điện toán đám mây” Luận văn bố cục sau: Trong chương học viên giới thiệu tổng quan hệ thống cân tải điện toán đám mây, giới thiệu sơ lược điện toán đám mây, tổng quan cân tải, mục đích cân tải để làm gì? Giới thiệu đơi nét trí tuệ nhân tạo (AI), machine learning Hiểu biết khái niệm tổng quan điện toán đám mây Trong chương 2, học viên giới thiệu công trình liên quan đến đề tài ngồi nước, thơng qua việc nghiên cứu tìm hiểu số thuật tốn cơng trình liên quan đến cân tải điện toán đám mây, giúp luận văn hiểu rõ cân tải điện tốn đám mây Từ đó, hiểu ưu nhược điểm thuật toán cách xử lý cân tải, tạo tiền đề sở vững cho nghiên cứu đề tài luận văn Nghiên cứu cơng trình góp phần giúp củng cố phần sở lý thuyết định hướng nghiên cứu, phát triển cho đề tài Chương học viên đưa mơ hình nghiên cứu cứu sử dụng thuật tốn Y nhằm mục đích loại bỏ task tương ứng với Request dựa độ ưu tiên xử lý task; trình bày số thuật toán Cây phân loại hồi quy từ đề xuất sách bền vững nhằm xây dựng thuật toán nâng cao hiệu cân tải điện tốn đám mây Chương học viên mơ môi trường thực nghiệm, đưa kết thực nghiệm mơ hình, sau đánh giá kết thực nghiệm để thấy thuật toán đề xuất hiệu thuật toán khác 4 CHƯƠNG GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG CÂN BẰNG TẢI CỦA ĐIỆN TOÁN ĐÁM MÂY 1.1 Tổng quan điện toán đám mây Điện tốn đám mây (cloud computing): hay cịn gọi điện tốn máy chủ ảo, nơi tính tốn “định hướng dịch vụ” phát triển dựa vào Internet Cụ thể hơn, mơ hình điện tốn đám mây, tất tài nguyên, thông tin software chia sẻ cung cấp cho máy tính, thiết bị, người dùng dạng dịch vụ tảng hạ tầng mạng công cộng (thường mạng Internet) Các user thường sử dụng dịch vụ sở liệu, website, lưu trữ,… Trong mô hình cloud computing, khơng cần quan tâm đến vị trí địa lý thông tin khác hệ thống mạng đám mây - “điện toán đám mây suốt người dùng” Người dùng cuối truy cập sử dụng ứng dụng đám mây thông qua ứng dụng trình duyệt web, ứng dụng mobile máy tính cá nhân thơng thường Hình 1.1 Mơ hình điện tốn đám mây [1] 1.2 Tổng quan cân tải điện toán đám mây 1.2.1 Giới thiệu cân tải Cùng với việc phát triển rộng rãi Internet, website hay ứng dụng trực tuyến nhiều người truy cập sử dụng Khi lượng truy cập lớn thường xảy vấn đề hạ tầng mạng khả xử lý Server bị tắc nghẽn cục Vì vậy, Cân Bằng Tải ln ln tính cơng nghệ quan trọng giúp máy chủ ảo hoạt động đồng hiệu thông qua việc phân phối đồng tài nguyên Giải pháp cân tải việc phân bố đồng lưu lượng truy cập hai hay nhiều máy chủ có chức hệ thống Bằng cách đó, giúp cho hệ thống giảm thiểu tối đa tình trạng máy chủ bị tải ngưng hoạt động Hoặc máy chủ gặp cố, Cân Bằng Tải đạo phân phối công việc máy chủ cho máy chủ cịn lại, đẩy thời gian uptime hệ thống lên cao cải thiện suất hoạt động tổng thể Hình 1.5 Mơ hình Cân tải điện toán đám mây [8] Cân tải [11] chia thành loại: ● Cân tải cục ● Tải toàn cầu Cân tải cục sử dụng để cân dự báo tải trung tâm Nó phân phối yêu cầu từ phía máy khách sang cho máy chủ để đáp ứng nhu cầu Thứ hai loại cân tải tồn cục Nó quản lý kiểm sốt u cầu từ phía khách hàng tự động đến máy chủ qua nhiều trung tâm liệu Ngoài ra, xử lý lưu lượng hai mặt gói truyền tải Xử lý cân tải tồn cầu cho phức tạp đồng thời điều hữu ích cho truyền tải gói tin trung tâm liệu mạng Tính khả dụng đảm bảo rằng, trường hợp thất bại, hệ thống tiếp tục hoạt động mong đợi 1.2.2 Mục đích cân tải Tăng khả đáp ứng, tránh tình trạng tải máy chủ, đảm bảo tính linh hoạt mở rộng cho hệ thống Tăng độ tin cậy khả dự phòng cho hệ thống: Sử dụng Cân tải giúp tăng tính HA (High Availability) cho hệ thống, đồng thời đảm bảo cho người dùng không bị gián đoạn dịch vụ xảy lỗi cố điểm cung cấp dịch vụ Tăng tính bảo mật cho hệ thống: Thơng thường người dùng gửi yêu cầu dịch vụ đến hệ thống, yêu cầu xử lý Cân tải chuyển tiếp đến cho máy chủ bên Quá trình trả lời cho khách hàng thơng qua thành phần Cân tải Chính mà người dùng khơng thể biết xác máy chủ bên phương pháp phân tải sử dụng Bằng cách ngăn chặn người dùng giao tiếp trực tiếp với máy chủ, ẩn thông tin cấu trúc mạng nội bộ, ngăn ngừa công mạng dịch vụ không liên quan hoạt động cổng khác 1.3 Tổng quan trí tuệ nhân tạo (AI) Trí tuệ nhân tạo (AI) [1] ngành khoa học máy tính liên quan đến việc tạo chương trình nhằm mục đích tái tạo nhận thức người trình liên quan đến việc phân tích phức tạp liệu Sự đời khái niệm liên kết phổ biến với hội nghị Dartmouth năm 1956 [2] Tuy nhiên, công nghệ thời điểm giới hạn việc ứng dụng AI Gần đây, tiến đáng kể thực lĩnh vực sức mạnh máy tính công nghệ phần cứng phần mềm cải tiến Các cá nhân tổ chức số ngành công nghiệp bắt đầu nhận tiềm AI để cải thiện hoạt động Ngoài ra, việc nghiên cứu AI tiến hành nhiều lĩnh vực như: y tế, điện toán đám mây, xử lý ảnh, … 1.4 Tổng quan machine learning Học máy (Machine Learning / ML) [3] phương pháp để tạo AI ML liên quan đến chương trình máy tính viết lập trình riêng cúng để hồn thành nhiệm vụ định trước Q trình giám sát, bán giám sát, khơng giám sát Trong học tập có giám sát, máy cung cấp tập liệu Với ví dụ tập liệu, gắn nhãn kèm theo câu trả lời Các sau máy học thông qua phép thử phép sai để dự đoán câu trả lời từ tập liệu nhập Học tập không giám sát liên quan đến việc phân tích liệu đầu vào mà khơng có câu trả lời xác định Điều thường sử dụng để mơ hình hóa cấu trúc phân phối liệu Cuối cùng, học tập bán giám sát phương pháp kết hợp liên quan đến việc kết hợp liệu gắn nhãn không gắn nhãn Điều giúp giảm bớt gánh nặng nhiệm vụ ghi nhãn Sử dụng thuật toán phân lớp ML để tiến hành phân lớp người dùng dựa điểm đặc trưng họ để thực việc cân tải 8 CHƯƠNG 2.1 CÁC CƠNG TRÌNH LIÊN QUAN Các cơng trình nghiên cứu Việt Nam Trong báo [1] Trần Công Hùng cộng đăng tạp chí Khoa học công nghệ Thông tin truyền thông số 04(CS.01) 2018 Học viện Cơng nghệ Bưu viễn thơng, đề xuất thuật toán cân tải nhằm giảm thời gian đáp ứng điện toán đám mây Ý tưởng báo sử dụng thuật toán dự báo ARIMA để dự báo thời gian đáp ứng Từ đó, đưa cách giải phân phối tài nguyên hiệu dựa vào giá trị ngưỡng thời gian Bài báo đưa thuật toán thử nghiệm mơ với mơ hình nhỏ đạt số kết mơ tích cực, tiềm dự báo tương lai gần Trong báo [2] tác giả Nguyễn Thanh Thủy cộng đăng tạp chí “International Journal of Computer Science and Network, Volume 4, Issue 2, April 2015”, trình bày cách tiếp cận để cải thiện thuật toán ngăn chặn bế tắc Đồng thời lên lịch cho sách cung cấp tài nguyên để phân bổ tài ngun khơng đồng Thuật tốn ngăn chặn bế tắc có độ phức tạp thời gian chạy O (min (m, n)), m số lượng tài nguyên n số lượng quy trình Họ đề xuất thuật toán phân bổ nhiều tài nguyên cho dịch vụ cạnh tranh chạy máy ảo tảng phân tán không đồng Các thí nghiệm so sánh hiệu suất phương pháp đề xuất với công việc liên quan khác 2.2 Một số cơng trình nghiên cứu giới Năm 2018, Afrianto cộng [12] công bố nghiên cứu “Weighted Round Robin Load Balancer to Enhance Web Server Cluster in OpenFlow Networks” Nghiên cứu nhằm mục đích thiết kế phân tích mơ hình cân tải mạng OpenFlow thực thuật toán Round Robin trọng số (WRR) Q trình phân tích tiến hành cách đo giá trị thơng số trình bày QoS máy chủ web Kết cho thấy thuật tốn WRR có khả cân hệ thống mạng với phân bổ tài nguyên động Trọng lượng công việc dịch vụ lấy từ nhu cầu tài nguyên mạng có Hiệu suất cân tải mạng OpenFlow tốt 57% so với mạng truyền thống kiểm tra thời gian phản hồi 9 Năm 2019, Shi cộng [13] công bố nghiên cứu “Concury: A Fast and Light weighted Software Load Balancer” Trong nghiên cứu này, phần mềm trạng thái cân tải giới thiệu, gọi Concury - giải pháp để giải hai vấn đề: (1) Các trạng thái lưu trữ tiêu hóa có khả gây khơng qn gói tin xung đột phân tích (2) Mặt phẳng liệu cần cập nhật cho kết nối việc cập nhật thường xuyên làm ảnh hưởng đến thơng lượng tính qn gói Cải tiến quan trọng Concury cách tiếp cận theo thuật toán để lưu trữ tra cứu trạng thái mạng lớn Cải tiến với kết nối thường xuyên gọn gàng chi phí nhớ, quán theo thay đổi mạng không thường xuyên cập nhật mặt phẳng liệu Kết đánh giá cho thấy thuật toán Concury cung cấp thơng lượng gấp lần tiêu thụ nhớ so với thuật toán cân tải khác Đồng thời cung cấp khả cân tải có trọng số tự đánh nhầm, cho lưu lượng trung tâm liệu thực tổng hợp Trong thập kỷ gần đây, gia tăng yêu cầu (các ứng dụng đa dạng phức tạp) cho dịch vụ đám mây làm tăng khối lượng công việc môi trường đám mây Các kỹ thuật định thời hiệu phải đối mặt với thách thức tài nguyên chúng sử dụng mức cân Điều dẫn đến suy giảm hiệu suất dịch vụ (do sử dụng mức) lãng phí tài nguyên đám mây (do chưa đáp ứng đủ) Ý tưởng đằng sau thuật toán định thời phân phối nhiệm vụ (đa dạng phức tạp) tài nguyên đám mây để tránh vấn đề cân Thuật tốn định thời nên tối ưu hố thơng số trình bày chính: thời gian phản hồi, thời gian chờ, độ tin cậy, tính khả dụng, mức tiêu thụ lượng, chi phí, mức sử dụng tài nguyên,… Thế nên, vào năm 2019, Kumar cộng [14] công bố nghiên cứu “A comprehensive survey for scheduling techniques in cloud computing” nhằm cung cấp đánh giá hệ thống phân loại kỹ thuật lập lịch đề xuất với ưu điểm hạn chế chúng Đây khảo sát có hệ thống toàn diện, bước đệm tốt cho nhà nghiên cứu điện toán đám mây kỹ thuật định thời tương lai Cân tải cải thiện số Chất lượng dịch vụ (QoS), bao gồm thời gian phản hồi, chi phí, thơng lượng, hiệu suất sử dụng tài nguyên Vậy nên, 10 Ghomi cộng [15] vào năm 2017 công bố nghiên cứu “Load-balancing algorithms in cloud computing: A survey” với tài liệu thuật toán định thời tác vụ cân tải Đồng thời, họ cịn trình bày phân loại thuật tốn Ví dụ: danh mục cân tải Hadoop MapReduce, danh mục cân tải dựa Hiện tượng tự nhiên, danh mục cân tải dựa tác nhân, danh mục Cân tải chung, danh mục hướng ứng dụng, danh mục nhận biết mạng danh mục quy trình làm việc cụ thể Họ cung cấp đánh giá loại danh mục với thông tin chi tiết việc xác định vấn đề mở hướng dẫn cho nghiên cứu tương lai Điện toán đám mây trở nên phổ biến dịch vụ mà cung cấp Trong mơi trường điện toán đám mây, cân tải vấn đề quan trọng Bởi người dùng yêu cầu họ dịch vụ khác tảng điện toán đám mây ngày tăng, nên cần thiết phải sử dụng hiệu tài nguyên mơi trường đám mây Thuật tốn cân tải hiệu thuật toán phải đảm bảo việc sử dụng tài nguyên hiệu cách cung cấp đầy đủ tài nguyên cho người dùng theo yêu cầu Để ưu tiên người dùng Cân tải sử dụng định thời, thời gian phản hồi thời gian chờ số hoạt động thuật toán cân tải Trong báo “A Comparative Study of Static and Dynamic Load Balancing Algorithms in Cloud Computing” năm 2017, Deepa cộng cung cấp nghiên cứu so sánh có hệ thống thuật tốn cân tải có điện tốn đám mây [16] 11 CHƯƠNG NGHIÊN CỨU CHÍNH SÁCH BỀN VỮNG NHẰM XÂY DỰNG THUẬT TOÁN NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI CỦA ĐIỆN TỐN ĐÁM MÂY 3.1 Mơ hình nghiên cứu Mơ hình nghiên cứu sử dụng thuật tốn Cây phân loại hồi quy (CART) nhằm mục đích loại bỏ task tương ứng với Request dựa sách bền vững Chính sách bền vững tính tốn dựa mức độ tiêu thụ lượng task (Power Consumed), mức độ sử dụng CPU (CPU Usages), mức độ sử dụng RAM (RAM Usages) chi phí (Costing) để thực task cloud thông qua thuật tốn K-Means Sau phân loại job/task theo sách bền vững, cân tải phân bổ request tương ứng với task có độ bền vững cao vào máy ảo/host có lực xử lý tốt hơn, tức mức độ rảnh task cao Từ đó, phân bổ request có nhu cầu xử lý cao vào máy ảo/host có mức độ hoạt động thấp Với cách tiếp cận này, thuật toán đề xuất cải thiện thời gian xử lý cân tải cloud đồng thời ứng dụng môi trường cloud theo thời gian thực Trong luận văn tạm đặt tên thuật toán RCVKA Thuật toán đề xuất sau: * Bước 1: Tiếp nhận request * Bước 2: Áp dụng sách thuật toán để cân tải * Bước 3: Dựa vào kết thu tiến hành cân tải Về mục tiêu: - Giảm thiểu rủi ro cho hệ thống máy chủ - Giảm thiểu tối đa thời gian sống cho yêu cầu điện toán đám mây - Hạn chế tối đa ngăn chặn cân tải máy ảo Giả định: - Bộ cân tải biết trước dịch vụ chạy máy ảo vào thời điểm 12 Luận văn tập trung vào dịch vụ Web (Web Service), máy chủ - web biết trước thời gian xử lý dịch vụ chạy web máy ảo Nếu hai máy ảo có cấu hình tương đương RAM, vi xử lý I/O - thời gian thực thi dịch vụ khơng có nhiều khác biệt Mơ hình nghiên cứu: Thuật toán đề xuất sau: * Bước 1: Tiếp nhận request * Bước 2: Áp dụng sách thuật tốn để thực cân tải * Bước 3: Dựa vào kết thu tiến hành thực cân tải Tiếp nhận request Chạy thuật tốn Cân tải Hình 3.1 Mơ hình cân tải 3.2 Thuật toán Cây phân loại hồi quy (Classification and Regression Tree - CART) Thuật toán CART [21] loại thuật toán phân loại cần thiết để xây dựng định sở “chỉ số tạp chất Gini” Nó thuật tốn học máy cung cấp nhiều trường hợp sử dụng Nhà thống kê Leo Breiman đặt cụm từ để mơ tả thuật tốn Cây định sử dụng cho vấn đề phân loại mơ hình dự báo hồi quy CART từ bao hàm dùng để loại định sau: 13 ‑ Cây phân loại: Khi biến mục tiêu liên tục, sử dụng để tìm “lớp” mà biến mục tiêu có nhiều khả rơi vào ‑ Cây hồi quy: Được sử dụng để dự báo giá trị biến liên tục Trong định, nút chia thành nút sở giá trị ngưỡng thuộc tính Thuật tốn CART thực điều cách tìm kiếm đồng tốt cho nút con, với trợ giúp tiêu chí Gini Index Nút gốc lấy làm tập huấn luyện chia thành hai cách xem xét giá trị ngưỡng thuộc tính tốt Hơn nữa, tập hợp chia theo logic Điều tiếp tục tìm thấy túy cuối số tối đa có phát triển Điều cịn gọi Cắt tỉa (Tree Pruning) Cơng thức tính tốn số Gini 𝑐 𝑐 𝐺𝐼 = 𝛴𝑖=0 𝑃𝑖 (1 − 𝑃𝑖 ) 𝐺𝐼 = − 𝛴𝑖=0 𝑃𝑖2 Ở c tổng số lớp P xác suất lớp i 3.4 Thuật toán K-Means Thuật toán K-Means thuật toán quan trọng sử dụng phổ biến kỹ thuật phân cụm, đề xuất J.B.MacQueen Thuật tốn khơng giám sát thường sử dụng khai thác liệu nhận dạng mẫu Hướng đến việc giảm thiểu số hiệu suất cụm, tiêu chí lỗi bình phương lỗi tảng thuật tốn Để tìm kiếm kết tối ưu hóa, thuật tốn cố gắng tìm K phận để thỏa mãn tiêu chí định Đầu tiên, chọn số dấu chấm để đại diện cho tiêu điểm cụm ban đầu (thông thường, chọn K điểm mẫu thu nhập để đại diện cho tiêu điểm cụm ban đầu); thứ hai, gom chấm mẫu cịn lại tiêu điểm theo tiêu chí khoảng cách tối thiểu ta phân loại ban đầu, phân loại khơng hợp lý sửa đổi (tính lại tiêu điểm cụm), lặp lặp lại có phân loại 3.5 Thuật toán đề xuất RCVKA Dựa vào tham khảo từ tài liệu [20], luận văn xin đề xuất thuật tốn gồm nhóm module chính: (1) Module tính tốn thơng số Request thuật tốn K-Means: 14 Thuật tốn K-Means Module đóng vai trị tính tốn thơng số sử dụng tài ngun task/job dựa thuộc tính Request sau chọn lọc sách bền vững Các thuộc tính Request bao gồm: Size, Response Length, Max Length,… PoNew = K-Means(Request, Power) CPUNew = K-Means(Request, CPU) RAMNew = K-Means(Request, RAM) Request = {X1, X2, …, Xn}, với Xi thuộc tính Request gửi lên cloud Trong đó: PoNew (Power dự đốn Power New): Power ghi nhận khứ CPUNew (CPU dự đoán CPU New): CPU ghi nhận khứ RAMNew (RAM dự đoán RAM New): RAM ghi nhận khứ Ở đây, ta sử dụng nhóm yếu tố {Po, CPU, RAM} để tổng hợp tính tốn để tính tốn riêng biệt đại lượng (2) Module phân lớp tác vụ theo hành vi người dùng: Module sử dụng thuật toán CART để phân lớp Request xét, dựa vào sách bền vững cloud tác vụ VMselect = RandomForest(Po, CPU, RAM); Trong đó: VMselect: máy ảo chọn Cart: hàm phân lớp từ mơ hình Cây định CART xây dựng dựa liệu trước Request Po: Power dự đốn tính tốn từ Module CPU: mức sử dụng CPU dự đoán tính tốn từ Module RAM: mức sử dụng RAM dự đốn tính tốn từ Module (3) Module phân bổ dịch vụ (chọn máy ảo) Nhiệm vụ Module phân bổ loại Request đến máy ảo phù hợp Nếu Request gửi tới Request phân loại Module VM xét bao gồm VM không tải phân cụm theo Module Ngoài ra, Module có nhiệm vụ phân bổ Request xét vào máy ảo tìm thấy từ Module 2, từ xử lý trả kết Request Sau đó, lưu kết vào 15 lịch sử nhớ Request gần xử lý để làm liệu đầu vào cho q trình xây dựng mơ hình Cây định CART Module Thuật tốn RCVKA (Request CART Classification & VM K-Means Clustering Algorithm) For each Request in CloudRequests isLocated = false; SustainablePolicy = {Po, CPU, RAM}new = K-Means (T1,T2,…,Tn); // Module Request.SustainablePolicyClass = Cart(SustainablePolicy); //Cart mơ hình phân lớp tác vụ For each VM in VMList If isFitSituation(Request.SustainablePolicyClass, VM) AllocateRequestToVM(VM, Request); // Module isLocated = true; End If 10 End For 11 If(!isLocated) 12 VM = VMList.getSelectedVM(); // Module 13 AllocateRequestToVM(VM, Request); 14 End If 15 End For Trong đoạn mã giả trên, thuật tốn RCVKA sử dụng vịng lặp để lắng nghe tất Request có danh sách hàng đợi gửi lên cân tải (CloudRequests) Thuật toán tiếp tục phân bổ Request hết danh sách hàng đợi Cụ thể, thuật toán sử dụng biến isLocated (kiểu luận lý – boolean) để làm cờ (flag) đánh dấu Request xét để xem Request phân bổ hay chưa Khi bắt đầu vòng lặp, biến isLocated khởi tạo giá trị mặc định false Bước tiếp theo, thuật tốn tính tốn vector SustainablePolicy chiều tương ứng với PowerConsume, CPU Usage RAM Usage (Priority = {Po, CPU, RAM}) cần dùng để thực Request xét Việc tính tốn dựa số liệu Request T1, T2,… Tn trước đó, n số Request lưu lịch sử Ti đại lượng Request thứ i lưu lại Ti bao gồm đại lượng đầu vào: MaxLength, FileSize, OutputSize… đại lượng xử lý cloud thực để xử lý Request thứ i bao gồm: PowerConsume, CPU Usage, RAM Usage N Request lịch sử liệu xây dựng nên hàm K-Means để dự báo tính tốn đại lượng SustainablePolicy cho Request xét Đại lượng SustainablePolicy liệu đầu vào để chạy CART phân lớp cho Request xét, lớp sau phân gán vào thuộc tính 16 SustainablePolicyClass Request Sau chạy thông số SustainablePolicy cho Request, thuật tốn thực duyệt vịng lặp để duyệt qua máy ảo có cloud Với máy ảo tương ứng, thuật toán xem xét mức độ phù hợp độ ưu tiên Request xét, thông qua hàm isFitSituation(Request.SustainablePolicyClass, VM) Nếu thỏa, RCVKA phân bổ Request xét vào máy ảo: AllocateRequestToVM(VM, Request) đồng thời gán giá trị biến isLoacated = true Trong trường hợp khơng tìm máy ảo thích hợp vịng lặp kết thúc Lúc này, thuật tốn chạy hết vịng lặp, biến isLocated mang giá trị false Request chưa phân bổ Vì vậy, nhiệm vụ thuật tốn RCVKA phân bổ Request vào máy ảo danh sách thông qua đoạn lệnh VM = VMList.getSelectedVM() Việc phân bổ đảm bảo Request dự báo không nằm liệu thuật toán phân bổ xử lý để phục vụ người dùng Phương pháp đánh giá thuật toán RCVKA Kết đạt từ thuật toán mà luận văn đề xuất RCVKA đáp ứng mục tiêu đề trước Chẳng hạn như, giới hạn số lượng yêu cầu xếp hàng để phân phối, giảm thiểu thời gian xử lý phản hồi đám mây trung tâm, tốt so với thuật toán cũ Điều đồng nghĩa với việc hiệu điện toán đám mây thực thuật toán RCVKA cải thiện so với bốn thuật toán đề cập đến luận văn FCFS, MaxMin, MinMin Round Robin 17 CHƯƠNG MÔ PHỎNG CHƯƠNG TRÌNH VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Giới thiệu chung Trong chương này, luận văn trình bày cài đặt mơ thuật tốn RCVKA Cụ thể, chương sử dụng thuật toán RCVKA phân bổ task tương ứng với Request dựa độ bền vững task tính tốn Mức độ tiêu thụ lượng task (Power Consumed), mức độ sử dụng CPU (CPU Usages), mức độ sử dụng RAM chi phí (Costing) để thực task cloud tính tốn kỹ tạo nên độ bền vững thuật toán Sau phân loại task theo độ ưu tiê độ bền vững, cân tải phân bổ request ứng với task có độ bền vững cao vào máy ảo/host có lực xử lý tốt hay có mức độ rảnh task cao Từ đó, phân bổ vào máy ảo/host có mức độ hoạt động thấp request có nhu cầu xử lý cao Với cách tiếp cận này, thuật toán đề xuất RCVKA cải thiện thời gian xử lý cân tải cloud sau ứng dụng mơi trường cloud theo thời gian thực Các kết thu sau tiến hành bước dùng để phân tích tính hiệu thuật tốn đề xuất 4.2 Mơi trường mô thực nghiệm Dựa vào liệu chứa Request, luận văn sử dụng thuật toán K-Means để phân loại Request dựa đặc trưng chúng (hành vi người dùng cloud) Bước 1: Tiếp nhận giá trị input Bước 2: Phân tích input để rút trích đặc trưng giá trị input Bước 3: Dựa vào đặc trưng trên, sử dụng machine learning để phân lớp giá trị đầu vào Bước 4: Dựa vào kết phân lớp, ta tiến hành cân tải cho hệ thống Dựa vào liệu biết Request, ta sử dụng thuật toán Regression để phân loại chúng cách tính tốn Priority = {Power, CPU, RAM} Từ đó, ta biết cách phân bổ tài nguyên cho Request vào máy ảo phân cụm sẵn trước Kết hợp đánh giá số lần sai sai số, ta cải thiện thuật toán 18 cách áp dụng máy học (machine learning) Tuy nhiên, máy học áp dụng để cải thiện thuật tốn xảy sai số cho phép Khi giả lập môi trường cloud, luận văn sử dụng ngơn ngữ lập trình JAVA thư viện CloudSim Bao gồm đến 15 máy ảo, môi trường cloud nơi để Request ngẫu nhiên truy cập đến dịch vụ cloud Các dịch vụ gồm có: dịch vụ cung cấp máy ảo, dịch vụ cung cấp đáp ứng người dùng CloudSim để tiến hành thử nghiệm Sau đó, luận văn tiếp tục tiến hành cài đặt thuật toán K-Means J48 môi trường mô phát triển thư viện WEKA Cuối kiểm nghiệm kết thuật tốn đề xuất Các tham số mơ hình mạng mơ phỏng: Q trình thực nghiệm mơ thuật toán cài đặt Eclipse IDE NETBEAN IDE sử dụng ngôn ngữ JAVA để chạy thử với kết hiển thị dạng console Môi trường giả lập dùng thư viện mã nguồn mở CloudSim (được cung cấp http://www.cloudbus.org/) kết hợp với thư viện datamining WEKA Môi trường mô giả lập gồm thông số sau: - Datacenter với thơng số sau: Bảng 4.1 Thơng số cấu hình Datacenter - Các máy ảo có cấu hình giống khởi tạo: 19 Bảng 4.2 Cấu hình máy ảo - Các Request (chạy web, WebRequest) đại diện Cloudlet CloudSim kích thước Cloudlet khởi tạo ngẫu nhiên hàm Random JAVA Số lượng Cloudlet từ 500 → 1500 Bảng 4.3 Cấu hình thơng số Request - Thuật toán đề xuất xây dựng cách tạo lớp RJVKASchedulingAlgorithm kế thừa từ đối tượng BaseSchedulingAlgorithm Song, thuật tốn đề xuất có cập nhật thêm số phương thức thuộc tính liên quan tới predictRequestKmeans đồng thời điều chỉnh hàm dựng sẵn để trở nên phù hợp hơn: @Override public void run() // Module public CondorVM getFittingVm (double label) // Module public String predictRequestPowerConsume(Cloudlet req) public String predictRequestCpuUsage(Cloudlet req) public String predictRequestRamUsage (Cloudlet req) // Module Tiêu chí đánh giá 20 Thực nghiệm mô cloud với tham số để chạy thuật toán cân tải CloudSim có sẵn Sau đó, kết hợp chạy thuật tốn đề xuất RCVKA cài đặt với liệu đầu vào Cuối cùng, so sánh kết đầu ra, đặc biệt thông số thời gian thực (Makespan) Sai số thời gian đáp ứng dự đoán máy ảo thời gian đáp ứng dự đoán cloud thấp hiệu thuật tốn đánh giá cao 4.3 Kết thực nghiệm mô hình Ta tiến hành chạy thực nghiệm mơ CloudSim với máy ảo dựng sẵn để đáp ứng Request Các request khởi tạo có chiều dài kích thước ngẫu nhiên với số lượng Request 30, 60, 100 1000 Dưới kết ghi nhận mô 30 1000 request: Bảng 4.4 Kết thực nghiệm mô với 30 request Thời gian thực FCFS (ms) 554.70 AVG 8,618.72 MAX 0.26 MIN RCVKA 206.43 2,734.52 0.11 MaxMin 253.53 3,068.34 0.14 MinMin 261.94 3,191.11 0.14 Round Robin 271.48 4,687.36 0.12 Với kết thực nghiệm 30 Request, thấy thuật tốn đề xuất RCVKA có lợi so với thuật tốn cịn lại Thuật toán MaxMin MinMin theo sát thuật toán RCVKA với thời gian xử lý ổn định Trong đó, thuật tốn FCFS lại có thời gian xử lý cao, chiếm gấp gần lần so với thuật toán đề xuất Tuy nhiên, để chứng tỏ thuật tốn đề xuất thật có hiệu quả, ta tiến hành xử lý nhiều request quan sát kết Bảng 4.7 Kết thực nghiệm mô với 1000 request Thời gian thực (ms) AVG MAX MIN FCFS 380.90 15,971.02 0.12 RCVKA 326.59 6,360.17 0.18 MaxMin MinMin Round Robin 545.62 54,741.18 0.15 639.75 30,587.87 0.16 514.52 60,263.71 0.13 Với trường hợp 1000 request này, thuật tốn RCVKA chứng minh vượt trội so với thuận tốn cịn lại Nếu lượng request bùng nổ, việc xử lý 21 thuật toán đáp ứng được, phụ thuộc vào cấu hình thiết bị chạy cân tải khơng q khó khăn việc xử lý cân tải lượng request nhiều 4.4 Đánh giá kết Mơ hình thực nghiệm mô với thông số kịch đưa dựa vào trình request browser mơi trường cloud Qua đó, luận văn ghi nhận thông số thời gian xử lý máy ảo cloud Việc chạy thực nghiệm với thông số máy ảo, chịu tải từ 30 đến 1000 Request cho kết tương đối khả quan Ngoài ra, việc phân bổ Request đến máy ảo xử lý đồng có tính khả thi cao 22 KẾT LUẬN Luận văn “NGHIÊN CỨU CHÍNH SÁCH BỀN VỮNG NHẰM XÂY DỰNG THUẬT TOÁN NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI CỦA ĐIỆN TOÁN ĐÁM MÂY” nghiên cứu thuật toán tiến hành phân lớp từ đặc trưng request chọn lọc sách bền vững Sau đó, phân bổ tác vụ vào máy ảo cho hợp lý nâng cao cân tải mơi trường điện tốn đám mây, sử dụng hợp lý có hiệu nguồn tài nguyên đám mây Dựa vào thuật tốn có để phân tích làm rõ chúng, sau đánh giá đưa nhược điểm lợi thuật toán Từ nhược điểm phân tích, đề xuất thuật tốn kết hợp với sách bền vững nhằm cải tiến nâng cao khả cân tải so với thuật tốn cũ Q trình nghiên cứu đạt nhiều mục tiêu đề sau: - Nghiên cứu tổng quan đám mây đám mây với ba mơ hình sử dụng Các kỹ thuật cân tải dùng môi trường điện toán đám mây - Nghiên cứu thuật toán hỗ trợ để phân lớp, phân cụm request Nghiên cứu sách bền vững, áp dụng vào để phân cụm request dựa đặc trưng - Nghiên cứu cách tiếp cận đám mây điện toán thông qua mô sử dụng công cụ giao diện thân thiện dễ sử dụng CloudSim Cài đặt mô kỹ thuật cân tải, thuật toán Round Robin, MaxMin, MinMin thuật toán tự nhiên FCFS Các giá trị thu mô đưa dùng để phân tích so sánh với nhau, nhằm tóm lại nhược điểm ưu điểm thuật tốn Từ đó, luận văn đề xuất thuật toán sửa đổi để khắc phục mặt hạn chế - Kết đạt từ thuật toán đề xuất đáp ứng mục tiêu việc đáp ứng thời gian cải thiện, hạn chế tài nguyên bị đói máy ảo có lực xử lý mạnh xử lý nhiều yêu cầu Qua đó, giúp cân tải hiệu thuật toán so sánh Round Robin, MaxMin, MinMin thuật toán tự nhiên FCFS 23 - Thuật tốn đề xuất RCVKA dùng để đưa vào áp dụng thực tế Hạn chế luận văn - Chưa ứng dụng vào môi trường thực tế - Thời gian đáp ứng xử lý chưa cải thiện nhiều Vấn đề kiến nghị hướng nghiên cứu: - Đưa thuật toán đề xuất vào ứng dụng thực tế Áp dụng mô hình lượng tiêu thụ Datacenter cloud tương ứng để xây dựng biểu đồ phân bổ tải cho cloud