2020 httt vuongduythanh ttlv 4433

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Vương Duy Thanh NGHIÊN CỨU ỨNG DỤNG AI XÂY DỰNG THUẬT TOÁN DỰ BÁO CÁC TÁC VỤ TRÊN ĐÁM MÂY NHẰM NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) TP HCM - 2022 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Vương Duy Thanh NGHIÊN CỨU ỨNG DỤNG AI XÂY DỰNG THUẬT TOÁN DỰ BÁO CÁC TÁC VỤ TRÊN ĐÁM MÂY NHẰM NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI CHUYÊN NGÀNH: MÃ SỐ: HỆ THỐNG THƠNG TIN 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) TP HCM – 2022 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Trần Công Hùng Phản biện 1: ……………………………………………………… Phản biện 2: ………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng I MỞ ĐẦU Tính cấp thiết đề tài Trong thời đại ngày nay, Công nghệ thông tin truyền thông ngày phát triển, địi hỏi nhu cầu xử lý thơng tin ngày cao Khi đó, nhu cầu khả lưu trữ lượng liệu to lớn vô cấp thiết Sự phát triển không ngừng kinh tế giới đẩy doanh nghiệp, tập đồn lớn vào tình buộc phải thay đổi Lúc này, cần có giải pháp giúp họ lưu trữ khối lượng khổng lồ liệu liên quan đến cơng việc kinh doanh họ Vì vậy, giải pháp để đáp ứng tất nhu cầu nói nhiều năm qua xuất Đó Điện tốn đám mây [1] (Cloud computing) Nhiều phương pháp dựa trí tuệ nhân tạo (AI) đề xuất để dự báo tác vụ nhằm nâng cao hiệu cân tải đám mây Tuy nhiên, để cải thiện độ xác dự đoán tác vụ phương pháp dựa máy học học sâu trước đây, ứng dụng AI xây dựng thuật toán dự báo tác vụ đám mây nhằm nâng cao hiệu cân tải đề xuất luận văn này, đề tài sau: “Nghiên cứu ứng dụng AI xây dựng thuật toán dự báo tác vụ đám mây nhằm nâng cao hiệu cân tải” Với việc dự báo tác vụ phân bổ phù hợp cho tài nguyên, cân tải làm việc hiệu Ngoài ra, hiệu kinh doanh nhà cung cấp dịch vụ đám mây cải thiện cách giảm từ chối số lượng công việc gửi Luận văn bao gồm: Phần mở đầu, nội dung gồm bốn chương phần kết luận Tổng quan vấn đề nghiên cứu Theo tài liệu [2], điện toán đám mây (Cloud Computing), cịn gọi điện tốn máy chủ ảo, mơ hình điện tốn sử dụng cơng nghệ máy tính phát triển dựa vào mạng Internet Cụ thể mơ hình điện tốn đám mây, tất tài nguyên, thông tin software chia sẻ cung cấp cho máy tính, thiết bị với người dùng dạng dịch vụ tảng hạ tầng mạng công cộng (thường mạng Internet) Người dùng cuối truy cập sử dụng ứng dụng đám mây thông qua ứng dụng trình duyệt web, ứng dụng mobile máy tính cá nhân 2.1 Lợi ích điện tốn đám mây Giúp tiết kiệm chi phí: Vì khơng cần trung tâm liệu chỗ nên không cần phải lắp đặt máy chủ, phần cứng, phần mềm 2.2 Các mơ hình dịch vụ [3] Mơ hình dịch vụ điện toán đám mây nhà cung cấp dịch vụ chia thành loại lớn: 2.2.1 Cơ sở hạ tầng dịch vụ (Infrastructure as a Service - IaaS) 2.2.2 Nền tảng dịch vụ (Platform as a Service - PaaS) 2.2.3 Phần mềm dịch vụ (Software as a Service - SaaS) 2.3 2.3.1 Tổng quan cân tải Cân tải [1] Cân tải phương pháp quan trọng điện toán đám mây giúp máy chủ hoạt động hiệu thông qua việc phân phối tài nguyên cách đồng đều, giảm tránh trình trạng tắc nghẽn 2.3.2 Cân tải điện toán đám mây [2] Cân tải điện toán đám mây cung cấp giải pháp cho vấn đề khác thiết lập sử dụng tài nguyên môi trường điện tốn đám mây 2.4 Một số cơng trình nghiên cứu liên quan đến cân tải Mục đích nghiên cứu o Mục tiêu chính: Nghiên cứu ứng dụng Machine Learning xây dựng thuật toán dự báo tác vụ đám mây nhằm nâng cao hiệu cân tải o o Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu - Đối tượng nghiên cứu tác vụ điện tốn đám mây - Nghiên cứu thuật toán dự báo áp dụng vào dự báo tác vụ Phạm vi nghiên cứu - Xây dựng mơ hình mơ đám mây mức độ nhỏ: khoảng 10 – 20 máy ảo (Có thể sử dụng máy thật nhiên để tiết kiệm chi phí nên đề cương này, thuật tốn mô áp dụng máy ảo) - Độ phức tạp máy ảo mức độ thấp: khoảng – ứng dụng máy ảo - Yêu cầu (Request) gửi máy chủ đơn giản, dung lượng liệu gửi nhỏ: Khoảng Mb o Phương pháp nghiên cứu Phương pháp luận: Dựa sở lý thuyết điện toán đám mây, Task Prediction, cân tải cloud o Phương pháp đánh giá dựa sở toán học: Trên sở lý thuyết điện toán đám mây Đề xuất thuật toán để dự báo tác vụ đám mây dựa thuật toán dự báo (thống kê, AI, …) Chứng minh thuật toán đánh giá hiệu thuật tốn o Phương pháp đánh giá mơ thực nghiệm Xây dựng mơ hình mơ thực nghiệm thuật toán đề xuất II NỘI DUNG CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG DỰ BÁO CÁC TÁC VỤ TRÊN ĐÁM MÂY NHẰM NÂNG CAO HIỆU QUẢ CÂN BẰNG TẢI 1.1 Tổng quan điện toán đám mây Điện toán đám mây (cloud computing): [5], [6] hay cịn gọi điện tốn máy chủ ảo nơi tính tốn “định hướng dịch vụ” phát triển dựa vào Internet 1.2 Tổng quan cân tải điện toán đám mây 1.2.1 Giới thiệu cân tải Cân tải chủ đề quan trọng mơi trường phân tán Vì Cloud Computing coi tảng tốt giúp lưu trữ liệu với chi phí tối thiểu truy cập lúc qua internet, cân tải cho điện toán đám mây trở thành lĩnh vực nghiên cứu thú vị quan trọng Cân tải nhằm mục đích thỏa mãn người dùng sử dụng tỷ lệ tài nguyên cao cách đảm bảo phân bổ hợp lý Có nhiều khó khăn kỹ thuật cân tải bảo mật, khả chịu lỗi, v.v vốn phổ biến mơi trường điện tốn đám mây đại Nhiều nhà nghiên cứu đề xuất số kỹ thuật thuật toán để tăng cường nhằm tìm phương án tốt cho Cân tải 1.2.2 Mục đích cân tải Tăng khả đáp ứng tránh tình trạng tải máy chủ đồng thời đảm bảo tính linh hoạt mở rộng cho hệ thống Tăng độ tin cậy khả dự phòng cho hệ thống: Sử dụng Cân tải giúp tăng tính HA (High Availability) cho hệ thống đồng thời đảm bảo cho người dùng không bị gián đoạn dịch vụ xảy cố lỗi điểm cung cấp dịch vụ Tăng tính bảo mật cho hệ thống: 1.3 Tổng quan tác vụ Tác vụ [17], [18] trình xếp yêu cầu (request) đến theo cách thức định để lập lịch tài nguyên sẵn có sử dụng hợp lý Vì điện tốn đám mây cơng nghệ cung cấp dịch vụ thông qua phương tiện Internet, người dùng dịch vụ phải gửi yêu cầu họ thông qua Internet 1.4 Vai trò dự báo tác vụ cân [19] tải cloud Việc dự báo tác vụ [20], [21] có vai trị quan trọng việc cân tải cloud Với việc dự báo trước tác vụ cần sử dụng tài nguyên giúp cho việc cân tải hiệu tránh việc phân phối tác vụ không hợp lý 1.5 Tổng quan AI Trí tuệ nhân tạo (AI) [22], [23] ngành khoa học máy tính liên quan đến việc tạo chương trình nhằm mục đích tái tạo người nhận thức trình liên quan đến việc phân tích phức tạp liệu Sự đời khái niệm liên kết phổ biến với hội nghị Dartmouth năm 1956 [24] 1.6 Tổng quan Machine Learning Học máy (Machine Learning / ML) [22] tập hợp AI, cho phép máy móc học từ liệu học từ kinh nghiệm trước mà khơng cần phải lập trình cách cụ thể chi tiết ML liên quan đến chương trình máy tính viết lập trình riêng chúng để hồn thành nhiệm vụ định trước 1.7 Kết luận chương Hiểu biết khái niệm tổng quan điện toán đám mây, trí tuệ nhân tạo học máy Hiểu biết thuật toán điện toán đám mây để dự báo tác vụ đám mây thông qua môi trường điện tốn Mục đích cân tải để làm tăng hiệu hệ thống 17 CHƯƠNG MÔ PHỎNG THUẬT TOÁN VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Giới thiệu chung Để hiểu rõ thuật tốn đề xuất, chương trình bày cài đặt mơ thuật tốn ACTPA (AdaBoost Classification of Task Prediction Algorithm) Q trình mơ cân tải sử dụng thuật toán đề xuất ACTPA để phân loại dự báo tác vụ dựa thời gian xử lí Sau đó, điều phối tác vụ đến máy ảo phù hợp Các tác vụ có thời gian xử lí cao phân bổ vào máy ảo có mức độ sử dụng thấp, tức máy ảo có tính sẵn sàng cao ngược lại Với cách tiếp cận này, thuật toán đề xuất ACTPA tối ưu hóa thời gian xử lý cân tải cloud ứng dụng môi trường cloud theo thời gian thực Sau tiến hành bước thực nghiệm thu kết quả, ta phân tích so sánh tính hiệu thuật toán đề với thuật toán cân tải tiếng khác Các thuật toán so sánh Round Robin, MaxMin, MinMin FCFS 4.2 Môi trường mô thực nghiệm Dựa vào liệu request, ta sử dụng thuật toán SVM để phân loại chúng cách tính tốn thời gian xử lý Cũng từ đó, ta biết cách phân bố tài nguyên cho request vào máy ảo phân cụm Kết hợp với đánh giá số lần sai sai số, ta cải thiện thuật toán cách áp dụng máy học vào Dù vậy, việc áp dụng diễn có sai số cho phép 18 Giả lập môi trường cloud sử dụng thư viện CloudSim lập trình ngơn ngữ JAVA Môi trường giả lập cloud từ đến 15 máy ảo mơi trường request ngẫu nhiên đến dịch vụ cloud Các dịch vụ cloud bao gồm: cung cấp máy ảo, cung cấp đáp ứng người dùng muốn thử nghiệm CloudSim Cài đặt thuật tốn SVM, AdaBoost mơi trường mơ kiểm nghiệm kết Môi trường mô giả lập gồm thông số sau: - 01 Datacenter với thông số sau: Bảng 4.1: Thơng số cấu hình Datacenter Thông tin Datacenter Thông tin Host Datacenter - Số lượng máy (host) Mỗi host Datacenter datacenter: có cấu sau: - Khơng sử dụng Storage (các ổ - CPU có nhân, nhân SAN) có tốc độ xử lý 1000 - Kiến trúc(arch): x86 (mips) - Hệ điều hành (OS): Linux - Ram: 16384 (MB) - Xử lý (VMM): Xen - Storage: 1000000 19 - TimeZone: +7 GMT - Bandwidth: 10000 - Cost: 3.0 - Cost per Memory: 0.05 - Cost per Storage: 0.1 - Cost per Bandwidth: 0.1 - Các máy ảo có cấu hình giống khởi tạo: Bảng 4.2: Cấu hình máy ảo Kích thước Ram Mips Bandwidth (size) 10000 MB Số lượng cpu VMM (pes no.) 512 MB 250 1000 Xen - Các Request (các request chạy web, WebRequest) đại diện Cloudlet CloudSim kích thước Cloudlet khởi tạo ngẫu nhiên hàm random JAVA Số lượng Cloudlet 30 🡪 1000 20 Bảng 4.3: Cấu hình thơng số Request Kích thước file Kích thước file xuất (File Size) (Output Size) 5000 ~ 45000 450 ~ 750 Chiều dài (Length) 3000 ~ 1700 Số CPU xử lý (PEs) - Thuật toán đề xuất ACTPA xây dựng cách tạo lớp ACTPASchedulingAlgorithm, lớp kế thừa từ đối tượng có sẵn DataAwareSchedulingAlgorithmExample Đồng thời, thuật tốn cập nhật thêm số phương thức thuộc tính liên quan tới predictRequestSVM, sau điều chỉnh hàm dựng sẵn để phù hợp với thuật toán đề xuất: @Override public void run() // Module public CondorVM getFittingVm(double label) // Module public String predictRequestPowerConsume(Cloudlet req) public String predictRequestCpuUsage(Cloudlet req) 21 public String predictRequestRamUsage (Cloudlet req) // Module Tiêu chí đánh giá: Thực nghiệm mơ cloud với tham số chạy thuật tốn cân tải CloudSim có sẵn Sau đó, chạy thuật toán đề xuất cài đặt với liệu đầu vào so sánh kết đầu ra, đặc biệt thông số thời gian xử lý Thời gian xử lý máy ảo thời gian xử lý cloud với sai số thấp hiệu thuật tốn tốt 4.3 Thực nghiệm kết mô Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu Các yêu cầu khởi tạo với chiều dài kích thước ngẫu nhiên số lượng Request từ 30, 60, 100 đến 1000 Kết thu thuật toán đề xuất đem so sánh với thuật tốn Round-Robin, MaxMin, MinMin FCFS có thời gian thực là: 22 Bảng 4.4: Kết thực nghiệm mô với 30 Request Thời gian thực (ms) Thuật toán AVG MAX MIN Round Robin 259.37 2677.21 0.26 MaxMin 217.71 2621.24 0.12 MinMin 548.94 9080.72 1.03 FCFS 364.19 4925.67 1.3 ACTPA 679.49 9001.37 0.38 10000 8000 6000 4000 2000 AVG Round Robin MAX MaxMin MinMin FCFS ACTPA Hình 4.1: Biểu đồ so sánh thời gian thực thuật tốn với 30 Request 23 Q trình thực nghiệm với 30 request trở lại, thuật toán MaxMin chiếm ưu với thời gian xử lí thấp hai mốc thời gian trung bình thời gian cao Ngồi ra, thuật tốn Round Robin có thời gian xử lí tác vụ tốt, thuật toán MaxMin 41.66 ms mức trung bình 55.97 ms mức cao Thuật tốn đề xuất phạm vi 30 request chưa phát huy tối ưu việc xử lí tác vụ so với thuật tốn cịn lại Kết chạy thực nghiệm mô CloudSim với máy ảo dựng sẵn để đáp ứng yêu cầu Chúng khởi tạo chiều dài kích thước ngẫu nhiên, với số lượng Request 60: Bảng 4.5: Kết thực nghiệm mô với 60 request Thời gian thực (ms) Thuật toán AVG MAX MIN Round Robin 650.77 12226.29 0.13 MaxMin 648.04 12194.58 0.18 MinMin 731.74 26626.42 0.11 FCFS 770.81 24847.42 0.11 ACTPA 222.83 3411.38 0.11 24 30000 20000 10000 AVG Round Robin MAX MaxMin MinMin FCFS ACTPA Hình 4.2: Biểu đồ so sánh thời gian thực thuật toán với 60 Request Kết thu phạm vi 60 request dần chứng minh khả tối ưu hóa thời gian xử lí tác vụ thuật tốn đề xuất hai mốc thời gian Từ biểu đồ ta thấy tốc độ thuật toán đề xuất ACTPA vượt xa thuật toán cân tải cịn lại có chiều hướng phát triển tốt Bảng 4.6: Kết thực nghiệm mô với 100 request Thời gian thực (ms) Thuật toán Round Robin AVG MAX MIN 1221.92 32851.68 0.15 25 MaxMin 578.37 34341.74 0.12 MinMin 339.68 5578.17 0.18 FCFS 503.30 13517.15 0.17 ACTPA 196.54 3104.3 0.11 40000 35000 30000 25000 20000 15000 10000 5000 AVG Round Robin MAX MaxMin MinMin FCFS ACTPA Hình 4.3: Biểu đồ so sánh thời gian thực thuật toán với 100 Request Từ request thứ 100 trở đi, thuật toán ACTPA vượt trội hẳn so với MaxMin Round Robin Tuy nhiên, chưa đủ lợi so với RoundRobin Nhưng với số lượng request lớn ACTPA lợi Dần dà, thuật toán đề xuất chiếm ưu tuyệt đối so với 26 thuật tốn cịn lại Rõ ràng FCFS thể thiếu tự nhiên tính thơng minh giải thuật Bảng 4.7: Kết thực nghiệm mô với 1000 request Thời gian thực (ms) Thuật toán AVG MAX MIN Round Robin 356.87 16134.21 0.11 MaxMin 563.26 61632.4 0.11 MinMin 331.16 10018.56 0.1 FCFS 335.86 17833.29 0.11 ACTPA 310.09 6038.66 0.17 27 80000 60000 40000 20000 AVG Round Robin MAX MaxMin MinMin FCFS ACTPA Hình 4.4: Biểu đồ so sánh thời gian thực thuật toán với 1000 Request Kết thực nghiệm 1000 request cho thấy thuật toán đề xuất vượt trội hẳn thuật toán cân tải khác hai mốc thời AVERAGE EXECUTION TIME (MS) gian AVG MAX 1500 1000 500 30 60 100 1000 NUMBER OF REQUESTS Round Robin MaxMin FCFS ACTPA MinMin Hình 4.5: Thời gian thực trung bình thuật tốn với 1000 Request MAX EXECUTION TIME (MS) 28 80000 60000 40000 20000 30 60 100 1000 NUMBER OF REQUESTS Round Robin MaxMin MinMin FCFS ACTPA Hình 4.6: Thời gian thực trung bình thuật tốn với 1000 Request Thơng qua 02 biểu đồ tổng hợp so sánh thời gian xử lý thuật toán với điều kiện nhau, ta thấy phân bổ ổn định hợp lý thuật toán đề xuất ACTPA Cụ thể, thời gian xử lý máy ảo khả quan so với thời gian xử lý thuật tốn khác cloud (cả trường hợp nhiều request) Thực nghiệm mô mơ nhóm máy ảo chưa tính đến việc mở rộng tập máy ảo (VM pool) để giảm tải trường hợp cần thiết Vì ta giả định nhóm máy ảo xử lý tối đa request, vượt ta mở rộng pool Tuy nhiên, việc thí nghiệm mơ với lượng request lớn 1000 request đòi 29 hỏi máy tính mạnh có xử lý tốt Chính vậy, hạn chế thí nghiệm mô 4.4 Tổng kết chương Chương luận văn trình bày mơ hình thực nghiệm mơ phỏng, thông số kịch đưa dựa vào trình request browser mơi trường cloud Từ đó, ghi nhận thơng số thời gian đáp ứng dự báo máy ảo cloud Việc chạy thực nghiệm mô với thông số máy ảo, chịu tải từ 30 đến 1000 request cho thấy kết tương đối tốt Đồng thời, việc phân bổ request đến máy ảo xử lý đồng có tính khả thi cao 30 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn “Nghiên cứu ứng dụng AI xây dụng thuật toán dự báo tác vụ đám mây nhằm nâng cao hiệu cân tải” hoàn thành mục tiêu đề Thuật tốn đề xuất dựa ý tưởng từ nhiều cơng trình nghiên cứu ngồi nước Từ đó, tiến hành tổng hợp, phân tích đánh giá Nhờ hỗ trợ mạnh mẽ từ thư viện WEKA cơng cụ mơ điện tốn đám mây Cloudsim, máy ảo thuật toán cài đặt cách dễ dàng, nhanh chóng thơng qua mơi trường APACHE NETBEAN với ngơn ngữ lập trình Java Q trình mơ sử dụng thuật toán phân lớp Adaboost nhằm phân loại máy ảo thuật toán Random Forest phân loại các tác vụ dựa thời gian xử lí Từ đó, dự báo tác vụ phân bổ vào máy ảo tương ứng Các kết thu từ q trình thực nghiệm thuật tốn đề xuất phân tích so sánh với thuật toán cân tải đám mây khác Round Robin, MaxMin, MinMin, FCFS Dựa vào kết so sánh dựa ba mốc thời gian AVG, MAX MIN, nhìn chung kết cho thấy thuật tốn đề xuất có tính hiệu cao khả vượt trội thuật toán khác việc dự báo tác vụ điện toán đám mây Một thuật tốn cân tải mơi trường cloud phương pháp phân loại request theo thời gian xử lý đề xuất thực nghiệm mơ với mơ hình nhỏ Dựa ý tưởng 31 cơng trình nghiên cứu trước, đưa giải thuật ứng dụng khai phá liệu thuật toán AdaBoost để cân tải dựa vào thời gian xử lý Trong đó, việc tính tốn thời gian xử lí xác hiệu thuật tốn cao Tuy nhiên, việc tính tốn xác địi hỏi tốn nhiều nhớ phải xử lí nhiều Bên cạnh đó, người dùng mơi trường cloud có request vơ đa dạng phong phú nên thời gian xử lý biến đổi khơn lường cloud Thuật tốn đề xuất luận văn tiếp cận cách khái quát phát huy ý tưởng phân lớp theo Regression, toán học thời gian xử lý, điển hình thuật tốn AdaBoost Do đó, thuật tốn đề có hướng tiếp cận cân tải môi trường đám mây đồng thời đạt số kết thực nghiệm mô tích cực, cho thấy hướng phát triển tốt thuật toán Hướng phát triển thuật toán đề xuất việc đo lường hiệu chỉnh xác cách kết hợp AdaBoost với học máy, học khơng giám sát có giám sát cách đưa khoảng thời gian cao điểm thấp điểm cloud Để phát triển thuật toán tốt sâu hơn, cần thực nghiệm mơ máy tính có cấu hình mạnh quy mơ lớn Bên cạnh đó, việc cài đặt thuật tốn cloud thực tế giúp ta nghiên cứu chuyên sâu cụ thể Bởi, môi trường cloud thực tế phát sinh nhiều vấn đề liên quan đến thời gian xử lý Từ đó, ta biết hiệu chỉnh thuật toán cách hợp lý hiệu