Nghiên cứu áp dụng các phương pháp tối ưu cho bài toán co giãn tài nguyên trong các hệ thống phân tán

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu áp dụng Phương Pháp Tối Ưu cho Bài Toán Co Giãn Tài Nguyên Hệ Thống Phân Tán hoangnghiabao96@gmail.com Ngành Khoa học liệu Giảng viên hướng dẫn: PGS TS Nguyễn Bình Minh Chữ ký GVHD Viện: Công nghệ thông tin truyền thông HÀ NỘI, 04/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Hoàng Nghĩa Bảo Đề tài luận văn: Nghiên cứu áp dụng Phương Pháp Tối Ưu cho Bài Toán Co Giãn Tài Nguyên Hệ Thống Phân Tán Chuyên ngành: Khoa học liệu Mã số SV: CB190208 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 24/4/2021 với nội dung sau: Bổ sung tham chiếu Bổ sung tham chiếu dẫn chứng mạng ANN sử dụng rộng rãi điểm yếu mạng ANN mục 3.2.1 Chuyển đổi nội dung hình ảnh bảng sang tiếng việt Mục 3.2.1.2, trang 26, hình 3.1 Chuyển đổi nội dung hình sang tiếng việt Mục 3.2.3 trang 28, hình 3.2 Chuyển đổi nội dung hình sang tiếng việt Bảng 4.1 Chuyển đổi nội dung hình sang tiếng việt Type,Function, Code Loại hàm, tên hàm, mã Bảng 4.2-4.8 Chuyển đổi nội dung hình sang tiếng việt Function, Criteria Hàm, Tiêu chí Bảng 5.1 Chuyển đổi nội dung hình sang tiếng việt Data, Features, Train sample, validation sample, test sample Dữ liệu, số features, số lượng tập train, số lượng tập validation, số lượng tập test Bảng 5.2, 5.3 Chuyển đổi nội dung hình sang tiếng việt Data, model Dữ liệu, mơ hình Chỉnh sửa lỗi soạn thảo văn Vị trí Lý sửa đổi Nội dung gốc Nội dung sửa đổi Trang 3, mục tóm tắt luận văn, dịng 12, 13, 18 Lỗi tả cá thuật, huận luyện, tồn cá thuật -> thuật, huận luyện-> huấn luyện, toàn-> tốn Chương 1, trang 8, dịng 9, 15 Lỗi tả có giãn, chị phí có giãn -> co giãn, chị phí -> chi phí Chương 1, trang 9, dịng Lỗi tả thơng kê, hội quy thống kê, hồi quy Chương 1, trang 9, dòng Thêm ngữ nghĩa đặc điểm chúng đặc điểm chúng Mục 2.2.1, trang 13, dịng 14 Lỗi tả tối thiếu hóa tối thiểu hóa Mục 2.3.2.3, trang 20, dịng Lỗi tả tron tập dân số tập dân số Mục 2.2.2, trang 14 Lỗi tả tối ưu hàm mạng neural tối ưu hàm mát mạng neural Ngày 24 tháng năm 2021 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Lời cảm ơn Lời đầu tiên, em xin cảm ơn thầy cô viện Viện Công Nghệ Thông Tin Truyền Thông trang bị cho em nhiều kiến thức hai năm học thạc sĩ vừa qua Đặc biệt, em xin cảm ơn đến PGS.TS Nguyễn Bình Minh Thầy giúp đỡ hướng dẫn em trình học tập nghiên cứu từ em tham gia vào trung tâm tính tốn hiệu cao (HPCC) Cuối cùng, em xin cảm ơn gia đình bạn bè động viên giúp đỡ em trình em học thạc sĩ Tóm tắt nội dung luận văn Tính co giãn tài nguyên hệ phân tán giúp hệ thống tận dụng tối đa tài nguyên tính tốn, đảm bảo hiệu hệ thống tránh lãng phí tài ngun tính tốn Đảm bảo tính co giãn cho hệ thống phân tán tốn cấp thiết Trong luận văn này, chúng tơi tập trung nghiên cứu toán dự đoán nhu cầu tài ngun tính tốn hệ phân tán, hướng tiếp cận chủ động cho toán co giãn tài ngun hệ phân tán Mơ hình dự đốn chúng tơi đề xuất sử dụng mơ hình học sâu MLP kết hợp với thuật toán metaheuristic GA, PSO cho việc huấn luyện Sử dụng thuật toán metaheuristic giúp việc tối ưu hàm mát trình huấn luyện tránh việc hội tụ vào điểm tối ưu cục bộ, từ tăng độ xác dự đốn mơ hình Vì khơng phải tất thuật tốn metaheuristic tốt cho toán huấn luyện mạng học sâu, đề xuất cải tiến thuật toán QSO, thuật toán sau cải tiến gọi nQSV sử dụng nQSV cho việc huấn luyện mơ hình dự đốn tài ngun tính tốn hệ phân tán Về mặt thực nghiệm, chúng tơi chứng minh tính hiệu nQSV so với giải thuật metaheuristic phổ biến khác GA, PSO, CRO, ABC, WOA, QSO toán tối ưu hàm tiêu chuẩn toán toán huấn luyện mạng MLP để dự đoán tài nguyên với ba liệu khác Thuật toán đề xuất nQSV khơng có ý nghĩa tốn dự đốn tài ngun mà cịn áp dụng để giải nhiều toán tối ưu thực tế khác HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU BÀI TOÁN 11 1.1 Đặt vấn đề 11 1.2 Bố cục luận văn 12 CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 14 2.1 2.2 2.3 2.4 2.5 Hệ phân tán 14 2.1.1 Định nghĩa hệ phân tán 14 2.1.2 Các tính chất hệ phân tán 14 2.1.3 Bài toán co giãn tài nguyên hệ phân tán 15 2.1.4 Hướng tiếp cận dự đốn tài ngun mơ hình học sâu 15 Các toán tối ưu 16 2.2.1 Bài toán tối ưu tổng quát 16 2.2.2 Bài toán tối ưu hàm mát mạng neural 17 2.2.3 Các phương pháp tối ưu phổ biến để huấn luyện mạng neural 17 Queuing search algorithm (QSO) 20 2.3.1 Ý tưởng 20 2.3.2 Tổng quan thuật toán 20 Các kỹ thuật cải tiến cho metaheuristic 23 2.4.1 Levy-flight trajectory 23 2.4.2 Opposition-based learning 24 Đóng góp nghiên cứu 24 CHƯƠNG ĐỀ XUẤT CẢI TIẾN VÀ MƠ HÌNH HỆ THỐNG 25 3.1 3.2 Cải tiến thuật toán QSO 25 3.1.1 Phân tích hạn chế QSO 25 3.1.2 Đề xuất cải tiến QSO 26 Áp dụng nQSV cho toán co giãn tài nguyên hệ thống phân tán 28 3.2.1 Bài toán co giãn tài nguyên hệ thống phân tán 28 3.2.2 Bài toán dự đoán tài nguyên hệ thống phân tán 29 3.2.3 Mơ hình hóa tốn dự đốn tài ngun 30 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ nQSV VỚI CÁC HÀM TỐI ƯU TIÊU CHUẨN 32 4.1 Thiết lập tham số 32 4.2 Thực nghiệm với hàm benmark 32 4.3 Tiêu chí đánh giá hiệu 34 4.4 Kết thực nghiệm với lớp hàm unimodal 34 4.5 Kết thực nghiệm với lớp hàm multimodal 35 4.6 Kết thực nghiệm với lớp hàm hybrid 40 4.7 Kết thực nghiệm với lớp hàm composition 42 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ nQSV VỚI BÀI TỐN DỰ ĐỐN TÀI NGUN TÍNH TỐN TRONG HỆ PHÂN TÁN 45 5.1 Thiết lập tham số 45 5.2 Tiêu chí đánh giá 46 5.3 Đánh giá kết dự đoán 47 5.4 Đánh giá độ ổn định 48 CHƯƠNG KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 52 TÀI LIỆU THAM KHẢO 54 DANH SÁCH TỪ VIẾT TẮT VÀ THUẬT NGỮ ANN Artificial Neural Network GA Genetic Algorithm PSO Particle Swarm Optimization CRO Coral-Reef Optimization WOA Whale Optimization Algorithm Baseline Mơ hình sở Activation function Hàm kích hoạt Back-propagation Lan truyền ngược DANH MỤC HÌNH VẼ Hình 2.1 Mạng neural nhân tạo(nguồn [2]) 17 Hình 3.1 Mơ hình co giãn tài nguyên hệ thống phân tán 29 Hình 3.2 Quá trình huấn luyện MLP với nQSV 31 Hình 3.3 Encode/decode trọng số MLP 31 Hình 4.1 Kết hội tụ thuật toán với hàm unimodal 35 Hình 4.2 Kết hội tụ thuật tốn với hàm multimodal 36 Hình 4.3 Kết hội tụ thuật toán với hàm hybrid 40 Hình 4.4 Kết hội tụ thuật toán với hàm composition 42 Hình 5.1 Kết dự đốn nQSV-Net với liệu EU, UK WC 48 Hình 5.1 Độ ổn định mơ hình với liệu WC, EU UK 52 DANH MỤC BẢNG Bảng 4.1 Danh sách hàm CEC 2014 33 Bảng 4.2 Kết tổng quát thuật toán với hàm unimodal 35 Bảng 4.3 Kết tổng quát thuật toán với hàm multimodal 37 Bảng 4.4 Kết tổng quát thuật toán với hàm multimodal(tiếp) 38 Bảng 4.5 Kết tổng quát thuật toán với hàm multimodal(tiếp) 39 Bảng 4.6 Kết tổng quát thuật toán với hàm hybrid 41 Bảng 4.7 Kết tổng quát thuật toán với hàm composition 43 Bảng 4.8 Kết tổng quát thuật toán với hàm composition (tiếp) 44 Bảng 5.1 :Thông tin liệu 46 Bảng 5.2 Đánh giá kết dự đốn mơ hình với liệu EU, WC UK 49 Bảng 5.3 Độ ổn định mơ hình dựa RMSE 51 10 Hàm F17 Tiêu chí QSO IQSO worst 8.22E+04 7.24E+04 1.05E+07 7.84E+03 2.43E+03 2.75E+03 1.75E+03 best 1.01E+04 7.00E+03 2.88E+05 2.55E+03 1.75E+03 1.84E+03 1.70E+03 std 3.54E+06 3.25E+04 2.32E+08 1.92E+04 1.21E+03 4.80E+01 2.43E+01 mean 3.11E+06 2.81E+04 1.30E+08 1.17E+04 1.06E+03 4.71E+01 2.40E+01 worst 6.59E+06 7.96E+04 7.70E+08 6.87E+04 3.85E+03 1.87E+03 1.83E+03 best 1.13E+06 1.07E+04 7.15E+04 3.20E+03 2.12E+03 1.84E+03 1.82E+03 std 3.89E+03 1.85E+02 1.73E+06 2.71E+03 1.09E+01 4.15E+01 1.20E+01 mean 3.02E+03 6.55E+01 1.02E+06 1.41E+03 1.02E+01 2.52E+01 1.19E+01 worst 1.23E+04 2.61E+03 4.01E+06 9.42E+03 1.92E+03 2.05E+03 1.91E+03 best 3.09E+03 1.92E+03 1.91E+03 1.91E+03 1.91E+03 1.91E+03 1.91E+03 std 3.77E+04 2.31E+04 2.85E+09 6.03E+03 3.11E+02 1.30E+02 1.26E+01 mean 2.25E+04 1.98E+04 1.98E+09 4.19E+03 2.16E+02 8.00E+01 1.22E+01 worst 1.32E+05 5.31E+04 6.93E+09 1.46E+04 2.98E+03 2.45E+03 2.02E+03 best 4.48E+03 8.00E+03 7.46E+04 2.30E+03 2.04E+03 2.02E+03 2.01E+03 std 2.83E+04 2.53E+04 1.79E+07 5.40E+03 2.30E+02 5.86E+02 5.54E+00 mean 2.64E+04 2.22E+04 1.49E+07 4.61E+03 1.80E+02 4.82E+02 5.41E+00 worst 4.34E+04 4.76E+04 4.32E+07 1.29E+04 2.73E+03 3.47E+03 2.11E+03 best 1.13E+04 7.81E+03 4.44E+06 3.20E+03 2.13E+03 2.21E+03 2.10E+03 rank F22 WOA 3.19E+04 2.28E+04 2.98E+06 2.55E+03 2.43E+02 5.79E+02 1.20E+01 rank F21 CRO mean rank F20 ABC 3.84E+04 2.92E+04 4.12E+06 2.91E+03 2.99E+02 6.38E+02 1.68E+01 rank F19 PSO std rank F18 GA std 3.72E+03 4.38E+02 5.10E+05 4.84E+03 1.12E+01 5.18E+01 4.30E+00 mean 1.36E+03 3.91E+02 1.34E+05 1.45E+03 1.06E+01 4.53E+01 4.06E+00 worst 1.63E+04 3.04E+03 1.98E+06 2.09E+04 2.22E+03 2.30E+03 2.21E+03 best 2.27E+03 2.34E+03 3.48E+03 2.22E+03 2.20E+03 2.22E+03 2.20E+03 rank Bảng 4.6 Kết tổng quát thuật toán với hàm hybrid 41 4.7 Kết thực nghiệm với lớp hàm composition Kết thực nghiệm với lớp hàm composition thể qua bảng 4.7, 4.8 nQSV tiếp tục cho kết 𝑚𝑒𝑎𝑛 tốt so với giải thuật lại Ngoài ra, cách biệt giá trị 𝑚𝑒𝑎𝑛 mà nQSV tìm giá trị tốt thứ hai tất thuật tốn cịn lại đáng kể Về mặt độ ổn định, dựa vào giá trị 𝑠𝑡𝑑quan sát được, nQSV đứng thứ tất hàm Điều chứng tỏ nQSV có tính ổn định tốt tất hàm tham gia thí nghiệm Biểu đồ tốc độ hội tụ giải thuật hàm composition thể hình Quan sát hàm F23 đến F28, ta thấy nQSV hội tụ nhanh sau khoảng 50-100 vòng lặp Kết WOA thu khả quan WOA hội tụ nhanh tương đương nQSV Trong đó, với hàm F23, F25 F26, thuật tốn gốc QSO cần đến 300 vịng lặp hội tụ Hình 4.4 Kết hội tụ thuật toán với hàm composition 42 Hàm F23 Tiêu chí WOA QSO IQSO 2.59E+02 2.88E+02 3.75E+02 2.54E+02 7.11E+00 1.71E+01 1.82E+00 worst 2.57E+03 2.61E+03 2.74E+03 2.60E+03 2.31E+03 2.33E+03 2.30E+03 best 2.54E+03 2.55E+03 2.63E+03 2.49E+03 2.30E+03 2.31E+03 2.30E+03 std 1.51E+03 1.49E+03 1.54E+03 8.55E+02 3.58E+01 1.09E+03 7.86E-02 mean 1.51E+03 1.45E+03 1.53E+03 8.38E+02 1.20E+01 1.04E+03 7.58E-02 worst 4.05E+03 4.38E+03 4.17E+03 3.62E+03 2.54E+03 3.98E+03 2.40E+03 best 3.71E+03 3.34E+03 3.63E+03 2.92E+03 2.40E+03 2.95E+03 2.40E+03 std 2.88E+02 2.24E+02 2.58E+02 2.20E+02 3.94E+00 1.39E+02 5.31E-01 mean 2.88E+02 2.24E+02 2.58E+02 2.20E+02 3.50E+00 1.18E+02 4.61E-01 worst 2.80E+03 2.77E+03 2.77E+03 2.75E+03 2.51E+03 2.70E+03 2.50E-03 best 2.77E+03 2.71E+03 2.73E+03 2.70E+03 2.50E+03 2.52E+03 2.50E-03 std 4.69E+02 4.49E+02 1.20E+03 4.40E+02 5.49E+00 5.25E+01 1.24E-01 mean 4.67E+02 4.47E+02 1.20E+03 4.36E+02 5.06E+00 3.31E+01 1.21E-01 worst 3.10E+03 3.17E+03 3.95E+03 3.13E+03 2.61E+03 2.78E+03 2.60E+03 best 2.94E+03 2.99E+03 3.75E+03 2.94E+03 2.60E+03 2.61E+03 2.60E+03 rank F27 CRO mean rank F26 ABC 2.59E+02 2.88E+02 3.76E+02 2.56E+02 8.05E+00 1.80E+01 1.82E+00 rank F25 PSO std rank F24 GA std 7.94E+02 5.90E-02 7.90E+02 5.57E+02 1.65E+01 3.59E+02 1.20E+01 mean 7.93E+02 5.87E+02 7.88E+02 5.57E+02 1.50E+01 3.59E-02 1.15E+01 worst 3.54E+03 3.36E+03 3.54E+03 3.29E+03 2.73E+03 3.09E+03 2.72E+03 best 3.44E+03 3.18E+03 3.40E+03 3.23E+03 2.71E+03 3.05E+03 2.71E+03 rank Bảng 4.7 Kết tổng quát thuật toán với hàm composition 43 Hàm F28 Tiêu chí ABC CRO WOA QSO nQSV 4.07E+03 1.02E+03 2.61E+03 1.86E+03 3.68E+02 3.93E+02 1.90E+01 mean 4.05E+03 9.55E+02 2.60E+03 1.85E+03 1.10E+02 3.93E+02 1.64E+01 worst 7.63E+03 4.49E+03 5.74E+03 4.87E+03 4.22E+03 3.19E+03 2.84E+03 best 6.27E+03 3.31E+03 5.01E+03 4.40E+03 2.80E+03 3.19E+03 2.81E+03 std 1.28E+06 1.47E+06 8.41E+08 2.92E+04 1.60E+03 2.48E+02 1.99E+02 mean 1.20E+06 1.31E+06 7.70E+08 2.90E+04 1.17E+03 2.44E+02 1.95E+02 worst 1.97E+06 2.40E+06 1.64E+09 3.55E+04 6.78E+03 3.26E+03 3.11E+03 best 1.90E+05 3.24E+03 2.32E+08 2.83E+04 3.12E+03 3.11E+03 2.99E+03 rank F30 PSO std rank F29 GA std 8.33E+04 2.10E+04 3.40E+08 2.89E+05 1.25E+03 2.33E+02 2.23E+02 mean 7.59E+04 1.83E+04 2.59E+08 2.24E+05 6.23E+02 2.33E+02 2.23E+02 worst 1.30E+05 4.15E+04 9.56E+08 6.44E+05 7.57E+03 3.26E+03 3.23E+03 best 1.77E+04 9.49E+03 4.78E+06 2.76E+04 3.04E+03 3.23E+03 3.21E+03 rank Bảng 4.8 Kết tổng quát thuật toán với hàm composition (tiếp) 44 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ nQSV VỚI BÀI TOÁN DỰ ĐOÁN TÀI NGUN TÍNH TỐN TRONG HỆ PHÂN TÁN Mục đích phần đánh giá hiệu thuật toán tối ưu toán thực tế Cụ thể nghiên cứu này, đánh giá thuật toán áp dụng thuật toán để huấn luyện cho mạng MLP cho toán dự đốn tài ngun tính tốn Tương như thực nghiệm với hàm tiêu chuẩn, để đảm bảo tính tổng qt, với thuật tốn, q trình huấn luyện diễn 10 lần với liệu Chúng sử dụng liệu thực tế khác thu thập từ hệ thống phân tán 5.1 Thiết lập tham số Các tham số cho mạng MLP liệu thiết lập sau: Tất liệu chia thành tập (train:validation:test) với tỉ lệ 0.7:0.15:0.15 Mạng MLP có tầng : input, hidden output Kích thước input (input size) 𝑚 = 𝑘𝑞, 𝑘 kích thước sliding window; q mặc định Kích thước tầng hidden (hidden size) n = 20 Kích thước output (output size) = Activation function chọn Exponential Linear Unit (ELU) dựa [23] Kích thước sliding window chọn = 10 Như đề cập trên, nhóm thí nghiệm sử dụng liệu để kiểm chứng hiệu nQSV cho toán huấn luyện mạng neural Kích thước liệu thể qua bảng Tổng quan liệu mô tả : ● Dữ liệu "UK Internet traffic data" (bytes) chứa liệu traffic UK (Cortez et al., 2012) Dữ liệu thu thập từ 19/11/2004 đến 27/1/2005 với khoảng thời gian phút ● Dữ liệu "Internet traffic data" (megabytes) thu thập từ nhà cung cấp dịch vụ internet (Private Internet Service Provider) từ trung tâm 11 thành phố châu Âu (Cortez et al., 2012) Dữ liệu thu thập từ 7/6/2005 với khoảng thời gian phút ● Dữ liệu "Worldcup 98 Traffic" (Arlitt and Jin, 2000) chứa số lượng request (tính theo đơn vị nghìn) đến web servers giải đấu worldcup từ 30/3/1998 đến 26/7/1998 Dữ liệu gọi Worldcup 98 Dữ liệu thu thập khoảng thời gian phút lần 45 Các liệu chọn dựa nghiên cứu trước Nguyen et al (2020c), Tran et al (2018) Tài nguyên hệ thống đám mây mở rộng dựa vào số lượng người sử dụng Để dự đoán nguồn tài nguyên cần thiết, mơ hình cần phải học từ liệu q khứ để dự đoán workload tương lai Bộ liệu Số features Số lượng tập train Số lượng tập validation Số lượng tập test UK 13922 2894 2984 EU 10341 2216 2216 WC 6251 1339 1339 Bảng 5.1 :Thông tin liệu 5.2 Tiêu chí đánh giá Gọi tập liệu gồm 𝑋 = {𝑥1 , 𝑥2 , … , 𝑥𝑛 } , với tập nhãn tương ứng 𝑌 = {𝑦1 , 𝑦2 , … , 𝑦𝑛 } Tập giá trị mơ hình dự đốn 𝑌 ∗ = {𝑦1∗ , 𝑦2∗ , … , 𝑦𝑛∗ } Giá trị dư thừa 𝑒𝑖 = (𝑦𝑖 − 𝑦𝑖∗ ) Giá trị dư thừa hay cịn gọi giá trị dự đốn lỗi đại diện cho độ lệch giá trị dự đoán giá trị thực tế (nhãn) Chúng sử dụng độ đo để đánh giá : Độ đo R2: 𝑅2 = − Trong đó: 𝑆𝑆𝑟𝑒𝑠 𝑆𝑆𝑡𝑜𝑡 𝑆𝑆𝑡𝑜𝑡 = ∑𝑛𝑖(𝑦𝑖 − 𝑦̅)2 với 𝑦̅ = ∑ 𝑦𝑖 giá trị trung bình tập nhãn 𝑛 ∗ • 𝑆𝑆𝑟𝑒𝑠 = ∑𝑛 𝑖 (𝑦𝑖 − 𝑦𝑖 ) Trong trường hợp tốt nhất, mơ hình cho kết dự đốn xác hồn tồn với giá trị nhãn 𝑆𝑆𝑟𝑒𝑠 = 0, 𝑅2 = 𝑅2 tỉ lệ thuận với phương sai giá trị dự đoán giá trị nhãn Điều có nghĩa, 𝑅2 lớn mơ hình dự đốn xác • Độ đo RMSE(Root mean square error): 𝑛 𝑅𝑀𝑆𝐸 = √ ∑(𝑦𝑖 − 𝑦∗𝑖 ) 𝑛 𝑖 RMSE đại diện cho mức độ tập trung giá trị dự đoán xung quanh giá trị nhãn RMSE bé mơ hình dự đốn xác Độ đo MAPE (Mean absolute percentage error) 46 𝑦𝑖 − 𝑦𝑖∗ 𝑀𝐴𝑃𝐸 = | | 𝑛 𝑦𝑖 MAPE đại diện giá trị sai số phần trăm tuyệt đối trung bình giá trị dư thừa với giá trị thực MAPE bé mơ hình dự đốn xác 5.3 Đánh giá kết dự đốn Độ xác kết dự đoán huấn luyện MLP thuật toán (PSO, GA, ABC, CRO, WOA, QSO nQSV) trình bày bảng Mơ hình dự đoán đánh giá dựa độ 𝑅2 , 𝑅𝑀𝑆𝐸, 𝑀𝐴𝑃𝐸 Dựa vào bảng đưa số đánh giá sau: ● Kết đánh giá liệu UK với sliding window = (k = 2) ○ Với độ đo 𝑅2 : QSO-Net, CRO-Net PSO-Net cho kết tốt Tuy nhiên, cách biệt kết kết từ mơ hình đề xuất nQSV-Net không đáng kể Kết nQSV-Net thu thấp 0.0003 so với giá trị tốt 0.9974 QSONet, CRO-Net PSO-Net ○ Đối với độ đo RMSE MAPE: nQSV-Net cho kết tốt tất thuật toán với 0.7 cho RMSE 0.12 cho MAPE ● Kết đánh giá liệu UK với sliding window = 10 (k = 10) ○ Với độ đo 𝑅2 : nQSV-Net cho kết tốt tất thuật toán ○ Với độ đo RMSE MAPE: nQSV-Net cho kết tốt Sự khác kết thu nQSV-Net QSO-Net lớn: 5.3 với RMSE 0.6 với MAPE Mơ hình cho kết tốt thứ hai PSO-Net Tuy vậy, khác kết thu nQSV-Net PSO-Net lớn 1.7 với RMSE, 0.3 với MAPE ● Kết đánh giá liệu EU với sliding window = 2,10 (k=2,10) ○ nQSV-Net cho kết tốt tất độ đo ○ Sự cách biệt kết mà nQSV-Net QSO-Net thu lớn Cụ thể, nQSV-Net cho kết tốt lần so với QSO-Net độ đo RMSE MAPE: nQSV-Net đạt kết thấp 15.0521 2.9344 với RMSE MAPE tương ứng, giá trị mà QSO-Net đạt 30.392 6.46 với RMSE MAPE tương ứng ● Kết đánh giá liệu WC với sliding window = (k=2) ○ nQSV-Net mặc không cho kết tốt độ đo, nhiên khác biệt kết nQSV-Net thu kết tốt không đáng kể ● Kết đánh giá liệu WC với sliding window = 10 (k=10) ○ nQSV-Net cho kết tốt độ đo 47 Kết dự đoán liệu EU, UK, WC biểu thị hình Với đánh trên, kết luận giải thuật đề xuất nQSV giải tốn thực tế huấn luyện mạng neural Ngồi ra, giải thuật đề xuất cịn có kết tối ưu giải thuật khác toán huấn luyện mạng neural Hình 5.1 Kết dự đốn nQSV-Net với liệu EU, UK WC 5.4 Đánh giá độ ổn định Độ ổn định mơ hình dự đốn với liệu thể hình ● Bộ liệu UK: Với k = 2, mặt tổng quan ta thấy PSO-Net có độ ổn định tốt nhất, mà kết thu giao động Theo sau QSO-Net nQSV-Net Có thể thấy rằng, độ ổn định nQSVNet QSO-Net gần tương đương Tuy nhiên, QSO-Net có đến outliers 10 lần chạy Điều cho ta kết luận rằng, nQSV-Net nhỉnh QSO-Net khía cạnh độ ổn định với trường hợp thí nghiệm 48 R2 Dữ liệu Mơ hình UK EU WC RMSE MAPE k=2 k = 10 k=2 k = 10 k=2 k = 10 GA-Net 0.9935 0.9961 17.194 13.377 2.3939 1.688 PSO-Net 0.9974 0.9954 10.7864 14.3841 1.4208 1.9327 ABC-Net 0.9964 0.9848 12.7932 26.279 1.7132 3.7468 CRO-Net 0.9974 0.9913 10.7836 19.8588 1.4179 2.6613 WOA-Net 0.9972 0.99 11.1855 21.1428 1.477 2.8784 QSO-Net 0.9974 0.9933 10.8563 17.4508 1.4238 2.2851 nQSV-Net 0.9971 0.9964 11.4084 12.7386 1.5341 1.6571 GA-Net 0.9948 0.9951 16.7035 16.0891 3.5423 3.2461 PSO-Net 0.9953 0.9954 15.88 15.5829 3.0064 3.0289 ABC-Net 0.9951 0.98 16.0607 32.6253 3.0466 7.4418 CRO-Net 0.9953 0.9835 15.7506 29.6112 2.9826 6.39 WOA-Net 0.9953 0.9828 15.8126 30.214 2.9954 6.6004 QSO-Net 0.9952 0.9826 15.9674 30.392 3.1042 6.4675 nQSV-Net 0.9955 0.9957 15.5441 15.0521 2.9329 2.9344 GA-Net 0.9922 0.9853 18.6718 25.7153 7.376 4.9983 PSO-Net 0.9928 0.9875 17.9281 23.7135 3.9707 5.5953 ABC-Net 0.9887 0.933 22.5274 54.8352 4.4708 8.3775 CRO-Net 0.9936 0.9615 16.9673 41.5409 4.0891 9.7094 WOA-Net 0.9926 0.9558 18.0793 44.1998 4.1654 9.443 QSO-Net 0.9878 0.9795 23.3529 30.3454 4.4372 9.9156 nQSV-Net 0.9901 0.9906 21.1171 20.4854 4.1308 4.5808 Bảng 5.2 Đánh giá kết dự đoán mơ hình với liệu EU, WC UK ○ Với k = 10, toán huấn luyện mạng neural với k = 10 phức tạp nhiều so với k = kích thước đầu vào tăng lên gấp lần Với tốn phức tạp, mơ hình khó giữ tính ổn định Tuy vậy, với k = 10, nQSV-Net cho thấy ổn định tốt Có thể thấy hình 9, giao động kết lần chạy nQSV-Net khơng nhiều Trong đó, mơ hình cịn lại có thay đổi đáng kể Các mơ CRONet, ABC-Net, WOA-Net, QSO-Net có kết giao động từ 16-35 Trong nQSV-Net chi giao động khoảng 12-15 Một kết luận khác đưa mơ CRO-Net, ABC-Net, 49 WOA-Net, QSO-Net hoạt động tốt với tốn đơn giản (k=2), lại gặp khó khăn nhiều giải toán phức tạp (k=10) ○ Kết luận chung cho UK: nQSV-Net cho thấy ổn định tốt hẳn so với giải thuật khác việc giải loại toán : toán đơn giản (k=2), toán phức tạp (k=10) ● Bộ liệu EU: ○ Với k = 2, từ hình ta thấy, kết lần chạy tốt tệ nQSV-Net gần Điều cho thấy tính ổn định nQSV-Net thí nghiệm cao PSO-Net cho thấy ổn định đáng kể Tuy nhiên, PSO-Net có đến điểm outlier 10 lần chạy Các giải thuật lại có độ ổn định mức kết 10 lần chạy giao động lớn ○ Với k = 10, độ ổn định nQSV-Net vượt trội hoàn tồn mơ hình CRO-Net, ABC-Net, WOA-Net, QSO-Net Hai mơ hình cịn lại GA-Net PSO-Net cho kết ấn tượng so với nQSV-Net ○ Kết luận chung cho liệu EU: nQSV-Net cho thấy ổn định vượt bậc so với giải thuật lại ● Bộ liệu WC: ○ Với k = 2, ta thấy PSO-Net cho ổn định tốt tất thuật tốn Tuy khơng có ổn định tốt liệu khác, nQSV cho thấy ổn định tốt chênh nQSV-Net PSO-Net không đáng kể ○ Với k = 10, nQSV-Net mơ hình ổn định mơ hình tham gia thí nghiệm Kết luận, với kết đánh giá thu được, ta thấy tất mơ hình tham thí nghiệm, nQSV-Net mơ hình ổn định cho toán huấn luyện mạng neural 50 k=2 Dữ liệu UK EU worst mean k =10 Mơ hình best std best worst mean std GA-Net 11.5887 15.7243 13.9166 1.2399 12.4901 14.9759 13.7147 0.8473 PSO-Net 10.983 11.5981 11.2096 0.1989 12.0854 15.811 CRO-Net 10.822 20.0356 12.8893 2.3887 17.8292 36.3231 25.3507 5.3307 ABC-Net 10.651 12.3698 11.3675 0.538 16.2811 34.6493 24.5261 4.7998 QSO-Net 10.7775 12.989 14.2124 0.926 10.8563 0.7001 15.4584 37.1274 22.8143 6.2678 nQSV-Net 10.7534 11.6711 11.4084 0.2842 10.9965 13.9804 12.3522 0.8996 GA-Net 15.612 15.2826 16.918 PSO-Net 15.5193 16.8562 15.6665 0.3279 14.9107 16.9948 15.9294 0.5975 CRO-Net 15.5652 17.3516 16.1735 0.5514 22.3677 45.3063 30.8816 5.9645 ABC-Net 15.5748 16.7832 15.8363 0.3138 22.2502 34.5484 28.3109 3.4839 QSO-Net 15.5364 16.1612 15.7363 0.1768 19.4182 34.0115 26.1068 3.7269 nQSV-Net 15.5297 15.6865 15.5831 0.0405 14.1683 16.7323 15.2198 0.6844 GA-Net 16.9174 41.0012 25.5615 6.9223 19.9504 31.371 PSO-Net 17.365 20.5209 33.7263 26.0563 3.393 CRO-Net 17.0104 25.1304 20.2531 2.5507 25.861 16.862 28.1806 20.5963 3.652 26.6972 55.3842 36.649 16.8 35.3315 23.6393 5.649 24.2384 71.2241 43.3402 11.4358 WC ABC-Net QSO-Net 21.8456 17.041 1.5856 27.8832 20.7898 3.0383 nQSV-Net 16.9731 25.6342 20.5606 2.7575 16.3464 0.4352 24.4941 3.0289 65.6065 40.4641 10.5395 8.9644 17.7019 29.8572 21.9026 3.6072 Bảng 5.3 Độ ổn định mơ hình dựa RMSE 51 Hình 5.1 Độ ổn định mơ hình với liệu WC, EU UK 52 CHƯƠNG KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN Trong nghiên cứu này, đề xuất cải tiến giải thuật Queuing Search Optimization (QSO) hai kỹ thuật Levy-flight trajectory Opposition-based learning Giải thuật cải tiến gọi novel Queuing Search Variant (nQSV) Cả hai kỹ thuật sử dụng nhằm mục đích giúp QSO tránh hội tụ sớm cải tiến pha khám phá thuật toán Để chứng minh hiệu thuật toán cho tốn tối ưu, chúng tơi tiến hành thí nghiệm giải thuật đề xuất với giải thuật phổ biến khác cho toán tối ưu 30 hàm tiêu chuẩn CEC 2014 Dựa kết thu được, nQSV cho thấy hiệu vượt trội so với thuật tốn khác khía cạnh tốc độ hội tụ, độ ổn định giá trị tối ưu tìm Chúng tơi chứng minh tính thực tế áp dụng nQSV để giải thực tế cách đánh giá hiệu nQSV giải thuật khác huấn luyện mạng neural Mơ hình mạng neural áp dụng nQSV để huấn luyện gọi nQSV-Net nQSV-Net dùng để dự đoán liệu workload dạng time-series Ở nghiên cứu này, sử dụng liệu thực tế khác cho toán dự đoán Kết đánh giá chứng minh nQSV cho hiệu tốt so với QSO tiêu chí: độ xác dự đốn độ ổn định Thuật tốn cải tiến nQSV mà chúng tơi đề xuất nghiên cứu sử dụng khơng cho tốn dự đốn workload mà cịn nhiều toán tối ưu khác thực tế Trong tương lai, dự kiến áp dụng nQSV cho mơ hình mạng neural phức tạp xây dựng mơ hình dự đốn có độ xác cao ổn định cho hệ thống phân tán điện toán đám mây blockchain 53 TÀI LIỆU THAM KHẢO [1] https://en.wikipedia.org/wiki/Distributed_computing [2] https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_th%E1%BA%A7n_kinh_nh%C3%A2n_t%E1%BA%A1o [3] https://en.wikipedia.org/wiki/Gradient_descent [4] https://www.neuraldesigner.com/blog/5_algorithms_to_train_a_neural_network [5] https://en.wikipedia.org/wiki/Metaheuristic [6] M Mitchell, "An Introduction to Genetic Algorithms," MIT Press, 1996 [7] J Kennedy, "The particle swarm: social adaptation of knowledge," in Proceedings of IEEE International Conference on Evolutionary Computation, 1997 [8] Y L H L C L L W XH Shi, "An improved GA and a novel PSO-GA-based hybrid algorithm," Information Processing Letters, 2005 [9] Y L X Chen, "A modified PSO structure resulting in high exploration ability with convergence guaranteed," IEEE Transactions on Systems, 2007 [10] X M G L P Q Zhang J, "Queuing search algorithm: A novel metaheuristic algorithm for solving engineering optimization problems," Applied Mathematical Modelling, pp 464-490, 2018 [11] T T K M Yang XS, "Random walks, l´evy flights, markov chains and metaheuristic optimization," Future information communication technology and applications, 2013 [12] Z H Jamil M, "Lévy flights and global optimization," Swarm intelligence and bio-inspired computation, 2013 [13] W L W N H X Z L Xu Q, "A review of opposition-based learning from 2005 to 2012," Engineering Applications of Artificial Intelligence, 2014 [14] A S Kaur G, " Chaotic whale optimization algorithm," Journal of Computational Design and Engineering , 2018 [15] W X C Y L Z Sun Y, "A modified whale optimization algorithm for large-scale global optimization problems," Expert Systems with Applications, 2018 [16] E.-S D S A Abdel-Basset M, "A modified nature inspired meta-heuristic whale optimization algorithm for solving 0{1 knapsack problem," International Journal of Machine Learning and Cybernetics, 2019 [17] Z Y L Q Ling Y, "L´evy flight trajectory-based whale optimization algorithm for global optimization," IEEE access, 2017 [18] N T N B N G Nguyen T, "Efficient time-series forecasting using neural network and opposition-based coral reefs optimization," International Journal of Computational Intelligence Systems, 2019 [19] T L Lee YS, "Forecasting time series using a methodology based on autoregressive integrated moving average and genetic programming," KnowledgeBased Systems, 2011 [20] F H M S Aljarah I, "Optimizing connection weights in neural networks using the whale optimization algorithm," Soft Computing, 2018 [21] R F C A Carvalho AR, "Metaheuristics for the feedforward artificial neural network (ann) architecture optimization problem," Neural Computing and Applications, 2011 [22] Z H D X Z R Huang GB, "Extreme learning machine for regression and multiclass classification," IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011 [23] S J Hochreiter S, " Long short-term memory," Neural computation, 1997 [24] C J S J H F Li J, "Brief introduction of back propagation (bp) neural network algorithm and its improvement In: Advances in computer science and information engineering," Advances in computer science and information engineering, 2012 [25] D S J L.-T I G.-L S P.-F J Salcedo-Sanz S, "The coral reefs optimization algorithm: a novel metaheuristic for efficiently solving optimization problems," The Scientific World Journal, 2014 [26] L A Mirjalili S, "The whale optimization algorithm Advances in engineering software," 2016 54 [27] A A Sharma TK, "Artificial bee colony with enhanced food locations for solving mechanical engineering design problems," Journal of Ambient Intelligence and Humanized Computing, 2020 [28] Y Q B S P Liang J, "Problem definitions and evaluation criteria for the CEC 2014 special session and competition on single objective real-parameter numerical optimization," Computational Intelligence Laboratory, 2013 [29] U T H S Clevert DA, "Fast and accurate deep network learning by exponential linear units (elus)," arXiv preprint arXiv, 2015 [30] W J Z Z G S Wang JZ, " Forecasting stock indices with back propagation neural network," Expert Systems with Applications, 2011 [31] F C H P S O.-Z B S A Adamowski J, "Comparison of multiple linear and nonlinear regression, autoregressive integrated moving average, artificial neural network, and wavelet artificial neural," Water Resources Research , 2012 [32] R M R M S P Cortez P, "Multi-scale internet traffic forecasting using neural networks and time series methods," Expert Systems , 2012 [33] S T Dorigo M, "Ant colony optimization: overview and recent advances," Handbook of metaheuristics, 2019 [34] e a Shi Y, "Particle swarm optimization: developments, applications and resources," Proceedings of the 2001 congress on evolutionary computation, 2001 [35] Z Y Tan Y, "Fireworks algorithm for optimization" [36] A A Sharma TK, "Artificial bee colony with enhanced food locations for solving mechanical engineering design problems," Journal of Ambient Intelligence and Humanized Computing, 2020 [37] T L Lee YS, "Forecasting time series using a methodology based on autoregressive integrated moving average and genetic programming," KnowledgeBased Systems, 2011 55 ... phí cho hệ phân tán Nghiên cứu tập trung vào vấn đề liên quan đến toán co giãn tài nguyên hệ phân tán 14 2.1.3 Bài toán co giãn tài nguyên hệ phân tán Như đề cập phần trước, tính co giãn giúp hệ. .. dự đốn mơ hình co giãn tài ngun Hình 3.1 Mơ hình co giãn tài nguyên hệ thống phân tán 3.2.2 Bài toán dự đoán tài nguyên hệ thống phân tán Dữ liệu tài nguyên sử dụng hệ thống phân tán thường tồn... SĨ Họ tên tác giả luận văn : Hoàng Nghĩa Bảo Đề tài luận văn: Nghiên cứu áp dụng Phương Pháp Tối Ưu cho Bài Toán Co Giãn Tài Nguyên Hệ Thống Phân Tán Chuyên ngành: Khoa học liệu Mã số SV: CB190208