ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THANH KHIẾT GIẢI PHÁP NHẬN DẠNG VÀ XỬ LÝ LỖI TRONG HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY Ngành: Khoa học máy tính Mã ngành: 62480101 TĨM TẮT LUẬN ÁN TIẾN SĨ TP HỒ CHÍ MINH - NĂM 2022 Cơng trình hồn thành Trường Đại học Bách Khoa – ĐHQG-HCM Người hướng dẫn 1: PGS.TS Trần Công Hùng Người hướng dẫn 2: PGS.TS Phạm Trần Vũ Phản biện độc lập: Phản biện độc lập: Phản biện: Phản biện: Phản biện: Luận án bảo vệ trước Hội đồng đánh giá luận án họp vào lúc ngày tháng năm Có thể tìm hiểu luận án thư viện: - Thư viện Trường Đại học Bách Khoa – ĐHQG-HCM - Thư viện Đại học Quốc gia Tp.HCM - Thư viện Khoa học Tổng hợp Tp.HCM DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ Tạp chí quốc tế [CT1] Thanh Khiet Bui*, Cong Hung Tran, Tran Vu Pham “V2PFQL: A proactive fault tolerance approach for cloud-hosted applications in cloud computing environment” IET Control Theory & Applications 1–25 (2022) https://doi.org/10.1049/cth2.12324, ISI-Q1 (SCIE), Impact Factor (2021):2,67 [CT2] Bui, Khiet Thanh*, Len Van Vo, Canh Minh Nguyen, Tran Vu Pham, and Hung Cong Tran “A fault detection and diagnosis approach for multi-tier application in cloud computing.” Journal of Communications and Networks (JCN), pp.399-414, Vol.22, No.5, October 2020, ISSN 1229-2370 Print/eISSN 1976-5541 Online, 1229-2370/19/$10.00 c 2020 KICS, DOI: 10.1109/JCN.2020.000023, ISI-Q1 (SCIE), Impact Factor (2021): 3,908 [CT3] Cong Hung Tran, Thanh Khiet Bui*, Tran Vu Pham “Virtual machine migration policy for multi-tier application in cloud computing based on QLearning algorithm” Computing (2022), 104(6), 1285-1306 DOI:10.1007/s00607-021-01047-0, ISI-Q2 (SCIE), Impact Factor (2021): 2.42 [CT4] Bui Khiet Thanh*, Hung Dac Ho, Tran Vu Pham, and Hung Cong Tran “Virtual machines migration game approach for multi-tier application in infrastructure as a service cloud computing.” IET Network_The Institution of Engineering and Technology 2020, ISSN 2047-4954, Online ISSN 2047-4962, August 2020, Volume 9, Issue 6, November 2020, p 326 – 337, doi: 10.1049/ietnet.2019.0204, ISI-Q2 (ESCI) Kỷ yếu hội nghị quốc tế [CT5] Khiet T Bui*, Linh V Nguyen, Tai V Tran, Tran-Vu Pham, Hung C Tran, “A load balancing VMs migration approach for multi-tier application in cloud computing based on Fuzzy set and Q-Learning algorithm” In: Kumar R., Quang N.H., Kumar Solanki V., Cardona M., Pattnaik P.K (eds) Research in Intelligent and Computing in Engineering Advances in Intelligent Systems and Computing, vol 1254 Springer, Singapore, 2021 (pp 617-628) [CT6] Khiet Thanh Bui*, Tran Vu Pham, Hung Cong Tran, “A Load Balancing Game Approach for VM Provision Cloud Computing Based on Ant Colony Optimization.”, ICCASA 2016, © ICST Institute for Computer Sciences, Social Informatics and Telecommunications Engineering 2017 P Cong Vinh et al (Eds.): ICCASA 2016, LNICST 193, pp 52–63, 2017 DOI: 10.1007/978-3-31956357-2_6, Springer ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI THANH KHIẾT GIẢI PHÁP NHẬN DẠNG VÀ XỬ LÝ LỖI TRONG HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY Ngành: Khoa học máy tính Mã ngành: 62480101 TĨM TẮT LUẬN ÁN TIẾN SĨ TP HỒ CHÍ MINH - NĂM 2022 Cơng trình hồn thành Trường Đại học Bách Khoa – ĐHQG-HCM Người hướng dẫn 1: PGS.TS Trần Công Hùng Người hướng dẫn 2: PGS.TS Phạm Trần Vũ Phản biện độc lập: Phản biện độc lập: Phản biện: Phản biện: Phản biện: Luận án bảo vệ trước Hội đồng đánh giá luận án họp vào lúc ngày tháng năm Có thể tìm hiểu luận án thư viện: - Thư viện Trường Đại học Bách Khoa – ĐHQG-HCM - Thư viện Đại học Quốc gia Tp.HCM - Thư viện Khoa học Tổng hợp Tp.HCM DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ Tạp chí quốc tế [CT1] Thanh Khiet Bui*, Cong Hung Tran, Tran Vu Pham “V2PFQL: A proactive fault tolerance approach for cloud-hosted applications in cloud computing environment” IET Control Theory & Applications 1–25 (2022) https://doi.org/10.1049/cth2.12324, ISI-Q1 (SCIE), Impact Factor (2021):2,67 [CT2] Bui, Khiet Thanh*, Len Van Vo, Canh Minh Nguyen, Tran Vu Pham, and Hung Cong Tran “A fault detection and diagnosis approach for multi-tier application in cloud computing.” Journal of Communications and Networks (JCN), pp.399-414, Vol.22, No.5, October 2020, ISSN 1229-2370 Print/eISSN 1976-5541 Online, 1229-2370/19/$10.00 c 2020 KICS, DOI: 10.1109/JCN.2020.000023, ISI-Q1 (SCIE), Impact Factor (2021): 3,908 [CT3] Cong Hung Tran, Thanh Khiet Bui*, Tran Vu Pham “Virtual machine migration policy for multi-tier application in cloud computing based on QLearning algorithm” Computing (2022), 104(6), 1285-1306 DOI:10.1007/s00607-021-01047-0, ISI-Q2 (SCIE), Impact Factor (2021): 2.42 [CT4] Bui Khiet Thanh*, Hung Dac Ho, Tran Vu Pham, and Hung Cong Tran “Virtual machines migration game approach for multi-tier application in infrastructure as a service cloud computing.” IET Network_The Institution of Engineering and Technology 2020, ISSN 2047-4954, Online ISSN 2047-4962, August 2020, Volume 9, Issue 6, November 2020, p 326 – 337, doi: 10.1049/ietnet.2019.0204, ISI-Q2 (ESCI) Kỷ yếu hội nghị quốc tế [CT5] Khiet T Bui*, Linh V Nguyen, Tai V Tran, Tran-Vu Pham, Hung C Tran, “A load balancing VMs migration approach for multi-tier application in cloud computing based on Fuzzy set and Q-Learning algorithm” In: Kumar R., Quang N.H., Kumar Solanki V., Cardona M., Pattnaik P.K (eds) Research in Intelligent and Computing in Engineering Advances in Intelligent Systems and Computing, vol 1254 Springer, Singapore, 2021 (pp 617-628) [CT6] Khiet Thanh Bui*, Tran Vu Pham, Hung Cong Tran, “A Load Balancing Game Approach for VM Provision Cloud Computing Based on Ant Colony Optimization.”, ICCASA 2016, © ICST Institute for Computer Sciences, Social Informatics and Telecommunications Engineering 2017 P Cong Vinh et al (Eds.): ICCASA 2016, LNICST 193, pp 52–63, 2017 DOI: 10.1007/978-3-31956357-2_6, Springer CHƯƠNG 1.1 GIỚI THIỆU Giới thiệu Điện toán đám mây (ĐTĐM) ngày trở nên phổ biến, mang lại tiện lợi thiết thực, giúp người dùng dễ dàng triển khai ứng dụng cách linh hoạt Kiến trúc ĐTĐM chia thành hạ tầng vật lý bao gồm thành phần vật lý máy chủ, hệ thống lưu trữ, hệ thống mạng, v.v tầng trừu tượng tương ứng gồm dịch vụ hạ tầng (Infrastructure as a Service, viết tắt IaaS), dịch vụ tảng (Platform as a Service, viết tắt PaaS) dịch vụ phần mềm (Software as a Service, viết tắt SaaS) triển khai hạ tầng vật lý [1] Hiện nay, dịch vụ công nghệ thông tin đa số dựa nguồn tài nguyên, cấu vận hành, lưu trữ, phân phối xử lý thông tin ĐTĐM Thay người dùng sử dụng nhiều máy chủ vật lý (Physical machine, viết tắt PM), người dùng sử dụng máy ảo (Virtual machine, viết tắt VM) dịch vụ sở hạ tầng từ IaaS hay sử dụng dịch vụ tảng gồm API dùng để phát triển ứng dụng tảng công nghệ cụ thể từ PaaS hay sử dụng dịch vụ phần mềm đa phần cung cấp dạng ứng dụng web truy cập từ xa từ SaaS Thêm vào đó, tính co giãn với mơ hình tính phí th tài ngun theo dạng sử-dụng-bao-nhiêu-trả-bấy-nhiêu (pay-as-you-go) góp phần cho ĐTĐM sử dụng rộng rãi khách hàng trả phí tài nguyên, dịch vụ sử dụng Năm 2018, Việt Nam đạt 41/100 điểm trở thành nước đứng thứ 14 bảng xếp hạng “Chỉ số sẵn sàng cho Điện toán đám mây khu vực châu Á - Thái Bình Dương” Trước đó, mức tăng chi tiêu cho ĐTĐM Việt Nam giai đoạn 2010-2016 64,4% - cao ASEAN Điều cho thấy mơ hình ĐTĐM trở nên phổ biến bắt đầu chiếm ưu so với mơ hình CNTT truyền thống Theo khảo sát đánh giá Viettel IDC, sử dụng dịch vụ ĐTĐM, doanh nghiệp tiết kiệm tới 40% chi phí đầu tư ban đầu, rút ngắn thời gian triển khai từ - tuần triển khai loại bỏ hồn tồn chi phí nhân vận hành bảo trì hệ thống so với việc tự đầu tư doanh nghiệp Lỗi xảy tầng cụ thể ĐTĐM ảnh hưởng lên tầng Ví dụ, lỗi xảy hệ điều hành tầng PaaS dẫn đến ứng dụng SaaS bị lỗi Trong lỗi xảy ổ cứng máy chủ vật hạ tầng vật lý xảy lỗi, ảnh hưởng lên tầng IaaS tiếp tục dẫn đến lỗi xảy hệ điều hành tầng PaaS tiếp tục ảnh hưởng đến lỗi xảy ứng dụng tầng SaaS Từ đó, phát lỗi phần cứng điển hình phát triển kỹ thuật kháng lỗi tương ứng vấn đề cấp thiết Trong thực tế, vấn đề xây dựng hệ thống kháng lỗi hạ tầng ĐTĐM nhằm tăng độ sẵn sàng giảm tổn thất xảy lỗi hệ thống thách thức lớn Từ đó, luận án tập trung vào nghiên cứu đề xuất giải pháp kháng lỗi chủ động cho hạ tầng ĐTĐM 1.2 Tính cấp thiết luận án Các khung kháng lỗi tập trung vào hai vấn đề ngăn chặn lỗi xử lý lỗi Những phương pháp kháng lỗi thụ động phổ biến giới nghiên cứu nay, nhiên, tiến vượt bậc học máy, trí tuệ nhân tạo, thiết bị ngày trở nên thông minh làm gia tăng phạm vi nghiên cứu kháng lỗi chủ động Các khung kháng lỗi ngày mong đợi thông minh để đưa chiến lược khác cho ngữ cảnh khác lỗi hệ thống nhằm kháng dạng lỗi khác Thêm vào đó, việc quản lý khai thác tài nguyên hiệu hướng nghiên cứu mở ĐTĐM cần xem xét vấn đề kháng lỗi Một chế điều phối dịch vụ linh hoạt ĐTĐM hướng đến kháng lỗi cần thiết Nói cách khác, cần xây dựng khung kháng lỗi đảm bảo độ sẵn sàng cao quản lý, khai thác tài ngun hiệu Ví dụ Hình 1.1 minh họa trường hợp máy chủ vật lý PM2 PM4 hạ tầng ĐTĐM bị lỗi Điều dẫn đến Ứng dụng Ứng dụng gặp lỗi máy ảo chạy ứng dụng triển khai PM2 PM4 Theo đó, khách hàng – người thuê VM dịch vụ hạ tầng ĐTĐM để triển khai ứng dụng/dịch vụ phục vụ người dùng đầu cuối bị ảnh hưởng trực tiếp Do vậy, nhà cung cấp dịch vụ cần phải có giải pháp phát lỗi PM đưa phương án di trú VM đến PM an toàn khác nhằm tránh lỗi xảy PM đáng ngờ học tăng cường, thực thi điều phối tài nguyên Theo đó, hai thành phần quan trọng định thành công khung kháng lỗi gồm thành phần phân tích lỗi PM thành phần xây dựng chiến lược di trú máy ảo kháng lỗi Hai thành phần tập trung nghiên cứu xun suốt luận án Hình 2.8 mơ tả kiến trúc khung kháng lỗi chủ động cho hạ tầng ĐTĐM CHƯƠNG PHÂN TÍCH LỖI MÁY CHỦ VẬT LÝ TRÊN HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY 3.1 Giới thiệu Trong khn khổ luận án, phân tích lỗi PM bao gồm việc phát phân tích thơng số hiệu máy chủ vật lý liên quan đến lỗi PM vận hành Cụ thể, câu hỏi đặt phần nghiên cứu “Có điều bất thường xảy PM hay không? Nếu có dẫn đến lỗi hay khơng? Và thông số hiệu máy chủ vật lý liên quan đến lỗi?” Trong môi trường ĐTĐM, dao động giá trị định cần phải xác định liệu chúng có ổn định hay khơng Cảnh báo đưa thông số hệ thống giám sát không quán với giá trị khứ Ví dụ, PM hạ tầng ĐTĐM thường kiểm tra đầy đủ, chúng hoạt động bình thường hầu hết trường hợp Thơng qua giám sát trạng thái hệ thống xem bỏ qua lỗi vật lý PM hoạt động bình thường, nhiên có số lượng lớn thay đổi đột ngột khối lượng truy cập làm ảnh hưởng đến thông số hệ thống bị “hacker” cơng gây bất thường cho hệ thống thông báo có lỗi đưa cảnh báo giá trị thông số hệ thống không phù hợp với khứ Do vậy, cần phải có số biểu diễn diễn bất thường PM cần biểu đồ kiểm soát để theo dõi tính tốn ổn định giá trị định Luận án đề xuất số vận hành bất thường PM tính tốn dựa vào thơng số đại lượng hiệu PM số CPU, RAM, DISK, NETWORKS, v.v Để giải vấn đề có nhiễu tập huấn luyện, yếu tố phạt thích nghi đề xuất sử dụng hàm thuộc logic mờ cho điểm liệu huấn 10 luyện cho mơ hình OCSVM (được đặt tên Fuzzy One-class Support Vector Machine, viết tắt FOCSVM) Các yếu tố hình phạt thích nghi dựa hàm liên thuộc mờ biểu diễn khoảng cách mối quan hệ điểm liệu trung tâm của tập liệu huấn luyện Các số hiệu xem đầu vào cho việc tính giá trị biên định mơ hình FOCSVM Dựa số vận hành bất thường, việc phát lỗi vận hành PM xác định thơng qua biểu đồ kiểm sốt trung bình trượt có trọng số hàm mũ (Exponentially Weighted Moving Average, viết tắt EWMA), mơ hình phát lỗi đặt tên EWMAFOCSVM Trong kiểm soát chất lượng thống kê, biểu đồ kiểm sốt trung bình trượt có trọng số hàm mũ EWMA sử dụng để giám sát giá trị biến định EWMA kỹ thuật phân tích để phát thay đổi kiểm sốt chất lượng thống kê EWMA có chi phí tính tốn thấp phát thay đổi đột ngột [24] Hơn nữa, EWMA khơng địi hỏi tri thức cho việc phát lỗi dựa ngưỡng Lỗi nguyên nhân gây biến động đột ngột thông số hệ thống [24] Các lỗi dẫn đến việc tăng dao động thông số hệ thống, đó, việc xác định dao động thơng số quan trọng để tìm nguồn gây lỗi Theo đó, mẫu liệu giám sát chứa nhiều loại thông tin khác thông số hệ thống, biến động bất thường thông số trước sau xảy lỗi giúp định vị lỗi xảy thơng số hệ thống Từ đó, định vị thông số đáng ngờ liên quan đến nguyên nhân gây lỗi chuyển vấn đề lựa chọn thuộc tính Vấn đề phân tích thơng số hiệu máy chủ vật lý liên quan đến lỗi đưa toán lựa chọn đặc trưng với tập liệu huấn luyện gắn nhãn dựa đầu giai đoạn phát lỗi Sau phát lỗi, liệu giám sát trực tuyến trước phát lỗi gắn nhãn Normal trường hợp liệu sau phát lỗi Fault Để giải vấn đề phân tích thơng số hiệu máy chủ vật lý liên quan đến lỗi, luận án đề xuất áp dụng phương pháp Recursive Feature Elimination (RFE) kết hợp với thuật toán Rừng ngẫu nhiên (RF) lần lặp áp dụng [122, 123] để xây dựng mơ hình phân tích thơng số hiệu máy chủ vật lý liên quan đến lỗi, đặt tên REF-RF 11 3.2 Đánh giá mơ hình liệu Google Cluster Trace Google cluster tập hợp PM kết nối cụm băng thông cao Mỗi ô tập máy chủ xem cụm quản lý hệ thống quản lý cụm Borg [140] Dữ liệu theo dõi khối lượng công việc Google công bố chứa số bảng theo dõi trạng thái PM, công việc nhiệm vụ khoảng thời gian khoảng 29 ngày cho cụm tổng số 12.453 máy chủ vật lý [141] Trong đó, liệu kiện kiện tác vụ có hơn 100 triệu ghi (khoảng 17GB chưa nén) kéo theo nhật ký sử dụng tác vụ có khoảng tỷ ghi (178GB chưa nén), thông số tài nguyên cho tác vụ thu thập vào khoảng phút/lần Sỵrbu cơng [130] xử lý liệu lớn Google Cluster Trace (GCT) tảng BigQuery1 liệu gồm 12 thuộc tính gồm bảy thuộc tính liên quan đến tác vụ gồm evicted, failed, finished normally, killed lost năm thuộc tính đo tải máy chủ vật lý gồm CPU, Memory, Disk Time, cycles per instruction(CPI) memory accesses per instruction (MAI) khoảng thời gian phút/lần lấy mẫu Trong khuôn khổ Luận án, Luận án trích xuất liệu xử lý từ nghiên cứu Sỵrbu đồng nghiệp với năm thuộc tính đo tải PM Để đánh giá mơ hình, luận án sử dụng phần nhỏ liệu lấy từ nghiên cứu Sỵrbu cơng với ba máy chủ ký hiệu PM1, PM2, PM3 Hình 3.16 trình bày độ xác mơ hình phát lỗi EWMAFOCSVM đối sánh với mơ hình Threshold-FOCSVM Kết cho thấy độ xác mơ hình EWMA-FOCSVM cao mơ hình ThresholdFOCSVM https://cloud.google.com/bigquery 12 Hình So sánh F1-Score mơ hình EWMA-FOCSVM mơ hình Threshold-FOCSVM liệu GCT Hình Kết RMSE trung bình thuật tốn RFE-BDT, RFE-LM, RFERF liệu GCT 13 Mơ hình phân tích thông số hiệu máy chủ vật lý liên quan đến lỗi RFE-RF được so sánh với mô hình RFE kết hợp với Bagged Decision Trees (RFE-BDT) mơ hình RFE kết hợp với Linear Regression (RFE-LM) Hình 3.20 biểu diễn Kết RMSE trung bình thuật tốn RFE-RF, RFEBDT, RFE-LM cho thấy RMSE trung bình RFE-RF thấp RFE-BDT RFE-LM CHƯƠNG XÂY DỰNG CHIẾN LƯỢC DI TRÚ MÁY ẢO KHÁNG LỖI TRÊN HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY 4.1 Giới thiệu Việc xây dựng chiến lược kháng lỗi chủ động thực dựa ba kỹ thuật gồm tự Self-Healing (tự điều chỉnh), Preemptive migration (di trú ưu tiên) Software Rejuvenation (làm tươi phần mềm) Theo đó, kỹ thuật di trú ưu tiên phù hợp với việc xây dựng chiến lược kháng lỗi chủ động cho dịch vụ hạ tầng ĐTĐM Từ đó, đem lại nhiều lợi ích cho trung tâm liệu cân tải, bảo trì trực tuyến, quản lý lượng, kháng lỗi [28, 29] Việc phân phối VM vào PM cần đảm bảo sử dụng tài nguyên PM hiệu hướng đến nhà cung cấp dịch vụ khách hàng hai [31-35] Câu hỏi đặt phần nghiên cứu “Nếu máy chủ vật lý xác định có lỗi xảy ra, cần có phương án di trú máy ảo để tránh lỗi?” Trong khuôn khổ luận án, vấn đề di trú VM xem xét khía cạnh (i) mức độ sử dụng cân tài nguyên PM nhằm tránh tải thông số tài nguyên PM dẫn đến hiệu suất bị giảm sút gây lỗi, (ii) giải pháp di trú VM kháng lỗi đảm bảo PM sau tiếp nhận VM có số vận hành bất thường thấp nhằm giảm nguy gây lỗi, (iii) đảm bảo VM di trú đến PM Chiến lược di trú VM xem tri thức bên điều khiển đám mây cho chúng có khả học mơi trường thực thi Luận án xây dựng điều khiển di trú VM kháng lỗi mà tập luật di trú VM có 14 khả học tăng cường theo chế MAPE-K Thuật toán điều khiển di trú V2PFQL xây dựng dựa thuật toán học tăng cường mờ Fuzzy QLearning [47, 120, 121] Một sức mạnh hệ suy diễn mờ khả chuyển đổi tri thức người thành luật trực quan dạng NẾU-THÌ Tuy nhiên, q trình thiết kế hệ suy diễn mờ, người thiết kế gặp vấn đề khó khăn định nghĩa tập luật có khơng thể thiết kế tập luật khơng có sẵn tri thức vấn đề, định nghĩa phần tập luật, định nghĩa tập luật không hiệu dư thừa tập luật tập luật không chắn (đúng số trường hợp lại sai số trường hợp khác) Để giải vấn đề này, luận án đề xuất thuật toán huấn luyện tập luật cho vấn đề di trú máy ảo, đặt tên V2PFQL-AS, dựa kết hợp thuật toán V2PFQL Hệ kiến [142, 143] để hoàn thiện tập luật giai đoạn thiết kế hệ suy diễn mờ Luận án đánh giá hiệu điều khiển di trú VM thông qua hai pha gồm pha huấn luyện tập luật di trú VM pha khai thác tập luật di trú VM Trong pha huấn luyện tập luật di trú, thông số điều khiển thuật toán V2PFQL-AS xem xét gồm hệ số chiết khấu, hệ số khám phá/khai thác hệ số học trình học tăng cường Kết tập luật di trú VM từ pha huấn luyện sử dụng giá trị đầu vào cho thuật toán V2PFQL Trong pha khai thác tập luật di trú VM, thuật toán điều khiển di trú VM kháng lỗi V2PFQL đánh giá thơng qua giá trị hàm phần thưởng tính dựa mức độ cân tải tài nguyên PM mức độ bất thường PM Luận án so sánh kết hàm mục tiêu thuật toán V2PFQL toán di trú VM kháng lỗi với thuật toán RoundRobin (RR), Inverse Ant System (iAS) [143], Ant System (AS), Max-Min Ant System (MMAS)[144], Simulated Annealing (SA) [145], Particale Swarm Optimization (PSO)[146] 4.2 Thuật toán V2PFQL Giả sử trung tâm liệu cung cấp dịch vụ hạ tầng đám mây cho nhiều ứng dụng Mỗi ứng dụng triển khai cụm nhiều VM Quá trình di trú VM thực thi phát có nhiều PM bị lỗi thông qua 15 thành phần phát lỗi Để không tính tổng qt, thời điểm dịch vụ hạ tầng có 𝑛 VM cần di trú đến 𝑚 PM an tồn Để biểu diễn khơng đồng mặt tài nguyên hệ thống, 𝑘 loại tài nguyên ví dụ (CPU, MEMORY, DISK) xem xét cho PM VM Vấn đề đặt triển khai 𝑛 VM lên 𝑚 PM an toàn cách hợp lý Có thể mơ hình hóa toán di trú VM ĐTĐM dạng đồ thị có hướng (Directed Acyclic Graph, viết tắt DAG) [147149] G(V,E) với V tập đỉnh thể cơng việc, E tập cạnh có hướng thể mối quan hệ phụ thuộc đỉnh Hình 4.2 Hình Đồ thị có hướng cho toán di trú máy ảo Thuật toán 4.1 Điều khiển di trú VMhọc tăng cường V2PFQL Đầu vào: Hệ số học: 𝜂 Hệ số chiết khấu: 𝛾 Hệ số khám phá/khai thác: 𝜀 Đầu ra: Giải pháp di trú VM 1: 2: 3: 4: Khởi tạo giá trị 𝑞[𝒾, 𝒿] = 0, 𝒾 ∈ 𝒮, 𝒿 ∈ 𝒜 Tính tốn hành động cho trạng thái tại: 𝑎 = 𝑟𝑎𝑛𝑑𝑜𝑚 {𝒿 ∈ 𝒜} với xác suất 𝜀 𝑎 = agr max 𝑞[𝒾, 𝒿] với xác suất − 𝜀 5: Xấp xỉ hàm 𝑄 trạng thái 𝑠𝑡 theo Cơng thức (4.33) ∑𝐿𝑖=1 𝜃𝑖 (𝑠𝑡 ) × 𝑞[𝒾, 𝑎] 𝑄(𝑠𝑡 , 𝑎) = ∑𝐿𝑖=1 𝜃𝑖 (𝑠𝑡 ) Thực thi hành động 𝑎 hệ thống chuyển lên trạng thái 𝑠𝑡+1 Tính tốn 𝑄 cho trạng thái theo Cơng thức (4.34) 6: 7: 8: 𝒿 16 9: 10: 11: 12: ∑𝐿𝑖=1 𝜃𝑖 (𝑠𝑡+1 ) × max[𝒾 + 1, 𝒿] 𝒿 𝑄(𝑠𝑡+1 ) = ∑𝐿𝑖=1 𝜃𝑖 (𝑠𝑡+1 ) Cập nhật giá trị 𝑞 theo Công thức (4.29) 𝑞[𝒾, 𝑎] = (1 − 𝜂)𝑞[𝒾, 𝑎] + 𝜂[𝑟𝑡+1 + 𝛾𝑄(𝑠𝑡+1 ) − 𝑄(𝑠𝑡 , 𝑎)] Lặp lại bước cho trạng thái Với việc mở rộng thuật toán Q-Learning, hàm 𝑄 tính tốn theo hệ suy diễn mờ thuật tốn Fuzzy Q-Learning để quản lý cặp trạng thái-hành động mà hàm 𝑄 biểu diễn hệ suy diễn mờ Giả sử thời điểm 𝑡 hệ thống có trạng thái 𝑠𝑡 (theo Định nghĩa 4.1) điều khiển có tập hành động khả thi 𝒜 = {𝑃𝑀1 , 𝑃𝑀2 , … , 𝑃𝑀𝑚 } tập PM an toàn để triển khai VM cần di trú Đối với luật, cần phải chọn hành động 𝑎̂ tương ứng với mức độ phù hợp dựa giá trị 𝑞 (được tính từ hàm 𝑄), biểu diễn sau: 𝑅𝑖 : 𝐍Ế𝐔 𝑠𝑖 = 𝑠𝑡 {𝑆(𝑃𝑀1 ) 𝑙à 𝑝1 , … , 𝑆(𝑃𝑀𝑚 ) 𝑙à 𝑝𝑝 , 𝑆(𝑉𝑀𝑗 ) 𝑣𝑘 } 𝐓𝐇Ì 𝑎̂ = 𝑃𝑀1 𝑣ớ𝑖 𝑞𝑖1 ℎ𝑜ặ𝑐 𝑎̂ = 𝑃𝑀2 𝑣ớ𝑖 𝑞𝑖2 ℎ𝑜ặ𝑐 (4.1) ⋮ 𝑎̂ = 𝑃𝑀𝑚 𝑣ớ𝑖 𝑞𝑖𝑚 𝑅𝑖 tập mờ luật thứ 𝑖, 𝑆(𝑃𝑀𝑚 ) trạng thái PM thứ 𝑚 (có giá trị 𝑝𝑝 ), 𝑆(𝑉𝑀𝑗 ) dạng VM thứ 𝑗 (có giá trị 𝑣𝑘 ), 𝑎̂ biến hành động đầu ra, 𝑞𝑖𝑚 giá trị 𝑞 biểu diễn mức độ phù hợp chọn PM thứ 𝑚 cho việc di trú VM thứ 𝑗 trạng thái tồn hệ thống 𝑠𝑖 4.3 Thuật tốn V2PFQL-AS Giả sử hệ suy diễn mờ có tập luật 𝐿 = {𝑅1 , 𝑅2 , … , 𝑅𝐿 } tập hành động 𝒜 = {𝑎1 , 𝑎2 , … , 𝑎𝑚 } Việc lựa chọn hành động tương ứng với mức độ phù hợp dựa giá trị 𝑞 (được tính từ hàm 𝑄) cho luật Công thức (4.34) xem toán tổ hợp Hệ kiến sử dụng để tìm phương án tối ưu cục tồn cục Ý tưởng trình bày Hình 4.5 bước tương ứng với luật tập 𝐿 kiến chọn hành 17 động tập 𝒜 Cụ thể, bước khởi tạo ban đầu cho luật 𝑅1 , hành động 𝑎2 chọn tương ứng với PM2 cho luật 𝑅1 , lúc (𝑎2 , 𝑞12 ) tương ứng với nút đồ thị biễu diễn giá trị 𝑞 luật 𝑅1 chọn hành động 𝑎2 Tiếp theo, kiến chuyển qua hết nút đồ thị tương ứng ta có vệt mùi kiến Đối với luật, nút chọn kiến giúp hoàn thiện phần thông tin hệ luật Việc lựa chọn phần thông tin hệ luật dựa dựa kết hợp vệt mùi luật Hình Sơ đồ mối quan hệ tập luật, hành đồng, giá trị 𝑞 vệt mùi 4.4 Đánh giá thuật toán điều khiển di trú máy ảo Hệ điều khiển di trú VM triển khai trung tâm ĐTĐM cung cấp dịch vụ hạ tầng phát triển dựa công cụ mô CloudSim Việc đánh giá hệ điều khiển di trú VM chia thành pha huấn luyện tập luật pha khai thác tập luật Ban đầu, pha huấn luyện tập luật tạo thuật toán V2PFQL-AS Sau đó, pha khai thác luật, điều khiển di trú VM thực thi thuật toán V2PFQL dựa tập luật thu pha huấn luyện tập luật 18 Trong trình thực thi, thành phần sở luật điều khiển cập nhật liên tục Để đánh giá hiệu thuật toán di trú VM, giả sử thời điểm rời rạc, phân tích đánh giá trạng thái hệ thống để từ đưa hành động di trú VM cụ thể Đánh giá thuật toán huấn luyện tập luật di trú máy ảo V2PFQL-AS 4.4.1 Để đánh giá thuật toán huấn luyện tập luật, tham số ảnh hưởng đến trình học tăng cường xem xét gồm hệ số học 𝜂, hệ số chiết khấu 𝛾, hệ số khám phá/khai thác 𝜀 Công thức (4.29) dựa hội tụ giá trị hàm 𝑄 (hay gọi q-value) 4.4.1.1 Điều chỉnh hệ số học Đầu tiên, cố định hệ số chiết khấu 𝛾 = 0.5, hệ số khám phá/khai thác 𝜀 = 0.5, sau điều chỉnh hệ số học 𝜂 ∈ [0.1,0.9] Trong Hình 4.6 biểu diễn trình hội tụ q-value bốn luật theo giá trị hệ số học 𝜂 Ví dụ, Hình 4.6 (a) luật Rule1, ban đầu giá trị q-value khác từ khoản thời gian timestep=30 trở sau hội tụ giá trị q-value (a) Giá trị q-value luật (Rule1) (b) Giá trị q-value luật (Rule2) Hình Kết giá trị 𝑞 luật theo thệ số học 𝜂 ∈ [0.1,0.9] với hệ số chiết khấu 𝛾 = 0.5, hệ số khám phá/khai thác 𝜀 = 0.5 19 4.4.1.2 Điều chỉnh hệ số chiết khấu Sự ảnh hưởng hệ số chiết khấu đánh gái thông qua việc điều chỉnh giá trị hệ số chiết khấu 𝛾 ∈ [0.1,0.9] chọn hệ số khám phá/khai thác 𝜀 = 0.5, hệ số học 𝜂 = 0.1 Hình 4.7 biểu diễn trình hội tụ q-value bốn luật theo giá trị hệ số chiết khấu 𝛾 (b) Giá trị q-value luật (Rule2) (a) Giá trị q-value luật (Rule1) Hình 4 Kết giá trị q-value bốn luật theo hệ số chiết khấu 𝛾 ∈ [0.1,0.9] hệ số khám phá/khai thác 𝜀 = 0.5, hệ số học 𝜂 = 0.1 4.4.1.3 Điều chỉnh hệ số khai thác/khám phá Sự ảnh hưởng hệ số khám phá/khai thác đánh giá thông qua việc điều chỉnh giá trị hệ khám phá/khai thác 𝜀 ∈ [0.1,0.9], chọn hệ số chiết khấu 𝛾 = 0.9, hệ số học 𝜂 = 0.1 Hình 4.8 biểu diễn biểu diễn trình hội tụ qvalue bốn luật theo giá trị hệ số khám phá/khai thác 𝜀 20 (a) Giá trị q-value luật (Rule1) (b) Giá trị q-value luật (Rule2) Hình Kết giá trị q-value theo hệ khám phá/khai thác 𝜀 ∈ [0.1,0.9], hệ số chiết khấu 𝛾 = 0.9, hệ số học 𝜂 = 0.1 4.4.2 Đánh giá thuật toán điều khiển di trú máy ảo V2PFQL Xét cách tổng quát, toán di trú VM kháng biểu diễn theo dạng có 𝑛 VM cần di trú vào 𝑚 PM, theo đó, sau di trú VM hệ thống đảm bảo tối thiểu mức độ cân tải tài nguyên PM, đảm bảo tối thiểu mức độ bất thường PM, tránh tải PM dẫn đến hiệu suất bị giảm sút đảm bảo VM di trú đến PM Trong thuật tốn V2PFQL thuật toán điều khiển theo thời 𝑡 mà thời điểm có VM di trú đến PM an toàn Do vậy, để đánh giá kết hàm mục tiêu toán di trú VM kháng lỗi thuật toán V2PFQL cần xem xét thời điểm di trú xong 𝑛 VM vào 𝑚 PM Trong khuôn khổ luận án, việc so sánh kết hàm mục tiêu toán di trú VM kháng lỗi thuật toán V2PFQL với thuật toán thuộc lớp meta-heuristic gồm thuật toán RR, iAS, AS, MMAS, SA, PSO Để đánh giá khả khám phá/khai thác thuật toán V2PFQL, hệ số khám phá/khai thác điều chỉnh 𝜀 ∈ [0.1,0.9] chọn hệ số học = 0.1 , hệ số chiết khấu 𝛾 = 0.9 Kết thuật tốn V2PFQL theo cấu hình theo 𝜀 ký hiệu từ V2PFQL.e.0.1 đến V2PFQL.e.0.9 21 Hình Kết giá trị hàm mục tiêu (Utility) thuật toán cho toán di trú máy ảo kháng lỗi Hình 4.11 biểu diễn kết giá trị hàm mục tiêu (Utility) thuật tốn cho tốn di trí VM kháng lỗi, theo đó, kết cho thấy kết thuật toán V2PFQL.e.0.9 tương ứng với 𝜀 = 0.9 cho kết tốt Điều cho thấy, với việc lựa chọn hành động dựa hành động cho thấy khả khám phá tốt thuật toán V2PFQL CHƯƠNG 5.1 TỔNG KẾT Tóm tắt Để giải Câu hỏi 1, luận án đề xuất phương pháp máy vectơ hỗ trợ lớp mờ (FOCSVM) để phát bất thường Bộ liệu thực tế tồn nhiễu lý lỗi dụng cụ, lỗi định dạng lấy mẫu không biểu diễn Để khắc phục khiếm khuyết này, nghiên cứu, kết hợp logic mờ OCSVM (có tên FOCSVM) đề xuất để cải thiện việc phát bất thường có nhiễu xuất tập liệu Đối với vấn đề phát lỗi, biểu đồ kiểm soát trung bình trượt có trọng số hàm mũ (Exponentially Weighted 22 Moving Average, viết tắt EWMA) sử dụng để xác định thay đổi đột ngột có lỗi xảy ra, đặt tên EWMA-FOCSVM Và sau đó, vấn đề chẩn đốn lỗi đưa toán lựa chọn đặc trưng với tập liệu huấn luyện gắn nhãn thành phần phát lỗi EWMA-FOCSVM Để giải vấn đề phân tích thơng số hiệu máy chủ vật lý liên quan đến lỗi, phương pháp Recursive Feature Elimination (RFE) kết hợp với thuật toán Rừng ngẫu nhiên (Random Forest, viết tắt RF) lần lặp áp dụng để xây dựng mơ hình chẩn đốn lỗi (có tên REF-RF) Để giải Câu hỏi 2, cần xây dựng chiến lược di trú VM kháng lỗi dưa công nghệ di trú VM Công nghệ di trú VM cho phép di chuyển toàn hệ thống VM (gồm vi xử lý, nhớ, lưu trữ, tài nguyên mạng, hệ điều hành, ứng dụng liên quan) từ PM sang PM khác Trong khuôn khổ luận án, chiến lược di trú VM xem tri thức bên điều khiển đám mây cho chúng có khả học môi trường thực thi Luận án xây dựng điều khiển di trú VM mà tập luật di trú VM có khả học tăng cường theo chế MAPE-K Thuật toán điều khiển di trú máy ảo V2PFQL xây dựng dựa thuật toán học tăng cường mờ Fuzzy Q-Learning Thêm vào đó, để nâng cao khả thực thi điều khiển di trú VM, thành phần tập luật có khả học tăng cường để hồn thiện tập luật suốt thời thời gian thực Thuật toán huấn luyện tập luật di trú máy ảo V2PFQL-AS thiết kế dựa kết hợp V2PFQL Hệ kiến để hoàn thiện tập luật giai đoạn thiết kế hệ suy diễn mờ điều khiển di trú VM Hiệu giải thuật huấn luyện tập luật V2PFQL-AS đánh giá việc điều chỉnh hệ số học, hệ số khấu, hệ số khám phá/khai thác dựa hội tụ giá trị qvalue Giải thuật điều khiển di trú máy ảo V2PFQL đánh giá so sánh với giải thuật thuộc lớp meta-heuristic RR, iAS, AS, MMAS, SA, PSO 5.2 Hướng nghiên cứu mở rộng Từ nghiên cứu kết đạt được, luận án đề nghị số vấn đề hướng nghiên cứu sau: 23 Vấn đề 1: Luận án tiếp tục nghiên cứu vấn đề xác định nguồn gốc gây lỗi Trong Chương khảo sát đến việc phân tích thơng số hiệu vật lý liên quan đến lỗi Đây tiền đề để tiếp tục nghiên cứu vấn đề xác định nguồn gốc gây lỗi, từ có mơ hình phân tích lỗi máy chủ vật lý hồn chỉnh hiệu Vấn đề 2: Luận án tiếp tục nghiên cứu vấn đề xác định máy chủ vật lý tối ưu cho di trú máy ảo dựa thông số hạ tầng mạng Luận án dừng lại việc xác định máy chủ vật lý cho di trú máy ảo dựa thông số hiệu Việc kết hợp thông số hiệu với thông số hạ tầng mạng giúp cho việc xác định máy chủ vật lý phù hợp, hiệu cho việc di trú máy ảo Vấn đề 3: Luận án tiếp tục đánh giá mơ hình xây dựng chiến lược di trú máy ảo đề xuất Chương với mơ hình có khác để có kết đánh giá tồn diện Các tham số Cơng thức (4.29) ảnh hưởng đến q trình học tăng cường gồm hệ số học η, hệ số chiết khấu γ, hệ số khám phá/khai thác ε thuật toán điều khiển di trú máy ảo V2PFQL Gần đây, việc nghiên cứu chiến lược khám phá/khai thác thông số tiếp cận phương pháp học máy Deep Learning 24