Vì vậy, một hệ thống đánh giá vi phạm SLAtrong bài toán dự đoán khả mở trong tương lai là điều rất cần thiết.Dựa vào các hướng nghiên cứu trên, những đóng góp chính của luận án này bao g
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRẦN ĐỨC NHUẬN TRẦN ĐỨC NHUẬN HỆ THỐNG THƠNG TIN NGHIÊN CỨU XÂY DỰNG MƠ HÌNH DỰ ĐỐN LƯỢNG TIÊU THỤ VÀ TỰ ĐỘNG CO DÃN TÀI NGUYÊN TRONG MÔI TRƯỜNG PHÂN TÁN LUẬN VĂN THẠC SĨ KHOA HỌC Hệ thống thông tin 2017A Hà Nội – Năm 2018 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057205253591000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRẦN ĐỨC NHUẬN NGHIÊN CỨU XÂY DỰNG MƠ HÌNH DỰ ĐỐN LƯỢNG TIÊU THỤ VÀ TỰ ĐỘNG CO DÃN TÀI NGUYÊN TRONG MÔI TRƯỜNG PHÂN TÁN Chuyên ngành : Hệ thống thông tin LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Nguyễn Bình Minh Hà Nội – Năm 2018 Lời cảm ơn Đầu tiên, xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội, đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thông Đồng thời xin gửi lời cảm ơn đặc biệt đến TS Nguyễn Bình Minh Thầy người dẫn tận tình, cho tơi kinh nghiệm q báu để hồn thành luận văn Tôi xin gửi lời cảm ơn tới gia đình Sự sát cánh động viên tinh thần từ gia đình ln động lực để tơi tiến lên phía trước Lời cam đoan Tơi - Trần Đức Nhuận - cam kết luận văn cơng trình nghiên cứu thân hướng dẫn TS Nguyễn Bình Minh Các kết nêu luân vặn trung thực, chép cơng trình cơng bố khác Tất trích dẫn tham chiếu rõ ràng Hà Nội, ngày 31 tháng năm 2018 Tác giả luận văn Trần Đức Nhuận Xác nhận người hướng dẫn Tóm tắt Gần đây, mơ hình điện toán đám mây trở nên phổ biến nhiều tổ chức Mơ hình cho phép người sử dụng trả phí theo nhu cầu (pay-as-you-go) đáp ứng phát triển tự nhiên tổ chức Các tài nguyên ĐTĐM tăng giảm cách mềm dẻo, tận dụng tối đa tài ngun tính tốn giảm thiểu nguy cung cấp thừa, gây lãng phí tránh cung cấp không đủ dẫn tới việc khách hàng tiềm Khi sử dụng dịch vụ điện toán đám mây, khách hàng nhà cung cấp đồng ý với điểu khoản định nghĩa SLA, bao gồm độ đo chất lượng dịch vụ khác (Quality of Service) Vì phía lập trình viên, họ cần bảo đảm chất lượng dịch vụ cung cấp cho người dùng cuối Tuy vậy, ứng dụng triển khai đám chịu ảnh hưởng chất lượng cung cấp tài nguyên từ phía nhà cung cấp dịch vụ Một hướng tiếp cận nhằm tăng chất lượng dịch vụ sử dụng mơ hình học máy dự đoán lượng tài nguyên sử dụng tương lai Trong luận án này, chúng tơi trình bày giải pháp tự động khả mở tài nguyên cho môi trường điện tốn đám mây dựa mơ hình máy học Ở đó, liệu tiêu thụ tài nguyên sử dụng thu thập từ máy ảo khác nhau, hệ thống sử dụng kĩ thuật mờ hóa, phát mối tương quan để phân tích liệu q kứ Luận án đề xuất mơ hình Multivariate Fuzzy Long Short Term Memory (MF-LSTM) cho phép dự đoán lượng sử dụng tài nguyên tương lai Từ đó, hệ thống tính tốn số lượng máy ảo cần thiết thời gian tới, bảo đảm tối ưu hiệu điện tránh dư thừa lãng phí Mơ hình đề xuất sử dụng liệu tiêu thụ tài nguyên sử dụng cụm máy chủ Google thực tế Những thí nghiệm liệu thử nghiệm mơ hình đề xuất có chất lượng tốt phần lớn trường hợp so sánh với mơ hình khác Abstract Cloud computing has emerged as an optimal option for almost all computations problems today One of the most advanced features is pay-as-go-go fashion, allowed user to provide computational resource adequately and flexible This helps to reduce the renting resource cost to the minimum Using cloud services, customers and cloud providers will come to term with usage conditions defined in Service Layer Agreement (SLA), which specify acceptable Quality of Service (QoS) metric levels In term of software developer, they must guarantee quality of service for their end users However, the performance of application depends on the influence of resource QoS provided by cloud infrastructure vendors One of the important challenge in clouds today is how to improve QoS of computing resources Many research deal with the problem by using prediction time series model In this thesis, we propose a comprehensive autoscaling solution for clouds based on forecasting resource consumption in the future At first, our prediction mode leverages the advantage of fuzzy approach, entropy correlation and stacked Long Short Term Memory to process historical monitoring time series data After that, scaling decision is validated and adapted through evaluating SLA violations The solution is tested on real workload dataset from Google cluster The achieved results show significant increase in efficiency than other baseline models Mục lục Lời cảm ơn Lời cam đoan Tóm tắt Abstract Danh sách thuật ngữ Danh sách hình vẽ Danh sách bảng 11 Tổng quan 12 Các nghiên cứu liên quan 15 2.1 Tổng quan điện toán đám mây 15 2.1.1 Khái niệm 15 2.1.2 Mơ hình dịch vụ 16 2.1.3 Mơ hình triển khai 18 2.2 Vấn đề cung cấp tài nguyên 19 2.3 Các phương pháp dự đoán chuỗi thời gian 22 2.3.1 Nghiên cứu tổng quan 22 2.3.2 Phương pháp tuyến tính 24 2.3.3 Phương pháp mạng nơ-ron nhân tạo 25 2.3.4 Phương pháp học sâu - Deep Learning 28 2.3.5 Chuỗi thời gian mờ - Fuzzy Time Series 31 Các phương pháp phân tích mối tương quan nhiều chiều 32 2.4 Mơ hình đề xuất 34 3.1 Kiến trúc hệ thống 34 3.2 Tiền xử lý liệu 35 3.3 Trích chọn đặc trưng 37 3.4 Huấn luyện mơ hình 38 3.5 Dự đoán tài nguyên sử dụng 40 3.6 Đánh giá chất lượng dịch vụ 40 3.6.1 Đánh giá tỉ lệ vi phạm SLA 40 3.6.2 Sự định khả mở tài nguyên 41 Thử nghiệm đánh giá 4.1 43 Thiết lập thử nghiệm 43 4.1.1 Dữ liệu 43 4.1.2 Độ đo đánh giá 44 4.2 Thử nghiệm phương pháp mờ hóa 44 4.3 Trích chọn đặc trưng 45 4.4 Dự đoán 46 4.4.1 Thử nghiệm mơ hình đơn biến - đa biến 47 4.4.2 Thử nghiệm mơ hình đa biến MF-LSTM với mơ hình khác 50 Thử nghiệm định 52 4.5 Kết luận 57 Tài liệu tham khảo 58 Danh sách thuật ngữ ĐTĐM Điện tốn đám mây IOT Internet of Things Auto-scaling Tự động co dãn tài nguyên SLA Cam kết chất lượng dịch vụ (Service Level Agreement) Artificial Neural network Mạng nơ-ron nhân tạo Back propagation Lan truyền ngược LSTM Long Short Term Memory Danh sách hình vẽ 1.1 Sự cung cấp tài nguyên theo nhu cầu (nguồn: LogicMonitor) 13 1.2 Dung lượng liệu truyền tải IoT 13 2.1 Mơ hình triển khai ĐTĐM 16 2.2 Mơ hình hệ thống khả mở 19 2.3 Sự cung cấp tài nguyên theo nhu cầu (nguồn: harishblogspot) 20 2.4 Mơ hình Periodicity (nguồn slideshare ) 21 2.5 Mạng nơ-ron nhân tạo nhiều tầng 26 2.6 Mô hướng đạo hàm 27 2.7 Recurrent Neural Network 28 2.8 Recurrent Neural Network 29 2.9 Mơ hình mạng LSTM [9] 30 3.1 Kiến trúc tổng quan mơ hình tự động khả mở MF-LSTM 35 3.2 Mức độ tiêu thụ CPU theo thời gian job cụm máy chủ Gooogle 36 3.3 Mơ hình LSTM học quan hệ mờ 38 4.1 Chuỗi liệu CPU trước sau áp dụng kĩ thuật mờ hóa 45 4.2 Mối tương quan nhiều chiều liệu 46 4.3 Mối tương quan nhiều chiều cho độ đo 47 4.4 Kết dự đốn CPU mơ hình đơn biến Fuzzy GABPNN với p = 48 4.5 Kết dự đoán Memory mơ hình đơn biến Fuzzy GABPNN với p = 48 4.6 Kết dự đốn CPU mơ hình đơn biến MF-GABPNN với p = 48 4.7 Kết dự đoán Memory mơ hình đơn biến MF-GABPNN với p = 48 4.8 Kết dự đoán CPU với cửa sổ trượt khác mơ hình MF-BPNN and MF-GABPNN 4.9 48 Kết dự đoán Memory với cửa sổ trượt khác mơ hình MF-BPNN and MF-GABPNN 48 4.10 Kết dự đoán CPU với cửa sổ trượt = sử dụng MF-LSTM với δ khác 50