Mô hình dự báo ho khả năng mở rộng tài nguyên trong môi trường phân tán

Phương php đ xut Bài toán dự báo lượng tài nguyên cần cung cấp trong tương lai cho các dch vụ điện toán đám mây đã có nhiều cách giải quyết và sử dụng mạng nơ-ron là một trong số đó.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI CHU TH THƯƠNG MÔ HNH D BÁO CHO KH NĂNG M RỘNG TÀI NGUYÊN TRONG MÔI TRƯỜNG PHÂN TÁN Chuyên ngành : CÔNG NGH THÔNG TIN LUẬN VĂN THẠC SĨ K THUẬT CÔNG NGH THÔNG TIN NGƯỜI HƯỚNG DẪN: TS NGUYN BNH MINH Hà Nội – Năm 2018 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057205252261000000 LỜI CAM ĐOAN Tôi – Chu Th Thương – xin cam đoan  Luận văn tốt nghiệp (LVTN) Thạc sĩ cơng trình nghiên cứu thân tơi hướng dẫn Tiến sĩ Nguyễn Bình Minh  Các kết nêu Luận văn tốt nghiệp trung thực, khơng phải chép tồn văn cơng trình khác Hà Nội, ngày 08 tháng 09 năm 2018 Tác giả LVThS Chu Th Thương LỜI CM ƠN Đầu tiên, xin gửi lời cảm ơn sâu sắc tới Thầy giáo – Tiến sĩ Nguyễn Bình Minh – Phó trưởng môn Hệ thống thông tin, Viện Công nghệ thông tin Truyền thông, Trường Đại học Bách Khoa Hà Nội Thầy tận tình hướng dẫn cho tơi lời khuyên quý báu trình thực luận văn Tiếp theo, xin chân thành cảm ơn thầy cô Viện Công nghệ thông tin truyền thông, Viện đào tạo sau đại học, Trường Đại học Bách Khoa Hà Nội tạo điều kiện cho tơi q trình học tập nghiên cứu trường Cuối cùng, tơi xin bày tỏ lịng cảm ơn tới người thân gia đình, bạn bè động viên giúp đỡ để tơi hồn thành luận văn Hà Nội, ngày 08 tháng 09 năm 2018 Tác giả LVThS Chu Th Thương MỤC LỤC LỜI CAM ĐOAN LỜI CM ƠN MỤC LỤC DANH MỤC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BNG DANH MỤC HNH VẼ, ĐỒ TH Đt vn đ Phương php đ xut 10 B cc lun văn 11 CHƯƠNG 1: TNG QUAN CÁC NGHIÊN CU 12 1.1 Tng quan v đin ton đm mây 12 1.2 Nhu cu thc t v cung cp ti nguyên đin ton đm mây 14 1.3 Cc nghiên cu liên quan 15 1.3.1 Tng quan 15 1.3.2 Cc mô hnh d đon tuyn tnh 18 1.3.3 Phương php s dng mng nơ-ron 20 1.4 Cc kin thc s 21 1.4.1 Mng b nh di ngn (LSTM) 21 1.4.2 Mng nơ-ron liên kt chc (FLNN) 26 CHƯƠNG 2: THIẾT KẾ HỆ THNG 31 2.1 Mô t bi ton 31 2.2 Mô hnh h thng 31 2.2.1 Thu thp d liu 33 2.2.2 Tin x l d liu 33 2.2.3 Hun luyn mô hnh 36 2.2.4 Mô đun d đon 36 CHƯƠNG 3: TH NGHIỆM VÀ ĐÁNH GIÁ 38 3.1 Công ngh s dng v đ đo đnh gi mô hnh 38 3.1.1 Ngôn ng lp trnh 38 3.1.2 Thư vin v môi trưng s dng 38 3.1.3 Đ đo đnh gi mô hnh 39 3.2 D liu 39 3.3 Cc tiêu ch đnh gi 42 3.4 Ci đt v kt qu th nghim 42 3.4.1 Th nghim FLNN 42 3.4.2 Th nghim thay đi cc hm m rng FLNN 45 3.4.3 Th nghim LSTM 50 3.3.4 Th nghim thay đi tham s cho mô hnh LSTM 53 3.5 Nhn xt chung 56 KẾT LUN 57 Tng kt 57 Hưng pht trin 57 TÀI LIỆU THAM KHO 58 DANH MỤC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ vit tt FLNN Nghĩa ting Anh Nghĩa ting Vit Functional Linked Neural Mạng nơ-ron liên kết chức Network LSTM Long Short Term Memory Mạng nhớ dài ngắn Networks RNN Recurrent Neural Network Mạng nơ-ron hi quy MAE Mean Absolute Error Sai số tuyệt đối trung bình RMSE Root Mean Square Error Căn bậc hai sai số bình phương trung bình DANH MỤC CÁC BNG Bảng 1: Ví dụ liệu dạng chuỗi thời gian dạng học có giám sát 34 Bảng 2: Ví dụ chuyển liệu dạng học có giám sát dùng phương pháp "lag feature" 34 Bảng 3: Ví dụ chuyển liệu dạng học có giám sát dùng phương pháp "sliding window" 35 Bảng 4: Ví dụ chuyển liệu dạng học có giám sát dùng phương pháp "rolling window statistics" 35 Bảng 5: Bộ liệu thực nghiệm 40 Bảng 6: Độ xác dự đốn CPU mơ hình FLNN với kích thước cửa sổ trượt khác 43 Bảng 7: Kết thử nghiệm so sánh hàm mở rộng liệu phút 46 Bảng 8: Kết thử nghiệm so sánh hàm mở rộng liệu phút 46 Bảng 9: Kết thử nghiệm so sánh hàm mở rộng liệu 10 phút 47 Bảng 10: So sánh độ xác dự đốn CPU mơ hình FLNN LSTM với kích thước cửa sổ trượt khác 51 Bảng 11: So sánh thời gian thử nghiệm mơ hình liệu 10 phút 53 Bảng 12: Kết thay đổi thử nghiệm batch_size LSTM liệu 10 phút 54 Bảng 13: Kết thay đổi thử nghiệm cửa sổ trượt LSTM liệu 10 phút 55 DANH MỤC HÌNH VẼ, ĐỒ TH Hình 1: Mơ tả mạng nơ-ron truyền thẳng 21 Hình 2: Mơ đun lp mạng RNN chun tầng (ngun [4]) 22 Hình 3: Mơ đun lp mạng LSTM tầng tương tác (ngun [4]) 22 Hình 4: Trạng thái tế bào 23 Hình 5: Cổng 23 Hình 6: Tầng cổng quên (Forget gate layer) 24 Hình 7: Tầng cổng vào 25 Hình 8: Trạng thái 25 Hình 9: Tầng (Output layer) 26 Hình 10: Mơ hình mạng nơ-ron FLNN (ngun [6]) 28 Hình 11: Mơ hình hệ thống dự đoán tài nguyên 32 Hình 12: Dữ liệu CPU liệu phút 40 Hình 13: Dữ liệu CPU liệu phút 41 Hình 14: Dữ liệu CPU liệu 10 phút 41 Hình 15: Kết dự đốn mơ hình FLNN với liệu phút 43 Hình 16: Kết dự đốn mơ hình FLNN với liệu phút 44 Hình 17: Kết dự đốn mơ hình FLNN với liệu 10 phút 45 Hình 18: Kết thử nghiệm hàm mở rộng FLNN liệu phút 48 Hình 19: Kết thử nghiệm hàm mở rộng FLNN liệu phút 49 Hình 20: Kết thử nghiệm hàm mở rộng FLNN liệu 10 phút 50 Hình 21: Kết dự đốn mơ hình FLNN LSTM liệu phút 52 Hình 22: Kết dự đốn mơ hình FLNN LSTM liệu phút 52 Hình 23: Kết dự đốn mơ hình FLNN LSTM liệu 10 phút 53 Hình 24: So sánh sai số thay đổi batch_size LSTM liệu 10p 55 Hình 25: So sánh sai số thay đổi cửa sổ trượt LSTM liệu 10p 55 M ĐU Đt vn đ Điện toán đám mây lên lựa chọn tối ưu cho tất tốn cần tài ngun tính tốn Điện tốn đám mây mang lại nhiều lợi ích cho người sử dụng nó, bao gm khả cung cấp tài nguyên ảo hóa cách nhanh chóng linh hoạt Hiện nay, nhà cung cấp dch vụ điện toán đám mây thường sử dụng chế co giãn tài nguyên dựa giá tr ngưỡng tiêu thụ Tuy nhiên, thực tế phương pháp có nhược điểm to lớn tài nguyên cung cấp thường chậm, lúc cần dùng chưa cung cấp được, đc biệt trường hợp có biến cố xảy đột ngột Ngoài ra, tài nguyên sử dụng chưa xác dẫn đến lãng phí khó xác đnh thời điểm cung cấp thêm tài ngun Những điều ngồi gây nên lãng phí, cịn giảm chất lượng dch vụ tăng chi phí người dùng nhà cung cấp Có nhiều nhà nghiên cứu cng nhà phát triển đầu tư vào phương pháp co giãn tài nguyên cho điện tốn đám mây xây dựng mơ hình dự đoán tài nguyên sử dụng tương lai để tự động tăng giảm tài nguyên Dù phương pháp mang nhiều tính chất hứa hn song thực tế sử dụng ngưỡng sử dụng rộng rãi việc dự đốn tài ngun địi hỏi độ xác cao Đây yếu tố quan trọng phương pháp mở rộng tài nguyên tự động mơi trường phân tán Do vậy, việc tìm mơ hình dự báo có độ xác cao kết hợp với hệ thống tự động mở rộng tài nguyên điện toán đám mây cần thiết Mc dù có nhiều mơ hình mơ hình dự báo điện tốn đám mây đề xuất mơ hình LSTM-RNN sử dụng liệu lượng yêu cầu gửi đến máy chủ NASA, hay mơ hình sử dụng mạng nơ-ron nhiều tầng để dự đoán lượng xạ mt trời sử dụng liệu lượng xạ San Jose, Califolia từ 2005 đến 2010, … Mục tiêu luận văn tập trung so sánh đánh giá số mơ hình dự đốn cho tốn co giãn tài ngun Sau áp dụng mơ hình dự báo tốt cho hệ thống co giãn tài nguyên môi trường phân tán Phạm vi luận văn so sánh đánh giá dạng mạng nơ-ron áp dụng cho toán xử lý liệu chuỗi thời gian, bao gm mạng học sâu đại diện mạng nhớ dài ngắn (Long Short Term Memory Networks - LSTM) mạng nơ-ron bậc cao, đại diện mạng nơ-ron liên kết chức (Functional Linked Neural Network FLNN) Các kết thực nghiệm với tập liệu tài nguyên thu thập từ Google Cluster cho thấy mơ hình mạng nhớ dài ngắn – LSTM cho hiệu tốt Tuy nhiên, thời gian chạy thử nghiệm để kết lại lâu so với mơ hình mạng nơ-ron liên kết chức – FLNN Phương php đ xut Bài toán dự báo lượng tài nguyên cần cung cấp tương lai cho dch vụ điện toán đám mây có nhiều cách giải sử dụng mạng nơ-ron số Luận văn s sử dụng mạng nhớ dài ngắn (LSTM) mạng nơ-ron liên kết chức (Functional Linked Neural Network) – mạng nơ-ron có cấu trúc đơn giản, áp dụng nhiều toán toán phân loại, hệ thống nhận dạng … có toán dự đoán Trong chương sau s đề xuất mơ hình hệ thống cho q trình huấn luyện đưa dự đốn cho tốn Mơ hình hệ thống bao gm mô đun: thu thập lưu trữ liệu, tiền xử lý liệu, huấn luyện mơ hình, dự đốn dó mơ đun đầu phục vụ cho q trình huấn luyện mơ hình mơ đun cuối sử dụng mơ hình huấn luyện để đưa dự đốn Mơ đun thu thập lưu trữ liệu mô đun thu thập chuỗi liệu lch sử cần thiết cho toán 10