Phân tích dữ liệu chuỗi thời gian cho bài toán dự báo

TRƯỜNG ĐAI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phân tích liệu chuỗi thời gian cho toán dự báo NGUYỄN VĂN THIỆU Nguyenthieu2102@gmail.com Ngành Khoa Học Dữ Liệu Giảng viên hướng dẫn: PGS TS Nguyễn Bình Minh Chữ ký GVHD Viện: Công Nghệ Thông Tin Truyền Thơng HÀ NỘI, 05/2021 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Văn Thiệu Đề tài luận văn: Phân tích liệu chuỗi thời gian cho toán dự báo Chuyên ngành: Khoa học liệu Mã số SV: CB180060 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 20/5/2021 với nội dung sau: STT Yều cầu hội đồng Nội dung chỉnh sửa, bổ sung Thêm bảng danh mục từ viết tắt Bảng danh mục từ viết tắt thêm Dịch hết giải thuật, hình vẽ hệ Tất giải thuật, mã giả hình vẽ thống từ tiếng Anh sang tiếng hệ thống chuyển sang tiếng Việt Việt Chỉnh sửa lại phương trình Các phương trình gán lại nhãn với nhãn hợp lý hợp lý Ngày 20 tháng năm 2021 Giáo viên hướng dẫn Tác giả luận văn PGS TS Nguyễn Bình Minh CHỦ TỊCH HỘI ĐỒNG TS Nguyễn Kiêm Hiếu Nguyễn Văn Thiệu CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Văn Thiệu Đề tài luận văn: Phân tích liệu chuỗi thời gian cho toán dự báo Chuyên ngành: Khoa học liệu Mã số SV: CB180060 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 20/5/2021 với nội dung sau: STT Yều cầu hội đồng Nội dung chỉnh sửa, bổ sung Thêm bảng danh mục từ viết tắt Bảng danh mục từ viết tắt thêm Dịch hết giải thuật, hình vẽ hệ Tất giải thuật, mã giả hình vẽ thống từ tiếng Anh sang tiếng hệ thống chuyển sang tiếng Việt Việt Chỉnh sửa lại phương trình Các phương trình gán lại nhãn với nhãn hợp lý hợp lý Ngày 20 tháng năm 2021 Tác giả luận văn Giáo viên hướng dẫn PGS TS Nguyễn Bình Minh CHỦ TỊCH HỘI ĐỒNG TS Nguyễn Kiêm Hiếu Nguyễn Văn Thiệu ĐỀ TÀI LUẬN VĂN Mã đề tài: 2018BKHDL-KH04 Theo QĐ số 137/QĐ-ĐHBK-ĐT-SĐH Hiệu trưởng Trường Đại học Bách Khoa Hà Nội ký ngày 13 tháng năm 2019 Họ tên học viên: Nguyên Văn Thiệu SHHV: CB180060 Ngành: Khoa học máy tính Hệ: Thạc sĩ khoa học Người hướng dẫn: PGS TS Nguyễn Bình Minh Đơn vị: Viện công nghệ thông tin truyền thông, trường Đại học Bách Khoa Hà Nội Tên đề tài (tiếng Việt): Phân tích liệu chuỗi thời gian cho toán dự báo Tên đề tài (tiếng Anh): Time-series analysis for forecasting problem Giảng viên hướng dẫn PGS TS Nguyễn Bình Minh Lời cảm ơn Lời đầu tiên, em xin cảm ơn thầy cô Viện Công Nghệ Thông Tin Truyền Thông trang bị cho em nhiều kiến thức nâng cao năm học thạc sĩ Đặc biệt, em xin cảm ơn đến PGS TS Nguyễn Bình Minh Thầy tận tình giúp đỡ hướng dẫn em từ em tham gia vào trung tâm tính tốn hiệu cao (HPCC) Những lúc khó khăn thầy ln động viên em, giúp em khơng từ bỏ Đặc biệt q trình em làm đồ án tốt nghiệp đại học luận văn tốt nghiệp thạc sĩ Em xin gửi lời cảm ơn đến chị Giang (hiện Assistant Professor Bratislava, Slovakia) Chị Giang thầy Minh hai người tiếp sức cho em lần viết báo khoa học Sự tâm huyết hai người hun đúc lửa tình yêu nghiên cứu khoa học em Lời cuối cùng, em xin gửi lời cảm ơn đến người thân gia đình người bạn bè ln bên em từ lúc em 18 tuổi tận Lời động viên từ gia đình bạn bè ln động lực để em vượt qua khó khăn, thử thách sống Tóm tắt nội dung luận văn Cơng nghệ điện tốn đám mây phổ biến nhiều tổ chức lợi ích mà mang lại cho nhà cung cấp người sử dụng Người sử dụng cần quan tâm đến chi phí theo nhu cầu họ sử dụng Còn hệ thống ĐTĐM tăng giảm tài nguyên cách mềm dẻo tự động, tận dụng tối đa tài ngun tính tốn, thiểu nguy cung cấp thừa, gây lãng phí tránh việc cung cấp thiếu tài nguyên gây ảnh hưởng đến chất lượng dịch vụ dẫn tới việc người dùng tiềm Trong luận án này, đề xuất mơ hình dự báo chuỗi thời gian (IAEO-SSNN) sử dụng mạng nơ-ron tự cấu trúc (SSNN) giải thuật cải tiến giải thuật Artificial Ecosystem Optimization (IAEO) Ngoài ra, đề xuất giải pháp tự động co giãn tài ngun cho mơi trường điện tốn đám mây dựa mơ hình dự báo đề xuất bên Ở đó, liệu tiêu thụ tài nguyên sử dụng thu thập từ máy ảo khác nhau, hệ thống sử dụng kĩ thuật tiền để tiền xử lý liệu chuỗi thời gian Mơ hình dự báo IAEO-SSNN sử dụng để dự đoán lượng tài nguyên sử dụng tương lai Từ đó, hệ thống tính tốn số lượng máy ảo (VMs) cần thiết thời gian tới, đảm bảo tối ưu điện tránh lãng phí dư thừa Những thực nghiệm để so sánh mơ hiệu hệ thống thí nghiệm với liệu thực tế cụm máy chủ Google Những thực nghiệm cho thấy mơ hình đề xuất có chất lượng tốt so với hầu hết mô hình khác nhiều trường hợp khác HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Cách tiếp cận 1.3 Các đóng góp luận văn 1.4 Bố cục luận văn CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Điện toán đám mây vấn đề liên quan 2.2 Các phương pháp dự đoán chuỗi thời gian 2.2.1 Các phương pháp tuyến tính 2.2.1 Mạng nơ-ron truyền thống 2.2.2 Mạng nơ-ron tự tổ chức 2.3 Các giải thuật lấy cảm hứng từ tự nhiên 2.4 Mạng tự tổ chức SONIA 10 2.5 2.4.1 Giải thuật xây dựng tầng ẩn 11 2.4.2 Đột biến tầng ẩn 12 Giải thuật tối ưu hóa hệ sinh thái (AEO) 13 2.5.1 Giai đoạn khởi tạo 13 2.5.2 Giai đoạn sản xuất 13 2.5.3 Giai đoạn tiêu thụ 14 2.5.1 Giai đoạn phân hủy 15 CHƯƠNG MƠ HÌNH DỰ BÁO ĐỀ XUẤT 16 3.1 3.2 Giải thuật đề xuất IAEO 16 3.1.1 Cải thiện giai đoạn tiêu thụ 17 3.1.2 Cải thiện giai đoạn phân hủy (decomposition) 18 Mơ hình dự báo IAEO-SSNN 20 CHƯƠNG ỨNG DỤNG MƠ HÌNH DỰ BÁO TRONG HỆ THỐNG CO GIÃN TÀI NGUYÊN 22 4.1 Kiến trúc hệ thống co giãn tài nguyên 22 4.2 Mô đun Extraction 23 4.3 Mô đun Learning 24 4.4 Mô đun Scaling 24 4.4.1 Mô đun Forecasting 24 4.4.1 Mô đun Decision 25 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 26 5.1 Thiết lập môi trường 26 5.1.1 Dữ liệu thực nghiệm 26 5.1.2 Các kịch thực nghiệm 27 5.1.3 Các mơ hình so sánh 27 5.1.4 Các độ đo đánh giá 28 5.2 Kết đánh giá thực nghiệm 29 5.3 Kết đánh giá thực nghiệm 33 CHƯƠNG KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 DANH MỤC HÌNH VẼ Hình 2.1 Mơ tả tài nguyên cung cấp cố định theo yêu cầu doanh nghiệp (nguồn [1]) Hình 2.2 Mơ tả cung cấp thừa tài nguyên (bên trái) cung cấp thiếu tài nguyên (bên phải) theo yêu cầu cố định doanh nghiệp (nguồn [1]) Hình 2.3 Mơ hình dự đốn tài ngun (nguồn [1]) Hình 2.4: Tổng quan phương pháp dự báo chuỗi thời gian Hình 2.5: Tổng quan loại giải thuật Metaheuristics Hình 2.6 Cấu trúc mạng tự tổ chức SONIA (nguồn [14] ) 10 Hình 2.7 Sơ đồ thuật tốn AEO 15 Hình 3.1: Sự khác biệt bước nhảy ngẫu nhiên bước nhảy Levy (nguồn internet) 17 Hình 3.2 Q trình huấn luyện mơ hình dự báo IAEO-SSNN 20 Hình 3.3 Miền giá trị hàm kích hoạt (nguồn [34]) 21 Hình 4.1 Hệ thống co giãn tài nguyên đề xuất 22 Hình 5.1 Hình vẽ giá trị thực tế giá trị dự đốn mơ hình 32 Hình 5.2 So sánh kết ADI mơ hình với L=1 (adaptation length) s (scaling factor) khác 35 Hình 5.3 So sánh giá trị ADI mơ hình với L=2 s khác 36 Hình 5.4 So sánh giá trị ADI mơ hình với L=3 s khác 37 Hình 5.5 So sánh giá trị ADI mơ hình với L=6 s khác 38 Hình 5.6 So sánh giá trị ADI mơ hình với L=12 s khác 39 Hình 5.7 So sánh giá trị ADI mơ hình với L=24 s khác 40 DANH MỤC BẢNG BIỂU Bảng 4.1 Ví dụ liệu dạng chuỗi thời gian dạng học có giám sát 23 Bảng 4.2 Ví dụ chuyển liệu dạng học có giám sát dùng phương pháp "cửa sổ trượt" với k = 24 Bảng 5.1 Bộ liệu thực nghiệm 27 Bảng 5.2 Bảng tham số mô hình 28 Bảng 5.3 Bảng so sánh lỗi MAE mơ hình dự đốn 30 Bảng 5.4 Bảng so sánh lỗi RMSE mô hình dự đốn 30 Bảng 5.5 Bảng so sánh lỗi WI mơ hình dự đoán 31 Bảng 5.6 So sánh kết vi phạm SLA (%) mơ hình với L=1 giá trị s khác 35 Bảng 5.7 So sánh kết vi phạm SLA (%) mô hình với L=2 giá trị s khác 36 Bảng 5.8 So sánh kết vi phạm SLA (%) mơ hình với L=3 giá trị s khác 37 Bảng 5.9 So sánh kết vi phạm SLA (%) mơ hình với L=6 giá trị s khác 38 Bảng 5.10 So sánh kết vi phạm SLA (%) mơ hình với L=12 giá trị s khác 39 Bảng 5.11 So sánh kết vi phạm SLA (%) mơ hình với L=24 giá trị s khác 40 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt ĐTĐM Cloud Computing Điện toán đám mây MHAs Metaheuristic Algorithms Các giải thuật Metaheuristic TS Time-series Chuỗi thời gian Periodicity Kĩ thuật Chu kì Threshold Kĩ thuật Ngưỡng Prediction Kĩ thuật Dự đoán PAYG Pay-as-you-go Tiêu trả nhiêu SONIA Self-Organized Network inspired by Immune Algorithm Mạng nơ-ron tự tổ chức lấy cảm hứng từ giải thuật miễn dịch AEO Artificial Ecosystem Optimization Giải thuật tối ưu hóa lấy cảm hứng từ hệ sinh thái SSNN Self-Structure Neural Network Mạng nơ-ron tự cấu trúc QoS Quality of Service Chất lượng dịch vụ SLA Service Level Agreement Thỏa thuận mức dịch vụ MLP Multi-Layer Perceptron Mạng nơ-ron truyền thẳng HW Hardware Phần cứng SW Software Phần mềm Load traffic Mơ hình Auto-scaling System Hệ thống tự động co giãn tài nguyên AR Autoregressive MA Moving Average ARMA Autoregressive Moving Average DES Double Exponential Smoothing Bảng 5.3 Bảng so sánh lỗi MAE mơ hình dự đốn Mơ hình CPU RAM ww=1 ww=2 ww=3 ww=1 ww=2 ww=3 SONIA 0.3442 0.3591 0.3405 0.0288 0.048 0.039 GA-SSNN 0.3556 0.3622 0.4196 0.0296 0.0312 0.0347 OCRO-SSNN 0.3228 0.337 0.3542 0.0285 0.031 0.0372 PSO-SSNN 0.3144 0.3335 0.3376 0.0235 0.0313 0.0353 WOA-SSNN 0.3613 0.4913 0.7061 0.0455 0.0521 0.0774 OTWO-SSNN 0.313 0.3269 0.365 0.0206 0.0281 0.0316 EO-SSNN 0.319 0.3126 0.3112 0.0201 0.0244 0.0288 TLO-SSNN 0.3114 0.3325 0.323 0.0205 0.0224 0.0261 SMA-SSNN 0.3293 0.3336 0.3239 0.024 0.0301 0.0312 AEO-SSNN 0.3133 0.3169 0.32 0.02 0.0218 0.0237 IAEO-SSNN 0.3132 0.3166 0.3107 0.02 0.022 0.022 b) Đối với độ đo RMSE, dựa vào Bảng 5.4 ta thấy:  Đối với dự liệu CPU, mơ hình EO-SSNN, có kết RMSE gần tốt với giá trị cửa sổ ww khác Ví dụ ww=1, EO-SSNN đạt giá trị RMSE = 0.4977 so với mơ hình OTWO-SSNN (0.4975) TLO-SSNN (0.4974) Tuy nhiên với ww=2 ww=3, EO-SSNN thể tốt  Đối với liệu RAM, mơ hình đề xuất IAEO-SSNN có kết RMSE tốt với cửa sổ trượt ww=1 ww=3 Với sổ trượt ww=2, IAEO-SSNN đứng sau mơ hình AEO-SSNN Bảng 5.4 Bảng so sánh lỗi RMSE mơ hình dự đốn Mơ hình CPU ww=1 RAM ww=2 ww=3 ww=1 ww=2 ww=3 SONIA 0.5116 0.5485 0.6254 0.0485 0.0587 0.0599 GA-SSNN 0.525 0.531 0.5807 0.0416 0.0456 0.0491 OCRO-SSNN 0.5059 0.5126 0.5459 0.0424 0.047 0.0548 PSO-SSNN 0.4984 0.516 0.5214 0.0375 0.0468 0.051 WOA-SSNN 0.5449 0.7117 0.9814 0.0657 0.0758 0.0995 OTWO-SSNN 0.4975 0.5113 0.533 0.0348 0.0429 0.0478 EO-SSNN 0.4977 0.4939 0.4893 0.0343 0.0399 0.0445 TLO-SSNN 0.4974 0.5133 0.5033 0.0345 0.0377 0.0409 SMA-SSNN 0.5123 0.5211 0.5089 0.0381 0.046 0.0489 AEO-SSNN 0.4988 0.5043 0.5014 0.0343 0.0369 0.0389 IAEO-SSNN 0.4993 0.5022 0.4946 0.034 0.0372 0.0373 30 Bảng 5.5 Bảng so sánh lỗi WI mơ hình dự đốn Mơ hình CPU RAM ww=1 ww=2 ww=3 ww=1 ww=2 ww=3 SONIA-SSNN 0.5418 0.5887 0.5725 0.8729 0.8361 0.7915 GA-SSNN 0.6075 0.545 0.5263 0.8569 0.8149 0.779 OCRO-SSNN 0.5793 0.627 0.5213 0.8494 0.8251 0.7608 PSO-SSNN 0.554 0.4784 0.508 0.8781 0.8042 0.7775 WOA-SSNN 0.4825 0.4204 0.2782 0.5767 0.5912 0.4384 OTWO-SSNN 0.6049 0.5937 0.6492 0.9052 0.8408 0.7948 EO-SSNN 0.6373 0.6272 0.6209 0.911 0.8688 0.8279 TLO-SSNN 0.622 0.6125 0.6239 0.9085 0.8838 0.8549 SMA-SSNN 0.5396 0.4593 0.4752 0.8792 0.811 0.774 AEO-SSNN 0.6294 0.6268 0.6296 0.9092 0.8903 0.8726 IAEO-SSNN 0.6292 0.637 0.6238 0.9118 0.8865 0.8798 c) Đối với độ đo WI, dựa vào Bảng 5.5 ta thấy  Đối với liệu CPU, với ww=1, mơ hình EO-SSNN đạt giá trị WI tốt 0.6373, với ww=2, mơ hình đề xuất IAEO-SSNN đạt giá trị WI tốt 0.637 Còn ww=3 mơ hình OTWO-SSNN đạt giá trị WI tốt 0.6492  Tuy nhiên có khác biệt liệu RAM, mơ hình đề xuất luận văn IAEO-SSNN đạt giá trị tốt giá trị cửa sổ ww=1 ww=3 Và đứng sau mơ hình AEO-SSNN với ww=2 Hình 5.1 thể giá trị thực tế giá trị dự đoán mơ hình Ta thấy mơ hình GA-SSNN thể dự đoán tồi với giá trị điểm ngoại lai Cịn mơ hình đề xuất IAEO-SSNN dự đốn gần điểm 31 Hình 5.1 Hình vẽ giá trị thực tế giá trị dự đốn mơ hình Kết luận với liệu CPU RAM: Mô hình IAEO-SSNN đạt giá trị tốt so sánh với mơ hình khác, với tồn giá trị cửa sổ trượt Đặc biệt 32 IAEO-SSNN tốt so với mơ hình truyền thống SONIA AEO-SSNN Đặc biệt cửa sổ trượt lớn ww=3, mơ hình phức tạp mơ hình IAEOSSNN thể rõ ưu điểm sử dụng giải thuật tối ưu hóa đề xuất IAEO 5.3 Kết đánh giá thực nghiệm Mục tiêu thực nghiệm để chứng tỏ:  Sức ảnh hưởng mơ hình dự đoán lên hệ thống tự động co giãn tài ngun  Kết mơ hình dự đốn cải tiến so với mơ hình khác  Tính thực nghiệm mô đun định dựa vi phạm SLA chất lượng dịch vụ QoS  Khả mơ hình tự động co giãn tài nguyên, áp dụng vào hệ thống thực tế Như nói bên trên, để đánh giá hiệu việc co giãn tài nguyên hệ thống, phần luận văn sử dụng độ đo vi phạm SLA chất lượng dịch vụ ADI Có tham số quan trọng mô-đun định hệ số co giãn s chiều dài điểm thời gian trước L Một số nhận xét quan trọng sau:  Khi s < số lượng VMs cung cấp nhỏ so với số lượng VMs dự đoán Khả cao hệ thống vi phạm SLA cao đồng thời giảm chất lượng dịch vụ QoS  Khi s > số lượng VMs cung cấp lớn so với số lượng VMs dự đoán Khả cao hệ thống không bị vị phạm SLA nhiên số lượng VMs cung cấp nhiều dẫn đến cung cấp thừa tài nguyên chi phí người dùng bỏ cao nhiều  Giá trị L sử dụng để đếm lần hệ thống vi phạm SLA L thời điểm trước L có ảnh hưởng đến giá trị VMs cung cấp cuối nhiên không ảnh hưởng lớn s  Do vậy, thực nghiệm luận văn thử nghiệm số giá trị s L hợp lí để đánh giá hệ thống co giãn tài nguyên sau:  s ∈ [0.75, 1.0, 1.25, 1.5, 1.75, 2.0, 2.25, 2.5] L ∈ [1, 2, 3, 6, 12, 24] Bảng 5.6 So sánh kết vi phạm SLA mô hình với L = giá trị s khác Dễ thấy rằng, với giá trị s=0.75 tất mơ hình cho kết vi phạm SLA lớn > 0.7 Hình 5.2 thể biểu đồ so sánh số ADI mơ hình dự đoán khác với ngưỡng tài nguyên sử dụng chấp nhận vào khoảng [60%, 80%]  Khi kết hợp với Bảng 5.6 ta thấy, giá trị s nhỏ (s