Đang tải... (xem toàn văn)
Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Quang Đạt CẢI TIẾN PHƯƠNG PHÁP HỌC MÁY TRONG CHUỖI THỜI GIAN VÀ ỨNG DỤNG LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Quang Đạt CẢI TIẾN PHƯƠNG PHÁP HỌC MÁY TRONG CHUỖI THỜI GIAN VÀ ỨNG DỤNG Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh Hà Nội - 2023 i LỜI CAM ĐOAN Tôi - Nguyễn Quang Đạt - cam kết Luận án cơng trình nghiên cứu thân hướng dẫn TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh Các kết nêu luận án trung thực, có trích dẫn khơng chép tồn văn cơng trình khác Các kết đạt Luận án chưa tác giả khác công bố Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Nguyễn Quang Đạt Hà Nội, ngày tháng năm 2023 TM tập thể hướng dẫn ii LỜI CẢM ƠN Em xin trân trọng cảm ơn tập thể giáo viên hướng dẫn, TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh, dẫn giúp đỡ em vấn đề q trình làm nghiên cứu Từ dẫn hướng thầy cô, em thu kết tốt hoàn thành luận án Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Nguyễn Quang Đạt iii MỤC LỤC LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ viii DANH MỤC CÁC BẢNG BIỂU xii GIỚI THIỆU ĐỀ TÀI CHƯƠNG Một số mơ hình truyền thống dự báo chuỗi thời gian 10 1.1 Autoregressive Integrated Moving Average - ARIMA 10 1.2 Seasonal Autoregressive Integrated Moving Average - SARIMA 17 1.3 Wavelet Analys - WA 23 1.4 Artificial neutral network – ANN 28 1.5 Recurrent neural network – RNN 31 1.6 Tiêu chí đánh giá mơ hình 38 CHƯƠNG Mơ hình học trực tuyến 40 2.1 Dữ liệu thực tế cập nhật liên tục 41 2.2 Cơ sở mơ hình trực tuyến 42 2.3 Phương pháp giảm gradient trực tuyến 45 2.4 Phương pháp trực tuyến ONS 49 2.5 Mơ hình trực tuyến cho ARIMA SARIMA 57 2.6 2.5.1 Mơ hình ARIMA Online Newton step 57 2.5.2 Mơ hình SARIMA Online Newton step 60 Mơ hình RNN trực tuyến 71 iv 2.7 2.8 2.6.1 Một số vấn đề mơ hình RNN 71 2.6.2 Xây dựng sở thuật toán trực tuyến 73 2.6.3 Mơ tả thuật tốn 79 Thực nghiệm mơ hình SARIMA online với liệu thực tế 84 2.7.1 Dữ liệu so sánh: liệu Australia 84 2.7.2 Dữ liệu phụ tải điện miền bắc Việt Nam 84 Kết thực nghiệm thực tế 85 2.8.1 Dữ liệu so sánh: liệu Australia 85 2.8.2 Dữ liệu phụ tải điện miền bắc Việt Nam 88 CHƯƠNG Mơ hình lai 93 3.1 Mơ hình lai ARIMA ANN 96 3.2 Mơ hình lai ARIMA - LSTM lọc qua lọc MA 98 3.3 Mơ hình lai ARIMA - Neural Network có sử dụng lọc nhiễu Wavelet 104 3.4 3.5 Mơ hình lai ARIMA-LSTM tách liệu MA 107 3.4.1 Dữ liệu so sánh: liệu Sunspot 107 3.4.2 Dữ liệu mực nước 108 3.4.3 Kết 109 Mơ hình lai ARIMA-ANN lọc nhiễu Wavelet 114 3.5.1 Dữ liệu so sánh: liệu Sunspot 115 3.5.2 Dữ liệu mực nước sông Hồng 115 3.5.3 Kết 116 CHƯƠNG Mô hình lai máy học trực tuyến 4.1 123 Mơ hình lai máy học trực tuyến Multi-seasonal - ARIMA online - RNN online 123 4.2 Thực nghiệm mơ hình lai máy học trực tuyến Multi-seasonal - ARIMA online - RNN online 126 4.2.1 Dữ liệu 126 v 4.2.2 Kết 127 KẾT LUẬN 137 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ CỦA LUẬN ÁN TÀI LIỆU THAM KHẢO 140 143 vi DANH MỤC CÁC CHỮ VIẾT TẮT VÀ CÁC KÝ HIỆU CÁC CHỮ VIẾT TẮT ARIMA Mơ hình hồi quy tự động kết hợp trung bình trượt có sử dụng sai phân SARIMA Mơ hình hồi quy tự động kết hợp trung bình trượt có sử dụng sai phân tính mùa ANN Mơ hình mạng thần kinh nhân tạo RNN Mơ hình mạng thần kinh hồi quy WA Mơ hình sóng nhỏ (Wavelets Analys) Online learning Mơ hình máy học trực tuyến Hybrid model Mơ hình lai OGD Online Gradient Descent: phương pháp giảm gradient trực tuyến ONS Online Newton Step: phương pháp học trực tuyến Newton Step Node Tế bào/nốt/nút (trong ANN, RNN), thành phần nhỏ mạng thần kinh nhân tạo MSE Trung bình bình phương sai số (mean square error ) MAE Trung bình giá trị tuyệt đối sai số (mean absolute error ) MAPE Trung bình giá trị tuyệt đối sai số tính theo phần trăm (mean absolute percentage error ) vii MỘT SỐ KÝ HIỆU TOÁN HỌC ∇ Sai phân Ai Ma trận Hessian bước thứ i, kích thước (p+m)×(p+m) K Tập định D Đường kính tập định L Hằng số Lipschitz hàm Li (θ) Hàm mát (phụ thuộc tham số θ) bước thứ i ℓt (xt ) Hàm mát (phụ thuộc biến xt ) (tại bước thứ t) A≻0 Ma trận A xác định dương A⪰0 QA P (y) Ma trận A xác định không âm QA z = P (y) hình chiếu y lên P theo ma trận A ⪰ Q P (y) Phép chiếu trực giao y lên P A·B Phép nhân ma trận A•B Phép nhân trực tiếp ma trận A • B = Tr(A) Vết ma trận A Lt,w (θ; µ) Hàm time-smoothed loss định nghĩa (2.79) Pn i,j=1 Aij Bij viii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Phân tách liệu tín hiệu qua bậc 26 Hình 1.2 Mơ hình Recurrent Neural Networks 31 Hình 1.3 Ví dụ mơ hình RNN 32 Hình 1.4 Một mơ hình RNN với nhiều đầu vào đầu 36 Hình 2.1 Phương hướng giải vấn đề cập nhật liệu mơ hình trực tuyến 43 Hình 2.2 Cơ sở việc tính tốn tham số cho mơ hình trực tuyến 44 Hình 2.3 Dữ liệu Australia 86 Hình 2.4 Thực nghiệm mơ hình trực tuyến: Kết mơ hình SARIMA-ONS chạy liệu Australia (toàn liệu) 87 Hình 2.5 Thực nghiệm mơ hình trực tuyến: Kết mơ hình SARIMA-ONS chạy liệu Australia (một số giá trị tập liệu dùng để kiểm tra testing set) 87 Hình 2.6 Thực nghiệm mơ hình trực tuyến: Tối ưu siêu tham số cho tự hồi quy tự hồi quy theo mùa cho mơ hình SARIMA online lúc 05 sáng, đại diện cho mức tiêu thụ điện thấp Siêu tham số tốt (p, P ) = (1, 2) 90 Hình 2.7 Thực nghiệm mơ hình trực tuyến: Tối ưu siêu tham số cho tự hồi quy tự hồi quy theo mùa cho mơ hình SARIMA online lúc 13 trưa, đại diện cho mức tiêu thụ điện cao Siêu tham số tốt (p, P ) = (0, 5) 90 min(m,M ) m,M ∗ ∗ (all) ∗ ∗ E Xt (α , β ) − Xt (α , β ) ≤ 2Mmax · (1 − ε) max(q,Q) Dễ thấy với m = 0, M = ta định nghĩa Xtm,M (α∗ , β ∗ ) = Xt , nên: m,M ∗ ∗ (all) ∗ ∗ Xt (α , β ) − Xt (α , β ) (all) ∗ ∗