Đang tải... (xem toàn văn)
Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.Cải tiến phương pháp học máy trong chuỗi thời gian và ứng dụng.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Quang Đạt CẢI TIẾN PHƯƠNG PHÁP HỌC MÁY TRONG CHUỖI THỜI GIAN VÀ ỨNG DỤNG LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Quang Đạt CẢI TIẾN PHƯƠNG PHÁP HỌC MÁY TRONG CHUỖI THỜI GIAN VÀ ỨNG DỤNG Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh Hà Nội - 2023 i LỜI CAM ĐOAN Tôi - Nguyễn Quang Đạt - cam kết Luận án cơng trình nghiên cứu thân hướng dẫn TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh Các kết nêu luận án trung thực, có trích dẫn khơng chép tồn văn cơng trình khác Các kết đạt Luận án chưa tác giả khác công bố Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Nguyễn Quang Đạt Hà Nội, ngày tháng TM tập thể hướng dẫn năm 2023 ii LỜI CẢM ƠN Em xin trân trọng cảm ơn tập thể giáo viên hướng dẫn, TS Nguyễn Thị Ngọc Anh PGS.TS Nguyễn Ngọc Doanh, dẫn giúp đỡ em vấn đề q trình làm nghiên cứu Từ dẫn hướng thầy cô, em thu kết tốt hoàn thành luận án Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Nguyễn Quang Đạt iii MỤC LỤC LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ viii DANH MỤC CÁC BẢNG BIỂU xii GIỚI THIỆU ĐỀ TÀI CHƯƠNG Một số mơ hình truyền thống dự báo chuỗi thời gian 10 1.1 Autoregressive Integrated Moving Average - ARIMA 10 1.2 Seasonal Autoregressive Integrated Moving Average - SARIMA 17 1.3 Wavelet Analys - WA 23 1.4 Artificial neutral network – ANN 28 1.5 Recurrent neural network – RNN 31 1.6 Tiêu chí đánh giá mơ hình .38 CHƯƠNG Mơ hình học trực tuyến 40 2.1 Dữ liệu thực tế cập nhật liên tục .41 2.2 Cơ sở mơ hình trực tuyến 42 2.3 Phương pháp giảm gradient trực tuyến 45 2.4 Phương pháp trực tuyến ONS 49 2.5 Mơ hình trực tuyến cho ARIMA SARIMA 57 2.6 2.5.1 Mơ hình ARIMA Online Newton step .57 2.5.2 Mô hình SARIMA Online Newton step .60 Mơ hình RNN trực tuyến .71 iv 2.7 2.8 2.6.1 Một số vấn đề mơ hình RNN 71 2.6.2 Xây dựng sở thuật toán trực tuyến .73 2.6.3 Mô tả thuật toán 79 Thực nghiệm mơ hình SARIMA online với liệu thực tế 84 2.7.1 Dữ liệu so sánh: liệu Australia .84 2.7.2 Dữ liệu phụ tải điện miền bắc Việt Nam 84 Kết thực nghiệm thực tế 85 2.8.1 Dữ liệu so sánh: liệu Australia .85 2.8.2 Dữ liệu phụ tải điện miền bắc Việt Nam .88 CHƯƠNG Mơ hình lai 93 3.1 Mơ hình lai ARIMA ANN 96 3.2 Mơ hình lai ARIMA - LSTM lọc qua lọc MA 98 3.3 Mô hình lai ARIMA - Neural Network có sử dụng lọc nhiễu Wavelet 104 3.4 3.5 Mơ hình lai ARIMA-LSTM tách liệu MA 107 3.4.1 Dữ liệu so sánh: liệu Sunspot 107 3.4.2 Dữ liệu mực nước 108 3.4.3 Kết 109 Mơ hình lai ARIMA-ANN lọc nhiễu Wavelet 114 3.5.1 Dữ liệu so sánh: liệu Sunspot 115 3.5.2 Dữ liệu mực nước sông Hồng .115 3.5.3 Kết 116 CHƯƠNG Mơ hình lai máy học trực tuyến 4.1 123 Mơ hình lai máy học trực tuyến Multi-seasonal - ARIMA online - RNN online 123 4.2 Thực nghiệm mơ hình lai máy học trực tuyến Multi-seasonal - ARIMA online - RNN online .126 4.2.1 Dữ liệu .126 v 4.2.2 Kết 127 KẾT LUẬN 137 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ CỦA LUẬN ÁN TÀI LIỆU THAM KHẢO 140 143 vi DANH MỤC CÁC CHỮ VIẾT TẮT VÀ CÁC KÝ HIỆU CÁC CHỮ VIẾT TẮT ARIMA Mơ hình hồi quy tự động kết hợp trung bình trượt có sử dụng sai phân SARIMA Mơ hình hồi quy tự động kết hợp trung bình trượt có sử dụng sai phân tính mùa ANN Mơ hình mạng thần kinh nhân tạo RNN Mơ hình mạng thần kinh hồi quy WA Mơ hình sóng nhỏ (Wavelets Analys) Online learning Mơ hình máy học trực tuyến Hybrid model Mơ hình lai OGD Online Gradient Descent: phương pháp giảm gradient trực tuyến ONS Online Newton Step: phương pháp học trực tuyến Newton Step Node Tế bào/nốt/nút (trong ANN, RNN), thành phần nhỏ mạng thần kinh nhân tạo MSE Trung bình bình phương sai số (mean square error ) MAE Trung bình giá trị tuyệt đối sai số (mean abso- lute error ) MAPE Trung bình giá trị tuyệt đối sai số tính theo phần trăm (mean absolute percentage error ) vii MỘT SỐ KÝ HIỆU TOÁN HỌC ∇ Sai phân Ai Ma trận Hessian bước thứ i, kích thước (p+m)×(p+m) K Tập định D Đường kính tập định L Hằng số Lipschitz hàm Li(θ) Hàm mát (phụ thuộc tham số θ) bước thứ i ℓt(xt) Hàm mát (phụ thuộc biến xt) (tại bước thứ t) A ≻ Ma trận A xác định dương A⪰0 Ma trận A xác định khơng âm QA z = P (y) hình chiếu y lên P theo ma trận A ⪰ QA P (y) Q P (y) viii Phép chiếu trực giao y lên P A·B Phép nhân ma trận A•B Phép nhân trực tiếp ma trận A • B = Tr(A) Vết ma trận A Lt,w(θ; µ) Hàm time-smoothed loss định nghĩa (2.79) Σn i,j= Aij Bij