TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) MÔ HÌNH DỰ BÁO PHỤ TẢI NGẮN HẠN SỬ DỤNG THUẬT TỐN BỘ NHỚ NGẮN HẠN CĨ TRỄ THE SHORT-TERM LOAD FORECAST MODEL USING LONG – SHORT TERM ALGORITHM Vũ Thị Anh Thơ Trường Đại học Điện lực Ngày nhận bài: 16/08/2021, Ngày chấp nhận đăng: 14/09/2021, Phản biện: TS Nguyễn Đức Tun Tóm tắt: Trong báo này, mơ hình dự báo phụ tải ngắn hạn sử dụng thuật toán nhớ ngắn hạn có trễ (Long Short–Term Memory - LSTM) miêu tả cách chi tiết Đây phương pháp dự báo phụ tải dựa mạng nơ ron nhân tạo (Artificial Neural Network – ANN) Bộ số liệu sử dụng nghiên cứu liệu phụ tải Đài Loan thu thập giai đoạn từ ngày 1/6/2014 đến 30/6/2014 Kết dự báo mơ hình LSTM so sánh với kết dự báo thuật toán mạng nơ ron lan truyền ngược (Back Propagation Neural Network – BPNN) cho thấy hiệu cao rõ rêt Từ khóa: Dự báo phụ tải ngắn hạn, dự báo phụ tải hàng ngày, mạng nơ ron nhân tạo, thuật toán nhớ ngắn hạn có trễ, thuật tốn loan truyền ngược Abstract: In this paper, a short- term load forecast model using the Long Short–Term Memory (LSTM) algorithm is described in detail This is one of load forecast methods based on the Artificial Neural Network (ANN) The input data using in this research is the load data of Taiwan, collected from 01/6/2014 to 30/6/2014 The load forecasting result using LSTM model is compared to the result obtained from forecasting model using the Back-Propagation Neural Network (BPNN) algorithm show a visibly better efficacity Keywords: Short-term load forecast, daily load forecast, Artificial Neural Network, Long Short- Term Memory Algorithm, Back Propagation Algorithm GIỚI THIỆU CHUNG Dự báo phụ tải, bao gồm dự báo phụ tải dài hạn, trung hạn ngắn hạn, công cụ hỗ trợ đắc lực công việc liên quan đến hệ thống điện ; từ quy hoạch, phát triển sở hạ tầng, đưa định mua bán điện đến vận hành lưới điện [1] [2], [3] Dự báo phụ tải ngắn hạn có phạm Số 28 vi dự báo từ khoảng 1h tuần chịu ảnh hưởng nhiều yếu tố, thời gian (ngày năm, ngày tuần, ngày…) ; thời tiết (nhiệt độ, độ ẩm, ánh sáng, mùa hè/ mùa đông…) yếu tố ngẫu nhiên biến đổi đột ngột phụ tải công nghiệp yếu tố địa lý [4] Thực dự báo phụ tải 95 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) ngắn hạn xác cho phép thực cấu trúc/ tái cấu trúc lưới điện tối ưu, đồng thời lập kế hoạch phát điện nhà máy điện hay vận hành thị trường điện hiệu Nhiều phương pháp mơ hình tốn học khác nghiên cứu sử dụng để giải tốn dự báo phụ tải ngắn hạn [5] Mơ hình mạng nơ ron nhân tạo (Artificial Neural Network – ANN) phát triển từ thập niên cuối kỷ 20 ứng dụng rộng rãi việc giải toán dự báo phụ tải ngắn hạn làm sở để phát triển nhiều mơ hình dự báo phụ tải khác [6] Mạng nơ ron truyền thống có đặc điểm đầu vào đầu độc lập với không liên kết thành chuỗi Mạng nơ ron hồi quy (Recurrent Neural Network – RNN) dựa việc sử dụng chuỗi thông tin, cho phép thực tác vụ cho tất phần tử chuỗi với đầu phụ thuộc vào phép tính trước RNN sử dụng với mong muốn học tham số cài đặt sử dụng thuật toán dự báo cách khéo léo để xử lý phụ thuộc xa, nhiên có nhiều nguyên nhân khiến thuật tốn khơng đạt mục đích mong muốn [7] Thuật tốn nhớ ngắn hạn có trễ (Long Short-Term Memory Networks – LSTM) - dạng đặc biệt RNN giới thiệu Hochrriter Schmiduher vào năm 1997 [8] LSTM có khả học phụ thuộc xa hoạt động hiệu nhiều lĩnh vực khác [9] từ 01/06/2014 đến 30/06/2014 sử dụng thuật toán LSTM với kỳ vọng thu sai số tốt so với nghiên cứu trước [10][11] Các liệu đo ghi nhận 15 phút lần Trong đó, phần liệu thu thập từ 01/06/2014 đến 21/06/2014, chiếm 75% tổng lượng liệu thu thập, sử dụng để đào tạo, huấn luyện mơ hình để dự báo kết tương lai Phần liệu lại thu thập từ ngày 22/06/2014 đến 30/6/2014 sử dụng để kiểm tra đánh giá kết mô hình dự báo phụ tải Kết dự báo so sánh với kết sử dụng thuật toán mạng nơ ron lan truyền ngược (Back Propagation Neural Network) MƠ HÌNH DỰ BÁO PHỤ TẢI SỬ DỤNG THUẬT TỐN LSTM Thuật tốn nhớ ngắn hạn có trễ LSTM cải tiến mạng nơ ron hồi quy RNN nhằm giải vấn đề nhớ bước dài mạng nơ ron hồi quy Bản thân LSTM có kiến trúc dạng chuỗi mơ đun lặp lặp lại mạng hồi quy [8], thay có tầng mạng nơ ron mạng RNN chuẩn, LSTM có tầng tương tác với (Hình Hình 2) Hình 1: Mơ hình mơ đun lặp lại LSTM Trong nghiên cứu này, tác giả dự báo phụ tải Đài Loan khoảng thời gian 96 Số 28 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) ht-1 đầu trạng tháozz tế bào trước xt trạng thái đầu vào bt ma trận thiên vị Hình 2: Sơ đồ cấu trúc bên LSTM Sơ đồ cấu trúc bên LSTM thể Hình Một mơ đun LSTM gồm ô nhớ, cổng đầu vào, cổng đầu cổng quên, cho phép tạo khả bỏ thêm thông tin cần thiết cho trạng thái tế bào Cụ thể trạng thái thứ t mơ hình LSTM có: Các đầu ct; ht c trạng thái tế bào h trạng thái ẩn Các đầu vào ct-1; ht-1; xt xt đầu vào trạng thái thứ t mơ hình, cịn ct-1; ht-1 đầu trạng thái t-1 trước Nguyên lý hoạt động LSTM gồm bước: Bước 1: tầng cổng quên (tầng sigmoid) định thông tin cần bỏ trạng thái tế bào Cổng quên lấy đầu vào ht-1; xt-1 đưa giá trị khoảng [0,1] cho trạng thái tế bào ct-1 Giá trị cho thấy tồn thơng tin giữ lại, cịn giá trị nghĩa tồn thơng tin bị loại bỏ Phương trình đặc trưng cho bước thứ nhất: 𝑓𝑡 = 𝜎(𝑊𝑓 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑓 ) Trong đó: Wf ma trận trọng số Số 28 ( 1) Bước : lựa chọn thông tin lưu lại đưa vào trạng thái tế bào Đầu tiên tầng cổng vào (tầng sigmoid) định giá trị cập nhật sau tầng tạo véc tơ giá trị Ct thêm vào cho trạng thái Hai giá trị kết hợp tạo thành cập nhật cho trạng thái 𝑖𝑡 = 𝜎(𝑊𝑓 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑖 ) (2) 𝐶𝑡 = 𝑡𝑎𝑛ℎ(𝑊𝐶 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝐶 ) (3) Bước 3: trạng thái tế bào cũ Ct-1 cập nhật sang trạng thái tế bào Ct theo phương trình: 𝐶𝑡 = 𝑓𝑡 𝐶𝑡−1 + 𝑖𝑡 𝐶𝑡 (4) Bước 4: giá trị đầu tiếp tục sàng lọc đưa Một tầng sigmoid sử dụng để xác định phần trạng thái tế bào xuất ra, sau trạng thái tế bào đưa qua hàm để nhận giá trị hàm khoảng [-1,1] nhân với đầu hàm sigmoid để có giá trị đầu mong muốn: 𝑂𝑡 = 𝜎(𝑊𝑜 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑜 ) (5) ℎ𝑡 = 𝑂𝑡 tanh(𝐶𝑡 ) (6) Có thể thấy LSTM đảm bảo thơng tin truyền thơng suốt tương tác tuyến tính cách sử dụng trạng thái tế bào (cell-state) chạy xuyên suốt qua tất nút mạng tương tác tuyến tính Nhờ nhớ thơng tin thời gian dài mà không cần thực thao tác huấn luyện hay can thiệp khác, qua tránh vấn đề phụ thuộc xa 97 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Mơ hình dự báo phụ tải đề xuất sử dụng thuật toán LSTM (Hình 3) Hình 3: Mơ hình LSTM cho dự báo phụ tải Ở trạng thái thứ k, mơ hình có thơng số đầu vào x(k) gồm: giá trị phụ tải bước thời gian trước Load(t-1) giá trị phụ tải ngày trước thời điểm Load(t-24) giá trị nhiệt độ Temp(t) Ngoài ra, có h(k-1) đầu vào trạng thái ẩn thu từ bước dự báo k-1 trước đó, sử dụng cho bước tính tốn bước k Sau bước tính tốn thứ k, đầu h(k) sử dụng làm đầu vào trạng thái ẩn bước tính tốn k+1 tiếp sau Kết đầu y(k) yêu cầu phụ tải dự báo cho thời điểm t, mang giá trị Load(t+) Bảng 1: Các thông số mơ hình dự báo phụ tải mơ hình LSTM Đầu vào Đầu vào Số nơ ron lớp ẩn Tốc độ học tập Số vịng lặp Kích thước Mini Batch Hàm chuyển Sai số Hệ số giảm tỉ lệ 98 LSTM Load (t-1) Load (t-24) Temp(t) 80 0,01 250 75 ‘Adam’ 0,0001 0,02 Các thông số tổng quát mô hình dự báo sử dụng phần mềm Matlab thể Bảng Hàm chuyển “Ước tính thời điểm thích ứng – Adaptive Moment Estimation” (‘Adam’) Matlab sử dụng cho phép tính tốn tỉ lệ thích ứng cụ thể cho thông số khác Hàm chuyển lưu trữ bình phương tốc độ trung bình di chuyển v(t) giữ động lượng m(t) nhằm giảm biến động độ dốc Trong trình đào tạo, mơ hình dự báo bị q khớp (over fitting) chưa đủ khớp (under fitting) cập nhật trọng số bị dao động mạnh Do đó, kỹ thuật giảm độ dốc (mini-batch gradient descent) đề xuất để giải vấn đề Mini - batch có kích thước 75, nhỏ tổng số liệu N nhiều Dữ liệu xáo trộn ngẫu nhiên, sau chia thành mini-batch, mini-batch có n điểm liệu (trừ minibatch cuối có N không chia hết cho n) Mỗi lần cập nhật, thuật toán lấy mini - batch để tính tốn đạo hàm cập nhật MƠ HÌNH DỰ BÁO PHỤ TẢI SỬ DỤNG THUẬT TỐN BP Hình 4: Sơ đồ cấu trúc BPNN Số 28 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Mơ hình thuật tốn BP sử dụng phương pháp giảm độ dốc (grandient descent) để tìm sai số nhỏ thơng qua việc tối ưu hóa trọng số [12] thể Hình Các thơng số mạng trình bày Bảng Cấu trúc cụ thể BPNN sử dụng để giải toán dự báo phụ tải thể Hình Cấu trúc BPNN đơn giản gồm lớp sử dụng Lớp đầu vào gồm có nơ ron gồm giá trị phụ tải bước thời gian trước Load(t-1); giá trị phụ tải thời điểm ngày trước Load(t-24) giá trị nhiệt độ Temp(t) Lớp lớp ẩn với nơ ron cuối lớp đầu với nơ ron Đầu vào Hàm chuyển lớp đầu vào lớp ẩn hàm ‘tan-sigmoid’ hàm chuyển lớp ẩn lớp đầu chọn hàm tuyến tính ‘pureline’ [13] Bảng 2: Các thơng số mơ hình dự báo phụ tải mơ hình BPNN Đầu vào Số lớp ẩn Số nơ ron lớp ẩn Tốc độ học tập Số vòng lặp Hàm chuyển Sai số Tốc độ học tập BPNN Load (t-1) Load (t-24) Temp(t) 0,01 250 ‘tansig’; ‘pureline’ 0,0001 0,01 CÁC THÔNG SỐ ĐÁNH GIÁ HIỆU SUẤT CỦA MƠ HÌNH DỰ BÁO PHỤ TẢI Để đánh giá hiệu suất mơ hình dự báo phụ tải, tác giả lựa chọn thông số: Căn bậc hai sai số bình phương trung bình (Root Mean Square Error RMSE) 𝑁 𝑅𝑀𝑆𝐸 = √ ∑(𝑊𝑓𝑜𝑟𝑒𝑐𝑎𝑠𝑡 − 𝑊𝑡𝑟𝑢𝑒 ) 𝑁 ( 7) 𝑖=1 Sai số RMSE dạng phần trăm (Normalized Root Mean Square Error nRMSE) Hình 5: Cấu trúc cụ thể BPNN cho toán dự báo phụ tải Hàm đào tạo mạng thuật toán Lebenberg – Marquardt [12] Thuật toán bao gồm chức đào tạo, giảm độ dốc với trọng số động (momentum weight) hệ số học tập thiên vị (bias) Hàm đào tạo cập nhật weight bias dựa tối ưu hóa Levenberg – Marquest 𝑛𝑅𝑀𝑆𝐸 = 𝑅𝑀𝑆𝐸 100% 𝑊𝑚𝑎𝑥 − 𝑊𝑚𝑖𝑛 ( 8) Sai số trung bình tuyệt đối (Mean Absolute Error – MAE) 𝑁 𝑀𝐴𝐸 = ∑|𝑊𝑓𝑜𝑟𝑒𝑐𝑎𝑠𝑡𝑒𝑑 − 𝑊𝑡𝑟𝑢𝑒 | 𝑁 ( 9) 𝑖=1 Số phần trăm sai số tuyệt đối (Mean Absolute Percentage Error – MAPE) 𝑁 𝑀𝐴𝑃𝐸 = |𝑊𝑓𝑜𝑟𝑒𝑐𝑎𝑠𝑡𝑒𝑑 − 𝑊𝑡𝑟𝑢𝑒 | ∑ 100% 𝑁 𝑊𝑡𝑟𝑢𝑒 ( 10) 𝑖=1 Số 28 99 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Trong đó: Wforecasted giá trị tải dự báo đầu mơ hình dự báo Wtrue giá trị tải thực tế Wmax Wmin giá trị lớn nhỏ phụ tải điện N số lượng mẫu Các sai số dự báo nhỏ độ xác mơ hình cao ĐÁNH GIÁ KẾT QUẢ DỰ BÁO PHỤ TẢI 5.1 Mối tương quan nhiệt độ môi trường nhu cầu phụ tải điện 5.2 Đánh giá hiệu suất dự báo phụ tải mơ hình LSTM BPNN Bên cạnh yếu tố nhiệt độ mội trường, yếu tố yếu tố thời gian, cụ thể yếu tố “loại ngày”, cụ thể ngày làm việc ngày cuối tuần cần xem xét khác biệt lớn biến thiên phụ tải ngày Vào cuối tuần, nhu cầu phụ tải nhiều so với ngày làm việc tồn nhà, nhà máy sở sản xuất kinh doanh đóng Dữ liệu đầu vào chia thành hai nhóm, đào tạo độc lập hai mơ hình dự báo so sánh với kết thu từ thực tế: Nhóm ngày tuần: từ thứ Hai đến thứ Sáu Nhóm ngày cuối tuần: gồm thứ Bảy Chủ nhật Kết dự báo phụ tải sử thể Hình (mơ hình BPNN) Hình (mơ hình LSTM) Các thông số đánh giá hiệu mô hai mơ hình tổng hợp Bảng Hình 6: Mối tương quan tuyến tính nhiệt độ phụ tải Mối tương quan nhiệt độ môi trường nhu cầu phụ tải điện phần cho phép xác nhận lại lần mức độ ảnh hưởng yếu tố thời tiết tới nhu cầu phụ tải dự báo phụ tải ngắn hạn Theo kết thu (Hình 6), nhiệt độ mơi trường tăng lên lượng điện tiêu thụ tăng lên theo ngược lại Do vậy, việc sử dụng liệu thời tiết dự báo phụ tải cần thiết để cải thiện mức độ xác mơ hình dự báo phụ tải 100 Hình 7: Giá trị phụ tải điện dự báo thực tế mơ hình BPNN Hình 8: Giá trị phụ tải điện dự báo thực tế mơ hình LSTM Số 28 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Kết so sánh hiệu hai phương pháp dự báo phụ tải thể (Bảng 3) Đối với hai phương pháp, sai số dự báo cho nhóm ngày cuối tuần (đồ thị dưới) cao sai số dự báo cho ngày tuần (đồ thị trên) Cụ thể phương pháp BPNN sai số nRMSE =2,93% sai số tuyệt đối 0,9%, ngày cuối tuần, giá trị tương ứng 2,94% 1,22%; phương pháp LSTM, sai số nRMSR 1,42% sai số tuyệt đối 1,42% cho ngày tuần, ngày cuối tuần, giá trị tương ứng 1,93% 0,66% Một số nguyên nhân dẫn gồm: Chênh lệch số lượng mẫu liệu đào tạo: nhóm ngày cuối tuần có 576 mẫu, nhỏ nhiều so với số lượng mẫu ngày tuần (1440 mẫu), dẫn đến khả học tập yếu dự báo xác Sự biến động hành vi, hoạt động sinh hoạt người vào cuối tuần: nhà, thực hoạt động nhà: nấu ăn, xem TV…, mua sắm, vui chơi… Điều dẫn đến phụ tải ngày cuối tuần có nhiều biến động thay đổi qua tuần so với ngày tuần khó dự báo xác So sánh sai số dự báo hai phương pháp cho thấy thuật toán LSTM đem lại hiệu dự báo tốt hẳn so với thuật toán BPNN nhờ vào việc sử dụng phụ thuộc xa ước lượng Bảng 3: Các thơng số đánh giá mơ hình dự báo phụ tải BPNN LSTM Các thông số Trong tuần Cuối tuần Trong tuần Cuối tuần RMSE (MW) 387,41 389,71 187,71 254,72 nRMSE (%) 2,93 2,94 1,42 1,93 MAE (MW) 243,88 315,99 115,44 173,52 MAPE (%) 0,9 1,22 0,43 0,66 Số 28 Sai số nRMSE sai số tuyệt đối thuật tốn BPNN thu cao gấp đơi so với LSTM Tuy nhiên, đặc điểm này, nhóm nghiên cứu ghi nhận thời gian tính tốn mơ hình LSTM lâu so với mơ hình BPNN 5.3 Kết luận Phương pháp dự báo phụ tải sử dụng thuật tốn nhớ ngắn hạn có trễ (LSTM) có hiệu dự báo tốt rõ rệt so với sử dụng thuật toán BPNN, cho phép xác định giá trị phụ tải điện sử dụng khoảng thời gian vài tuần sử dụng ứng dụng để dự báo phụ tải khu vực quốc gia Hiệu đạt nhờ vào đặc điểm thuật toán LSTM cho phép giữ lại liệu bước tính tốn trước đó, giải vấn đề phụ thuộc xa Tuy nhiên đặc điểm này, dẫn đến thời gian tính tốn kéo dài với sở liệu tính tốn lớn Hai thuật tốn cho phép sử dụng nhiều giá trị đầu vào khác Trong nghiên cứu này, hai mơ hình dự báo rõ phụ thuộc phụ tải điện tiêu thụ với nhiệt độ môi trường Các yếu tố môi trường khác yếu tố mùa, gió, độ ẩm, lượng mưa… xem xét sử dụng để đánh giá ảnh hưởng yếu tố đến phụ tải điện cách độc lập tổng thể Số lượng mẫu liệu đào tạo có ảnh hưởng lớn tới hiệu dự báo phụ tải Việc sử dụng mơ hình dự báo thời gian dài cộng với việc so sánh với giá trị phụ tải tiêu thụ thực tế tăng lượng mẫu liệu đào tạo hứa hẹn việc nâng cao hiệu dự báo phụ tải Để nâng cao hiệu suất dự báo phụ tải, xem xét sử dụng thuật toán tối ưu thuật toán di truyền (Generic Algorithm), thuật toán tối ưu bầy đàn (Particle Swarm Optimisation) … để xác đinh thông số cho mơ hình dự báo 101 ... việc sử dụng liệu thời tiết dự báo phụ tải cần thiết để cải thiện mức độ xác mơ hình dự báo phụ tải 100 Hình 7: Giá trị phụ tải điện dự báo thực tế mô hình BPNN Hình 8: Giá trị phụ tải điện dự báo. .. sử dụng thuật toán nhớ ngắn hạn có trễ (LSTM) có hiệu dự báo tốt rõ rệt so với sử dụng thuật toán BPNN, cho phép xác định giá trị phụ tải điện sử dụng khoảng thời gian vài tuần sử dụng ứng dụng. .. báo so sánh với kết sử dụng thuật toán mạng nơ ron lan truyền ngược (Back Propagation Neural Network) MƠ HÌNH DỰ BÁO PHỤ TẢI SỬ DỤNG THUẬT TỐN LSTM Thuật tốn nhớ ngắn hạn có trễ LSTM cải tiến mạng