Luận văn thạc sĩ Kỹ thuật điện: Ứng dụng giải thuật STCN dự báo công suất Nhà máy điện gió Tân Thuận

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

NGUYỄN HỮU KHOA MINH

ỨNG DỤNG GIẢI THUẬT STCN DỰ BÁO CÔNG SUẤT NHÀ MÁY ĐIỆN GIÓ TÂN THUẬN

Chuyên ngành: KỸ THUẬT ĐIỆN Mã số: 8520201

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 7 năm 2023

TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM

Cán bộ hướng dẫn khoa học: PGS TS PHAN QUỐC DŨNG

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

1 Chủ tịch: PGS TS Nguyễn Văn Nhờ 2 Thư ký: TS Trương Hoàng Khoa 3 Phản biện 1: TS Trương Phước Hòa 4 Phản biện 2: TS Trần Quốc Hoàn 5 Ủy viên: TS Trần Huỳnh Ngọc

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: NGUYỄN HỮU KHOA MINH MSHV: 2070348 Ngày, tháng, năm sinh: 10/05/1997 Nơi sinh: TP.HCM

Chuyên ngành: Kỹ thuật điện Mã số: 8520201

I TÊN ĐỀ TÀI : “ỨNG DỤNG GIẢI THUẬT STCN DỰ BÁO CÔNG SUẤT NHÀ MÁY ĐIỆN GIÓ TÂN THUẬN”

(USING THE STCN ALGORITHM IN WIND POWER PREDICTION OF THE TAN THUAN WIND POWER PLANT)

II NHIỆM VỤ VÀ NỘI DUNG:

- Giới thiệu các phương pháp dự báo công suất điện gió hiện có

- Đề xuất phương pháp dùng giải thuật STCN cho dự báo công suất điện gió

- Xây dựng mô hình STCN dự báo công suất điện gió đa bước thời gian trong 3 tiếng sắp tới cho Nhà máy điện gió Tân Thuận

- So sánh phương pháp đề xuất với các mô hình dự báo chuỗi dữ liệu thời gian hiện hữu khác như Vanilla LSTM, Stacked LSTM,… về các khía cạnh mức độ hiệu quả và thời gian huấn luyện để rút ra các ưu và nhược điểm

III NGÀY GIAO NHIỆM VỤ: 06/02/2023

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN: PGS.TS PHAN QUỐC DŨNG

LỜI CẢM ƠN

Để hoàn thành được luận văn này em xin được gửi lời cảm ơn sâu sác tới thầy PGS.TS Phan Quốc Dũng, Thầy đã dìu dắt từ khi em còn học đại học, làm luận văn tốt nghiệp đại học, nghiên cứu khoa học và hiện tại, là luận văn tốt nghiệp cao học Thật khó để nói hết sự biết ơn đối với những sự giúp đỡ, hỗ trợ của Thầy, không chỉ về mặt kiến thức chuyên môn mà còn là những lời động viên, khích lệ tinh thần

Với lòng biết ơn sâu sắc, em xin gửi lời cảm ơn đến quý Thầy Cô Khoa Điện – Điện tử trường Đại học Bách Khoa TP Hồ Chí Minh, những người đã dùng tri thức và tâm huyết của mình để truyền đạt vốn kiến thức quý báu cho em trong suốt thời gian qua

Em xin gửi lời cảm ơn sâu sắc tới gia đình vì luôn là hậu phương vững chắc và là động lực để em phấn đấu và tiếp bước

Sau cùng, em xin chúc quý Thầy Cô trong khoa Điện – Điện tử nói riêng và toàn thể Thầy Cô trường Đại học Bách Khoa TP Hồ Chí Minh nói chung thật dồi dào sức khỏe, niềm tin để tiếp tục sự nghiệp trồng người và truyền đạt kiến thức cho các thế hệ mai sau

Nhận thức được vấn đề này, bài luận văn sẽ trình bày một giải thuật mới mang tên Stacked Temporal Convolutional Network (STCN) và ứng dụng phương pháp vào dự báo công suất điện gió đa bước thời gian và ngắn hạn của nhà máy điện gió Tân Thuận 75 MW Luận văn sẽ so sánh chất lượng độ chính xác và thời gian huấn luyện của mô hình đề xuất với các mô hình dự báo chuỗi dữ liệu thời gian của Neural Network hiện hữu khác như Vanilla LSTM, Stacked LSTM,… để rút ra các ưu và nhược điểm Các nguyên lý cơ bản, thông số và công thức quan trọng của các giải thuật trên sẽ được trình bày chi tiết trong bài luận văn này Kết quả được trình bày dưới nhiều dạng bảng biểu, đồ thị và một giao diện ứng dụng dự báo công suất điện gió của nhà máy điện gió Tân Thuận

To overcome this problem, this thesis introduces a new algorithm called

Stacked Temporal Convolutional Network (STCN) and applies it to multi-step and short-term wind power forecasting for the 75 MW Tan Thuan Wind Power Plant The thesis will compare the predictive accuracy and training time between the proposed model and the other existing time series forecasting models like the Vanilla LSTM, Stacked LSTM, etc to demonstrate pros and cons In this thesis, the fundamental principles, parameters, and important formulas of the above algorithms will be described in depth The results are presented in the form of tables, graphs, and an application interface to forecast the wind power capacity of the Tan Thuan wind power plant

LỜI CAM ĐOAN

- -

Luận văn thạc sĩ này được thực hiện tại Trường Đại Học Bách Khoa TP Hồ Chí Minh Là công trình do tôi nghiên cứu, thực hiện dưới sự hướng dẫn trực tiếp của PGS.TS Phan Quốc Dũng

Tôi xin cam đoan phần trình bày dưới đây là đúng sự thật về quá trình nghiên cứu thực hiện luận văn của tôi Trường hợp có khiếu nại gì liên quan tới luận văn tôi hoàn toàn chịu trách nhiệm

Người thực hiện

Nguyễn Hữu Khoa Minh

MỤC LỤC

- -

NHIỆM VỤ LUẬN VĂN THẠC SĨ i

LỜI CẢM ƠN ii

TÓM TẮT LUẬN VĂN iii

LỜI CAM ĐOAN v

4 Đối tượng và phạm vi nghiên cứu 3

5 Ý nghĩa thực hiện đề tài 4

CHƯƠNG 1: GIỚI THIỆU CHUNG 5

1.1 Tổng quan tình hình nghiên cứu 5

1.2 Mục tiêu và nhiệm vụ nghiên cứu 7

1.3 Bố cục luận văn 7

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 9

2.1 Năng lượng điện gió 9

2.2 Lớp nơ-ron đầu vào (Input layer) và lớp nơ-ron đầu ra (Output layer) 11

2.3 Nguyên lý cơ bản LSTM 11

2.4 Nguyên lý cơ bản của TCN 13

2.4.1 Tích chập nhân quả (Causal convolutions) 13

2.4.2 Tích chập giãn nỡ (Dilated convolutions) 14

2.4.3 Kết nối phần dư (Residual connections) 15

CHƯƠNG 3: QUY TRÌNH DỰ BÁO CÔNG SUẤT ĐIỆN GIÓ DỰ ÁN ĐIỆN GIÓ NHÀ MÁY TÂN THUẬN 17

3.1 Các bước thực hiện 17

3.2 Tiền xử lý dữ liệu 18

3.3 Các chỉ số đánh giá mô hình dự báo 21

3.4 Xây dựng các mô hình dự báo 22

3.4.1 Mô hình Vanilla LSTM 22

3.4.2 Mô hình Stacked LSTM (S-LSTM) 23

3.4.3 Mô hình Bidirectional LSTM (Bi-LSTM) 23

3.4.4 Mô hình Convolutional LSTM (Conv-LSTM) 25

KẾT LUẬN VÀ KIẾN NGHỊ NHỮNG NGHIÊN CỨU TIẾP THEO 49

DANH MỤC CÔNG TRÌNH KHOA HỌC 50

TÀI LIỆU THAM KHẢO 71

PHỤ LỤC 75

LÝ LỊCH TRÍCH NGANG 79

DANH MỤC TỪ VIẾT TẮT

Hình 2.5 Mô tả các kết nối phần dư của một mạng nơ-ron cơ bản (nguồn từ [30]) 16

Hình 3.1 Lưu đồ các bược thực hiện 17

Hình 3.2 Thuật toán Covariance Estimator 20

Hình 3.3 Mô hình xây dựng Vanilla LSTM 22

Hình 3.4 Mô hình xây dựng Stacked LSTM 23

Hình 3.5: Mô hình Bidirectional LSTM cơ bản (nguồn [41]) 24

Hình 3.6 Mô hình xây dựng Bidirectional LSTM 25

HÌnh 3.7 Cấu trúc nội tại của ConvLSTM (nguồn [42]) 25

Hình 3.8 Mô hình xây dựng Convolutional LSTM 27

Hình 3.9 Mô hình xây dựng TCN 28

Hình 3.10 Quy trình huấn luyện và đánh giá mô hình 29

Hình 3.11 Xây dựng mô hình STCN 30

Hình 4.1 Giao diện ứng dụng dự báo công suất điện gió 31

Hình 4.2 Biểu diễn sử dụng dữ liệu đầu vào để dự báo dữ liệu tương lai 32

Hình 4.3 Đồ thị quan hệ công suất và vận tốc gió trước khi tiền xử lý dữ liệu 33

Hình 4.3 Lọc ngoại lai dữ liệu bằng phần mềm Orange với thuật toán Covariance Estimator 36

Hình 4.4 Đồ thị quan hệ công suất và vận tốc gió sau khi tiền xử lý dữ liệu 37

Hình 4.6 Đường cong mất mát huấn luyện và đánh giá của mô hình xếp chồng 5 lớp TCN 40

Hình 4.7 Kết quả RMSE và MAE của các mô hình dự báo công suất thực điện gió với 3 dữ liệu đầu vào 42

Hình 4.8 Kết quả RMSE và MAE của các mô hình dự báo công suất thực điện gió với 2 dữ liệu đầu vào 43

Hình 4.10 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 30 phút tới 45Hình 4.11 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 1 tiếng tới 46Hình 4.12 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 1 tiếng 30 phút tới 46Hình 4.13 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 2 tiếng tới 47Hình 4.14 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 2 tiếng 30 phút tới 47Hình 4.15 Mô hình 5 lớp xếp chồng TCN dự báo 30 mẫu dữ liệu kiểm tra trong 3 tiếng tới 48

Bảng 4.3 Hệ số PCC giữa các đặc tính sau khi tiền xử lý dữ liệu 37

Bảng 4.4 Hệ số SCC giữa các đặc tính sau khi tiền xử lý dữ liệu 38

Bảng 4.5 Thời gian huấn luyện mô hình dự báo 44

MỞ ĐẦU 1 Đặt vấn đề

Hiện nay, Thế Giới đã và đang cho thấy sức mạnh và tầm ảnh hưởng to lớn của công cuộc công nghiệp hóa - hiện đại hóa Song song với điều đó là kéo tới nhu cầu điện tiêu dùng và sản xuất ngày càng tăng Vào những năm gần đây, trong khi các nguồn năng lượng truyền thống như than đá, dầu mỏ, khí đốt,… ngày càng cạn kiệt và bộc lộ những nguy cơ, rủi ro như gây ô nhiễm môi trường, hiệu ứng nhà kính thì các nguồn năng lượng tái tạo xuất hiện, giúp giảm thiểu ảnh hưởng xấu đến môi trường, đảm bảo cung cấp năng lượng phục vụ thúc đẩy kinh tế và giữ vững tình hình an ninh chính trị Một trong những nguồn năng lượng sạch đã phát triển mạnh mẽ và có tiềm năng lớn thời gian gần đây là năng lượng gió

Ngày nay, sản xuất điện gió càng ngày càng trở nên quan trọng nhờ vào những ưu điểm trong chi phí, bảo vệ môi trường, không gây ô nhiễm, tính phổ biến và tiềm năng to lớn trên toàn Thế Giới Việt Nam là một đất nước có tiềm năng phát triển điện gió rất lớn, với tổng tiềm năng kỹ thuật ước tính đạt 377 GW, trong đó điện gió trên bờ khoảng 217 GW, và 160 GW điện gió ngoài khơi [1] Thật vậy, nhờ vào khí hậu nhiệt đới gió mùa và đường bờ biển dài hơn 3200 km, vị trí địa lý của Việt Nam mang sự triển vọng to lớn cho việc phát triển điện gió Theo như các nghiên cứu, 39% lãnh thổ của đất nước ta có tốc độ gió lớn hơn 6 m/s tại độ cao 65 m, tương đương 513 GW [2] Những năm gần đây, Việt Nam cũng đã có những chiến lược thúc đẩy sự phát triển ngành công nghiệp điện gió nhờ vào cơ chế khuyến khích giá FIT từ các Quyết định số 11, số 13, và số 39 của Thủ tướng Chính phủ [3] Theo báo cáo của Tập đoàn Điện lực Việt Nam (EVN), đã có 84 dự án đã được công nhận vận hành thương mại COD tính đến hết ngày 31/10/2021 với tổng công suất lên tới 3980.27 MW [4] Do cơ cấu nguồn điện vẫn chuyển dịch theo hướng xanh và sạch hơn trong tương lai, trong Dự thảo Quy hoạch điện VIII, quy mô điện gió ước tính sẽ đạt tương ứng vào năm 2030 là gần 28480 MW, và năm 2050 lên tới 153550 MW [3]

Để có thể thu hút sự quan tâm của các nhà đầu tư cả trong và ngoài nước, Tập đoàn EVN đã đưa ra các ưu đãi về đầu tư xây dựng nhà máy và giá bán điện Một trong những dự án lớn được đưa vào vận hành thương mại COD là nhà máy điện gió Tân Thuận Dự án Nhà máy điện gió Tân Thuận giai đoạn 1 và giai đoạn 2 có tổng công suất 75 MW, với quy mô gồm 18 trụ tuabin gió, do Công ty cổ phần Đầu tư Năng lượng tái tạo Cà Mau làm chủ đầu tư [5] Với tổng mức đầu tư hơn 3800 tỷ đồng, khi đi vào vận hành, Nhà máy điện gió Tân Thuận sẽ cung cấp cho hệ thống điện quốc gia khoảng 225 triệu kWh/năm, góp phần thúc đẩy phát triển kinh tế địa phương huyện Đầm Dơi nói riêng và tỉnh Cà Mau nói chung, đảm bảo an ninh năng lượng của đất nước Việt Nam

Bên cạnh những ưu điểm kể trên của nguồn năng lượng gió, chúng ta cũng nhận biết rằng gió là một nguồn năng lượng dao động không liên tục và phụ thuộc nhiều vào thời tiết Nguồn năng lượng gió không phù hợp để đáp ứng nhu cầu năng lượng tải cơ trừ khi ta sử dụng một số phương pháp tích trữ năng lượng như hệ thống pin Battery Energy Storage Sytem (BESS) Thật vậy, nhược điểm lớn của nguồn năng lượng gió chính là đặc tính không ổn định và bất biến Để có thể đảm bảo những yêu cầu về quản lý, vận hành hệ thống điện cũng như sử dụng hiệu quả nguồn tài nguyên quý báu này, các phương pháp dự báo công suất gió ra đời và đem lại những hữu ích nhất định Một phương pháp dự báo công suất gió mang tính chính xác và độ tin cậy cao có thể giúp các nhân viên vận hành điều khiển tuabin gió khai thác hiệu quả nguồn năng lượng hoặc trung tâm Điều độ Hệ thống điện Quốc gia lập những dự kiến công suất huy động chính xác, đem lại sự ổn định vận hành hệ thống điện Nhận thức được tầm quan trọng của phương pháp kể trên, luận văn này sẽ đưa ra một mô hình biến thể mới mang tên Stacked Temporal Convolutional Network (STCN) để dự báo công suất điện gió ngắn hạn và đa bước thời gian cho dự án Nhà máy điện gió Tân Thuận

2 Mục đích luận văn

Mục đích của đề tài là xây dựng một mô hình giải thuật mới mang tên STCN để giải quyết bài toán dự báo công suất điện gió đa bước thời gian (multi-step ahead)

trong 3 tiếng sắp tới cho dự án Nhà máy điện gió Tân Thuận Bài luận văn sẽ so sánh và đưa ra các kết quả chứng minh giải thuật đề xuất vượt trội hơn so với các mô hình giải thuật dự báo chuỗi thời gian khác của nơ-ron như Vanilla LSTM, Stacked LSTM,…

3 Phương pháp thực hiện

- Phương pháp nghiên cứu của đề tài là dựa vào các cơ sở lý thuyết

- Nghiên cứu và xây dựng mô hình STCN dựa trên thư viện Keras-TCN 3.4.4, các mô hình nơ-ron dự báo khác như Vanilla LSTM, Stacked LSTM,… dựa trên thư viện Keras 2.9 Ngôn ngữ được sử dụng lập trình là Python

- Sử dụng phần mềm Orange để phát hiện và loại bỏ các thành phần ngoại lai của tập dữ liệu thô

- Xây dựng một giao diện ứng dụng dựa trên thư viện Tkinter của Python để thể hiện kết quả so sánh dưới dạng bảng và đồ thị giữa mô hình đề xuất STCN và các mô hình nơ-ron dự báo khác trong việc dự báo công suất điện gió ngắn hạn và với nhiều bước thời gian sắp tới

4 Đối tượng và phạm vi nghiên cứu

Đề tài này nghiên cứu xây dựng mô hình mang tên STCN và ứng dụng vào dự báo công suất điện gió đa bước thời gian trong 3 tiếng sắp tới dựa trên đầu vào là dữ liệu lịch sử đo lường thời tiết và công suất điện gió của dự án Nhà máy điện gió Tân Thuận Mỗi bước thời gian cách nhau là 30 phút Tức là kết quả của đề tài luận văn là công suất dự báo điện gió vào các khung giờ 30 phút, 1 tiếng, 1 tiếng 30 phút, 2 tiếng, 2 tiếng 30 phút và 3 tiếng sắp tới Dữ liệu lịch sử thời tiết bao gồm vận tốc gió, hướng gió, nhiệt độ và công suất gió từ tháng 4 đến tháng 7 năm 2022 sẽ được làm tập dữ liệu cho việc huấn luyện mô hình đề xuất này Bài luận văn sẽ so sánh kết quả của mô hình đề xuất với các mô hình dự báo chuỗi thời gian của nơ-ron khác bao gồm Vanilla LSTM, Stacked LSTM, Bidirectional LSTM, Convolutional LSTM và TCN

5 Ý nghĩa thực hiện đề tài

Dự báo công suất điện gió của nhà máy Tân Thuận góp phần không nhỏ trong công tác vận hành, điều khiển hệ thống điện, điều độ kinh tế, và lập dự kiến huy động công suất Việc tạo ra một giải thuật dự báo tốt và độ chính xác cao hơn đem lại nhiều triển vọng trong việc sử dụng hiệu quả nguồn năng lượng gió

CHƯƠNG 1: GIỚI THIỆU CHUNG 1.1 Tổng quan tình hình nghiên cứu

Dự báo công suất phát nguồn điện gió là một trong những công việc quan trọng nhằm quản lý, vận hành hệ thống điện, khai thác nguồn tài nguyên gió một cách hiệu quả Tùy vào tính chất riêng và mục đích sử dụng của mỗi nhà máy điện gió, các phương pháp dự báo công suất điện gió có thể được nghiên cứu và áp dụng để mang tính phù hợp Theo như nghiên cứu [6], có thể phân loại dự báo công suất điện gió thành 4 loại dựa trên miền thời gian dự báo: Dự báo cực ngắn hạn – từ vài giây đến 30 phút sắp tới; Dự báo ngắn hạn – từ 30 phút đến 6 tiếng sắp tới; Dự báo trung hạn – từ 6 tiếng đến 1 ngày sắp tới; Dự báo dài hạn – từ 1 ngày đến 1 tuần sắp tới Dự báo cực ngắn hạn đem lại sự hữu ích trong việc điều khiển tuabin gió theo thời gian thực Dự báo ngắn hạn giúp bộ phận điều độ lên kế hoạch dự kiến công suất huy động Dự báo trung hạn đóng vai trò quan trọng trong việc đảm bảo tình hình an ninh năng lượng quốc gia Dự báo dài hạn giúp các kỹ sư vận hành lên kế hoạch bảo trì để tiết kiệm tối đa chi phí vận hành

Dựa trên hướng tiếp cận phương pháp dự báo, bài nghiên cứu [7] đã phân thành 3 loại hình dự báo: mô hình vật lý, mô hình thống kê, và các mô hình trí tuệ nhân tạo Mô hình vật lý sẽ sử dụng các yếu tố thời tiết như dữ liệu dự báo thời tiết (Numerical weather prediction – NWP) hoặc các dữ liệu đo lường như nhiệt độ, độ ẩm, áp suất khí quyển để làm đầu vào mô hình dự báo [8] Nhóm phương pháp dự báo công suất gió trên cần phải xem xét các khía cạnh như địa hình, cao độ dự án, cũng như đường cong công suất khác nhau của các tuabin gió để tính tốc độ gió tại chiều cao của hub Nhóm phương pháp này có ưu điểm không cần nhiều dữ liệu lịch sử của dự án điện gió, tuy nhiên, ta rất khó để mô hình hóa và phải phân tích rất nhiều yếu tố vận hành khác nhau như địa hình địa lý và môi trường khí quyển [8] Đối với nhóm phương pháp thứ 2, các mô hình cổ điển thống kế có thể liệt kê gồm mô hình Hammerstein autoregressive [9], fractional-ARIMA [10], autoregressive moving average [11], và autoregressive integrated moving average [12] Các mô hình chuỗi thời gian này được dùng để phân tích sự biến đổi tuyến tính của tốc độ

gió và công suất điện gió tại từng vị trí khác nhau [13] Để có thể tạo ra một mô hình toán học, các mô hình thống kê cần phải có một lượng dữ liệu lịch sử lớn và chất lượng cao [8] Trong vài năm trở lại đây, rất nhiều giải thuật học sâu đã được sử dụng để dự báo công suất điện vào khung thời gian ngắn hạn, và đã đưa ra các kết quả vượt trội hơn so với các phương pháp truyền thống Ví dụ, đối với tình hình nghiên cứu trong nước, một mô hình mạng nơ-ron nhiều lớp truyền thẳng đã được nghiên cứu mang lại kết quả dự báo công suất điện gió bám khá sát so với số liệu thực tế tuy nhiên kết quả vẫn chưa tốt, và chưa cho thấy sự vượt trội so với các mô hình khác như PSO-ANN, GA-PSO-ANN, PSO-PS-ANN, … [14] Ngoài ra, một biến thể mạng nơ-ron mới mang tên Long Short-Term Memory (LSTM) đã được thiết kế để khắc phục tình trạng biến mất đạo hàm ( Vanishing Gradient) của mô hình truyền thống Recurrent Neural Network trong việc dự báo công suất điện gió [15] Thời gian trở lại đây, một mô hình nơ-ron mới mang tên Temporal Convolutional Network (TCN) đã được nghiên cứu và cho ra kết quả xử lý chuỗi thời gian đầu vào dài hơn nhưng cần dữ liệu bộ nhớ ít hơn so với các mô hình truyền thống trước đây [16] Mô hình TCN sau đó đã được phát triển cho việc dự báo công suất ngắn hạn, và đưa ra kết quả vượt trội hơn so với các mô hình cổ điển như Support Vector Machine, LSTM,… [17] Tuy nhiên, cách tiếp cận cơ bản TCN và LSTM trên chỉ mới giải quyết bài toán dự báo công suất điện gió 1 bước thời gian sắp tới Các mô hình dự báo công suất điện gió 1 bước thời gian sẽ không đủ chính xác trong công tác đưa ra các hoạt động vận hành mang tính ổn định và lâu dài [18] Ngược lại, mô hình dự báo công suất điện gió với nhiều bước thời gian sắp tới sẽ giúp ta có khả năng nắm bắt được toàn bộ động lực học tuabin gió từ đó đưa ra các quyết định điều khiển mang tính hiệu quả hơn Các ứng dụng trong công tác dự báo công suất điện gió với nhiều bước thời gian sắp tới có thể kế đến ở các lĩnh vực bao gồm vận hành, điều khiển hệ thống điện, điều độ kinh tế, và lập dự kiến huy động công suất

Mỗi phương pháp dự báo công suất điện gió có các ưu điểm và nhược điểm riêng khác nhau và sẽ phù hợp với mỗi loại mục tiêu và ứng dụng khác nhau Đối với dự án Tân Thuận, dữ liệu NWP không được thu thập do thuộc sở hữu của Trung

tâm dự báo khí tượng thủy văn Bài luận văn này sẽ sử dụng một biến thể mới TCN mang tên Stacked Temporal Convolutional Network (STCN) để ứng dụng vào dự báo công suất điện gió ngắn hạn và với nhiều bước thời gian sắp tới của nhà máy điện gió Tân Thuận dựa vào đầu vào là dữ liệu lịch sử thời tiết và công suất điện gió Luận văn sẽ đưa ra các kết quả chứng minh phương pháp đề xuất vượt trội hơn so với các phương pháp xử lý chuỗi thời gian khác của mạng nơ-ron Biến thể STCN trong vài năm gần đây đã được phát triển trong việc xử lý chuỗi thời gian

trong dự báo gene [16] hoặc phát hiện bất thường trong IoT [19]

1.2 Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu của đề tài là nghiên cứu và xây dựng mô hình STCN mang đặc tính tích chập nhân quả giãn nở (causal dilated convolutions) và các kết nối phần dư (residual connections) để mở rộng các vùng tiếp nhận (receptive fields) và xử lý chuỗi dữ liệu thời gian dài hơn Mô hình STCN sẽ được sử dụng để dự báo công suất điện gió ngắn hạn và nhiều bước thời gian sắp tới Kết quả của việc dự báo của mô hình đề xuất sẽ được so sánh với các mô hình dự báo chuỗi dữ liệu thời gian khác của nơ-ron như Vanilla LSTM, Stacked LSTM (S-LSTM), Bidirectional LSTM (Bi-LSTM), Convolutional LSTM (Conv-LSTM) và TCN về chất lượng độ chính xác và thời gian huấn luyện mô hình

1.3 Bố cục luận văn

Nội dung luận văn được trình bày qua 6 chương:

- Chương 1 trình bày tổng quan các công trình nghiên cứu dự báo công suất điện gió cũng như ứng dụng nó vào trong lĩnh vực đời sống, giới thiệu phương pháp STCN của bài luận văn sẽ dự báo công suất điện gió ngắn hạn và đa bước thời gian chính xác hơn so với các phương pháp dự

báo chuỗi dữ liệu thời gian khác của mạng nơ-ron

- Chương 2 giới thiệu cơ sở lý thuyết điện gió, mạng nơ-ron LSTM, các

biến thể của LSTM, mạng nơ-ron TCN

- Chương 3 trình bày quy trình dự báo công suất điện gió bao gồm cách tiền xử lý dữ liệu, các chỉ số đo lường hiệu suất, cách xây dựng các mô

hình dự báo công suất điện gió và cách huấn luyện mô hình

- Chương 4 trình kết quả tiền xử lý dữ liệu, quá trình huấn luyện mô hình dự báo, đánh giá và so sánh kết quả mô hình đề xuất với các mô hình khác trình bày ở dạng giao diện ứng dụng dự báo công suất điện gió của dự án Nhà máy Điện gió Tân Thuận

- Chương 5 trình bày kết luận và kiến nghị những nghiên cứu tiếp theo

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Năng lượng điện gió

Nguồn năng lượng điện gió đang dần trở thành một trong những nguồn năng lượng tiềm năng giải quyết khủng khoảng năng lượng trên toàn cầu Nhìn chung, công suất phát điện gió của mỗi tuabin gió được mô tả thông qua công thức sau [14], [20]:

Trong đó, là mật độ không khí (kg/m3

); A là diện tích quét của rotor (m2); là hệ số hiệu suất; là tốc độ gió (m/s); là hiệu suất của máy phát điện; là hiệu suất của hộp số

Hình 2.1 Đường cong đặc tính điển hình của vận tốc gió và công suất điện gió của

tuabin điện gió (nguồn từ [20])

Hình 2.1 biểu diễn một đường cong điển hình cơ bản cho loại tuabin gió có thể tự động điều chỉnh góc nghiêng cánh quạt (Pitch regulated) [20] Ở khu vực đầu tiên, công suất phát P của tuabin gió sẽ là 0 nếu tốc độ gió thấp hơn Trong khu vực thứ 2, giữa tốc độ gió và , ta quan sát thấy sự tăng trưởng nhanh của công suất phát P Và ở khu vực 3, giữa và , ta quan sát thấy công suất phát P đang giữ ổn định tại Tuy nhiên, nếu tốc độ gió lớn hơn , để đảm bảo an toàn thiết bị và vận hành tốt, tuabin gió phải ngừng hoạt động, đồng nghĩa công suất P bằng 0

Các yếu tố thời tiết mang tính chất bất định và ảnh hưởng đến công suất phát của tuabin gió nên trong bài báo này, luận văn sẽ sử dụng 03 yếu tố thời tiết sau:

- Tốc độ gió: tác động trực tiếp đến công suất đầu ra của tuabin - Hướng gió: tác động trực tiếp đến lực nâng cánh làm quay tuabin

- Nhiệt độ: tác động đến mật độ không khí làm thay đổi công suất đầu ra tuabin

Ngoài yếu tố thời tiết, luận văn sẽ sử dụng cả dữ liệu lịch sử công suất điện gió của dự án Nhà máy điện gió Tân Thuận

2.2 Lớp nơ-ron đầu vào (Input layer) và lớp nơ-ron đầu ra (Output layer)

Lớp nơ-ron đầu vào có nhiệm vụ thu nhận các tín hiệu đầu vào và truyền cho các nơ-ron của lớp ẩn xử lý Các nơ-ron thuộc lớp đầu vào không thực hiện bất kì tính toán nào Vì vậy, ta luôn chọn số lượng nơ-ron trong lớp đầu vào bằng với số lượng các biến đầu vào

Đối với lớp đầu ra, số lượng nơ-ron được chọn bằng số đầu ra của mạng Bài luận văn này chọn lớp Dense làm lớp đầu ra của mạng Lớp Dense là một lớp cổ điển trong mạng nơ-ron nhân tạo Lớp ẩn này sẽ thực hiện phép tính toán cho đầu ra qua công thức sau [21]:

( ( ) ) (2.3)

Với là một hàm kích hoạt tùy chỉnh, là ma trận trọng số và là độ lệch được tạo bởi lớp Lớp Dense sẽ nhận các tham số cấu hình khác nhau Một trong đó là số lượng nơ-ron tương ứng số đầu ra của mạng

Trong một mạng nơ-ron nhân tạo, hàm kích hoạt được xem là một thành phần đóng vai trò tạo thành phần phi tuyến cho các đầu ra của mạng nơ-ron Luận văn này sử dụng hàm ReLU là hàm kích hoạt được sử dụng khá nhiều trong những năm gần đây khi huấn luyện các mạng nơ-ron Công thức hàm ReLU được mô tả qua sau [22]:

biến mất đạo hàm hay còn là khả năng xử lý các phụ thuộc xa (Long-term dependencies) [23] Hiện tượng biến mất đạo hàm là hiện tượng những ma trận trọng số tương ứng của các lớp (layer) của mạng nơ-ron (neural network) rất khó được huấn luyện vì đạo hàm của hàm mất mát theo các ma trận này rất nhỏ LSTM xuất hiện với định nghĩa là một mô hình giúp xác định trạng thái nào được giữ thông tin và trạng thái nào nên bị loại bỏ

Hình 2.2 Mô hình LSTM (nguồn từ [22])

Trong hình 2.2, là giá trị đầu vào tại thời gian , là giá trị đầu ra của lớp ẩn trước đó tại thời gian , và là giá trị đầu ra trạng thái tế bào trước đó tại thời điểm , và là các tầng cổng quên (forget gate layer), tầng cổng vào (input gate layer) và tầng cổng ra (output gate layer) tương ứng Ngoài ra, ta có một tầng có hàm kích hoạt nhằm tạo ra giá trị mới ̃ nhằm thêm vào giá trị trạng thái trước đó Các tầng trên được mô tả qua các công thức sau [21]:

được gọi là ma trận tham số (Parameter matrix) cho lớp đầu vào, là ma trận tham số tự phản hồi (self-recurrent parameter matrix) cho lớp ẩn, là ma trận độ lệch (Bias matrix), và là hàm kích hoạt Sigmoid để giữ đầu ra 3 tầng có giá trị giữa 0 và 1 Tầng cổng quên và tầng cổng vào được sử dụng nhằm kiểm soát lượng thông tin lịch sử của nào được giữ và nào được bỏ qua, ngoài ra là bao nhiêu giá trị ̃ mới được giữ lại để cập nhật trạng thái tế bào nội tại Công thức tính toán tiếp theo như sau [21]:

Và cuối cùng, tầng cổng ra được sử dụng nhằm kiểm soát bao nhiêu lượng thông tin của đơn vị nội bộ cho phép làm đầu ra của của lớp ẩn tại thời gian

2.4 Nguyên lý cơ bản của TCN

Temporal Convolutional Network (TCN) là một mạng nơ-ron mới hình thành dựa trên mạng nơ-ron tích chập một chiều (one-dimensional convolutional neural network) [24] Mạng TCN được đánh giá có tính năng trích xuất đặc trưng hiệu quả cho công việc xử lý và phân tích chuỗi dữ liệu thời gian Hiện nay, đã có nhiều công trình nghiên cứu chứng tỏ TCN vượt trội hơn so với mạng LSTM trong nhiều lĩnh vực như đo lường lưu lượng giao thông, nhận dạng giọng nói, phiên dịch ngôn ngữ và nhận diện chuyển động con người [25] Bài luận văn này sẽ hướng tới việc xây dựng một mô hình xếp chồng các lớp TCN hay còn được gọi là STCN nhằm dự báo công suất điện gió ngắn hạn và đa bước thời gian

TCN có ba đặc tính quan trọng bao gồm tính tích chập nhân quả (Causal convolutions), tích chập giãn nỡ (Dilated convolutions), và các kết nối phần dư (Residual connections) [17]

2.4.1 Tích chập nhân quả (Causal convolutions)

Tích chập mang tính nhân quả, đồng nghĩa với việc các kết quả đầu ra của TCN tại từng thời điểm chỉ phụ thuộc vào dữ liệu đầu vào hiện tại và quá khứ, không phụ thuộc dữ liệu của tương lai [26] Theo như công trình nghiên cứu [27], ta giả sử có

một chuỗi dữ liệu vào Tại từng bước thời gian được dự đoán , giá trị đầu ra sẽ phụ thuộc vào dữ liệu đầu vào trước đó

Hình 2.3 Một mô hình TCN có tích chập nhân quả với kích thước ma trận kernel

và số bước nhảy dịch chuyển

Lớp đầu tiên của TCN là mạng tích chập 1 chiều toàn bộ (One dimensional fully convolutional network) Trong khí đó, các lớp trung gian phải có chung kích thước với lớp đầu vào, vì vậy mạng TCN phải thực hiện phương pháp đệm số 0 (Zero padding) để có thể giữ kích thước của các lớp liên kết liên tiếp có chung kích thước lớp trước [17] Hình 2.3 mô tả một mô hình có tích chập nhân quả cơ bản với một lớp đầu vào, một lớp đầu ra và 2 lớp ẩn trung gian Theo cấu trúc của hình, giá trị đầu ra tại bước thời gian chỉ phụ thuộc vào các đầu vào tại thời điểm , , và vì số lượng bước nhảy dịch chuyển là 4 Giả sử ta có ma trận thì giá trị tại bước thời gian theo công thức sau [17]:

( )( ) ∑

(2.10)

Với là phép nhân tích chập, và ( ) là giá trị đầu ra tại thời điểm

2.4.2 Tích chập giãn nỡ (Dilated convolutions)

Ngoài ra, để cải thiện độ rộng sự phụ thuộc của chuỗi dữ liệu lịch sử đầu vào , ta cần thiết áp dụng một bộ lọc lớn và một mạng kiến trúc sâu cần thiết Mạng TCN

sử dụng thêm tích chập giãn nỡ để mở rộng thêm khu vực tiếp nhận (Receptive fields)

Hình 2.4 Một mô hình TCN có tích chập nhân quả và tích chập giãn nỡ với kích

thước ma trận kernel và hệ số giãn nỡ lần lượt là

Hình 2.4 mô tả một mô hình có tích chập nhân quản và giãn nỡ với cùng số lượng lớp như hình 2.3 Ta chú ý rằng đã có nhiều giá trị đầu vào lịch sử liên quan với giá trị đầu ra tại bước thời gian Giá trị đầu ra tại thời điểm bất kì sẽ phụ thuộc 15 giá trị đầu vào trước đó nhờ vào tích chập giãn nỡ và các hệ số giãn nỡ lần lượt là Bộ lọc sẽ được gia tăng thêm số lượng trọng số vào ma trận kernel trong công việc tính toán tích chập và áp dụng lên một vùng tiếp nhận dữ liệu rộng lớn hơn Công thức ( ) nếu có thêm tích chập giãn nỡ sẽ trở thành như sau [17]:

2.4.3 Kết nối phần dư (Residual connections)

Để có thể xây dựng một cấu trúc TCN xử lý tốt hơn khi có dữ liệu phức tạp, ta có thể xếp chồng nhiều lớp ẩn lại với nhau và tùy chỉnh kích thước ma trận kernel

Việc xếp chồng các lớp TCN có tính chất tích chập nhân quả và giãn nỡ sẽ giúp số lượng lớp của mạng lưới dày hơn Để tránh xảy ra hiện tượng suy giảm hay phân rã đạo hàm (gradient attenuation), ta nên sử dụng phương pháp các kết nối phần dư để huấn luyện hiệu quả hơn mạng lưới học sâu [28] Khái niệm các kết nối đến phần dư (Residual connections) được xuất hiện trong nhiều năm trở lại đây hỗ trợ mạng nơ-ron giải quyết các bài toán nhận diện hình ảnh [29] Các kết nối phần dư sẽ được tích hợp vào lớp đầu ra của TCN để tăng tốc quá trì huấn luyện và tránh hiện tượng biến mất đạo hàm Kết nối đến phần dư là một loại kết nối thay vì để mô hình được huấn luyện và học ra những mối quan hệ phi tuyến để dự báo giá trị chính xác thì mô hình được luyện và tìm ra những phương trình tính toán phần dư (residual functions)

Hình 2.5 Mô tả các kết nối phần dư của một mạng nơ-ron cơ bản (nguồn từ [30])

Tổng quát, công thức thể hiện mối quan hệ tính toán đầu ra của lớp TCN có kết nối phần dư được thể hiện như sau [17]:

Với ( )( ) là kết quả của lớp tích chập và hàm kích hoạt được sử dụng là hàm ReLU Hàm ReLU được ghi nhận là hàm kích hoạt phi tuyến giúp huấn luyện mô hình nhanh và tránh hiện tượng biến mất đạo hàm [31].

CHƯƠNG 3: QUY TRÌNH DỰ BÁO CÔNG SUẤT ĐIỆN GIÓ DỰ ÁN ĐIỆN GIÓ NHÀ MÁY TÂN THUẬN

3.1 Các bước thực hiện

Hình 3.1 Lưu đồ các bược thực hiện

3.2 Tiền xử lý dữ liệu

Để có thể kiểm tra được mối tương quan tuyến tính giữa các yếu tố thời tiết tự nhiên và công suất phát điện gió, hệ số tương quan Pearson (Pearson Correlation Coefficient – PCC) được sử dụng để đánh giá [32]:

Cho một tập dữ liệu có kích thước hàng, thì hàng , sẽ được chuyển đổi về hàng ( ), ( ) có xếp hạng, và việc tính toán SCC được thể hiện như sau:

trị âm sẽ nói lên rằng khi giá trị một biến tăng, giá trị biến còn lại có xu hướng giảm và cũng ngược lại nếu giá trị một biến giảm PCC và SCC có giá trị gần -1 hoặc +1 sẽ thể hiện mối quan hệ mạnh mẽ hơn so với khi giá trị gần 0

Trong thực tế, các giá trị đo lường khi sản xuất điện gió sẽ chứa nhiễu do các tác nhân ngoài ý muốn như sự cố vận hành, hư hỏng, bảo trì,… Cho nên, việc phát hiện các dữ liệu ngoại lai (outlier detection) là một trong những nhiệm vụ quan trọng trong việc phân tích dữ liệu Để có thể loại bỏ các yếu tố ngoại lai hiệu quả, bài luận văn này sử dụng phần mềm khác mang tên Orange Phần mềm Orange được xây dựng trên ngôn ngữ Python nhằm mục đích khai phá dữ liệu (data mining) có thể thực hiện các chức năng như thay đổi kích thước, chuẩn hóa, lọc sạch tập dữ liệu, xử lý dữ liệu bị thiếu,… [34] Đối với luận văn này, nhằm loại bỏ các dữ liệu ngoại lai của lịch sử đo lường, ta sử dụng phần mềm Orange kết hợp thuật toán ước lượng hiệp phương sai (Covariance Estimator) [35] Thuật toán Covariance Estimator sẽ tận dụng thông tin hiệp phương sai từ chuỗi dữ liệu thời gian để xác định các đặc tính nào có độ nhạy cao từ đó sẽ nhận dạng các ngoại lai Tận dụng các ma trận hiệp phương sai có tính chất trực quan trong việc phát hiện các dữ liệu ngoại lai vì hiệp phương sai đại diện cho tính biến động và các ngoại lai cho thấy những dấu hiệu biến động khác so với dữ liệu thông thường Kiểm tra tính biến động dựa trên đối tượng quan sát trong một luồng thời gian liên tục tạo điều kiện thuận lợi cho việc tách tín hiệu khỏi nhiễu

Hình 3.2 Thuật toán Covariance Estimator

Từ hình 3.2, ta có thể thấy bước đầu tiên chính là trích xuất các đặc trưng Việc trích xuất đặc trưng là một loại kĩ thuật giúp cho ta giảm chiều dữ liệu mà ở đó là sự lựa chọn hoặc kết hợp các biến đầu vào lại với nhau tạo thành đặc trưng Đối với dữ liệu thời gian, phần mềm Orange chọn phương pháp mô hình túi mẫu (Bag of Patterns) [36], để mã hóa các biến theo chu kì thời gian

Sau khi đã trích xuất đặc trưng, ở bước 2 ta thực hiện tính toán thống kê có thứ tự đối với mỗi vector đặc trưng Các giá trị quan sát tương ứng với mỗi vector đặc trưng cũng được sắp xếp theo thứ tự của giá trị vector đặc trưng Sau khi đã sắp xếp có thứ tự, các vector đặc trưng thực hiện mã hóa dự đoán ngoại lai Đối tượng vector đặc trưng nào có giá trị cao nhất dường như được xem như là ngoại lai Ở bước 3, đối với mỗi vector đặc trưng, giá trị quan sát được dự đoán là ngoại lai sẽ được hiệu chỉnh bằng phép nội suy với các giá trị quan sát liền kế Ở bước 4, sau khi hiệu chỉnh, ta tính toán log tỉ lệ định thức ma trận hiệp phương sai trước và sau khi loại bỏ ngoại lai:

(

Nếu như tỉ lệ không thay đổi, điều này đồng nghĩa việc không có còn ngoại lai hiện diện trong tập dữ liệu Nếu tỉ lệ tiếp tục giảm, điều này đồng nghĩa việc vẫn còn phải nhận diện các ngoại lai Sau khi tính toán , ta có thể kiểm tra sự hội tự của giá trị này Nếu như nhỏ hơn 0.05 hoặc đã gần tới 0, ta có thể hiểu việc xác định các ngoại lai đã đạt hiệu quả và ta có thể dừng vòng lặp lại Ở bước cuối cùng, ta có thể xác định đâu là đặc trưng tốt hoặc xấu dựa trên số lần vòng lặp và tốc độ hội tụ của Nếu là đặc trưng tốt, thì giảm rất nhanh vì mô hình xác định ngoại lai đã thực hiện nhanh chóng hiệu quả và đã tiến tới gần giá trị 0 Nếu là đặc trưng xấu, thì cần nhiều vòng lặp để đạt sự hội tụ

Các yếu tố thiên nhiên và công suất điện gió cần được chuẩn hóa trước khi huấn luyện mô hình Quá trình chuẩn hóa giúp các hàm mất mát đạt hội tụ nhanh, tránh việc tính toán quá nhiều cho dung lượng máy tính Ở trong bài luận văn này, phương pháp chuẩn min-max (min-max normalization) được sử dụng để chuyển đổi dữ liệu về khoảng [0, 1] được thể hiện như sau [37]:

3.3 Các chỉ số đánh giá mô hình dự báo

Để có thể đánh giá tính hiệu quả của các mô hình dự báo, các thông số đo sai số thông dụng gồm Root Mean Square Error (RMSE) và Mean Absolute Error (MAE) được sử dụng RMSE là căn bậc hai của giá trị trung bình hiệu số giữa của giá trị đối tượng mục tiêu và đối tượng dự đoán Trong khi đó, MAE là giá trị trung bình của độ chênh lệch giữa giá trị đối tượng mục tiêu và đối tượng dự đoán [38]:

√ ∑( ̂ )

(3.5)

nơ-Hình 3.3 Mô hình xây dựng Vanilla LSTM

Như ta có thể thấy ở hình 3.3, mô hình Vanilla LSTM gồm 3 lớp: 1 lớp đầu vào, 1 lớp ẩn LSTM và 1 lớp đầu ra Với là số mẫu dữ liệu đầu vào, thì kích thước tập dữ liệu đầu vào sẽ là cho lớp đầu vào, với 6 là số lượng bước thời gian và 3 là số đặc tính của tập dữ liệu Ở lớp ẩn LSTM, số lượng nơ-ron là 128 để tham gia học và mô hình hóa dữ liệu dự đoán Lớp cuối là lớp dense có vai trò chuẩn hóa vector đảm bảo đầu ra dữ liệu ở 6 bước nhảy thời gian tiếp theo

3.4.2 Mô hình Stacked LSTM (S-LSTM)

Các lớp ẩn LSTM có thể được xếp chồng lên nhau để tạo nên mô hình S-LSTM Việc xếp chồng các lớp LSTM lên với nhau để giúp mô hình trở nên sâu hơn, học quá trình mô tả dữ liệu chính xác hơn Các lớp ẩn hỗ trợ nhau bằng cách kết hợp việc biểu diễn dữ liệu từ kết quả ở lớp trước và học cách biểu diễn dữ liệu ở mức độ chi tiết trừu tượng hơn ở lớp hiện tại [40] Đồng nghĩa với việc, lớp ẩn LSTM này sẽ được cung cấp dữ liệu đầu ra từ lớp ẩn LSTM trước đó Điều này có thể giúp tăng tính hiệu quả cho mạng neural network

Hình 3.4 Mô hình xây dựng Stacked LSTM

Hình 3.4 mô tả cấu trúc xây dựng cho mô hình S-LSTM Mô hình này tương tự với mô hình Vanilla LSTM ở lớp đầu vào và lớp đầu ra Khác ở các lớp trung gian, số lượng lớp LSTM là 2 với 128 nơ-ron cho mỗi lớp để học tập biểu diễn sâu dữ liệu dự đoán

3.4.3 Mô hình Bidirectional LSTM (Bi-LSTM)

Ở một vài bài toán dự báo dữ liệu chuỗi thời gian, ta có thể thu được kết quả đạt hiệu quả hơn nếu xây dựng mô hình dự báo LSTM vừa học cách biểu diễn dữ liệu

về phía trước và về phía sau và kết hợp cả hai cách biểu diễn lại qua mô hình LSTM

Bi-Hình 3.5: Mô hình Bidirectional LSTM cơ bản (nguồn [41])

Như hình 3.5, trong Bi-LSTM, mạng nơ-ron sẽ thêm một tầng ẩn cho phép xử lý dữ liệu đầu vào theo chiều đảo ngược lại Sau khi huấn luyện mô hình hóa dữ liệu của hai lớp ẩn, ta sẽ phải thực hiện một bước kết hợp có thể qua các phép toán như cộng, nhân, lấy trung bình… Việc sử dụng Bi-LSTM được nghiên cứu có thể đem lại tính hiệu quả trong việc mô hình hóa dữ liệu [41]

Hình 3.6 Mô hình xây dựng Bidirectional LSTM

Mô hình xây dựng Bi-LSTM ở hình 3.6 có 1 lớp đầu vào, 1 đầu ra tương tự ở Vanilla LSTM và S-LSTM Mô hình xây dựng này chỉ khác ở lớp trung gian là 1 lớp LSTM 2 chiều với số lượng nơ-ron là 128

3.4.4 Mô hình Convolutional LSTM (Conv-LSTM)

Conv-LSTM là một loại mạng nơ-ron hồi quy và có cấu trúc tích chập ở cả 2 việc chuyển đổi dữ liệu sang trạng thái và chuyển đổi trạng thái sang trạng thái Giả sử mô hình có đầu vào là , đầu ra là , các trạng thái ẩn , và các tầng tương tự các tầng cổng vào, tầng cổng quên và tầng cổng ra giống với định nghĩa của LSTM ConvLSTM sẽ xác định trạng thái tương lai của một số cell trong mạng lưới bằng đầu vào và các trạng thái quá khứ của vùng lân cận [42]

HÌnh 3.7 Cấu trúc nội tại của ConvLSTM (nguồn [42])

Như ta có thể thấy, trạng thái tương lai sẽ có thể thu thập thông qua phép nhân tích chập dựa trên đầu vào là trong việc chuyển đổi trạng thái sang trạng thái và đầu vào sang trạng thái Các phương trình tính toán cơ bản của LSTM (2.5), (2.6), (2.7), (2.8), (2.9) được chuyển đổi thành các phương trình sau:

Hình 3.8 Mô hình xây dựng Convolutional LSTM

Cấu trúc của mạng bao gồm 1 lớp đầu vào, 1 tập lớp tích chập LSTM, 1 lớp Flatten và 1 lớp đầu ra Lớp Flatten có nhiệm vụ làm phẳng vector dữ liệu và tránh tình trạng quá khớp (overfitting problem) Mô hình Conv-LSTM nhận đầu vào dữ liệu với kích thước (Số lượng samples, số lượng timesteps, số lượng kênh, số lượng hàng, số lượng cột) Ở lớp ẩn trung gian Conv-LSTM, số lượng nơ-ron hay số lượng bộ lọc trong tích chập là 128

3.4.5 Mô hình TCN

Mô hình TCN truyền thống đã được ghi nhận giải quyết được các vấn đề phụ thuộc xa và suy hao hiệu suất đáng kể so với các phương pháp truyền thống như Support Vector Machine, LSTM, GRU,… trong việc dự báo công suất gió ngắn hạn [17]