Thiết kế điều khiển cho hệ thống phát điện sức gió dựa trên thuật toán học tăng cường

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Thiết kế điều khiển cho hệ thống phát điện sức gió dựa thuật tốn học tăng cường TRỊNH HẢI NAM Nam.th211225M@sis.hust.edu.vn Ngành Kỹ thuật Điều khiển Tự động hóa Giảng viên hướng dẫn: PGS TS Vũ Thị Thúy Nga Trường: Điện – Điện tử HÀ NỘI, 04/2023 Chữ ký GVHD CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Trịnh Hải Nam Đề tài luận văn: Thiết kế điều khiển cho hệ thống phát điện sức gió dựa thuật tốn học tăng cường Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa (KH) Mã số SV: 20211225M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 27/04/2023 với nội dung sau: x Bổ sung danh mục từ viết tắt Ngày Giáo viên hướng dẫn tháng 05 năm 2023 Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Mẫu 1c ĐẠI HỌC BÁCH KHOA HÀ NỘI CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐIỆN - ĐIỆN TỬ Độc lập – Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP Họ tên sinh viên: Trịnh Hải Nam Khóa: CH2021A Trường: Điện – Điện tử Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa (KH) Tên đề tài: Thiết kế điều khiển cho hệ thống phát điện sức gió dựa thuật tốn học tăng cường Nội dung đề tài: x Tìm hiểu mơ hình cho tốn điều khiển góc pitch hệ thống phát điện sức gió x Xây dựng điều khiển học tăng cường cho tốn điều khiển góc pitch tua bin gió x Mơ kiểm chứng điều khiển tua bin gió xây dựng tảng FAST Cán hướng dẫn: PGS.TS Vũ Thị Thúy Nga Thời gian giao đề tài: 15/05/2021 Thời gian hoàn thành: 15/04/2023 Ngày tháng … năm 2023 LÃNH ĐẠO TRƯỜNG CÁN BỘ HƯỚNG DẪN SINH VIÊN THỰC HIỆN (Ký ghi rõ họ tên) Lời cảm ơn Tôi xin gửi lời cảm ơn chân thành đến PGS.TS Vũ Thị Thúy Nga, cô người thầy, người bạn suốt phần lớn quãng thời gian học đại học làm luận văn thạc sĩ Xin cảm ơn kiên trì, nhẫn nại dìu dắt bắt đầu chập chững vào chuyên ngành Nhờ định hướng quý báu cô mà chúng tơi có kinh nghiệm việc áp dụng trí tuệ nhân tạo vào thiết kế điều khiển, tơi hi vọng áp dụng kinh nghiệm học vào nhiều công việc tương lai sau Nhờ tận tình mà tơi biết làm để viết báo khoa học phải viết với tinh thần trách nhiệm cao nhất, bên cạnh phải cẩn thận li tí cách trình bày Xin cảm ơn ln động viên, khích lệ việc nghiên cứu rơi vào bế tắc hay báo tâm huyết bị từ chối Tinh thần nghiên cứu khoa học, tìm hiểu cô gương để học tập noi theo Xin chúc cô ln giữ gìn sức khỏe có nhiều cơng trình khoa học quan trọng góp phần vào phát triển khoa học kỹ thuật Tôi xin gửi lời cảm ơn sâu sắc đến gia đình ln bên cạnh khích lệ động viên suốt qng thời gian tơi học cao học Gia đình nguồn động lực to lớn, giúp vượt qua thử thách khó khăn Tóm tắt nội dung luận văn Luận văn trình bày bước xây dựng điều khiển học tăng cường cho hệ thống phát điện sức gió tốn điều khiển góc pitch, đối tượng nhiều nhà khoa học quan tâm Đầu tiên hệ thống phát điện sức gió mơ hình hóa dựa phương trình vi phân biểu diễn mơ hình như: mơ hình khí tua bin gió, mơ hình khí động học, mơ hình động lực học máy phát mơ hình cấu chấp hành góc pitch, kết cuối đưa phương trình trạng thái hệ thống tua bin gió Tiếp theo, điều khiển xây dựng theo cấu trúc Actor-Critic với mạng nơ ron thành phần: mạng nơ ron để xấp xỉ tín hiệu điều khiển tối ưu trực tuyến, mạng nơ ron dùng để ước lượng hàm đánh giá tối ưu mạng nơ ron thứ ba để chọn luật điều khiển tối ưu Cuối trình thiết kế điều khiển kiểm chứng MatlabSimulink Luận văn sử dụng tảng mô tua bin gió FAST tảng mơ gió TurbSim, tảng Phịng thí nghiệm lượng tái tạo quốc gia Hoa Kỳ (National Renewable Energy Laboratory) nghiên cứu phát triển, từ tăng tính xác thực tin cậy thuật tốn điều khiển thiết kế Hệ thống tua bin gió với điều khiển thiết kế kiểm chứng nhiều điều kiện hoạt động khác nhau: gió ổn định, gió thay đổi đột ngột, gió dao động mơ hình máy phát thay đổi, tất trường hợp tốc độ rotor công suất máy phát tiến giá trị định mức, điều thể tính hiệu điều khiển học tăng cường đề xuất Tuy kết mô mang lại nhiều chất lượng mong muốn, để áp dụng điều khiển cần phần cứng có khả tính tốn mạnh, tơi nghĩ có nhiều khó khăn việc triển khai điều khiển vào thực tế Qua luận văn, học nhiều kinh nghiệm việc thiết kế điều khiển như: cách thiết kế điều khiển với đối tượng thực tế tua bin gió, cách để chỉnh định tham số để điều khiển hoạt động với chất lượng mong muốn; triển khai điều khiển với phương pháp học củng cố Simulink Luận văn trình bày với nội dung gồm ba phần sau: • Phần 1: Tổng quan tốn điều khiển pitch control • Phần 2: Thiết kế điều khiển học tăng cường cho hệ thống phát điện sức gió • Phần 3: Kết mơ điều khiển học tăng cường với tua bin xây dựng tảng FAST MỤC LỤC LỜI MỞ ĐẦU 1 CHƯƠNG TỔNG QUAN VỀ BÀI TOÁN ĐIỀU KHIỂN PITCH CONTROL 2 1.1 Giới thiệu chung 2 1.2 Xây dựng mơ hình tốn học Tua bin gió 3 1.2.1 Mơ hình khí tua bin gió 4 1.2.2 Mơ hình khí động học 5 1.2.3 Mơ hình động lực học máy phát 6 1.2.4 Mơ hình cấu chấp hành góc pitch 7 1.2.5 Phương trình trạng thái hệ thống máy phát tua bin gió 7 CHƯƠNG THIẾT KẾ BỘ ĐIỀU KHIỂN HỌC TĂNG CƯỜNG CHO HỆ THỐNG PHÁT ĐIỆN SỨC GIÓ 9 2.1 2.2 Cơ sở lý thuyết thuật toán học tăng cường 9 2.1.1 Quá trình Markov 9 2.1.2 Đánh giá cải thiện sách 14 2.1.3 Thuật toán xây dựng xấp xỉ hàm truyền thẳng nhiều lớp 16 Thiết kế điều khiển học tăng cường cho hệ thống phát điện sức gió 19 2.2.1 Xây dựng khối điều khiển tối ưu 21 2.2.2 Xây dựng khối đánh giá tối ưu 23 2.2.3 Xây dựng khối sách tối ưu 25 CHƯƠNG KẾT QUẢ MÔ PHỎNG 28 3.1 Các tảng sử dụng mô 28 3.1.1 Tính FAST v8 32 3.1.2 Cấu trúc tệp Vào - Ra (Input – Output) FAST v8 33 3.1.3 Cách chạy FAST v8 Matlab 43 3.2 Kết mô điều khiển thơng minh cho hệ thống phát điện sức gió 43 3.2.1 Trường hợp gió ổn định 44 3.2.2 Trong trường hợp gió thay đổi đột ngột 47 3.2.3 Trường hợp gió dao động 49 3.2.4 Trường hợp mơ hình máy phát thay đổi 51 3.2.5 So sánh với điều khiển PID 54 CHƯƠNG KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 DANH MỤC HÌNH VẼ Hình 1.1: Các chế độ hoạt động tua bin dựa theo tốc độ gió 2 Hình 1.2: Sơ đồ tương tác mơ hình mơ tả đặc tính tua bin gió 4 Hình 1.3: Sơ đồ khí hệ thống tua bin gió 4 Hình 1.4: Đồ thị đặc trưng cho hệ số hiệu suất Cp 6 Hình 1.5: Đường cong cơng suất dựa theo giá trị hệ số hiệu suất Cp 6 Hình 2.1: Cấu trúc thuật tốn actor-critic 14 Hình 2.2: Cấu trúc thuật toán Critic only 15 Hình 2.3: Cấu trúc mạng MLP với lớp ẩn nơ ron ngõ 17 Hình 2.4: Sơ đồ khối điều khiển học tăng cường cho hệ thống phát điện sức gió 20 Hình 2.5: Cấu trúc xấp xỉ hàm sử dụng mơ hình điều khiển cho hệ thống phát điện sức gió 20 Hình 2.6: Cấu trúc xấp xỉ hàm khối điều khiển tối ưu 21 Hình 2.7: Cấu trúc xấp xỉ hàm khối đánh giá tối ưu 23 Hình 2.8: Cấu trúc xấp xỉ hàm khối sách tối ưu 25 Hình 3.1: Số lượng trích dẫn FAST 29 Hình 3.2: Số lượng trích dẫn Turbsim 29 Hình 3.3: Kiến trúc FAST v8 30 Hình 3.4: Các khối điều khiển FAST cho hệ thống tua bin gió có đáy cố định 31 Hình 3.5: Các khối điều khiển FAST cho hệ thống tua bin gió 31 Hình 3.6: Những tính khối khí động lực học FAST v8 32 Hình 3.7: Những tính khối thủy động lực học FAST v8 32 Hình 3.8: Những tính khối hệ thống điện điều khiển FAST v8 32 Hình 3.9: Những tính khối động lực học cấu trúc FAST v8 33 Hình 3.10: Những tính giải pháp tính tốn FAST v8 33 Hình 3.11: Tổng hợp tệp Vào – Ra (Input-Output File) FAST v8 34 Hình 3.12: Một ví dụ tệp đầu vào (primary input file) 35 Hình 3.13: Chương trình sau tải trang NREL 43 Hình 3.14: Các kịch mơ tua bin gió mẫu FAST 43 Hình 3.15: Sơ đồ khối máy phát sử dụng mơ 44 Hình 3.16: Tốc độ gió ba trục trường hợp gió ổn định 44 Hình 3.17: Tốc độ quay rotor trường hợp gió ổn định 45 Hình 3.18: Đáp ứng góc pitch tua bin gió trường hợp gió ổn định 46 Hình 3.19: Cơng suất máy phát trường hợp gió ổn định 46 Hình 3.20: Tốc độ gió ba trục trường hợp gió thay đổi đột ngột 47 Hình 3.21: Tốc độ quay rotor trường hợp gió thay đổi đột ngột 47 Hình 3.22: Đáp ứng góc pitch tua bin gió trường hợp gió thay đổi đột ngột 48 Hình 3.23: Cơng suất máy phát trường hợp gió thay đổi đột ngột 49 Hình 3.24: Tốc độ gió ba trục trường hợp gió dao động 49 Hình 3.25: Tốc độ quay rotor trường hợp gió dao động 50 Hình 3.26: Đáp ứng góc pitch tua bin gió trường hợp gió dao động 50 Hình 3.27: Cơng suất máy phát trường hợp gió dao động 51 Hình 3.28: Giá trị điện kháng rị stator trình hoạt động 52 Hình 3.29: Tốc độ quay rotor trường hợp mơ hình máy phát thay đổi 52 Hình 3.30: Đáp ứng góc pitch trường hợp mơ hình máy phát thay đổi 53 Hình 3.31: Cơng suất máy phát trường hợp mơ hình máy phát thay đổi 53 Hình 3.32: Tốc độ gió so sánh hai phương pháp điều khiển 54 Hình 3.33: Tốc độ roto đáp ứng hai phương pháp điều khiển 54 Hình 3.34: Cơng suất đầu đáp ứng hai phương pháp điều khiển 55 DANH MỤC BẢNG BIỂU Bảng 3.1: Thông số tua bin gió 28 DANH MỤC TỪ VIẾT TẮT Tên viết tắt Tên đầy đủ Ý nghĩa PI Proportional Integral (controller) Bộ điều khiển tích phân, tỉ lệ RL Reinforcement learning Học tăng cường ADP Adaptive Dynamic Programming Quy hoạch động MDP Markov Decision Process Quá trình Markov HJB Hamilton–Jacobi–Bellman (equation) Phương trình HJB PI Policy Iteration (method) Phương pháp lặp sách VI Value Iteration (method) Phương pháp lặp giá trị MLP Multi – Layer Perceptron Xấp xỉ hàm truyền thẳng nhiều lớp AWT Advanced Wind Turbine Incorporated Tua bin sử dụng mơ NREL National Renewable Energy Laboratory Phịng thí nghiệm quốc gia Hoa Kỳ lượng tái tạo FAST Fatigue, aerodynamics, structures, and turbulence Nền tảng sử dụng mơ RPM Revolutions per minute Vịng/phút Wa x pt 2.31 Khi đó, sai số bình phương trung bình là: E s  f x  fˆ x wE ˆ wf x f x  fˆ x Luật cập nhật trọng số theo phương pháp Gradient Decent là: wE wE wfˆ x E 'W E  E sa x wW wfˆ x wW W ( new) W ( old ) -'W=W ( old )  E sa x pt 2.32 pt 2.33 pt 2.34 pt 2.35 17 Trong E  (0,1] tốc độ học Lưu ý rằng, để đơn giản hóa cách thức hoạt động mạng neuron ta nên xem chúng tổ hợp phép toán đại số ma trận Với phương pháp trình bày trên, ta xây dựng mạng MLP để xấp xỉ hàm y sin t sau: Gọi nh số nơ ron lớp ẩn Trọng số lớp vào lớp ẩn, lớp ẩn lớp w  R n u1 w