Phương pháp điều khiển bám điểm công suất cực đại pin mặt trời sử dụng Double Deep Q Network

Việc sử dụng các phương pháp của lý thuyết điều khiển cổ điển cho bài toán bám điểm công suất cực đại (Maximum Power Point Tracking - MPPT) đã cho những kết quả rất tốt. Tuy nhiên, các phương pháp đó chưa tối ưu trong những điều kiện làm việc khác nhau, do vậy báo cáo này đề xuất một phương pháp điều khiển MPPT tổng quát dựa trên thuật toán học tăng cường (Reinforcement Learning – RL).

CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO SESSION Phịng: Jasmine | Chủ tọa: Hồng Trung Kiên, Nguyễn Quốc Minh PHƯƠNG PHÁP ĐIỀU KHIỂN BÁM ĐIỂM CÔNG SUẤT CỰC ĐẠI PIN MẶT TRỜI SỬ DỤNG DOUBLE DEEP Q NETWORK Nguyen Duc Long (1), Hoang Tien Thang (1), Vu Thi Thuy Nga (1) Sinh viên chuyên ngành Điều Khiển Tự Động Hóa – Trường Đại học Bách Khoa Hà Nội long.nd174033@sis.hust.edu.vn, thang.ht174198@sis.hust.edu.vn, nga.vuthithuy@hust.edu.vn TÓM TẮT Việc sử dụng phương pháp lý chưa tối ưu điều kiện làm thuyết điều khiển cổ điển cho toán bám việc khác nhau, báo cáo đề xuất điểm công suất cực đại (Maximum Power phương pháp điều khiển MPPT tổng Point Tracking - MPPT) cho kết quát dựa thuật toán học tăng cường tốt Tuy nhiên, phương pháp (Reinforcement Learning – RL) TỪ KHÓA: Điều khiển MPPT, thuật toán học tăng cường, Double Deep Q Network GIỚI THIỆU PHƯƠNG PHÁP Phần nội dung mà nhóm sinh viên muốn 2.1 Mơ hình đề xuất trình bày đề xuất bao gồm phần: Đề xuất phương pháp điều khiển • Vấn đề điều khiển MPPT MPPT sử dụng Double Deep Q Network đem lại hiệu cao tốn • Phương pháp học củng cố áp dụng bám điểm công suất cực đại so với mơ cho tốn MPPT (Reinforcement hình MPPT truyền thống phương learning for MPPT) pháp Q Learning đề xuất trước • Thuật tốn Double Deep Q Network (DDQN) • Những kết mô phần mềm Matlab kiểm chứng đề xuất 2.2 Đặc điểm kĩ thuật 2.2.1 Vấn đề điều khiển MPPT Điểm công suất cực đại (Maximum Power Point – MPP) điểm đường cong PV, nơi lượng tạo 38 | DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO từ nguồn PV (Photovoltaic Sources) PHÂN TÍCH tối đa, MPPT nhiệm vụ quan trọng 3.1 Phương trình hoạt động nguồn PV Mơ hình PV sử dụng đề xuất phần lớn ứng dụng, giá trị mô hình diode, có dịng điện tải điện trở khác với giá trị điện trở tạo từ nguồn PV mô tả tương ứng với MPP nhiều điều kiện phương trình (P Kofinas, RL môi trường khác MPPT, 2017) 2.2.2 Phương pháp học củng cố cho toàn MPPT Reinforcement Learning (RL) hay học củng cố/tăng cường, lĩnh vực liên quan đến việc dạy cho máy (agent) thực tốt nhiệm vụ (task) cách tương tác với mơi trường Hình Mơ hình PV (environment) thơng qua hành động (action) nhận phần thưởng Các phương trình: (reward) Và để áp dụng điều cần định nghĩa mơ hình Markov Decision Process (MDP) với thơng số S, A, R, T 3.2 Thuật tốn DDQN toán MPPT DDQN thuật toán nâng cấp từ Deep Q Network việc sử dụng mạng nơron: online network target network Hình Ảnh hưởng điều kiện I-V đến điểm MPP Mạng online network dùng để chọn giá trị hành động trạng thái định Mạng target network dùng DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO | 39 CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO để tính tốn giá trị target huấn luyện 3.3 Kết thảo luận mạng Mạng target network cập Với điều kiện môi trường xạ biến thiên nhật sau số lần lặp định điều kiện tải thay đổi cơng suất Lưu dồ thuật toán DDQN toán MPPT: phát pin hội tụ điểm công suất cực đại sau điều kiện môi trường lặp lại cơng suất phát pin hội tụ điểm công suất cực đại thời gian ngắn Hình vẽ kết mơ tốn Double Deep Q Network so với đề xuất sử dụng thuật toán Q Learning trước trường trường hợp nguồn pin có cơng suất lớn Có thể thấy DDQN cho tốc độ hội tụ nhanh mức độ biến thiên công suất q trình chạy nhỏ Tuy nhiên, cơng suất sau hội tụ thuật tốn DDQN có xu hướng dao động nhỏ quanh điểm công suất cực đại Điều việc lựa chọn tập liệu huấn luyện chưa phù hợp gây nhiễu Hình Lưu đồ thuật tốn DDQN trình huấn luyện mạng, số lượng liệu huấn luyện chưa đủ khiến cho mạng nơron chưa dự đoán hết tất trạng thái mơ hình 40 | DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO KẾT LUẬN TÁC GIẢ Ý TƯỞNG Thuật toán dựa vào ba tham số trạng thái Hoàng Tiến Thắng 20174198 Viện Điện, để xác định xem điểm làm việc có gần với Trường Đại học Bách khoa Hà Nội điểm công suất cực đại hay không Thực mô số kịch thử nghiệm để đánh giá mức độ hiệu thuật toán với điều kiện làm việc khác Kết mô cho thấy thuật toán hoạt động tương đối tốt hiệu nhiều điều kiện làm việc khác như: biến thiên nhiệt độ, biến thiên xạ, biến thiên tải Thuật toán cho thấy độ tin cậy hiệu việc giải toán MPPT Nguyễn Đức Long 20174033 Viện Điện, Trường Đại học Bách khoa Hà Nội GIẢNG VIÊN HƯỚNG DẪN Vũ Thị Thúy Nga nhận cử nhân Bằng thạc sĩ Kỹ sư điện Trường Đại học Bách khoa Hà Nội, Hà Nội, Việt Nam, vào năm 2005 2008, Tiến sĩ Tốt nghiệp Kỹ sư Điện tử Đại học Dongguk, Seoul, Hàn Quốc, năm 2013 Cô làm việc với Bộ môn Điều khiển Tự động, Trường Đại học Bách khoa Hà Nội, Hà Nội, Việt Nam, với tư cách Giảng viên THAM KHẢO Các mối quan tâm nghiên cứu [1] A reinforcement learning approach for MPPT cô bao gồm truyền động máy điện dựa control method of photovoltaic sources -P Kofinas (2017) [2] An improved perturb and observe (P&O) maximum power point tracking (MPPT) algorithm for higher DSP điều khiển hệ thống phát điện phân tán sử dụng nguồn lượng tái tạo efficiency – Jubaer Ahmed (2015) [3] Deep reinforcement learning approach for MPPT control of partially shaded PV systems in Smart Grids – Luis Avila (2020) [4] Machine Learning – Nguyễn Hữu Tiệp DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO | 41 ... cơng suất phát pin hội tụ điểm công suất cực đại thời gian ngắn Hình vẽ kết mơ tốn Double Deep Q Network so với đề xuất sử dụng thuật toán Q Learning trước trường trường hợp nguồn pin có cơng suất. .. network cập Với điều kiện môi trường xạ biến thiên nhật sau số lần lặp định điều kiện tải thay đổi cơng suất Lưu dồ thuật tốn DDQN tốn MPPT: phát pin hội tụ điểm công suất cực đại sau điều kiện môi... toán DDQN toán MPPT DDQN thuật toán nâng cấp từ Deep Q Network việc sử dụng mạng nơron: online network target network Hình Ảnh hưởng điều kiện I-V đến điểm MPP Mạng online network dùng để chọn