điều khiển tối ưu bền vững kích hoạt sự kiện dùng học củng cố áp dụng cho hệ truyền động pmsm

573.4 Điều khiển tối ưu H kích hoạt sự kiện với các ràng buộc ng vào và nhiễu ngoài 61luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, lua

Trang 1

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 2

Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: PGS TS Nguyễn Tấn L y

Luận v n thạc s được ảo vệ tại Hội đồng chấm ảo vệ Luận v n thạc s Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 29 tháng 01 n m 2021

Thành phần Hội đồng đánh giá luận v n thạc s gồm:

1 - Chủ tịch Hội đồng 2 - Phản iện 1

3 - Phản iện 2 4 - Ủy viên 5 - Thư ký

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 3

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Đ ng Quang Minh MSHV: 18104631 Ngày, tháng, n m sinh: 09/04/1973 Nơi sinh: TPHCM

Chuyên ngành: K thuật điện tử Mã chuyên ngành: 8520203

I TÊN ĐỀ TÀI:

“Điều khiển tối ưu ền vững kích hoạt sự kiện dùng học củng cố áp dụng cho hệ truyền động PMSM”

NHIỆM VỤ VÀ NỘI DUNG:

- Thiết kế luật điều khiển truyền th ng để chuyển đổi ài toán điều khiển hệ phi tuyến truyền ngược thành ài toán điều khiển hệ phi tuyến affine tương đương; thiết kế luật điều khiển tối ưu kích hoạt sự kiện để loại ảnh hưởng nhiễu ngoài

- Thiết kế thuật toán điều khiển truyền th ng và tối ưu kích hoạt sự kiện để loại bỏ thủ tục nhận dạng, loại bỏ điều kiện kích thích hệ thống PE (Persistent Excitation) trong điều khiển thích nghi Chứng minh sự ổn định của hệ kín sử dụng lý thuyết Lyapunov Chứng minh sai số xấp xỉ bị ch n và hàm chi phí hội tụ về giá trị cận tối ưu Áp dụng thuật toán điều khiển cho hệ truyền động PMSM bị ràng buộc ngõ vào, bị tác động bởi nhiễu ngoài và tham số bất định

II NGÀY GIAO NHIỆM VỤ: Thực hiện Quyết định số 841/QĐ-ĐHCN ngày

10/07/2020 của Trường Đại Học Công Nghiệp Thành Phố Hồ Chí Minh về việc giao đề tài và cử người hướng dẫn luận v n thạc s

III NGÀY HOÀN THÀNH NHIỆM VỤ: 25/01/2021

IV NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Nguyễn Tấn L y

Tp Hồ Chí Minh, ngày … tháng 01 năm 2021

TRƯỞNG KHOA CN ĐIỆN TỬ TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP

THÀNH PHỐ HỒ CHÍ MINH

Độc lập - Tự do - Hạnh phúc

Trang 4

LỜI CẢM ƠN

Mười tám n m một ch ng đường, tuy không dài nhưng c ng không ngắn đối với một đời người Trải qua thời gian kể từ ngày tốt nghiệp đại học cho đến nay, sự kh kh n trong việc tiếp thu các kiến thức mới của một người ngoại đạo không đ ng chuyên ngành đ thôi th c tôi không ngừng cố gắng tìm hiểu và trau dồi Tuy nhiên kết quả đạt được c ng chỉ là giới hạn nhất định so với kiến thức vô ờ ến của nh n loại ản thân tôi sau những n m tháng học tập vất vả và nghiên cứu c ng đ cố gắng để hoàn thành được luận v n này Tôi luôn ghi nhận những sự đ ng g p giúp đỡ, sự ủng hộ, sự hỗ trợ nhiệt tình của những người bên cạnh mình, nh n đ y tôi muốn gửi lời cảm ơn s u sắc nhất tới họ Lời cảm ơn tr n trọng đầu tiên tôi muốn dành tới PGS.TS Nguyễn Tấn L y, một người thầy, một người đồng nghiệp, một người anh đ dìu dắt và hướng dẫn tôi trong suốt quá trình làm luận v n, sự chỉ bảo và định hướng của thầy giúp tôi tự tin nghiên cứu những vấn đề mới và giải quyết bài toán một cách khoa học Lời cảm ơn s u sắc muốn được gửi tới các thầy cô đ truyền đạt và mở ra cho chúng tôi thấy chân trời tri thức mới, hướng dẫn chúng tôi cách khám phá và làm chủ công nghệ mới Tôi muốn gửi lời cảm ơn ch n thành đến tập thể lớp CHĐT8 đ cùng tôi đi qua những tháng ngày miệt mài học tập, cùng chia sẻ những niềm vui nỗi buồn, động viên tôi đi qua những kh kh n, để tôi vững ước vượt qua những vất vả, quyết tâm hoàn thành luận v n này Tôi xin tr n trọng cảm ơn vợ, con tôi đ mang tới tất cả niềm tin, định hướng và theo dõi tôi suốt ch ng đường đời N ng đỡ và đến bên tôi những gi y ph t kh kh n nhất của cuộc sống mà tưởng chừng không thể vượt qua Tôi xin ch n thành cảm ơn an l nh đạo Khoa Công nghệ Điện tử và đồng nghiệp, đ tạo điều kiện và gi p đỡ tôi trong công việc và học tập để tôi có thể theo học và hoàn thành khóa luận tốt nghiệp Đ c iệt là thầy Nguyễn Thanh Đ ng và cô Hu nh Tuyết Vy trong nh m nghiên cứu khoa học, đ không quản ngại kh kh n ngày đêm đồng hành cùng tôi trong suốt quá trình thực hiện đề tài này Cuối cùng, tôi gửi lời cảm ơn tới thầy Phạm Công uy Khoa Công nghệ Điện đ hỗ trợ nhiệt tình để tôi c thể thực nghiệm được

Trang 5

TÓM TẮT LUẬN VĂN THẠC SĨ

Một phương pháp điều khiển mới cho động cơ đồng bộ nam ch m v nh cửu (Permanent Magnet Synchronous Motors-PMSM) với động học chưa iết, điện áp bão hòa, nhiễu tốc độ và dòng điện Bài toán bám tốc độ và dòng điện của cấu tr c thông thường được chuyển thành ài toán điều khiển tối ưu với cấu trúc mới bằng bộ điều khiển truyền th ng, từ đ luật điều khiển tối ưu kích hoạt sự kiện được thiết kế Nghiệm của phương trình Hamilton-Jacobi-Issac (HJI), cung cấp giá trị cho luật điều khiển và luật nhiễu xấu nhất, được ước lượng bằng một bộ xấp xỉ hàm trực tuyến đơn giản, áp dụng kỹ thuật học củng cố không cần nhận dạng động học chưa biết của PMSM Hàm đánh giá, luật điều khiển và luật nhiễu xấu nhất được chứng minh hội tụ về các giá trị cận tối ưu Mô phỏng số và thực nghiệm trên mô hình PMSM có so sánh với thuật toán điều khiển kinh điển PID (Proportional Integral Derivative) được thực hiện để kiểm chứng tính hiệu quả của phương pháp đề xuất

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 6

ABSTRACT

A new control method for permanent magnet synchronous motors (PMSM) with partially unknown dynamics, saturation voltages, and disturbances in both speed and current dynamics The tracking problem of speed and current in conventional structures is transformed into the optimal control problem with the new structure by feedforward control, based on which the event-triggered optimal control law is designed The solution of the Hamilton-Jacobi-Issac equation (HJI), providing a value for control and worst disturbance laws, is approximated by a simple online approximator using reinforcement learning without observing unknown dynamics of PMSM The value function, the control and worst disturbance laws are proven to be converged on the near-optimal values Numerical simulation and experiment on model PMSM in comparison with classical control algorithm PID (Proportional Integral Derivative), is performed to verify the effectiveness of the proposed method

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 7

LỜI CAM ĐOAN

Tôi xin cam đoan đ y là công trình nghiên cứu của ản th n tôi Các kết quả nghiên cứu và các kết luận trong luận v n là trung thực, không sao chép từ ất k một nguồn nào và dưới ất k hình thức nào Việc tham khảo các nguồn tài liệu (nếu c ) đ được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đ ng quy định

Học viên

Đ n Qu n Min

Trang 8

2 Mục tiêu nghiên cứu 2

3 Đối tượng và phạm vi nghiên cứu 3

4 Cách tiếp cận và phương pháp nghiên cứu 3

5 Ý ngh a thực tiễn của đề tài 4

CHƯƠNG 1 TỔNG QUAN VỀ L NH VỰC NGHIÊN CỨU 6

1.1 Tổng quan về đề tài 6

1.1.1 Khái niệm về học củng cố 6

1.1.2 Lịch sử phát triển của RL trong điều khiển 8

1.2 Tổng quan về điều khiển tối ưu ền vững 11

1.3 Tổng quan về điều khiển cho hệ truyền động PMSM 13

1.4 Tổng quan về cơ chế kích hoạt sự kiện 15

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 17

2.1 Các định ngh a 17

2.2 Lý thuyết học củng cố 18

2.3 Các giải thuật học củng cố kinh điển 20

2.3.1 Giải thuật VI ( Value Iteration ) 20

2.3.2 Giải thuật PI (Policy Iteration) 21

2.3.3 Giải thuật Q-Learning 22

2.3.4 Giải thuật chỉ trích thích nghi ( Adaptive Critic-AC) 24

2.4 Xấp xỉ hàm trong RL 25

Trang 9

2.4.1 Sự cần thiết phải sử dụng xấp xỉ hàm trong RL 25

2.4.2 Yêu cầu về xấp xỉ hàm trong RL 26

2.5 Giải thuật học củng cố trong điều khiển tối ưu ền vững 27

2.6 Giới thiệu về điều khiển OC ( ield Oriented Control) 28

2.7 Động cơ PMSM 29

2.7.1 Mô hình điện từ của động cơ đồng bộ nam ch m v nh cửu 31

2.7.2 Từ trường quay 31

2.7.3 Phương trình cơ học 34

2.8 iến đổi Clarke: 35

2.9 iến đổi Park 36

2.10 iến đổi Park ngược 39

2.11 Điều chế độ rộng xung: 40

2.12 IGBT 40

2.13 Giới thiệu về phần cứng điều khiển OC 41

2.13.1 Code Composer StudioTM 41

2.13.2 Card điều khiển Piccolo F28035 42

2.13.3 Bộ xử lý tín hiệu kỹ thuật số 42

2.13.4 Quản lý dữ liệu 43

2.13.5 Tín hiệu ng vào / ng ra 43

2.13.6 Điều chế độ rộng xung 44

2.13.7 Chuyển đổi tương tự sang k thuật số 44

2.13.8 Điều khiển động cơ k thuật số điện áp cao 44

2.13.9 Hiệu suất FOC 46

CHƯƠNG 3 ĐIỀU KHIỂN BÁM TỐI ƯU CHO PMSM VỚI ĐỘNG HỌC KHÔNG BIẾT, ĐIỆN ÁP BÃO HÒA VÀ NHIỄU NGOÀI 47

3.1 PMSM và điều khiển truyền th ng 47

3.1.1 Hệ thống phi tuyến PMSM phản hồi nghiêm ng t 47

3.1.2 Điều khiển truyền th ng 48

3.2 Điều khiển ám tối ưu 53

3.2.1 Phương trình HJI cho điều khiển PMSM 53

3.2.2 Luật điều khiển bám tối ưu thích nghi o hòa 55

3.3 So sánh ộ chất lượng điều khiển của AOC và PIC 573.4 Điều khiển tối ưu H kích hoạt sự kiện với các ràng buộc ng vào và nhiễu ngoài 61

Trang 10

3.4.1 Phương trình HJI kích hoạt sự kiện 62

3.4.2 Thuật toán điều khiển tối ưu kích hoạt sự kiện H 62

3.4.3 Ph n tích độ ổn định 66

3.4.4 Thời gian tối thiểu giữa các sự kiện 70

CHƯƠNG 4 KẾT QUẢ V Đ NH GI 73

4.1 Kết quả thực nghiệm 73

CHƯƠNG 5 KẾT LUẬN VÀ KIẾN NGHỊ 79

DANH MỤC CÔNG TRÌNH ĐÃ CÔNG Ố CỦA HỌC VIÊN 80

T I LIỆU THAM KHẢO 81

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 86

Trang 11

DANH MỤC HÌNH ẢNH

Hình 1.1 Các l nh vực học máy 6

Hình 1.2 Minh họa về học củng cố 8

Hình 1.3 Cấu trúc ADP sử dụng hai xấp xỉ hàm trong điều khiển tối ưu 10

Hình 1.4 Cấu trúc ADP sử dụng ba xấp xỉ hàm trong điều khiển tối ưu H 10

Hình 2.1 Nguyên lý quy hoạch động ellman và hàm đánh giá tối ưu 20

Hình 2.2 Sơ đồ điều khiển trong thuật toán AC 24

Hình 2.3 Sơ đồ FOC 29

Hình 2.4 Hình dạng PMSM 30

Hình 2.5 Cấu trúc PMSM 30

Hình 2.6 Mạch chuyển đổi ba pha PMSM 30

Hình 2.7 Sơ đồ của động cơ đồng bộ nam ch m v nh cửu ba pha 31

Hình 2.8 Sơ đồ của một cuộn dây stator ba pha 32

Hình 2.9 Sơ đồ của từ trường 34

Hình 2.10 Biến đổi Clarke 36

Hình 2.11 Ký hiệu mạch IGBT 41

Hình 2.12 Kit 41

Hình 2.13 Card điều khiển Piccolo F28035 42

Hình 2.14 Sơ đồ khối chức n ng của DSP TMS320F28035 43

Hình 2.15 ảng tham chiếu khối macro 45

Hình 2.16 Động cơ điều khiển kỹ thuật số điện áp cao và sơ đồ bảng PFC 46

Hình 3.1 Cấu tr c điều khiển bám tối ưu cho PMSM với động học chưa iết, điện áp bảo hòa và nhiễu ngoài 53

Hình 3.2 So sánh vận tốc bám của AOC và PIC 59

Hình 3.3 So sánh các dòng điện trong hệ trục dq của AOC và PIC 59

Hình 3.4 Dòng , ,i i iabctheo điều khiển PIC 60

Hình 3.5 Dòng i i ia, ,bctheo điều khiển AOC 60

Hình 3.6 Tín hiệu điều khiển AOC 60

Hình 3.7 Tín hiệu điều khiển PIC 60

Hình 3.8 So sánh vận tốc bám của AOC và PIC ở tốc độ 3200 rpm 61

Hình 4.1 Mô hình KIT TI-TMDSHVTRPFCKIT-DSP TMS320F28035 73

Hình 4.2 Thực nghiệm trên mô hình 73

Hình 4.3 So sánh vận tốc ám qu đạo tham chiếu của các phương pháp điều khiển PID, AOC và ETAOC 75

Hình 4.4 So sánh vận tốc ám qu đạo tham chiếu của các phương pháp điều khiển PI , AOC và ETAOC c tải thay đổi 76

Trang 12

Hình 4.5 So sánh vận tốc ám qu đạo tham chiếu của các phương pháp điều khiển PID, AOC và ETAOC đọc từ encoder của động cơ PMSM 76 Hình 4.6 So sánh dòng điện điều khiển của các phương pháp điều khiển PID, AOC

và ETAOC có tải thay đổi 77 Hình 4.7 So sánh điện áp điều khiển của các phương pháp điều khiển PID, AOC và

ETAOC có tải 77 Hình 4.8 Sai số kích hoạt sự kiện 78

Trang 13

DANH MỤC BẢNG BIỂU

ảng 3.1 So sánh một số tiêu chí quan trọng 61 ảng 4.1 Các thông số PMSM 74

Trang 14

DANH MỤC TỪ VIẾT TẮT

AC Adaptive Critic Cấu tr c điều khiển chỉ trích thích nghi gồm hai xấp xỉ hàm: một xấp xỉ hàm cho hàm đánh giá tối ưu và xấp xỉ hàm khác cho luật điều khiển tối ưu

ADP Adaptive Dynamic Programming

Quy hoạch động thích nghi, một phương pháp học máy dùng để xấp xỉ luật điều khiển tối ưu

ANN ( Artificial) Neural Network

Mạng thần kinh ( nh n tạo )

ARE Algebraic Riccati Equation

Phương trình đại số Riccati

DP Dynamic Programming Quy hoạch động

HJB Bellman

LQR Linear Quadratic Regulation

Điều khiển tuyến tính dạng toàn phương

LS Least Square Phương pháp ình phương tối thiểu

MIMO Multi Input-Multi Output Nhiều ng vào nhiều ng ra

Trang 15

ML Machine Learning Học máy

MPC Model Pridiction Controller

Bộ điều khiển dự áo mô hình

Critic

NN-Critic Neural Network Xấp xỉ hàm đ ng vai trò ước lượng hàm đánh giá trong cấu tr c AC

PE Persistence of Excitation Kích thích hệ thống ằng cách thêm nhiễu vào vector tín hiệu vào/ra PE là điều kiện để tham số hội tụ trong nhận dạng và điều khiển thích nghi

PI Police Iteration Thuật toán học củng cố sử dụng một số ước l p để xấp xỉ luật điều khiển tối ưu

PID Proportional Integral Derivative

ộ điều khiển PI ( Tỉ lệ- Tích ph n- Vi phân

PMSM Permanent Magnet Synchronous Motors

Hệ truyền động cơ đồng ộ nam ch m v nh cửu

RL Reinforcement Learning Học củng cố

SDRE Equation

State-Dependent-Riccati-Phương trình Riccati phụ thuộc trạng thái

SISO Single Input-Single Output

Hệ thống một ng vào một ng ra

SL Supervised Learning Học giám sát

SMO Sliding Mode Observer ộ quan sát trượt

TD Temporal Difference Dự áo sai ph n tạm thời

Trang 16

UL Unsupervised Learning Học không giám sát

UUB Uniform Ultimate Bounded

ị ch n tới hạn đều

VI Value Iteration Thuật toán học củng cố sử dụng một số ƣớc l p để ƣớc lƣợng hàm đánh giá tối ƣu

ZDGT Zero-sum Differential Game Theory

Lý thuyết trò chơi sai ph n tổng ằng không ứng dụng trong lý thuyết điều khiển

tối ƣu H

Trang 17

KÝ HIỆU

Ký iệu Ý n ĩ

, Tập các số thực ,

n n Không gian các tọa độ thực ( không gian Euclide) n chiều

W Ma trận trọng số của xấp xỉ hàm ( )

u u Ng vào điều khiển và ng vào điều khiển tối ƣu

d Vecto nhiễu của hệ thống

Trang 18

Trang 19

MỞ ĐẦU

1 Đ t vấn đề

Điều khiển truyền động điện cho động cơ điện xoay chiều a pha là l nh vực được nhiều nhà nghiên cứu quan t m từ nhiều n m trước đ y ằng lý thuyết điều khiển kinh điển và hiện đại [1]-[8] Động cơ đồng ộ nam ch m v nh cửu (PMSM) là một trong những thiết ị truyền động xoay chiều phổ iến nhất thường được áp dụng cho các loại xe điện, hệ thống tạo gi , hệ thống quay công nghiệp, ro ot, quá trình sản xuất, cần trục, cầu trục ở các công trình x y dựng Các thiết kế của ộ điều khiển với mục đích cải thiện hiệu suất đ liên tục thu h t sự quan t m của nhiều nhà nghiên cứu [1]-[5] Điều quan trọng đối với các ứng dụng thực tế trong công nghiệp, ng vào điều khiển cho PMSM ị giới hạn ởi điện áp của ộ chuyển đổi công suất o đ , các ngõ vào điều khiển trên trục dq nên được thiết kế trong trường hợp điện áp o hòa Cho đến nay điều khiển tối ưu điện áp o hòa ít khi được xem xét Trong [6], sơ đồ điều khiển tối ưu PMSM với giới hạn trên của điện áp trục dq được đề xuất Tuy nhiên hàm chi phí không ao gồm điện áp o hòa để tối thiểu

Trong PMSM, s ng hài từ thông thường sinh ra ởi sự ph n ố mật độ từ thông không hình sin trong khe hở không khí, vì vậy PMSM không chỉ ảnh hưởng ởi nhiễu mômen của vòng hồi tiếp tốc độ [7] mà còn cả nhiễu điện áp của vòng hồi tiếp dòng điện [8] Các phương pháp điều khiển tối ưu nêu trên vẫn chưa tập trung vào các nhiễu điện áp Nếu ch ng ta ỏ qua điều này, ộ điều khiển không thể hoạt động mạnh mẽ trong tất cả các ứng dụng Trong những n m gần đ y, điều khiển

H trong lý thuyết điều khiển hiện đại [9] đ không ngừng được phát triển để loại

ỏ các nhiễu Thiết kế điều khiển tối ưu H dựa vào nghiệm của phương trình Hamilton-Jacobi-Isaac (HJI) [10], trong đ thách thức lớn nhất là không thể giải được ằng các phương pháp giải tích Hiện nay, học củng cố (Reinforcement Learning-RL) [11] trở thành một trong những kỹ thuật mạnh để tính gần đ ng nghiệm HJI trực tuyến nhằm cung cấp giá trị cho luật điều khiển tối ưu thích nghi

Trang 20

và luật nhiễu xấu nhất [12] Trong thực tế, RL được sử dụng để học các ộ điều khiển tối ưu thích nghi để điều khiển điện áp ho c điện áp o hòa cho hệ thống truyền động điện ho c rô ốt [13]-[15] Một kỹ thuật RL khác, cụ thể là học củng cố tích hợp (Integral Reinforcement Learning-IRL) [16] Phương pháp này nhằm giải quyết ài toán PMSM với động học hệ thống chưa iết một phần [17] Tuy nhiên, ph n tích và chứng minh tính ổn định vòng kín của hệ thống chưa được đề cập Lần đầu tiên, động học PMSM được xem xét như một hệ thống phi tuyến phản hồi nghiêm ng t với động học chưa iết một phần, điện áp bão hòa do công suất hạn chế của bộ chuyển đổi và nhiễu cả tốc độ, dòng điện Các ng vào điều khiển truyền th ng được thiết kế để chuyển đổi bài toán bám tốc độ và dòng điện thành bài toán điều khiển bám tối ưu Mục đích của phép biến đổi này là để tránh sử dụng các cấu trúc PID tầng kinh điển [1]-[3] Luật điều khiển tối ưu kích hoạt sự kiện sau đ được thiết kế cho hệ thống mới Để xấp xỉ luật điều khiển tối ưu, phương trình HJI được đưa ra và lời giải được xấp xỉ trực tuyến bằng bộ xấp xỉ đơn giản, trong đ luật điều khiển được thiết kế dựa trên kỹ thuật IRL để loại bỏ thủ tục nhận dạng động học chưa iết Sự hội tụ đồng bộ của hàm đánh giá, luật điều khiển và luật nhiễu xấu nhất được chứng minh một cách ch t chẽ Ngoài ra, sai số bám và sai số xấp xỉ c ng được chứng minh bị ch n tới hạn đều (Uniformly Ultimately Bounded-UU ) Hơn nữa để đảm bảo các tham số hội tụ nhanh chóng, dữ liệu quá khứ được sử dụng để kích thích hệ thống một cách liên tục thay vì thêm nhiễu vào tín hiệu điều khiển Hiệu quả của phương pháp đề xuất được thể hiện qua kết quả mô phỏng và thực nghiệm có so sánh với các phương pháp điều khiển PID không tối ưu

Từ những ph n tích như trên, học viên mạnh dạn đề xuất đề tài “ Điều khiển tối ưu

bền vững kích hoạt sự kiện dùng học củng cố áp dụng cho hệ truyền động PMSM”

2 Mục tiêu nghiên cứu

Mục tiêu nghiên cứu của luận v n được thể hiện qua các mục chính như sau:

 Thiết kế luật điều khiển truyền th ng để chuyển đổi ài toán điều khiển hệ phi tuyến truyền ngược thành ài toán điều khiển hệ phi tuyến affine tương đương;

Trang 21

thiết kế luật điều khiển tối ưu kích hoạt sự kiện để loại ảnh hưởng nhiễu ngoài  Thiết kế thuật toán điều khiển truyền th ng và tối ưu kích hoạt sự kiện để loại

ỏ thủ tục nhận dạng, loại ỏ điều kiện kích thích hệ thống PE (Persistent Excitation) trong điều khiển thích nghi Chứng minh sự ổn định của hệ kín sử dụng lý thuyết Lyapunov Chứng minh sai số xấp xỉ ị ch n và hàm chi phí hội tụ về giá trị cận tối ưu

 p dụng thuật toán điều khiển cho hệ truyền động PMSM ị ràng uộc ng vào, ị tác động ởi nhiễu ngoài và tham số ất định

3 Đối tượng và phạm vi nghiên cứu

Trong khuôn khổ đề tài tốt nghiệp cao học, học viên tập trung vào nghiên cứu các vấn đề sau:

 Hệ phi tuyến nhiều ng vào nhiều ng ra (MIMO) ở dạng liên hệ ngược nghiêm ng t (Strict feedback nonlinear systems)

 Hệ truyền động PMSM ị ràng uộc ng vào, ị tác động ởi nhiễu ngoài và tham số ất định

4 Cách tiếp cận và p ươn p áp n iên cứu

 Cách tiếp cận

Thông qua các nguồn thông tin từ các ài áo đ được đ ng trên các tạp chí uy tín, thừa hưởng kết quả của các đề tài kh a trước, internet, và các đồng nghiệp chuyên môn cao Học viên tập trung vào các nội dung sau:

- Nghiên cứu về hệ phi tuyến nhiều ng vào nhiều ng ra (MIMO) ở dạng liên hệ ngược nghiêm ng t

- Ph n tích thiết kế thuật toán điều khiển dựa vào học củng cố

- Nghiên cứu đối tượng hệ truyền động PMSM ị tác động ởi nhiễu ngoài và tham số ất định

Kiểm chứng tính hiệu quả của thuật toán điều khiển thông qua mô phỏng và

Trang 22

thực nghiệm cho hệ thống PMSM  Phương pháp nghiên cứu

Từ các vấn đề, mục tiêu và đối tượng nghiên cứu Học viên sẽ thực hiện các công việc sau:

- Nghiên cứu tài liệu tham khảo c liên quan, ph n tích và thiết kế hệ thống, tính toán và chứng minh tính ổn định và hội tụ của thuật toán ằng cơ sở toán học Kết hợp giữa mô phỏng và thực nghiệm nhằm mục đích kiểm tra tính hiệu quả của lý thuyết

Đề xuất thuật toán điều khiển tối ưu ền vững kích hoạt sự kiện cho hệ phi tuyến truyền ngược nghiêm ng t với sự hiện diện nhiễu ngoài Luật điều khiển truyền th ng kích hoạt sự kiện được thiết kế để chuyển hệ phi tuyến phản hồi nghiêm ng t sang hệ phi tuyến affine Sau đ , luật điều khiển hồi tiếp tối ưu ền vững kích hoạt sự kiện được đề xuất để loại ỏ ảnh hưởng nhiễu ngoài trong khi tối thiểu hàm chỉ tiêu chất lượng ám H M c dù thuật toán dựa vào học củng cố nhưng không sử dụng điều kiện kích thích và thủ tục nhận dạng hệ thống

 Ý ngh a thực tiễn:

Thuật toán điều khiển áp dụng trên mô hình thực hệ truyền động PMSM làm cơ sở

Trang 23

phát triển các ứng dụng công nghiệp nhƣ ô tô điện, hệ tua in n ng lƣợng gi và các cơ cấu chấp hành khác

Trang 24

CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU

1.1 Tổng quan về đề tài

1.1.1 Khái niệm về học củng cố

Học máy (Machine Learning-ML)[18] là một l nh vực của trí tuệ nhân tạo (Artificial Intelligence-AI), liên quan đến việc nghiên cứu và xây dựng các kỹ thuật cho phép các hệ thống học tự động từ dữ liệu để giải quyết những vấn đề cụ thể Ưu điểm của học máy là m c dù máy tính (bộ điều khiển, thiết bị) không được lập trình một cách đầy đủ và chi tiết, nó có thể tự thay đổi, tự cải thiện chất lượng liên tục o đ học máy ứng dụng rất hiệu quả cho các bài toán khó, thiếu thông tin ho c tri thức con người để lập trình Về cơ ản học máy chia thành a l nh vực: học có giám sát, học không giám sát và học củng cố hay còn gọi là học t ng cường

Học máy(Machine Learning)

Học không giám sát(Unsupervised Learning)Học giám sát

(Supervised Learning)

Học củng cố ( t ng cường)(Reinforcement Learning)

Hình 1.1 Các l nh vực học máy

 Học c giám sát (Supervised Learning-SL): thuật toán học nhận một số thí dụ luyện tập và nh n thí dụ tương ứng để x y dựng mô hình dự đoán Sử dụng khi muốn nhận dự đoán một kết quả đầu ra từ dữ liệu đầu vào và c các c p dữ liệu (đầu vào/đầu ra) tương ứng Để x y dựng mô hình học c giám sát thường phải c sự nỗ lực từ con người để gán nh n cho tập dữ liệu

 Học không giám sát (Unsupervised Learning-UL): Không ất kì nh n nào được cung cấp cho thuật toán học, thuật toán sẽ đi tìm cấu tr c ên dưới dữ liệu

Trang 25

Mảng này gồm nhiều ài toán khác nhau như: ph n cụm (tự gán nh n cho các cụm dữ liệu c cấu tr c tương tự nhau, giảm chiều dữ liệu để hỗ trợ các hình thức học khác)

 Học t ng cường (Reinforcement Learning-RL): dữ liệu huấn luyện sẽ được thuật toán học x y dựng mô hình, mô hình này dùng để dự đoán và nhận phản hồi từ môi trường từ đ tự động cải thiện mô hình Một số ài toán tiêu iểu cho hình thức học t ng cường là là công nghệ xe tự lái, tự động chơi game Học t ng cường không c các c p dữ liệu vào/kết quả đ ng, các hành động gần tối ưu c ng không được đánh giá đ ng sai một cách tường minh

Học củng cố (Reinforcement Learning (RL)) thuộc lớp phương pháp học máy (Machine Learning) dùng để giải bài toán tối ưu ằng cách liên tục điều chỉnh hành động của tác tử (Agent) Lý thuyết RL hình thành dựa trên sự quan sát và nghiên cứu thuộc tính và hành vi của động vật khi tương tác với môi trường để thích nghi và tồn tại Các giải thuật điều khiển dựa vào RL mô phỏng bản n ng của động vật Đ là iết học hỏi từ sai lầm, biết tự dạy chính mình, biết sử dụng thông tin trực tiếp từ môi trường c ng như thông tin đ đánh giá trong quá khứ để củng cố, điều chỉnh hành vi nhằm liên tục cải thiện chất lượng tương tác, tối ưu h a mục tiêu nào đ theo thời gian (Hình 1.2)

Phương pháp RL, đ c biệt hữu ích nếu môi trường thiếu thông tin để ra quyết định chọn hành động Trong trường hợp đ , RL sử dụng phương pháp thử và sai c đánh giá Thông tin hồi tiếp từ môi trường tương ứng với hành động thử sai được đánh giá và lưu trữ Sau đ , dựa vào thông tin lưu trữ, chiến lược chọn hành động tốt hơn được thực hiện để cải thiện chất lượng tương tác với môi trường [19]

Trong điều khiển tối ưu, RL học thích nghi trực tuyến nghiệm HJB dựa vào thông tin vào ra của đối tượng với mục tiêu tối thiểu hàm chi phí cho trước RL được chứng minh là phương pháp điều khiển tối ưu thích nghi trực tiếp [20] Lý thuyết RL kế thừa từ lý thuyết tối ưu của quy hoạch động (Dynamic Programming (DP)) [21] và phát triển thành lý thuyết quy hoạch động thích nghi (Adaptive Dynamic

Trang 26

Programming (ADP)) ho c quy hoạch động xấp xỉ (Approximate Dynamic Programming (ADP)) [22] A P đ khắc phục được các hạn chế của P như offline, không điều khiển thời gian thực, cần mô hình toán chính xác Ngoài ra, khi ADP sử dụng xấp xỉ hàm sẽ khắc phục được các điểm yếu quan trọng của P như giảm chi phí tính toán và tài nguyên lưu trữ, khắc phục được hiện tượng bùng nổ tổ hợp (Curse of Dimensionality (COD)) khi rời rạc hóa không gian trạng thái, đ c biệt nếu đối tượng điều khiển là hệ MIMO (Multi Input-Multi Output)[23]

Tác tử (Agent)

ộ nhớMôi trường

Hình 1.2 Minh họa về học củng cố

Theo thời gian, các giải thuật RL đ liên tục phát triển ựa vào lý thuyết RL, Wer os đ phát triển giải thuật l p PI (Policy Iteration)[24] Từ đ đến nay rất nhiều giải thuật PI thời gian thực được nghiên cứu và mở rộng Gần đ y, các giải thuật l p PI kết hợp xấp xỉ hàm A P được nghiên cứu để điều khiển thích nghi tối ưu online cho hệ phi tuyến chứa động học nội (internal dynamic) không iết trước, ỏ qua thủ tục nhận dạng hệ thống

1.1.2 Lịch sử phát triển của RL trong điều khiển

RL được nghiên cứu, phát triển và ứng dụng mạnh trong l nh vực học máy từ những thập niên 1980 Tuy nhiên đối với l nh vực điều khiển, RL chỉ mới thực sự bắt đầu phát triển từ những n m đầu của thế kỷ 21 Lịch sử phát triển của RL trong l nh vực

Trang 27

điều khiển tạm chia thành a giai đoạn

Trong giai đoạn đầu tiên (trước n m 2005), lý thuyết RL từ l nh vực trí tuệ nhân tạo được phát triển mở rộng sang l nh vực điều khiển Trước tiên, RL với mô hình Markov được định ngh a ằng cách rời rạc hóa không gian trạng thái Sau đ , hai giải thuật l p cơ ản: PI và VI (Value Iteration) được sử dụng để xấp xỉ luật điều khiển ho c hàm đánh giá tối ưu Để áp dụng được hai giải thuật này, mô hình toán của hệ thống cần phải xác định trước Một giải thuật khác được đề xuất với luật cập nhật tham số không phụ thuộc vào mô hình hệ thống, đ là giải thuật dự báo TD (Temporal Difference) Nếu tín hiệu điều khiển được lượng tử hóa cùng với không gian trạng thái, giải thuật Q-Learning được đề nghị Trong Q-Learning luật cập nhật tham số không phụ thuộc vào mô hình hệ thống Tuy nhiên, tất cả các giải thuật nêu trên chỉ áp dụng cho bài toán điều khiển offline

Một trong những nghiên cứu RL thành công chuyển từ điều khiển offline sang online trong giai đoạn này là phương pháp quy hoạch động t ng cường (Incremental Dynamic Programming (IDP)) I P được thiết kế để điều khiển tối ưu thích nghi dựa trên giải thuật Q-Learning, xấp xỉ nghiệm online cho bài toán LQR (Linear Quaratic Regulation) rời rạc với các ma trận trạng thái không biết trước Bên cạnh đ , phải kể đến một loạt các nghiên cứu thành công khác, đ là sử dụng xấp xỉ hàm vào cấu trúc A P để giải quyết vấn đề bùng nổ tổ hợp trong không gian trạng thái rời rạc cho hệ đa iến Các ứng dụng ADP với xấp xỉ hàm từ đ tiếp tục được phát triển mở rộng Tuy nhiên, hầu hết các nghiên cứu trong giai đoạn này không chứng minh tính ổn định hệ thống trong quá trình học và điều khiển Ngoài ra, luật cập nhật online cho tham số xấp xỉ hàm chưa được thiết kế ch t chẻ Một điểm quan trọng khác đáng lưu ý trong giai đoạn này là RL chỉ được áp dụng cho hệ thống rời rạc Lý do này xuất phát từ thuộc tính rời rạc của quy hoạch động mà RL thừa kế Ở giai đoạn thứ hai (từ những n m 2005-2010), các nhà nghiên cứu tập trung vào việc sử dụng lý thuyết điều khiển hiện đại vào RL để thiết kế bộ điều khiển online cho hệ thống phi tuyến Ngoài ra, do không thể áp dụng phương pháp RL rời rạc

Trang 28

cho hệ thống liên tục nên lý thuyết RL bắt đầu chuyển hướng Giải thuật điều khiển tối ưu thích nghi cho hệ thống tuyến tính liên tục với ma trận trạng thái không biết trước được đề xuất trong với kết quả là nghiệm tối ưu được xấp xỉ online đến nghiệm giải tích ARE (nghiệm giải tích chỉ tồn tại khi biết trước ma trận trạng thái) Trong nghiên cứu này, sự hội tụ và ổn định hệ kín được chứng minh ch t chẽ Song song với đ là một loạt các nghiên cứu khác về điều khiển tối ưu cho hệ thống phi tuyến rời rạc và liên tục với các thông tin về các thành phần động trong mô hình hoàn toàn biết trước

Xấp xỉ hàm (Actor)

Xấp xỉ hàm (Critic)(Hàm chi phí)Môi trường(Đối tượng)Hành động

(Tín hiệu điều khiển)

Trạng thái /Ng ra

Hình 1.3 Cấu trúc ADP sử dụng hai xấp xỉ hàm trong điều khiển tối ưu

Xấp xỉ hàm (Actor1)

Xấp xỉ hàm (Critic)(Hàm chi phí)Môi trường(Đối tượng)Hành động

(Tín hiệu điều khiển)

Trạng thái /Ng ra

Xấp xỉ hàm(Actor2)Ch n trên

của nhiễu

Hình 1.4 Cấu trúc ADP sử dụng ba xấp xỉ hàm trong điều khiển tối ưu H

Trang 29

Đa số các nghiên cứu trong thời k này sử dụng cấu tr c điều khiển A P chuẩn xem (Hình 1.2) và các định ngh a với hai xấp xỉ hàm gọi là AC (Actor-Critic), trong đ một xấp xỉ hàm (critic) dùng để đánh giá luật điều khiển và xấp xỉ hàm chi phí tối ưu, xấp xỉ hàm còn lại (actor) dùng để xấp xỉ luật điều khiển tối ưu Luật cập nhật tham số của hai xấp xỉ hàm là online c sự ràng uộc lẫn nhau Thành công của các nghiên cứu trong giai đoạn này là sự ổn định của hệ kín ao gồm các xấp xỉ hàm chứa tham số chỉnh định online được ph n tích và chứng minh rất ch t chẽ Giai đoạn thứ a (từ n m 2010 cho đến nay), lịch sử phát triển về RL liên quan đến ài toán điều khiển tối ưu thích nghi cho hệ phi tuyến chứa một vài thành phần động học hệ thống không iết trước Song song với các nghiên cứu vừa nêu là các nghiên

cứu về giải thuật RL cho ài toán điều khiển tối ưu Hvới hệ tuyến tính c ma trận trạng thái không iết trước, ho c hệ phi tuyến với các thành phần động học trong mô hình hoàn toàn xác định Đa số các nghiên cứu này đều sử dụng cấu trúc ADP với a xấp xỉ hàm Một xấp xỉ hàm (Actor 2 trong Hình 1.3) được thêm vào cấu tr c A P nhằm xấp xỉ ch n trên của nhiễu (nhiễu xấu nhất)

1.2 Tổng quan về điều khiển tối ưu bền vững

Tác giả trong [25] đ đưa ra ộ điều khiển thích nghi strict-feedback sử dụng mạng thần kinh nhân tạo nhiều lớp (Neural Networks-NN) cho hệ phi tuyến Bằng cách hiệu chỉnh hàm Lyapunov, một bộ điều khiển thích nghi của đối tượng điều khiển được tìm thấy Sau đ áp dụng cho hệ phi tuyến bậc cao bằng cách dùng mạng NN để xấp xỉ và kỹ thuật điều khiển cuốn chiếu thích nghi Sơ đồ điều khiển được bảo đảm bởi hệ thống thích nghi vòng kín Kết quả cuối cùng thu được bán toàn cục và điều chỉnh các thông số thiết kế, để sai số bám theo hội tụ về một giá trị nhỏ giới hạn Tuy nhiên tác giả chưa đề cập đến sự ảnh hưởng của nhiễu bên ngoài và áp dụng cho các hệ phi tuyến mở rộng khác

Trong bài báo [26] một bộ điều khiển tối ưu cho hệ phi tuyến thời gian liên tục phản hồi kín cho hệ thống c mô hình c động lực học không r ràng được đề xuất Bài toán điều khiển tối ưu được đưa về bộ điều khiển thích nghi truyền th ng (feed-

Trang 30

forward) ngõ vào bằng kỹ thuật cuốn chiếu Sau đ tác giả sử dụng bộ điều khiển tối ưu dựa vào mạng NN để ước tính các hàm chi phí, trong một không gian vô hạn cho hệ thống phi tuyến có kết quả ở dạng affine khi không biết động lực học nội Hàm chi phí xấp xỉ sau đ được sử dụng để thu được ng vào điều khiển tối ưu Vì vậy, ng vào điều khiển tối ưu chung cho hệ thống phi tuyến thời gian liên tục phản hồi bao gồm bộ tín hiệu truyền th ng cộng với tín hiệu hồi tiếp tối ưu Hàm chi phí xấp xỉ tối thiểu hóa sai số Hammilton-Jacobi-Bellman mà không sử dụng bất k giải thuật l p giá trị ho c chiến lược Đầu ra của bộ điều khiển phản hồi tối ưu được giám sát bởi một bộ quan sát phù hợp M c dù ưu điểm của nghiên cứu là bộ điều khiển tối ưu thích nghi sử dụng mạng NN xấp xỉ sai số cho đối tượng c động lực học không r ràng được giải quyết, nhưng nghiên cứu chưa đề cập đến nhiễu ngoài và vùng chết của hệ thống

Nghiên cứu [27] đề cập đến thiết kế điều khiển tối ưu ph n cấp mờ thích nghi cho một lớp kết nối các hệ phi tuyến quy mô lớn với các chức n ng phi tuyến chưa iết nhau trong phản hồi nghiêm ng t Tác giả đ đưa ra hệ thống mờ để học các động học chưa iết, các hàm giá trị tương ứng, và phát triển công cụ ước lượng trạng thái động học của đối tượng Bằng cách áp dụng bộ ước lượng trạng thái và thuật toán cuốn chiếu thiết kế đệ quy, tạo ra một bộ điều khiển phân cấp truyền th ng Hệ thống phi tuyến quy mô lớn được xem xét liên kết ở dạng phản hồi nghiêm ng t được thay đổi thành một hệ thống phi tuyến quy mô lớn tương đương Sau đ , một sơ đồ điều khiển mờ thích hợp phi tập trung tối ưu được xây dựng Toàn bộ bộ điều khiển thích nghi mờ phi tập trung tối ưu ao gồm một điều khiển tiến bộ phi tập trung và một điều khiển phi tập trung tối ưu N đ được chứng minh rằng bộ điều khiển phi tập trung tối ưu được phát triển có thể đảm bảo rằng tất cả các biến của hệ thống điều khiển được giới hạn cuối cùng và các hàm chi phí là nhỏ nhất Nghiên cứu này đ đề xuất sơ đồ điều khiển tối ưu mờ thích nghi phi tập trung cho các phản hồi nghiêm ng t phi tuyến không xác định phi tuyến liên kết các hệ thống quy mô lớn Bằng cách kết hợp lý thuyết điều khiển phản hồi tối ưu và kỹ thuật đệ quy cuốn chiếu, một phương pháp điều khiển tối ưu mờ thích nghi phi tập trung mới đ được

Trang 31

phát triển

1.3 Tổng quan về điều khiển cho hệ truyền động PMSM

Đối với những thiết kế chung cho PMSM, bộ điều khiển cấu trúc tầng được sử dụng nhằm mục đích tách riêng tốc độ và dòng điện Trong bài báo [1], một bộ điều khiển trượt khâu cuối được thiết kế để tạo ra một tín hiệu dòng tham chiếu Sau đ , hai ộ điều khiển tích phân tỉ lệ (Proportional Integral- PI) sử dụng tín hiệu tham chiếu này để tạo hệ trục dq cho sai số dòng ổn định

Trong bài báo [2], cấu trúc tầng được sử dụng cho bộ điều khiển dự báo mô hình (Model Pridiction Controller-MPC) cho những vòng l p dòng Điều này chỉ ra rằng sự tối ưu được ưu tiên hơn tính ổn định của PMSM Tuy nhiên, bằng cách sử dụng cấu trúc tầng được đề cập ở trên, điều khiển tối ưu không thể được khai thác để cải tiến chất lượng điều khiển tốt hơn [4]-[6] Thay vào đ , kỹ thuật điều khiển không sử dụng cảm biến của PMSM được phát triển để làm giảm độ phức tạp của phần cứng Ví dụ, Qiao et al [3] đề xuất một bộ quan sát trượt (Sliding Mode Observer-SMO) để ước lượng vị trí của rotor và tốc độ của hệ trục dq của khung tham chiếu Tuy nhiên đối với điều khiển, cấu trúc tầng kinh điển với ba bộ điều khiển PI c ng được sử dụng o đ chất lượng điều khiển tối ưu không thể đạt được

Hiện tại, phương trình Riccati phụ thuộc trạng thái (State Dependent Riccati Equation-S RE) được sử dụng cho các nỗ lực điều khiển tối ưu dạng toàn phương của PMSM [4], [5] Mô hình động lực học riêng biệt của tốc độ và dòng điện được tích hợp vào mô hình động lực học phi tuyến có dạng xA x x Bu( ) , với x là

vector trạng thái của tốc độ và dòng, u là vector điện áp điều khiển trong khung

tham chiếu hệ trục dq Ma trận bao gồm các giá trị tham số cố định của cuộn dây Statorr như: điện trở Statorr, từ thông kích từ, hệ số ma sát nhớt, mômen tải, tốc độ và dòng M c dù phương pháp S RE cung cấp các bộ điều khiển tối ưu phi tuyến, tuy nhiên việc ứng dụng vào PMSM lại có một số điểm bất lợi Ví dụ như ộ điều khiển sẽ tìm trước lời giải Riccati trong thời gian thực để ổn định hóa các biến trạng thái quanh điểm cân bằng, việc này sẽ đòi hỏi phần cứng có tốc độ tính toán cao

Trang 32

Những thực nghiệm trong bài báo [4] sử dụng các câu lệnh Matla (như “care” và “lyap”) ph n tích h a các tính toán của lời giải SDRE tại mỗi chu k lấy mẫu Kết quả là quá trình điều khiển phải bị trì hoãn, và thời gian cập nhật sẽ vượt quá chu k lấy mẫu và có thể dẫn đến sự mất ổn định của hệ thống Các thành phần của phương trình Riccati bao gồm A x phải được xác định hoàn toàn trước khi thực thi các ( )lệnh, ví dụ như ộ quan sát mômen tải cho A x [4] Những tham số khác được m c ( )định là hằng số không nhiễu Thêm vào đ , ởi vì biến trạng thái của tốc độ và dòng để hồi tiếp không thể đạt được giá trị tối ưu ằng phép đo trực tiếp, nó chỉ có thể đạt được sau khi được xử lý bởi các mạch lọc như lọc Kalman trong bài báo [5] Quá trình này sẽ làm t ng độ phức tạp của việc tính toán

Nghiên cứu [28] đề xuất thuật toán điều khiển IRL áp dụng cho hệ truyền động PMSM Bộ điều khiển được đề xuất có thể duy trì mức độ hiệu suất cao c phản ứng nhanh, độ chính xác cao và mạnh mẽ nhằm chống lại sự không chắc chắn của thông số động cơ và sự thay đổi mômen tải Tuy nhiên, hệ thống PMSM không dễ kiểm soát vì đ là một hệ thống đa iến phi tuyến với các biến thể trực tuyến của các thông số hệ thống tùy thuộc vào sự thay đổi nhiệt độ, độ o hòa điện cảm o

đ phương thức ám H được sử dụng rộng r i vì tính n ng mạnh mẽ trong việc chống lại thông số không chắc chắn và nhiễu ên ngoài Điểm chính của điều khiển

H là tổng hợp luật phản hồi cho hệ thống vòng kín để đáp ứng ràng buộc định mức H quy định, thể hiện các yêu cầu về độ ổn định ho c ám mong muốn Để kết thúc, một giải thuật điều khiển mới được đ t tên giải thuật học củng cố tích hợp được thực hiện cho thời gian thực để tìm ra lời giải của phương trình Hamilton-Jacobi-Issacs (HJI) trực tuyến Giải thuật này được dựa trên giải thuật l p chiến lược PI và thực thi sử dụng 1 bộ actor/critic, bộ này sử dụng mạng neural để thể hiện một cách cấu trúc tham số hóa giá trị của hàm số và luật điều khiển, dò tìm các hệ số độ lợi của bộ điều khiển dựa trên việc đo lường ngõ ra của hệ thống Bộ điều khiển được đề xuất đ được đánh giá thông qua ài toán điều khiển động cơ PMSM ba pha công nghiệp có công suất 2KW

Trang 33

1.4 Tổn qu n về cơ c ế c oạt sự iện

Hệ thống phi tuyến ở dạng liên hệ ngược nghiêm ng t được biểu diễn theo nhiều cách khác nhau và có rất nhiều ứng dụng khác nhau trong thực tế [29]-[33] Trong điều khiển thích nghi, bộ điều khiển được thiết kế dựa vào kỹ thuật cuốn chiếu [29]-[31] Trong điều khiển tối ưu, ộ điều khiển tối thiểu hàm chi phí được thiết kế sau khi áp dụng kỹ thuật cuốn chiếu để chuyển hệ thống về hệ phi tuyến affine tương đương [32], [33] Tuy nhiên, khi khảo sát các hệ phi tuyến nói trên, ràng buộc ngõ vào và nhiễu ngoài chưa được xem xét

Gần đ y điều khiển tối ưu ền vững được đề xuất cho hệ phi tuyến liên hệ ngược nghiêm ng t có nhiễu ngoài [34]-[37] Trong đ phương pháp qui hoạch động thích nghi (Adaptive Dynamic Programming-ADP) kết hợp với lý thuyết điều khiển [38] để xấp xỉ luật điều khiển tối ưu và luật nhiễu xấu nhất đồng thời tối thiểu hàm chỉ tiêu chất lượng Nghiệm của bài toán phụ thuộc nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI) o phương trình này không c nghiệm giải tích nên thuật toán xấp xỉ nghiệm online được đề xuất dựa vào kỹ thuật học củng cố (Reinforcement Learning–RL) và mạng thần kinh (Neural Network-NN) Tuy nhiên, thuật toán này sử dụng cơ chế kích hoạt thời gian nên chưa giảm được chi phí tính toán và truyền thông Ngoài ra thuật toán chưa giải quyết vấn đề ràng buộc ngõ vào

Bên cạnh nhiễu ngoài, ngõ vào của hệ phi tuyến thực tế thường bị ràng buộc bởi tính chất vật lý của cơ cấu chấp hành như o hoà, vùng chết, từ trễ,… Các ràng buộc này làm suy giảm chất lượng điều khiển ho c thậm chí gây mất ổn định hệ kín [39] Thuật toán điều khiển tối ưu được đề xuất trong [36], [37], [39] nhằm giải quyết vấn đề ng vào o hoà Trong đ , chi phí n ng lượng o hoà được biểu diễn dưới dạng hàm xác định dương không toàn phương Tuy nhiên, các thuật toán này không thể điều khiển hệ phi tuyến với ràng buộc vùng chết, một trong những ràng buộc phức tạp nhất làm cho hệ thống mất khả n ng điều khiển [40] Nếu các phương pháp điều khiển kinh điển không thể khử được ảnh hưởng vùng chết, bộ bù vùng chết dựa vào NN được sử dụng [41] Hầu hết các bộ bù vùng chết được thiết

Trang 34

kế theo phương pháp điều khiển thích nghi không tối thiểu bất k phiếm hàm chỉ tiêu chất lượng Theo hiểu biết của nhóm tác giả, đến nay thuật toán điều khiển tối ưu loại bỏ ảnh hưởng của vùng chết chưa được nghiên cứu

Những n m gần đ y, cộng đồng điều khiển đang tập trung vào điều khiển bẫy sự kiện [42]-[45] So với các thuật toán điều khiển truyền thống lấy mẫu theo chu k , thuật toán điều khiển kích hoạt sự kiện có nhiều ưu điểm Một trong những ưu điểm nổi trội là bộ điều khiển chỉ cập nhật tham số và sinh ra tín hiệu điều khiển khi và chỉ khi sai số giữa trạng thái lấy mẫu được giữ trước đ và trạng thái hiện tại vượt quá ngưỡng cho phép [44]; từ đ giảm tải được chi phí tính toán và truyền thông Thuật toán điều khiển tối ưu ền vững kích hoạt sự kiện cho hệ phi tuyến affine với nhiễu ngoài được phát triển mạnh cùng với sự phát triển của ADP và RL [45], [46] Trong đ , luật điều khiển tối ưu kích hoạt sự kiện được xấp xỉ đồng thời với luật nhiễu kích hoạt theo chu k Ngoài ra, thuật toán [46] còn xử lý hiện tượng bão hoà ngõ vào

Trang 35

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Chương này trình ày t m lược lý thuyết học củng cố, giới thiệu các giải thuật kinh điển của học củng cố, trình bày cấu trúc và luật học đơn giản của các xấp xỉ hàm thông dụng, phát biểu về sự cần thiết phải sử dụng xấp xỉ hàm trong học củng cố Sau đ , các loại xấp xỉ hàm được so sánh đánh giá, làm cơ sở cho việc nghiên cứu các giải thuật học củng cố dựa vào xấp xỉ hàm ở các chương tiếp theo

T B x để điều kiện x t( )xc B luôn thỏa với mọi t t0 TB

Định nghĩa 2.2 (Zero-State Observability): Hệ thống (2.1) với ng ra đo được

Trong đ I là ma trận đơn vị có chiều phù hợp

Trang 36

2.2 Lý thuyết học củng cố

Hệ thống học củng cố kinh điển trong điều khiển được mô tả bởi :  Tập hữu hạn trạng thái  x x x1, 2, ,xn N

 Ở mỗi trạng thái xx, có tập hữu hạn các tín hiệu điều khiển U x ( )

 Mô hình đối tượng điều khiển xk1f x u x k, ( k) với uk  xk U x k là tín hiệu điều khiển để chuyển trạng thái hệ thống từ x sang kxk1 Ch ý đơn giản trong cách viết ta định ngh a xk x k( ) và xk1 x k( 1)

 Hàm thưởng/phạt, còn gọi là tín hiệu củng cố, r x u x k, ( k) , đ c trưng cho chi phí điều khiển khi áp dụng luật điều khiển ( )u xk ở trạng thái x k

 Luật điều khiển ( )u x :  xU x( ) sao cho nếu áp dụng u x từ trạng thái ( ) x sẽ 0

phát sinh ra quỹ đạo trạng thái x x x0, 1, 2, , thỏa điều kiện:

Trang 37

trong đ   0,1 Hàm đánh giá ( )V xk của trạng thái xk, xkx được định ngh a dưới dạng hồi qui như sau [3]:

( )

Vx là cần thiết Các giải thuật học củng cố thông dụng như l p giá trị, l p chiến lược và Q-Learning ra đời xấp xỉ hai nghiệm này trên cơ sở phương trình (2.7) ho c /và (2.8)

Trang 38

Hình 2.1 Nguyên lý quy hoạch động ellman và hàm đánh giá tối ưu

2.3 Các giải thuật học củng cố in điển

Các giải thuật học củng cố kinh điển mô tả sau đ y xấp xỉ hàm đánh giá và luật điều khiển tối ưu M c dù các giải thuật này chỉ điều khiển offline nhưng đ là nền tảng cơ sở để nghiên cứu mở rộng cho thuật toán online nâng cao trong luận v n

2.3.1 Giải thuật VI ( Value Iteration )

Giải thuật VI sau đ y mô tả chi tiết các ước xấp xỉ trực tiếp hàm đánh giá tối ưu *

( )k

V x Khi có V x*( )k , luật điều khiển tối ưu u x*( ) được xấp xỉ

Giải thuật 2.1 VI

ước 1:  xkx, khởi tạo V(0)(xk)0, Gán i0 ước 2: Xấp xỉ hàm đánh giá:

 i i 1

 L p vòng  xkx và cập nhật:

 Nếu thỏa tiêu chuẩn hội tụ sao cho V( )i V(i1)  với  là số dương đủ nhỏ,

Trang 39

thì gán V x*( )k V( )i ( )xk ,  xkx sau đ thực hiện ƣớc 3, ngƣợc lại quay về ƣớc 2

ƣớc 3: Xấp xỉ luật điều khiển tối ƣu:  L p vòng  xkxvà cập nhật:

2.3.2 Giải thuật PI (Policy Iteration)

Giải thuật PI khởi động bằng luật điều khiển ổn định, sau đ xấp xỉ hàm đánh giá trong một ƣớc và cải thiện luật điều khiển dựa vào hàm đánh giá vừa xấp xỉ ở ƣớc tiếp theo Các ƣớc trong giải thuật PI đƣợc mô tả nhƣ sau:

ƣớc 4: Xấp xỉ luật điều khiển tối ƣu:

Trang 40

Ta thấy rằng, từ phương trình (2.9) đến (2.12), giải thuật VI và PI đòi hỏi thông tin về mô hình hệ thống f x u x( , ( ))kk , điều này làm giảm khả n ng ứng dụng của học củng cố Hạn chế này được giải quyết bằng giải thuật dự báo sai phân tạm thời (Temporal Difference (TD) Khi đó luật cập nhật (2.11) sẽ là:

trong đ xk1 là trạng thái mà hệ thống nhận được khi áp dụng luật điều khiển u( )i

tại xk, 0,1 là tốc độ học Nhìn vào phương trình (2.13) ta thấy rằng hàm đánh giá được cập nhật không cần sử dụng mô hình của hệ thống Sau khi ( )

( )

Vx ở (2.13) được cập nhật, luật điều khiển (i 1)

u  ở ước 4 của giải thuật PI được cập nhật ngay mà không cần phải chờ đợi sự hội tụ của hàm đánh giá ở ước 3 Giải thuật PI sử dụng luật cập nhật TD, bảo đảm rằng luật điều khiển xấp xỉ sẽ hội tụ đến giá trị tối ưu Tuy nhiên, T chỉ sử dụng được trong các giải thuật offline

2.3.3 Giải thuật Q-Learning

Thay vì xấp xỉ hàm ( )V xk như giải thuật VI và PI, giải thuật Q-Learning xấp xỉ hàm Q x u( k, k) chứa tổ hợp iến trạng thái và tín hiệu điều khiển, trong đ ở mỗi ước l p, luật cập nhật hàm ( , )Q x ukk được định ngh a dựa vào luật T :