Xây dựng luật điều khiển tối ưu dựa trên dữ liệu thỏa mãn các điều kiện ràng buộc về tín hiệu đầu vào và trạng thái cho hệ tuyến tính dừng

Bài viết này đề xuất một phương pháp điều khiển tối ưu dựa trên dữ liệu cho trường hợp hệ tuyến tính dừng trong đó mô hình toán của hệ chưa biết và hệ phải thỏa mãn các điều kiện giới hạn của trạng thái và tín hiệu đầu vào với hệ điều khiển. Cụ thể, bài toán được đưa về hệ các bất đẳng thức ma trận (LMI), và hệ này giải được bằng các phương pháp số hiện hành. Phương pháp điều khiển này được minh họa bằng ví dụ mô phỏng thực hiện trên Matlab.

TẠP CHÍ ISSN: 1859-316X KHOA HỌ CƠNG NGHỆ HÀNG HẢI KHOA H C - CÔNG NGH JOURNAL OF MARINE SCIENCE AND TECHNOLOGY XỂY D NG LU T I U KHI N T I U D A TRểN D LI U TH A MÃN CỄC I U KI N RÀNG BU C V TệN HI U U VÀO VÀ TR NG THỄI CHO H TUY N TệNH D NG DATA-DRIVEN OPTIMAL CONTROL WITH STATES AND INPUT CONSTRAINTS FOR LTI SYSTEMS NGUY N TI N BAN1*, NGUY N HOÀNG H I2 Khoa i n C , Tr ng i h c H i Phịng Vi n C Khí, Tr ng i h c Hàng h i Vi t Nam *Email liên h : bannguyentien@gmail.com Tóm t t S phát tri n c a ph ng pháp trí tu nhân t o th p niên v a qua t o m t xu h ng m i l nh v c u n ó s chuy n d ch t ph ng pháp u n d a mơ hình sang ph ng pháp u n d a d li u V n đ l n nh t c n gi i quy t đ i v i ph ng pháp u n d a d li u vi c ch ng minh đ c tính an tồn (thơng qua tính n đ nh c a h th ng) th a mãn ràng bu c v tr ng thái tín hi u u n M t ph ng pháp ti p c n đ gi i quy t v n đ n đ nh c a h ng u n d a d li u s d ng b đ c a Willems c ng s D a k t qu đó, báo đ xu t m t ph ng pháp u n t i u d a d li u cho tr ng h p h n tính d ng mơ hình tốn c a h ch a bi t h ph i th a mãn u ki n gi i h n c a tr ng thái tín hi u đ u vào v i h u n C th , toán đ c đ a v h b t đ ng th c ma tr n (LMI), h gi i đ c b ng ph ng pháp s hi n hành Ph ng pháp u n đ c minh h a b ng ví d mơ ph ng th c hi n Matlab T khóa: i u n t i u, u n h n tính d ng, LMI, u n có ràng bu c, u n d a d li u Abstract The development of Artificial Intelligence over the last decade has shifted the research directions in control engineering field, from model-based approach to data-driven approach The crucial question the needs to be answered in the latter approach is to guarantee the provability safety and stability of the closed-loop systems as well as the states and input constraints The controller design method using Willems’ lemma has been 42 showed to guarantee stability for the data-driven control systems This paper proposed an extension of the results to the case of optimal control problem under the states and input constraints Specifically, the problem is formulated as Linear Matrix Inequalities (LMIs), which can be solved by current available toolboxes The proposed method is illustrated by a numerical example simulated in Matlab Keywords: Optimal control, LTI Systems, LMI, Control with constraints, Data-driven Control M đ u V i s phát tri n c a trí tu nhân t o th p k v a qua, h ng nghiên c u m i l nh v c u n chuy n d ch t h ng s d ng ph ng pháp u n d a mơ hình (modelbased) sang h ng nghiên c u s d ng ph ng pháp d a d li u Ph ng pháp u n d a mơ hình ph bi n đ i v i ngành u n t đ ng cho t i nay, h u h t ph ng pháp u n d a mơ hình Mơ hình c a đ i t ng u n th ng đ c xây d ng d a vi c áp d ng đ nh lu t v t lý, v y địi h i m t s hi u bi t nh t đ nh v đ i t ng u n, th ng đ c th c hi n b i chuyên gia v đ i t ng Nh ng th c t , cách làm không ph i bao gi c ng d dàng, ví d nh tr ng h p h có ph n t khơng xác đ nh rõ ràng, ho c h ph c t p vi c mơ hình hóa d a đ nh lu t v t lý th ng b t kh thi Ng c l i, v i cách ti p c n d a d li u, nói chung ng i thi t k b u n khơng c n ph i có ki n th c v đ i t ng u n mà ch c n thu th p d li u tín hi u vào tín hi u c a đ i t ng Ph ng pháp thi t k d a d li u th c xu t hi n t lâu Ví d hai ph ng pháp c n đ ch nh đ nh b u n PID c a Ziegler-Nichols (ví d xem [9]) hồn tồn khơng d a vào mơ hình tốn đ i t ng u n mà ch d a vào đáp ng đ u S 70 (04-2022) TẠP CHÍ ISSN: 1859-316X KHOA H C - CÔNG NGH KHOA HỌC CÔNG NGHỆ HÀNG HẢI JOURNAL OF MARINE SCIENCE AND TECHNOLOGY c a đ i t ng V i s phát tri n c a ph ng pháp trí tu nhân t o, ph ng pháp d a d li u u n ngày có th k đ n nh ph ng pháp h c t ng c ng (Reinforcemnt Learning) [5] hay ph ng pháp GP (Gaussian Process) [4] ã có nh ng nghiên c u cho th y, vi c u n h th ng cơng nghi p, có đ n 80% th i gian công s c dùng đ xây d ng mơ hình đ i t ng u n ([8]) Vì v y, xu h ng xây d ng ph ng pháp u n d a d li u c n thi t h a h n gi i quy t đ c nhi u v n đ c p thi t Tuy nhiên, nh c m c a ph ng pháp u n d a d li u vi c ch ng minh tính an tồn c a h th ng u n th ng khó kh n ây c ng u m c a ph ng pháp u n d a mơ hình so v i ph ng pháp d a d li u Khi có mơ hình tốn c a đ i t ng u n, v m t lý thuy t, ng i ta có th ch ng minh đ c tính n đ nh c a h kín v i m t quy lu t u n Tuy nhiên v i h u n có thành ph n d a d li u, vi c làm này, dù ch ng minh lý thuy t, th ng r t khó kh c ph c nh c m này, m t cách ti p c n đ c đ xu t s d ng b đ ch ng minh b i Willems c ng s [2], sau đ c m r ng b i [1] N i dung c a b đ Willems nói r ng m i qu đ o c a m t h n tính b t k đ u có th đ c t o b i t h p n tính c a h u h n qu đ o c a h v i u ki n qu đ o đ c sinh h đ c kích thích đ y đ D a b đ này, cơng trình nghiên c u xây d ng ph ng pháp thi t k b u n n đ nh d a d li u cho h n tính b ng cách đ a v d ng h b t đ ng th c ma tr n (LMI) đ gi i, cho tr ng h p h lý t ng h có nhi u Tuy nhiên ch a báo nghiên c u v h u n n đ nh cho h có tr ng thái tín hi u đ u vào b gi i h n s d ng ph ng pháp LMI d a d li u phát tri n t báo [1] m c dù th c t , h th ng u n ln có nh ng gi i h n c a tín hi u u n hay tr ng thái Bài báo b c đ u m r ng k t qu nghiên c u c a [1] cho u n h t i u tr ng thái tín hi u u n c a h th a mãn u ki n gi i h n cho tr c Các u ki n gi i h n đ c gi thi t r ng có th đ c miêu t d i d ng đa di n (polytope) Cách mô t hoàn toàn g n v i th c t , ví d tín hi u u n ho c bi n tr ng thái n m gi i h n c c ti u c c đ i cho tr c Bài toán đ c đ a v d ng tìm m t ellipsoid n m đa di n đó, sau đ a v d ng LMI đ gi i óng góp c a báo ch ng minh hai đ nh lý đ c trình bày M c 4, qua đ a cách t ng h p b u S 70 (04-2022) n t i u d a d li u cho h có ràng bu c C u trúc báo g m ph n: M c t ng k t k t qu nghiên c u có đ c s d ng đ ch ng minh k t qu nghiên c u M c nêu v n đ c n gi i quy t gi thi t liên quan M c trình bày k t qu nghiên c u M c trình bày ví d mơ ph ng Matlab Cu i cùng, k t lu n h ng nghiên c u ti p theo đ c trình bày M c Các k t qu nghiên c u hi n có Trong m c này, chúng tơi trình bày ng n g n b đ Willems [2] k t qu có t cơng trình [1] có liên quan đ n báo Xét tín hi u ký hi u , đ ng th i đ nh ngh a ma tr n Hankel t ng ng v i tín hi u nh sau: Khi j=1, đ n gi n ký hi u nh sau: Chú ý r ng áp d ng cách ký hi u cho tín hi u u n u(k) tr ng thái x(k) c a h ph n ti p theo c a báo Xét h n tính d ng u n đ c quan sát đ c có d ng: (1) Trong đó: Vector tr ng thái x tín hi u u n u l n l t có chi u n m nh ngh a v tín hi u kích thích đ đ i v i h (1) đ c nêu nh sau: nh ngh a 1: Tín hi u đ cg i kích thích đ b c L ch ma tr n: có h ng (rank) rL B đ Willems có n i dung nh sau: B đ [2]: Gi thi t tín hi u u n kích thích đ b c n+t, thì: a H ng c a ma tr n: (2) b T n t i cho: (3) Chú ý r ng ký hi u tín hi u v i ch d nh Ud,[0,T-1] 43 TẠP CHÍ ISSN: 1859-316X KHOA HỌ CÔNG NGHỆ HÀNG HẢI KHOA H C - CÔNG NGH JOURNAL OF MARINE SCIENCE AND TECHNOLOGY nh b đ hàm ý r ng tín hi u th , dùng kích thích đ i t ng u n đ thu đ c b d li u tín hi u vào U tr ng thái t ng ng X (vì gi thi t h quan sát đ c hồn tồn nên tín hi u tr ng thái c a h ) Ý ngh a c a m nh đ (b) c a b đ Willems là, ch c n thu th p d li u m t qu đ o sinh b i h n tính (1) đ c kích thích đ t t c qu đ o t ng lai c a h th ng s đ c bi u di n thông qua t h p n tính c a qu đ o thu th p Chú ý r ng, m nh đ (a) c a b đ áp d ng cho tr ng h p t=1 t ng đ ng v i: (4) D a vào ý t ng này, cơng trình [1] phát tri n ph ng pháp thi t k b u n n đ nh d a vào d li u cho h (1) ma tr n A B không đ c bi t tr c Xét h (1) đ c u n b ng b u n ph n h i tr ng thái: Mơ hình đ i t ng toán c n gi i Ph n s trình bày tốn mà nghiên c u báo i t ng u n h n tính d ng đ c mơ t ph ng trình (1), ma tr n A B không đ c bi t tr c i t ng đ c gi thi t u n đ c quan sát đ c Tr ng thái c a h tín hi u u n ph i th a mãn u ki n ràng bu c cho tr c , đó: h ng s ; v i: i u ki n ràng bu c có th vi t d i d ng (9) Chúng ta c n tìm b u n ph n h i (5) đ t i u phi m hàm m c tiêu (đ ng th i th a mãn u ki n ràng bu c (9)): (5) B đ [1]: Gi thi t u ki n (4) đ c th a mãn, h kín c a đ i t ng u n (1) v i tín hi u u n (5) đ c bi u di n b i: (6) th a mãn: (7) (8) Ý ngh a c a b đ ma tr n ph n h i c n tìm K b u n (5) có th đ c bi u di n thông qua d li u c a m t qu đ o h u h n c a đ i t ng u n (1) đ c kích thích đ qua ph ng trình (7) ng th i, ph ng trình (7) (8) c ng cho th y r ng, thay tìm ma tr n K đ xây d ng b u n ph n h i tr ng thái n đ nh (5), có th tìm đ c b u n t ng đ ng b ng cách tìm ma tr n ph ng trình (8) (10) ma tr n Q R ma tr n xác đ nh d ng Nh v y, toán đ c nghiên c u báo khác toán [1] hai m: th nh t, toán u n t i u v i phi m hàm m c tiêu (10); th hai, tốn u n có ràng bu c, miêu t b i t p (9) Chúng ta gi thi t r ng, kích thích h b ng tín hi u kích thích đ Ud,[0,T-1] v i b c n+1 thu đ c b d li u t ng ng V i gi thi t này, u ki n (4) đ c th a mãn i u n t i u v i LMI d a d li u Ph n s trình bày k t qu c a báo qua hai đ nh lý sau 3đ Trong k thu t bi n đ i đ ch ng minh tính xác đ nh d ng c a ma tr n, s d ng b đ ph bi n sau đây, có th tìm th y tài li u c b n v LMI, ví d tài li u [3] nh lý 1: Xét h (1) v i gi thi t M c c th a mãn N u t n t i ma tr n và h ng s cho: (11) B đ [3]: Xét ma tr n N u A ngh ch đ o đ c thì: N u C ngh ch đ o đ c thì: Trong đó: , và: v i 44 , , S 70 (04-2022) TẠP CHÍ ISSN: 1859-316X KHOA H C - CÔNG NGH KHOA HỌC CÔNG NGHỆ HÀNG HẢI JOURNAL OF MARINE SCIENCE AND TECHNOLOGY i) B u n ph n h i tr ng thái (5) s ti m c n h kín n đ nh ii) ng th i, ch n c a phi m hàm m c tiêu (10) t i m i th i m k Ch ng minh: Ta l n l đ nh lý: t ch ng minh hai ý c a i) Xét hàm Lyapunov cho h kín v i đ i t ng u n (1) v i b u n phàn h i (5) có d ng Vì ma tr n R Q xác đ nh d ng nên h kín s n đ nh khi: (12) Chú ý r ng, s d ng (6) t b đ 2, v trái c a b t đ ng th c (12) t ng đ ng v i: bi n đ i v ph i c a (12), s d ng (7) nh sau: (13) B đ [3]: Ellipsoid đ s n m đa di n: ch nh lý sau nêu cách t ng h p b u n t i u th a mãn u ki n ràng bu c c a tín hi u vào bi n tr ng thái, đ ng th i ch ng minh tính n đ nh c a h kín nh lý 2: Xét h (1) th a mãn gi thi t nêu m c B u n ph n h i tr ng thái (5) thu đ c b ng cách gi i toán t i u B ng 1, s n đ nh ti m c n h kín ng th i ch n c a phi m hàm m c tiêu J (10) U v i S=diag(R,Q) Nh v y, (12) v i m i k nên (12) t ng đ ng v i 0,4427 0,1067 0,9619 0,0046 0,7749 5,0000 3,7500 2,7830 2,0612 1,5273 1,1308 5,0000 24,8505 21,3512 15,3859 11,9903 8,2508 (14) (15) (16) ii) Chúng ta c ng hai v c a (12) t k đ n vô s thu đ c: So sánh v i (10) ta th y v ph i c a b t đ ng th c -J(x,u) v trái, h n đ nh ti m c n theo ch ng minh m c i) nên =0 V y -V(k) < J(x,u) hay phi m hàm m c tiêu b ch n b i V(k) v i m i k nh lý ti n đ đ xây d ng b u n t i u n đ nh ti m c n cho h , đ c nêu đ nh lý 70 (04-2022) X , S d ng bi n đ i Schur (b đ 3) cho b t đ ng th c ta s thu đ c (11) Nh v y, (11) th a mãn d n đ n (12) đ c th a mãn, t c h n đ nh ti m c n S c mô t b i: B ng D li u đ thi t k b u n ví d Vì v y, v ph i c a (12) tr thành: S d ng phép đ i bi n đ nh lý v i v i u ki n r ng đ ng th i , ta thu đ c d i Tuy nhiên, v n đ th a mãn ràng bu c cho tín hi u đ u vào tr ng thái ch a đ c xét đ n đ m b o ràng bu c c a tín hi u vào tr ng thái đ c th a mãn, c n b đ sau (17) Ch ng minh: i u ki n (15) (16) c a toán t i u (14-17) u ki n đ n đ nh ti m c n h kín nh nêu nh lý i u ki n (14) (17) liên quan đ n vi c th a mãn u ki n ràng bu c (9) đ c ch ng minh nh sau: S d ng (13) b u n (5), t p (9) có th vi t l i d i d ng nh sau: (18) Trong đó: Hi n nhiên r ng 45 TẠP CHÍ ISSN: 1859-316X KHOA HỌ CƠNG NGHỆ HÀNG HẢI KHOA H C - CÔNG NGH JOURNAL OF MARINE SCIENCE AND TECHNOLOGY M t khác, áp d ng bi n đ i Schur (b đ 3) cho (13), thu đ c hay Chú ý r ng, phép đ i bi n đ c s d ng Nh v y, (14) thi t l p ch n cho hàm Lyapunov ch n Bây gi , c n đ m b o r ng ellipsoid t o b i hàm Lyapunov ch n n m đa di n (18), u ki n ràng bu c ln đ c th a mãn i u đ c th c hi n b ng cách v n d ng b đ i u ki n t ng đ ng v i: (19) Áp d ng bi n đ i Trong đó: Shur (b đ 3) k t h p v i phép đ i bi n , ta thu đ c (17) Nh v y b u n (5) v i K tìm đ c t gi i toán t i u s n đ nh ti m c n h kín đ m b o th a mãn u ki n ràng bu c ng th i, theo nh lý 1, J(x,u) < V(k), theo ch ng minh nên ch n c a phi m hàm (10) Nh n xét: T ch ng minh ta th y, ch n c a phi m hàm m c tiêu Khi ta c c ti u hóa b ng gi i tốn t i u, ta đ ng th i c c ti u hóa phi m hàm m c tiêu J ph ng trình (10) Ví d k t qu mơ ph ng Chúng ta kích thích h b ng tín hi u kích thích đ v i T=5 Chúng ta thu đ c d li u: Chúng ta không s d ng mơ hình A, B đ thi t k b u n mà s d ng b ng d li u Gi i toán nh lý b ng toolbox CVX [7] v i u ki n ràng bu c |u| < 10, | |< 2.5 v i u ki n đ u x=[1.5,2] thu đ c K =[ 5.7331 -0.4938] Dùng b u n thu đ c đ mơ ph ng k t qu nh Hình 1, ta th y tín hi u u n bi n tr ng thái đ u n m gi i h n đ K t lu n Bài báo xây d ng m t ph ng pháp u n t i u có ràng bu c cho h n tính d ng mà mơ hình tồn ch a bi t rõ, ch d a d li u c a h đ c kích thích đ , b ng cách đ a v d ng LMI đ gi i b ng ph ng pháp Ph ng pháp xây d ng đ c ch ng minh ch t ch b ng toán h c minh h a qua m t ví d mơ ph ng đ n gi n Bài báo b c đ u c a nghiên c u m r ng sau này, cho h ng nghiên c u c a báo c ng nh h ng ti p c n u n d a d li u nói chung Chúng ta có th đ c m r ng tốn h th ng có nhi u đo ho c sai l ch mơ hình (bài toán u n b n v ng) tốn u n thích nghi cho h kín v i d li u thu th p online TÀI LI U THAM KH O Hình K t qu mơ ph ng tr ng thái tín hi u u n c a h Trong ph n m t ví d s đ c trình bày đ minh h a ph ng pháp thi t k b u n trình bày Mơ hình s d ng đ mơ ph ng h CSTR đ n gi n, n tính hóa xung quanh m t m làm vi c ([6]) có d ng (1), đó: 46 [1] De Persis, C Tesi, P Formulas for data-driven control: Stabilization, optimality, and robustness, IEEE Transactions on Automatic Control, Vol.65(3), pp.909-924, 2020 [2] Willems, J.C., Rapisarda, P., Markovsky, I., and De Moor, B.L A note on persistency of excitation, Systems & Control Letters, Vol.54(4), pp.325-329, 2005 [3] Stephen Boyd, Laurent El Ghaoui, E Feron, and V Balakrishnan, Linear matrix inequalities in system and control theory, Vol.15 of Studies in Applied Mathematics, Society for Industrial and Applied Mathematics (SIAM), 1994 [4] Hewing, L., Kabzan, J., and Zeilinger, M.N Cautious model predictive control using gaussian process regression, IEEE Transactions on Control Systems Technology, Vol.28(6), pp.2736-2743, 2020 S 70 (04-2022) TẠP CHÍ ISSN: 1859-316X KHOA HỌC CÔNG NGHỆ HÀNG HẢI JOURNAL OF MARINE SCIENCE AND TECHNOLOGY [5] Zanon, M & Gros, S Safe reinforcement learning using robust MPC, IEEE Transactions on Automatic Control, Vol.66(8), pp.3638-3652, 2021 [6] Zhang Longge and Yan Yan, Robust shrinking ellipsoid model predictive control for linear parameter varying system, Plos one, Vol.12(6), 2017 [7] Michael Grant, Stephen Boyd CVX: Matlab software for disciplined convex programming, version 2.0 beta http://cvxr.com/cvx, September 2013 S 70 (04-2022) KHOA H C - CÔNG NGH [8] Rossiter, J.A Kouvaritakis, B Modelling and implicit modelling for predictive control International Journal of Control, Vol.74(11), pp.1085-1095, 2001 [9] Nguy n Doãn Ph c: Lý thuy t u n n tính, NXB Khoa h c & K thu t, 2009 Ngày nh n bài: Ngày nh n b n s a: Ngày t đ ng: 07/01/2022 17/01/2022 22/01/2022 47 ... ta thu đ c d i Tuy nhiên, v n đ th a mãn ràng bu c cho tín hi u đ u vào tr ng thái ch a đ c xét đ n đ m b o ràng bu c c a tín hi u vào tr ng thái đ c th a mãn, c n b đ sau (17) Ch ng minh: i u... n: ch nh lý sau nêu cách t ng h p b u n t i u th a mãn u ki n ràng bu c c a tín hi u vào bi n tr ng thái, đ ng th i ch ng minh tính n đ nh c a h kín nh lý 2: Xét h (1) th a mãn gi thi t nêu m... li u cho h n tính b ng cách đ a v d ng h b t đ ng th c ma tr n (LMI) đ gi i, cho tr ng h p h lý t ng h có nhi u Tuy nhiên ch a báo nghiên c u v h u n n đ nh cho h có tr ng thái tín hi u đ u vào