Quy hoạh động thíh nghi bền vững ho hệ phi tuyến

1CHƢƠNG I: TỔNG QUAN CÁC NGHIÊN CỨU VỀ “QUY HOẠCH ĐỘNG THÍCH NGHI BỀN VỮNG”.... 71.5 RADP cho hệ thống kích thƣớc lớn với đặc tính không ổn định động.. w là tr ng không nh.. Các khái nin

B GIÁO D Ộ ỤC VÀ ĐÀO TẠ O

TRƯỜNG ĐẠ I H C BÁCH KHOA HÀ N I Ọ Ộ

BÙI TH H NG TH M Ị Ồ Ắ

K Ỹ THUẬT ĐIỀ U KHI N VÀ T Ể Ự ĐỘ NG HÓA

Hà N ộ i – Năm 2017

B GIÁO D Ộ ỤC VÀ ĐÀO TẠ O

TRƯỜNG ĐẠ I H C BÁCH KHOA HÀ Ọ N I Ộ

BÙI TH H NG TH M Ị Ồ Ắ

Chuyên ngành : K Ỹ THUẬT ĐIỀU KHIỂ N VÀ TỰ ĐỘNG HÓA

Hà N i ộ – Năm 2017

L ỜI CAM ĐOAN

án t t nghi Quy hoạch độn

TS.Đào Phương Nam

án này, tôi ch s d ng nh ng tài li c ghidanh m c tài li u tham kh o và không sao chép hay s d ng b t k tài li u nào

khác N u phát hi n có s sai ph m nào, tôi xin ch u hoàn toàn trách nhi m

Hà n i, Ngày 10 tháng 9

H c viên th c hi n

Bùi Thị ồ H ng Th m ắ

M C L C

LỜI CAM ĐOAN i

ii

vi

LỜI MỞ ĐẦU 1

CHƯƠNG I: TỔNG QUAN CÁC NGHIÊN CỨU VỀ “QUY HOẠCH ĐỘNG THÍCH NGHI BỀN VỮNG” 2

1.1 Tổng quan 2

1.2 Định nghĩa của RADP 4

1.3 ADP cho hệ thống tuyến tính, thời gian liên tục, chưa xác định 6

1.4 RADP cho hệ thống phức hợp tuyến tính một phần 7

1.5 RADP cho hệ thống kích thước lớn với đặc tính không ổn định động. 9

1.6 RADP cho hệ thống khuếch đại động năng 10

1.7 RADP cho hệ phi tuyến hoàn toàn 11

CHƯƠNG II: CƠ SỞ LÝ THUYẾT TỐI ƯU 15

2.1.1 Trường hợp thời gian tối ưu là hữu hạn 16

2.1.2 Trường hợp thời gian tối ưu là vô hạn 17

2.1.3 Tính ổn định của hệ kín 17

2.2 Thuật toán Kleinman và các tính chất liên quan 18

2.2.1 Phát biểu thuật toán 18

2.2.2 Ý nghĩa 20

2.3 Phương pháp quy hoạch động 20

2.3.1 Trường hợp hệ liên tục 20

2.3.2 Trường hợp hệ không liên tục 21

2.4

2.4.2 Điều khiển dự báo mô hình phi tuyến (NMPC) 27

3.1 Bài 28

4.1.3 41

-

4 CHƯƠNG V:CÁC ỨNG DỤNG 54

5.1 Áp dụng cho điều khiển chuyển động hệ một tay máy 54

5.2 Áp dụng cho hệ con lắc ngược. 56

65

KẾT LUẬN 67

TÀI LIỆU THAM KHẢO 68

DAP: Adaptive dynamic programming- Quy ho ng thích nghi

RDAP:RobustAdaptiveDynamicProgramming Quy ho ng thích nghi

b n v ng

HJB: Hamilton Jacobi Bellman

ARE: Algebraic Riccati Equation - i s Riccati

GAS: Global Asymtotic Stability - nh toàn c c

LQR: Linear Quadratic Regulator - u khi n ph n h i tr ng thái t

cho h tuy n tính v i hàm m c tiêu d

MPC: Model Predictive Control - u khi n d báo mô hình

NMPC: №nlinear Predictive Control - u khi n d báo mô hình phi

tuy n

DMPC: Decentralized Model Predictive Control - u khi n d báo mô

hình phân tán

DP: Dynamic Programming - Quy ho ng

EKF: Extended Kalma Filter - B l c Kalman m r ng

MHE: Moving Horizon Estimation

DANH M C HÌNH V Ụ Ẽ VÀ ĐỒ THỊ

Hình 1.1 C u hình h th u khi n d a trên ADP 4

Hình 1.2 RDAP v i h không ng 5

u khi n ph n h i tr ng thái t Hình 2.2: Mô t t m d báo Ny và t u khi n Nu 26

u trúc tri n khai thu t toán 29

thu t toán

ch kho ng (c B ng 4.1: Vai trò MHE trong NMPC 41

Hình 4.2 u khi n phi t p trung 49

Hình 5.1 H chuy ng m t tay máy 54

Hình 5.2 So sánh các giá tr hàm x p x 55

Hình 5.3 So sánh các biên d ng t 56

B ng 5.1 Các thông s c a h con l c 65

Hình 5.4.S h i t c a ma tr n P,K và các l i t hi u ch nh 66

DANH MỤ C B NG BI U Ả Ể B ng 4.1: Vai trò MHE trong NMPC 41

B ng 5.1 Các thông s c a h con l c 65

thu c vào c tham s ng h c không N i dung chính c a lu Quy h

động thích nghi b n v ng cho h phi tuy n cung c p m t cái nhìn t ng quan v – ề ữ ệ ế

nh ng báo cáo hi n th i góp ph n phát tri n lý thuy t RADP và nh ng ng d ng ti m

a nó trong k thu n và sinh h c

Do th i gian có h còn nhi u h n ch , khó v tài li

góp ý c a các th y cô và b c

Xin chân thành c

Sinh viên th c hi n

Bùi Th H ng Th m

ng quan các nghiên c u v ng thích nghi b n

CHƯƠNG I : T NG QU Ổ AN CÁC NGHIÊN C Ứ U V Ề “QUY

trình tóm t t v nh ng phát tri ntrong tình hình hi n nay, và nh ng phát tri n v RADP trong các h tuy n tính và

phi tuy n

1.1 T ổng quan

Quy ho ng thích nghi(vi t t t là ADP) là m t khía c nh sinh h c,

th ng th i gian n S trình bày chi ti t c a y u t toán h

S trình bày c a lý thuy t quy ho ng thích nghi g m ba ph n.Trong

learing n i ti ng trong lu n án ti n s c a mình Q- learing chia s nh ng tính

v ki m soát th i gian th c nghiên c u cho các h th

tích h

ng quan các nghiên c u v ng thích nghi b n

thông tin hi n th i mà không gi

i s Ricati (ARE) (cho h th ng ty n tính) Thi t k ph n h

lý thuy t ADP là dành cho các h th ng không theo th i gian, có ít nghiên c u

ng th i gian liên t c u này ch y u là do ADP s

u cho các h th ng th i gian liên t c so v i th

v y, nhi u k t qu c phát tri n cho các h th ng th i gian r i r c không th

m r ng m t cách chính th ng v i h th ng th i gian liên t c.Tuy nhiên, nh ng

liên t c thông qua k thu t phân bi t (discretization).Tuy nhiên s h i t và phân

các ch ng minh h i t cho các h th u khi n d a trên ADP b ng lý thuy t

i v i các h th ng tuy n tính th i gian liên t c, m t ph n v ng l c h

th ng(t c là ma tr u vào) ph nh chính xác H n ch

c lo i b hoàn toàn trong [4].M t bi n th phi tuy n c

th c tìm th y trong [7 ]

n ba trong s phát tri n c a lý thuy

nghiên c u liên quan ch t ch là làm th tính toán hi u qu c a các

ng quan các nghiên c u v ng thích nghi b n

t ph n tr ng thái S thích nghi c a lý thuy t ADP hi n t i v i k c

u khi n là không d dàng, b i vì h th c k t n i v i nhau r t cao.Chình c a m t h th u khi n d a trên ADP tiêu chu c trình bày tronghình 1.1

Các nghiên c u g v s phát tri n các bi n th c a lý thuy t ADP

xây d ng m t mô hình toán h c chính xác cho các h th ng v ng là m t

c cho m t s ng d ng k thu t và sinh h c c th

n và h th u v i s không

ng quan các nghiên c u v ng thích nghi b n

ng s d ng thu t ng ng h c thay th (unmodeled dynamicinstead)

Hình 1.2 RDAP vớ ệi h không n đ ổ ịnh động

ng T tài li u v u khi n phi tuy n hi i, i ta bi t r ng s có m

c a tính không ng t o ra v ki m soát thông tin ph n h i có nhthách th c trong b i c nh c a h th ng phi tuy m r ng ph m vi áp d ng

h p các công c t lý thuy u khi n phi tuy t k Lyaputhuy t u vào và các k thu t thu nh h phi tuy n B ng cách nàyRADP áp d ng r ng cho l p các h th ng h c không nh v i thông tin

Ngoài ra, RADP có th c áp d ng cho các h th ngchuy ng quy

mô l n.B ng cách tích h p m t phiên b n c nh lý cyclis-small-ga

s n nh b t bi n có th c b ng cách gán các ma tr n thích h p cho m

ng d i lên có t m quan tr ng trong th c ti

minh, h th

c nghiên c u thêm t m c a RADP S t n t i c

ho c phân tán các h th ng quy mô l n

ng quan các nghiên c u v ng thích nghi b n

1.3 ADP cho hệ thống tuy n tính, ế thời gian liên t ụ c, chƣa xác định

K0 sao choA-BK0 là Hurwiz Ti p theo, ta áp u0=-K0 u khi

v i e là m t nhi i tr ng thái thông tin vào trong [ti,ti+1] v ,l-1 và 0 là m t s l> i, ti+1 l n Kho ng [t] g n li n

v i nghiên c u và thông tin thu th k+1=R-1BTPk b

pháp lý thuy t LQR tiêu chu n và thu t toán l p trong [15 ]

ng quan các nghiên c u v ng thích nghi b n

K t qu y các chu i giao th c {Pk} và {Kk}h i t v i các

ARE trong lý thuy t LQR

Định lý 1: (Jiang and Jiang [4]) T u ki n PE trong e(t), gi s

nhiên ho c tín hi u bao g m t ng tín hi u hình sin v i các t n s

s d ng Ngoài ra, kho ng th i gian cho vi c thu th p d li u hi n th i ph

ng quan các nghiên c u v ng thích nghi b n

nghiên c u v nh c a ( 6)-(1.8), chúng ta hãy xem xét h1

th u khi là hàm tr ng thái, u i là tín hi u vào,

Giả đị nh 5: H th ng con w có thu c tính SUO v c tính không và

vô t n W: R+, và 2 h ng s c1>0, c2>0

= 1 2 + C-C 2 2(1.12)

V i m i W và y

ng quan các nghiên c u v ng thích nghi b n

bày trong ph n 2 v i u0 c thay b ng u0+

Định lý 7:(Jiang and Jiang [5]) Theo gi nh 5 và 6, gi s nhi u e(t)

m g c Ngoài ra, s d ng các gi i h n trên c a B,D,H và G-1

ng quan các nghiên c u v ng thích nghi b n

c 1:

(1.17)

th ng w là nhi u), lu u khi n (1.20) là t c Ngoài ra s d

p trong m c này t o ra m t b u khi n t

c l n v i c u trúc tam giác th1.6 RADP cho h ệ thống khuếch đạ ộng năng i đ

ng quan các nghiên c u v ng thích nghi b n

Định lý 10:(Jiang and Jiang [6]) i v i b t k i(t) s

, v i Qi +1) Ci+ iI và > I

s :

(1.24) = * và = * khi * = *, và

1.7 RADP cho h phi tuyệ ến hoàn toàn

Trong ph n này ta xét lý thuy t RADP cho h phi tuy n hoàn toàn Còn

ng quan các nghiên c u v ng thích nghi b n

nh và r>0 là h ng s Gi s r ng có tínkhi n u=u0(x) th a mãn, h th ng (1.26) nh hoàn toàn và giá tr (1.27) là xác

ng quan các nghiên c u v ng thích nghi b n

ng quan các nghiên c u v ng thích nghi b n

Định lý 13: (Jiang and Jiang [7]).Theo gi nh 11 và 13, v i m

Định lý 14 :(Jiang and Jiang [7]). Theo gi nh 11 và 12, v i m i >0

tùy ý, t n t i s *, và sao cho:

toán Kleinman m b o s t n t i và h i t c a các nghi m ARE trong quá trình

Predictive Control) Các khái ni

này

2.1 Điều khi n ph n hể ả ồ i trạng thái t i ố ƣu (LQR)

Bài toán 2.1:

1Hình 2.1 Cấu trúc điều khiển phản hồi trạn thái tối ƣu LQRg

Cho h tuy n tính tham s h ng:

dx

Ax Bu

dt  

((2.1)

2.1.1 Trường hợp th i gian tờ ối ưu là hữ u hạn

thi t k t các công th c (2.5), (2.6) tính H21, H11và cu i cùng là công th c (2.7)

Tuy nhiên ma tr n là ma tr n hàm, t c là các ph n t c u là hàm s nh các ma tr n con H11 ,E21 tính P(t) r

nhi u ph n t ) và không mang tính h th

B u t quan h gi a bi ng tr ng thái và bi n tr ng thái k t h p v

lý thuy t t

Do tính ch t c a bi ng tr ng thái

= (2.8)

Riccati là phi tuy n và có nhi u nghi m Nghi m này có nh ng

Giá tr c a hàm m c tiêu:Jmin(x0,u)=

2.1.3 Tính ổn định c a h kín ủ ệ

2.2 Thuật toán Kleinman và các tính ch t liên quan ấ

2.2.1 Phát biểu thu t toán ậ

(2.10)

ng phép l p : (2.11) (2.12)

c ch n sao cho ma tr n A-BK0 có các tr riêng có ph n th c âm

Thì các tính ch t sau th a mãn:

1) k+1<Pk 0

2)

3) Ak có các tr riêng có ph n th c âm

nh b u khi n ph n h i tr ng thái t*=u(x,t)

x0 t i xT trong kho ng th i gian T sao cho hàm m c tiêu Q cho b i

(2.13)

c tiên, t n i dung nguyên lý t

Thu t toán 1.2: Thu t toán quy ho ng cho h liên t c

c a tín hi u khi n t v i x và , nói cách khác là xách

nh quan h : 18) (22) Thay quan h (2.18) v

n phân cho cùng m t bài toán t c là bài toán

nh t ng quan h uk*= u(xk) c n ph i có gi a tín hi u khi n

uk và tr ng thái t k b ng cách l pcông th c bi u di n giá tr hàm m c tiêu

ph i có:

lý thuy t t

xk+1 k*= u(xkc quan h u) c a tín hi u khi n t

v i tr ng thái xk theo quy t c

(2.20) biên B

Công th c (2.20) v m xu t phát (2.21) t o thành công c giúp ta xây

d k*= u(xknh quan h u) ph i có gi a tín hi u khi n

Và hàm Bellman BN-1 ch ph thu c vào xN-1 Trong

lý thuy t t

k và ch ph thu c vào , t c là, l i có các hàm: và ,

Chú ý: N u bài toán 2.3 không có ràng bu c U cho tín hi u khi tìtheo công th c (2.21), ta có th s d u ki n c n:

2.4.Điều khi n d báo MPC ể ự

u khi n d báo mô hình (MPC) b u t cu i nh

u khi n d a trên vi c s d ng mô hình c

n th ng và MPC là cùng s d ng khái ni m hàm m thàn

u khi n Khái ni m d

u khi n phù h p

MPC áp d ng r t thích h p cho h tuy n tính do mô hình s d ng tuy n

tính nên vi ng các tr ng thái ti p theo c a bi n tr ng thái tr

s l n kéo theo th i gian tính toán r c bi t v i h nhi

ph m vi ng d ng b thu h p vào các h ng h c ch m

MPC bao g m mô hình tuy n tính và phi tuy n M i lo

mô hình phù h p Ví d p mô hình tuy n tính (Hàm truy ng xun

) cho vi

c ng M t khác do các quá trình trong th c t là phi tuy n nên không th tìm

c mô hình tuy n tính phù h

nh ng bài toán yêu c u vi c ng các bi n quá trình chính xác

2.4.1 Điề u khiển dự báo mô hình tuy n tính ế

công trình nghiên c u v MPC cho h tuy c áp d ng r ng rãi M t s

ukhi n n

ng cho mô hình liên t

a dãy tr n c th hi n ch , mgk ph n ánh ng khác nhau c a nh ng giá tr u vào trong quá kh t i giá tr ( )

i v i m t quá trình nh, dãy tr ng s d n ti n t

là mô hình FIR(Finite Impulse Response):

tr u vào, ma tr u ra và ma tr n liên thông Các ph n t c a chúng là

h ng s i v i mô hình tham s h ng và là hàm theo th i v i mô hìntham s bi n thiên Quan h vào ra hay vào tr ng thái tính theo công th c

sau:

1 1 0 1 1 0

2.4.2. Điều khiển dự báo mô hình phi tuy n (NMPC) ế

ng l c h c phi tuy n có m t h u h t các ng d ng k thu t Phát tri n

mô hình phi tuy n có th r

ràng nào là phù h i di n cho các quá trình phi tuy n t ng quát Trên th c

vào-u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

CHƯƠNG 3: ĐIỀ U KHI N T Ể ỐI ƯU CHO HỆ TUYẾN TÍNH

BẤT BIẾN THEO THỜI GIAN KHÔNG BIẾT TRƯỚC

and approximate dynamic programming (RLADP) ng s d ng

Bài toán 3.1: Cho h tuy n tính tham s h ng (2.1) A và B là hai ma tr n không

bi c Hãy thi t k lu u khi n ph n h i tr ng thái:u   Kx Sao cho

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

Rõ ràng vi c không bi t các ma tr n A, B khi

tìm K

* 3.2 Thuật toán x ửlý

khi n u và bi n tr ng thái c hoàn toán chính xác

3Hình 3.1:Cấu trúc triển khai thuật toán

u vào r: là tín hi

Trong m i kho ng th i gian ta thành l phai dãy ma tr n Pk và Kkth a mãn

các tính ch t c a thu t toán Kleinman

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

1 1

ng minh trong thu t toán Kleinman Vi c gi

Pk và Kk+1 là không th c hi c dohai ma tr n A B không bi c.Vi t l

d x t P x t

x P x x P A x B x u P x dt

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

k t

t

k t

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

Rank X  n n mn  k N

Chứng minh:

Ta có:

1 0

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

F vec K

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

P vec K 

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

p trong thu t toán Klk

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

Hình 3.2 Sơ đồ thuật toán

u khi n t tuy n tính b t bi n theo th i gian không bi c tham s

K t lu n:

không ch ng c a nhi u và không có sai l ch tính toán

Thu t toán thcó tínhgiá tr c a b ph n h i tr ng thái t

không c n bi c các tham s c a h th ng i v i h c tính m t n

nh nhi 0 l n khó dò tìm) Ngoài ra thu t c ma tr n K

toán còn có th áp d ng m t cách online hay offline b i nó gi ng v i b tính

toán Ch c n các d li u h th ng, hoàn toàn có th c giá tr t

m m nh so v i nh ng thu t toán khác

Tín hi u u K x r0  u khi n u, trong bài này ta ch ntín hi u ng u nhiên có kì v ng b ng 0 N u u d ng vector thì ma tr n các ph n t

Trong th c t , không có h nào hoàn toàn tuy n tính và không ch u tác

ng c a nhi u, n i dung thu t toán 2 c n nh tính b n v ng c a h th ng khi ch u sai l ch mô hình và nhi