Ly thuyet loc toi uu doi voi qua trinh gaussian 115629

Các kiến thức chuẩn bị

Biến ngẫu nhiên: Giả sử ( , F) là không gian đo đã cho,

Hàm thực X  X ( )  xác định trên  lấy giá trị trên R gọi là hàm

F- đo được hoặc biến ngẫu nhiên nếu

(với B (R) là  - đại số các tập Borel của R) Định nghĩa2:

Hàm thực X  X ( )  xác định trên  và lấy giá trị trong R      ;  sao cho   : ( ) X   B   X  1 ( ) B  F với mỗi B  B   R được gọi là biến ngẫu nhiên suy rộng.

Quá trình ngẫu nhiên

Cho không gian xác suất (  , F, P) và T   0,   Họ các biến ngẫu nhiên

 X t T t ,   được gọi là quá trình ngẫu nhiên với thời gian liên tục t T.

Trong trường hợp T=N= 0,1, 2,  , họ ( , X t T t  ) được gọi là quá trình ngẫu nhiên với thời gian rời rạc.

X(t, ω) phụ thuộc hai biến t ) phụ thuộc hai biến t T, ω) phụ thuộc hai biến t Ω Với mỗi t cố định, X(t, ω) phụ thuộc hai biến t ) là hàm đo được theo ω) phụ thuộc hai biến t Với mỗi ω) phụ thuộc hai biến t cố định X(t, ω) phụ thuộc hai biến t ) được gọi là quỹ đạo hay hàm chọn của quá trình ngẫu nhiên. Định nghĩa 2:

Hai quá trình ngẫu nhiên  X t  và   Y t , tT cùng xác định trên không gian xác suất (Ω, F, P) được gọi là tương đương ngẫu nhiên nếu chúng trùng nhau hầu khắp nơi với mỗi t T Nghĩa là P X  t  Y t   0 Quá trình  Y t T t ,   được gọi là quá trình cải tiến của quá trình ( , X t T t  ) Định nghĩa 3 :

Quá trình ngẫu nhiên ( , X t T t  ) xác định trên TxΩ được gọi là đo được nếu với bất kỳ tập borel B B (R) ta có

Trong đó B (T) là б- đại số borel trên T=  0,  . Định nghĩa 4:

Quá trình ngẫu nhiên ( , X t T t  ) được gọi là phù hợp với họ б- đại số F t , t T, nếu với mỗi tT, biến ngẫu nhiên Xt là F t -đo được Định nghĩa 5:

Quá trình ngẫu nhiên ( , X t T t  ) được gọi là đo được tiến nếu với mỗi tT

F t x B ( 0, t ) Trong đó B là tập borel trên R, và B ( 0, t  ) là б -đại số các tập borel trên  o t ,  Rõ ràng, mọi quá trình ngẫu nhiên đo được tiến đều là đo được và phù hợp với họ б- đại số F t , tT. Định nghĩa 6:

Quá trình ngẫu nhiên ( , X t T t  ) với X0 là F o -đo được, là dự báo được nếu nó đo được với б -đại số trên  0,   x  sinh bởi các tập tích có dạng  s t ,  x A,

Quá trình ngẫu nhiên Xt, tT được gọi là liên tục ngẫu nhiên tại to T, nếu đối với   0 có: P X   s  X t o      0 , s  t o

Nếu quá trình ngẫu nhiên liên tục tại mọi điểm của tập S T  thì ta nói nó liên tục ngẫu nhiên trên S. Định nghĩa 8:

Quá trình ngẫu nhiên ( , X t T t  ) được gọi là liên tục (liên tục phải, liên tục trái) trên S  T nếu hầu hết quỹ đạo của nó liên tục (liên tục phải, liên tục trái). Nghĩa là,  N có P(N)=0 sao cho  N, quỹ đạo Xt(), tS là liên tục(liên tục phải, liên tục trái). Định nghĩa 9:

Nếu tồn tại giới hạn theo nghĩa xác suất (h.c.c): lim 0 t h t h

Thì giới hạn đó được gọi là đạo hàm của quỹ đạo của quá trình ngẫu nhiên( Xt, tT) theo xác suất (h.c.c) và ta nói quá trình (Xt, tT) khả vi tại t.

Kí hiệu: X ' t hoặc dX t dt

Kỳ vọng điều kiện

Định nghĩa 1: Giả sử x là biến ngẫu nhiên xác định trên không gian xác suất

( , , )  F P và tồn tại kỳ vọng E(x), G là  -đại số con của  -đại số F kỳ vọng điều kiện của biến ngẫu nhiên x đối với  -đại số G đã cho là đại lượng ngẫu nhiên, kí hiệu là E x G ( / ) đo được đối với  -đại số G và thỏa mãn

  đối với bất kì B G  Định nghĩa 2: xác suất điều kiện xác suất điều kiện của biến cố A với điều kiện  -đại số G đã cho là đại lượng ngẫu nhiên P A G ( / ) đo được đối với  - đại số G sao cho  B P A G dP ( / )  P A (  B B G ), 

I.4 Martingale Cho không gian xác suất ( , , )  F P và họ ( ), F t T t  là họ không giảm các  -đại số con của F quá trình X  ( , ), x F t T t t  được gọi là martingale ( Submartingale, Supermartingale) nếu:

1) xt là Ft đo được

3) Với s t E x F  , ( / t s )  x E x F s ( ( / t s )  x E x F s , ( / t s )  x s ) Định nghĩa này tương đương với mệnh đề:

X  x F t T  là martingale (submartingale, supermartingale) nếu A F  s tùy ý (ss,

Từ (3.41) và (3.54) ta suy ra

Khi đó  ( , ) s t thỏa mãn phương trình (với t>s)

Thì phương trình (3.40) có thể viết lại là

Nghiệm của phương trình này được xác định bởi (3.52) và (3.53)  Định lý III.9 Nếu phân phối điều kiện   ( ) s  P (  s   / F o  ) là phân phối chuẩn, thì phân phối   ( , ), s t t  s cũng là phân phối chuẩn.

Chứng minh trước hết ta xét hàm đặc trưng

Trong đó z  ( , , ), z 1 z k z   ( , , ) z  1 z  k Theo kết quả của định lý III.4 thì

Phân phối P (  t    / , s F t  ) là Gaussian, N m t s (  s ( , ),   s ( , )) t s do bổ đề 3.5,

( , ) s t t s s s m t s       , và covariance   s ( , ) t s không phụ thuộc vào

Hơn nữa phân phối điều kiện P (  s   / F t  ) là Gaussian (do định lý III.6) do đó, theo (3.57) phân phối điều kiện P (  s    , t   / F t  ) cũng là Gaussian ; cùng với phân phối chuẩn của P (  t   / F t  ) suy ra phân phối

 cũng là phân phối chuẩn.

 Định lý III.10 Nếu phân phối điều kiện   ( ) s  P (  s   / F s  ) là phân phối chuẩn, thì các tham số m s t   ( , ),    ( , ) s t của phân phối

 với mọi t>s được xác định bởi mối quan hệ

Chứng minh phân phối điều kiện P (  s    , t   / F t  ) là phân phối chuẩn do đó theo kết quả của định lý tương quan chuẩn,

Từ (3.61), (3.62), (3.60) và (3.63) suy ra (3.58) và (3.59)  Định lý III.11 Cho các điều kiện từ (3.6) đến (3.9) được thỏa mãn khi đó các mô men m s t   ( , ),    ( , ) s t thỏa mãn các phương trình (với s-  và inf ( , ) V J V x đạt được tại vec tơ

Dễ thấy J V x ( , )   x P t x * ( ) Để chứng minh (14.86) ta xét hệ phương trình đại số (với V=(V1, …, Vr))

(3.131) Tức là hệ phương trình

Theo bổ đề III.3, hệ này giải được và vec tơ V  xác định bởi (3.126) là một nghiệm của nó Do vậy J(V, x) đạt giá trị nhỏ nhất tại vec tơ V  , và để chứng minh (3.129) ta cần chứng minh x P x x * ( )  J V x ( , )  tức là

(14.90) và (14.59) xác định ma trận P(t) 

Bây giờ ta trở lại chứng minh định lý III.15

Từ (14.91) Cho t chạy từ 0 đến T-1 và m  0  m ta tìm được

(3.135) Mặt khác, cho u=(u0, …, uT-1) là điều khiển bất kỳ thỏa mãn (3.108) thì theo bổ đề 3.6 và 3.7, ta có u * * t+1 1 t

So sánh (3.135) và (3.136) ta suy ra điều khiển u   ( , , u  0 u  T  1 ) là tối ưu.

III.5.2.2 với thời gian liên tục.

Trong mục này những kết quả nhận được trong mục III.5.2 đối với bài toán điều khiển tuyến tính (áp dụng cho trường hợp thông tin không đầy đủ) với dạng toán chỉ số được mở rộng cho trường hợp thời gian liên tục.

Giả sử quá trình điều khiển quan sát bộ phận

( , ) [( ( ), , ( ); ( ), , ( )],0 t T    t  k t  t  l t   Được cho bởi các phương trình ngẫu nhiên: t 1

Các ma trận ( ), ( ), ( ), ( ), ( )c t a t b t A t B t có số chiều lần lượt là (k r k k k k l k l l ),(  ),(  ),(  ),( ) các phần tử của nó ij( ), ( ), ( ), ( ), ( )ij ij ij ij c t a t b t A t B t là hàm xác định đối với thời gian, với

2 ij ij ij ij ij

Giả sử các phần tử của ma trận ( ( ) ( ))B t B t *  1 bị chặn đều các quá trình wiener

1 11 1k 2 21 2l w (w ( ), , w ( )), wt t (w ( ), , w ( )),0t t  t T độc lập và không phụ thuộc vào vec tơ Gausian

Vec tơ u t [u ( , ), , ( , )] 1 t  u t r  được gọi là điều khiển tại thời điểm t quá trình đo được u t j ( , ), j1, , ,r thỏa mãn

Và u t j ( , ) là F t   đo được. Điều khiển u( ),0u t  t T, thoả mãn hệ phương trình cho bởi (3.137) có nghiệm mạnh duy nhất thỏa mãn các điều kiện (3.138) được gọi là điều khiển chấp nhận được. Để tìm ra tiêu chuẩn tối ưu xét h, H(t) là các ma trận đối xứng xác định không âm cỡ (k k ) Kí hiệu R(t) là ma trận vuông xác định dương đối xứng cỡ(r r ) Giả sử các phần tử của ma trận H(t)và R(t) là hàm bị chặn đo được của t.

(3.139) Với điều khiển chấp nhận được u( ),0u t  t T Điều khiển chấp nhận được u được gọi là tối ưu nếu

Trong đó ,  t t là các quá trình trong điều khiển này và xác định bởi hệ phương trình cho bởi (3.137) Định lý III.16: trong lớp các điều khiển chấp nhận được điều khiển tối ưu

 ( ),0 , u u  t T tồn tại và được xác định bởi công thức

Trong đó P t( ) P t ij ( ) là ma trận đối xứng xác định không âm cỡ (k k ),0 t T , là nghiệm của phương trình Ricati:

Và vec tơ m t được xác định bởi hệ phương trình

Và D t ij ( ) là phần tử của ma trận

Chứng minh với giả thiết trên, ta có

Bằng cách đã dùng chứng minh Định lý III.15, ta lập được phương trình

Hàm  t u không xác định tại điều khiển u và đồng nhất với hàm  t thỏa mãn phương trình (3.143) do đó

Trong đó m t u ,0 t T nhận được từ phương trình

Với quá trình  t u ,0 t T,xác định bởi (3.136)

Là quá trình wiener từ (3.149), (3.180) suy ra

 Để giải quyết bài toán ban đầu ta có thể giải quyết bài toán phụ sau:

Cho không gian xác suất ( , , ) F P , với ( ),0F t  t T là họ không giảm các

  đại số con của F, z=(zt, Ft) là quá trình wiener r chiều, và u=(ut, Ft) là quá trình r chiều thỏa mãn điều kiện

Trong đó ( ( , ), , ( , ))u t 1  u t r  u t ta liên kết điều khiển với quá trình chi phối

Trong đó ( ), ( ), ( ), ( )c t a t A t B t là các ma trận ở trên, và   0 u m 0

Ta gọi điều khiển u( , ),0u F t t  t T, là điều khiển chấp nhận được nếu nó thỏa mãn (3.152) và phương trình (3.153) có nghiệm mạnh duy nhất.

Ta chứng minh trong bài toán này điều khiển tối ưu u ( , )u F t t xác định bởi công thức

Trong đó  t ,0 t T là nghiệm của phương trình

Trong đó P(t) được xác định bởi (3.141) và p(t) được xác định bởi (3.145)

Bổ đề 3.8: hàm Q t x( , )x P t x * ( )  p t( ) là nghiệm của phương trình vi phân

Chứng minh: Do ma trận ( ),0R t  t T , xác định dương dạng toàn phương J u t( ; )u R t u u c t grad J u t * ( )  * * ( ) x ( ; ) 0 khi

Nhưng grad Q t x x ( , ) 2 ( ) P t x (3.159) suy ra u x t ( ) R t c t P t x  1 ( ) ( ) ( ) * (3.160) theo (3.141) và (3.157),

(3.159)-(3.162) cùng với đẳng thức ( ; ) min ( ; )

Q t x x P t x p t thỏa mãn phương trình (3.158) Bổ đề được chứng minh xong.

Ta giải quyết bài toán phụ : điều khiển xác định bởi (3.155) là tối ưu.

Cho u t  ( ( ), , ( )),0 u t 1 u t r   t T là điều khiển chấp nhận được và

Từ (3.158) và bất đẳng thức J u t ( ; )   J u t ( ; ) suy ra

  (3.165) Áp dụng công thức I tô vào Q t ( , )   t ta nhận được

Lấy kỳ vọng toán theo 2 vế của (3.167) với    0 m 0 , ta được

So sánh (3.168) và (3.169) ta suy ra

V u T  Q m  V u T (3.170) Điều khiển u  t xác định bởi (3.155) là chấp nhận được khi phương trình lọc cho bởi (3.156) có nghiệm, đó là nghiệm mạnh duy nhất Khi (3.150) được thỏa mãn thì từ (3.170) suy ra điều khiển u  là tối ưu

Chứng minh định lý III.16 Xét quá trình w (w , ),0 u u u t F t  t T

Theo (3.149) và (3.136) thì  t u  m t u   t 0  m t 0 với xác suất 1 Do đó từ (3.148) quá trình w u t  w 0 t với xác suất 1, do đó phương trình (3.149) có thể viết lại thành: dm t u  [c(t)u t  a t m ( ) t u ]dt+  t A t B t * ( )( ( )) *  1 d w 0 t

Cho u là điều khiển chấp nhận được bất kỳ, và cho  u  ( ),0  t u   t T là quá trình liên hợp trong đó { ; , s u } u

F  F  z  và cho U là lớp các điều kiện chấp nhận được

F t  là độ đo tại mọi t và với mọi u : u w w 0

Thì điều khiển u  cho bởi (3.155) thuộc vào U với mọi u Do đó,

V u T  V u T với mọi u U  , và đặc biệt V u T ( ; )   V u T ( ; ) Do điều khiển u là tuỳ ý nên điều khiển u  là tối ưu.

Từ (3.144) và phương trình V u T ( ; )   Q (0, m 0 )  m P 0 * (0) m 0  p (0) ta suy ra điều phải chứng minh.