Bài toán lọc dừng tối ưu và điều khiển tối ưu quá trình ngẫu nhiên

ĐẠI HỌC QUỐC GIA HÀ NỘI NGUYỄN THẮNG ĐƯỜNG Bài toán lọc, dừng tối ưu điều khiển tối ưu quỏ trỡnh ngu nhiờn luận văn thạc sĩ TON HC Hµ néi - 2012 ĐẠI HỌC QUỐC GIA HÀ NỘI NGUYỄN THẮNG ĐƯỜNG Bài toán lọc, dừng tối ưu điều khiển tối ưu trình ngẫu nhiên Mã số : 60 46 15 luận văn thạc sĩ TON HC Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng Hµ néi - 2012 Mục lục Một số kiến thức chuẩn bị 1.1 Một số kiến thức trình ngẫu nhiên 1.1.1 Quá trình ngẫu nhiên 1.1.2 Chuyển động Brownian 1.1.3 Tính chất chuyển động Brownian 1.2 Tích phân Itô 1.2.1 Tích phân Itơ 1.2.2 Một số tính chất tích phân Itơ 1.3 Tích phân ngẫu nhiên công thức Itô 1.4 Phương trình vi phân ngẫu nhiên 1.5 Một số ví dụ Bài toán lọc 2.1 Đặt vấn đề 2.2 Bài toán lọc tổng quát 2.2.1 Phát biểu toán lọc tổng quát 2.2.2 Giải toán lọc tổng quát 2.3 Bài toán lọc Kalman-Bucy 2.3.1 Phát biểu toán 2.3.2 Giải toán lọc Kalman-Bucy 2.4 Một số ví dụ Bài toán dừng tối ưu 3.1 Đặt vấn đề 3.2 Bài toán dừng tối ưu 3.3 Các bước giải toán 3.3.1 Bước 3.3.2 Bước 3.3.3 Bước 3.4 Ví dụ minh hoạ 3.5 Ví dụ áp dụng thực tế 4 5 5 7 10 16 16 16 16 17 18 18 19 30 36 36 36 37 37 38 41 45 46 Điều khiển tối ưu hệ ngẫu nhiên 51 4.1 Đặt vấn đề 51 4.2 Bài toán điều khiển tối ưu 52 4.3 4.4 4.5 Phương trình Hamilton-Jacobi-Bellman 53 Ví dụ minh hoạ 58 Ví dụ áp dụng thực tế 60 A Lời giải số tập chương 63 Lời mở đầu Xác suất thống kê phận toán học nghiên cứu tượng ngẫu nhiên, lĩnh vực toán học ứng dụng Ngày nay, Xác suất thống kê trở thành ngành tốn học lớn, chiếm vị trí quan trọng lý thuyết ứng dụng Nó có vai trị quan trọng vật lý phạm vi khác khoa học tự nhiên, kỹ thuật quân sự, ngành kỹ thuật khác nhau, kinh tế học Lý thuyết trình ngẫu nhiên lý thuyết quan trọng xác suất thống kê Q trình ngẫu nhiên xem hàm ngẫu nhiên mô tả hàm ngẫu nhiên thường thông qua phương trình vi phân ngẫu nhiên Tính tốn ngẫu nhiên phục vụ đắc lực đóng vai trị then chốt nghiên cứu hàm ngẫu nhiên nói chung phương trình vi phân ngẫu nhiên nói riêng Bài toán lọc, dừng tối ưu, điều khiển tối ưu q trình ngẫu nhiên thuộc vào loại tốn có quan hệ mật thiết với ứng dụng Cơ sở để để giải tốn tính tốn ngẫu nhiên Vì lý hướng dẫn GS TSKH Đặng Hùng Thắng em chọn đề tài: "Bài toán lọc, dừng tối ưu điều khiển tối ưu trình ngẫu nhiên" Luận văn em gồm phần mở đầu, phần kết luận bốn chương: •Chương 1: Một số kiến thức chuẩn bị Chương nhằm giới thiệu tích phân Itơ, cơng thức vi phân Itơ, phương trình vi phân ngẫu nhiên Đây kiến thức sở chuẩn bị cho nội dung chương 2,3,4 •Chương 2: Bài tốn lọc Chương giới thiệu toán lọc, cách giải toán lọc Kalman-Bucy •Chương 3: Bài toán dừng tối ưu Chương giới thiệu toán dừng tối ưu, bước giải tốn dừng tối ưu •Chương 4: Bài tốn điều khiển tối ưu hệ ngẫu nhiên Chương giới thiệu tốn điều khiển tối ưu, phương trình Hamilton-Jacobi-Bellman, cách giải toán điều khiển tối ưu Tuy nhiên, trình độ thời gian có hạn nên luận văn khơng thể tránh khỏi thiếu sót Em mong nhận góp ý phê bình thầy, để luận văn em hồn thiện Em xin chân thành cảm ơn tới thầy, khoa Tốn-Cơ-Tin, mơn Xác suất-Thống kê Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH Đặng Hùng Thắng tận tình bảo, giúp đỡ em hoàn thành luận văn Chương Một số kiến thức chuẩn bị 1.1 1.1.1 Một số kiến thức trình ngẫu nhiên Quá trình ngẫu nhiên Định nghĩa 1.1 Một trình ngẫu nhiên họ biến ngẫu nhiên {Xt }t∈T phụ thuộc tham số t ∈ T không gian xác suất (Ω, F , P) T tập đường thẳng thực, tức T thuộc tập sau: (−∞, +∞), [a, +∞), (−∞, b], [a, b], [a, b), (a, b], (a, b) Chú ý với t ∈ T ta có biến ngẫu nhiên ω → Xt (ω ); ω ∈ Ω Đồng thời với ω ∈ Ω ta có hàm t → Xt (ω ); t ∈ T Hàm phân phối trình ngẫu nhiên X = {Xt }t∈T hàm đo µt1 ,t2 , ,tk xác định không gian Rnk , k = 1, 2, ,: àt1 ,t2 , ,tk (F1 ì F2 ì × Fk ) = P[Xt1 ∈ F1 , , Xtk ∈ Fk ]; ti ∈ T F1 , , Fk tập Borel Rn Định lý 1.1 Với t1 , t2 , , tk ∈ T hoán vị σ {1, 2, , k}, cho họ độ đo xác suất νt1 ,t2 , ,tk Rnk thoả mãn νtσ(1) ,tσ(2) , ,tσ(k) (F1 × F2 × × Fk ) = νt1 ,t2 , ,tk (Fσ −1 (1) × × Fσ −1 (k) ) νtσ(1) , ,tσ(k) (F1 × × Fk ) = νt1 , ,tk ,tk+1 , ,tk+m (Fσ −1 (1) × × Fσ −1 (k) × Rn × × Rn ) Khi ln tồn không gian xác suất (Ω, F , P) trình ngẫu nhiên {Xt } với Xt : Ω → Rn thoả mãn νt1 ,t2 , ,tk (F1 × F2 × × Fk ) = P[Xt1 ∈ F1 , , Xtk ∈ Fk ]; ti ∈ T với ti ∈ T, k ∈ N tập Borel Fi Định nghĩa 1.2 Cho {Xt } {Yt } q trình ngẫu nhiên khơng gian (Ω, F , P) Khi ta nói {Xt } {Yt } P({ω ; Xt (ω ) = Yt (ω )}) = với t 1.1.2 Chuyển động Brownian Năm 1828 Robert Brown quan sát chuyển động tưởng chừng không theo quy luật hạt phấn hoa Chuyển động giả thiết giống chuyển động hạt chất lỏng đồng chất Biểu diễn chuyển động người ta sử dụng trình ngẫu nhiên Bt (ω ) để hạt phấn hoa ω thời điểm t Ta xây dựng {Bt } định lý Kolmogorov với độ đo xác suất {νt1 ,t2 , tk } Với x ∈ Rn ta xác định n p(t, x, y ) = (2πt)− exp(− |x − y|2 ) với y ∈ Rn , t > 2t Nếu ≤ t1 ≤ t2 ≤ ≤ tk xác định độ đo {νt1 ,t2 , tk } Rnk p(t1 , x, x1 )p(t2 − t1 , x1 , x2 ) p(tk − tk−1 , xk−1 , xk )dx1 dxk νt1 ,t2 , tk (F1 × × Fk ) = F1 × ×Fk Chúng ta sử dụng ký hiệu dy = dy1 dyk độ đo Lebesgue p(0, x, y )dy = δx (y ) Từ p(t, x, y )dy = với t ≥ theo định lý Kolmogorov tồn không gian xác Rn suất (Ω, F , Px) trình ngẫu nhiên {Bt } Ω có hàm phân phối {Bt } Px (Bt1 ∈ F1 , , Btn ∈ Fn ) = p(t2 − t1 , x1 , x2 ) p(tk − tk−1 , xk−1 , xk )dx1 dxk F1 × ×Fk Q trình gọi chuyển động Brownian bắt đầu x (quan sát ban đầu Px (B0 = x) = 1) Quá trình Bt = (Bt(1) , , Bt(n) ) gọi chuyển động Brownian n-chiều trình {Bt(j) }; t ≥ 0, ≤ j ≤ n độc lập với chuyển động Brownian 1-chiều 1.1.3 Tính chất chuyển động Brownian Bt trình Gaussian tức với ≤ t1 ≤ ≤ tk biến ngẫu nhiên Z = (Bt1 , , Btk ) ∈ Rnk có phân phối chuẩn Bt có số gia độc lập, tức Bt1 , Bt2 − Bt1 , , Btk − Btk−1 độc lập với ≤ t1 < t2 ta có: P[ sup [|Mt | ≥ λ] ≤ 0≤t≤T λp E[|MT |p ] Tính chất Cho f ∈ N (0, T ) Giả sử tồn t-liên tục f thoả mãn: t f (s, ω )dBs(ω ); ≤ s ≤ T Khi tồn trình ngẫu nhiên liên tục Jt (Ω, F , P) thoả mãn: t f dB ] = với ∀t : ≤ t ≤ T P[Jt = 1.3 Tích phân ngẫu nhiên cơng thức Itô Định nghĩa 1.4 Cho Bt chuyển động Brownian 1-chiều khơng gian (Ω, F , P) Tích phân ngẫu nhiên 1-chiều trình ngẫu nhiên Xt có dạng: t Xt = X0 + t u(s, ω )ds + v (s, ω )dBs v ∈ N thoả mãn: t v (s, ω )ds < ∞ với ∀t ≥ 0] = P[ u Ht -thích nghi thoả mãn: t |u(s, ω )|ds < ∞ với ∀t ≥ 0] = P[ Khi ta nói Xt có vi phân ngẫu nhiên dXt = udt + vdBt Định lý 1.2 Công thức Itô 1-chiều(xem [3], [5], [8], [10]) Cho Xt q trình ngẫu nhiên có vi phân Itô: dXt = udt + vdBt Giả sử g (t, x) ∈ C ([0, ∞) × R) Khi Yt = g (t, Xt ) trình ngẫu nhiên Itơ dYt = ∂g ∂g ∂2g (t, Xt )dt + (t, Xt )dXt + (t, Xt )(dXt )2 ∂t ∂x ∂x2 dt.dt = dt.dBt = dBt dt = 0; dBt dBt = dt Bây ta mở rộng B (t, ω ) = (B1 (t, ω ), , Bm (t, ω ) chuyển động Brownian m-chiều, X = (X1 , X2 , Xn ) vi phân ngẫu nhiên Itô-n chiều biểu diễn bởi:   dX1 = u1 dt + v11 dB1 + + v1m dBm              dXn = un dt + vn1 dB1 + + vnm dBm hay dạng ma trận dX = udt + vdBt   X1      X=     Xn   u1 .    u= . . un   v=   v11 v1m    vn1 vnm   dB1      dB =      dBn Điều dẫn đến τ h(y ) ≤ Ey [ τ F u (Yτ )dτ + h(Yτ )] = Ey [ F u (Yτ )dτ + K (Yτ )] = J u (y ) Như vậy(4.20) chứng minh Nếu u0 thỏa mãn (4.21) việc tính tốn giơng ta có dấu đẳng thức và(4.22) chứng minh Định lý 4.3 Cho HM (y ) = inf {J u (y ); u = u(Y ) Điều khiển Markov} Hα (y ) = inf {J u ; u = u(t, ω ) Điêu khiển thích thích nghi } Giả thiết tồn điều khiển Markov u0 = u0 (y ) để điều khiển toán điều khiển Markov (HM (y ) = inf {J u (y ); u = u(Y )) thỏa mãn điều kiện điểm biên G tức Yt HM hàm bị chặn C (G) ∩ C (G) Khi HM (y ) = Hα (y ) với y ∈ G Chứng minh Cho h hàm bị chặn C (G) ∩ C (G) thỏa mãn F v (y ) + (Av h)(y ) ≥ với y ∈ G, v ∈ U (4.23) h(y ) = K (y ) với y ∈ ∂G (4.24) Cho ut (ω ) = u(t, ω ) điều khiển F -thích nghi Khi Yt tích phân ngẫu nhiên cho bở‘’i phương trình dYt = b(Yt , ut )dt + σ (Yt , ut )dBt Theo bổ đề toán tử sinh trình khuếch tán (xem 10) ta có: τ y y E [h(Yτ )] = h(y ) + E [ (Au(s,ω) h)(Ys )ds] (4.25) (Au(s,ω) h)(y ) = ∂h (y ) + ∂t bi (y, u(s, ω )) 57 ∂h (y ) + ∂xi aij (y, u(s, ω )) ∂2h (y ) ∂xi∂xj với aij = 1/2(σσ T )ij Vì từ (4.18); (4.19) ta có: τ y E[K (Yτ )] ≥ h(y ) − E [ (4.26) F (Ys , u(s, ω ))ds] hay h(y ) ≤ J u (y ) (4.27) Nhưng theo định lý 4.1 hàm h(y ) = HM (y ) thỏa mãn (4.18); (4.19) Vì từ cơng thức (4.27) ta có HM (y ) ≤ Hα Định lý chứng minh! 4.4 Ví dụ minh hoạ Ví dụ 4.1 Điều khiển ngẫu nhiên tuyến tính Giả thiết trạng thái Xt thời điểm t cho phương trình (4.28) dXt = (Lt Xt + Mt ut )dt + σt dBt hàm giá có dạng τ J u (t, x) = E(t,x) [ {XsT Cs Xs + uTs Ds us }ds + XτT RXτ ] (4.29) hệ số Lt ∈ Rn×n ; Mt ∈ Rn×k ; σ1 ∈ Rn×m ; Dt ∈ Rk×k R ∈ Rn×n hàm tất định liên tục theo t Chúng ta giả thiết Ct R hàm đối xứng không âm, Dt hàm đối xứng Và giả thiết τ không ngẫu nhiên t1 Bài toán đặt cần lựa chọn điều khiển u = u(t, Xt ) để nhỏ hàm giá J u (t, x) ? Trong trường hợp phương trình HJB trở thành inf {F v (t, x) + (Av H )(t, x)} = (4.30) v Suy ∂H + inf {xT Ct x + v T Dt v + v ∂t (Lt x + Mt v ) i ∂H + ∂xi (σσ T ) ∂2 }=0 ∂xi ∂xj (4.31) Và H (t1 , x) = xT Rx 58 (4.32) Bài toán chưa biết H , giả sử hàm số H có dạng h(t, x) = xT St x + at (4.33) S (t) = St ∈ Rn×n hàm đối xứng, xác định không âm, at ∈ R hai at ; St hàm khả vi liên tục hàm St at thỏa mãn inf {F v (t, x) + (Av h)(t, x)} = với t < t1 (4.34) h(t1 , x) = xT Rx (4.35) St = R (4.36) (4.37) v Sử dụng công thức (4.35) ta đặt at1 = Sử dụng cơng thức (4.33) ta có F v (t, x) + (Av h)(t, x) = xT St x + at + xT Ct x + v T Dt v + (Ht x + Mt v )T (St x + StT x) + (σt σtT )ij Sij (4.38) i,j at t St = dS dt ; at = dt Biểu thức đạt giá trị nhỏ nên ∂ (F v (t, x) + (Lv φ)(t, x)) = 0; i = 1, , k ∂vi (4.39) 2Dt v + 2MtT St x = (4.40) v = −Dt−1 MtT St x (4.41) Suy hay Thay vào công thức (4.38) ta có F v (t, x) + (Av h)(t, x) = xT St x + at + xT Ct x + xT St Mt Dt−1 Dt Dt−1 MtT St x + (Lt x − Mt Dt−1 MtT St x)T 2St x + tr(σσ T S )t = xT (St + Ct + 2LTt St − St Mt Dt−1 MtT St )x + at + tr(σσ T S ) Biểu thức chọn St at cho St = −Ct − 2LTt St + St Mt Dt−1 MtT St at = −tr (σσ T S ); t < t1 59 (4.42) (4.43) Do t1 tr (σσ T S )s ds at = (4.44) t Với việc sử dụng cơng thức (4.34); (4.35) ta có u∗ (t, x) = −Dt−1 MtT St x, t < t1 (4.45) điều khiển tối ưu hàm giá nhỏ t1 H (t, x) = xT St x + tr (σσ T S )s ds; t < t1 (4.46) t *Giả sử ta có hệ quan sát Xt dZt = gt Xt dt + γt dBt (4.47) Khi điều khiển tối ưu u∗ (t, ω ) cho u∗ (t, ω ) = −Dt−1 MtT St Xt (ω ) (4.48) Xt ước lượng lọc Xt từ quan sát {Zs ; s ≤ t} 4.5 Ví dụ áp dụng thực tế Ví dụ 4.2 Tối ưu vốn đầu tư Cho Xt tiền vốn đầu tư người vào thời điểm t Giả thiết người có lựa chon hai phương án đầu tư Tăng trưởng phương án vào thời điểm t thỏa mãn dp1 = p1 (a + αWt ) dt (4.49) Wt tiếng ồn trắng Do dp1 = p1 adt + p1 αdBt (4.50) +Phương án đầu tư gọi có rủi ro α > Chúng ta giả thiết tăng trưởng p2 phương án khác thỏa mãn phương trình vi phân thường dp2 = p2 bt 60 (4.51) +Phương án đầu tư gọi an tồn Vì giả thiết b < a Tại thời điểm người chơi chọn phần lớn u số vốn để đầu tư có rủi phần − u để đầu tư an tồn Do ta có phương trình vi phân ngẫu nhiên dXt = uXt adt + uXt αdBt + (1 − u)Xt bdt = Xt (au + b(1 − u))dt + αuXt dBt (4.52) (4.53) Giả thiết vào thời điểm t số vốn Xt = x > 0, người chơi muốn kiếm nhiều lợi ích vào thời điểm t0 > t ( Giả sử không cho nợ tức X ≥ ) Hàm hoa lợi U : (0, ∞) → (0, ∞); U (0) = Bài toán cần tìm điều khiển Markov u∗ = u∗ (t, Xt ), < u∗ < cho sup{M u ; u Điều khiển Markov , ≤ u ≤ 1} = M u M u = E(t,x)[U (Xτu )] (4.54) ∗ τ thời điểm thoát khỏi tập {(s, z ); s < t0 , z > 0} Bằng cách đặt J u = −M u , tốn tử sinh A có dạng (Av f )(t, x) = ∂f ∂f ∂2 + x(av + b(1 − v )) + 1/2α2v 2 ∂t ∂x ∂x (4.55) Phương trình HJB trở thành inf {(Av H )(t, x)} = 0, H (t0 , x) = −U (x) (4.56) sup{(Av V )(t, x)} = 0, V (t0 , x) = U (x) (4.57) V (t, x) = −H (t, x) = − inf J u = sup M u (4.58) v v u u Với điểm (t, x) ta cố gắng tìm v = u(t, x) làm lớn η (v ) = Av V = ∂V ∂V ∂2V + x(b + (a − b)v ) + 1/2α2v x2 ∂t ∂x ∂x (4.59) Nếu Vx > 0; Vxx < nghiệm v v = u(t, x) = − (a − b)Vx xα2 Vxx (4.60) Thay vào phương trình (4.59) ta có phương trình tốn biên phi tuyến V (a − b)Vx với t < t0 ; x > 2α2 Vxx V (t, x) = U (x) với t = t0 ; x = Vt + bxVx − 61 (4.61) (4.62) Bài tốn khó để tìm nghiệm tổng quát Để đơn giản xét hàm U (x) = xr ; < τ < hàm V có dạng V (t, x) = f (t)xr Khi giải V (t, x) = eλ(t0 −t) xr λ = br = (a−b)2 r 2α2 (1−r) (4.63) Sử dụng công thức (4.60) ta có điều khiển tối ưu u∗ (t, x) = a−b α2 (1 − r) (4.64) ∗ -Nếu α2a−b (1−r) ∈ (0, 1) nghiệm toán Chú ý u số -Trường hợp khác chọn hàm lợi ích N (x) = logx cần điều khiển tối ưu r Et,x [log (XT )] = logx + Et,x [ {au(s, Xs ) + b(1 − u(s, Xs )) − 1/2α2 u2 (s, Xs )}ds] t từ Av {logx} = av + b(1 − v ) − 1/2α2 v Cần chọn u(s, z ) để đạt lớn Av {logx} = av + b(1 − v ) − 1/2α2v Do chọn u(s, Xs ) = a−b với s, ω α2 Đây điều khiển tối ưu 62 (4.65) Phụ lục A Lời giải số tập chương Bài tập Giả sử ta có mơ hình Q trình hệ thống: dXt = 0; E[X ] = 0; E[X02 ] = a2 Quá trình quan sát: dZt = G(t)Xt dt + dVt ; Z0 = ˆt )2 ] xác định Chứng minh S (t) = E[(Xt − X S (t) = t + G2 (s)ds S (0) Giải ˆt )2 ] phương trình Riccati S (t) Với S (t) = E[(Xt − X dS = −G2 (t)S (t); S (0) = a2 dt ⇒ dS = −G2 (t)dt S (t) t 1 − =− ⇒ S (0) S (t) G2 (s)ds ⇒ S (t) = t + G2 (s)ds S (0) Bài tập Cho tốn lọc tuyến tính chiều Q trình hệ thống: dXt = F (t)Xt dt Quá trình quan sát: dZt = G(t)Xt dt + D(t)dVt ˆt )2 ] giả thiết S (0) > Với S (t) = E[(Xt − X xác định phương trình vi phân tuyến tính Chứng minh R(t) = S(t) R (t) = −2F (t)R(t) + 63 G2 (t) ; R(0) = D (t) S (0) Sử dụng công thức để chứng minh t 1 = exp(−2 S (t) S (0) t F (s)ds) + t exp(−2 F (u)du) G2 (s) ds D 2(s) s Giải 1.Phương trình Riccati S (t) dS G2 (t) = 2F (t).S (t) − S (t) dt D (t) ⇒ S (t) 2F (t) G2 (t) = − S (t) S (t) D (t) ⇒ −( Đặt R(t) = G2 (t) ) = 2F (t) − S (t) S (t) D (t) ta có S (t) G2 (t) ; R(0) = D (t) S (0) G2 (t) ⇒ R (t) = −2F (t)R(t) + ; R(0) = D (t) S (0) −R (t) = 2F (t)R(t) − 2.Giải phương trình Trước hết ta giải phương trình tuyến tính R (t) = −2F (t)R(t) t R(t) = C exp(− 2F (s)ds) Biến thiên số C = C (t) sử dụng điều kiện ban đầu R(0) = t R(t) = exp(− t 2F (s)ds)[C + R(0) = t G2 (t) exp( D (t) 2F (s)ds)dt] 0 1 →C= S (0) S (0) t exp(−2 R(t) = S (0) t F (s)ds) + ( ⇒ R(t) = ta S (0) F (s)ds) + exp( t t exp(−2 S (0) s t exp(−2 F (u)du) s 64 2F (s)ds) 0 t G2 (s) 2F (u)du) ds) exp(− D (s) G2 (s) ds D 2(s) Vì t 1 = exp(−2 S (t) S (0) t F (s)ds) + t exp(−2 F (u)du) G2 (s) ds D 2(s) s Bài tập Cho Bt chuyển động Brownian chiều Vói g ∗ (x) = supτ Ex [e−Bτ ].Tìm lợi nhuận tối ưu thời điểm dừng tối ưu? Giải Ta có hàm lợi nhuận không phụ thuộc biến t là: g (t, x) = g (x) = e−x Hàm điều hoà gần hàm g hàm Do g ∗ (x) = sup(g (x); x ∈ R) = Với tập D = {(t, x); g (x) < 1} Vậy g ∗ (x) = τ ∗ = inf {t > 0; Bt = 0} Bài tập Tìm lợi nhuận tối tối ưu thời điểm dừng tối ưu g ∗ , τ ∗ cho: g ∗ (s, x) = sup E(s,x) [e−ρ(s+τ )Bτ2 ] = E(s,x) [e−ρ(s+τ ) Bτ2∗ ] ∗ τ Trong Bt chuyển động Brownian 1-chiều, ρ > số Giải Trước hết xét miền D có dạng: D = {(s, x); −x0 < x < x0 } Với x0 > tìm phương trình √ e2 x0 = 2px0 √ e2 2px0 p +1 −1 Và ∗ −ps g (s, x) = e √ cosh( 2px) √ x0 cosh( 2px0 ) với −x0 ≤ x ≤ x0 Bài tập Tìm thời điểm dừng tối ưu toán τ e−ρt Bt2 dt + e−ρτ Bτ ] x γ (x) = sup E [ τ 65 Giải +Nếu < ρ ≤ γ (x) = ρ1 x2 + ρ12 Do ρ∗ khơng tồn +Nếu ρ > √ ρ x + ρ2 + Ccosh( 2px) x2 |x| > x∗ γ (x) = |x| ≤ x∗ C > 0; x∗ > Do nghiệm phương trình Ccosh( C 1 2ρx∗ ) = (1 − )(x∗ )2 − p 2psinh( ρ 2px∗ ) = 2(1 − )x∗ ρ Bài tập Viết phương trình HJB cho toán: s,x ∞ Φ(s, x) = inf E [ u e−αt (g (Xt ) + u2t )dt] s dXt = ut dt + dBt ; Xt , ut , Bt ∈ R; α > số g : R → R hàm bị chặn, liên tục Chứng minh rằng: Nếu Φ thoả mãn điều kiện định lý thuận HJB u∗ tồn u∗ (t, x) = − eαt ∂Φ ∂x Giải Phương trình HJB cho Φ(t, x) toán trên: inf {F v (t, x) + (Lv Φ)(t, x)} = v Ta cố gắng tìm v làm cực tiểu η (v ) = ∂Φ ∂2Φ ∂Φ + e−αt (g (x) + u2t ) + ut + ∂s ∂x 2∂x2 Nếu Φ thoả mãn điều kiện định lý thuận HJB u∗ tồn nghiệm v = u∗ là: v = u∗ (t, x) = − eαt ∂Φ ∂x Bài tập Xét toán điều khiển ngẫu nhiên ∞ Φ0 (s, x) = inf Es,x [ u s 66 e−ρt f (ut , Xt )dt] dXt = dXtu = b(ut , Xt )dt + σ (ut , Xt )dBt ; Xt ∈ Rn , ut ∈ Rk , Bt ∈ Rm f hàm thực bị chặn, liên tục, ρ > inf lấy theo tất điều khiển Markov u có dạng u = u(Xt ) Chứng minh Φ0 (s, x) = e−ρs ξ (x); ξ (x) = Φ0 (0, x) Giải Theo định nghĩa Es,x ta có: Es,x [ ∞ ∞ e−ρt f (u(Xt ), Xt )dt] = E[ s s,x s,x )dt] ), Xs+t e−ρ(s+t) f (u(Xs+t ∞ = e−ρs E[ s,x s,x e−ρt f (u(Xs+t ), Xs+t )dt] Do s,x ∞ Φ0 (s, x) = inf E [ u e−ρt f (ut , Xt )dt] s ∞ = inf e−ρs E[ u s,x s,x e−ρt f (u(Xs+t ), Xs+t )dt] = e−ρs inf E[ ∞ u s,x s,x e−ρt f (u(Xs+t ), Xs+t )dt] = e−ρs inf Es,x [ ∞ u e−ρt f (ut , Xt )dt] −ρs =e Φ0 (0, x) Do Φ0 (s, x) = e−ρs ξ (x); ξ (x) = Φ0 (0, x) Bài tập Cho dXt = rut Xt dt + αut Xt dBt ; Xt , ut , Bt ∈ R Φ(s, x) = sup Es,x [ u ∞ s 67 e−ρt f (Xt )] r, α, ρ số f hàm liên tục, bị chặn Giả thiết Φ thoả mãn phương trình HBJ (I) điều khiển tối ưu u∗ tồn a Chứng minh sup{e−ρt f (x) + v∈R ∂Φ ∂Φ 2 ∂2Φ + rvx + α v x }=0 ∂t ∂x ∂x2 Suy luận ∂2Φ ≤0 ∂x2 b Giả thiết ∂2Φ ∂x2 < Chứng minh u∗ (t, x) = − r ∂Φ ∂x α2 x ∂∂xΦ2 2α2 (e−ρt f + c Giả thiết ∂2Φ ∂x2 ∂Φ ∂2 ∂Φ ) − r2 ( )2 = ∂t ∂x ∂x = Chứng minh ∂Φ =0 ∂x ∂Φ e−ρt f + =0 ∂t d Giả thiết u∗t = u∗ (Xt ) b Chứng minh rằng: Φ(t, x) = e−ρt ξ (x) 2α2 (f − ρξ )ξ − r2 (ξ )2 = Giải a Do giả thiết Φ thoả mãn phương trình HBJ (I) điều khiển tối ưu u∗ tồn nên phương trình HBJ (I): sup{F v (y ) + (Lv Φ)(y )} = v∈R Suy −ρt sup{e v∈R ∂Φ ∂Φ 2 ∂2Φ f (x) + + rvx + α v x }=0 ∂t ∂x ∂x2 b Với giả thiết ∂∂xΦ2 < Vì điều khiển tối ưu u∗ tồn nên hàm sau có cực đại −ρt η (v ) = e ∂Φ 2 ∂2Φ ∂Φ + rvx + αv x f (x) + ∂t ∂x ∂x2 68 Suy u∗ nghiệm phương trình: ∂η =0 ∂v Do u∗ nghiệm phương trình: rx ∂2Φ ∂Φ + α2 vx2 = ∂x ∂x Vậy u∗ (t, x) = − r ∂Φ ∂x α2 x ∂∂xΦ2 2α2 (e−ρt f + ∂Φ ∂Φ ∂2 ) − r2 ( )2 = ∂t ∂x ∂x c Với giả thiết ∂∂xΦ2 = Vì điều khiển tối ưu u∗ tồn nên hàm sau có cực đại η (v ) = e−ρt f (x) + ∂Φ ∂Φ + rvx ∂t ∂x Suy u∗ nghiệm phương trình: ∂η =0 ∂v Do rx ∂Φ =0 ∂x Vậy ∂Φ =0 ∂x Và e−ρt f + d Giả thiết u∗t = u∗ (Xt ) ∂2Φ ∂x2 ∂Φ =0 ∂t < Theo tập ta có Φ(t, x) = e−ρt ξ (x) 2α2 (f − ρξ )ξ − r2 (ξ )2 = 69 Kết luận Sau thời gian nghiên cứu đề tài "Bài toán lọc, dừng tối ưu điều khiển tối ưu q trình ngẫu nhiên" em thấy: • Tính tốn ngẫu nhiên ngày phát triển ứng dụng nhiều vào thực tế • Bài tốn lọc, dừng tối ưu, điều khiển tối ưu loại toán lý thuyết xác suất có quan hệ mật thiết với ứng dụng • Đề tài bước đầu nghiên cứu tính tốn ngẫu nhiên áp dụng chúng vào giải toán toán lọc, dừng tối ưu, điều khiển tối ưu tốn có nhiều ứng dụng thực tế • Tuy nhiên, thời gian trình độ có hạn đề tài chưa nghiên cứu ứng dụng toán lọc vào thực tế nào? Đề tài nghiên cứu tốn lọc tuyến tính, chưa nghiên cứu giải tốn phi tuyến • Hướng phát triển đề tài: Cần nghiên cứu ứng dụng cụ thể toán lọc, dừng tối ưu, điều khiển tối ưu Đồng thời sử dụng cài đặt chương trình cho máy tính giải gần tốn lọc • Một lần em xin chân thành cảm ơn thầy, cô khoa giúp đỡ em hoàn thành luận văn 70 Tài liệu tham khảo Tiếng Việt Nguyễn Hữu Dư (2005), Điều khiển tối ưu hệ tất định ngẫu nhiên, Nhà xuất Đại học Quốc gia Hà nội Nguyễn Viết Phú-Nguyễn Duy Tiến (2004), Cơ sở lý thuyết Xác suất, Nhà xuất Đại học Quốc gia Hà nội Trần Hùng Thao (2000), Tích phân ngẫu nhiên phương trình vi phân ngẫu nhiên, Nhà xuất Khoa học kỹ thuật, Hà Nội Trần Hùng Thao (2009), Nhập mơn Tốn tài chính, Nhà xuất Khoa học Kĩ thuật, Hà Nội Đặng Hùng Thắng(2006), Q trình ngẫu nhiên Tính tốn ngẫu nhiên, Nhà xuất Đại học Quốc gia Hà nội Nguyễn Duy Tiến-Vũ Việt Yên (2001), Lý thuyết Xác suất, Tái lần thứ nhất, Nhà xuất Giáo dục, Hà nội Nguyễn Duy Tiến(Chủ biên), Đặng Hùng Thắng (2001), Các mơ hình xác suất ứng dụng, Phần II: Quá trình dừng ứng dụng, Nhà xuất Đại học Quốc gia Hà nội Nguyễn Duy Tiến (2001), Các mơ hình xác suất ứng dụng, Phần III: Giải tích ngẫu nhiên, Nhà xuất Đại học Quốc gia Hà nội Tiếng Anh B.V.Gnedenco (1976), The Theory of Probability, Mir Publisher, Moscow 10 Bernt Oksendel (1992), Stochastic Differential Equation, A Introduction with Applications, Springer-Verlag, Berlin and New York 11 Steven Shreve (1997), Stochastic Calculus and Finance, Springer-Verlag, New York 71 ... tối ưu Chương giới thiệu toán dừng tối ưu, bước giải toán dừng tối ưu •Chương 4: Bài tốn điều khiển tối ưu hệ ngẫu nhiên Chương giới thiệu toán điều khiển tối ưu, phương trình Hamilton-Jacobi-Bellman,... phương trình vi phân ngẫu nhiên Tính tốn ngẫu nhiên phục vụ đắc lực đóng vai trị then chốt nghiên cứu hàm ngẫu nhiên nói chung phương trình vi phân ngẫu nhiên nói riêng Bài tốn lọc, dừng tối ưu, điều. .. thường gặp toán lọc mà phương trình hệ thống quan sát dạng phương trình vi phân ngẫu nhiên tuyến tính Bài tốn tốn lọc tuyến tính hay toán lọc Kalman-Bucy 2.3 Bài toán lọc Kalman-Bucy Vào năm 1960