(Luận Văn Thạc Sĩ Toán Ứng) Dụng Phương Trình Vi Phân Nhám Trên Mạng Neuron

Mạng neuron

Mạng neuron hồi quy (reccurent neural network)

Mạng neuron hồi quy liên kết từ ầu vào tới ầu ra bằng cách tạo nên một ồ thị có hướng Không giống mạng neuron truyền thẳng, mạng neuron hồi quy sử dụng một bộ nhớ ể lưu lại thông tin từ những bước tính toán xử lý trước ể cập nhật thông tin cho hiện tại (xem Hình 1.2).

Mạng ResNet (residual neural network)

Mạng Resnet có cấu trúc giống mạng neuron truyền thẳng Tuy nhiên trong mạng Resnet có những kết nối tắt (Hình 1.3), cho phép xuyên qua hai hay nhiều

Hình 1.2: Mạng neuron hồi quy Nguồn: [1].

Hình 1.3: Mạng ResNet Nguồn: [1]. tầng trong mạng Liên kết tắt này ược biểu diễn như sau: h t+1 =h t +f(h t , ạ t ), t∈ [0 T] (1.1)

Chú ý rằng khi số tầng lớn, bộ nhớ của máy cũng phải lớn ể lưu trữ thông tin ở các tầng.

Mạng ODE

Ở mạng ResNet, sự cập nhật trạng thái này giống như rời rạc hoá phương trình vi phân bằng phương pháp Euler Khi chúng ta thêm nhiều tầng và lấy bước i nhỏ hơn thỡ (1.1) cú thể xấp xò như sau: dh t dt =f(h t , t, ạ), t ∈[0, T] (1.2)

Cho một ầu vào, ta có thể tính toán ầu ra h T thông qua việc giải phương trình vi phân Mạng ODE là mạng cập nhật các tầng thông qua việc giải phương trình vi phân như vậy.

Phương trình vi phân trên mạng neuron

Lược ồ tương thích chấp nhận-từ chối,[3]

Xét trường hợp giải phương trình vi phân y(t) =y(Ä) +

Giả sử cho t cố ịnh ta cú xấp xò by(t) ≈y(t), và bõy giờ ta muốn tỡm ộ dài của bước i tiếp theo ∆>0 ể tính by(t+ ∆)≈ y(t+ ∆) Chọn một ộ dài bước i, và ta tớnh ược một lựa chọn bycandidate(t+ ∆) Ta cú thể xấp xò bằng nhiều lược ồ Ở ây ta có thể chọn lược ồ Runge-Kutta Khi ó ta có thêm một ước lượng yerr ∈R d cho sai số của lược ồ Cụ thể, ước lượng sai số này có thể là sai số giữa lược ồ Runge-Kutta bậc 2 và bậc 4.

Lựa chọn dung sai tuyệt ối AT OL (chẳng hạn 10 −9 ), dung sai tương ối

RT OL (vớ dụ10 −6 ), và (nửa) chuẩn ∥ ã ∥ : R d → [0,∞) (vớ dụ chuẩn Euclid), và ước lượng kích cỡ của nghiệm bởi

SCALE =AT OL+RT OLãmax(by(t),ybcandidate(t+ ∆))∈R d , (1.5) với max ược lấy bằng giỏ trị lớn nhất của từng toạ ộ Cuối cựng ta lấy tò lệ sai số tính bởi r yerr

Nếu r f 1, bước i này ược chấp nhận và ta cú nghiệm xấp xò y(tb + ∆) b ycandidate(t+ ∆) Ngược lại, nếu r > 1 sai số ược xem là quá loại bỏ nghiệm xấp xò ybcandidate(t+ ∆) Chỳng ta sẽ chọn bước i ∆ nhỏ hơn.

Chỳ ý rằng việc lựa chọn chuẩn, nửa chuẩn∥ ã ∥ ảnh hưởng lớn ến lược ồ chấp nhận/từ chối của chúng ta Ở trong (1.4), nhận thấy rằng việc giảiz và a z quan trọng hơn nhiều so với giải a ạ Vỡ vậy ta thiết lập nửa chuẩn mới, cho trọng số của a ạ bằng 0 và dựng lược ồ tương thớch như ó trỡnh bày ở trờn Cụ thể, sử dụng nửa chuẩn

∥[a t , z, a z , a ạ ]∥= max{∥z∥ RMS ,∥a z ∥ RMS }. với ∥ ã ∥RMS là chuẩn Euclid.

Phương trình vi phân nhám trên mạng neuron

iểm yếu của phương trỡnh vi phõn trờn mạng neuron là nếu ạ ược học, khi ó nghiệm của phương trình là ược xác ịnh, có thể sẽ không khớp với các quan sát mà chúng ta thu ược sau này.

Một cách tiếp cận là thay dt bởi dX t , trong ó X t ược quyết ịnh từ chuỗi dữ liệu quan sát ược Cụ thể, giả sử ta có n quan sát (t 0 , x 0 ), ,(t n , x n ), với t i ∈ R, x i ∈ R v and t 0 < < t n Gọi X : [t 0 , t n ] → R v+1 là ường nội suy tự nhiên bậc ba ở các mốct 0 , , t n Trong ó ường cong nội suy bậc ba là ường cong bậc ba i qua tất cả các iểm dữ liệu Ta xem xét phương trình vi phân nhám trên mạng neuron

(1.7) vớif ạ :R w → R w(v+1) là mạng neuron phụ thuộc tham sốạ Trong úw là tham số chò cỡ của tầng ẩn trong mạng.

Trong chương 4, ta sẽ tìm hiểu xem nghiệm của phương trình có dạng (1.7) xấp xò cỏc ỏnh xạ liờn tục tốt như thế nào.

Phương trình vi phân nhám trên mạng neuron ược ưa về giải phương trình vi phân trên mạng neuron nếu giả thiết thêm X là khả vi Cụ thể ặt g ạ,X (z, s) =f ạ (z)dX ds (s), (1.8)

Z t t 0 g ạ,X (z s , s)ds (1.9) ây là một phương trình vi phân trên mạng neuron Bài toán ưa về ước lượng nghiệm của phương trình vi phân trên mạng neuron.

Ta thấy việc xấp xò X bởi ường cong bậc ba là khụng tốt do cỏc dữ liệu quan sát có dạng nhịp tim, nhiệt ộ, biến ộng rất mạnh theo thời gian Vì vậy, ta phải có cách tiếp cận khác khi x không ủ trơn iều này thúc ẩy việc nghiên cứu lý thuyết ường nhám ể làm rõ về mặt toán học, trong chương 2 chúng tôi sẽ nêu ịnh nghĩa chính xác của ường nhám, các tính chất của ặc trưng ường nhám Trong chương 3 chúng tôi sẽ ịnh nghĩa phương trình vi phân nhám, tính tồn tại duy nhất của nghiệm và lược ồ ước lượng nghiệm của phương trình vi phân nhám Cuối cùng chương 4 dùng ể trình bày sự hiệu quả của phương trỡnh vi phõn nhỏm trong xấp xò cỏc hàm liờn tục.

LÝ THUYẾT ƯỜNG NHÁM, CÁC TÍNH CHẤT CỦA ẶC TRƯNG CỦA ƯỜNG NHÁM

Trong chương này, chúng tôi sẽ tìm hiểu và trình bày lại những khái niệm cơ bản nhất của lý thuyết ường nhám, ược trình bày ở [4].

Nhóm luỹ linh tự do

ộng lực

Cho x là một hàm liên tục với biến phân bị chặn nhận giá trị trên R d x i t là giá trị của x tại thời iểm t tại toạ ộ thứ i Ta xét tích phân thứ k của hàm là g k;i 1 ,ããã ,i k :Z t s

Z u 2 s dx i u 1 1 dx i u k k Tập hợp các tích phân, g = g k;i 1 ,ããã ,i k : 1 fk f N;i 1 , , i k ∈ {1, , d} ược gọi là ặc trưng thứ N của quỹ ạox| [s,t] và ược ký hiệu là S N (x) s,t Ta xột lược ồ xấp xò Euler-Maruyama cho phương trỡnh vi phõn dy =V(y)dxXd i=1

Giả sử Ã (V ) (0, y 0 ;x) là nghiệm của phương trình xuất phát từ y 0 Gọi I là hàm ồng nhất trên R e và nhắc lại trường vector

: R e → R e với toán tử ạo hàm bậc nhất

Khi ú khai triển Taylor cho thấy một xấp xò tới cấp N, với 0 < t−s ạ k :|||x||| p−var,[ạ k ,t] < à} 'b ặt N [a,b] =N à,a,b (x) := sup{k ∈N, ạ k (à)f b} Khi ú

N f1 +à −1/p |||x|||p−var,[a,b]. Ở [7], các tác giả ã chứng minh ược nếu f(x) = Ax, g(x) = Cx, với A, C là các ma trận cấp d×d, hệ (3.1) có nghiệm duy nhất Trong bài luận văn này, chỳng tụi iều chònh một số lập luận ể mở rộng cỏc kết quả ú. ịnh lý 3.3.1 Giả sử m = 1 Dưới các iều kiện (H 1 ),(H 2 ),(H 3 ), hệ 3.1 có nghiệm duy nhất trên khoảng thời gian [T 1 , T 2 ] Hơn nữa,

[a,b](x)− ∥y a ∥, với M, L là cỏc hằng số chò phụ thuộc p, g 0 , f(0), C, L f

Chứng minh Chọn v ủ gần ³ sao cho 1 3 < v < ³ Chúng tôi mô phỏng lại các bước chứng minh trong [6] Xõy dựng chuỗi thời gian dừng Ä k (à) như sau: Ä 0 =a, Ä k+1 = inf{t > Ä k : |||x||| v,[Ä k ,t] < à} 'b ặt N =N à,T 1 ,T 2 (x) := sup{k ∈N, Ä k (à)f T 2 } Khi ú

Ta viết lại hệ (3.1) thành y t = G(y) t :=y a +

Trước hết ta chứng minh hệ có nghiệm duy nhất trên khoảng thời gian [a, T] với T−a f1 Ký hiệuD x 2v (y a , Cy a +g 0 , C 2 y a ) là tập các quỹ ạo (y, y ′ , y ′′ ) iều khiển bởi x với giá trị ban ầu y a , y a ′ =Cy a +g 0 , y ′′ a =C 2 y a

Ta chứng minh ánh xạ sau ược ịnh nghĩa tốt:

M(y, y ′ , y ′′ ) t := (G(y) t , Cy t +g 0 , Cy t ′ ). Thật vậy, nếu y ược iều khiển bởi x Ta có ánh giá của tích phân nhám

, với C v là hằng số phụ thuộc t−s, C và v ặc biệt C v có thể coi như hằng số chò phụ thuộc C, v nếu ta xột t−s < 1.

Do tính tuyến tính của tích phân nhám, G(y) t cũng ược iều khiển bởi x với G(y) ′ t =Cy t +g 0 , G(y) ′′ t = Cy t ′

Bây giờ ta sẽ ước lượng M(y) x,v = |||Cy ′ ||| v +

(Cy u +g 0 )dx u −(Cy s +g 0 )x s,t −Cy s ′ X (1) s,t Do ó

2v,[a,T ]+|||R y ||| 3v,[a,T ] và K 1 là hằng số phụ thuộc v, L f , f 0 , C, g 0

Mặt khác, R Cy+g s,t 0 f ∥Cy s,t ′′ ∥∥X (1) s,t ∥+∥CR y s,t ∥ nên

Tổng hợp ba ánh giá trên, ta có

∥y∥ x,³,[a,T ] +L f (T −a) 1−3v |f(0)|, trong ó K g1 là hằng số phụ thuộc v, L f , f 0 , C, g 0

Chọn à Ä i : (1(L f |f 0 |) (t−Ä i ) 1−3³ +∥x∥ v,[Ä i ,t] = à

K o 'maxI, và ặt N I,v (x) := sup{i∈ N: Ä i f maxI}, từ ánh giá à

Vậy chúng ta có thể mở rộng khoảng [a, T] ra toàn khoảng I và chứng minh ược sự tồn tại duy nhất nghiệm của hệ.

Cuối cùng, ta ước lượng các chuẩn của hệ Chú ý rằng : y s ′ =Cy s +g 0 ,[Cy+g 0 ] ′ s =C 2 y s +Cg 0 , y s ′′ =C 2 y s , R y s,t ′ =CR y s,t +C 2 y s X (1) s,t Vậy

Kết hợp hai ánh giá trên, ta có

, khi [s, t] ủ nhỏ sao cho 2C p ∥C∥∥x∥p−var,[s,t] f 1 2 Áp dụng bổ ề Gronwall, ta có

2C p ∥y s ∥ du f M 0 +e L ∥y s ∥ e 4L f (t−s) − ∥y s ∥, vớiM 0 và Llà cỏc hằng số chò phụ thuộcC, f(0), g 0 , p Xõy dựng chuỗi thời gian dừng ạ k với à = 4C 1 p ∥C∥, ta thu ược kết quả của ịnh lý.

Hệ rời rạc iều khiển bởi ường nhám

Một số ký hiệu

Chúng ta bắt ầu với việc giới thiệu một số ký hiệu của hàm rời rạc.

Cho [a, b] là khoảng óng của R, và Π = {t i : 0 fi f n, a=t 0 < t 1 < < t n =b}

31 là một phân hoạch của [a, b] |Π| := max 0fifn−1 (t i+1 −t i ) > 0 là bán kính của phân hoạch Với B là không gian ịnh chuẩn, một hàm rời rạc lấy giá trị trên B ịnh nghĩa trên Π là ánh xạ y : Π → B, Π ∋t i 7→ y t i ∈ B.

Trong chương này ta ịnh nghĩa một chuẩn ối với hàm rời rạc:

Ta cú thể thấy∥ã∥ ∞,Π và|||ã||| p,Π là cỏc chuẩn trờn khụng gian cỏc hàm rời rạc xỏc ịnh trên Π, còn|||y.||| p,Π là nửa chuẩn Chú ý rằng nửa chuẩn này mạnh hơn so với nửa chuẩn ta ã ịnh nghĩa ở chương 3 Ta lấyc ∈Πvà y là hàm rời rạc ịnh nghĩa trên Π ặt Π[a, c] := {t ∈ Π :a f t f c},Π[c, b] := {t ∈ Π : c f t f b}.

Ta xét hạn chế của y trên [a, c] và [c, b] và ta có

Ta nhắc lại ịnh nghĩa của một iều khiển ịnh nghĩa 3.4.1([8]) Một hàm không âmÉ xác ịnh trên∆Π :(s, t) ∈ Π 2 | sf t ược gọi là một iều khiển của Π nếu nó triệt tiêu trên ường chéo, nghĩa là É s,s = 0,∀s ∈Π, và hơn nữa nó cộng tính dưới, tức là với mọi s f uf t trong Π, ta có É s,u +É u,t f É s,t

Thiết lập của hệ rời rạc iều khiển bởi ường nhám

< t n = T 2 }là một phõn hoạch hữu hạn của [T 1 , T 2 ] và ặt x: Π→ R, X (1) (ã,ã) : Π 2 → RạR và X (2) (ã,ã) : Π 2 → Rạ RạR là cỏc hàm rời rạc lần lượt ịnh nghĩa trên Π, Π 2 ,Π 2 và thoả mãn tương quan Chen, tức

X (2) s,t −X (2) s,u −X (2) u,t =x s,u ạX (1) u,t +X (1) s,u ạx u,t , sf uft ∈Π. inh nghĩa nửa chuẩn

Trong chương này chúng tôi luôn giả sử |||x||| p,Π[T 1 ,T 2 ] 1 sao cho với mọi s < u < t∈Π, ta có

∥ảF s,u,t ∥ fw ẳ s,t Khi ú tồn tại ạ >0 phụ thuộc chò vào ẳ sao cho

Tính ổn ịnh của hệ rời rạc

Mệnh ề 3.4.1 Dưới các giả thiết (H f ),(H g (1) ),(H ϵ ) Hơn nữa giả sử X một quỹ ạo của chuyển ộng Brown phân thứ B 1/p Khi ó với mọi s, t ∈ Π ta có ánh giá sau y, R y,1 , R y,2 p,Π[s,t] fC y, R y,1 , R y,2 p,Π[s,t]

(t−s) + 3H ∗ w ∗ s,t , với C là một hằng số chò phụ thuộc L g , p.

Hệ rời rạc ược viết lại y t k+1 =y t k +F t k ,t k+1 +ϵ t k ,t k+1 Khi ó với mọi s fu ft ta có ảF s,u,t :=F s,u +F u,t −F s,t

0 hDg(y s +ẳ(y u −y s ))Dg(y s )g(y s )X (1) s,u −Dg(y s )Dg(y s )g(y s )X (1) s,u i dẳ +

Ta sẽ ước lượng cả ba biểu thức trên Trước hết,

Từ ây, chú ý X là chuyển ộng một quỹ ạo của quá trình Brown phân thứ, ta có

Trong mệnh ề này, ta ký hiệu cỏc hằng số C 1 , C 2 , là cỏc hằng số chò phụ thuộc L g và p Kết hợp các ánh giá trên, ta có

[B(y s +ẳ(y u −y s ))−B(y s )]g(y s )x s,u dẳ, với B(y s ) :=Dg(y s )Dg(y s ) +D 2 g(y s )g(y s ) kéo theo B(y s )g(y s ) =A(y s ).

Kết hợp các ánh giá trên, ta có với các iểm s, t thuộc phân hoạch Π:

X (1) p/4 p/2,Π[a,b].|||x||| p/2 p,Π[s,t] +C 3 (t 2/p −s 2/p ) p/4 |||x||| p/4 p,Π[s,t] là một iều khiển Mặt khác,

Theo bổ ề sewing rời rạc 3.4.1, ta thu ược với mọi s, t ∈Π

(t−s) +H ∗ w s,t ∗ Mặt khác,ta ánh giá với R y,2 s,t :

Kết hợp các ánh giá trên, ta có y, R y,1 , R y,2 p,Π[a,b] fCy, R y,1 , R y,2 p,Π[a,b]

Chúng tôi kết thúc chứng minh tại ây. ối với trường hợp g là hàm bậc nhất, chúng tôi cũng có một kết quả tương tự Chỳng tụi iều chònh lại cỏc lập luận trong [7].

Mệnh ề 3.4.2 Dưới các giả thiết (H f ),(Hg (2) ),(H ϵ ) và s, t ∈ Π, ta có ánh giá sau y, R y,1 , R y,2 p,Π[s,t] fC y, R y,1 , R y,2 p,Π[s,t] h|||x||| p,Π[s,t] (

X (2) p/3,Π[s,t] i , với C là một hằng số chò phụ thuộc K, p.

Chứng minh Chỳng ta ký hiệu C 1 , là cỏc hằng số chò phụ thuộc T, p ặt

R Ky+H,2 =Ky u −Ky s −K 2 y s x s,u −K 3 y s X (1) s,t =KR y,2 s,u Như vậy,

Chú ý rằng vế phải ánh giá trên là một iều khiển Lặp lại phần còn lại của chứng minh ở bổ ề 3.4.1, tuy nhiên sử dụng ánh giá

Chuỗi thời gian dừng rời rạc

Cho trước Π = {t i ,0 f i f n, a =t 0 < t 1 , , < t n = b} và ´, ả > 0 Chỳng ta ịnh nghĩa một chuỗi thời gian dừng G Π,´,ả,w = {Ä 0 ∗ , Ä 1 ∗ , } dựa trờn một iều khiển w như sau:

2) Giả sử Ä i ∗ ∈ G Π,´,ả,w = t k ∈ Π ó ược ịnh nghĩa Nếu Ä i ∗ = t n = b, ta dừng chuỗi lại Nếu không, ta ịnh nghĩa Ä i+1 ∗ như sau i) Nếu w ´ t k ,t k+1 > ả, ặt Ä i+1 =t k+1 ii) Ngược lại, Ä i+1 ∗ := max{t l ∈ Π, k < l < n, w ´ t k ,t l fả} ặt Nˆ = ˆNΠ[a,b],´,ả,w = #G Π,´,ả,w Khi ú ta luụn cú w Ä i ∗ ,Ä i+2 ∗ > ả 1/´ ,0 < i < Nˆ −3 iều này kéo theo

Ta xây dựng một số chuỗi thời gian dừng sau Ý tưởng của việc xây dựng chuỗi thời gian này ở [8].

1) Trường hợp Hg (1) , tứcg bị chặn Nhắc lại hằng sốC ở bổ ề 3.4.1 Cố ịnh ´ 1 = 1 p , ặt một iều khiển như sau w s,t =|||x||| p p,[s,t] =|||x||| p p,Π[s,t] +

Chọn ả 1 >0 chò phụ thuộc C ủ nhỏ sao cho với |||x||| p,[s,t] fả 1 kộo theo

2) Trường hợp H g (2) , g là tuyến tính Nhắc lại hằng số C ở bổ ề 3.4.2 Chọn ả 1 >0 chò phụ thuộc C ủ nhỏ sao cho với |||x||| p,[s,t] f ả 1 kộo theo

Cuối cùng ta xây dựng chuỗi thời gian dừng kết hợp cho cả hai trường hợp Cụ thể, ặt ả 2 := min(1, 12L 1 f) Ta chọn 2 chuỗi thời gian dừng rời rạc:

1 ẫ 1 (s, t) =|||x||| p p,Π[s,t] , ´ 1 = 1/p, ả 1 , và chuỗi thời gian dừng thứ nhất

2 ẫ 2 (s, t) =|t−s|, ´ 2 = 1, ả 2 , và chuỗi thời gian dừngG Π,´ 2 ,ả 2 ,ẫ 2 ={t ∗∗ i } ÂΠ.

Ký hiệu Gˆ :ˆ Ä i : ˆÄ 0 0 là hằng số chò phụ thuộc

Chứng minh Do a, b là hai phân hoạch liên tiếp của Π nên y b −y a =f(y a ) (b−a) +g(y a )x a,b +Dg(y a )g(y a )X (1) a,b

Sử dụng bất ẳng thức 1 +xf e x ,∀x ∈R, ta thu ược ánh giá tương ứng.

Mệnh ề 3.4.4 Dưới các iều kiện của mệnh ề 3.4.1 Giả sử thêm

∥y a ∥+C f (1 +b−a) + 6H ∗ w a,b ∗ e C f (b−a) , trong ú C f > 0 là hằng số chò phụ thuộc L f và f 0

Chứng minh Với s, t∈ Π[a, b], sử dụng mệnh ề 3.4.1 ta có

(t−s) + 2 + 6H ∗ w s,t ∗ , với chú ý là ∥y∥ ∞,Π[s,t] fy s +|||y||| p,Π[s,t] và t 2/p −s 2/p f 1 Từ ây

Xõy dựng chuỗi thời gian dừng rời rạc cho w s,t = |t− s|, ´ = 1, ả = ả 2 Gọi m là chò số lớn nhất của t ∗ i Do ta ang xột phõn hoạch ều nờn ta luụn cú mf1 + 12L f (b−a).

Với chú ý 1−x 1 fe 2x ,∀0 fx f 1 2 , ta có

Dùng quy nạp, ta có y t ∗ i f y t ∗ 0 + (2 + 16L f (b−a))

|y a |+c f (1 + (b−a)) + 6H ∗ É a,b ∗ e 12L f (b−a) , trong ú c f chò phụ thuộc L f , f 0 Cuối cựng, dựng ước lượng của m ta cú

|y a |+C f (1 + (b−a)) + 6H ∗ É ∗ a,b e 24L f (b−a) với C f chò phụ thuộc L f và f 0 Chứng minh ược kết thỳc ở õy. ịnh lý 3.4.1 Dưới cỏc iều kiện của mệnh ề 3.4.1 và |Π| f ả 2 , ta cú cỏc ước lượng sau:

1 +∥x∥ p,Π[T 1 ,T 2 ] +∥X (1) ∥ p/2,Π[T 1 ,T 2 ] +∥X (2) ∥ p/3,Π[T 1 ,T 2 ] + 6H ∗ É T ∗ 1 ,T 2 i e C f (T 2 −T 1 ) Nˆ p−1 p , trong ó C là hằng số phụ thuộc L f , L g , f 0 , g 0 , C f là hằng số phụ thuộc L f , f 0 và Nˆ thoả mãn ánh giá sau

Chứng minh Ta chọn chuỗi thời gian dừng rời rạc kết hợp Ä i ∗ , Ä i+1 ∗ trên[T 1 , T 2 ] như ã trình bày ở trên Sử dụng các kết quả của các mệnh ề 3.4.3,3.4.4 ta luôn có

+ 6H ∗ É Ä ∗ ∗ i ,Ä i+1 ∗ ie C f (Ä i+1 −Ä i ) , với C f,g là hằng số phụ thuộc p, L g , L f , f 0 và C f phụ thuộc L f , f 0 Sử dụng quy nạp, ta có

+ 2H ∗ É T ∗ 1 ,T 2 i ×e C f (T 2 −T 1 ) Nˆ p −1 p Ước lượng của Nˆ ã ược trình bày ở mục xây dựng chuỗi thời gian dừng rời rạc Chúng tôi kết thúc chứng minh tại ây.

Chúng ta cũng có những kết quả tương tự cho trường hợpg là hàm bậc nhất.

Mệnh ề 3.4.5 Dưới các iều kiện của mệnh ề 3.4.2 Hơn nữa, giả sửa, b là hai phõn hoạch liờn tiếp của Π và |Π| fả 2 Khi ú

|y a |+D(|f 0 | ( |H|) + 6H ∗ w ∗ a,b eD(1+|||x||| p p,Π[a,b] ), với D > 0 là hằng số phụ thuộc K, L f , p và C f > 0 là hằng số chò phụ thuộc

Chứng minh Sử dụng bất ẳng thức e x g x+ 1 và bất ẳng thức Young, ta có các ánh giá sau

|y a |+D(|f 0 | ( |H|) + 6H ∗ w a,b ∗ eD(1+|||x||| p p,Π[a,b] ), trong ú D chò phụ thuộc p, L f , K Ta thu ược kết luận.

Mệnh ề 3.4.6 Dưới các iều kiện của mệnh ề 3.4.2 Giả sử thêm|||x||| p,Π[a,b] f ả 1 và |b−a| f ả 2 Khi ú,

∥y a ∥+D(|f 0 | ( |H|) + 12H ∗ w a,b ∗ e 1+C f (b−a) ,trong ú C f , D >0 là cỏc hằng số chò phụ thuộc K và H.

Chứng minh Sử dụng kết quả của mệnh ề 3.4.2, ta thu ược

∥y a ∥+ 12(|f 0 | ( |H|) + 12H ∗ w ∗ a,b e 2+12L f (b−a) − ∥y a ∥. và từ ó ta có kết quả của mệnh ề.

Lặp lại chứng minh của ịnh lý 3.4.1 nhưng dùng các mệnh ề 3.4.5 và 3.4.6, ta thu ược ịnh lý sau ịnh lý 3.4.2 Dưới cỏc iều kiện của mệnh ề 3.4.1 và |Π| f ả 2 , ta cú cỏc ước lượng sau:

|y T 1 |+ ˆN D(|f 0 | ( |H|) + 12H ∗ É T ∗ 1 ,T 2 i e D(1+T 2 −T 1 +|||x||| p p,Π[T 1 ,T 2] ) Nˆ p −1 p , trong ó D là hằng số phụ thuộc L f , L g , f 0 , g 0 và Nˆ thoả mãn ánh giá sau

Ứng dụng

Trong mục này chúng tôi xem xét phương trình vi phân nhám có hệ số trượt dz t =f(z t )dt+g(z t )dx t , y(T 1 ) =y T 1 ∈R d (3.4) với các iều kiện sau

Hf : f là hàm số liên tục Lipschitz toàn cục với hệ số Lipschitz L f

H g : g là hàm bậc nhất, tức g(x) =Cx+g 0 , C ∈R d×d , g 0 ∈R d

H x : x : R → R có thể nâng lên (x,X (1) ,X (2) ) là một ường nhám, cấp p, với nửa chuẩn sup Π,a,b∈Π

Sự tồn tại nghiệm của hệ này ã ược trình bày ở chương 2 Xét phân hoạch Π = {t k , T 1 = t 0 < t 1 , < t n = T 2 } Một lược ồ xấp xò với nghiệm y t k y(t k , y 0 , x) cho (3.4) ược ịnh nghĩa như sau: y t 0 =y T 1 và với k = 0,1, , n−1, y t k+1 =y t k +f(y t k ) (t k+1 −t k ) +g(y t k )x t k ,t k+1 +Dg(y t k )g(y t k )X (1) t k ,t k+1

Ta ến với ịnh lý chính của mục này, về sự hội tụ của lược ồ Euler ịnh lý 3.5.1 Giả sử các iều kiện (Hf),(Hg),(Hx) thoả mãn thì ta có

Chứng minh ặt h t k =z t k −y t k Khi ó h T 1 = 0 và h t k+1 =h t k +h g(y t k )x t k ,t k+1 +∂g(z t k )g(z t k )X t k ,t k+1 −g(y t k )x t k ,t k+1

=h t k +F t h k ,t k+1 +ε t k ,t k+1 , với F h =F y −F z với F y ịnh nghĩa như ể mệnh ề 3.4.2 và

Z t k+1 t k g(z(u))dx(u)−g(z t k )x t k ,t k+1 −∂g(z t k )g(z t k )X t k ,t k+1 ầu tiên có ước lượng cho ϵ

X (2) p/3,[t k ,t k+1 ] i:=L f ∥h∥ ∞,Π[t k ,t k+1 ] +H ∗ É (0) (t k , t k+1 ), với H ∗ → 0 khi |Π| → 0 và É (0) là một iều khiển Sừ dụng các lập luận của ịnh lý 3.4.2, với chú ý f 0 =H = 0 và y T 1 = 0 ta có

Ta kết thúc chứng minh.

Chương 4 XẤP XỈ PHƯƠNG TRÌNH VI PHÂN NHÁM

4.1 Xấp xò toàn cục của phương trỡnh vi phõn nhỏm

Trong mục này, chỳng tụi sẽ trỡnh bày tớnh xấp xò tốt cỏc hàm liờn tục thụng qua các phương trình vi phân nhám Chúng tôi sẽ trình bày lại các kết quả ở [9] ầu tiên ta ến với ịnh nghĩa không gian các hàm bị chặn với biến phân bị chặn. ịnh nghĩa 4.1.1 ([9]) Cho Ä, T ∈ R với Ä < T và v ∈ N ặt V 1 ([Ä, T];R v ) là không gian các hàm liên tục bị chặn với biến phân bị chặn Gán một chuẩn cho không gian này

1−var. ịnh nghĩa 4.1.2 ([9]) Với mỗi Xb ∈ V 1 ([Ä, T];R v ) ặt

Chúng ta quy ước từ ây về sau ký hiệu ‘loại bỏ dấu mũ’ ể gán thêm một toạ ộ thời gian theo ịnh nghĩa ở trên.

Chú ý rằng ặc trưng của quỹ ạo là nghiệm của một phương trình vi phân nhám Vì vậy ta sẽ viết lại nó như ịnh nghĩa dưới ây ịnh nghĩa 4.1.3 ([9]) Với N, v ∈N, ký hiệu ằ(N, v) =PN i=0(v+ 1) i ịnh nghĩa 4.1.4 ([9]) Với mỗi k ∈N và y ∈R k , gọi M(y) ∈ Rk(v+1)×(v+1) là ma trận

Cố ịnh N ∈ N và X ∈ V 1 ([Ä, T];R v+1 ) ặt y 0,X,N : [Ä, T] → R là hằng số với y t 0,X,N = 1.

Với mọi i ∈ {1, , N}, ặt y i,X,N : [Ä, T] →R (v+1) i là giá trị của biểu thức y i,X,N t = y Ä i,X,N +

Chúng ta có thể viết lại: y X,N = (y 0,X,N , , y N,X,N ) : [Ä, T] → R ằ(N,v) ,

Khi ó, theo ịnh lý 2.1.2, ặc trưng của quỹ ạo tại bậc N có thể viết lại như y X,N is nghiệm duy nhất của phương trình vi phân nhám y t X,N =y X,N Ä +

Nói cách khác, ặc trưng của quỹ ạo tại bậc N có thể hiểu như là một ánh xạ

S N : X 7→y X,N T ịnh nghĩa 4.1.5 ([9]) ịnh nghĩa không gian các quỹ ạo có biến phân bị chặn xuất phát tại 0:

X 0 = 0 Chỳng tụi nhắc lại ịnh lý 2.1,[10] về xấp xò toàn cục của cỏc ặc trưng. ịnh lý 4.1.1(Xấp xò toàn cục của ặc trưng, [9]) Cho 0 fÄ < T và I = [Ä, T] là khoảng thời gian óng Gọi E là không gian Banach v + 1-chiều (có thể vô hạn chiều) với chuẩn ∥ ã ∥ E Thụng thường E :=R v+1 ặt C(I, E) là khụng gian Banach các quỹ ạo liên tục Lipschitz x: I → E, trang bị chuẩn

Cho X ¢ C(I, E) ¢ V 1 ([Ä, T];R v+1 ) là tập compact các quỹ ạo và hàm liên tục f : X → R Khi ó với mỗi ϵ > 0 tồn tại một cấp cắt cụt n g 0 thoả mãn với mọi quỹ ạo x∈ X f(x)−

Sau khi cú xấp xò bởi ặc trưng, với chỳ rằng ặc trưng thực chất là nghiệm của phương trình vi phân nhám (Mệnh ề 2.1.2), ta có ịnh lý sau: ịnh lý 4.1.2 (Xấp xò toàn cục bởi phương trỡnh vi phõn nhỏm, [9]) Cho trước Ä, T ∈R với Ä < T và ặt v, u∈ N Với mỗi w ∈N ặt

Với mỗi w ∈ N, f ∈ F w , ã ∈ À w và Xb ∈ V 1 ([Ä, T];R v ), gọi z f,ã,X : [Ä, T] →

R w là nghiệm duy nhất của phương trình vi phân nhám z t f,ã,X =z Ä f,ã,X +

Khi ó [ w∈N nXb 7→ℓ(z T f,ã,X ) f ∈F w , ℓ ∈L w,u , ã ∈À w o là trù mật trong C(K;R u ).

Chứng minh [9] Ta thêm một oạn thẳng vào mỗi quỹ ạo của K Cụ thể, với mỗi Xb ∈K, ịnh nghĩa Xb ∗ : [Ä −1, T]→ R v như sau:

Tương tự ịnh nghĩa cho X ∗ , nghĩa là chò thờm oạn thẳng vào quỹ ạo, không thêm vào thời gian Bây giờ ặt K ∗ = n

V 0 1 ([Ä −1, T];R v ) cũng là tập compact Khi ó sử dụng ịnh lý 4.1.2, tập

|ℓ ∈J N,u o là trù mật trong C(K ∗ ;R u ) Cho ³ ∈ C(K;R u ) và ε > 0 và ánh xạ Xb 7→ Xb ∗ là một ồng phôi Khi ó tồn tại ´ ∈ C(K ∗ ;R u ) sao cho ´

= ³(X)b với mọi Xb ∈ K Suy ra, tồn tại N ∈ N và ℓ ∈ J N,u sao cho à ịnh nghĩa bởi à : Xb ∗ 7→ ℓ S N (X ∗ ) là nằm trong hình cầu tâm ´ bán kính ε Từ ịnh nghĩa 4.1.3, tồn tại f ∈ F ằ(N,v) thoả món S N (X ∗ ) = y T X ∗ với mọi X ∗ ∈ K ∗ , trong ú y X ∗ là nghiệm duy nhất của phương trình vi phân nhám y t X ∗ =y X Ä−1 ∗ +

Z t Ä −1 f(y s X ∗ )dX s ∗ , t∈(Ä −1, T], với iều kiện ban ầuy Ä X −1 = (1,0, ,0) ặtã ∈À sao choã(X Ä ) =y Ä X ịnh nghĩa này là tốt vỡ y t X ∗ chò phụ thuộcX Ä với t∈ [Ä −1, Ä] Vậy với mỗi X ∈K, gọi z X : [Ä, T]→ R w là nghiệm duy nhất của phương trình vi phân nhám z t X =z Ä X +

Z t Ä f z s X dX s , t∈ (Ä, T], với iều kiện ban ầu z Ä X = ã(X Ä ) Từ tớnh tồn tại duy nhất, z t X = y X t ∗ , ∀t ∈ [Ä, T], và S N (X ∗ ) =y T X ∗ = z T X Cuối cựng là chỳ ý là ℓ∈ J N,u =L ằ(N,v),u ặt ả ịnh nghĩa bởiả : Xb 7→ ℓ z X T

|ℓ ∈J N,u o và với mọi Xb ∈K, ả(Xb) =ℓ z T X

=à(Xb ∗ ) thuộc hình cầu tâm ´(Xb ∗ ) = ³(X)b bán kính ϵ Ta kết thúc chứng minh tại ây.

Trong mục này, chỳng ta luụn xấp xò quỹ ạo X bằng cỏc ường cong nội suy bậc ba Vì vậy không gian các quỹ ạo sẽ nhỏ hơn Ta sẽ tìm hiểu xem phương trỡnh vi phõn nhỏm iều khiển bởi cỏc quỹ ạo nội suy sẽ xấp xò ỏnh xạ liờn tục tốt như thế nào Trước hết cần ịnh nghĩa lại cấu trúc không gian các quỹ ạo. ịnh nghĩa 4.1.6 (Topo tổng quát cho chuỗi thời gian) ặt v ∈N và Ä, T ∈ R thoả mãnÄ < T GọiF là một không gian topo của các hàm ặtº: TS [Ä,T ] (R v ) →

F là một ánh xạ Khi ó ta ịnh nghĩa một topo trên TS [Ä,T ] (R v ) là topo yếu nhất ể º liên tục. ịnh nghĩa 4.1.7 (Topo ường cong nội suy bậc ba tự nhiên) ặt v ∈ N. and Ä, T ∈ R thoả mãn Ä < T ặt F = C([Ä, T];R v ) với chuẩn ều Với mọi x= ((t 0 , x 0 ), ,(t n , x n )) ∈ TS [Ä,T ] (R v ), ặt bº: TS [Ä,T ] (R v ) → F là ường cong nội suy bậc ba tự nhiên,bº(x) t i =x i với mốc tại t 0 , , t n Khi ó ta có một topo trên TS [Ä,T ] (R v ) với ịnh nghĩa như trên.

Với không gian topo ã ịnh nghĩa, chúng tôi phát biểu không chứng minh ịnh lý xấp xò toàn cục sau (ịnh lý B14, [9]). ịnh lý 4.1.3 (Xấp xò toàn cục với phương trỡnh vi phõn nhỏm trờn mạng neuron iều khiển bởi ường cong nội suy bậc ba tự nhiên) Cho Ä, T ∈ R với Ä < T và v, u∈ N Với mỗi w ∈N ặt

F NN w =n f: R w → R w×(v+1) f là mạng neuron truyền thẳngo

ℓ tuyến tính , À NN w ã: R v+1 → R w ã là mạng neuron truyền thẳng

Gọi bº là ường cong nội suy bậc ba và nhắc lại ký hiệu ’loại bỏ dấu mũ’ Với mỗi w ∈ N, f ∈ F w , ã ∈ À NN w và x ∈ TS [Ä,T ] (R v ), gọi z f,ã,x : [Ä, T] → R w là nghiệm duy nhất của phương trình z t f,ã,x =z f,ã, Ä x +

Z t Ä f(z f,ã, s x )dº(x) s for t∈ (Ä, T], với iều kiện ban ầu z Ä f,ã, x =ã(º(x) Ä ).

Cho K ¦ TS [Ä,T ] (R v ) thoả mãn tồn tại C > 0 sao cho

∥x∥ ∞ (min i (t i+1 −t i )) −3 < C (4.1) với mọi x= ((t 0 , x 0 ), ,(t n , x n )) ∈K ( C ộc lập với x.)

Khi ó [ w∈N n x7→ ℓ(z T f,ã,x ) f ∈ F NN w , ℓ ∈ L w,u , ã ∈ À NN w o là trù mật trong C(K;R u ) với topo ường cong nội suy bậc ba tự nhiên trên

4.2 So sánh với mô hình ODE thay thế ịnh lý sau ở [9] cho thấy việc thay mô hình CDE thành ODE bằng cách thay hàm g ạ,X (z, s) thành h ạ (z, X s ) tuy cú vẻ tự nhiờn nhưng thực ra lại em ến mất mỏt về việc xấp xò toàn cục Chỳng tụi phỏt biểu khụng chứng minh ịnh lý sau: ịnh lý 4.2.1 ([9]) Cho Ä, T ∈R với Ä < T, ặt v, w ∈N thoả mãn v+ 1 < w. ịnh nghĩa

Xb: [Ä, T]→ R v bX liên tục và có biến phân bị chặno

Với mỗi Xb ∈X, ặt X t = (Xb t , t) Gọi ánh xạÃ: R w → R w−v−1 là phép chiếu lên w−v−1 toạ ộ ầu.

Với mọi f ∈F, ã ∈ À, và Xb ∈ X, gọi z f,ã,X : [Ä, T]→ R w là nghiệm duy nhất của phương trình vi phân nhám z t f,ã,X =z Ä f,ã,X +

Z t Ä f(z s f,ã,X )dX s for t∈(Ä, T],thoả món iều kiện ban ầu z Ä f,ã,X =ã(X Ä ).

Tương tự, với mỗi h ∈ H, ã ∈ À, và Xb ∈ X, gọi y f,X : [Ä, T] → R w−v−1 là nghiệm duy nhất của phương trình bi phân y t h,ã,X =y h,ã,X Ä +

Z t Ä h(y s h,ã,X , X s )ds for t ∈(Ä, T], với iều kiện ban ầu y h,ã,X Ä =Ã(ã(X Ä )). ặtY = n

Luận văn