Trong möc n y ta s³ mæ t£ mët c¡ch h¼nh thùc v· nguy¶n lþ quy ho¤ch ëng cõa Bellman. Vi»c mæ t£ h¼nh thùc ÷ñc thüc hi»n èi vîi
b i to¡n i·u khiºn cüc tiºu hâa vîi thíi gian húu h¤n. C¡c b i to¡n kh¡c v· cì b£n công t÷ìng tü nh÷ vªy.
Cho O ⊂ Rn l mët tªp mð. X²t b i to¡n i·u khiºn tèi ÷u vîi thíi gian húu h¤n v h m gi¡ trà V(x, t) x¡c ành tr¶n O ×[0, T] bði:
V (x, t) := inf Uν E Z T t L(xs, us, s)ds+ψ(xT)|xt = x (2.2) trong â Uν l tªp t§t c£ c¡c i·u khiºn ch§p nhªn ÷ñc vîi gi¡ trà trong U.
Nguy¶n lþ quy ho¤ch ëng cõa Bellman kh¯ng ành r¬ng: vîi b§t ký h ∈ [0, T −t], V (x, t) = inf Uν E Z t+h t L(xs, us, s)ds+V (xt+h, t+h)|xt = x . (2.3) Biºu thùc trong d§u ngo°c ìn l têng chi ph½ bi¸n ëng tr¶n o¤n [t, t+h] v cüc tiºu ký vång chi ph½ tèi ÷u sau thíi iºm t+ h vîi dú ki»n ban ¦u l (xt+h, t+h).
Ph÷ìng tr¼nh quy ho¤ch ëng l mæ h¼nh vi ph¥n cõa nguy¶n lþ quy ho¤ch ëng v nhªn ÷ñc tø (2.3) theo c¡ch sau ¥y:
L§y i·u khiºn h¬ng sè: us = ¯u, s ∈ [t, t+h] trong (2.3) ta câ: V (x, t) ≤E Z t+h t L(xs,u, s)¯ ds+V (xt+h, t+h)|xt = x .
Trø hai v¸ cho V(x, t) rçi chia cho h, sû döng cæng thùc Itæ (1.16) v cho h ↓ 0 ta câ: 0 ≤ lim h↓0 1 hE Z t+h t L(xs,u, s)ds¯ + [V (xt+h, t+h)−V (x, t)]|xt = x = L(x,u, t) + lim¯ h↓0 1 hE Z t+h t ∂ ∂tV (xs, s) +Au¯V (xs, s)ds|xt = x = L(x,u, t) +¯ ∂ ∂tV (x, t) +Au¯V (x, t).
V¼ i·u n y óng vîi måi u¯ n¶n:
−∂
∂tV (x, t) + supu∈U{−AuV(x, t)−L(x, u, t)} ≤ 0.
M°t kh¡c, n¸u u.∗ ∈ Uν l mët qu¡ tr¼nh i·u khiºn tèi ÷u th¼ vîi méi h ∈ [0, T −t] ta câ: V (x, t) = E Z t+h t L(x∗s, u∗s, s)ds+V (x∗t+h, t+h)|xt = x
ð ¥y x.∗ l nghi»m cõa (2.1) vîi qu¡ tr¼nh i·u khiºn u.∗. Lªp luªn t÷ìng tü d÷îi c¡c gi£ thi¸t õ m¤nh (bao gçm c£ t½nh li¶n töc cõa u.∗ t¤i t) ta câ
−∂
∂tV(x, t)− Au∗tV(x, t)−L(x, u∗t, t) = 0. Do â thu ÷ñc ph÷ìng tr¼nh quy ho¤ch ëng:
− ∂
∂tV(x, t)+supu∈U{−AuV(x, t)−L(x, u, t)} = 0, x ∈ O, t ∈ (0, T). (2.4) Vîi b i to¡n thíi gian væ h¤n, ph÷ìng tr¼nh ho¤ch ëng câ d¤ng:
βV (x) + sup
u∈U
{−AuV(x)−L(x, u)} = 0, x ∈ O. (2.5) T÷ìng tü nh÷ cæng thùc Feyman-Kac, chóng ta công nghi¶n cùu ph÷ìng tr¼nh quy ho¤ch ëng tr¶n ¥y còng vîi c¡c i·u ki»n bi¶n v i·u ki»n cuèi sau ¥y:
V (x, t) =g(x, t) tr¶n ∂O ×(0, T), (2.6) V (x, T) =ψ(x) tr¶n O¯ (2.7) trong âg(x, t), ψ(x) l c¡c h m trìn ¢ cho t÷ìng ùng tr¶n ∂O ×(0, T) v tr¶n O¯.
2.1.2 ành lþ kiºm ành
Theo nguy¶n lþ quy ho¤ch ëng ¢ mæ t£ trong möc tr¶n, n¸u h m gi¡ trà õ trìn th¼ nâ s³ l nghi»m cõa ph÷ìng tr¼nh quy ho¤ch ëng. Thæng tin n y l væ còng quan trång º ÷a ra c¡ch x¥y düng c¡c iºu khiºn tèi ÷u d÷îi d¤ng ph£n hçi. Sau ¥y, ta thi¸t lªp mèi quan h» giúa c¡c nghi»m trìn cõa ph÷ìng tr¼nh quy ho¤ch ëng (2.4) v b i to¡n i·u khiºn tèi ÷u ng¨u nhi¶n. C¡c ành lþ â gåi l ành lþ kiºm ành v nâ s³ gñi þ cho ta c¡ch sû döng c¡c ph÷ìng tr¼nh quy ho¤ch ëng v o gi£i b i to¡n i·u khiºn tèi ÷u.
X²t b i to¡n i·u khiºn tèi ÷u vîi thíi gian húu h¤n. °t: Q := O ×(0, T),
v gåi Cp Q¯ l tªp t§t c£ c¡c h m li¶n töc, câ ë o t«ng khæng qu¡ a thùc tr¶n Q.¯
ành l½ 2.1 (ành lþ kiºm ành). Gi£ sû W ∈ C1,2(Q) ∩ Cp Q¯ l mët nghi»m cõa ph÷ìng tr¼nh (2.4), dú ki»n cuèi (2.7) v i·u ki»n bi¶n (2.6). Khi â:
1. W(x, t) ≤ J(x, t;u.) vîi måi dú ki»n ban ¦u (x, t) ∈ Q v qu¡ tr¼nh i·u khiºn u..
2. N¸u vîi mët dú ki»u ban ¦u (x, t) ∈ Q, tçn t¤i u.∗ ∈ Uν thäa m¢n u∗s ∈ argmin{Au∗sW(x∗s, s) +L(x∗s, u∗s, s)}
t¤i Lebesgue×P− h¦u h¸t (s, ω) ∈ [t, T ∧τO∗]×Ω, th¼ W(x, t) = J(x, t;u.∗) (trong â x.∗ l nghi»m cõa (2.1) ùng vîi qu¡ tr¼nh i·u khiºn u.∗, to¡n tû Au ÷ñc x¡c ành bði cæng thùc (1.17)).
Nhªn x²t 2.2. Theo ành lþ kiºm ành, méi nghi»m trìn cõa b i to¡n bi¶n gi¡ trà cuèi cõa ph÷ìng tr¼nh quy ho¤ch ëng (cán gåi l ph÷ìng
tr¼nh Hamilton-Jacobi-Bellman) ·u khæng v÷ñt qu¡ h m gi¡ trà cõa b i to¡n i·u khiºn tèi ÷u. Hìn núa, kh¯ng ành thù hai cho ta mët i·u ki»n õ º x¥y düng i·u khiºn tèi ÷u, vîi i·u khiºn tèi ÷u â (n¸u câ) th¼ nghi»m cõa ph÷ìng tr¼nh quy ho¤ch ëng công ch½nh l h m gi¡ trà. Chùng minh. 1. Cè ành (x, t) ∈ Q v mët qu¡ tr¼nh i·u khiºn u.. Gi£ sû x. l nghi»m cõa (2.1) ùng vîi i·u khiºn u. v dú ki»n ban ¦u xt = x. °t θ := T ∧ τO. Sû döng cæng thùc Itæ (1.16) v ë t«ng a thùc cõa W ta suy ra : EW(xθ, θ) = W(x, t) +E Z θ t ∂ ∂sW(xr, r) +AurW(xr, r) dr. Do W l nghi»m cõa (2.4) n¶n ∂ ∂sW(xr, r) +AurW(xr, r) ≥ −L(xr, ur, r). K¸t hñp (2.6) v (2.7) v c¡c b§t ¯ng thùc tr¶n, ta câ: W(x, t) ≤ J(x, t;u.). 2. Ta câ: ∂ ∂sW(x ∗ r, r) +Au∗rW(xr∗, r) = −L(x∗r, u∗r, r), t¤i h¦u h¸t (s, ω). Sû döng (2.6) v (2.7) ta câ:
W(x, t) =J(x, t;u.∗).
Vîi ành lþ kiºm ành chóng ta câ thº vªn döng gi£i c¡c V½ dö 1.24 v 1.25 nh÷ sau:
V½ dö 2.3. Gi£i b i to¡n i·u khiºn tèi ÷u tuy¸n t½nh trong V½ dö 1.24. èi vîi b i to¡n n y chóng ta câ:
AuV(x, t) = (A(t)x+ B(t)u).∇V(x, t) + 1
2trace(D
L(x, u, t) = M(t)x.x+N(t)u.u, v (2.4) câ d¤ng: −∂ ∂tV(x, t)−A(t)x.∇V(x, t)− 1 2trace(D 2 V(x, t)σ(t)σ0(t))+ + 1 4B(t)N −1 (t)B0(t)∇V(x, t).∇V(x, t) =M(t)x.x. (2.8)
Ta t¼m nghi»m cõa ph÷ìng tr¼nh n y d÷îi d¤ng: W(x, t) = P(t)x.x+q(t), trong â q(t) l mët h m væ h÷îng v P(t) l ma trªn èi xùng c§p n×n c¦n t¼m. Tø (2.7) ta câ: P(T) = D; q(T) = 0, v tø (2.4) d¨n ¸n: ∂ ∂tP(t) =P(t)B(t)N −1(t)B0(t)−A(t)P(t)−P(t)A0(t)−M(t), t ∈ [0, T], d dtq(t) = −trace(σ(t)σ0(t)P(t)), t ∈ [0, T].
Ph÷ìng tr¼nh n y l ph÷ìng tr¼nh Ricati n¶n câ mët nghi»m duy nh§t P(t), q(t).
º câ ÷ñc i·u khiºn d¤ng ph£n hçi tèi ÷u, quan s¡t r¬ng: u∗(x, t) =−N−1(t)B0(t)P(t)x
l m cüc tiºu AuV(x, t) + L(x, u, t) tr¶n Uν. Do â, gi£i ph÷ìng tr¼nh ng¨u nhi¶n tuy¸n t½nh:
dx∗s = G∗(s)x∗sds+σ(s)dWs, vîi
ta nhªn ÷ñc quÿ ¤o tèi ÷u x∗s. Theo ành lþ kiºm ành th¼ i·u khiºn tèi ÷u l :
u∗s = −N−1(s)B0(s)P (s)x∗s.
V½ dö 2.4. Gi£i b i to¡n lüa chån danh möc ¦u t÷ Merton trong V½ dö 1.25.
Ta gi£i b i to¡n n y cho tr÷íng hñp h m lñi ½ch l(c) = 1
p(c)
p, c ≥0,
vîi mët sè 0< p < 1.
Lóc n y (2.5) câ d¤ng (l÷u þ ¥y l b i to¡n cüc ¤i hâa) βV (x) = max π {1 2σ 2 π2x2Vxx(x) + (α−a)πxVx(x)}+rxVx(x) + max c>0 {l(c)−cVx(x)}
tr¶n (0,∞) vîi i·u ki»n bi¶n V(0) = 0. Nghi»m cüc ¤i cõa v¸ ph£i l :
π∗(x) =−(α−a)Vx(x)
σ2xVxx(x) , c
∗(x) = (Vx(x))p−11 .
T¼m mët nghi»m d÷îi d¤ng: W(x) = Kxp, x >0 vîi h¬ng sè K > 0c¦n t¼m. Th¸ W v o ph÷ìng tr¼nh ta ÷ñc ph÷ìng tr¼nh phi tuy¸n:
β − (α−a) 2 p 2σ2(1−p) −rp ! K = (pK)1/(p−1)
èi vîi K. Ph÷ìng tr¼nh câ nghi»m duy nh§t n¸u β > (α−a)
2
p
2σ2(1−p) +ap. Khi i·u ki»n tr¶n bà vi ph¤m th¼ h m gi¡ trà çng nh§t b¬ng +∞.
Sû döng nghi»m â v ành lþ kiºm ành ta nhªn ÷ñc i·u khiºn d¤ng ph£n hçi tèi ÷u l
π∗(x) = α−a
2.1.3 Nguy¶n lþ quy ho¤ch ëng
Trong möc n y chóng ta s³ chùng minh ch°t ch³ v· m°t to¡n håc mët sè ành lþ d¤ng nguy¶n lþ quy ho¤ch ëng.
a, B i to¡n tr¶n Rn. X²t b i to¡n vîi thíi gian húu h¤n, vîi O = Rn. °t: Q0 := Rn ×(0, T). Gi£ thi¸t r¬ng: |f (x, u, t)−f (y, u, s)| ≤K(|x−y|+|s−t|), ∀(x, t),(y, s) ∈ Q0, u ∈ U, |σ(x, u, t)−σ(y, u, s)| ≤ K(|x−y|+|s−t|), ∀(x, t),(y, s) ∈ Q0, u ∈ U, |σ(x, u, t)|+|f (0, u, t)| ≤ K, ∀(x, t) ∈ Q0, u ∈ U, |L(x, u, t)| ≤ K(1 +|x|k +|u|k), ∀(x, t) ∈ Q0, u ∈ U, |ψ(x)| ≤ K 1 +xk, ∀x ∈ Rn,
vîi K, k l c¡c h¬ng sè phò hñp. Ta gåi c¡c gi£ thi¸t n y l c¡c gi£ thi¸t chu©n.
ành l½ 2.5. Gi£ sû O = Rn, U compact v câ c¡c gi£ thi¸t chu©n. Khi â h m gi¡ trà V ÷ñc x¡c ành bði (2.2) li¶n töc tr¶n Q0 v nâ ëc lªp vîi khæng gian x¡c su§t ν. Hìn núa ta câ nguy¶n lþ quy ho¤ch ëng:
1, Vîi måi dú ki»n ban ¦u (x, t) ∈ Q0, qu¡ tr¼nh i·u khiºn u. ∈ Uν v thíi iºm døng θ ≥ t, V(x, t) ≤E Z θ t L(xs, us, s)ds+V (xθ, θ)|xt = x .
2, Vîi méi δ > 0 ·u tçn t¤i mët qu¡ tr¼nh i·u khiºn u. ∈ Uν sao cho V (x, t) +δ ≥E Z θ t L(xs, us, s)ds+V (xθ, θ)|xt = x . vîi måi thíi iºm dòng θ ≥ t.
Ph¡t biºu tr¶n cõa nguy¶n lþ quy ho¤ch ëng l m¤nh hìn so vîi: V(x, t) = inf u.∈Uν E Z θ t L(xs, us, s)ds+V(xθ, θ)|xt = x .
Chùng minh. Chùng minh cõa ành lþ n y câ thº thüc hi»n theo hai b÷îc:
Tr÷îc ti¶n ta gi£ thi¸t c¡c dú ki»n f, σ, L v ψ thäa m¢n t½nh ch½nh quy m¤nh, c¡c i·u ki»n bà ch°n v
σ(x, t)σ0(x, t) ≥αI, ∀(x, t) ∈ Q0,
vîi mët h¬ng sè α > 0 th½ch hñp. Vîi c¡c gi£ thi¸t n y, ph÷ìng tr¼nh quy ho¤ch ëng câ mët nghi»m trìn duy nh§t thäa m¢n i·u ki»n cuèi. Ti¸p theo ta x§p x¿ b i to¡n hi»n t¤i b¬ng mët b¬ng mët d¢y c¡c b i to¡n thäa m¢n gi£ thi¸t ÷ñc sû döng ð b÷îc mët. Sû döng b÷îc mët v nhí câ sü hëi tö ·u n¶n c¡c tªp bà ch°n cõa d¢y c¡c h m gi¡ trà x§p x¿ ta thu ÷ñc i·u c¦n chùng minh.
Chi ti¸t câ thº tham kh£o trong [7].
b, B i to¡n thíi iºm tho¡t. Gi£ sû O l tªp mð bà ch°n trong Rn, G(x, t) l mët nghi»m d÷îi trìn cõa (2.4), (2.6), (2.7), tùc l G thäa m¢n: G(x, t) = g(x, t), tr¶n ∂O ×(0, T), G(x, t) ≤ψ, tr¶n O¯ − ∂ ∂tG(x, t) + supu∈U{−AuG(x, t)−L(x, u, t)} ≤ 0, x ∈ O, t ∈ (0, T). °t ˜ L(x, u, t) := L(x, u, t) + AuG(x, t) + Gt(x, t), ˜ ψ(x) := ψ(x)−G(x, T).
Khi â h m gi¡ trà V˜ cõa b i to¡n thíi iºm tho¡t vîi chi ph½ bi¸n ëng ˜
Do â ta ch¿ c¦n chùng minh nguy¶n lþ quy ho¤ch ëng èi vîi V˜. i·u n y ÷ñc thüc hi»n b¬ng c¡ch x§p x¿ b i to¡n thíi iºm tho¡t bði mët d¢y c¡c b i to¡n x¡c ành tr¶n to n bë khæng gian Q0 nh÷ sau:
Vîi ε > 0 ành ngh¾a: Vε(x, t) := inf u. E Z T t Γ (s, ε) ˜L(xs, us, s)ds+ Γ (T, ε)ψ(xT)|xt = x , trong â Γ (s, ε) =exp 1 ε Z s t d(xr)dr ,
v d(x) l kho£ng c¡ch giúa x v O¯. V¼ theo c¡ch gi£ thi¸t, L˜ ≥ 0 v ˜
ψ ≥ 0 n¶n Vε ìn i»u hëi tö tîi V˜ v do â hëi tö ·u tr¶n c¡c tªp con compact cõa Q.¯ Nh÷ vªy chóng ta câ k¸t qu£ sau:
ành l½ 2.6. Gi£ sû r¬ng câ mët nghi»m d÷îi trìnGcõa (2.4),(2.6),(2.7), U compact v c¡c gi£ thi¸t chu©n. Khi â, h m gi¡ trà V ành ngh¾a bði (2.2) li¶n töc tr¶n Q,¯ khæng phö thuëc v o khæng gian x¡c su§t ν. Hìn núa ta câ nguy¶n lþ quy ho¤ch ëng:
1, Vîi méi dú ki»n ban ¦u (x, t) ∈ Q0, qu¡ tr¼nh i·u khiºn u. ∈ Uν v mët thíi iºm døng θ ≥ t, V(x, t) ≤E Z θ∧τO t L(xs, us, s)ds+V (xθ∧τO, θ ∧τO)|xt = x . 2, Vîi méi δ >0 tçn t¤i mët qu¡ tr¼nh i·u khiºn u. ∈ Uν thäa m¢n V(x, t) + δ ≥E Z θ∧τO t L(xs, us, s)ds+V (xθ∧τO, θ ∧τO)|xt = x , vîi méi thíi iºm døng θ ≥ t.
c, Tr÷íng hñp tªp i·u khiºn U khæng compact. Trong c£ hai ành lþ tr¶n ta gi£ thi¸t tªp gi¡ trà cõa i·u khiºn l compact. Trong mët sè ùng döng, ch¯ng h¤n trong b i to¡n i·u khiºn tuy¸n t½nh th¼
gi£ thi¸t â l kh¡ h¤n ch¸. º tr¡nh i·u â chóng ta l m nh÷ sau. èi vîi mët sè nguy¶n d÷ìng m, °t
Um := {u ∈ U, |u| ≤m},
v gåi Vm l h m gi¡ trà cõa b i to¡n i·u khiºn ng¨u nhi¶n t÷ìng ùng. Trong t§t c£ c¡c ùng döng li¶n quan, Vm l mët x§p x¿ tèt cõa V. V¼ th¸ câ thº gi£ thi¸t
lim
m→∞sup{|V (x, t)−Vm(x, T)| |(x, t) ∈ Q,¯ |x| ≤ R} = 0, ∀R > 0 (2.9) Do Um l compact n¶n ành lþ 2.3 ho°c ành lþ 2.4 ¡p döng ÷ñc èi vîi Vm. Sau â lªp luªn thæng qua b i to¡n x§p x¿ cho th§y r¬ng ành lþ 2.3 v ành lþ 2.4 v¨n óng n¸u thay gi£ thi¸t U compact bði (2.9).